WO2022065662A1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
WO2022065662A1
WO2022065662A1 PCT/KR2021/009819 KR2021009819W WO2022065662A1 WO 2022065662 A1 WO2022065662 A1 WO 2022065662A1 KR 2021009819 W KR2021009819 W KR 2021009819W WO 2022065662 A1 WO2022065662 A1 WO 2022065662A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
graphic
video
composite
effect processing
Prior art date
Application number
PCT/KR2021/009819
Other languages
English (en)
French (fr)
Inventor
김태환
이석재
강병권
남진우
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2022065662A1 publication Critical patent/WO2022065662A1/ko
Priority to US18/188,868 priority Critical patent/US20230237631A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device for outputting a composite frame based on a video frame and a graphic frame, and a method for controlling the same.
  • the electronic device may generate and display a composite frame obtained by synthesizing a video frame with a graphic frame.
  • the electronic device displays an Electric Program Guide (EPG) for selecting a broadcast program channel number corresponding to a graphic frame, and generates and displays a composite frame in which a broadcast program of a selected channel corresponding to a video frame is synthesized in the EPG. , it is possible to display the broadcast program of the selected channel together with the EPG.
  • EPG Electric Program Guide
  • the electronic device may perform image effect processing on the graphic frame.
  • the electronic device may blur the EPG and output the blurred EPG.
  • a user may feel a visual instability due to a composite frame in which image effect processing is not the same between a video frame and a graphic frame, and such visual instability causes overall image quality to deteriorate.
  • An object of the present invention is to provide an electronic device capable of improving the image quality of a composite frame on which image effect processing has been performed by outputting a composite frame based on the frame and the graphic frame, and a method for controlling the same.
  • the above object of the present invention is to provide a video processing unit for outputting a video frame; a graphic processing unit for outputting a graphic frame; mixer; and controlling the mixer to generate and output a first composite frame based on the video frame and the graphic frame, and in response to an event of image effect processing, a video region and the graphic frame corresponding to the video frame in a displayed image and a processor for generating a second composite frame including a graphic area corresponding to This can be accomplished by electronic devices.
  • the processor stores at least one of the graphic frame or the first synthesized frame in a buffer memory, synthesizes a next sequence of video frames with the stored graphic frame or the first synthesized frame, and performs the image effect processing to perform the A second composite frame is created.
  • the processor controls to output the second composite frame in response to an event of simultaneously displaying video content corresponding to the video frame and a menu item corresponding to the graphic frame.
  • the processor controls the output of the first composite frame in response to an event of terminating the display of the menu item.
  • the processor is configured to display the second menu item corresponding to a graphic frame different from the graphic frame on the video region and the graphic region in which the video content and the menu item are simultaneously displayed, respectively, in response to the second synthesis. Controls the frame to be output.
  • the processor controls the stored graphic frame or the first composite frame to be updated with a new graphic frame in response to an update event of the graphic frame.
  • An object of the present invention is to generate and output a first composite frame based on a video frame and a graphic frame; In response to an event of image effect processing, a video region corresponding to the video frame in a displayed image and a graphic region corresponding to the graphic frame are included, wherein the video region and the graphic region are subjected to the image effect processing. 2 generating a composite frame; and outputting the second composite frame.
  • the step of generating and outputting the first composite frame includes storing at least one of the graphic frame or the first composite frame, and the step of generating the second composite frame includes the stored graphic frame or the second composite frame. and synthesizing a video frame of the following sequence with one composite frame, and performing the image effect processing to generate the second composite frame.
  • the outputting of the second composite frame includes outputting the second composite frame in response to an event of simultaneously displaying video content corresponding to the video frame and a menu item corresponding to the graphic frame.
  • the method further includes outputting the first composite frame in response to an event of terminating the display of the menu item.
  • the method further includes updating the stored graphic frame or the first composite frame with a new graphic frame in response to the update event of the graphic frame.
  • the above object of the present invention is to generate a first composite frame based on a video frame and a graphic frame in a recording medium storing a computer program including a code for performing a control method of an electronic device as a computer readable code. outputting it; In response to an event of image effect processing, a video region corresponding to the video frame in a displayed image and a graphic region corresponding to the graphic frame are included, wherein the video region and the graphic region are subjected to the image effect processing. 2 generating a composite frame; and outputting the second composite frame can also be achieved by a recording medium in which a computer-readable program is recorded.
  • a video frame on which image effect processing is identically performed in response to an event requiring image effect processing on the composite frame, a video frame on which image effect processing is identically performed and an electronic device capable of outputting a composite frame based on the graphic frame, and a method for controlling the same.
  • FIG 1 illustrates an electronic device according to an embodiment of the present invention.
  • FIG. 2 shows an example of the configuration of the electronic device of FIG. 1 .
  • FIG. 3 shows a specific example of the configuration of the electronic device of FIG. 2 .
  • FIG. 4 shows an example of a control method for the electronic device of FIG. 1 .
  • FIG. 5 shows an example of generating a first composite frame in relation to operation S41 of FIG. 4 .
  • FIG. 6 illustrates an example of generating a first composite frame according to the related art in relation to operation S42 of FIG. 4 .
  • FIG. 7 shows an example of generating a second synthesized frame in relation to operation S42 of FIG. 4 .
  • FIG. 8 shows an example of generating a second composite frame by using a graphic frame or a first composite frame in relation to operation S42 of FIG. 4 .
  • FIG. 9 illustrates an example of an event requiring image effect processing in relation to operation S42 of FIG. 4 .
  • FIG. 10 illustrates an example of an event requiring termination of image effect processing in relation to operation S42 of FIG. 4 .
  • FIG. 11 illustrates another example of an event requiring image effect processing in relation to operation S42 of FIG. 4 .
  • FIG. 12 shows an example in which the graphic frame or the first composite frame of FIG. 8 is updated.
  • expressions such as “A or B”, “at least one of A and/and B”, or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B”, “at least one of A and B” or “at least one of A or B” includes at least one A, includes at least one B, or at least one A and at least one It can refer to all cases including all of B of .
  • expressions such as “first”, “second”, “first”, “second” may modify various components, regardless of order and/or importance, and do not limit the components. These expressions can be used to distinguish one component from another.
  • FIG 1 illustrates an electronic device according to an embodiment of the present invention.
  • the electronic device 10 includes not only an image display device such as a TV, a tablet, a portable media player, a wearable device, a video wall, an electronic picture frame, etc., but also an image processing device such as a set-top box without a display. , refrigerators, washing machines, and other household appliances, and information processing devices such as computer bodies.
  • the electronic device 10 is implemented as an artificial intelligence (AI) speaker, an AI robot, etc. equipped with an artificial intelligence function.
  • AI artificial intelligence
  • the type of the electronic device 10 is not limited thereto.
  • the electronic device 10 is implemented as a TV.
  • the electronic device 10 displays a video frame 1 or a graphic frame 2 .
  • the video frame 1 is a dynamic frame constituting an image in which an object in the screen continuously moves according to the passage of time, and includes a plurality of video frames 1 .
  • the graphic frame 2 means a static frame.
  • the electronic device 10 may display video content corresponding to the video frame 1 , for example, a sports program, or may display an EPG corresponding to the graphic frame 2 .
  • the EPG is guide information related to a broadcast program, and may include information consisting of a title of a broadcast program, a channel number of a broadcast program, a broadcast time of a broadcast program, a detailed description of a broadcast program, recording of a broadcast program, and other contents. .
  • the electronic device 10 may synthesize the video frame 1 with the graphic frame 2 , and generate and output the first synthesized frame 3 based on the synthesized video frame 1 and the graphic frame 2 .
  • the graphic frame 2 corresponds to the EPG for selecting a broadcast program channel number
  • the “Sport No. 20” channel is selected through the EPG for selecting a broadcast program channel number
  • the electronic device 10 displays a video frame
  • the first composite frame 3 may be generated and output. If the "Drama No. 19" channel is selected, the drama program of the channel "Drama No. 19" corresponding to the video frame (1) is synthesized in the EPG corresponding to the graphic frame (2), and the first composite frame (3) can be created.
  • the process of generating and outputting the first composite frame 3 will be described in detail with reference to FIG. 5 .
  • the electronic device 10 may generate and output the second composite frame 4 .
  • the second composite frame 4 includes a video frame 1 and a graphic frame 2 on which image effect processing is performed in the same manner. For example, when the image effect processing is blur, the electronic device 10 transmits the second composite frame 4 in which blur is performed on both the EPG for selecting the broadcast program channel number and the broadcast program of the "No. 20 sports" channel. You can create and print it.
  • the electronic device 10 performs the same video effect processing as the video frame ( 1) and the graphic frame 2 may generate and output the second composite frame 4 .
  • the process of generating and outputting the second composite frame 4 will be described in detail with reference to FIG. 7 .
  • the image effect is not limited to blur, it may include sharpening, filtering, and the like. However, hereinafter, for convenience of explanation, it is assumed that the image effect processing is blur.
  • Generation and output of the second composite frame 4 may be performed in response to an event of image effect processing.
  • the image effect processing event may be received through an internal user input unit 13 provided in the main body (refer to FIG. 3 ) or a remote controller 20 separated from the main body.
  • the event may be based on a user input received from the user, and the user input may be based on voice recognition processing performed according to a voice command.
  • a voice signal corresponding to a voice command is received from the remote controller 20 and voice recognition processing is performed on the received voice signal.
  • the speech recognition process includes a speech-to-text (STT) process for converting a voice command into text data, and a command identification and execution process for identifying a command indicated by the text data and performing an operation indicated by the identified command. do. All of the voice recognition processing may be executed in the electronic device 10 , but in consideration of the system load and required storage capacity, at least a part of the process is performed by at least one server communicatively connected to the electronic device 10 through a network. is carried out For example, at least one server performs an STT processing process, and the electronic device 10 performs a command identification and execution process. Alternatively, the at least one server may perform both the STT processing process and the command identification and execution process, and the electronic device 10 may only receive the result from the at least one server.
  • STT speech-to-text
  • a second composite frame 4 may be generated and output based on the performed video frame 1 and graphic frame 2 .
  • the video effect processing between the video frame 1 and the graphic frame 2 is not the same as the composite frame, which causes visual instability to the user. It can give a feeling, and such visual anxiety causes the overall image quality to deteriorate.
  • the electronic device 10 generates the second composite frame 4 based on the video frame 1 and the graphic frame 2 on which the image effect processing is performed in the same way, thereby providing visual stability to the user. In addition, it is possible to provide an image of improved quality.
  • FIG. 2 shows an example of the configuration of the electronic device of FIG. 1 .
  • the electronic device 10 may be implemented as various types of devices, and thus the present embodiment does not limit the configuration of the electronic device 10 . It is also possible that the electronic device 10 is not implemented as a display device such as a TV. In this case, the electronic device 10 may not include components for displaying an image, such as the display 12 . For example, when the electronic device 10 is implemented as a set-top box, the electronic device 10 outputs an image signal to an external TV through the interface unit 11 .
  • the electronic device 10 includes an interface unit 11 .
  • the interface unit 11 transmits/receives data by connecting to a server, other external devices, and the like. However, since the present invention is not limited thereto, the interface unit 11 connects to various devices connected through a network.
  • the interface unit 11 includes a wired interface unit.
  • the wired interface unit includes a connector or port to which an antenna capable of receiving a broadcast signal according to a broadcasting standard such as terrestrial/satellite broadcasting is connected, or a cable capable of receiving a broadcast signal according to the cable broadcasting standard is connected.
  • the electronic device 10 may have a built-in antenna capable of receiving a broadcast signal.
  • the wired interface includes a connector or port according to video and/or audio transmission standards, such as HDMI port, DisplayPort, DVI port, Thunderbolt, Composite video, Component video, Super Video, SCART, etc. includes
  • the wired interface unit includes a connector or port according to a universal data transmission standard such as a USB port.
  • the wired interface unit includes a connector or a port to which an optical cable can be connected according to an optical transmission standard.
  • the wired interface unit is connected to an internal audio receiver and an external audio device having an audio receiver, and includes a connector or port capable of receiving or inputting an audio signal from the audio device.
  • the wired interface unit is connected to an audio device such as a headset, earphone, or external speaker, and includes a connector or port capable of transmitting or outputting an audio signal to the audio device.
  • the wired interface unit includes a connector or port according to a network transmission standard such as Ethernet.
  • the wired interface unit is implemented as a LAN card connected to a router or a gateway by wire.
  • the wired interface unit is connected to an external device such as a set-top box, an optical media player, or an external display device, a speaker, a server, etc. in a 1:1 or 1:N (N is a natural number) method through the connector or port, so that the corresponding It receives a video/audio signal from an external device or transmits a video/audio signal to the corresponding external device.
  • the wired interface unit may include a connector or a port for separately transmitting video/audio signals.
  • the wired interface unit may be embedded in the electronic device 10 , or implemented in the form of a dongle or a module to be detachably attached to the connector of the electronic device 10 .
  • the interface unit 11 includes a wireless interface unit.
  • the wireless interface unit is implemented in various ways corresponding to the implementation form of the electronic device 10 .
  • the wireless interface unit uses wireless communication such as RF (Radio Frequency), Zigbee, Bluetooth, Wi-Fi, UWB (Ultra-Wideband) and NFC (Near Field Communication) as a communication method. do.
  • the wireless interface unit is implemented as a wireless communication module for performing wireless communication with the AP according to the Wi-Fi method or a wireless communication module for performing one-to-one direct wireless communication such as Bluetooth.
  • the wireless interface unit transmits and receives data packets to and from the server by wirelessly communicating with the server on the network.
  • the wireless interface unit includes an IR transmitter and/or an IR receiver capable of transmitting and/or receiving an IR (Infrared) signal according to an infrared communication standard.
  • the wireless interface unit receives or inputs a remote controller signal from the remote controller 20 or another external device through the IR transmitter and/or the IR receiver, or transmits or outputs a remote controller signal to the remote controller 20 or another external device.
  • the electronic device 10 transmits/receives a remote controller signal to and from the remote controller 20 or another external device through a wireless interface unit of another method such as Wi-Fi or Bluetooth.
  • the electronic device 10 When the video/audio signal received through the interface unit 11 is a broadcast signal, the electronic device 10 further includes a tuner for tuning the received broadcast signal for each channel.
  • the electronic device 10 includes a display 12 .
  • the display 12 includes a display panel capable of displaying an image on a screen.
  • the display panel is provided with a light-receiving structure such as a liquid crystal type or a self-luminous structure such as an OLED type.
  • the display 12 may further include an additional configuration according to the structure of the display panel.
  • the display panel is a liquid crystal type
  • the display 12 includes a liquid crystal display panel, a backlight unit for supplying light, and a panel driving substrate for driving the liquid crystal of the liquid crystal display panel.
  • the display 12 is omitted when the electronic device 10 is implemented as a set-top box or the like.
  • the electronic device 10 includes a user input unit 13 .
  • the user input unit 13 includes various types of input interface related circuits provided to allow a user to manipulate the user in order to perform a user input.
  • the user input unit 13 may be configured in various forms depending on the type of the electronic device 10 , for example, a mechanical or electronic button unit of the electronic device 10 , a touch pad, or a touch screen installed on the display 12 . etc.
  • the electronic device 10 includes a communication unit 14 .
  • the communication unit 14 is connected to a server or other external device to transmit video/audio signals.
  • the communication unit 14 includes at least one of a wired interface unit and a wireless interface according to a design method, and performs at least one function of the wired interface unit and the wireless interface.
  • the electronic device 10 includes an output unit 15 .
  • the output unit 15 outputs various audio based on the audio signal.
  • the output unit 15 is implemented with at least one speaker.
  • the output unit 15 is implemented as an internal speaker provided in the electronic device 10 or an external speaker provided outside. When the output unit 15 is implemented as an external speaker, the electronic device 10 transmits an audio signal to the external speaker by wire or wirelessly.
  • the electronic device 10 includes an audio receiver.
  • the audio receiver receives various audio signals.
  • the audio receiver receives not only the signal of the user's voice, but also the signal of the audio introduced from the surroundings, such as noise.
  • the audio receiver transmits the collected audio signal to the processor 5 .
  • the audio receiver is implemented as an internal microphone provided in the electronic device 10 or an external microphone provided in the remote controller 20 separated from the main body. When the audio receiving unit is implemented as an external microphone, the audio signal received through the external microphone is digitized and received from the remote controller 20 through the interface unit 11 .
  • the remote controller 20 includes a smart phone and the like, and the remote controller application is installed on the smart phone or the like.
  • a smartphone or the like performs a function of the remote controller 20, for example, a function of controlling the electronic device 10 through an installed application.
  • These remote controller applications are installed in various external devices such as AI speakers and AI robots.
  • the electronic device 10 includes a sensor unit.
  • the sensor unit senses the front of the electronic device 10 to detect the presence, movement, etc. of a user or other electronic device.
  • the sensor unit may be implemented as an image sensor, captures the front of the electronic device 10, and acquires information about the presence, movement, etc. of the user or other electronic device from the captured image.
  • the image sensor is implemented as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD) type camera.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the sensor unit may be implemented as an infrared sensor, and obtains information about the presence, movement, etc. of a user or other electronic device by measuring a time when an infrared signal outputted to the front is reflected and returned.
  • the display 12 , the user input unit 13 , the communication unit 14 , the output unit 15 , the audio receiving unit, the sensor unit, etc. have been described as separate components from the interface unit 11 , but the interface unit 11 according to the design method ) to be included in the
  • the electronic device 10 includes a storage unit 16 .
  • the storage unit 16 stores digitized data.
  • the storage unit 16 includes storage of non-volatile properties capable of preserving data regardless of whether or not power is provided.
  • the storage includes a flash-memory, a hard-disc drive (HDD), a solid-state drive (SSD), a read only memory (ROM), and the like.
  • the storage unit 16 is loaded with data to be processed by the processor 5 , and includes a volatile memory that cannot store data when power is not provided.
  • the memory includes a buffer-memory (42), a random access memory (RAM), and the like.
  • the electronic device 10 includes a processor 5 .
  • the processor 5 includes one or more hardware processors implemented with a CPU, a chipset, a buffer, a circuit, etc. mounted on a printed circuit board, and may be implemented as a system on chip (SOC) depending on a design method.
  • SOC system on chip
  • the processor 5 includes modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio digital signal processor (DSP), and an amplifier.
  • modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio digital signal processor (DSP), and an amplifier.
  • DSP digital signal processor
  • some or all of these modules are implemented as SOC.
  • a module related to image processing such as a demultiplexer, a decoder, and a scaler, may be implemented as an image processing SOC
  • an audio DSP may be implemented as a chipset separate from the SOC.
  • the configuration of the electronic device 10 is not limited to that shown in FIG. 2 , some of the above-described components may be excluded or include components other than the above-described components according to a design method.
  • FIG. 3 shows a specific example of the configuration of the electronic device of FIG. 2 .
  • the present embodiment describes a case where the electronic device 10 is a TV, the electronic device 10 may be implemented as various types of devices, and thus the present embodiment does not limit the configuration of the electronic device 10 .
  • the electronic device 10 includes a video processing unit 31 .
  • the video processing unit 31 outputs a video frame 1 .
  • the video frame 1 includes a dynamic frame constituting an image in which an object in the screen continuously moves according to the passage of time.
  • the electronic device 10 includes a graphic processing unit 34 .
  • the graphic processing unit 34 outputs the graphic frame 2 .
  • the graphic frame 2 includes a static frame in which an object in the screen does not move according to the passage of time.
  • the electronic device 10 includes a scaler 32 .
  • the scaler 32 adjusts the size and position of the video frame 1 .
  • the scaler 32 may reduce the size of the video frame 1 to fit one area of the graphic frame 2 to generate the first composite frame 3 .
  • the scaler 32 may reduce the size of the video frame 1 to fit the video region 6 (refer to FIG. 5 ) corresponding to the video frame 1 included in the first composite frame 3 .
  • the video area 6 includes one area of the graphic frame 2 .
  • the scaler 32 may convert the resolution of the video frame 1 to a higher resolution.
  • the electronic device 10 includes a mixer 33 .
  • the mixer 33 generates the first composite frame 3 by synthesizing the video frame 1 with the graphic frame 2 .
  • the video frame 1 synthesized into the graphic frame 2 by the mixer 33 may have been adjusted in size and position through the scaler 32 .
  • the first composite frame 3 generated through the mixer 33 may be output and displayed on the display 12 .
  • the mixer 33 receives the second composite frame 4 on which the image effect processing is performed by the processing unit 37 in response to the activation of the processing unit 37 to be described below.
  • the mixer 33 may bypass the received second composite frame 4 to the display 12 in response to the activation of the processing unit 37 .
  • a process in which the mixer 33 bypasses the second synthesis frame 4 will be described in detail in relation to the processing unit 37 to be described below.
  • the electronic device 10 includes a buffer memory 35 .
  • the buffer memory 35 stores the graphic frame 2 or the first composite frame 3 .
  • the graphic frame 2 or the first composite frame 3 may not be subjected to image effect processing.
  • the buffer memory 35 may store the graphic frame 2 or the first composite frame 3 in response to activation of the processing unit 37 to be described below.
  • the buffer memory 35 may store the video frame 1 output from the video processing unit 31 in response to the activation of the processing unit 37 . Data stored in the buffer memory 35 will be described in detail with reference to FIG. 8 .
  • the electronic device 10 includes a synthesizing unit 36 .
  • the synthesizing unit 36 synthesizes the video frame 1 with the graphic frame 2 or the first synthesizing frame 3 stored in the buffer memory 35 in response to the activation of the processing unit 37 .
  • the synthesizing unit 36 may perform scaling on the video frame 1 to synthesize the video frame 1 into the graphic frame 2 or the first synthesizing frame 3 .
  • scaling of the video frame 1 may be performed by the buffer memory 35 or may be performed by a separate configuration included in the buffer memory 35 .
  • the combining unit 36 may reduce the size of the video frame 1 to fit the video region 6 (refer to FIG. 7 ) corresponding to the video frame 1 .
  • the video area 6 includes one area of the graphic frame 2 or the first composite frame 3 .
  • the electronic device 10 includes a processing unit 37 .
  • the processing unit 37 is activated in response to an event requiring image effect processing.
  • the event requiring image effect processing may be based on a user input received through the user input unit 13 .
  • the user input may be based on voice recognition processing performed according to a voice command from the user.
  • the processing unit 37 generates a second synthesized frame 4 by performing image effect processing on the frame synthesized by the combining unit 36 .
  • the frame synthesized by the synthesizing unit 36 includes a synthesizing frame between the video frame 1 and the graphic frame 2 or a synthesizing frame between the video frame 1 and the first synthesizing frame 3 . do.
  • the image effect processing may include blurring, sharpening, filtering, and the like.
  • the processing unit 37 may perform additional image processing on the second composite frame 4 on which image effect processing has been performed.
  • the additional image processing may include various image processing such that the second composite frame 4 on which the image effect processing has been performed can be displayed on the display 12 .
  • the processing unit 37 may include a graphic processing unit (GPU) for additional image processing.
  • GPU graphic processing unit
  • the processing unit 37 may include a configuration for performing the image effect processing described above and a configuration for performing additional image processing.
  • the processing unit 37 may include an effective unit for generating the second synthesized frame 4 by performing image effect processing on the frame synthesized by the combining unit 36 .
  • the processing unit 37 may include an effect processing unit that performs additional image processing on the second composite frame 4 on which the image effect processing has been performed.
  • the processing unit 37 performs image effect processing, etc. is described as performing
  • the mixer 33 receives the second composite frame 4 on which the image effect processing is performed from the processing unit 37 in response to the activation of the processing unit 37 .
  • the second composite frame 4 may have been subjected to additional image processing in addition to image effect processing.
  • the mixer 33 outputs the second composite frame 4 to the display 12, and performs a bypass function.
  • the mixer 33 synthesizes the video frame 1 whose size, position, etc. have been adjusted through the scaler 32 into the graphic frame 2 , and the first synthesis Create a frame (3). That is, since the mixer 33 performs a bypass function on the second synthesis frame 4 received from the processing unit 37 in response to the activation of the processing unit 37, each other depending on whether the processing unit 37 is activated. It can perform other functions.
  • the configuration of the electronic device 10 is not limited to that shown in FIG. 3 , some of the aforementioned configurations may be excluded or other configurations may be included depending on a design method.
  • some of the components illustrated in FIG. 3 may be included in the processor 5 of FIG. 2 , or some of the operations of the components illustrated in FIG. 3 may be performed by the processor 5 .
  • the synthesizing unit 36 , the processing unit 37 , and the like may be implemented in software by the processor 5 .
  • the processor 5 When the video processing unit 31 outputs the video frame 1 and the graphic processing unit 34 outputs the graphic frame 2, the processor 5 generates a second output based on the video frame 1 and the graphic frame 2
  • the mixer 33 is controlled to generate and output one synthesis frame 3 . The above operation may be performed in response to deactivation of the processing unit 37 .
  • the processor 5 includes a video area 6 corresponding to a video frame 1 in a displayed image and a graphic area 7 corresponding to a graphic frame 2 in response to an event of image effect processing, A second composite frame 4 on which image effect processing is performed is generated in the area 6 and the graphic area 7 , and the second composite frame 4 is controlled to be output through the mixer 33 .
  • the above operation may be performed in response to the activation of the processing unit 37 .
  • the processor 5 of the electronic device 10 generates an artificial intelligence system by applying an artificial intelligence technology using a rule-based or artificial intelligence algorithm to at least a part of data analysis, processing, and result information generation for the above operations. build
  • An artificial intelligence system is a computer system that implements human-level intelligence, and the machine learns and judges by itself, and the recognition rate improves the more it is used.
  • Artificial intelligence technology is composed of elemental technologies that simulate functions such as cognition and judgment of the human brain using at least one of machine learning, a neural network, or a deep learning algorithm.
  • the element technologies are linguistic understanding technology that recognizes human language/text, visual understanding technology that recognizes objects as if they were human eyes, reasoning/prediction technology that logically infers and predicts information by judging information, and uses human experience information as knowledge data. It may include at least one of a knowledge expression technology that is processed with
  • Linguistic understanding is a technology for recognizing and applying/processing human language/text, and includes natural language processing, machine translation, dialogue system, question and answer, and speech recognition/synthesis.
  • Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, image improvement, and the like.
  • Inference prediction is a technology for logically reasoning and predicting by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation/classification) and knowledge management (data utilization).
  • the artificial intelligence technology using the artificial intelligence algorithm is implemented by the processor 5 of the electronic device 10
  • the same artificial intelligence technology can be implemented by the server processor of the server.
  • the processor 5 performs the functions of the learning unit and the recognition unit together.
  • the learning unit performs a function of generating a learned neural network network
  • the recognition unit performs a function of recognizing, inferring, predicting, estimating, and judging data using the learned neural network network.
  • the learning unit creates or updates a neural network.
  • the learning unit acquires learning data to generate a neural network.
  • the learning unit acquires the learning data from the storage unit 16 or the server storage unit, or acquires it from the outside.
  • the training data may be data used for learning of the neural network, and the neural network may be trained by using the data obtained by performing the above-described operation as learning data.
  • the learning unit performs preprocessing on the acquired training data before training the neural network using the training data, or selects data to be used for learning from among a plurality of training data. For example, the learning unit processes the learning data in a preset format, filters, or adds/remove noise to form data suitable for learning. The learning unit generates a neural network set to perform the above-described operation by using the pre-processed learning data.
  • the learned neural network network is composed of a plurality of neural network networks or layers. Nodes of the plurality of neural networks have weights, and the plurality of neural networks are connected to each other so that an output value of one neural network is used as an input value of another neural network.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and Including models such as Deep Q-Networks.
  • the recognition unit acquires target data to perform the above-described operation.
  • the target data is obtained from the storage unit 16 or the server storage unit, or is obtained from the outside.
  • the target data may be data to be recognized by the neural network.
  • the recognition unit performs preprocessing on the acquired target data before applying the target data to the learned neural network, or selects data to be used for recognition from among a plurality of target data. For example, the recognition unit processes target data into a preset format, filters, or adds/remove noise to form data suitable for recognition.
  • the recognition unit obtains an output value output from the neural network by applying the preprocessed target data to the neural network.
  • the recognition unit obtains a probability value or a reliability value together with the output value.
  • FIG. 4 shows an example of a control method for the electronic device of FIG. 1 .
  • Each operation described below with reference to FIG. 4 may be executed by the processor 5 of the electronic device 10 .
  • the processor 5 generates and outputs the first composite frame 3 based on the video frame 1 and the graphic frame 2 (S41).
  • the processor 5 includes a video area 6 corresponding to a video frame 1 in a displayed image and a graphic area 7 corresponding to a graphic frame 2 in response to an event of image effect processing, A second composite frame 4 on which image effect processing is performed is generated in the area 6 and the graphic area 7 (S42).
  • the processor 5 controls the second composite frame 4 to be output (S43).
  • the processor 5 generates and outputs the second composite frame 4 based on the video frame 1 and the graphic frame 2 on which the image effect processing is performed in the same manner in response to the event of the image effect processing. can do. Accordingly, in a device configuration in which image effect processing is performed on the graphic frame 2 before synthesizing with the video frame 1, it is possible to provide visual stability to the user as well as provide an image of improved quality.
  • FIG. 5 shows an example of generating a first composite frame in relation to operation S41 of FIG. 4 .
  • the graphic frame 2 is output from the graphic processing unit 34 , and is sent to the mixer 33 without image effect processing by the processing unit 37 . is transmitted
  • the processor 5 may control the size and position of the first video frame 41 among the plurality of video frames 1 to be adjusted. Adjusting the size and position of the first video frame 41 may be performed by the scaler 32 under the control of the processor 5 .
  • the graphic frame 2 corresponds to the EPG for selecting a broadcast program channel number
  • the video frame 1 corresponds to the broadcast program of the channel selected through the EPG
  • the first composite frame a 51 The size of the first video frame 41 is adjusted to correspond to the size of the video area 6 in which the included broadcast program is displayed, or the position of the first video frame 41 is adjusted according to the location of the video area 6 . can
  • the processor 5 may control the first composite frame a 51 to be generated by synthesizing the first video frame 41 on which the size and position adjustment has been performed with the graphic frame 2 .
  • the generation of the first synthesis frame a 51 may be performed by the mixer 33 under the control of the processor 4 .
  • the generated first composite frame a 51 includes a video area 6 corresponding to the first video frame 41 and a graphic area 7 corresponding to the graphic frame 2 .
  • a broadcast program may be displayed in the video area 6 of the first composite frame a 51
  • an EPG may be displayed in the graphic area 7 .
  • the second video frame 42 which is the next video frame of the first video frame 41 , is also adjusted in size and position like the first video frame 41 , so that the graphic frame It can be synthesized in (2).
  • the first composite frame b 52 may be generated.
  • a first composite frame a 51 , a first composite frame b 52 , etc. based on the first video frame 41 and the second video frame 42 are generated.
  • the graphic frame 2 on which image effect processing is not performed is displayed. Since image effect processing has not been performed on the video frame 1, the image effect processing is not performed on the video region 6 included in the first combined frame a 51 and the first combined frame b 52. A video frame 1 is displayed.
  • the processor 5 processes image effects on the video region 6 corresponding to the video frame 1 and the graphic region 7 corresponding to the graphic frame 2 . It is possible to generate the first composite frame 3 in which is not performed.
  • FIG. 6 illustrates an example of generating a first composite frame according to the related art in relation to operation S42 of FIG. 4 .
  • the related art also described with reference to FIG. 6 may include configurations corresponding to the scaler 32 , the mixer 33 , the processing unit 37 , and the like, as described with reference to FIG. 3 .
  • each configuration of the related art corresponding to each configuration of the present invention will be named as a scaler 32 , a mixer 33 , a processing unit 37 , and the like.
  • the processing unit 37 when there is an event requiring image effect processing, the processing unit 37 is activated.
  • image effect processing is performed on the graphic frame 2 .
  • the processing unit 37 may perform image effect processing on the graphic frame 2 or may perform additional image processing on the graphic frame 2 on which image effect processing is performed.
  • the processing unit 37 may include a separate component for performing image effect processing or additional image processing.
  • the processing unit 37 may include an effective use unit and an effect processing unit.
  • the mixer 33 synthesizes the first video frame 41 among the plurality of video frames 1 with the graphic frame 2 on which the image effect processing has been performed to generate a first composite frame a 61 .
  • the first video frame 41 may have been adjusted in size and position through the scaler 32 for synthesis with the graphic frame 2 .
  • the first composite frame a 61 based on the first video frame 41 is generated based on the graphic frame 2 on which the image effect processing is performed once and the first video frame 41 on which the image effect processing is not performed. do. That is, the first composite frame a 61 is generated based on the first video frame 41 and the graphic frame 2 on which image effect processing is not performed identically.
  • the processing unit 37 performs the video effect
  • the image effect processing is performed again with respect to the graphic frame 2 on which the processing has been performed once. Additional image processing may be performed on the graphic frame 2 on which the image effect processing has been performed again.
  • the mixer 33 generates a first composite frame b 62 by synthesizing the second video frame 42 with the graphic frame 2 on which the image effect processing has been performed twice.
  • the second video frame 42 may have been adjusted in size and position through the scaler 32 .
  • the first composite frame b 62 based on the second video frame 42 includes a graphic frame 2 on which image effect processing is performed twice and a second video frame 42 on which image effect processing is not performed. That is, the first composite frame b 62 is generated based on the second video frame 42 and the graphic frame 2 on which image effect processing is not performed identically.
  • the image effect processing for the graphic frame (2) is repeatedly performed.
  • a first composite frame (3) based on the video frame (1) that has not been performed is generated.
  • the video frame 1 and the graphic A first composite frame 3 in which image effect processing is selectively performed with respect to the frame 2 is generated.
  • the first composite frame 3 in which image effect processing is performed identically with respect to the video frame 1 and the graphic frame 2 is not generated.
  • FIG. 7 shows an example of generating a second synthesized frame in relation to operation S42 of FIG. 4 .
  • the processor 5 synthesizes the first video frame 41 among the plurality of video frames 1 into the graphic frame 2 to form a first composite frame. It can be controlled so that a(51) is generated. Compositing between the first video frame 41 and the graphic frame 2 may be performed by the synthesizing unit 36 under the control of the processor 5 .
  • the first video frame 41 may have been adjusted in size and position.
  • the processor 5 performs image effect processing on the first composite frame a 51 once, so that the second composite frame a 71 is generated.
  • the second composite frame a 71 includes a video region 6 corresponding to the first video frame 41 on which the image effect processing is performed once and a graphic corresponding to the graphic frame 2 on which the image effect processing is performed once. It includes a region (7). That is, in the video region 6 and the graphic region 7 included in the second composite frame a 71 based on the first video frame 41, the first video frame 41 on which the image effect processing is performed identically. and a graphic frame 2 are displayed. If necessary, additional image processing may be performed on the second composite frame a 71 .
  • the second composite frame a 71 may be bypassed to the display 12 .
  • the bypass to the display 12 may be performed by the mixer 33 under the control of the processor 5 .
  • the processor 5 generates a second composite frame b 72 based on a second video frame 42 that is a video frame following the first video frame 41 among the plurality of video frames 1 .
  • the graphic frame 2 or the first composite frame a 51 may be utilized.
  • the processor 5 generates a first composite frame b 52 by synthesizing the second video frame 42 with the graphic frame 2 or previously generated based on the first video frame 41 .
  • the first composite frame b 52 may be generated by synthesizing the second video frame 42 with the first composite frame a 51 .
  • the graphic frame 2 or the first composite frame a 51 may not have image effect processing performed.
  • the graphic frame 2 may be one in which graphic content is maintained without being changed.
  • the first composite frame b 52 may be generated by synthesizing the second video frame 42 with the graphic frame 2 on which image effect processing is not performed.
  • the processor 5 performs image effect processing on the first composite frame b 52 once to generate the second composite frame b 72 .
  • the image effect processing may be performed by the processing unit 37 under the control of the processor 5 .
  • the second composite frame b 72 is a video region 6 corresponding to the second video frame 42 on which the image effect processing is performed once, and a graphic corresponding to the graphic frame 2 on which the image effect processing is performed once. It includes a region (7). In the video area 6 and the graphic area 7 included in the second composite frame b 72 , the second video frame 42 and the graphic frame 2 on which the image effect processing is performed are displayed.
  • the process of generating the second composite frame b 72 based on the first composite frame b 52 generated by synthesizing the second video frame 42 with the first composite frame a 51 is also illustrated in the graphic frame ( It is similar to the process of generating the second composite frame b 72 based on the first composite frame b 52 generated by synthesizing the second video frame 42 in 2). That is, the processor 5 performs image effect processing once on the first synthesized frame b 52 generated by synthesizing the second video frame 42 with the first synthesized frame a 51 to obtain the second synthesized frame. Let b(72) be created.
  • the image effect processing may be performed by the processing unit 37 under the control of the processor 5 .
  • the second composite frame b 72 is a video region 6 corresponding to the second video frame 42 on which the image effect processing is performed once, and a graphic corresponding to the graphic frame 2 on which the image effect processing is performed once. It includes a region (7). In the video area 6 and the graphic area 7 included in the second composite frame b 72 , the second video frame 42 and the graphic frame 2 on which the image effect processing is performed are displayed.
  • the processor 5 performs the same video effect processing as the video frame 1 and the graphic frame.
  • the second composite frame 4 may be generated and output. Accordingly, through the second composite frame 4 on which the image effect processing is performed in the same manner, it is possible to provide a visual stability to the user as well as provide an image of improved quality.
  • FIG. 8 shows an example of generating a second composite frame by using a graphic frame or a first composite frame in relation to operation S42 of FIG. 4 .
  • the processor 5 may utilize the graphic frame 2 or the first composite frame 3 stored in the buffer memory 35 in generating the second composite frame 4 .
  • the graphic frame 2 or the first composite frame 3 stored in the buffer memory 35 may not have image effect processing performed.
  • the graphic frame 2 may be output from the graphic processing unit 34 and stored in the buffer memory 35 .
  • the first composite frame 3 may be generated by synthesizing the video frame 1 with the graphic frame 2 initially output from the graphic processing unit 34 . As described with reference to FIG. 7 , the first composite frame 3 is obtained by synthesizing the first video frame 41 among the plurality of video frames 1 with the graphic frame 2 first outputted from the graphic processing unit 34 . It includes the generated first composite frame a (51).
  • the processor 5 may capture the generated first composite frame 3 and store it in the buffer memory 35 .
  • the graphic frame 2 or the first composite frame 3 on which image effect processing is not performed is It may be obtained in various ways and stored in the buffer memory 35 .
  • the video frame 1 may be stored in the buffer memory 35 according to the activation of the processing unit 37 .
  • the video frame 1 may be scaled and stored in the buffer memory 35 , or after being stored in the buffer memory 35 , scaling may be performed under the control of the processor 5 .
  • the buffer memory 35 may directly perform scaling on the video frame 1 or may include a separate configuration for scaling.
  • the video frame 1 stored in the buffer memory 35 is synthesized with the graphic frame 2 to generate the first composite frame 3 .
  • Compositing between the video frame 1 and the graphic frame 2 may be performed by the synthesizing unit 36 .
  • the second composite frame 4 may be generated.
  • the video frame 1 may not pass through the buffer memory 35 .
  • the first composite frame 3 may be generated by synthesizing the video frame 1 output from the video processing unit 31 with the graphic frame 2 .
  • the process of generating the second composite frame 4 by utilizing the first composite frame 3 stored in the buffer memory 35 is also shown in the second composite frame ( 4) is similar to the process of creating That is, the video frame 1 stored in the buffer memory 35 is synthesized with the first composite frame 3 to generate a new first composite frame 3 . Then, by performing image effect processing on the new first composite frame 3 , the second composite frame 4 can be generated.
  • the processor 5 generates a second composite frame a 71 based on the first video frame 41 among the plurality of video frames 1, and a second video frame that is the next video frame of the first video frame 41.
  • a second composite frame b 72 based on the two video frames 42 may be generated and output.
  • the second composite frame a 71 includes the first video frame 41 and the graphic frame 2 on which image effect processing is performed in the same manner, and the second composite frame b 72 has the same image effect processing performed. and a second video frame 42 and a graphic frame 2 .
  • the processor 5 can utilize the graphic frame 2 or the first composite frame 3 stored in the buffer memory 35 when generating the second composite frame 4 , so that the second composite frame 4 can be generated more quickly.
  • a composite frame 4 can be generated and output.
  • FIG. 9 illustrates an example of an event requiring image effect processing in relation to operation S42 of FIG. 4 .
  • the processor 5 may control the second composite frame 4 to be output in response to an event in which video content corresponding to the video frame 1 and a menu item corresponding to the graphic frame 2 are simultaneously displayed. That is, the processor 5 may identify an event in which video content and a menu item are simultaneously displayed as an event requiring image effect processing.
  • an example of an event in which video content and a menu item are simultaneously displayed will be described with reference to FIG. 9 .
  • the processor 5 may identify whether there is an event initiating display of a menu item corresponding to the graphic frame 2 in a situation in which video content is displayed. When there is an event for starting the display of the menu item corresponding to the graphic frame 2 ( S91 ), the processor 5 may identify it as an event in which the video content and the menu item are simultaneously displayed. Accordingly, the processor 5 may control the generation and output of the second composite frame 4 (S92).
  • the processor 5 determines whether the EPG for selecting a broadcast program channel number corresponding to the graphic frame 2 is executed while which broadcast program corresponding to the video frame 1 is displayed. can be identified. If the EPG is executed while the broadcast program is being displayed, the processor 5 identifies the broadcast program and the EPG as an event simultaneously displayed, and generates and outputs the second composite frame 4 based on the broadcast program and the EPG. can be controlled
  • the first composite frame 3 may be generated by synthesizing the video frame 1 with the graphic frame 2 .
  • the processor 5 may identify whether there is a video content selection event while the video content corresponding to the video frame 1 is displayed on the video region 6 included in the first composite frame 3 .
  • the video content selected by the selection event may be different from the video content displayed first.
  • the processor 5 may identify it as an event in which video content and a menu item are simultaneously displayed. Accordingly, the processor 5 may control to generate and output the second composite frame 4 (S92).
  • the processor 5 can identify an event requiring image effect processing for each situation, it can actively generate and output the second composite frame 4 in various situations.
  • FIG. 10 illustrates an example of an event requiring termination of image effect processing in relation to operation S42 of FIG. 4 .
  • the processor 5 may identify an event in which video content and a menu item are simultaneously displayed as an event requiring image effect processing, and generate and output the second composite frame 4 . (S101).
  • the processor 5 may identify whether there is an event to end the display of the menu item, and if there is an event to end the display of the menu item ( S102 ), it may be identified as an event requiring the end of the image effect processing. Accordingly, the processor 5 may control the generation and output of the second composite frame 4 to be terminated, and to generate and output the first composite frame 3 (S92).
  • the processor 5 determines that the video effect processing ends It is identified as a necessary event, and generation and output of the second composite frame 4 may be terminated.
  • the processor 5 can identify an event requiring the end of the image effect processing for each situation, it actively terminates the generation and output of the second composite frame 4 and outputs the first composite frame 3 . You can control the creation and output.
  • FIG. 11 illustrates another example of an event requiring image effect processing in relation to operation S42 of FIG. 4 .
  • the processor 5 displays the second menu item 110 corresponding to the second graphic frame different from the first graphic frame 2 on the graphic area 7 included in the first composite frame 3 . It can be identified whether
  • the second menu item 110 may be of a different type from the first menu item corresponding to the and first graphic frame 2 .
  • the second menu item 110 may be an EPG indicating history information about a broadcast program.
  • the second menu item 110 may include various types of EPGs different from those of the first menu item.
  • the processor 5 may identify it as an event requiring image effect processing. In this case, as described with reference to FIG. 9 , the processor 5 performs image effect processing on the first composite frame 3 generated by synthesizing the video frame 1 with the first graphic frame 2 . , the second composite frame 4 may be generated.
  • the processor 5 identifies this as an event requiring the end of the image effect processing, and as described with reference to FIG. 10 , the generation of the second composite frame 4 and Output can be terminated.
  • the processor 5 can identify an event requiring image effect processing for each situation, the second composite frame 4 can be actively generated and outputted.
  • FIG. 12 shows an example in which the graphic frame or the first composite frame of FIG. 8 is updated.
  • the second composite frame 4 is generated by using the graphic frame 2 or the first composite frame 3 stored in the buffer memory 35 .
  • a process in which an update is performed on the graphic frame 2 or the first composite frame 3 stored in the buffer memory 35 will be described with reference to FIG. 12 .
  • the first menu item corresponding to the graphic frame 2 stored in the buffer memory 35 is an EPG for selecting a broadcast program channel number
  • the second menu item 120 corresponding to the new graphic frame It is assumed that is an EPG for broadcasting program recording.
  • the second composite frame 4 may be generated based on the EPG for selecting the broadcast program corresponding to the video frame 1 and the broadcast program channel number corresponding to the graphic frame 2 .
  • a new graphic frame 120 corresponding to the EPG for recording a broadcast program is stored in the buffer memory 35 . That is, the previously stored graphic frame 2 is changed to a new graphic frame 120 .
  • the change to the EPG for recording a broadcast program may be performed according to a user input for changing the EPG.
  • the processor 5 for the subsequent video frame 1 based on the EPG for recording a broadcast program corresponding to the new graphic frame 120, the first composite frame (3) ), or the second composite frame 4 may be generated and output.
  • a first composite frame 3 is generated by synthesizing a video frame 1 stored in the buffer memory 35 and a new graphic frame 120 , and a video effect is applied to the generated first composite frame 3 .
  • the second composite frame 4 based on the new graphic frame 120 on which the image effect processing is performed may be generated.
  • the first composite frame 3 initially generated based on the new graphic frame 120 may be utilized. That is, the processor 5 stores the new first composite frame 3 in the buffer memory 35 , and the subsequent video frame 1 is synthesized with the new first composite frame 3 for second synthesis.
  • a frame 4 may be generated and output. As described above, the generated and output second composite frame 4 includes the video frame 1 and the new graphic frame 120 on which the image effect processing is performed in the same manner.
  • the graphic frame 2 or the first composite frame 3 stored in the buffer memory 35 is updated, and the second composite frame 4 can be generated and output. Therefore, it is possible to adaptively generate and output the second composite frame 4 .
  • Various embodiments disclosed in this document are implemented as software including one or more instructions stored in a storage medium readable by a machine such as the electronic device 10 .
  • the processor 5 of the electronic device 10 calls at least one of the one or more instructions stored from the storage medium and executes it. This enables a device such as the electronic device 10 to be operated to perform at least one function according to the called at least one command.
  • the one or more instructions include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium is provided in the form of a non-transitory storage medium.
  • the 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave), and this term refers to a case in which data is semi-permanently stored in a storage medium and a case in which data is temporarily stored. case is not distinguished.
  • the 'non-transitory storage medium' includes a buffer in which data is temporarily stored.
  • a computer program product includes instructions of software executed by a processor, as mentioned above.
  • Computer program products are traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg, CD-ROM), or via an application store (eg, Play StoreTM) or between two user devices (eg, smartphones).
  • Direct, online distribution eg, download or upload.
  • at least a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. Temporarily saved or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 비디오프레임 및 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하고, 영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 비디오프레임에 대응하는 비디오영역 및 그래픽프레임에 대응하는 그래픽영역을 포함하며, 비디오영역 및 그래픽영역에 영상 효과 처리가 수행된 제2합성 프레임을 생성하고, 제2합성프레임을 출력하는 전자장치에 관한 발명이다.

Description

전자장치 및 그 제어방법
본 출원은 2020년 9월 23일자로 대한민국 특허청에 제출된 대한민국 특허 출원번호 제10-2020-0122785호에 기초한 우선권을 주장하며, 그 개시 내용은 전체가 참조로 본 발명에 포함된다.
본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 상세하게는, 비디오프레임 및 그래픽프레임에 기초하여 합성프레임을 출력하는 전자장치 및 그 제어방법에 관한 것이다.
전자장치는 그래픽프레임에 비디오프레임을 합성한 합성프레임을 생성하여 표시할 수 있다. 일 예로, 전자장치는 그래픽프레임에 대응하는 방송 프로그램 채널 번호 선택을 위한 EPG(Electric Program Guide)를 표시하고, 비디오프레임에 대응하는 선택된 채널의 방송 프로그램을 EPG에 합성한 합성프레임을 생성하여 표시함으로써, 선택된 채널의 방송 프로그램이 EPG와 함께 표시되도록 할 수 있다.
전자장치는 그래픽프레임에 대한 영상 효과 처리의 이벤트가 수신되면, 그래픽프레임에 대한 영상 효과 처리를 수행할 수 있다. 일 예로, 방송 프로그램 채널 번호 선택을 위한 EPG에 대하여 블러(blur) 수행이 필요한 이벤트가 수신되면, 전자장치는 EPG에 블러를 수행하고, 블러가 수행된 EPG을 출력할 수 있다.
그러나, 그래픽프레임에 대한 영상 효과 처리가, 비디오프레임과의 합성 이전에 수행되는 장치 구성에서는, 그래픽프레임에 대한 영상 효과 처리만 수행되므로, 비디오프레임에 대해서는 영상 효과 처리가 수행되지 않는다.
사용자는 비디오프레임 및 그래픽프레임 간에 영상 효과 처리가 동일하지 않은 합성프레임에 의해 시각적 불안정감을 느낄 수 있고, 이러한 시각적 불안감은, 영상 품질을 전반적으로 떨어뜨리는 원인이 된다.
따라서, 비디오프레임과의 합성 이전에 그래픽프레임에 대한 영상 효과 처리가 수행되는 장치 구성에서, 합성프레임에 대한 영상 효과 처리가 필요한 이벤트에 대응하여, 영상 효과 처리가 동일하게 수행된 비디오프레임 및 그래픽프레임에 기초하여 합성프레임을 출력함으로써, 영상 효과 처리가 수행된 합성프레임에 대한 영상 품질을 향상시킬 수 있는 방안이 요청되고 있다.
본 발명의 목적은, 비디오프레임과의 합성 이전에 그래픽프레임에 대한 영상 효과 처리가 수행되는 장치 구성에서, 합성프레임에 대한 영상 효과 처리가 필요한 이벤트에 대응하여, 영상 효과 처리가 동일하게 수행된 비디오프레임 및 그래픽프레임에 기초하여 합성프레임을 출력함으로써, 영상 효과 처리가 수행된 합성프레임에 대한 영상 품질을 향상시킬 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
상기한 본 발명의 목적은, 비디오프레임을 출력하는 비디오처리부; 그래픽프레임을 출력하는 그래픽처리부; 믹서; 및 상기 비디오프레임 및 상기 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하도록 상기 믹서를 제어하고, 영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 상기 비디오프레임에 대응하는 비디오영역 및 상기 그래픽프레임에 대응하는 그래픽영역을 포함하며, 상기 비디오영역 및 상기 그래픽영역에 상기 영상 효과 처리가 수행된 제2합성프레임을 생성하고, 상기 제2합성프레임이 상기 믹서를 통해 출력되도록 제어하는 프로세서를 포함하는 전자장치에 의해 달성될 수 있다.
상기 프로세서는, 상기 그래픽프레임 또는 상기 제1합성프레임 중 적어도 하나를 버퍼메모리에 저장하고, 상기 저장된 그래픽프레임 또는 제1합성프레임에 다음 순서의 비디오프레임을 합성하고, 상기 영상 효과 처리를 수행하여 상기 제2합성프레임을 생성한다.
상기 프로세서는, 상기 비디오프레임에 대응하는 비디오컨텐츠 및 상기 그래픽프레임에 대응하는 메뉴항목을 동시에 표시하는 이벤트에 대응하여 상기 제2합성프레임이 출력되도록 제어한다.
상기 프로세서는, 상기 메뉴항목의 표시를 종료하는 이벤트에 대응하여 상기 제1합성프레임이 출력되도록 제어한다.
상기 프로세서는, 상기 비디오컨텐츠 및 상기 메뉴항목이 각각 동시에 표시되는 상기 비디오영역 및 상기 그래픽영역 상에 상기 그래픽프레임과 다른 그래픽프레임에 대응하는 제2메뉴항목을 표시하는 이벤트에 대응하여 상기 제2합성프레임이 출력되도록 제어한다.
상기 프로세서는, 상기 그래픽프레임의 업데이트 이벤트에 대응하여, 새로운 그래픽프레임으로 상기 저장된 그래픽프레임 또는 제1합성프레임이 업데이트되도록 제어한다.
상기한 본 발명의 목적은, 비디오프레임 및 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하는 단계; 영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 상기 비디오프레임에 대응하는 비디오영역 및 상기 그래픽프레임에 대응하는 그래픽영역을 포함하며, 상기 비디오영역 및 상기 그래픽영역에 상기 영상 효과 처리가 수행된 제2합성 프레임을 생성하는 단계; 및 상기 제2합성프레임을 출력하는 단계를 포함하는 전자장치의 제어방법에 의해 달성될 수도 있다.
상기 제1합성프레임을 생성하여 출력하는 단계는, 상기 그래픽프레임 또는 상기 제1합성프레임 중 적어도 하나를 저장하는 단계를 포함하고, 상기 제2합성 프레임을 생성하는 단계는, 상기 저장된 그래픽프레임 또는 제1합성프레임에 다음 순서의 비디오프레임을 합성하고, 상기 영상 효과 처리를 수행하여 상기 제2합성프레임을 생성하는 단계를 포함한다.
상기 제2합성프레임을 출력하는 단계는, 상기 비디오프레임에 대응하는 비디오컨텐츠 및 상기 그래픽프레임에 대응하는 메뉴항목을 동시에 표시하는 이벤트에 대응하여 상기 제2합성프레임이 출력하는 단계를 포함한다.
상기 메뉴항목의 표시를 종료하는 이벤트에 대응하여 상기 제1합성프레임을 출력하는 단계를 더 포함한다.
상기 비디오컨텐츠 및 상기 메뉴항목이 각각 동시에 표시되는 상기 비디오영역 및 상기 그래픽영역 상에 상기 그래픽프레임과 다른 그래픽프레임에 대응하는 제2메뉴항목을 표시하는 이벤트에 대응하여 상기 제2합성프레임을 출력하는 단계를 더 포함한다.
상기 그래픽프레임의 업데이트 이벤트에 대응하여, 새로운 그래픽프레임으로 상기 저장된 그래픽프레임 또는 제1합성프레임을 업데이트하는 단계를 더 포함한다.
상기한 본 발명의 목적은, 컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 비디오프레임 및 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하는 단계; 영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 상기 비디오프레임에 대응하는 비디오영역 및 상기 그래픽프레임에 대응하는 그래픽영역을 포함하며, 상기 비디오영역 및 상기 그래픽영역에 상기 영상 효과 처리가 수행된 제2합성 프레임을 생성하는 단계; 및 상기 제2합성프레임을 출력하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체에 의해서도 달성될 수 있다.
본 발명에 의하면, 비디오프레임과의 합성 이전에 그래픽프레임에 대한 영상 효과 처리가 수행되는 장치 구성에서, 합성프레임에 대한 영상 효과 처리가 필요한 이벤트에 대응하여, 영상 효과 처리가 동일하게 수행된 비디오프레임 및 그래픽프레임에 기초하여 합성프레임을 출력할 수 있는 전자장치 및 그 제어방법을 제공한다.
도 1은 본 발명의 일 실시예에 따른 전자장치를 도시한다.
도 2는 도 1의 전자장치에 관한 구성의 일 예를 도시한다.
도 3은 도 2의 전자장치에 관한 구성의 구체적인 일 예를 도시한다.
도 4는 도 1의 전자장치에 관한 제어방법의 일 예를 도시한다.
도 5는 도 4의 동작 S41와 관련하여, 제1합성프레임 생성의 일 예를 도시한다.
도 6은 도 4의 동작 S42와 관련하여, 관련기술에 따른 제1합성프레임 생성의 일 예를 도시한다.
도 7은 도 4의 동작 S42와 관련하여, 제2합성프레임 생성의 일 예를 도시한다.
도 8은 도 4의 동작 S42와 관련하여, 그래픽프레임 또는 제1합성프레임을 활용하여 제2합성프레임 생성하는 일 예를 도시한다.
도 9는 도 4의 동작 S42와 관련하여, 영상 효과 처리가 필요한 이벤트의 일 예를 도시한다.
도 10은 도 4의 동작 S42와 관련하여, 영상 효과 처리의 종료가 필요한 이벤트의 일 예를 도시한다.
도 11은 도 4의 동작 S42와 관련하여, 영상 효과 처리가 필요한 이벤트의 다른 예를 도시한다.
도 12는 도 8의 그래픽프레임 또는 제1합성프레임이 업데이트되는 일 예를 도시한다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다.
본 명세서에서, 첨부도면의 참조부호는 다른 도면에서도 동일한 구성을 지칭하도록 사용될 수 있다. 이하 설명에서 정의되는 특징들, 예컨대, 구체적인 구조와 구성은, 일 실시예의 이해를 돕기 위한 것이다. 그러나, 본 명세서에서 설명되는 일 실시예들은 특별하게 정의된 특징없이도 수행 가능함을 밝혀둔다. 또한, 공지된 기능 또는 구조에 관한 설명은 자세히 설명하지 않는다.
본 명세서에서, " A 또는 B", "A 또는/및 B 중 적어도 하나" 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"는, 적어도 하나의 A를 포함, 적어도 하나의 B를 포함 또는 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 "제 1", "제 2", "첫째", "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 이러한 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다.
이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 참조하는 바, 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 동작을 수행하는 구성요소를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 전자장치를 도시한다.
도 1에 도시된 바와 같이, 전자장치(10)는 TV, 태블릿, 휴대용 미디어 플레이어, 웨어러블 디바이스, 비디오 월, 전자액자 등과 같이 영상표시장치뿐만 아니라, 디스플레이를 구비하지 않는 셋탑박스 등의 영상처리장치, 냉장고, 세탁기 등의 생활가전, 컴퓨터본체와 같은 정보처리장치 등 다양한 종류의 장치로 구현된다. 또한, 전자장치(10)는 인공지능 기능을 탑재한 인공지능(Artificial Intelligence, AI) 스피커, AI 로봇 등으로 구현된다. 전자장치(10)의 종류는 이에 한정되는 것은 아니며, 이하에서는 설명의 편의를 위해 전자장치(10)가 TV로 구현되는 경우를 가정한다.
전자장치(10)는 비디오프레임(1) 또는 그래픽프레임(2)을 표시한다. 비디오프레임(1)은 시간 흐름에 따라 화면 속의 객체가 연속적으로 움직이는 영상을 구성하는 동적 프레임으로서, 복수의 비디오프레임(1)을 포함한다. 반면에, 그래픽프레임(2)은 정적 프레임을 의미한다.
전자장치(10)는 비디오프레임(1)에 대응하는 비디오컨텐츠, 예컨대, 스포츠 프로그램을 표시하거나, 그래픽프레임(2)에 대응하는 EPG를 표시할 수 있다. EPG는 방송 프로그램에 관련된 안내 정보로서, 방송 프로그램의 제목, 방송 프로그램의 채널 번호, 방송 프로그램의 방송 시간, 방송 프로그램에 대한 상세 설명, 방송 프로그램의 녹화, 기타 컨텐츠 등으로 구성된 정보를 포함할 수 있다.
전자장치(10)는 그래픽프레임(2)에 비디오프레임(1)을 합성하고, 합성된 비디오프레임(1) 및 그래픽프레임(2)에 기초한 제1합성프레임(3)을 생성하여 출력할 수 있다. 일 예로, 그래픽프레임(2)이 방송 프로그램 채널 번호 선택을 위한 EPG에 대응하는 경우, 방송 프로그램 채널 번호 선택을 위한 EPG를 통해 "20번 스포츠" 채널이 선택되면, 전자장치(10)는 비디오프레임(1)에 대응하는 "20번 스포츠" 채널의 방송 프로그램을 방송 프로그램 채널 번호 선택을 위한 EPG에 합성함으로써, 제1합성프레임(3)을 생성하여 출력할 수 있다. 만일, "19번 드라마" 채널이 선택되면, 비디오프레임(1)에 대응하는 "19번 드라마" 채널의 드라마 프로그램이 그래픽프레임(2)에 대응하는 EPG에 합성되어, 제1합성프레임(3)이 생성될 수 있다. 제1합성프레임(3)의 생성 및 출력 과정에 대해서는, 도 5를 참조하여 자세히 설명하기로 한다.
전자장치(10)는 제2합성프레임(4)을 생성하여 출력할 수 있다. 제2합성프레임(4)은 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 그래픽프레임(2)을 포함한다. 일 예로, 영상 효과 처리가 블러인 경우, 전자장치(10)는 "20번 스포츠" 채널의 방송 프로그램 및 방송 프로그램 채널 번호 선택을 위한 EPG 모두에 대하여 블러가 수행된 제2합성프레임(4)을 생성하여 출력할 수 있다.
특히, 그래픽프레임(2)에 대한 영상 효과 처리가, 앞서 설명한 비디오프레임(1)과의 합성 이전에 수행되는 구조를 가지더라도, 전자장치(10)는 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 그래픽프레임(2)에 기초하여 제2합성프레임(4)을 생성하여 출력할 수 있다. 제2합성프레임(4)의 생성 및 출력 과정에 대해서는 도 7을 참조하여 자세히 설명하기로 한다.
한편, 영상 효과는 블러에 한정되는 것은 아니므로, 샤프닝(sharpening), 필터링(filtering) 등을 포함할 수 있다. 다만, 이하에서는 설명의 편의를 위해 영상 효과 처리가 블러인 경우를 가정하여 설명한다.
제2합성프레임(4)의 생성 및 출력은 영상 효과 처리의 이벤트에 대응하여 수행될 수 있다. 영상 효과 처리의 이벤트는 본체에 마련된 내부 사용자입력부(13)(도 3을 참조) 또는 본체와 분리된 리모트 컨트롤러(20)를 통해 수신될 수 있다.
이벤트는 사용자로부터의 수신된 사용자입력에 기초한 것일 수 있으며, 사용자입력은 음성 명령에 따라 수행된 음성 인식 처리에 기초할 수 있다. 리모트 컨트롤러(20)를 활용하는 경우, 리모트 컨트롤러(20)로부터 음성 명령에 대응하는 음성 신호를 전달받고, 전달받은 음성 신호에 대한 음성 인식 처리를 수행한다.
음성 인식 처리는 음성 명령을 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정과, 텍스트 데이터가 나타내는 커맨드를 식별하여, 식별된 커맨드가 지시하는 동작을 수행하는 커맨드 식별 및 수행 과정을 포함한다. 음성 인식 처리는 전자장치(10)에서 모두 실행될 수 있으나, 시스템 부하 및 소요 저장용량을 고려하여, 적어도 일부의 과정은 네트워크를 통해 전자장치(10)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행된다. 일 예로, 적어도 하나의 서버가 STT 처리 과정을 수행하고, 전자장치(10)가 커맨드 식별 및 수행 과정을 수행한다. 또는, 적어도 하나의 서버가 STT 처리 과정과, 커맨드 식별 및 수행 과정을 모두 수행하고, 전자장치(10)는 단지 적어도 하나의 서버로부터 결과를 수신하기만 할 수도 있다.
이와 같이, 비디오프레임(1)과의 합성 이전에 그래픽프레임(2)에 영상 효과 처리가 수행되는 장치 구성에서, 전자장치(10)는 영상 효과 처리의 이벤트에 대응하여, 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 그래픽프레임(2)에 기초하여 제2합성프레임(4)을 생성하여 출력할 수 있다.
영상 효과 처리의 이벤트에 대응하여, 그래픽프레임(2)에만 영상 효과 처리가 수행되면, 비디오프레임(1) 및 그래픽프레임(2) 간에 영상 효과 처리가 동일하지 않은 합성프레임으로 인해, 사용자에게 시각적 불안정감을 줄 수 있으며, 이러한 시각적 불안감은 영상 품질을 전반적으로 떨어뜨리는 원인이 된다.
이에 대해, 전자장치(10)는 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 그래픽프레임(2)에 기초하여 제2합성프레임(4)을 생성함으로써, 사용자에게 시각적 안정감을 줄 수 있을 뿐만 아니라, 향샹된 품질의 영상을 제공할 수 있다.
도 2는 도 1의 전자장치에 관한 구성의 일 예를 도시한다.
이하에서는 도 2를 참조하여, 전자장치(10)에 관한 구성의 일 예를 자세히 설명한다. 본 실시예서는 전자장치(10)가 TV인 경우에 관해 설명하지만, 전자장치(10)는 다양한 종류의 장치로 구현될 수 있으므로, 본 실시예가 전자장치(10)의 구성을 한정하는 것은 아니다. 전자장치(10)가 TV와 같은 디스플레이장치로 구현되지 않는 경우도 가능하며, 이 경우 전자장치(10)는 디스플레이(12)와 같은 영상 표시를 위한 구성요소들을 포함하지 않을 수 있다. 예를 들면 전자장치(10)가 셋탑박스로 구현되는 경우에, 전자장치(10)는 인터페이스부(11)를 통해 외부의 TV에 영상 신호를 출력한다.
전자장치(10)는 인터페이스부(11)를 포함한다. 인터페이스부(11)는 서버, 다른 외부장치 등과 연결하여 데이터를 송수신한다. 다만 이에 한정되는 것은 아니므로, 인터페이스부(11)는 네트워크로 연결된 다양한 장치와 연결한다.
인터페이스부(11)는 유선 인터페이스부를 포함한다. 유선 인터페이스부는 지상파/위성방송 등 방송규격에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송 규격에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(10)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(Composite) 비디오, 컴포넌트(Component) 비디오, 슈퍼 비디오(Super Video), SCART 등과 같이, 비디오 및/또는 오디오 전송규격에 따른 커넥터 또는 포트 등을 포함한다. 유선 인터페이스부는 USB 포트 등과 같은 범용 데이터 전송규격에 따른 커넥터 또는 포트 등을 포함한다. 유선 인터페이스부는 광 전송규격에 따라 광케이블이 연결될 수 있는 커넥터 또는 포트 등을 포함한다.
유선 인터페이스부는 내부 오디오 수신부 및 오디오 수신부를 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함한다. 유선 인터페이스부는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함한다. 유선 인터페이스부는 이더넷 등과 같은 네트워크 전송규격에 따른 커넥터 또는 포트를 포함한다. 일 예로, 유선 인터페이스부는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현된다.
유선 인터페이스부는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오신호를 수신하거나 또는 해당 외부기기에 비디오/오디오신호를 송신한다. 유선 인터페이스부는, 비디오/오디오신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다.
유선 인터페이스부는 전자장치(10)에 내장되거나, 동글(Dongle) 또는 모듈(Module) 형태로 구현되어 전자장치(10)의 커넥터에 착탈될 수도 있다.
인터페이스부(11)는 무선 인터페이스부를 포함한다. 무선 인터페이스부는 전자장치(10)의 구현 형태에 대응하여 다양한 방식으로 구현된다. 일 예로, 무선 인터페이스부는 통신방식으로 RF(Radio Frequency), 지그비(Zigbee), 블루투스(Bluetooth), 와이파이(Wi-Fi), UWB(Ultra-Wideband) 및 NFC(Near Field Communication) 등 무선통신을 사용한다. 무선 인터페이스부는 와이파이 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현된다.
무선 인터페이스부는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신한다. 무선 인터페이스부는 적외선 통신규격에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함한다.
무선 인터페이스부는 IR송신부 및/또는 IR수신부를 통해 리모트 컨트롤러(20) 또는 다른 외부기기로부터 리모트 컨트롤러신호를 수신 또는 입력하거나, 리모트 컨트롤러(20) 또는 다른 외부기기로 리모트 컨트롤러신호를 전송 또는 출력한다. 다른 예로서, 전자장치(10)는 와이파이, 블루투스 등 다른 방식의 무선 인터페이스부를 통해 리모트 컨트롤러(20) 또는 다른 외부기기와 리모트 컨트롤러신호를 송수신한다.
전자장치(10)는 인터페이스부(11)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(Tuner)를 더 포함한다.
전자장치(10)는 디스플레이(12)를 포함한다. 디스플레이(12)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이(12)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 일 예로, 디스플레이 패널이 액정 방식이라면, 디스플레이(12)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다. 다만, 앞서 설명한 바와 같이, 디스플레이(12)는 전자장치(10)가 셋탑박스 등으로 구현되는 경우 생략된다.
전자장치(10)는 사용자입력부(13)를 포함한다. 사용자입력부(13)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(13)는 전자장치(10)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 전자장치(10)의 기계적 또는 전자적 버튼부, 터치패드, 디스플레이(12)에 설치된 터치스크린 등이 있다.
전자장치(10)는 통신부(14)를 포함한다. 통신부(14)는 서버, 다른 외부장치 등과 연결되어 비디오/오디오 신호를 전송한다. 통신부(14)는 설계 방법에 따라 유선 인터페이스부 또는 무선 인터페이스 중 적어도 하나의 구성을 포함하며, 유선 인터페이스부 또는 무선 인터페이스 중 적어도 하나의 기능을 수행한다.
전자장치(10)는 출력부(15)를 포함한다. 출력부(15)는 오디오신호에 기초하여 다양한 오디오를 출력한다. 출력부(15)는 적어도 하나 이상의 스피커로 구현된다. 출력부(15)는 전자장치(10)에 마련된 내부 스피커 또는 외부에 마련되는 외부 스피커로 구현된다. 출력부(15)가 외부 스피커로 구현되는 경우, 전자장치(10)는 오디오신호를 외부 스피커로 유선 또는 무선으로 전송한다.
전자장치(10)는 오디오 수신부를 포함한다. 오디오 수신부는 다양한 오디오신호를 수신한다. 오디오 수신부는 사용자 음성의 신호뿐만 아니라, 소음 등 주변으로부터 유입된 오디오의 신호를 수신한다. 오디오 수신부는 수집된 오디오신호를 프로세서(5)에 전달한다. 오디오 수신부는 전자장치(10)에 마련된 내부 마이크 또는 본체와 분리된 리모트 컨트롤러(20)에 마련된 외부 마이크로 구현된다. 오디오 수신부가 외부 마이크로 구현되는 경우, 외부 마이크로 수신된 오디오신호는 디지털화 되어 리모트 컨트롤러(20)로부터 인터페이스부(11)를 통해 수신된다.
리모트 컨트롤러(20)는 스마트폰 등을 포함하며, 스마트폰 등에는 리모트 컨트롤러 어플리케이션이 설치된다. 스마트폰 등은 설치된 어플리케이션을 통해 리모트 컨트롤러(20)의 기능, 예컨대, 전자장치(10)를 제어하는 기능을 수행한다. 이러한 리모트 컨트롤러 어플리케이션은 AI 스피커, AI 로봇 등 다양한 외부 장치에 설치된다.
전자장치(10)는 센서부를 포함한다. 센서부는 전자장치(10)의 전방을 센싱하여, 사용자 또는 다른 전자장치의 유무, 움직임 등을 감지한다. 일 예로, 센서부는 이미지 센서로 구현될 수 있으며, 전자장치(10)의 전방을 캡처하여, 캡처된 이미지로부터 사용자 또는 다른 전자장치의 유무, 움직임 등에 관한 정보를 획득한다. 이미지 센서는, CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 방식의 카메라로 구현된다. 센서부는 적외선 센서로 구현될 수 있으며, 전방으로 출력되는 적외선 신호가 반사되어 돌아오는 시간을 측정하여 사용자 또는 다른 전자장치의 유무, 움직임 등에 관한 정보를 획득한다.
디스플레이(12), 사용자입력부(13), 통신부(14), 출력부(15), 오디오 수신부, 센서부 등은 인터페이스부(11)와 별도의 구성으로 기재되었으나, 설계 방법에 따라 인터페이스부(11)에 포함되도록 구성된다.
전자장치(10)는 저장부(16)를 포함한다. 저장부(16)는 디지털화된 데이터를 저장한다. 저장부(16)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(Storage)를 포함한다. 스토리지는 플래시메모리(Flash-memory), HDD(Hard-disc Drive), SSD(Solid-State Drive), ROM(Read Only Memory) 등을 포함한다.
저장부(16)는 프로세서(5)에 의해 처리되기 위한 데이터 등이 로드 되며, 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(Memory)를 포함한다. 메모리는 버퍼메모리(Buffer-memory, 42), 램(Random Access Memory) 등을 포함한다.
전자장치(10)는 프로세서(5)를 포함한다. 프로세서(5)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(System On Chip)로 구현될 수도 있다.
프로세서(5)는 전자장치(10)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현된다. 일 예로, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
전자장치(10)의 구성은 도 2에 도시된 바에 한정되는 것은 아니므로, 설계 방법에 따라 상기한 구성 중 일부를 제외하거나, 상기한 구성 이외의 구성을 포함한다.
도 3은 도 2의 전자장치에 관한 구성의 구체적인 일 예를 도시한다.
이하에서는 도 3을 참조하여, 전자장치(10)에 관한 구성의 구체적인 일 예를 자세히 설명한다. 본 실시예서는 전자장치(10)가 TV인 경우에 관해 설명하지만, 전자장치(10)는 다양한 종류의 장치로 구현될 수 있으므로, 본 실시예가 전자장치(10)의 구성을 한정하는 것은 아니다.
전자장치(10)는 비디오처리부(31)를 포함한다. 비디오처리부(31)는 비디오프레임(1)을 출력한다. 비디오프레임(1)은 시간 흐름에 따라 화면 속의 객체가 연속적으로 움직이는 영상을 구성하는 동적 프레임을 포함한다.
전자장치(10)는 그래픽처리부(34)를 포함한다. 그래픽처리부(34)는 그래픽프레임(2)을 출력한다. 그래픽프레임(2)은 시간 흐름에 따라 화면 속의 객체가 움직이지 않는 정적 프레임을 포함한다.
전자장치(10)는 스케일러(32)를 포함한다. 스케일러(32)는 비디오프레임(1)의 크기, 위치 조정 등을 수행한다. 일 예로, 스케일러(32)는 제1합성프레임(3)을 생성하기 위해 그래픽프레임(2)의 일 영역에 맞도록 비디오프레임(1)의 크기를 줄일 수 있다. 스케일러(32)는 제1합성프레임(3)에 포함된 비디오프레임(1)에 대응하는 비디오영역(6)(도 5를 참조)에 맞도록 비디오프레임(1)의 크기를 줄일 수 있다. 비디오영역(6)은 그래픽프레임(2)의 일 영역을 포함한다. 다만, 이에 한정되는 것은 아니므로, 스케일러(32)는 비디오프레임(1)의 해상도를 더 높은 해상도로 변환할 수 있다.
전자장치(10)는 믹서(Mixer, 33)을 포함한다. 믹서(33)는 그래픽프레임(2)에 비디오프레임(1)을 합성하여 제1합성프레임(3)을 생성한다. 믹서(33)에 의해 그래픽프레임(2)에 합성되는 비디오프레임(1)은, 스케일러(32)를 통해 크기, 위치 조정 등이 수행된 것일 수 있다. 믹서(33)를 통해 생성된 제1합성프레임(3)은 디스플레이(12)로 출력되어 표시될 수 있다.
한편, 믹서(33)는 이하에서 설명하는 처리부(37)의 활성화에 대응하여, 처리부(37)에 의해 영상 효과 처리가 수행된 제2합성프레임(4)을 수신한다. 믹서(33)는 처리부(37)의 활성화에 대응하여 수신된 제2합성프레임(4)을 디스플레이(12)로 바이패스(by-pass) 할 수 있다. 믹서(33)가 제2합성프레임(4)을 바이패스하는 과정에 대해서는, 이하에서 설명하는 처리부(37)와 관련하여 자세히 설명하기로 한다.
전자장치(10)는 버퍼메모리(35)를 포함한다. 버퍼메모리(35)는 그래픽프레임(2) 또는 제1합성프레임(3)을 저장한다. 그래픽프레임(2) 또는 제1합성프레임(3)은 영상 효과 처리가 수행되지 않은 것일 수 있다. 버퍼메모리(35)는 이하에서 설명하는 처리부(37)의 활성화에 대응하여, 그래픽프레임(2) 또는 제1합성프레임(3)을 저장할 수 있다. 버퍼메모리(35)는 처리부(37)의 활성화에 대응하여, 비디오처리부(31)로부터 출력된 비디오프레임(1)를 저장할 수 있다. 버퍼메모리(35)에 저장되는 데이터에 대해서는 도 8을 참조하여 자세히 설명하기로 한다.
전자장치(10)는 합성부(36)를 포함한다. 합성부(36)는 처리부(37)의 활성화에 대응하여, 버퍼메모리(35)에 저장된 그래픽프레임(2) 또는 제1합성프레임(3)에 비디오프레임(1)을 합성한다. 합성부(36)는 그래픽프레임(2) 또는 제1합성프레임(3)에 비디오프레임(1)을 합성하기 위해 비디오프레임(1)에 대한 스케일링 등을 수행할 수 있다. 다만, 비디오프레임(1)에 대한 스케일링 등은 버퍼메모리(35)에 의해 수행되거나, 버퍼메모리(35)에 포함된 별도의 구성에 의해 수행될 수도 있다. 일 예로, 합성부(36)는 비디오프레임(1)에 대응하는 비디오영역(6)(도 7를 참조)에 맞도록 비디오프레임(1)의 크기를 줄일 수 있다. 비디오영역(6)은 그래픽프레임(2) 또는 제1합성프레임(3)의 일 영역을 포함한다.
전자장치(10)는 처리부(37)를 포함한다. 처리부(37)는 영상 효과 처리가 필요한 이벤트에 대응하여 활성화된다. 영상 효과 처리가 필요한 이벤트는 사용자입력부(13)를 통해 수신된 사용자입력에 기초한 것일 수 있다. 사용자입력은 사용자로부터의 음성 명령에 따라 수행된 음성 인식 처리에 기초할 수 있다.
처리부(37)는 합성부(36)에 의해 합성된 프레임에 대하여 영상 효과 처리를 수행하여, 제2합성프레임(4)을 생성한다. 합성부(36)에 의해 합성된 프레임은 앞서 설명한 바와 같이, 비디오프레임(1)과 그래픽프레임(2) 간의 합성 프레임, 또는 비디오프레임(1)과 제1합성프레임(3) 간의 합성 프레임을 포함한다. 영상 효과 처리는, 블러, 샤프닝, 필터링 등을 포함할 수 있다.
처리부(37)는 영상 효과 처리가 수행된 제2합성프레임(4)에 대하여, 추가의 영상 처리를 수행할 수 있다. 추가의 영상 처리는 영상 효과 처리가 수행된 제2합성프레임(4)이 디스플레이(12)에 표시될 수 있게 하는 다양한 영상 처리를 포함할 수 있다. 처리부(37)는 추가의 영상 처리를 위해 GPU(Graphic Processing Unit)를 포함할 수 있다.
한편, 처리부(37)는 앞서 설명한 영상 효과 처리를 수행하는 구성 및 추가의 영상 처리를 수행하는 구성을 포함할 수 있다. 일 예로, 처리부(37)는 합성부(36)에 의해 합성된 프레임에 대하여 영상 효과 처리를 수행하여, 제2합성프레임(4)을 생성하는 효과적용부를 포함할 수 있다. 처리부(37)는 영상 효과 처리가 수행된 제2합성프레임(4)에 대하여 추가의 영상 처리를 수행하는 효과처리부를 포함할 수 있다. 다만, 상기한 영상 효과 처리 등이 하나의 구성에 의해 수행되거나, 두 개의 구성에 의해 수행되는지 여부는 설계 방법에 따른 선택 사항이며, 이하에서는 설명의 편의를 위해 처리부(37)가 영상 효과 처리 등을 수행하는 것으로 설명한다.
믹서(33)는 처리부(37)의 활성화에 대응하여, 처리부(37)로부터 영상 효과 처리가 수행된 제2합성프레임(4)을 수신한다. 제2합성프레임(4)은 영상 효과 처리 이외에 추가의 영상 처리가 수행된 것일 수 있다. 믹서(33)는 제2합성프레임(4)을 디스플레이(12)로 출력하는, 바이패스 기능을 수행한다.
반면에, 믹서(33)는 처리부(37)의 비활성화에 대응하여, 스케일러(32)를 통해 크기, 위치 조정 등이 수행된 비디오프레임(1)을 그래픽프레임(2)에 합성하여, 제1합성프레임(3)을 생성한다. 즉, 믹서(33)는 처리부(37)의 활성화에 대응하여서는, 처리부(37)로부터 수신된 제2합성프레임(4)에 대하여 바이패스 기능을 수행하므로, 처리부(37)의 활성화 여부에 따라 서로 다른 기능을 수행할 수 있다.
전자장치(10)의 구성은 도 3에 도시된 바에 한정되는 것은 아니므로, 설계 방법에 따라 상기한 구성 중 일부를 제외하거나, 상기한 구성 이외의 구성을 포함할 수 있다. 또한, 도 3에 도시된 구성 중 일부는 도 2의 프로세서(5)에 포함되거나, 도 3에 도시된 구성의 동작 중 일부는 프로세서(5)에 의해 수행될 수 있다. 일 예로, 합성부(36), 처리부(37) 등은 프로세서(5)에 의해 소프트웨어적으로 구현될 수 있다.
프로세서(5)는 비디오처리부(31)가 비디오프레임(1)을 출력하고, 그래픽처리부(34)가 그래픽프레임(2)을 출력하는 경우, 비디오프레임(1) 및 그래픽프레임(2)에 기초한 제1합성프레임(3)을 생성하여 출력하도록 믹서(33)를 제어한다. 이상의 동작은 처리부(37)의 비활성화에 대응하여 수행될 수 있다.
프로세서(5)는 영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 비디오프레임(1)에 대응하는 비디오영역(6) 및 그래픽프레임(2)에 대응하는 그래픽영역(7)을 포함하며, 비디오영역(6) 및 그래픽영역(7)에 영상 효과 처리가 수행된 제2합성프레임(4)을 생성하고, 제2합성프레임(4)이 믹서(33)를 통해 출력되도록 제어한다. 이상의 동작은 처리부(37)의 활성화에 대응하여 수행될 수 있다.
전자장치(10)의 프로세서(5)는 상기한 동작들을 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부에 대하여, 규칙 기반 또는 인공지능 알고리즘을 이용한 인공지능 기술을 적용함으로써, 인공지능 시스템을 구축한다.
인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이며, 인공지능 알고리즘은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘이다.
인공지능 기술은 기계학습, 신경망 네트워크(Neural Network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소기술들은 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다.
이하에서는 상기한 인공지능 알고리즘을 이용한 인공지능 기술이 전자장치(10)의 프로세서(5)에 의해 구현되는 일 예를 설명한다. 다만, 서버의 서버프로세서에 의해서도 동일한 인공지능 기술이 구현될 수 있음을 밝혀둔다.
프로세서(5)는 학습부 및 인식부의 기능을 함께 수행한다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식, 추론, 예측, 추정, 판단하는 기능을 수행한다.
학습부는 신경망 네트워크를 생성하거나 갱신한다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득한다. 일 예로, 학습부는 학습 데이터를 저장부(16) 또는 서버저장부로부터 획득하거나, 외부로부터 획득한다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별한다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공한다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성한다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크 또는 레이어들로 구성된다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결된다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함한다.
한편, 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득한다. 타겟 데이터는 저장부(16) 또는 서버저장부로부터 획득하거나, 외부로부터 획득한다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별한다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공한다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 츨력값을 획득한다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득한다.
도 4는 도 1의 전자장치에 관한 제어방법의 일 예를 도시한다.
도 4를 참조하여 이하에서 설명하는 각 동작은 전자장치(10)의 프로세서(5)에 의해 실행될 수 있다.
프로세서(5)는 비디오프레임(1) 및 그래픽프레임(2)에 기초한 제1합성프레임(3)을 생성하여 출력한다(S41).
프로세서(5)는 영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 비디오프레임(1)에 대응하는 비디오영역(6) 및 그래픽프레임(2)에 대응하는 그래픽영역(7)을 포함하며, 비디오영역(6) 및 그래픽영역(7)에 영상 효과 처리가 수행된 제2합성프레임(4)을 생성한다(S42).
프로세서(5)는 제2합성프레임(4)이 출력되도록 제어한다(S43).
이와 같이, 프로세서(5)는 영상 효과 처리의 이벤트에 대응하여, 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 그래픽프레임(2)에 기초하여 제2합성프레임(4)을 생성하여 출력할 수 있다. 따라서, 비디오프레임(1)과의 합성 이전에 그래픽프레임(2)에 영상 효과 처리가 수행되는 장치 구성에서, 사용자에게 시각적 안정감을 줄 수 있을 뿐만 아니라, 향상된 품질의 영상을 제공할 수 있다.
도 5는 도 4의 동작 S41와 관련하여, 제1합성프레임 생성의 일 예를 도시한다.
이하에서는 영상 효과 처리의 이벤트가 없는 경우, 즉, 처리부(37)의 비활성화에 대응하여, 비디오프레임(1) 및 그래픽프레임(2)에 기초하여 제1합성프레임(3)이 생성되는 과정에 대해 설명한다.
도 5에 도시된 바와 같이, 처리부(37)의 비활성화에 대응하여, 그래픽프레임(2)은 그래픽처리부(34)로부터 출력되어, 처리부(37)에 의한 영상 효과 처리의 수행없이 믹서(33)로 전달된다.
프로세서(5)는 복수의 비디오프레임(1) 중 제1비디오프레임(41)에 대하여 크기, 위치 조정 등이 수행되도록 제어할 수 있다. 제1비디오프레임(41)에 대한 크기, 위치 조정 등은 프로세서(5)의 제어에 따라 스케일러(32)에 의해 수행될 수 있다. 일 예로, 그래픽프레임(2)이 방송 프로그램 채널 번호 선택을 위한 EPG에 대응하고, 비디오프레임(1)이 EPG를 통해 선택된 채널의 방송 프로그램에 대응한다고 가정하면, 제1합성프레임a(51)에 포함된 방송 프로그램이 표시되는 비디오영역(6)의 크기에 대응하도록 제1비디오프레임(41)의 크기가 조정되거나, 비디오영역(6)의 위치에 따라 제1비디오프레임(41)의 위치가 조정될 수 있다.
프로세서(5)는 크기, 위치 조정 등이 수행된 제1비디오프레임(41)을 그래픽프레임(2)에 합성하여 제1합성프레임a(51)을 생성되도록 제어할 수 있다. 제1합성프레임a(51)의 생성은 프로세서(4)의 제어에 따라 믹서(33)에 의해 수행될 수 있다. 생성된 제1합성프레임a(51)은 제1비디오프레임(41)에 대응하는 비디오영역(6) 및 그래픽프레임(2)에 대응하는 그래픽영역(7)을 포함한다. 일 예로, 제1합성프레임a(51)의 비디오영역(6)에는 방송 프로그램이 표시되고, 그래픽영역(7)에는 EPG가 표시될 수 있다.
복수의 비디오프레임(1) 중 제1비디오프레임(41)의 다음 비디오프레임인 제2비디오프레임(42)도, 제1비디오프레임(41)과 마찬가지로, 크기, 위치 조정 등이 수행되어, 그래픽프레임(2)에 합성될 수 있다. 제2비디오프레임(42)이 그래픽프레임(2)에 합성됨으로써, 제1합성프레임b(52)가 생성될 수 있다.
상기한 과정에 따라 제1비디오프레임(41), 제2비디오프레임(42) 등에 기초한 제1합성프레임a(51), 제1합성프레임b(52) 등이 생성된다. 제1합성프레임a(51), 제1합성프레임b(52) 등에 포함된 그래픽영역(7)에는, 영상 효과 처리가 수행되지 않은 그래픽프레임(2)이 표시된다. 비디오프레임(1)에 대해서도 영상 효과 처리가 수행된 바 없으므로, 제1합성프레임a(51), 제1합성프레임b(52)에 포함된 비디오영역(6)에도, 영상 효과 처리가 수행되지 않은 비디오프레임(1)이 표시된다.
이와 같이, 프로세서(5)는 처리부(37)의 비활성화에 대응하여, 비디오프레임(1)에 대응하는 비디오영역(6) 및 그래픽프레임(2)에 대응하는 그래픽영역(7)에 대하여 영상 효과 처리가 수행되지 않는 제1합성프레임(3)을 생성할 수 있다.
이상에서는, 도 5를 참조하여, 처리부(37)의 비활성화에 따라 영상 효과 처리가 수행되지 않는 비디오프레임(1) 및 그래픽프레임(2)을 포함하는 제1합성프레임(3)의 생성 과정에 대해 설명하였으나, 이하에서는 도 6과 7을 참조하여, 처리부(37)의 활성화에 따라 영상 효과 처리가 선택적으로 수행된 비디오프레임(1) 및 그래픽프레임(2)을 포함하는 제1합성프레임(3)의 생성 과정에 대해 자세히 설명한다.
도 6은 도 4의 동작 S42와 관련하여, 관련기술에 따른 제1합성프레임 생성의 일 예를 도시한다.
도 6을 참조하여 설명하는 관련기술도, 도 3을 참조하여 설명한 바와 같이, 스케일러(32), 믹서(33), 처리부(37) 등에 대응하는 구성을 포함할 수 있다. 이하에서는 설명의 편의를 위해, 본 발명의 각 구성에 대응하는 관련기술의 각 구성을 스케일러(32), 믹서(33), 처리부(37) 등으로 명명하기로 한다.
관련기술에 따르면, 처리부(37)는 영상 효과 처리가 필요한 이벤트가 있는 경우, 활성화된다. 처리부(37)가 활성화되면, 그래픽프레임(2)에 대하여 영상 효과 처리를 수행한다.
처리부(37)는 그래픽프레임(2)에 대하여 영상 효과 처리를 수행하거나, 영상 효과 처리가 수행된 그래픽프레임(2)에 대하여 추가의 영상 처리를 수행할 수 있다. 처리부(37)는 영상 효과 처리 또는 추가의 영상 처리를 수행하기 위한 별도의 구성을 포함할 수 있다. 예컨대, 처리부(37)는 효과적용부 및 효과처리부를 포함할 수 있다.
믹서(33)는 영상 효과 처리가 수행된 그래픽프레임(2)에 복수의 비디오프레임(1) 중 제1비디오프레임(41)을 합성하여, 제1합성프레임a(61)을 생성한다. 제1비디오프레임(41)은 그래픽프레임(2)과의 합성을 위해 스케일러(32)를 통해 크기, 위치 조정 등이 수행된 것일 수 있다. 제1비디오프레임(41)에 기초한 제1합성프레임a(61)은 영상 효과 처리가 1회 수행된 그래픽프레임(2)과 영상 효과 처리가 수행되지 않은 제1비디오프레임(41)에 기초하여 생성된다. 즉, 제1합성프레임a(61)은 영상 효과 처리가 동일하게 수행되지 않은 제1비디오프레임(41) 및 그래픽프레임(2)에 기초하여 생성된다.
복수의 비디오프레임(1) 중 제1비디오프레임(41)의 다음 비디오프레임인 제2비디오프레임(42)에 기초하여 제1합성프레임b(62)을 생성하기 위해, 처리부(37)는 영상 효과 처리가 1회 수행된 그래픽프레임(2)에 대하여 영상 효과 처리를 재차 수행한다. 영상 효과 처리가 재차 수행된 그래픽프레임(2)에 대하여 추가의 영상 처리가 수행될 수 있다.
믹서(33)는 영상 효과 처리가 2회 수행된 그래픽프레임(2)에 제2비디오프레임(42)을 합성하여, 제1합성프레임b(62)을 생성한다. 제2비디오프레임(42)은 스케일러(32)를 통해 크기, 위치 조정 등이 수행된 것일 수 있다.
제2비디오프레임(42)에 기초한 제1합성프레임b(62)은 영상 효과 처리가 2회 수행된 그래픽프레임(2)과 영상 효과 처리가 수행되지 않은 제2비디오프레임(42)을 포함한다. 즉, 제1합성프레임b(62)은 영상 효과 처리가 동일하게 수행되지 않은 제2비디오프레임(42) 및 그래픽프레임(2)에 기초하여 생성된다.
복수의 비디오프레임(1) 및 그래픽프레임(2) 간의 합성이 진행될수록 그래픽프레임(2)에 대한 영상 효과 처리는 중복 수행되므로, 영상 효과 처리가 중복 수행된 그래픽프레임(2) 및 영상 효과 처리가 수행되지 않은 비디오프레임(1)에 기초한 제1합성프레임(3)이 생성된다.
이와 같이, 비디오프레임(1)과의 합성 이전에 그래픽프레임(2)에 대한 영상 효과 처리가 수행되는 장치 구성에서, 관련기술에 따르면, 처리부(37)의 활성화에 따라 비디오프레임(1) 및 그래픽프레임(2)에 대하여 영상 효과 처리가 선택적으로 수행되는 제1합성프레임(3)이 생성된다. 다만, 비디오프레임(1) 및 그래픽프레임(2)에 대하여 영상 효과 처리가 동일하게 수행되는 제1합성프레임(3)이 생성되지는 않는다.
이하에서는 도 7을 참조하여, 처리부(37)의 활성화에 따라 비디오프레임(1) 및 그래픽프레임(2)에 대하여 영상 효과 처리가 동일하게 수행되는 과정에 대해 자세히 설명한다.
도 7은 도 4의 동작 S42와 관련하여, 제2합성프레임 생성의 일 예를 도시한다.
도 7에 도시된 바와 같이, 처리부(37)의 활성화에 따라, 프로세서(5)는 복수의 비디오프레임(1) 중 제1비디오프레임(41)을 그래픽프레임(2)에 합성하여 제1합성프레임a(51)이 생성되도록 제어할 수 있다. 제1비디오프레임(41) 및 그래픽프레임(2) 간의 합성은 프로세서(5)의 제어에 따라 합성부(36)에 의해 수행될 수 있다. 제1비디오프레임(41)은 크기, 위치 조정 등이 수행된 것일 수 있다.
프로세서(5)는 제1합성프레임a(51)에 대하여 영상 효과 처리를 1회 수행하여, 제2합성프레임a(71)이 생성되도록 한다. 제2합성프레임a(71)은 영상 효과 처리가 1회 수행된 제1비디오프레임(41)에 대응하는 비디오영역(6) 및 영상 효과 처리가 1회 수행된 그래픽프레임(2)에 대응하는 그래픽영역(7)을 포함한다. 즉, 제1비디오프레임(41)에 기초한 제2합성프레임a(71)에 포함된 비디오영역(6) 및 그래픽영역(7)에는, 영상 효과 처리가 동일하게 수행된 제1비디오프레임(41) 및 그래픽프레임(2)이 표시된다. 필요에 따라 제2합성프레임a(71)에 대하여 추가의 영상 처리가 수행될 수 있다.
제2합성프레임a(71)은 디스플레이(12)로 바이패스 될 수 있다. 디스플레이(12)로의 바이패스는 프로세서(5)의 제어에 따라 믹서(33)에 의해 수행될 수 있다.
프로세서(5)는 복수의 비디오프레임(1) 중 제1비디오프레임(41)의 다음 비디오프레임인 제2비디오프레임(42)에 기초하여 제2합성프레임b(72)을 생성한다. 제2합성프레임b(72)을 생성함에 있어서, 그래픽프레임(2) 또는 제1합성프레임a(51)을 활용할 수 있다.
좀더 구체적으로, 프로세서(5)는 그래픽프레임(2)에 제2비디오프레임(42)을 합성하여 제1합성프레임b(52)을 생성하거나, 앞서 제1비디오프레임(41)에 기초하여 생성된 제1합성프레임a(51)에 제2비디오프레임(42)을 합성하여 제1합성프레임b(52)을 생성할 수 있다. 그래픽프레임(2) 또는 제1합성프레임a(51)은 영상 효과 처리가 수행되지 않은 것일 수 있다. 또한, 그래픽프레임(2)은 그래픽컨텐츠가 변경되지 않고 유지된 것일 수 있다.
이하에서는 그래픽프레임(2)에 제2비디오프레임(42)을 합성하여 생성된 제1합성프레임b(52)에 기초하여 제2합성프레임b(72)을 생성하는 과정에 대해 설명한다. 앞서 설명한 바와 같이, 제2비디오프레임(42)을 영상 효과 처리가 수행되지 않은 그래픽프레임(2)에 합성하여 제1합성프레임b(52)을 생성할 수 있다.
프로세서(5)는 제1합성프레임b(52)에 대하여 영상 효과 처리를 1회 수행하여 제2합성프레임b(72)이 생성되도록 한다. 영상 효과 처리는 프로세서(5)의 제어에 따라 처리부(37)에 의해 수행될 수 있다.
제2합성프레임b(72)은 영상 효과 처리가 1회 수행된 제2비디오프레임(42)에 대응하는 비디오영역(6) 및 영상 효과 처리가 1회 수행된 그래픽프레임(2)에 대응하는 그래픽영역(7)을 포함한다. 제2합성프레임b(72)에 포함된 비디오영역(6) 및 그래픽영역(7)에는, 영상 효과 처리가 동일하게 수행된 제2비디오프레임(42) 및 그래픽프레임(2)이 표시된다.
제1합성프레임a(51)에 제2비디오프레임(42)을 합성하여 생성된 제1합성프레임b(52)에 기초하여 제2합성프레임b(72)을 생성하는 과정도, 앞서 그래픽프레임(2)에 제2비디오프레임(42)을 합성하여 생성된 제1합성프레임b(52)에 기초하여 제2합성프레임b(72)을 생성하는 과정과 유사하다. 즉, 프로세서(5)는 제1합성프레임a(51)에 제2비디오프레임(42)을 합성하여 생성된 제1합성프레임b(52)에 대하여 영상 효과 처리를 1회 수행하여 제2합성프레임b(72)이 생성되도록 한다. 영상 효과 처리는 프로세서(5)의 제어에 따라 처리부(37)에 의해 수행될 수 있다.
제2합성프레임b(72)은 영상 효과 처리가 1회 수행된 제2비디오프레임(42)에 대응하는 비디오영역(6) 및 영상 효과 처리가 1회 수행된 그래픽프레임(2)에 대응하는 그래픽영역(7)을 포함한다. 제2합성프레임b(72)에 포함된 비디오영역(6) 및 그래픽영역(7)에는, 영상 효과 처리가 동일하게 수행된 제2비디오프레임(42) 및 그래픽프레임(2)이 표시된다.
이와 같이, 프로세서(5)는 비디오프레임(1)과의 합성 이전에 그래픽프레임(2)에 영상 효과 처리가 수행되는 장치 구성에서, 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 그래픽프레임(2)에 기초하여 제2합성프레임(4)을 생성하여 출력할 수 있다. 따라서, 영상 효과 처리가 동일하게 수행된 제2합성프레임(4)을 통해 사용자에게 시각적 안정감을 줄 수 있을 뿐만 아니라, 향상된 품질의 영상을 제공할 수 있다.
도 8은 도 4의 동작 S42와 관련하여, 그래픽프레임 또는 제1합성프레임을 활용하여 제2합성프레임 생성하는 일 예를 도시한다.
도 8에 도시된 바와 같이, 프로세서(5)는 제2합성프레임(4)을 생성함에 있어서, 버퍼메모리(35)에 저장된 그래픽프레임(2) 또는 제1합성프레임(3)을 활용할 수 있다. 버퍼메모리(35)에 저장된 그래픽프레임(2) 또는 제1합성프레임(3)은 영상 효과 처리가 수행되지 않은 것일 수 있다.
그래픽프레임(2)은 그래픽처리부(34)로부터 출력되어 버퍼메모리(35)에 저장될 수 있다. 제1합성프레임(3)은 그래픽처리부(34)로부터 최초 출력되는 그래픽프레임(2)에 비디오프레임(1)을 합성하여 생성된 것일 수 있다. 도 7을 참조하여 설명한 바와 같이, 제1합성프레임(3)은 복수의 비디오프레임(1) 중 제1비디오프레임(41)을 그래픽처리부(34)로부터 최초 출력된 그래픽프레임(2)에 합성하여 생성된 제1합성프레임a(51)을 포함한다.
프로세서(5)는 생성된 제1합성프레임(3)을 캡처하여, 버퍼메모리(35)에 저장할 수 있다. 다만, 그래픽프레임(2) 또는 제1합성프레임(3)을 획득하여 저장하는 방법에 제한이 있는 것은 아니므로, 영상 효과 처리가 수행되지 않은 그래픽프레임(2) 또는 제1합성프레임(3)은 다양한 방법으로 획득되어 버퍼메모리(35)에 저장될 수 있다.
비디오프레임(1)은 처리부(37)의 활성화에 따라, 버퍼메모리(35)에 저장될 수 있다. 비디오프레임(1)은 스케일링이 수행되어 버퍼메모리(35)에 저장되거나, 버퍼메모리(35)에 저장된 이후에 프로세서(5)의 제어에 따라 스케일링이 수행될 수 있다. 버퍼메모리(35)는 비디오프레임(1)에 대한 스케일링을 직접 수행하거나, 스케일링을 위한 별도의 구성을 포함할 수 있다.
이하에서는 버퍼메모리(35)에 저장된 그래픽프레임(2)을 활용하여 제2합성프레임(4)을 생성하는 과정에 대해 설명한다. 버퍼메모리(35)에 저장된 비디오프레임(1)을 그래픽프레임(2)에 합성하여 제1합성프레임(3)을 생성한다. 비디오프레임(1) 및 그래픽프레임(2) 간의 합성은 합성부(36)에 의해 수행될 수 있다. 그리고, 제1합성프레임(3)에 대하여 영상 효과 처리를 수행함으로써, 제2합성프레임(4)을 생성할 수 있다.
다만, 비디오프레임(1)은 버퍼메모리(35)를 거치지 않을 수 있다. 이 경우, 비디오처리부(31)로부터 출력된 비디오프레임(1)을 그래픽프레임(2)에 합성하여 제1합성프레임(3)을 생성할 수 있다.
버퍼메모리(35)에 저장된 제1합성프레임(3)을 활용하여 제2합성프레임(4)을 생성하는 과정도, 버퍼메모리(35)에 저장된 그래픽프레임(2)을 활용하여 제2합성프레임(4)을 생성하는 과정과 유사하다. 즉, 버퍼메모리(35)에 저장된 비디오프레임(1)을 제1합성프레임(3)에 합성하여 새로운 제1합성프레임(3)을 생성한다. 그리고, 새로운 제1합성프레임(3)에 대하여 영상 효과 처리를 수행함으로써, 제2합성프레임(4)을 생성할 수 있다.
이상과 같은 방법으로, 프로세서(5)는 복수의 비디오프레임(1) 중 제1비디오프레임(41)에 기초한 제2합성프레임a(71), 제1비디오프레임(41)의 다음 비디오프레임인 제2비디오프레임(42)에 기초한 제2합성프레임b(72) 등을 생성하여 출력할 수 있다. 제2합성프레임a(71)은 영상 효과 처리가 동일하게 수행된 제1비디오프레임(41) 및 그래픽프레임(2)을 포함하며, 제2합성프레임b(72)은 영상 효과 처리가 동일하게 수행된 제2비디오프레임(42) 및 그래픽프레임(2)을 포함한다.
이와 같이, 프로세서(5)는 제2합성프레임(4)을 생성함에 있어서, 버퍼메모리(35)에 저장된 그래픽프레임(2) 또는 제1합성프레임(3)을 활용할 수 있으므로, 보다 신속하게 제2합성프레임(4)을 생성하여 출력할 수 있다.
도 9는 도 4의 동작 S42와 관련하여, 영상 효과 처리가 필요한 이벤트의 일 예를 도시한다.
프로세서(5)는 비디오프레임(1)에 대응하는 비디오컨텐츠 및 그래픽프레임(2)에 대응하는 메뉴항목이 동시에 표시되는 이벤트에 대응하여 제2합성프레임(4)이 출력되도록 제어할 수 있다. 즉, 프로세서(5)는 비디오컨텐츠 및 메뉴항목이 동시에 표시되는 이벤트를 영상 효과 처리가 필요한 이벤트로 식별할 수 있다. 이하에서는 비디오컨텐츠 및 메뉴항목이 동시에 표시되는 이벤트의 일 예에 대해서 도 9을 참조하여 설명한다.
제1예로서, 비디오프레임(1)에 대응하는 비디오컨텐츠가 표시되는 상황을 가정한다. 프로세서(5)는 비디오컨텐츠가 표시되는 상황에서 그래픽프레임(2)에 대응하는 메뉴항목의 표시를 개시하는 이벤트가 있는지를 식별할 수 있다. 프로세서(5)는 그래픽프레임(2)에 대응하는 메뉴항목의 표시를 개시하는 이벤트가 있는 경우(S91), 이를 비디오컨텐츠 및 메뉴항목이 동시에 표시되는 이벤트로 식별할 수 있다. 따라서, 프로세서(5)는 제2합성프레임(4)의 생성하여 출력하도록 제어할 수 있다(S92).
예컨대, 도 9에 도시된 바와 같이, 프로세서(5)는 비디오프레임(1)에 대응하는 어느 방송 프로그램이 표시되는 동안 그래픽프레임(2)에 대응하는 방송 프로그램 채널 번호 선택을 위한 EPG가 실행되는지를 식별할 수 있다. 만일, 방송 프로그램이 표시되는 동안 EPG가 실행되면, 프로세서(5)는 방송 프로그램 및 EPG가 동시에 표시하는 이벤트로 식별하고, 방송 프로그램 및 EPG에 기초하여 제2합성프레임(4)을 생성하여 출력하도록 제어할 수 있다.
제2예로서, 제1합성프레임(3)이 표시되는 상황을 가정한다. 제1합성프레임(3)은 그래픽프레임(2)에 비디오프레임(1)을 합성하여 생성된 것일 수 있다. 프로세서(5)는 제1합성프레임(3)에 포함된 비디오영역(6) 상에 비디오프레임(1)에 대응하는 비디오컨텐츠가 표시되는 동안 비디오컨텐츠의 선택 이벤트가 있는지를 식별할 수 있다. 선택 이벤트에 의해 선택되는 비디오컨텐츠는 먼저 표시되는 비디오컨텐츠와 다른 것일 수 있다. 프로세서(5)는 비디오컨텐츠의 선택 이벤트가 있는 경우(S91), 이를 비디오컨텐츠 및 메뉴항목이 동시에 표시되는 이벤트로 식별할 수 있다. 따라서, 프로세서(5)는 제2합성프레임(4)의 생성하여 출력하도록 제어할 수 있다(S92).
이와 같이, 프로세서(5)는 상황 별로 영상 효과 처리가 필요한 이벤트를 식별할 수 있으므로, 다양한 상황에 능동적으로 제2합성프레임(4)을 생성하여 출력할 수 있다.
도 10은 도 4의 동작 S42와 관련하여, 영상 효과 처리의 종료가 필요한 이벤트의 일 예를 도시한다.
앞서 도 9를 참조하여 설명한 바와 같이, 프로세서(5)는 비디오컨텐츠 및 메뉴항목이 동시에 표시되는 이벤트를 영상 효과 처리가 필요한 이벤트로 식별하고, 제2합성프레임(4)을 생성하여 출력할 수 있다(S101).
프로세서(5)는 메뉴항목의 표시 종료 이벤트가 있는지를 식별할 수 있으며, 만일, 메뉴항목의 표시 종료 이벤트가 있는 경우(S102), 이를 영상 효과 처리의 종료가 필요한 이벤트로 식별할 수 있다. 따라서, 프로세서(5)는 제2합성프레임(4)의 생성 및 출력을 종료하고, 제1합성프레임(3)을 생성하여 출력하도록 제어할 수 있다(S92).
일 예로, 방송 프로그램 및 EPG에 기초하여 제2합성프레임(4)이 출력되는 동안, 방송 프로그램 또는 EPG 중 어느 하나에 대한 표시 종료 이벤트가 있는 경우, 프로세서(5)는 이를 영상 효과 처리의 종료가 필요한 이벤트로 식별하고, 제2합성프레임(4)의 생성 및 출력을 종료할 수 있다.
이와 같이, 프로세서(5)는 상황 별로 영상 효과 처리의 종료가 필요한 이벤트를 식별할 수 있으므로, 상황 능동적으로 제2합성프레임(4)의 생성 및 출력을 종료하고, 제1합성프레임(3)을 생성하여 출력하도록 제어할 수 있다.
도 11은 도 4의 동작 S42와 관련하여, 영상 효과 처리가 필요한 이벤트의 다른 예를 도시한다.
설명의 편의를 위해 비디오프레임(1) 및 제1그래픽프레임(2)에 기초한 제1합성프레임(3)이 표시되는 상황을 가정한다. 프로세서(5)는 이 상황에서 제1합성프레임(3)에 포함된 그래픽영역(7) 상에 제1그래픽프레임(2)과 다른 제2그래픽프레임에 대응하는 제2메뉴항목(110)이 표시되는지를 식별할 수 있다.
제2메뉴항목(110)은 및 제1그래픽프레임(2)에 대응하는 제1메뉴항목과 다른 종류의 것일 수 있다. 일 예로, 제1그래픽프레임(2)에 대응하는 제1메뉴항목이 방송 프로그램 채널 번호 선택을 위한 EPG인 경우, 제2메뉴항목(110)은 방송 프로그램에 대한 이력 정보를 나타내는 EPG가 될 수 있다. 다만, 이에 한정되는 것은 아니므로, 제2메뉴항목(110)은 제1메뉴항목과 다른 종류의 다양한 EPG를 포함할 수 있다.
프로세서(5)는 제1그래픽프레임(2)과 다른 제2그래픽프레임에 대응하는 제2메뉴항목(110)이 표시되는 경우, 이를 영상 효과 처리가 필요한 이벤트로 식별할 수 있다. 이 경우, 도 9를 참조하여 설명한 바와 같이, 프로세서(5)는 비디오프레임(1)을 제1그래픽프레임(2)에 합성하여 생성된 제1합성프레임(3)에 대하여 영상 효과 처리를 수행하여, 제2합성프레임(4)을 생성할 수 있다.
제2메뉴항목(110)의 표시가 종료되면, 프로세서(5)는 이를 영상 효과 처리의 종료가 필요한 이벤트로 식별하고, 도 10을 참조하여 설명한 바와 같이, 제2합성프레임(4)의 생성 및 출력을 종료할 수 있다.
이와 같이, 프로세서(5)는 상황 별로 영상 효과 처리가 필요한 이벤트를 식별할 수 있으므로, 상황 능동적으로 제2합성프레임(4)을 생성하여 출력할 수 있다.
도 12는 도 8의 그래픽프레임 또는 제1합성프레임이 업데이트되는 일 예를 도시한다.
앞서 도 8을 참조하여 설명한 바와 같이, 버퍼메모리(35)에 저장된 그래픽프레임(2) 또는 제1합성프레임(3)을 활용하여 제2합성프레임(4)을 생성한다. 이하에서는 도 12를 참조하여, 버퍼메모리(35)에 저장된 그래픽프레임(2) 또는 제1합성프레임(3)에 대하여 업데이트가 수행되는 과정에 대해 설명한다.
설명의 편의를 위해, 버퍼메모리(35)에 기 저장된 그래픽프레임(2)에 대응하는 제1메뉴항목이 방송 프로그램 채널 번호 선택을 위한 EPG이고, 새로운 그래픽프레임에 대응하는 제2메뉴항목(120)은 방송 프로그램 녹화를 위한 EPG인 경우를 가정한다. 이 경우, 비디오프레임(1)에 대응하는 방송 프로그램 및 그래픽프레임(2)에 대응하는 방송 프로그램 채널 번호 선택을 위한 EPG에 기초하여 제2합성프레임(4)을 생성할 수 있다.
그래픽프레임(2)에 대응하는 방송 프로그램 채널 번호 선택을 위한 EPG가 새로운 그래픽프레임(120)에 대응하는 방송 프로그램 녹화를 위한 EPG로 변경되면, 방송 프로그램 녹화를 위한 EPG에 대응하는 새로운 그래픽프레임(120)이 버퍼메모리(35)에 저장된다. 즉, 기 저장된 그래픽프레임(2)이 새로운 그래픽프레임(120)으로 변경된다. 방송 프로그램 녹화를 위한 EPG로의 변경은 EPG 변경을 위한 사용자입력에 따라 수행될 수 있다.
새로운 그래픽프레임(120)으로의 변경에 따라, 프로세서(5)는 이후의 비디오프레임(1)에 대해서는 새로운 그래픽프레임(120)에 대응하는 방송 프로그램 녹화를 위한 EPG에 기초하여 제1합성프레임(3)을 생성하거나, 제2합성프레임(4)을 생성하여 출력할 수 있다.
일 예로, 버퍼메모리(35)에 저장된 비디오프레임(1) 및 새로운 그래픽프레임(120)의 합성에 의해 제1합성프레임(3)을 생성하고, 생성된 제1합성프레임(3)에 대하여 영상 효과 처리를 수행하여, 영상 효과 처리가 수행된 새로운 그래픽프레임(120)에 기초한 제2합성프레임(4)을 생성할 수 있다.
한편, 제2합성프레임(4)을 생성하기 위해 새로운 그래픽프레임(120)에 기초하여 최초로 생성된 제1합성프레임(3)을 활용할 수도 있다. 즉, 프로세서(5)는 새로운 제1합성프레임(3)을 버퍼메모리(35)에 저장하고, 이후의 비디오프레임(1)에 대해서는 새로운 제1합성프레임(3)과의 합성을 통해 제2합성프레임(4)을 생성하여 출력할 수 있다. 이상과 같은 방법으로, 생성되어 출력되는 제2합성프레임(4)은 영상 효과 처리가 동일하게 수행된 비디오프레임(1) 및 새로운 그래픽프레임(120)을 포함한다.
이와 같이, 새로운 그래픽프레임(120)에 기초하여 버퍼메모리(35)에 기 저장된 그래픽프레임(2) 또는 제1합성프레임(3)을 업데이트하여, 제2합성프레임(4)을 생성하여 출력할 수 있으므로, 상황 적응적으로 제2합성프레임(4)을 생성하여 출력할 수 있다.
본 문서에 개시된 다양한 실시예들은 전자장치(10)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현된다. 일 예로, 전자장치(10)의 프로세서(5)는 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행한다. 이것은 전자장치(10)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함한다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공된다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 일 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함한다.
일 예로, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(Computer Program Product)에 포함되어 제공된다. 본 개시에 의한 컴퓨터 프로그램 제품은, 앞서 언급된 바와 같은, 프로세서에 의해 실행되는 소프트웨어의 명령어들을 포함한다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래된다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)된다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시된다.

Claims (13)

  1. 전자장치에 있어서,
    비디오프레임을 출력하는 비디오처리부;
    그래픽프레임을 출력하는 그래픽처리부;
    믹서; 및
    상기 비디오프레임 및 상기 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하도록 상기 믹서를 제어하고,
    영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 상기 비디오프레임에 대응하는 비디오영역 및 상기 그래픽프레임에 대응하는 그래픽영역을 포함하며, 상기 비디오영역 및 상기 그래픽영역에 상기 영상 효과 처리가 수행된 제2합성프레임을 생성하고,
    상기 제2합성프레임이 상기 믹서를 통해 출력되도록 제어하는 프로세서
    를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 그래픽프레임 또는 상기 제1합성프레임 중 적어도 하나를 버퍼메모리에 저장하고, 상기 저장된 그래픽프레임 또는 제1합성프레임에 다음 순서의 비디오프레임을 합성하고, 상기 영상 효과 처리를 수행하여 상기 제2합성프레임을 생성하는 전자장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 비디오프레임에 대응하는 비디오컨텐츠 및 상기 그래픽프레임에 대응하는 메뉴항목을 동시에 표시하는 이벤트에 대응하여 상기 제2합성프레임이 출력되도록 제어하는 전자장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 메뉴항목의 표시를 종료하는 이벤트에 대응하여 상기 제1합성프레임이 출력되도록 제어하는 전자장치.
  5. 제3항에 있어서,
    상기 프로세서는, 상기 비디오컨텐츠 및 상기 메뉴항목이 각각 동시에 표시되는 상기 비디오영역 및 상기 그래픽영역 상에 상기 그래픽프레임과 다른 그래픽프레임에 대응하는 제2메뉴항목을 표시하는 이벤트에 대응하여 상기 제2합성프레임이 출력되도록 제어하는 전자장치.
  6. 제2항에 있어서,
    상기 프로세서는, 상기 그래픽프레임의 업데이트 이벤트에 대응하여, 새로운 그래픽프레임으로 상기 저장된 그래픽프레임 또는 제1합성프레임이 업데이트되도록 제어하는 전자장치.
  7. 전자장치의 제어방법에 있어서,
    비디오프레임 및 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하는 단계;
    영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 상기 비디오프레임에 대응하는 비디오영역 및 상기 그래픽프레임에 대응하는 그래픽영역을 포함하며, 상기 비디오영역 및 상기 그래픽영역에 상기 영상 효과 처리가 수행된 제2합성 프레임을 생성하는 단계; 및
    상기 제2합성프레임을 출력하는 단계를 포함하는 전자장치의 제어방법.
  8. 제7항에 있어서,
    상기 제1합성프레임을 생성하여 출력하는 단계는, 상기 그래픽프레임 또는 상기 제1합성프레임 중 적어도 하나를 저장하는 단계를 포함하고,
    상기 제2합성 프레임을 생성하는 단계는, 상기 저장된 그래픽프레임 또는 제1합성프레임에 다음 순서의 비디오프레임을 합성하고, 상기 영상 효과 처리를 수행하여 상기 제2합성프레임을 생성하는 단계를 포함하는 전자장치의 제어방법.
  9. 제7항에 있어서,
    상기 제2합성프레임을 출력하는 단계는, 상기 비디오프레임에 대응하는 비디오컨텐츠 및 상기 그래픽프레임에 대응하는 메뉴항목을 동시에 표시하는 이벤트에 대응하여 상기 제2합성프레임이 출력하는 단계를 포함하는 전자장치의 제어방법.
  10. 제9항에 있어서,
    상기 메뉴항목의 표시를 종료하는 이벤트에 대응하여 상기 제1합성프레임을 출력하는 단계를 더 포함하는 전자장치의 제어방법.
  11. 제9항에 있어서,
    상기 비디오컨텐츠 및 상기 메뉴항목이 각각 동시에 표시되는 상기 비디오영역 및 상기 그래픽영역 상에 상기 그래픽프레임과 다른 그래픽프레임에 대응하는 제2메뉴항목을 표시하는 이벤트에 대응하여 상기 제2합성프레임을 출력하는 단계를 더 포함하는 전자장치의 제어방법.
  12. 제7항에 있어서,
    상기 그래픽프레임의 업데이트 이벤트에 대응하여, 새로운 그래픽프레임으로 상기 저장된 그래픽프레임 또는 제1합성프레임을 업데이트하는 단계를 더 포함하는 전자장치의 제어방법.
  13. 컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은,
    비디오프레임 및 그래픽프레임에 기초한 제1합성프레임을 생성하여 출력하는 단계;
    영상 효과 처리의 이벤트에 대응하여, 표시되는 영상 내 상기 비디오프레임에 대응하는 비디오영역 및 상기 그래픽프레임에 대응하는 그래픽영역을 포함하며, 상기 비디오영역 및 상기 그래픽영역에 상기 영상 효과 처리가 수행된 제2합성 프레임을 생성하는 단계; 및
    상기 제2합성프레임을 출력하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
PCT/KR2021/009819 2020-09-23 2021-07-28 전자장치 및 그 제어방법 WO2022065662A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/188,868 US20230237631A1 (en) 2020-09-23 2023-03-23 Electronic device and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200122785A KR20220040054A (ko) 2020-09-23 2020-09-23 전자장치 및 그 제어방법
KR10-2020-0122785 2020-09-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/188,868 Continuation US20230237631A1 (en) 2020-09-23 2023-03-23 Electronic device and control method thereof

Publications (1)

Publication Number Publication Date
WO2022065662A1 true WO2022065662A1 (ko) 2022-03-31

Family

ID=80844633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009819 WO2022065662A1 (ko) 2020-09-23 2021-07-28 전자장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20230237631A1 (ko)
KR (1) KR20220040054A (ko)
WO (1) WO2022065662A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060028852A (ko) * 2004-09-30 2006-04-04 삼성전자주식회사 Ｏｓｄ 데이터 출력 제어 방법 및 장치
KR20120073253A (ko) * 2009-10-13 2012-07-04 소니 주식회사 3ｄ 멀티뷰 디스플레이
KR20130025178A (ko) * 2011-09-01 2013-03-11 엘지이노텍 주식회사 송신 장치, 수신 장치 및 이를 이용한 모자이크 채널 시스템
KR101265609B1 (ko) * 2006-07-18 2013-05-22 엘지전자 주식회사 방송 수신기 및 그의 화면 제어 방법
KR20180030446A (ko) * 2016-09-15 2018-03-23 톰슨 라이센싱 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060028852A (ko) * 2004-09-30 2006-04-04 삼성전자주식회사 Ｏｓｄ 데이터 출력 제어 방법 및 장치
KR101265609B1 (ko) * 2006-07-18 2013-05-22 엘지전자 주식회사 방송 수신기 및 그의 화면 제어 방법
KR20120073253A (ko) * 2009-10-13 2012-07-04 소니 주식회사 3ｄ 멀티뷰 디스플레이
KR20130025178A (ko) * 2011-09-01 2013-03-11 엘지이노텍 주식회사 송신 장치, 수신 장치 및 이를 이용한 모자이크 채널 시스템
KR20180030446A (ko) * 2016-09-15 2018-03-23 톰슨 라이센싱 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스

Also Published As

Publication number Publication date
KR20220040054A (ko) 2022-03-30
US20230237631A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2021096233A1 (en) Electronic apparatus and control method thereof
AU2019381040B2 (en) Display apparatus and method of controlling the same
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2021040347A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2021215547A1 (ko) 스마트 홈 장치 및 방법
WO2021080290A1 (en) Electronic apparatus and control method thereof
WO2022102945A1 (ko) 전자장치 및 그 제어방법
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2019054626A1 (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
WO2022065662A1 (ko) 전자장치 및 그 제어방법
WO2021006363A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2022055107A1 (ko) 음성 인식을 위한 전자장치 및 그 제어방법
WO2022050653A1 (ko) 전자장치 및 그 제어방법
WO2021256709A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022010177A1 (en) Device and method for generating summary video
WO2022065663A1 (ko) 전자장치 및 그 제어방법
WO2022114532A1 (ko) 전자장치 및 그 제어방법
WO2022154166A1 (ko) 콘텐츠 생성 기능을 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2022131432A1 (ko) 전자장치 및 그 제어방법
WO2022092530A1 (ko) 전자장치 및 그 제어방법
WO2022215910A1 (ko) 화면 공유 방법 및 그 전자 장치
WO2022019661A1 (ko) 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872695

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872695

Country of ref document: EP

Kind code of ref document: A1