WO2024039004A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024039004A1
WO2024039004A1 PCT/KR2023/006760 KR2023006760W WO2024039004A1 WO 2024039004 A1 WO2024039004 A1 WO 2024039004A1 KR 2023006760 W KR2023006760 W KR 2023006760W WO 2024039004 A1 WO2024039004 A1 WO 2024039004A1
Authority
WO
WIPO (PCT)
Prior art keywords
volume
external device
electronic device
output
external
Prior art date
Application number
PCT/KR2023/006760
Other languages
English (en)
French (fr)
Inventor
이희란
김용덕
이봉석
하남수
한재호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024039004A1 publication Critical patent/WO2024039004A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Definitions

  • Various disclosed embodiments relate to an electronic device and a method of operating the same, and more specifically, to an electronic device that controls an external device connected to the electronic device and a method of operating the same.
  • an electronic device such as a digital television can receive content from various external devices such as a set-top box, home theater, game console, DVD player, etc. and output it. Users can use content received from various external devices using a digital television.
  • An electronic device may include a communication interface, a memory 103 that stores one or more instructions, and one or more processors that execute the one or more instructions stored in the memory.
  • the one or more processors may acquire the volume of an external device connected to the electronic device according to a volume control command from a remote control device by executing the one or more instructions.
  • 1 is a diagram to explain how an electronic device controls the volume of an external device, according to an embodiment.
  • Figure 2 is an internal block diagram of an electronic device according to an embodiment.
  • Figure 3 is an internal block diagram of a processor included in an electronic device according to an embodiment.
  • FIG. 4 is a diagram for explaining the state information acquisition unit and the state information analysis unit of FIG. 3 according to an embodiment.
  • FIG. 5 is a diagram illustrating how an electronic device obtains the volume of an external device using a neural network, according to an embodiment.
  • FIG. 6 is a diagram illustrating how an electronic device obtains the volume of an external device from a screen, according to an embodiment.
  • FIG. 7 is a diagram illustrating a mapping graph acquired by an electronic device according to an embodiment.
  • FIG 8 is an internal block diagram of an electronic device according to an embodiment.
  • FIG. 9 is a diagram illustrating an electronic device outputting an interface screen that identifies a volume control target device according to an embodiment.
  • FIG. 10 is a diagram illustrating a method for an electronic device to obtain a mapping graph, according to an embodiment.
  • FIG. 11 is a diagram illustrating a method by which an electronic device identifies a volume control target device, according to an embodiment.
  • One or more processors may transmit a control signal for changing the volume of the external device to the remote control device through a communication interface, corresponding to the fact that the volume of the external device obtained by executing the one or more instructions is below the external device threshold volume.
  • the external device threshold volume may be the volume of the external device corresponding to the electronic device output volume when the electronic device output volume is the threshold output volume.
  • a method of operating an electronic device may include obtaining the volume of an external device connected to the electronic device according to a volume control command from a remote control device.
  • the method of operating an electronic device may include transmitting a control signal for changing the volume of the external device to the remote control device in response to the obtained volume of the external device being less than or equal to the external device threshold volume. You can.
  • the external device threshold volume may be the volume of the external device corresponding to the electronic device output volume when the electronic device output volume is the threshold output volume.
  • a computer-readable recording medium is a program for implementing a method of operating an electronic device, including obtaining the volume of an external device connected to the electronic device according to a volume control command from a remote control device.
  • This recording may be a computer-readable recording medium.
  • the recording medium includes transmitting a control signal for changing the volume of the external device to the remote control device in response to the obtained volume of the external device being less than or equal to the external device threshold volume.
  • It may be a computer-readable recording medium on which a program for implementing an operating method is recorded.
  • the external device threshold volume may be the volume of the external device corresponding to the electronic device output volume when the electronic device output volume is the threshold output volume.
  • the expression “at least one of a, b, or c” refers to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b and c”, or variations thereof.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or may be implemented by circuit configurations for certain functions.
  • functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • Functional blocks may be implemented as algorithms running on one or more processors.
  • the present disclosure may employ conventional technologies for electronic environment setup, signal processing, and/or data processing. Terms such as “mechanism,” “element,” “means,” and “configuration” may be used broadly and are not limited to mechanical and physical configurations.
  • connection lines or connection members between components shown in the drawings merely exemplify functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various replaceable or additional functional connections, physical connections, or circuit connections.
  • ... unit and “module” used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .
  • the term “user” in the specification refers to a person who uses an electronic device and may include a consumer, evaluator, viewer, administrator, or installer.
  • 1 is a diagram to explain how an electronic device controls the volume of an external device, according to an embodiment.
  • the electronic device 100 may be an electronic device capable of outputting images.
  • the electronic device 100 may be implemented as various types of electronic devices including a display.
  • the electronic device 100 may be fixed or mobile, and may be a digital TV capable of receiving digital broadcasting, but is not limited thereto.
  • the electronic device 100 may include a desktop, a smart phone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, or a laptop PC.
  • personal computer netbook computer, digital camera, PDA (Personal Digital Assistants), PMP (Portable Multimedia Player), camcorder, navigation, wearable device, smart watch, home network system, It may include at least one of a security system and a medical device.
  • the electronic device 100 may be implemented not only as a flat display device, but also as a curved display device, which is a screen with a curvature, or a flexible display device whose curvature can be adjusted.
  • the output resolution of the electronic device 100 may have various resolutions, such as High Definition (HD), Full HD, Ultra HD, or a resolution clearer than Ultra HD.
  • the electronic device 100 can output content.
  • Content may include video, audio, subtitles, and other additional information.
  • Content may include television programs provided by content providers, videos such as various movies or dramas through VOD services, and audio such as music.
  • a content provider may refer to a terrestrial broadcasting station, cable broadcasting station, satellite broadcasting station, OTT service provider, or IPTV service provider that provides various contents, including video, to consumers.
  • Content generated by a content provider may be input to the electronic device 100 through various external devices 120.
  • the external device 120 may be implemented as various types of source devices, such as a PC, set-top box, Blu-ray player, mobile phone, game console, home theater, audio player, USB, etc.
  • the external device 120 may be connected to the electronic device 100 through a wired communication network or a wireless communication network and provide various contents to the electronic device 100.
  • the external device 120 may be connected to the electronic device 100 by wire through HDMI to provide content to the electronic device 100, but is not limited to this.
  • the electronic device 100 may be controlled by the remote control device 110.
  • the remote control device 110 may be a multi-brand remote control capable of controlling various electronic devices in addition to the electronic device 100.
  • a universal remote control can be a device that controls various types of source devices regardless of brand.
  • a user can control an external device 120 in addition to the electronic device 100 using a universal remote control.
  • a user can control not only the electronic device 100 but also various other types of source devices, such as PCs, set-top boxes, Blu-ray players, mobile phones, game consoles, and home theaters, using a universal remote control.
  • the remote control device 110 may be a control device that only performs a function of controlling the electronic device 100 or other electronic devices, or may be a control device that performs other functions and controls the electronic device 100 or other electronic devices, such as a smartphone. It may also be a control device that can perform control functions for other electronic devices.
  • a user can adjust the volume of the electronic device 100 using the remote control device 110.
  • the electronic device 100 may increase the volume of the electronic device 100 correspondingly.
  • the volume of the external device 120 is set low or the external device 120 is in a muted state, even if the volume of the electronic device 100 increases, the user may feel that there is no change in the volume or that the volume is insignificant. there is.
  • the electronic device 100 may determine whether the volume of the external device 120 is below the threshold value. If the volume of the external device 120 is below the threshold, the electronic device 100 may By transmitting a control signal for changing the volume value of the external device 120, rather than the volume value, to the remote control device 110, the volume value of the external device 120 can be changed.
  • the remote control device 110 corresponds to receiving a control signal for changing the external device volume from the electronic device 100, and the control signal for changing the external device volume or a control for changing the external device volume By transmitting a signal corresponding to the signal to the external device 120, the volume of the external device 120 can be adjusted.
  • the electronic device 100 may obtain the volume of the external device 120.
  • the electronic device 100 may obtain the volume of the external device 120 using LKFS (Loudness, K-weighted, relative to full scale) information included in the input signal transmitted from the external device 120.
  • LKFS Lane, K-weighted, relative to full scale
  • the electronic device 100 collects the LKFS at predetermined time intervals, for example, for several seconds, and averages the LKFS to the external device 120. ) can be predicted and used as a volume.
  • the value obtained by averaging past LKFS information may not exactly match the current volume of the external device 120. That is, since the LKFS information acquired at a past time represents the volume at a delayed past time rather than at the current time, it does not accurately reflect the actual current volume of the external device 120. Additionally, when the LKFS value changes rapidly in seconds, the average value of the rapidly changing LKFS information may be different from the rapidly changing actual volume of the external device 120.
  • the electronic device 100 instead of accumulating and using LKFS information to identify the volume of the external device 120, the electronic device 100 determines the current volume of the external device 120 from the screen received from the external device 120. can be identified.
  • the external device 120 receives the volume control signal, it can adjust the volume in accordance with the volume control signal and output an interface screen showing the adjusted volume of the external device.
  • the electronic device 100 may receive an interface screen including external device volume information from the external device 120 and output it.
  • the electronic device 100 may capture an interface screen including external device volume information and obtain the external device volume from the external device volume information identified in the captured screen. Therefore, according to the embodiment, the electronic device 100 can accurately obtain the current volume of the external device 120 in real time by identifying the external device volume from the external device volume information output on the screen.
  • the electronic device output volume may vary depending on the type or model of the external device 120 connected to the electronic device 100. For example, even if the volumes of the different first and second external devices are both set to 10, the electronic device output from the electronic device 100 when the first external device is connected to the electronic device 100 The output volume may be different from the electronic device output volume output from the electronic device 100 when a second external device is connected to the electronic device 100.
  • the electronic device 100 when the electronic device 100 receives a volume control command from the remote control device 110, the electronic device 100 uses the electronic device output volume as a reference value to determine whether the current volume of the external device 120 is below the threshold. Available.
  • the electronic device 100 may obtain Loudness, K-weighted, relative to Full Scale (LKFS) information included in an input signal received from the external device 120 as the electronic device output volume.
  • LKFS Full Scale
  • the electronic device 100 may receive an input signal from the external device 120 through HDMI.
  • the input signal may also include LKFS information in addition to content.
  • the electronic device 100 sets the corresponding standard external device volume. can be identified.
  • the standard electronic device output volume will be referred to as the critical output volume.
  • the external device volume that serves as a corresponding standard will be referred to as the external device threshold volume.
  • the threshold output volume may have a default value predetermined by the manufacturer of the electronic device 100 or may be determined by user settings.
  • the threshold output volume may be -40 LKFS.
  • the threshold output volume may be -24 LKFS, which is the standard volume.
  • the electronic device 100 may use the relationship between the electronic device output volume and the external device volume to identify the corresponding external device threshold volume when the electronic device output volume is the critical output volume.
  • the electronic device 100 may identify the corresponding external device threshold volume when the electronic device output volume is the threshold output volume, based on a mapping graph representing the relationship between the electronic device output volume and the external device volume. .
  • the electronic device 100 may obtain a mapping graph representing the relationship between the electronic device output volume and the external device volume.
  • the electronic device 100 obtains a new mapping graph for the newly connected external device 120 every time the external device 120 is changed, and based on this, the electronic device output volume is set to the threshold output volume.
  • the corresponding external device threshold volume can be identified.
  • the electronic device 100 may identify the external device threshold volume, which is the corresponding external device volume, when the electronic device output volume is the threshold output volume, based on the mapping graph.
  • the electronic device 100 may determine the current volume of the external device 120 and determine whether the current volume of the external device 120 is below the external device threshold volume.
  • the electronic device 100 may use a screen received from the external device 120 to identify the volume of the external device 120.
  • the external device 120 when the external device 120 receives a volume adjustment control signal from the remote control device 110, or receives a volume adjustment control signal from a control device different from the remote control device 110, the external device 120 responds to the volume adjustment control signal. You can adjust the volume accordingly.
  • the external device 120 when the external device 120 receives a volume adjustment control signal for the external device 120, the external device 120 adjusts the volume accordingly and together or separately generates an interface screen including external device volume information. can do.
  • the electronic device 100 may receive an interface screen including external device volume information from the external device 120 and output it.
  • the electronic device 100 may capture an interface screen including external device volume information to obtain the external device volume.
  • the electronic device 100 may identify external device volume information in a captured screen and obtain the external device volume from the external device volume information.
  • the electronic device 100 may obtain the external device volume from a screen including external device volume information using a neural network trained to obtain the volume from the input image.
  • the electronic device 100 may determine whether the external device volume obtained from the captured screen is below the external device threshold volume.
  • the electronic device 100 determines whether to control the volume of the external device 120 or the volume of the electronic device 100 depending on whether the current volume of the external device 120 is below the external device threshold volume. You can decide.
  • the electronic device 100 may output an interface screen that identifies the volume control target device, corresponding to the fact that the acquired external device volume is less than or equal to the external device threshold volume.
  • the interface screen that identifies the device to which the volume is to be adjusted may include information to inform the user of the device to which the volume is to be adjusted.
  • the interface screen that identifies the device to be adjusted for volume may include information for selecting the device to be adjusted for volume. If the interface screen for identifying the volume control target device includes information for selecting the target device for volume adjustment, the electronic device 100 adjusts the volume from the user corresponding to the output of the interface screen for identifying the volume control target device. You can select the external device 120 to control.
  • the electronic device 100 may transmit a control signal for changing the volume of the external device to the remote control device 110 in response to the user selecting the external device 120 as the volume control target device.
  • the remote control device 110 receives a control signal for changing the external device volume or a control signal for changing the external device volume in response to receiving a control signal for changing the external device volume from the electronic device 100. By transmitting a signal corresponding to the control signal to the external device 120, the volume of the external device 120 can be adjusted.
  • a case where the external device volume is less than the external device threshold volume may include a case where the external device 120 is in a mute state.
  • a control signal for changing the volume of the external device may include a control signal for releasing the mute state of the external device 120.
  • the electronic device 100 may transmit a control signal for releasing the mute state to the external device 120 through the remote control device 110.
  • the electronic device 100 may adjust the volume of the electronic device 100 according to a volume adjustment command from the remote control device 110. .
  • the electronic device 100 can accurately obtain the current volume of the external device 120 based on the interface screen output from the electronic device 100.
  • the electronic device 100 may consider the electronic device output volume and the external device volume together to determine whether the current volume of the external device 120 is below the threshold.
  • the electronic device 100 when the electronic device output volume is the threshold output volume, the electronic device 100 identifies the external device threshold volume, which is the corresponding external device volume, and uses the remote control device 110 to control the external device 120. ) can accurately determine the entry point to control the volume. Accordingly, the user can conveniently adjust the volume of not only the electronic device 100 but also the external device 120 using a single remote control device 110.
  • Figure 2 is an internal block diagram of an electronic device according to an embodiment.
  • the electronic device 100a of FIG. 2 may be an example of the electronic device 100 of FIG. 1 .
  • the electronic device 100a includes a communication interface 105, a memory 103 that stores one or more instructions, and one or more processors 101a that execute one or more instructions stored in the memory 103. ) may include.
  • the memory 103 may store at least one instruction.
  • the memory 103 may store at least one program that the processor 101 executes. Additionally, the memory 103 may store data input to or output from the electronic device 100a.
  • the memory 103 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disk , and may include at least one type of storage medium among optical disks.
  • one or more instructions for obtaining the volume of an external device may be stored in the memory 103.
  • one or more instructions for obtaining a mapping graph representing the relationship between the output volume of an electronic device and the volume of an external device may be stored in the memory 103.
  • the memory 103 identifies the external device threshold volume corresponding to the electronic device output volume when the electronic device output volume is the threshold output volume, based on a mapping graph representing the relationship between the electronic device output volume and the external device volume. One or more instructions for doing so may be stored.
  • one or more instructions for obtaining the external device volume from a screen including external device volume information may be stored in the memory 103.
  • At least one neural network and/or a predefined operation rule or AI model may be stored in the memory 103.
  • the neural network stored in the memory 103 may be a neural network that learned the input image and the volume information included in the input image as a training data set.
  • the neural network stored in the memory 103 may obtain the external device volume from a screen including external device volume information.
  • external device volume may be stored in the memory 103.
  • the memory 103 may store the electronic device output volume.
  • a mapping graph generated based on the external device volume and the electronic device output volume may be stored in the memory 103.
  • the updated mapping graph may be stored in the memory 103.
  • control code information for the external device 120 may be stored in the memory 103.
  • the control code information is information for controlling the external device 120, and includes a plurality of keys included in the control device used to control the external device 120 and a control signal generated when each key is selected. It can be included.
  • the control device used to control the external device 120 may be a remote control device dedicated to the external device, but is not limited thereto.
  • the memory 103 may store control code information used to control each of a plurality of external devices. Control code information used to control each of a plurality of external devices may be downloaded from an external server and stored in the memory 103. Alternatively, the manufacturer of the electronic device 100 may store control code information for each of a plurality of external devices in advance in the memory 103.
  • the communication interface 105 may perform communication with at least one external electronic device through a wired or wireless communication network.
  • the communication interface 105 can connect the electronic device 100a to a peripheral device, external device 120, remote control device 110, server, mobile terminal, etc. under the control of the processor 101.
  • the communication interface 105 may include at least one communication module capable of performing wireless communication.
  • the communication interface 105 may include at least one of a wireless LAN module, a Bluetooth module, and a wired Ethernet depending on the performance and structure of the electronic device 100a.
  • the communication interface 105 includes at least one short-range communication module that performs communication according to communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. can do.
  • communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. can do.
  • the communication interface 105 may further include a long-distance communication module that communicates with a server to support long-distance communication according to long-distance communication standards.
  • the communication interface 105 may include a long-distance communication module that performs communication through a network for Internet communication.
  • the communication interface 105 may include a long-distance communication module that performs communication through a communication network compliant with communication standards such as 3G, 4G, and/or 5G.
  • the communication interface 105 may communicate with an external device 120, an external server, an external electronic device, etc. by wire.
  • the communication interface 105 may include at least one port for connecting to the external device 120 via a wired cable.
  • the communication interface 105 may communicate with a wired external device 120 through at least one port and receive an input signal from the external device 120.
  • the communication interface 105 is connected to an external device 120 through a High-Definition Multimedia Interface port (HDMI) port, a component jack, a PC port, a USB port, etc. It is connected by wire and can receive input signals from the external device 120.
  • HDMI High-Definition Multimedia Interface port
  • the input signal received from the external device 120 may include content and LKFS volume information.
  • the communication interface 105 may communicate with the remote control device 110 using infrared, Wi-Fi, or BLE communication.
  • the communication interface 105 may transmit a control signal to the remote control device 110 or receive a control signal from the remote control device 110.
  • the communication interface 105 may be obtained by sniffing a control signal transmitted to the external device 120 by a control device used to control the external device 120, in addition to the remote control device 110. You can. Sniffing may refer to the operation of hacking packet information included in a control signal.
  • the control device used to control the external device 120 may be a remote control device dedicated to the external device, but is not limited thereto.
  • the control device used to control the external device 120 may be a remote control device exclusively for the external device 120 and other devices. It may be a universal remote control that can integrate and control various electronic devices.
  • the communication interface 105 acquires a control signal transmitted to the external device 120 by a control device used to control the external device 120, in addition to the remote control device 110, and transmits the control signal to the processor 101 ) can be transmitted.
  • the communication interface 105 may receive a volume control command from the remote control device 110.
  • the communication interface 105 may transmit a volume control control signal for the external device 120, generated by the processor 101 based on a volume control command, to the remote control device 110.
  • the processor 101 may control the overall operation of the electronic device 100a.
  • the processor 101 may control the electronic device 100a to function by executing one or more instructions stored in the memory 103.
  • the processor 101 may identify the external device 120.
  • the processor 101 receives a control signal included in the control signal obtained by sniffing the communication interface 105 and transmitted to the external device 120 by a control device used to control the external device 120. At least one packet information can be obtained. The processor 101 may identify the external device 120, which is the target to which the control signal is transmitted, based on packet information.
  • the processor 101 may identify the external device 120 using various methods. For example, the processor 101 may identify the external device 120 using identification information included in an input signal transmitted by the external device 120. Alternatively, the processor 101 may identify the external device 120 by analyzing the screen of the content provided by the external device 120 and identifying identification information indicating the external device 120 in the content.
  • the processor 101 controls whether the volume of the external device 120 is adjusted using a control signal transmitted to the external device 120 by a control device used to control the external device 120, or whether the volume of the external device 120 is adjusted. It is possible to identify whether (120) is in a mute state.
  • the processor 101 determines whether the code set included in the control signal transmitted to the external device 120 by the control device used to control the external device 120 corresponds to a volume control or a mute key. By determining , it is possible to identify whether the volume of the external device 120 is adjusted or whether the external device 120 is switched to a mute state.
  • the processor 101 may obtain the electronic device output volume based on LKFS (Loudness, K-weighted, relative to full scale) information included in the input signal received from the external device 120.
  • LKFS Lane, K-weighted, relative to full scale
  • the processor 101 may identify that the external device 120 is in a mute state when the electronic device output volume is -80LKFS.
  • the processor 101 may obtain the volume of the external device 120 connected to the electronic device 100 according to a volume control command from the remote control device 110.
  • the volume of the external device 120 will be referred to as the external device volume.
  • the processor 101 may obtain the external device volume from a screen including external device volume information output to the electronic device 100a based on the volume control signal for the external device 120.
  • the external device volume information may be information representing the current volume of the external device 120 in numbers, graphs, etc.
  • the processor 101 may obtain the external device volume from a screen including external device volume information using a neural network trained to obtain the volume from the input image.
  • the processor 101 may identify an external device threshold volume corresponding to the threshold output volume based on a mapping graph representing the relationship between the electronic device output volume and the external device volume.
  • the processor 101 may obtain a mapping graph using the electronic device output volume and external device volume acquired at a first time point, and the electronic device output volume and external device volume acquired at a second time point.
  • the processor 101 may obtain the mapping graph at preset time intervals or whenever an event occurs.
  • the processor 101 identifies this as an event and creates a new mapping graph or an existing device.
  • the created mapping graph can be updated.
  • the processor 101 receives an interface screen identifying a volume control target device from the external device 120, corresponding to the fact that the acquired external device volume is less than or equal to the external device threshold volume, and displays the screen on the electronic device 100a. It can be printed through.
  • the processor 101 may transmit a control signal for changing the volume of the external device to the remote control device 110.
  • processor 101 may generate control signals based on control codes.
  • the control signal generated by the processor 101 may be transmitted to the remote control device 110 through the communication interface 105.
  • the remote control device 110 may control the external device 120 by transmitting a control signal received from the communication interface 105 or a signal corresponding to the received control signal to the external device 120.
  • the processor 101 sends a control signal for changing the volume of the external device 120 to the remote control device ( 110).
  • the external device threshold volume may be the volume of the external device corresponding to the output volume of the electronic device when the output volume of the electronic device is the threshold output volume.
  • the processor 101 may transmit a control signal to release the mute state to the remote control device 110.
  • the remote control device 110 transmits a control signal for canceling the mute state or a signal corresponding to the control signal for canceling the mute state received from the electronic device 100a to the external device 120. ) can be released from the mute state.
  • the processor 101 may adjust the volume of the electronic device 100a according to a volume control command from the remote control device 110 when the acquired external device volume is greater than the external device threshold volume.
  • Figure 3 is an internal block diagram of a processor included in an electronic device according to an embodiment.
  • the processor 101a of FIG. 3 may be an example of the processor 101 shown in FIG. 2.
  • the processor 101a may include a state information acquisition unit 310 and a state information analysis unit 320.
  • the state information acquisition unit 310 and the state information analysis unit 320 may be included in the processor 101a in a module form.
  • a module may refer to a functional and structural combination of hardware for carrying out the technical idea of the present disclosure and software for driving the hardware.
  • a module may mean a logical unit of a predetermined code and hardware resources for executing the predetermined code, and does not necessarily mean physically connected code or is limited to one type of hardware.
  • the status information acquisition unit 310 may obtain status information that affects controlling the volume of the external device 120.
  • the status information may be information collected to determine whether to adjust the volume of the external device 120 according to a volume adjustment command from the remote control device 110.
  • the status information includes information indicating that a volume control key is selected or a mute key is selected in a control device capable of controlling the external device 120, electronic device output volume and external device volume, and content that does not require volume control. It may include at least one piece of information indicating whether or not it is output.
  • the state information acquisition unit 310 may obtain control code information corresponding to the identified external device 120 from the memory 103.
  • Control code information corresponding to the external device 120 includes a control device different from the remote control device 110, for example, a plurality of keys included in a remote control device dedicated to the external device, and a control signal generated when each key is selected. can do.
  • the status information acquisition unit 310 may obtain status information when the user selects a key related to volume control of the external device 120 among a plurality of keys included in the remote control device dedicated to the external device. For example, the status information acquisition unit 310 allows the user to select a volume control key such as volume up (UP) or volume down (DOWN) or a mute key among a plurality of keys included in a remote control device dedicated to an external device. If selected, this can be identified as status information. In an embodiment, the status information acquisition unit 310 may transmit status information indicating that a volume control key or a mute key has been selected in a remote control device dedicated to an external device to the status information analysis unit 320.
  • UP volume up
  • DOWN volume down
  • a mute key among a plurality of keys included in a remote control device dedicated to an external device. If selected, this can be identified as status information.
  • the status information acquisition unit 310 may transmit status information indicating that a volume control key or a mute key has been selected in
  • the status information acquisition unit 310 may obtain the electronic device output volume and external device volume as status information.
  • the state information acquisition unit 310 may obtain LKFS information from a signal input from the external device 120 and obtain the output volume of the electronic device based on this.
  • the status information acquisition unit 310 may obtain the volume of the external device 120 connected to the electronic device 100 as status information. In an embodiment, the status information acquisition unit 310 may obtain an interface screen including external device volume information and obtain the external device volume from the interface screen including external device volume information. In an embodiment, the status information acquisition unit 310 may acquire the electronic device output volume and external device volume as status information and transmit it to the status information analysis unit 320.
  • the state information acquisition unit 310 may identify whether content output from the electronic device 100 is content that does not require volume control.
  • Content that does not require volume control may refer to content that is preset so that the volume of the external device 120 or the electronic device 100 is lower than a standard value or is in a muted state when the content is output. For example, when a menu screen, settings screen, search screen, etc. is displayed on the electronic device 100, the user is interested in the menu, settings, search, etc. rather than the content, so the audio volume output along with the video content is at the current volume level. It may be desirable to make it smaller or change to a mute state.
  • the electronic device 100 ignores the volume up key selected by the user and adjusts the volume so that it does not become louder than the current state. You can.
  • the status information acquisition unit 310 may identify whether content that does not require volume control, such as a menu screen, settings screen, or search screen, is output from the electronic device 100. In most cases, there is no significant difference in pixel values between screens in areas other than the menu, settings, or search window. Accordingly, the state information acquisition unit 310 may identify whether the electronic device 100 is currently outputting content that does not require volume control based on the degree of change in RGB values of pixels included in a plurality of screens.
  • the status information analysis unit 320 may obtain the status information and transmit the status information to the status information analysis unit 320.
  • the state information analysis unit 320 may receive state information from the state information acquisition unit 310.
  • the status information analysis unit 320 may determine whether to adjust the volume of the external device 120 according to a volume adjustment command from the remote control device 110 based on the status information.
  • the state information analysis unit 320 may obtain a mapping graph representing the relationship between the output volume of the electronic device and the volume of the external device, based on the output volume of the electronic device and the volume of the external device obtained as state information. there is.
  • the state information analysis unit 320 may identify the external device threshold volume, which is the volume of the external device corresponding to the output volume of the electronic device, when the output volume of the electronic device is the threshold output volume based on the mapping graph.
  • the state information analysis unit 320 may determine whether the external device volume is below the external device threshold volume based on the acquired external device volume and mapping graph.
  • the state information analysis unit 320 may determine whether the external device 120 is in a mute state based on the state information. For example, the status information analysis unit 320 determines whether the external device 120 is in a mute state by identifying whether the mute key is selected in a control device other than the remote control device 110, for example, a remote control device dedicated to the external device. You can judge. In addition, or separately from this, the state information analysis unit 320 may determine whether the external device 120 is in a mute state based on whether the electronic device output volume is -80 LKFS.
  • the state information analysis unit 320 may consider whether content that does not require volume control is displayed on the current screen based on the state information.
  • the status information analysis unit 320 determines that the external device 120 is not in a mute state, the external device volume is below the external device threshold volume, and content that does not require volume control is currently being displayed on the screen. Then, a control signal for increasing the volume of the external device can be transmitted to the remote control device 110 in response to a command to increase the volume from the remote control device 110.
  • the remote Ignore the volume control command from the control device 110 do not adjust the external device volume, lower the external device volume lower than the current volume, or remotely send a control signal to change the external device 120 to a mute state. It can be transmitted to the control device 110.
  • the status information analysis unit 320 determines that the external device 120 is in a muted state and that content that does not require volume control is currently being output on the screen, and then adjusts the volume from the remote control device 110. In response to the command to raise the height, a control signal for releasing the external device 120 from the mute state may be transmitted to the remote control device 110.
  • the status information analysis unit 320 ignores the volume control command from the remote control device 110 when it determines that the external device 120 is in a muted state and content that does not require volume control is currently being output on the screen. And, the volume of the external device 120 can be maintained in a muted state, or a control signal for adjusting the volume to a low sound level below the standard volume can be transmitted to the remote control device 110.
  • the status information analysis unit 320 when the status information analysis unit 320 determines that the external device volume is greater than the external device threshold volume and that content requiring volume control is not currently being output on the screen, it sends a command to increase the volume from the remote control device 110.
  • the volume of the electronic device 100 can be further increased according to the command.
  • the processor 101a obtains status information that affects the control of the volume of the external device 120, and based on this, the external device 120 follows a volume control command from the remote control device 110. It may be determined whether to adjust the volume of the device 120.
  • FIG. 4 is a diagram for explaining the state information acquisition unit and the state information analysis unit of FIG. 3 according to an embodiment.
  • the state information acquisition unit 310 may include an electronic device output volume acquisition unit 311 and an external device volume acquisition unit 313.
  • the electronic device output volume acquisition unit 311 may acquire the sound volume output from the electronic device 100, that is, the electronic device output volume.
  • the electronic device output volume acquisition unit 311 may receive an input signal from the external device 120 through HDMI.
  • the input signal may include content from the external device 120.
  • Content from the external device 120 may include at least one of audio content, video content, subtitles such as subtitles, and other additional information.
  • the input signal received from the external device 120 may include LKFS information.
  • the electronic device output volume acquisition unit 311 may acquire the electronic device output volume based on LKFS information received from the external device 120.
  • LKFS Linoudness, K-weighted, relative to Full Scale
  • the LKFS unit is a unit that quantifies the characteristics of a person's ability to hear sound, and is a unit system that expresses how loud a sound actually feels to a person.
  • a level increase or decrease of 1 dB is equivalent to an increase or decrease in volume value of 1 LKFS.
  • LKFS is a volume standard. For example, the standard volume of a broadcast program is set at -24LKFS, which is the volume at which people can most comfortably hear the average volume.
  • the electronic device output volume acquisition unit 311 may obtain LKFS information received from the external device 120 as the electronic device output volume and transmit the electronic device output volume to the state information analysis unit 320.
  • the external device volume acquisition unit 313 may acquire the current volume of the external device 120.
  • the external device volume may refer to the actual volume of the external device 120 connected to the electronic device 100.
  • the external device volume acquisition unit 313 uses the interface screen output from the electronic device 100 when the volume of the external device 120 is adjusted to identify the current volume of the external device 120. The actual volume of the external device 120 can be obtained.
  • the external device 120 when the external device 120 receives a volume adjustment control signal from the remote control device 110, or receives a volume adjustment control signal from a control device different from the remote control device 110, the external device 120 responds to the volume adjustment control signal. At the same time as adjusting the volume accordingly, an interface screen containing external device volume information indicating the adjusted volume of the external device 120 can be created.
  • the external device volume information may mean information indicating the current volume of the external device 120.
  • the current volume of the external device 120 may be a volume adjusted in accordance with the volume adjustment control signal for the external device 120.
  • the electronic device 100 may receive an interface screen including external device volume information from the external device 120 and output it.
  • the external device volume acquisition unit 313 may capture an interface screen including external device volume information.
  • the external device volume acquisition unit 313 may capture an interface screen output through the electronic device 100 based on a volume control signal for the external device 120.
  • the external device volume acquisition unit 313 corresponds to a control signal including a control code related to the volume of the external device 120 being transmitted to the external device 120 from a remote control device dedicated to the external device, etc.
  • An interface screen containing external device volume information received and output from the external device 120 can be captured.
  • the control code related to the volume of the external device 120 may be a control code for volume up, volume down, mute state change, etc.
  • the external device volume acquisition unit 313 may obtain external device volume information from the captured screen.
  • the external device volume information may include at least one of an image form, such as a number representing the current volume of the external device 120 or a graph representing the current volume level of the external device 120 among the maximum volume.
  • a graph representing the level of sound may be expressed as a bar or a circular shape, but is not limited to this.
  • the external device volume acquisition unit 313 may include appropriate logic, circuitry, interface, and/or code that can be operated to detect a class corresponding to the external device volume information from the captured screen. .
  • the external device volume acquisition unit 313 may detect at least one class among numbers or graphs representing volume included in the captured screen.
  • the external device volume acquisition unit 313 searches for connected pixels constituting an object, obtains the relationship between the outlines constituting the pixels, distinguishes different objects with different colors, etc., and uses numbers or graphs representing the volume.
  • the area containing can be detected.
  • the area containing numbers or graphs representing the volume may be an area that surrounds the external device volume information and has a shape such as a circle, oval, or square box.
  • the external device volume acquisition unit 313 may crop and separate the external device volume information area from the captured screen.
  • the external device volume information area may be an area containing numbers or graphs representing the volume.
  • the external device volume acquisition unit 313 may detect an edge in a separated area. In an embodiment, the external device volume acquisition unit 313 may detect an edge and then apply image processing technology to separate the text and/or graph from the background.
  • the external device volume acquisition unit 313 may perform OCR (Optical Character Recognition) on the external device volume information to recognize whether the corresponding text is a number.
  • OCR Optical Character Recognition
  • OCR is an automatic recognition technology that converts letters and images on prints or photos into digital data. It can convert images of letters or numbers into a format such as a character code that can be edited by a computer.
  • the external device volume acquisition unit 313 may identify the current volume of the external device 120 from a number or a graph.
  • the external device volume acquisition unit 313 may transmit the current volume of the external device 120 to the state information analysis unit 320.
  • the state information analysis unit 320 may include a mapping graph acquisition unit 321.
  • the mapping graph acquisition unit 321 may obtain the electronic device output volume from the electronic device output volume acquisition unit 311 and the external device volume acquisition unit 313.
  • the mapping graph acquisition unit 321 may obtain a mapping graph representing the relationship between the output volume of an electronic device and the volume of an external device.
  • the mapping graph acquisition unit 321 may obtain a mapping graph using the electronic device output volume and external device volume acquired at the same time. For example, the mapping graph acquisition unit 321 collects LKFS information from the electronic device output volume acquisition unit 311 each time the external device volume acquisition unit 313 obtains the external device volume and electronic device output. A mapping graph can be obtained using the volume relationship.
  • the mapping graph acquisition unit 321 uses the information acquired within a certain error time range to create a mapping graph. can be obtained. For example, when the electronic device 100 acquires the external device volume from the external device volume acquisition unit 313, it stores it in the memory 103 and then obtains the LKFS information from the electronic device output volume acquisition unit 311. At the time of reception, the pre-stored external device volume can be read from the memory 103 and used together with the electronic device output volume to obtain a mapping graph.
  • Electronic device output volume and external device volume generally have linear characteristics. That is, when the volume of the external device 120 is high, the output volume of the electronic device also becomes large, and when the volume of the external device 120 is low, the output volume of the electronic device also becomes low.
  • the mapping graph acquisition unit 321 may obtain a mapping graph by linearly connecting the output volume of the electronic device and the volume of the external device, respectively acquired at at least two points in time, for example, the first point in time and the second point in time. .
  • the mapping graph acquisition unit 321 obtains the coordinate values of the electronic device output volume and external device volume acquired at a first time point, and the coordinate values of the electronic device output volume and external device volume acquired at a second time point, , a mapping graph can be obtained by linearly connecting two coordinate values.
  • the mapping graph acquisition unit 321 may generate a mapping graph or update a previously created mapping graph at preset time intervals or whenever an event occurs. For example, the mapping graph acquisition unit 321 may update the mapping graph by adding the coordinate values of the output volume of the electronic device and the volume of the external device acquired at the third time point to the previously generated mapping graph.
  • the mapping graph acquisition unit 321 may create a new mapping graph for the new external device when the external device connected to the electronic device 100 changes. This is because the external device volume corresponding to the same electronic device output volume may vary depending on the type or model of the external device 120, and the mapping graph representing the relationship between the electronic device output volume and the external device volume may also change. Because.
  • the mapping graph acquisition unit 321 creates a new mapping graph according to the external device 120 or updates a previously created mapping graph, and based on this, when the output volume of the electronic device is the threshold output volume, the mapping graph acquisition unit 321 creates a new mapping graph according to the external device 120.
  • the corresponding external device threshold volume can be identified.
  • FIG. 5 is a diagram illustrating how an electronic device obtains the volume of an external device using a neural network, according to an embodiment.
  • the external device volume acquisition unit 313 included in the status information acquisition unit 310 includes appropriate logic, circuits, and interfaces that can perform the function of acquiring the external device volume 520 from the input image 510. , and/or code.
  • the external device volume acquisition unit 313 may acquire the external device volume 520 included in the input image 510 by analyzing the input image 510 on a rule basis. If the data processing performance, operating system, CPU processing speed, etc. of the electronic device 100 are such that it is difficult to perform a large amount of calculation in a short time, the external device volume acquisition unit 313 obtains the input image 510 based on rules. It may be designed to obtain the external device sound volume 520 from the input image 510 by analyzing it.
  • the external device volume acquisition unit 313 may acquire the external device volume 520 from the input image 510 using a neural network. In an embodiment, the external device volume acquisition unit 313 may use at least one neural network.
  • the neural network 500 may be a deep neural network (DNN) including two or more hidden layers.
  • the neural network 500 may include a structure that receives input data, processes the input data through hidden layers, and outputs the processed data.
  • the hidden layer of the neural network 500 is a deep neural network (DNN) with two depths.
  • DNN deep neural network
  • the external device volume acquisition unit 313 may analyze the input image 510 by performing calculations through the neural network 500.
  • the neural network 500 can perform learning through learning data.
  • the neural network 500 can be designed in many different ways depending on the model implementation method, the accuracy of the results, the reliability of the results, and the processing speed and capacity of the processor.
  • the neural network 500 includes an input layer 501, a hidden layer 502, and an output layer 503, and can perform operations to obtain external device volume information.
  • the neural network 500 includes a first layer (Layer 1) 504 formed between the input layer 501 and the first hidden layer (HIDDEN LAYER1), the first hidden layer (HIDDEN LAYER1), and the second hidden layer (HIDDEN LAYER2). ) a second layer (Layer 2) (505) formed between the second hidden layer (HIDDEN LAYER2) and the output layer (OUTPUT LAYER) (503), and a third layer (Layer 3) (506) formed between the second hidden layer (HIDDEN LAYER2) (503) You can.
  • Each of the plurality of layers forming the neural network 500 may include one or more nodes.
  • the input layer 501 may include one or more nodes 530 that receive data.
  • the input layer 501 includes a plurality of nodes.
  • the input image 510 may be input to a plurality of nodes 530.
  • two adjacent layers are connected by a plurality of edges (eg, 540) as shown. Since each node has a corresponding weight value, the neural network 500 can obtain output data based on a value obtained by calculating, for example, multiplying the input signal and the weight value.
  • the neural network 500 is trained based on a plurality of learning data and can be built as a model to infer the external device volume 520 from the input image 510.
  • the neural network 500 may be a neural network trained by learning a predetermined dataset using a supervised learning method.
  • a neural network can be trained to detect external device volume information areas that are the same or similar to the learned dataset.
  • the neural network 500 may be an algorithm that extracts features by analyzing and classifying input data using a plurality of learning data as input values.
  • the neural network 500 may be a model learned to extract volume information from input data.
  • the neural network 500 can learn how to detect volume information in an image.
  • the neural network 500 can be trained using various images and the type, location, and size of volume information included in each image as a learning data set.
  • the image used as learning data may be a screen containing volume information.
  • the neural network 500 may be trained using a region containing volume information in an image as a set of correct answers.
  • the neural network 500 can be trained repeatedly to infer/predict the location and size of the area containing volume information from the input image and make the predicted result equal to the correct answer set.
  • weight values can be modified to increase accuracy.
  • the neural network 500 with the final modified weight values can analyze the information included in the input image 510, which is input data, and output the external device volume 520 as a result.
  • the learned neural network 500 can be installed in the memory 103 or the external device volume acquisition unit 313 and used to obtain the external device volume 520 from the input image 510.
  • the neural network 500 can detect external device volume information included in the input image 510 and obtain the volume of the external device from it.
  • FIG. 6 is a diagram illustrating how an electronic device obtains the volume of an external device from a screen, according to an embodiment.
  • the electronic device 100 may output content received from the external device 120.
  • the electronic device 100 may further include a display 600.
  • the electronic device 100 may output video content received from the external device 120 through the display 600.
  • the user may input a button to adjust the volume using a remote control device for controlling the external device 120, for example, a remote control device dedicated to the external device.
  • the remote control device for controlling the external device 120 may transmit a control signal including a control code related to the volume of the external device 120 to the external device 120 in response to the user selecting a button to control the volume.
  • the external device 120 adjusts the volume in response to receiving the volume control control signal for the external device 120, simultaneously generates an interface screen 610 indicating the adjusted volume, and transmits it to the electronic device 100. You can.
  • the interface screen 610 showing the adjusted volume may be an interface screen including external device volume information.
  • the electronic device 100 may receive an interface screen including external device volume information from the external device 120 and output it through the display 600.
  • the electronic device 100 responds to a control signal including a control code related to the volume of the external device 120 being transmitted to the external device 120 from a remote control device dedicated to the external device, etc.
  • the interface screen 610 containing external device volume information received and output from 120) can be captured.
  • the electronic device 100 displays the display 600 of the electronic device 100 at a predetermined time, for example, every 0.5 seconds, regardless of whether the volume control signal for the external device 120 is transmitted to the external device 120. You can also capture the screen displayed through the screen and obtain external device volume information from it.
  • the interface screen 610 including external device volume information may include an external device volume information area 620.
  • the external device volume information area 620 may be an area containing information indicating the volume of the external device 120 connected to the electronic device 100.
  • the external device volume information area 620 may include the external device volume as a number.
  • the external device volume information area 620 may include the currently set volume of the external device 120 among the maximum volume that the external device can output as an image such as a percentage or a graph.
  • the external device volume information area 620 is included in the upper left area of the interface screen 610 containing external device volume information. Additionally, it can be seen that the external device volume information area 620 includes the number 11. This may mean that the external device volume corresponds to volume 11. Additionally, it can be seen that the external device volume information area 620 includes a circular graph in which the area corresponding to the current external device volume among the maximum volume indicated by a circle is indicated in dark color. However, this is one embodiment, and the output position, size, color, brightness, transparency, and external device volume information area 620 of the external device volume information area 620 are displayed on the interface screen 610 containing external device volume information. The location of the included numbers or graphs, the type of numbers or graphs, or the font, etc. can be modified in various ways.
  • the electronic device 100 may detect the external device volume information area 620 on the interface screen 610 and identify the external device volume included in the external device volume information area 620.
  • FIG. 7 is a diagram illustrating a mapping graph acquired by an electronic device according to an embodiment.
  • the electronic device 100 may obtain a mapping graph representing the relationship between the electronic device output volume and the external device volume.
  • the x-axis of the mapping graph 700 represents external device volume (VOLUME), and the y-axis represents electronic device output volume as LKFS.
  • LKFS is expressed as an absolute value.
  • the electronic device 100 may receive LKFS information from the external device 120. In an embodiment, the electronic device 100 may identify LKFS information received from the external device 120 as the electronic device output volume.
  • the electronic device 100 may obtain the current volume of the external device 120 connected to the electronic device 100.
  • the electronic device 100 captures an interface screen containing external device volume information, which is output from the electronic device 100 when the volume of the external device 120 is adjusted, and identifies the external device volume from this. You can obtain it by doing this.
  • the electronic device 100 may acquire the electronic device output volume and/or the external device volume at regular intervals or at random intervals.
  • the electronic device 100 when the electronic device 100 receives a volume control command from the remote control device 110, the electronic device 100 may obtain the electronic device output volume and/or the external device volume correspondingly.
  • the electronic device 100 adjusts the volume of the external device 120 based on the volume control control signal for the external device 120 and outputs an interface screen including external device volume information. Volume can be obtained.
  • the electronic device 100 may acquire the external device volume and the electronic device output volume at the same time.
  • the electronic device 100 may acquire the electronic device output volume each time the external device volume is acquired.
  • the electronic device 100 acquires the external device volume and stores it in the memory 103, and then stores the electronic device output volume, that is, LKFS information.
  • the external device volume can be read from the memory 103 and used.
  • the electronic device 100 may obtain a mapping graph using the relationship between the electronic device output volume and the external device volume.
  • the electronic device 100 uses at least the electronic device output volume and the external device volume obtained at least two times.
  • a mapping graph can be obtained.
  • the electronic device 100 includes coordinate values (x1, y1) of the electronic device output volume and external device volume acquired at a first time point, and the electronic device output volume and external device volume acquired at a second time point.
  • a mapping graph can be obtained by connecting the coordinate values (x2, y2) of the device volume.
  • the electronic device 100 acquires the coordinate values of the electronic device output volume and the external device volume respectively acquired at a plurality of time points, and connects them to create a mapping graph representing the relationship between the electronic device output volume and the external device volume. It can be obtained.
  • the electronic device 100 may determine whether the external device volume is below the external device threshold volume based on the mapping graph.
  • the external device threshold volume may mean the external device volume corresponding to the electronic device output volume when the electronic device output volume is the threshold output volume.
  • the critical output volume may be a standard output volume for distinguishing target devices whose volume is to be controlled according to a volume control command from the remote control device 110.
  • the threshold output volume may have a default value predetermined by the manufacturer of the electronic device 100 or may be determined by user settings. For example, assuming that the threshold output volume in FIG. 7 is -24 LKFS, when the electronic device output volume is -24 LKFS, which is the threshold output volume, the electronic device 100 sets 29, the corresponding external device volume, as the external device threshold volume. It can be identified as:
  • the electronic device 100 obtains the external device volume according to a volume control command from the remote control device 110, and when the external device volume is below the external device threshold volume, a control signal for changing the external device volume Can be transmitted to the remote control device 110.
  • the electronic device 100 can identify the current external device volume. If the current external device volume is, for example, 28, the electronic device 100 determines that the current external device volume is lower than the external device threshold volume of 29, and sends a control signal to change the external device volume to the remote control device 110. By transmitting, the volume of the external device 120 can be changed from 28 to 29.
  • the electronic device 100 continues to send a control signal to change the external device volume in response to a volume up command through the remote control device 110 until the external device volume reaches 29, which is the external device threshold volume. It can be sent to (110).
  • the electronic device 100 may adjust the volume of the electronic device 100 when the external device volume obtained in response to a volume control command from the remote control device 110 is greater than the external device threshold volume. For example, when the current external device volume is 30 and the user transmits a command to increase the volume using the remote control device 110, the electronic device 100 sets the current external device volume to 29, which is the external device threshold volume. It is determined to be loud, and the volume of the electronic device 100, rather than the external device 120, may be increased in response to the volume up command through the remote control device 110.
  • the electronic device 100 may re-acquire the mapping graph corresponding to the changed external device.
  • the electronic device 100 may identify the external device threshold volume corresponding to the threshold output volume based on the mapping graph corresponding to the changed external device.
  • the external device threshold volume of the changed external device may be the same as or different from the external device threshold volume of the external device before the change.
  • the external device threshold volume of the changed external device may be 27.
  • the electronic device 100 may obtain a changed volume of an external device based on receiving a command to increase the volume from the remote control device 110.
  • the electronic device 100 determines that the changed volume of the external device is greater than the external device threshold volume of 27, and may increase the volume of the electronic device 100 rather than the external device.
  • the electronic device 100 may obtain a mapping graph for each external device and identify the external device threshold volume corresponding to the threshold output volume based on the mapping graph. Therefore, even if external devices have different volume characteristics, the electronic device 100 uses the threshold output volume having a constant value as a reference, and controls the volume of the external device corresponding to the threshold output volume based on the threshold volume. By identifying the device, volume control operations for external devices can be performed at a consistent time.
  • FIG 8 is an internal block diagram of an electronic device according to an embodiment.
  • the electronic device 100b of FIG. 8 may be an example of the electronic device 100a of FIG. 2.
  • descriptions that overlap with those described in FIG. 2 will be omitted.
  • the electronic device 100b may include a processor 101 and a memory 103. Since the processor 101 and memory 103 included in the electronic device 100b perform the same operations as the processor 101 and memory 103 included in the electronic device 100a of FIG. 2, the same reference numerals are used. did. Additionally, the operations performed by the communication interface 105 of FIG. 2 may be performed separately by the communication unit 820 and the input/output unit 840 of FIG. 8.
  • the electronic device 100b includes, in addition to the processor 101 and the memory 103, a tuner unit 810, a communication unit 820, a detection unit 830, an input/output unit 840, and a video processing unit 850. ), a display 860, an audio processing unit 870, an audio output unit 880, and a user input unit 890 may be further included.
  • the tuner unit 810 amplifies, mixes, resonates, etc. broadcast content received by wire or wirelessly, and selects only the frequency of the channel desired to be received by the electronic device 100b among many radio wave components. You can select it by tuning. Content received through the tuner unit 810 is decoded and separated into audio, video, and/or additional information. Separated audio, video, and/or additional information may be stored in the memory 103 under the control of the processor 210.
  • the communication unit 820 may connect the electronic device 100b to a peripheral device, an external device, a server, a mobile terminal, etc. under the control of the processor 210.
  • the communication unit 820 may include at least one communication module capable of performing wireless communication.
  • the communication unit 820 may include at least one of a wireless LAN module 821, a Bluetooth module 822, and a wired Ethernet 823 depending on the performance and structure of the electronic device 100b.
  • the Bluetooth module 822 can receive a Bluetooth signal transmitted from a peripheral device according to the Bluetooth communication standard.
  • the Bluetooth module 822 can be a BLE (Bluetooth Low Energy) communication module and can receive BLE signals.
  • the Bluetooth module 822 may continuously or temporarily scan the BLE signal to detect whether the BLE signal is being received.
  • the wireless LAN module 821 can transmit and receive Wi-Fi signals with surrounding devices according to Wi-Fi communication standards.
  • the sensing unit 830 detects the user's voice, the user's image, or the user's interaction, and may include a microphone 831, a camera unit 832, a light receiving unit 833, and a sensing unit 834.
  • the microphone 831 can receive an audio signal including the user's utterance or noise, and can convert the received audio signal into an electrical signal and output it to the processor 210.
  • the camera unit 832 includes a sensor (not shown) and a lens (not shown), and can photograph and capture images on the screen and transmit them to the processor 210.
  • the camera unit 832 may capture a screen including external device volume information output from the display 860 based on a volume control signal for the external device.
  • the optical receiver 833 can receive optical signals (including control signals).
  • the light receiver 833 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from a control device such as a remote control or a mobile phone.
  • a user input eg, touch, press, touch gesture, voice, or motion
  • the input/output unit 840 receives video (e.g., a dynamic image signal or a still image signal, etc.), audio (e.g., a voice signal, or music signal) from an external device 120, etc. under the control of the processor 210. signals, etc.) and additional information, etc. can be received.
  • video e.g., a dynamic image signal or a still image signal, etc.
  • audio e.g., a voice signal, or music signal
  • additional information, etc. can be received.
  • the input/output unit 840 is one of an HDMI port (High-Definition Multimedia Interface port, 841), a component jack (842), a PC port (PC port, 843), and a USB port (USB port, 844). may include.
  • the input/output unit 840 may include a combination of an HDMI port 841, a component jack 842, a PC port 843, and a USB port 844.
  • the video processing unit 850 processes image data to be displayed by the display 860 and performs various image processing operations such as decoding, rendering, scaling, noise filtering, frame rate conversion, and resolution conversion on the image data. You can.
  • the display 860 may output content received from a broadcasting station or from an external device 120 such as an external server or external storage medium on the screen.
  • Content is a media signal and may include video signals, images, text signals, etc.
  • the display 860 may output an interface screen including external device volume information received from the external device 120.
  • the display 860 may output an interface screen that identifies the volume control target device.
  • the interface screen for identifying the volume control target device may be an interface screen for informing the user of the volume control target device or for allowing the user to select the volume control target device.
  • the audio processing unit 870 performs processing on audio data.
  • the audio processing unit 870 may perform various processing such as decoding, amplification, noise filtering, etc. on audio data.
  • the audio output unit 880 outputs audio included in content received through the tuner unit 810 under the control of the processor 210, audio input through the communication unit 820 or the input/output unit 840, and memory ( 103) can be output.
  • the audio output unit 880 may include at least one of a speaker 881, headphones 882, or S/PDIF (Sony/Philips Digital Interface: output terminal) 883.
  • the audio output unit 880 may adjust the volume of audio output according to the control of the remote control device 110 or the processor 101.
  • the user input unit 890 may receive user input for controlling the electronic device 100b.
  • the user input unit 890 includes a touch panel that detects the user's touch, a button that receives the user's push operation, a wheel that receives the user's rotation operation, a keyboard, and a dome switch, and voice recognition. It may include, but is not limited to, various types of user input devices including a microphone for detecting motion, a motion detection sensor for detecting motion, etc.
  • a remote control or other mobile terminal such as the remote control device 110
  • the user input unit 890 may receive a control signal received from the remote control device 110.
  • the user input unit 890 may receive a volume control command from the user. In an embodiment, the user input unit 890 may select a target device for volume adjustment from the user in response to the display 860 outputting an interface screen for selecting a volume control target device.
  • FIG. 9 is a diagram illustrating an electronic device outputting an interface screen that identifies a volume control target device according to an embodiment.
  • the electronic device 100 obtains the volume of the external device 120 according to a volume control command from the remote control device 110, and the volume of the external device is set to the external device threshold volume.
  • an interface screen identifying the volume control target device can be output.
  • the interface screen 920 that identifies the volume control target device may be a screen for selecting the volume control target device.
  • an interface screen ( 920) may include a message asking whether to select a set-top box or a TV as the target device for adjusting the volume.
  • the electronic device 100 may display the interface screen 920 that identifies the volume control target device in the form of a text window on a partial area of the display of the electronic device 100, but is not limited to this. .
  • the size, output location, transparency, shape, content of the message, etc. of the interface screen 920 that identifies the volume control target device may be modified in various ways.
  • the user can select a target device to adjust the volume in response to the output of the interface screen 920 identifying the target device for volume adjustment.
  • a target device to adjust the volume in response to the output of the interface screen 920 identifying the target device for volume adjustment.
  • the user can use the up and down buttons of the remote control device 110 to select a set-top box or a TV as the volume control target device.
  • the electronic device 100 sends a control signal for changing the volume of the external device 120 to the remote control device 110 in response to the user selecting the set-top box, that is, the external device 120, as the volume control target device. Can be transmitted.
  • the remote control device 110 may adjust the volume of the external device 120 by transmitting a volume control signal to the external device 120 based on the control signal received from the electronic device 100.
  • the interface screen 930 that identifies the volume control target device may include a message notifying the volume control target device.
  • a message notifying the volume control target device For example, as shown in FIG. 9(b), when the electronic device 100 is a TV and the external device 120 connected to the electronic device 100 is a set-top box, an interface screen ( 930) may include a message stating that the set-top volume is low and the set-top volume is adjusted.
  • the electronic device 100 identifies the volume control target device shown in FIG. 9(b).
  • the interface screen can be output.
  • the electronic device 100 when the user selects a set-top box as the volume control target device corresponding to the output of the interface screen 920 identifying the volume control target device, the electronic device 100 identifies the volume control target device.
  • the interface screen 930 may also be output.
  • the electronic device 100 may display the interface screen 930 that identifies the volume control target device in the form of a text window at the top center of the display of the electronic device 100, but is not limited to this.
  • the size, output location, transparency, shape, and content of the message of the interface screen 930 that identifies the volume control target device may be modified in various ways.
  • the user can identify that the target device whose volume is being adjusted is a set-top box, that is, the external device 120, in response to the output of the interface screen 930 identifying the device to be adjusted for volume.
  • the user can control the volume of the electronic device 100 and the external device 120 using only the remote control device 110 without using a remote control device dedicated to the external device.
  • the electronic device 100 considers the volume of external devices and the output volume of the electronic device, identifies devices that require volume adjustment, and adjusts the volume of the identified devices to provide a content use environment that better matches the user's intention to adjust the volume. can do.
  • FIG. 10 is a diagram illustrating a method for an electronic device to obtain a mapping graph, according to an embodiment.
  • the electronic device 100 may obtain the electronic device output volume (step 1010).
  • the electronic device 100 may obtain LKFS information from the external device 120 connected to the electronic device 100 and obtain this as the electronic device output volume.
  • the electronic device 100 may obtain the external device volume from the screen output from the electronic device 100 (step 1020).
  • the electronic device 100 captures a screen containing external device volume information output from the electronic device 100 based on the volume control signal for the external device 120, and obtains the external device volume from the captured screen. You can.
  • the electronic device 100 may obtain a mapping graph representing the relationship between the electronic device output volume and the external device volume (step 1030).
  • the electronic device 100 displays the output volume of the electronic device and the volume of the external device, acquired at the same time, as one coordinate value, and connects the multiple coordinate values obtained at multiple times, so that the output volume of the electronic device and the volume of the external device are determined.
  • a mapping graph representing the relationship can be obtained.
  • the electronic device 100 may update the previously created mapping graph when the electronic device output volume and the external device volume are newly acquired. Additionally, the electronic device 100 may obtain a new mapping graph whenever the external device 120 changes.
  • FIG. 11 is a diagram illustrating a method by which an electronic device identifies a volume control target device, according to an embodiment.
  • the electronic device 100 can acquire the external device volume (step 1110).
  • the electronic device 100 may use the previously generated mapping graph to identify the external device threshold volume, which is the external device volume corresponding to the electronic device output volume when the electronic device output volume is the threshold output volume.
  • the electronic device 100 may compare the external device threshold volume and the acquired external device volume. The electronic device 100 may determine whether the acquired external device volume is less than or equal to the external device threshold volume (step 1120).
  • the electronic device 100 may transmit a control signal for changing the external device volume to the remote control device 110 (step 1130).
  • the remote control device 110 receives a control signal for changing the volume of an external device from the electronic device 100, and sends the received control signal or a volume control signal generated based on the received control signal to the external device 120. By transmitting, the volume of the external device 120 can be adjusted.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer-readable instructions, data structures, program modules, or other data in a modulated data signal, such as a carrier wave, or other transmission mechanism, and includes any information delivery medium.
  • the electronic device and its operating method include obtaining the volume of an external device connected to the electronic device according to a volume control command from a remote control device, and the acquired volume of the external device. Transmitting a control signal for changing the volume of the external device to the remote control device corresponding to being less than or equal to the external device threshold volume, wherein the external device threshold volume is the electronic device output volume when the electronic device output volume is the threshold output volume.
  • the external device threshold volume is the electronic device output volume when the electronic device output volume is the threshold output volume.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Selective Calling Equipment (AREA)

Abstract

원격 제어 장치로부터의 음량 조절 명령에 따라, 전자 장치에 연결된 외부 기기의 음량을 획득하는 단계 및 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 외부 기기의 음량을 변경하기 위한 제어 신호를 원격 제어 장치로 전송하는 단계를 포함하고, 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 전자 장치 출력 음량에 대응하는 외부 기기의 음량인, 전자 장치의 동작 방법이 개시된다.

Description

전자 장치 및 그 동작 방법
개시된 다양한 실시 예들은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로 전자 장치에 연결된 외부 기기를 제어하는 전자 장치 및 그 동작 방법에 관한 것이다.
기술의 발달로 전자 장치는 다양한 외부 기기로부터 콘텐츠를 수신할 수 있다. 예컨대, 디지털 텔레비전과 같은 전자 장치는 셋탑 박스나 홈 씨어터, 게임기, DVD 플레이어 등과 같이 다양한 외부 기기들로부터 콘텐츠를 수신하여 이를 출력할 수 있다. 사용자는 디지털 텔레비전을 이용하여 다양한 외부 기기로부터 수신된 콘텐츠를 이용할 수 있다.
실시 예에 따른 전자 장치는 통신 인터페이스, 하나 이상의 인스트럭션을 저장하는 메모리(103) 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 원격 제어 장치로부터의 음량 조절 명령에 따라, 상기 전자 장치에 연결된 외부 기기의 음량을 획득할 수 있다.
도 1은 실시 예에 따라, 전자 장치가 외부 기기의 음량을 제어하는 것을 설명하기 위한 도면이다.
도 2는 실시 예에 따른 전자 장치의 내부 블록도이다.
도 3은 실시 예에 따른 전자 장치에 포함된 프로세서의 내부 블록도이다.
도 4는 실시 예에 따라, 도 3의 상태 정보 획득부 및 상태 정보 분석부를 설명하기 위한 도면이다.
도 5는 실시 예에 따라, 전자 장치가 뉴럴 네트워크를 이용하여 외부 기기 음량을 획득하는 것을 설명하기 위한 도면이다.
도 6은 실시 예에 따라, 전자 장치가 화면에서 외부 기기 음량을 획득하는 것을 설명하기 위한 도면이다.
도 7은 실시 예에 따라 전자 장치가 획득한 매핑 그래프를 도시한 도면이다.
도 8은 실시 예에 따른 전자 장치의 내부 블록도이다.
도 9는 실시 예에 따라 전자 장치가 음량 조절 대상 기기를 식별하는 인터페이스 화면을 출력하는 것을 설명하기 위한 도면이다.
도 10은 실시 예에 따라, 전자 장치가 매핑 그래프를 획득하는 방법을 설명하기 위한 도면이다.
도 11은 실시 예에 따라, 전자 장치가 음량 조절 대상 기기를 식별하는 방법을 설명하기 위한 도면이다.
하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 통신 인터페이스를 통해 원격 제어 장치로 전송할 수 있다. 여기서, 상기 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 상기 전자 장치 출력 음량에 대응하는 외부 기기의 음량일 수 있다.
실시 예에 따른 전자 장치의 동작 방법은 원격 제어 장치로부터의 음량 조절 명령에 따라, 상기 전자 장치에 연결된 외부 기기의 음량을 획득하는 단계를 포함할 수 있다.
실시 예에서, 전자 장치의 동작 방법은 상기 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 상기 원격 제어 장치로 전송하는 단계를 포함할 수 있다.
여기서, 상기 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 상기 전자 장치 출력 음량에 대응하는 외부 기기의 음량일 수 있다.
실시 예에 따른 컴퓨터로 읽을 수 있는 기록 매체는 원격 제어 장치로부터의 음량 조절 명령에 따라, 상기 전자 장치에 연결된 외부 기기의 음량을 획득하는 단계를 포함하는, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.
실시 예에 따른 기록 매체는 상기 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 상기 원격 제어 장치로 전송하는 단계를 포함하는, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체일 수 있다. 여기서, 상기 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 상기 전자 장치 출력 음량에 대응하는 외부 기기의 음량일 수 있다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 "상기" 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 "사용자"라는 용어는 전자 장치를 이용하는 사람을 의미하며, 소비자, 평가자, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 실시 예에 따라, 전자 장치가 외부 기기의 음량을 제어하는 것을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 영상을 출력할 수 있는 전자 장치일 수 있다. 일 예에 따라 전자 장치(100)는 디스플레이를 포함하는 다양한 형태의 전자 장치로 구현될 수 있다. 전자 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 TV일 수 있으나, 이에 한정되지 않는다.
실시 예에서, 전자 장치(100)는 데스크톱, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자 북 리더기(e-book reader), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 디지털 카메라, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 캠코더, 네비게이션, 웨어러블 장치(wearable device), 스마트 와치(smart watch), 홈 네트워크 시스템, 보안 시스템, 의료 장치 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 평면(flat) 디스플레이 장치뿐 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도 등과 같이 다양한 해상도를 가질 수 있다.
전자 장치(100)는 콘텐츠를 출력할 수 있다. 콘텐츠는 비디오, 오디오, 자막, 기타 부가 정보 등을 포함할 수 있다. 콘텐츠는 콘텐츠 프로바이더들(contents providers)이 제공하는 텔레비전 프로그램이나 VOD 서비스를 통한 각종 영화나 드라마 등의 비디오, 음악 등의 오디오 등을 포함할 수 있다. 콘텐츠 프로바이더는 소비자에게 비디오를 포함한 각종 콘텐츠를 제공하는 지상파 방송국이나 케이블 방송국, 위성 방송국, 또는 OTT 서비스 제공자, IPTV 서비스 제공자를 의미할 수 있다.
콘텐츠 프로바이더에 의해 생성된 콘텐츠는 다양한 외부 기기(120)를 통해 전자 장치(100)로 입력될 수 있다. 실시 예에서, 외부 기기(120)는 PC, 셋탑 박스, 블루레이 플레이어, 휴대폰, 게임기, 홈 씨어터, 오디오 플레이어, USB 등과 같이 다양한 형태의 소스 장치로 구현될 수 있다. 외부 기기(120)는 유선 통신망 또는 무선 통신망을 통해 전자 장치(100)에 연결되어 전자 장치(100)로 다양한 콘텐츠를 제공할 수 있다. 예컨대, 외부 기기(120)는 HDMI를 통해 전자 장치(100)에 유선으로 연결되어 전자 장치(100)에 콘텐츠를 제공할 수 있으나, 이에 한정되는 것은 아니다.
실시 예에서, 전자 장치(100)는 원격 제어 장치(110)에 의해 제어될 수 있다.
실시 예에서, 원격 제어 장치(110)는 전자 장치(100) 외에도 여러 전자 기기들을 제어할 수 있는 범용 리모컨(Multi Brand Remote control)일 수 있다. 범용 리모컨은 브랜드에 관계없이 다양한 종류의 소스 장치들을 제어하는 장치일 수 있다. 사용자는 범용 리모컨을 이용하여 전자 장치(100) 외에도 외부 기기(120)를 함께 제어할 수 있다. 사용자는 범용 리모컨을 이용하여 전자 장치(100)뿐 아니라 기타 다양한 종류의 소스 장치들, 예컨대, PC, 셋탑 박스, 블루레이 플레이어, 휴대폰, 게임기, 홈 씨어터 등을 제어할 수 있다.
실시 예에서, 원격 제어 장치(110)는 전자 장치(100)나 기타 다른 전자 기기들을 제어하는 기능만을 수행하는 제어 장치일 수도 있고, 또는 스마트폰 등과 같이 다른 기능을 수행하면서 전자 장치(100)나 기타 다른 전자 기기들에 대한 제어 기능까지 수행 가능한 제어 장치일 수도 있다.
전자 장치(100)를 이용하여 외부 기기(120)로부터 입력된 콘텐츠를 이용하는 중에 사용자는 더 큰 음량으로 콘텐츠를 이용하고 싶을 수 있다. 사용자는 원격 제어 장치(110)를 이용하여 전자 장치(100)의 볼륨을 조절할 수 있다. 전자 장치(100)는 원격 제어 장치(110)를 통해 사용자로부터 볼륨을 증가시키라는 명령을 수신하면, 그에 상응하여 전자 장치(100)의 볼륨을 올릴 수 있다.
그러나, 외부 기기(120)의 음량이 작게 설정되어 있거나 또는 외부 기기(120)가 뮤트(mute) 상태인 경우에는, 전자 장치(100)의 볼륨이 증가하더라도 사용자는 음량 변화가 없거나 미미하다고 느낄 수 있다.
이에, 전자 장치(100)는 외부 기기(120)의 볼륨이 임계 값 이하인지 여부를 판단할 수 있다. 전자 장치(100)는 외부 기기(120)의 볼륨이 임계 값 이하인 경우에는 원격 제어 장치(110)로부터 전자 장치(100)의 볼륨 값을 변경하기 위한 제어 신호가 수신되더라도, 전자 장치(100)의 볼륨 값이 아닌, 외부 기기(120)의 볼륨 값을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송함으로써, 외부 기기(120)의 볼륨 값이 변경되도록 할 수 있다.
이 경우, 원격 제어 장치(110)는 전자 장치(100)로부터 외부 기기 음량을 변경하기 위한 제어 신호를 수신한 것에 상응하여, 외부 기기 음량을 변경하기 위한 제어 신호 또는 외부 기기 음량을 변경하기 위한 제어 신호에 대응하는 신호를 외부 기기(120)로 전송함으로써, 외부 기기(120)의 볼륨이 조절되도록 할 수 있다.
외부 기기(120)의 볼륨이 임계 값 이하인지 여부를 판단하기 위해, 전자 장치(100)는 외부 기기(120)의 볼륨을 획득할 수 있다. 전자 장치(100)는 외부 기기(120)로부터 전송되는 입력 신호에 포함된 LKFS(Loudness, K-weighted, relative to Full Scale) 정보를 이용하여 외부 기기(120)의 볼륨을 획득할 수 있다.
LKFS 정보에 기초하여 외부 기기(120)의 볼륨을 예측하기 위해, 전자 장치(100)는 소정 시간 간격으로, 예컨대, 초 단위로 몇 초 동안 LKFS를 수집하고, 이를 평균한 값을 외부 기기(120)의 볼륨으로 예측하여 이용할 수 있다.
그러나, 과거의 LKFS 정보를 평균하여 구한 값은 외부 기기(120)의 현재 음량과 정확히 일치하지 않을 수 있다. 즉, 과거 시점에 획득된 LKFS 정보는 현재 시점보다는 지연된 과거 시점의 음량을 나타내므로, 외부 기기(120)의 현재의 실제 음량을 정확히 반영하지 못한다. 또한 LKFS 값이 초 단위로 급격히 변하는 경우, 급변하는 LKFS 정보를 평균한 값은 급변하는 외부 기기(120)의 실제 음량과는 다를 수 있다.
이에, 실시 예에서, 전자 장치(100)는 외부 기기(120)의 음량을 식별하기 위해, LKFS 정보를 누적하여 이용하는 대신, 외부 기기(120)로부터 수신되는 화면으로부터 외부 기기(120)의 현재 음량을 식별할 수 있다. 외부 기기(120)는 음량 조절 제어 신호를 수신하면, 음량 조절 제어 신호에 상응하여 음량을 조절하고, 또한 조절된 외부 기기 음량을 나타내는 인터페이스 화면을 출력할 수 있다. 전자 장치(100)는 외부 기기(120)로부터 외부 기기 음량 정보를 포함하는 인터페이스 화면을 수신하고, 이를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기 음량 정보를 포함하는 인터페이스 화면을 캡쳐하고, 캡쳐된 화면에서 식별된 외부 기기 음량 정보로부터 외부 기기 음량을 획득할 수 있다. 따라서, 실시 예에 따르면 전자 장치(100)는 화면에 출력된 외부 기기 음량 정보로부터 외부 기기 음량을 식별함으로써, 외부 기기(120)의 현재 음량을 실시간으로 정확히 획득할 수 있다.
또한, 전자 장치(100)와 연결된 외부 기기(120)의 종류나 모델에 따라 전자 장치 출력 음량은 달라질 수 있다. 예컨대, 서로 다른 제1 외부 기기와 제2 외부 기기의 볼륨이 모두 10으로 설정된 경우라 하더라도, 전자 장치(100)에 제1 외부 기기가 연결되어 있는 경우에 전자 장치(100)로부터 출력되는 전자 장치 출력 음량은, 전자 장치(100)에 제2 외부 기기가 연결되어 있는 경우에 전자 장치(100)로부터 출력되는 전자 장치 출력 음량과 서로 다를 수 있다.
실시 예에서, 전자 장치(100)는 원격 제어 장치(110)로부터 음량 조절 명령을 받으면, 외부 기기(120)의 현재 음량이 임계 값 이하인 지 여부를 판단하기 위해, 전자 장치 출력 음량을 기준 값으로 이용할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 수신되는 입력 신호에 포함된 LKFS(Loudness, K-weighted, relative to Full Scale) 정보를 전자 장치 출력 음량으로 획득할 수 있다. 예컨대, 전자 장치(100)가 외부 기기(120)와 HDMI를 통해 연결되어 있는 경우, 전자 장치(100)는 HDMI를 통해 외부 기기(120)로부터 입력 신호를 수신할 수 있다. 입력 신호는 콘텐츠 외에 LKFS 정보도 포함할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)의 음량과 전자 장치 출력 음량의 관계를 기반으로, 전자 장치 출력 음량이 기준 값을 가질 때, 그에 대응하는, 기준이 되는 외부 기기 음량을 식별할 수 있다.
이하, 기준이 되는 전자 장치 출력 음량을 임계 출력 음량이라고 호칭하기로 한다. 또한, 전자 장치가 임계 출력 음량을 가질 때 그에 대응하는 기준이 되는 외부 기기 음량을 외부 기기 임계 음량이라고 호칭하기로 한다.
실시 예에서, 임계 출력 음량은 전자 장치(100) 제조사에 의해 미리 결정된 디폴트 값을 갖거나 또는 사용자 설정에 의해 결정될 수 있다. 예컨대, 임계 출력 음량은 -40 LKFS일 수 있다. 또는, 임계 출력 음량은 표준 음량인 -24 LKFS일 수 있다.
실시 예에서, 전자 장치(100)는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 이용하여 전자 장치 출력 음량이 임계 출력 음량일 때 그에 대응하는 외부 기기 임계 음량을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 기반으로, 전자 장치 출력 음량이 임계 출력 음량일 때 그에 대응하는 외부 기기 임계 음량을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다.
전술한 바와 같이, 외부 기기(120)의 종류나 모델에 따라 외부 기기 음량이 동일한 값을 갖더라도 전자 장치 출력 음량은 달라질 수 있다. 따라서, 실시 예에서, 전자 장치(100)는 외부 기기(120)가 변경될 때 마다 새로 연결된 외부 기기(120)에 대한 매핑 그래프를 새로 획득하고, 이를 기반으로, 전자 장치 출력 음량이 임계 출력 음량일 때 그에 대응하는 외부 기기 임계 음량을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 매핑 그래프를 기반으로, 전자 장치 출력 음량이 임계 출력 음량일 때 그에 대응하는 외부 기기 음량인, 외부 기기 임계 음량을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)의 현재 음량을 파악하고, 외부 기기(120)의 현재 음량이 외부 기기 임계 음량 이하인지 여부를 판단할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)의 음량을 식별하기 위해, 외부 기기(120)로부터 수신되는 화면을 이용할 수 있다.
실시 예에서, 외부 기기(120)는 원격 제어 장치(110)로부터 음량 조절 제어 신호를 수신하거나, 또는 원격 제어 장치(110)와는 다른 제어 장치로부터 음량 조절 제어 신호를 수신하면, 음량 조절 제어 신호에 상응하여 음량을 조절할 수 있다.
실시 예에서, 외부 기기(120)는 외부 기기(120)에 대한 음량 조절 제어 신호를 수신하면, 그에 상응하여 음량을 조절하고 이와 함께, 또는 이와 별도로, 외부 기기 음량 정보를 포함하는 인터페이스 화면을 생성할 수 있다. 실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 외부 기기 음량 정보를 포함하는 인터페이스 화면을 수신하고 이를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기 음량을 획득하기 위해, 외부 기기 음량 정보를 포함하는 인터페이스 화면을 캡쳐할 수 있다.
실시 예에서, 전자 장치(100)는 캡쳐된 화면에서 외부 기기 음량 정보를 식별하고, 외부 기기 음량 정보로부터 외부 기기 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 입력 영상에서 음량을 획득하도록 훈련된 뉴럴 네트워크를 이용하여 외부 기기 음량 정보를 포함하는 화면으로부터 외부 기기 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 캡쳐된 화면으로부터 획득한 외부 기기 음량이 외부 기기 임계 음량 이하인지를 판단할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)의 현재 음량이 외부 기기 임계 음량 이하인지 여부에 따라 외부 기기(120)의 음량을 제어할지, 또는 전자 장치(100)의 음량을 제어할지를 결정할 수 있다.
실시 예에서, 전자 장치(100)는 획득된 외부 기기 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 음량 조절 대상 기기를 식별하는 인터페이스 화면을 출력할 수 있다. 음량 조절 대상 기기를 식별하는 인터페이스 화면은 음량을 조절할 대상 기기를 사용자에게 알리기 위한 정보를 포함할 수 있다.
또는 음량 조절 대상 기기를 식별하는 인터페이스 화면은 음량을 조절할 대상 기기를 선택 받기 위한 정보를 포함할 수 있다. 음량 조절 대상 기기를 식별하는 인터페이스 화면이 음량을 조절할 대상 기기를 선택 받기 위한 정보를 포함하는 경우, 전자 장치(100)는 음량 조절 대상 기기를 식별하는 인터페이스 화면이 출력된 것에 상응하여 사용자로부터 음량을 조절할 외부 기기(120)를 선택 받을 수 있다.
실시 예에서, 전자 장치(100)는 사용자로부터 음량 조절 대상 기기로 외부 기기(120)를 선택 받은 것에 상응하여 외부 기기 음량을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 원격 제어 장치(110)는 전자 장치(100)로부터 외부 기기 음량을 변경하기 위한 제어 신호를 수신한 것에 상응하여, 외부 기기 음량을 변경하기 위한 제어 신호 또는 외부 기기 음량을 변경하기 위한 제어 신호에 대응하는 신호를 외부 기기(120)로 전송함으로써, 외부 기기(120)의 음량이 조절되도록 할 수 있다.
실시 예에서, 외부 기기 음량이 외부 기기 임계 음량 이하인 경우는 외부 기기(120)가 뮤트(mute) 상태인 경우를 포함할 수 있다.
실시 예에서, 외부 기기(120)가 뮤트 상태인 경우, 외부 기기 음량을 변경하기 위한 제어 신호는 외부 기기(120)의 뮤트 상태를 해제하기 위한 제어 신호를 포함할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)가 뮤트 상태인 경우, 뮤트 상태를 해제하기 위한 제어 신호를 원격 제어 장치(110)를 통해 외부 기기(120)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 획득된 외부 기기 음량이 외부 기기 임계 음량보다 큰 경우에는, 원격 제어 장치(110)로부터의 음량 조절 명령에 따라, 전자 장치(100)의 음량을 조절할 수 있다.
이와 같이, 실시 예에 의하면, 전자 장치(100)는 전자 장치(100)에서 출력되는 인터페이스 화면을 기반으로 외부 기기(120)의 현재 음량을 정확히 획득할 수 있다.
실시 예에 의하면, 전자 장치(100)는 외부 기기(120)의 현재 음량이 임계 값 이하인 지 여부를 판단하기 위해, 전자 장치 출력 음량과 외부 기기 음량을 함께 고려할 수 있다.
실시 예에 의하면, 전자 장치(100)는 전자 장치 출력 음량이 임계 출력 음량일 때, 그에 상응하는 외부 기기 음량인 외부 기기 임계 음량을 식별함으로써, 원격 제어 장치(110)를 이용하여 외부 기기(120)의 볼륨을 제어할 진입 시점을 정확히 판단할 수 있다. 따라서, 사용자는 하나의 원격 제어 장치(110)를 이용하여 전자 장치(100)뿐 아니라 외부 기기(120)의 음량 또한 편리하게 조절할 수 있다.
도 2는 실시 예에 따른 전자 장치의 내부 블록도이다.
도 2의 전자 장치(100a)는 도 1의 전자 장치(100)의 일 예일 수 있다.
도 2를 참조하면, 실시 예에 따른 전자 장치(100a)는 통신 인터페이스(105), 하나 이상의 인스트럭션을 저장하는 메모리(103) 및 메모리(103)에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(101a)를 포함할 수 있다.
실시 예에 따른 메모리(103)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(103)는 프로세서(101)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한 메모리(103)는 전자 장치(100a)로 입력되거나 전자 장치(100a)로부터 출력되는 데이터를 저장할 수 있다.
메모리(103)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
실시 예에서, 메모리(103)에는 외부 기기 음량을 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 기반으로, 전자 장치 출력 음량이 임계 출력 음량일 때 전자 장치 출력 음량에 대응하는 외부 기기 임계 음량을 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 외부 기기 음량 정보를 포함하는 화면에서 외부 기기 음량을 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 적어도 하나의 뉴럴 네트워크 및/또는 기 정의된 동작 규칙이나 AI 모델이 저장될 수 있다.
실시 예에서, 메모리(103)에 저장된 뉴럴 네트워크는 입력 영상 및 입력 영상에 포함된 음량 정보를 학습 데이터 셋으로 학습한 뉴럴 네트워크일 수 있다.
실시 예에서, 메모리(103)에 저장된 뉴럴 네트워크는 외부 기기 음량 정보를 포함하는 화면에서 외부 기기 음량을 획득할 수 있다.
실시 예에서, 메모리(103)에는 외부 기기 음량이 저장될 수 있다.
실시 예에서, 메모리(103)에는 전자 장치 출력 음량이 저장될 수 있다.
실시 예에서, 메모리(103)에는 외부 기기 음량과 전자 장치 출력 음량을 기반으로 생성된 매핑 그래프가 저장될 수 있다.
실시 예에서, 매핑 그래프가 업데이트된 경우, 메모리(103)에는 업데이트된 매핑 그래프가 저장될 수 있다.
실시 예에서, 메모리(103)에는 외부 기기(120)에 대한 제어 코드 정보가 저장될 수 있다. 실시 예에서, 제어 코드 정보는 외부 기기(120)를 제어하기 위한 정보로, 외부 기기(120)를 제어하는 데 이용되는 제어 장치에 포함된 복수 키 및 각 키가 선택될 때 발생되는 제어 신호를 포함할 수 있다. 외부 기기(120)를 제어하는 데 이용되는 제어 장치는 외부 기기 전용 원격 제어 장치일 수 있으나 이에 한정되는 것은 아니다.
실시 예에서, 메모리(103)에는 복수의 외부 기기들 각각을 제어하는 데 이용되는 제어 코드 정보가 저장될 수 있다. 복수의 외부 기기들 각각을 제어하는 데 이용되는 제어 코드 정보는 외부의 서버 등으로부터 다운로드되어 메모리(103)에 저장될 수 있다. 또는 전자 장치(100)를 생산한 제조사는 메모리(103)에 복수의 외부 기기들 각각에 대한 제어 코드 정보를 미리 저장시킬 수 있다.
실시 예에 따른 통신 인터페이스(105)는 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다.
통신 인터페이스(105)는 프로세서(101)의 제어에 의해 전자 장치(100a)를 주변 기기나 외부 기기(120), 원격 제어 장치(110), 서버, 이동 단말기 등과 연결할 수 있다.
통신 인터페이스(105)는 무선 통신을 수행할 수 있는 적어도 하나의 통신 모듈을 포함할 수 있다. 통신 인터페이스(105)는 전자 장치(100a)의 성능 및 구조에 대응하여 무선랜 모듈, 블루투스 모듈, 유선 이더넷(Ethernet) 중 적어도 하나를 포함할 수 있다.
통신 인터페이스(105)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스(105)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신 인터페이스(105)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 예컨대, 통신 인터페이스(105)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스(105)는 외부 기기(120), 외부 서버, 외부 전자 장치 등과 유선으로 통신할 수도 있다. 이를 위해 통신 인터페이스(105)는 외부 기기(120)와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 통신 인터페이스(105)는 적어도 하나의 포트를 통하여 유선 연결된 외부 기기(120)와 통신을 수행하여, 외부 기기(120)로부터 입력 신호를 수신할 수 있다. 실시 예에서, 통신 인터페이스(105)는 HDMI 포트(High-Definition Multimedia Interface port), 컴포넌트 잭(component jack), PC 포트(PC port), USB 포트(USB port) 등을 통하여 외부 기기(120)와 유선으로 연결되어 외부 기기(120)로부터 입력 신호를 수신할 수 있다.
실시 예에서, 외부 기기(120)로부터 수신하는 입력 신호는 콘텐츠 및 LKFS 음량 정보를 포함할 수 있다.
실시 예에서, 통신 인터페이스(105)는 적외선(infrared), 와이파이, 또는 BLE 통신을 이용하여 원격 제어 장치(110)와 통신을 수행할 수 있다. 통신 인터페이스(105)는 원격 제어 장치(110)로 제어 신호를 송신하거나 또는 원격 제어 장치(110)로부터 제어 신호를 수신할 수 있다.
실시 예에서, 통신 인터페이스(105)는 원격 제어 장치(110) 외에, 외부 기기(120)를 제어하는 데 이용되는 제어 장치가 외부 기기(120)로 전송하는 제어 신호를 스니핑(sniffing)하여 획득할 수 있다. 스니핑은 제어 신호에 포함된 패킷 정보를 해킹하는 동작을 의미할 수 있다. 외부 기기(120)를 제어하는 데 이용되는 제어 장치는 외부 기기 전용 원격 제어 장치일 수 있으나 이에 한정되는 것은 아니며, 외부 기기(120)를 제어하는 데 이용되는 제어 장치는 외부 기기(120) 및 기타 다양한 전자 장치들을 통합하여 제어할 수 있는 범용 리모컨 일 수도 있다.
실시 예에서, 통신 인터페이스(105)는 원격 제어 장치(110) 외에, 외부 기기(120)를 제어하는 데 이용되는 제어 장치가 외부 기기(120)로 전송하는 제어 신호를 획득하고, 이를 프로세서(101)로 전송할 수 있다.
실시 예에서, 통신 인터페이스(105)는 원격 제어 장치(110)로부터의 음량 조절 명령을 수신할 수 있다.
실시 예에서, 통신 인터페이스(105)는 프로세서(101)가 음량 조절 명령에 기반하여 생성한, 외부 기기(120)에 대한 음량 조절 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
프로세서(101)는 전자 장치(100a)의 전반적인 동작을 제어할 수 있다. 프로세서(101)는 메모리(103)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 전자 장치(100a)가 기능하도록 제어할 수 있다.
실시 예에서, 프로세서(101)는 외부 기기(120)를 식별할 수 있다.
실시 예에서, 프로세서(101)는 통신 인터페이스(105)가 스니핑하여 획득한, 외부 기기(120)를 제어하는 데 이용되는 제어 장치가 외부 기기(120)로 전송하는 제어 신호로부터 제어 신호에 포함된 적어도 하나의 패킷 정보를 획득할 수 있다. 프로세서(101)는 패킷 정보에 기초하여 제어 신호가 전송되는 타겟인 외부 기기(120)를 식별할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(101)는 다양한 방법을 이용하여 외부 기기(120)를 식별할 수 있다. 예컨대, 프로세서(101)는 외부 기기(120)가 전송하는 입력 신호에 포함된 식별 정보를 이용하여 외부 기기(120)를 식별할 수 있다. 또는, 프로세서(101)는 외부 기기(120)가 제공하는 콘텐츠의 화면을 분석하여 외부 기기(120)를 나타내는 식별 정보 등을 콘텐츠에서 식별함으로써 외부 기기(120)를 식별할 수 있다.
실시 예에서, 프로세서(101)는 외부 기기(120)를 제어하는 데 이용되는 제어 장치가 외부 기기(120)로 전송하는 제어 신호를 이용하여 외부 기기(120)의 음량이 조절되는지, 또는 외부 기기(120)가 뮤트 상태인지 여부 등을 식별할 수 있다. 프로세서(101)는 외부 기기(120)를 제어하는 데 이용되는 제어 장치가 외부 기기(120)로 전송하는 제어 신호에 포함된 코드 셋이 음량 조절에 대응하는 지, 또는 뮤트 키에 대응하는 지 여부를 판단함으로써, 외부 기기(120)의 음량이 조절되는지, 또는 외부 기기(120)가 뮤트 상태로 전환되는지 여부를 식별할 수 있다.
실시 예에서, 프로세서(101)는 외부 기기(120)로부터 수신되는 입력 신호에 포함된 LKFS(Loudness, K-weighted, relative to Full Scale) 정보에 기초하여 전자 장치 출력 음량을 획득할 수 있다.
실시 예에서, 프로세서(101)는 전자 장치 출력 음량이 -80LKFS인 경우, 외부 기기(120)가 뮤트 상태라고 식별할 수 있다.
실시 예에서, 프로세서(101)는 원격 제어 장치(110)로부터의 음량 조절 명령에 따라, 전자 장치(100)에 연결된 외부 기기(120)의 음량을 획득할 수 있다. 이하, 외부 기기(120)의 음량을 외부 기기 음량으로 호칭하기로 한다.
실시 예에서, 프로세서(101)는 외부 기기(120)에 대한 음량 조절 제어 신호에 기반하여 전자 장치(100a)에 출력된, 외부 기기 음량 정보를 포함하는 화면에서 외부 기기 음량을 획득할 수 있다. 외부 기기 음량 정보는 외부 기기(120)의 현재 음량을 숫자나 그래프 등으로 나타내는 정보일 수 있다.
실시 예에서, 프로세서(101)는 입력 영상에서 음량을 획득하도록 훈련된 뉴럴 네트워크를 이용하여 외부 기기 음량 정보를 포함하는 화면에서 외부 기기 음량을 획득할 수 있다.
실시 예에서, 프로세서(101)는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 기반으로, 임계 출력 음량에 대응하는, 외부 기기 임계 음량을 식별할 수 있다.
실시 예에서, 프로세서(101)는 제1 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량, 및 제2 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량을 이용하여 매핑 그래프를 획득할 수 있다.
실시 예에서, 프로세서(101)는 기 설정된 시간 간격 마다 또는 이벤트가 발생할 때 마다 매핑 그래프를 획득할 수 있다.
실시 예에서, 프로세서(101)는 전자 장치(100a)에 연결된 외부 기기(120)가 변경되거나, 및/또는 외부 기기 음량이 변경되는 경우, 이를 이벤트로 식별하고, 매핑 그래프를 새로 생성하거나 또는 기 생성된 매핑 그래프를 업데이트할 수 있다.
실시 예에서, 프로세서(101)는 획득된 외부 기기 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 외부 기기(120)로부터 음량 조절 대상 기기를 식별하는 인터페이스 화면을 수신하고 이를 전자 장치(100a) 화면을 통해 출력할 수 있다.
실시 예에서, 프로세서(101)는 인터페이스 화면이 출력된 것에 상응하여 사용자로부터 외부 기기(120)를 선택 받는 경우, 외부 기기 음량을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 프로세서(101)는 제어 코드에 기반한 제어 신호를 생성할 수 있다. 프로세서(101)가 생성한 제어 신호는 통신 인터페이스(105)를 통해 원격 제어 장치(110)로 전송될 수 있다. 원격 제어 장치(110)는 통신 인터페이스(105)로부터 수신한 제어 신호 또는 수신한 제어 신호에 대응하는 신호를 외부 기기(120)로 전송하여 외부 기기가 제어되도록 할 수 있다.
실시 예에서, 프로세서(101)는 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 외부 기기(120)의 음량을 변경하기 위한 제어 신호를 통신 인터페이스(105)를 통해 원격 제어 장치(110)로 전송할 수 있다. 여기서, 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 전자 장치 출력 음량에 대응하는 외부 기기의 음량일 수 있다.
실시 예에서, 프로세서(101)는 외부 기기(120)가 뮤트 상태라고 판단한 경우, 뮤트 상태를 해제하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다. 원격 제어 장치(110)는 전자 장치(100a)로부터 수신한, 뮤트 상태를 해제하기 위한 제어 신호 또는 뮤트 상태를 해제하기 위한 제어 신호에 대응하는 신호를 외부 기기(120)로 전송함으로써 외부 기기(120)가 뮤트 상태에서 해제되도록 할 수 있다.
실시 예에서, 프로세서(101)는 획득된 외부 기기 음량이 외부 기기 임계 음량보다 큰 경우에는 원격 제어 장치(110)로부터의 음량 조절 명령에 따라, 전자 장치(100a)의 음량을 조절할 수 있다.
도 3은 실시 예에 따른 전자 장치에 포함된 프로세서의 내부 블록도이다.
실시 예에서, 도 3의 프로세서(101a)는 도 2에 도시된 프로세서(101)의 일 예일 수 있다.
실시 예에서, 프로세서(101a)는 상태 정보 획득부(310) 및 상태 정보 분석부(320)를 포함할 수 있다.
실시 예에서, 상태 정보 획득부(310) 및 상태 정보 분석부(320)는 모듈 형태로 프로세서(101a)에 포함될 수 있다. 모듈이라 함은, 본 개시의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 모듈은 소정의 코드와 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어로 한정되지 않는다.
실시 예에서, 상태 정보 획득부(310)는 외부 기기(120)의 음량을 제어하는 데 영향을 주는 상태 정보를 획득할 수 있다. 실시 예에서, 상태 정보는, 원격 제어 장치(110)로부터의 음량 조절 명령에 따라 외부 기기(120)의 음량을 조절할지 여부를 판단하기 위해 수집되는 정보일 수 있다.
실시 예에서, 상태 정보는 외부 기기(120)를 제어할 수 있는 제어 장치에서 볼륨 조절 키가 선택되거나 뮤트 키가 선택되었음을 알리는 정보, 전자 장치 출력 음량 및 외부 기기 음량, 및 음량 제어가 불필요한 콘텐츠가 출력되는지 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
실시 예에서, 상태 정보 획득부(310)는 외부 기기(120)가 식별되면 메모리(103)로부터 식별된 외부 기기(120)에 대응하는 제어 코드 정보를 획득할 수 있다. 외부 기기(120)에 대응하는 제어 코드 정보는 원격 제어 장치(110)와는 다른 제어 장치, 예컨대, 외부 기기 전용 원격 제어 장치에 포함된 복수개의 키 및 각 키가 선택될 때 발생되는 제어 신호를 포함할 수 있다.
실시 예에서, 상태 정보 획득부(310)는 사용자가 외부 기기 전용 원격 제어 장치에 포함된 복수 키 중 외부 기기(120)의 음량 조절과 관련된 키를 선택하면 이를 상태 정보로 획득할 수 있다. 예컨대, 상태 정보 획득부(310)는 사용자가 외부 기기 전용 원격 제어 장치에 포함된 복수개의 키 중 볼륨 업(UP)이나 볼륨 다운(DOWN)과 같은 볼륨 조절 키를 선택하거나 또는 뮤트(mute) 키를 선택한 경우, 이를 상태 정보로 식별할 수 있다. 실시 예에서, 상태 정보 획득부(310)는 외부 기기 전용 원격 제어 장치에서 볼륨 조절 키가 선택되거나 뮤트 키가 선택되었음을 나타내는 상태 정보를 상태 정보 분석부(320)로 전송할 수 있다.
실시 예에서, 상태 정보 획득부(310)는 전자 장치 출력 음량 및 외부 기기 음량을 상태 정보로 획득할 수 있다. 상태 정보 획득부(310)는 외부 기기(120)로부터 입력된 신호로부터 LKFS 정보를 획득하고 이를 기반으로 전자 장치 출력 음량을 획득할 수 있다.
실시 예에서, 상태 정보 획득부(310)는 전자 장치(100)에 연결된 외부 기기(120)의 음량을 상태 정보로 획득할 수 있다. 실시 예에서, 상태 정보 획득부(310)는 외부 기기 음량 정보를 포함하는 인터페이스 화면을 획득하고, 외부 기기 음량 정보를 포함하는 인터페이스 화면에서 외부 기기 음량을 획득할 수 있다. 실시 예에서, 상태 정보 획득부(310)는 전자 장치 출력 음량 및 외부 기기 음량을 상태 정보로 획득하고, 이를 상태 정보 분석부(320)로 전송할 수 있다.
실시 예에서, 상태 정보 획득부(310)는 전자 장치(100)에서 출력되는 콘텐츠가 음량 제어가 불필요한 콘텐츠인지 여부를 식별할 수 있다. 음량 제어가 불필요한 콘텐츠는 해당 콘텐츠가 출력될 때 외부 기기(120)나 전자 장치(100)의 음량이 기준 값 이하가 되도록, 또는 뮤트 상태가 되도록 미리 설정된 콘텐츠를 의미할 수 있다. 예컨대, 전자 장치(100)에 메뉴 화면이나 설정 화면, 검색 화면 등이 출력되는 경우 사용자는 콘텐츠가 아닌 메뉴나 설정, 검색 등에 관심이 있는 상태이기 때문에, 비디오 콘텐츠와 함께 출력되는 오디오 음량이 현재 음량보다 더 작아지거나 또는 뮤트 상태로 변경되는 것이 바람직할 수 있다. 또는, 메뉴나 검색 화면 등이 출력된 상태에서 사용자가 볼륨 업 키를 선택한 경우, 이는 잘못 입력된 버튼일 가능성이 크다. 따라서, 전자 장치(100)는 메뉴 화면이 출력되는 중에 사용자가 외부 기기 전용 원격 제어 장치를 이용하여 볼륨 업 키를 선택하면 사용자가 선택한 볼륨 업 키를 무시하여, 볼륨이 현재 상태보다 더 커지지 않도록 조절할 수 있다.
실시 예에서, 상태 정보 획득부(310)는 전자 장치(100)에서 메뉴 화면이나 설정 화면, 검색 화면 등과 같이 음량 제어가 불필요한 콘텐츠가 출력되는지 여부를 식별할 수 있다. 메뉴나 설정, 검색 화면 등은 메뉴나 설정, 검색 창 외의 다른 영역에서는 화면 간 픽셀 값에 큰 차이가 없는 경우가 대부분일 수 있다. 따라서, 상태 정보 획득부(310)는 복수 화면들에 포함된 픽셀의 RGB 값의 변화 정도를 기반으로 현재 전자 장치(100)가 음량 제어가 불필요한 콘텐츠를 출력하는지 여부를 식별할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 전자 장치(100)에서 음량 제어가 불필요한 콘텐츠가 출력되는 경우, 이를 상태 정보로 획득하고, 상태 정보를 상태 정보 분석부(320)로 전송할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 상태 정보 획득부(310)로부터 상태 정보를 수신할 수 있다. 상태 정보 분석부(320)는 상태 정보를 기반으로 원격 제어 장치(110)로부터의 음량 조절 명령에 따라 외부 기기(120)의 음량을 조절할지 여부를 판단할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 상태 정보로 획득된, 전자 장치 출력 음량 및 외부 기기의 음량을 기반으로, 전자 장치 출력 음량 및 외부 기기의 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 매핑 그래프를 기반으로 전자 장치 출력 음량이 임계 출력 음량일 때 전자 장치 출력 음량에 대응하는 외부 기기의 음량인 외부 기기 임계 음량을 식별할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 획득된 외부 기기의 음량 및 매핑 그래프를 기반으로, 외부 기기 음량이 외부 기기 임계 음량 이하인지 여부를 판단할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 상태 정보를 기반으로 외부 기기(120)가 뮤트 상태인지 여부를 판단할 수 있다. 예컨대, 상태 정보 분석부(320)는 원격 제어 장치(110) 외의 제어 장치, 예컨대, 외부 기기 전용 원격 제어 장치에서 뮤트 키가 선택되었는지 여부를 식별함으로써, 외부 기기(120)가 뮤트 상태인지 여부를 판단할 수 있다. 이와 함께, 또는 이와 별개로, 상태 정보 분석부(320)는 전자 장치 출력 음량이 -80 LKFS인지 여부를 기준으로, 외부 기기(120)가 뮤트 상태인지 여부를 판단할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 상태 정보를 기반으로 현재 화면에 음량 제어가 불필요한 콘텐츠가 출력되는지 여부를 고려할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 외부 기기(120)가 뮤트 상태가 아니고, 외부 기기 음량이 외부 기기 임계 음량 이하이고, 현재 화면에 음량 제어가 불필요한 콘텐츠가 출력되고 있지 않은 상태라고 판단하면, 원격 제어 장치(110)로부터의 음량을 높이라는 명령에 따라 외부 기기의 음량을 올리기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 외부 기기(120)가 뮤트 상태가 아니고, 외부 기기 음량이 외부 기기 임계 음량 이하이나, 현재 화면에 음량 제어가 불필요한 콘텐츠가 출력되고 있다고 판단하면, 원격 제어 장치(110)로부터의 음량 조절 명령을 무시하고, 외부 기기 음량을 조절하지 않거나, 또는 외부 기기 음량을 현재 음량보다 더 낮추거나 또는 외부 기기(120)를 뮤트 상태로 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 외부 기기(120)가 뮤트 상태이고, 현재 화면에 음량 제어가 불필요한 콘텐츠가 출력되고 있지 않은 상태라고 판단하면, 원격 제어 장치(110)로부터의 음량을 높이라는 명령에 따라 외부 기기(120)를 뮤트 상태에서 해제하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 외부 기기(120)가 뮤트 상태이고, 현재 화면에 음량 제어가 불필요한 콘텐츠가 출력되고 있다고 판단하면, 원격 제어 장치(110)로부터의 음량 조절 명령을 무시하고, 외부 기기(120)의 음량을 뮤트 상태로 유지하거나, 또는 기준 볼륨 이하의 낮은 소리로 음량을 조절하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 외부 기기 음량이 외부 기기 임계 음량보다 크고, 현재 화면에 음량 제어가 불필요한 콘텐츠가 출력되고 있지 않다고 판단하면, 원격 제어 장치(110)로부터 음량을 올리라는 명령에 따라 전자 장치(100)의 음량을 더 높일 수 있다.
이와 같이, 실시 예에 의하면, 프로세서(101a)는 외부 기기(120)의 음량을 제어하는 데 영향을 주는 상태 정보를 획득하고, 이를 기반으로 원격 제어 장치(110)로부터의 음량 조절 명령에 따라 외부 기기(120)의 음량을 조절할지 여부를 판단할 수 있다.
도 4는 실시 예에 따라, 도 3의 상태 정보 획득부 및 상태 정보 분석부를 설명하기 위한 도면이다.
실시 예에서, 상태 정보 획득부(310)는 전자 장치 출력 음량 획득부(311) 및 외부 기기 음량 획득부(313)를 포함할 수 있다.
실시 예에서, 전자 장치 출력 음량 획득부(311)는 전자 장치(100)에서 출력되는 음량, 즉, 전자 장치 출력 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)가 외부 기기(120)와 HDMI 등의 케이블로 연결된 경우, 전자 장치 출력 음량 획득부(311)는 HDMI를 통해 외부 기기(120)로부터 입력 신호를 수신할 수 있다. 입력 신호는 외부 기기(120)로부터의 콘텐츠를 포함할 수 있다. 외부 기기(120)로부터의 콘텐츠는 오디오 콘텐츠, 비디오 콘텐츠, 자막 등의 서브타이틀, 기타 부가 정보 중 적어도 하나를 포함할 수 있다.
실시 예에서, 전자 장치(100)에 외부 기기(120)가 연결된 경우, 외부 기기(120)로부터 수신되는 입력 신호는 LKFS 정보를 포함할 수 있다. 실시 예에서, 전자 장치 출력 음량 획득부(311)는 외부 기기(120)로부터 수신된 LKFS 정보를 기반으로 전자 장치 출력 음량을 획득할 수 있다. LKFS(Loudness, K-weighted, relative to Full Scale)는 사람의 청각 인지 특성을 고려하여 계산된 음량 값의 표준 단위를 의미한다. LKFS 단위는 사람이 소리를 듣는 행위에 대한 특성들을 수치화 하여 나타내는 단위로, 실제 사람이 어느 정도로 크게 느끼는가를 표현하는 단위계이다. LKFS 단위에서 1dB의 레벨 증감은 1 LKFS의 음량 값의 증감과 동일하다. LKFS는 음량값 표준으로, 예컨대, 방송프로그램의 표준 음량은 평균 음량을 사람이 가장 편안하게 들을 수 있는 음량인 -24LKFS로 규정되어 있다.
실시 예에서, 전자 장치 출력 음량 획득부(311)는 외부 기기(120)부터 수신되는 LKFS 정보를 전자 장치 출력 음량으로 획득하고, 전자 장치 출력 음량을 상태 정보 분석부(320)로 전송할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 외부 기기(120)의 현재 음량을 획득할 수 있다. 외부 기기 음량은 전자 장치(100)에 연결된 외부 기기(120)의 실제 볼륨을 의미할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 외부 기기(120)의 현재 음량을 식별하기 위해, 외부 기기(120)의 음량이 조절될 때 전자 장치(100)에서 출력되는 인터페이스 화면을 이용하여 외부 기기(120)의 실제 볼륨을 획득할 수 있다.
실시 예에서, 외부 기기(120)는 원격 제어 장치(110)로부터 음량 조절 제어 신호를 수신하거나, 또는 원격 제어 장치(110)와는 다른 제어 장치로부터 음량 조절 제어 신호를 수신하면, 음량 조절 제어 신호에 상응하여 음량을 조절함과 동시에, 조절된 외부 기기(120)의 음량을 나타내는 외부 기기 음량 정보를 포함하는 인터페이스 화면을 생성할 수 있다.
실시 예에서, 외부 기기 음량 정보는 외부 기기(120)의 현재 음량을 나타내는 정보를 의미할 수 있다. 외부 기기(120)의 현재 음량은 외부 기기(120)에 대한 음량 조절 제어 신호에 상응하여 조절된 음량일 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 외부 기기 음량 정보를 포함하는 인터페이스 화면을 수신하고 이를 출력할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 외부 기기 음량 정보를 포함하는 인터페이스 화면을 캡쳐할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 외부 기기(120)에 대한 음량 조절 제어 신호에 기반하여 전자 장치(100)를 통해 출력된 인터페이스 화면을 캡쳐할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 외부 기기 전용 원격 제어 장치 등으로부터 외부 기기(120)의 음량과 관련된 제어 코드를 포함하는 제어 신호가 외부 기기(120)로 전송된 것에 상응하여, 외부 기기(120)로부터 수신되어 출력된 외부 기기 음량 정보를 포함하는 인터페이스 화면을 캡쳐할 수 있다. 외부 기기(120)의 음량과 관련된 제어 코드는 볼륨 업이나 볼륨 다운, 뮤트 상태 변환 등에 대한 제어 코드일 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 캡쳐된 화면에서 외부 기기 음량 정보를 획득할 수 있다.
외부 기기 음량 정보는 외부 기기(120)의 현재 음량을 나타내는 숫자나, 최대 음량 중 현재의 외부 기기(120)의 음량의 정도를 나타내는 그래프 등의 이미지 형태 중 적어도 하나를 포함할 수 있다. 음량의 정도를 나타내는 그래프는 막대 바(bar)나 원형 형태의 도형 등으로 표현될 수 있으나, 이에 한정되는 것은 아니다.
실시 예에서, 외부 기기 음량 획득부(313)는 캡쳐된 화면으로부터 외부 기기 음량 정보에 해당하는 클래스를 검출할 수 있도록 동작될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 외부 기기 음량 획득부(313)는 캡쳐된 화면에 포함된, 음량을 나타내는 숫자나 그래프 중 적어도 하나 이상의 클래스를 검출할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 물체를 구성하는 연결된 픽셀들을 찾고, 픽셀들이 구성하는 윤곽선 간의 관계를 구하고, 서로 다른 물체를 서로 다른 색상 등으로 구별하며, 음량을 나타내는 숫자나 그래프가 포함된 영역을 검출할 수 있다. 음량을 나타내는 숫자나 그래프가 포함된 영역은 외부 기기 음량 정보를 둘러싼, 원이나 타원, 사각형 박스 등과 같은 형태를 갖는 영역일 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 캡쳐된 화면에서 외부 기기 음량 정보 영역을 크랍(crop)하여 분리할 수 있다. 외부 기기 음량 정보 영역은 음량을 나타내는 숫자나 그래프가 포함된 영역일 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 분리된 영역에서 엣지(edge)를 검출할 수 있다. 실시 예에서, 외부 기기 음량 획득부(313)는 엣지를 검출한 후 영상 처리 기술을 적용하여 텍스트 및/또는 그래프를 배경과 분리할 수 있다.
외부 기기 음량 획득부(313)는 외부 기기 음량 정보에 OCR(Optical Character Recognition, 광학 문자 인식)을 수행하여 해당 텍스트가 숫자인지 여부를 인식할 수 있다. OCR은 인쇄물 또는 사진 상의 글자와 이미지를 디지털 데이터로 변환해주는 자동인식기술로, 문자나 숫자의 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환할 수 있다.
실시 예에서, 외부 기기 음량 획득부(313)는 숫자나 그래프로부터 외부 기기(120)의 현재 음량을 식별할 수 있다. 외부 기기 음량 획득부(313)는 외부 기기(120)의 현재 음량을 상태 정보 분석부(320)로 전송할 수 있다.
실시 예에서, 상태 정보 분석부(320)는 매핑 그래프 획득부(321)를 포함할 수 있다.
실시 예에서, 매핑 그래프 획득부(321)는 전자 장치 출력 음량 획득부(311)로부터 전자 장치 출력 음량을 획득하고, 외부 기기 음량 획득부(313)로부터 외부 기기 음량을 획득할 수 있다.
실시 예에서, 매핑 그래프 획득부(321)는 전자 장치 출력 음량과 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다.
실시 예에서, 매핑 그래프 획득부(321)는 동일 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량을 이용하여 매핑 그래프를 획득할 수 있다. 예컨대, 매핑 그래프 획득부(321)는 외부 기기 음량 획득부(313)로부터 외부 기기 음량이 획득될 때 마다 전자 장치 출력 음량 획득부(311)로부터 LKFS 정보를 수집하고, 외부 기기 음량과 전자 장치 출력 음량의 관계를 이용하여 매핑 그래프를 획득할 수 있다.
실시 예에서, 전자 장치(100)가 외부 기기 음량을 획득한 시점과 LKFS 정보를 획득한 시점이 다른 경우, 매핑 그래프 획득부(321)는 일정한 오차 시간 범위 내에서 획득된 정보를 이용하여 매핑 그래프를 획득할 수 있다. 예컨대, 전자 장치(100)는 외부 기기 음량 획득부(313)로부터 외부 기기 음량이 획득되면, 이를 메모리(103)에 저장하고 있다가, 이후, 전자 장치 출력 음량 획득부(311)로부터 LKFS 정보를 수신하는 시점에, 기 저장되어 있는 외부 기기 음량을 메모리(103)에서 독출하여, 전자 장치 출력 음량과 함께 이용함으로써, 매핑 그래프를 획득할 수 있다.
전자 장치 출력 음량과, 외부 기기 음량은 대체로 선형(linear)적인 특성을 갖는다. 즉, 외부 기기(120)의 음량이 높은 경우, 전자 장치 출력 음량 또한 커지고, 외부 기기(120)의 음량이 낮은 경우, 전자 장치 출력 음량 또한 작아지게 된다.
실시 예에서, 매핑 그래프 획득부(321)는 적어도 두 시점, 예컨대, 제1 시점 및 제2 시점에 각각 획득된, 전자 장치 출력 음량 및 외부 기기 음량을 리니어하게 연결하여 매핑 그래프를 획득할 수 있다.
실시 예에서, 매핑 그래프 획득부(321)는 제1 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량의 좌표 값, 및 제2 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량의 좌표 값을 구하고, 두 좌표 값을 리니어하게 연결하여 매핑 그래프를 획득할 수 있다.
실시 예에서, 매핑 그래프 획득부(321)는 기 설정된 시간 간격 마다 또는 이벤트가 발생할 때 마다 매핑 그래프를 생성하거나 또는 기 생성된 매핑 그래프를 업데이트할 수 있다. 예컨대, 매핑 그래프 획득부(321)는 제3 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량의 좌표 값을 기 생성되어 있는 매핑 그래프에 추가함으로써, 매핑 그래프가 업데이트되도록 할 수 있다.
실시 예에서, 매핑 그래프 획득부(321)는 전자 장치(100)에 연결된 외부 기기가 변경되는 경우, 새로운 외부 기기에 대한 매핑 그래프를 새로 생성할 수 있다. 이는, 외부 기기(120)의 종류나 모델에 따라, 동일한 전자 장치 출력 음량에 대응하는 외부 기기 음량이 달라질 수 있기 때문에, 전자 장치 출력 음량과 외부 기기 음량 간의 관계를 나타내는 매핑 그래프 또한 변경될 수 있기 때문이다.
실시 예에서, 매핑 그래프 획득부(321)는 외부 기기(120)에 맞게 매핑 그래프를 새로 생성하거나 또는 기 생성된 매핑 그래프를 업데이트하고, 이를 기반으로, 전자 장치 출력 음량이 임계 출력 음량일 때 그에 대응하는 외부 기기 임계 음량을 식별할 수 있다.
도 5는 실시 예에 따라, 전자 장치가 뉴럴 네트워크를 이용하여 외부 기기 음량을 획득하는 것을 설명하기 위한 도면이다.
실시 예에서, 상태 정보 획득부(310)에 포함된 외부 기기 음량 획득부(313)는 입력 영상(510)으로부터 외부 기기 음량(520)을 획득하는 기능을 수행할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 실시 예에서, 외부 기기 음량 획득부(313)는 룰 기반으로(rule based) 입력 영상(510)을 분석하여 입력 영상(510)에 포함된 외부 기기 음량(520)을 획득할 수 있다. 전자 장치(100)의 데이터 처리 성능이나 운영 체제, CPU 처리 속도 등이, 많은 연산량을 빠른 시간 안에 수행하기 어려운 장치인 경우, 외부 기기 음량 획득부(313)는 룰 기반으로 입력 영상(510)을 분석하여 입력 영상(510)으로부터 외부 기기 음량(520)을 획득하도록 설계될 수 있다.
또는, 실시 예에서, 외부 기기 음량 획득부(313)는 뉴럴 네트워크를 이용하여 입력 영상(510)으로부터 외부 기기 음량(520)을 획득할 수도 있다. 실시 예에서, 외부 기기 음량 획득부(313)는 적어도 하나의 뉴럴 네트워크를 이용할 수 있다.
실시 예에서, 뉴럴 네트워크(500)는 2개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(DNN)일 수 있다. 뉴럴 네트워크(500)는 입력 데이터를 받고, 입력된 데이터가 히든 레이어들을 통과하여 처리됨으로써, 처리된 데이터가 출력되는 구조를 포함할 수 있다.
도 5에서는 뉴럴 네트워크(500)의 숨은 층(hidden layer)이 2개의 심도(depth)를 가지는 딥 뉴럴 네트워크(DNN)인 경우를 예로 들어 도시하였다.
외부 기기 음량 획득부(313)는 뉴럴 네트워크(500)를 통한 연산을 수행하여 입력 영상(510)을 분석할 수 있다. 뉴럴 네트워크(500)는 학습 데이터를 통한 학습을 수행할 수 있다. 여기서, 뉴럴 네트워크(500)는 모델의 구현 방식이나 결과의 정확도, 결과의 신뢰도, 프로세서의 연산 처리 속도 및 용량 등에 따라 매우 다양하게 설계될 수 있다.
뉴럴 네트워크(500)는 입력 계층(501), 숨은 계층(hidden layer)(502) 및 출력 계층(503)을 포함 하여, 외부 기기 음량 정보를 획득하기 위한 연산을 수행할 수 있다. 뉴럴 네트워크(500)는 입력 계층(501)과 제1 숨은 계층(HIDDEN LAYER1) 간에 형성되는 제1 계층(Layer 1)(504), 제1 숨은 계층(HIDDEN LAYER1)과 제2 숨은 계층(HIDDEN LAYER2) 간에 형성되는 제2 계층(Layer 2)(505), 및 제2 숨은 계층(HIDDEN LAYER2)과 출력 계층(OUTPUT LAYER)(503) 간에 형성되는 제3 계층(Layer 3)(506)으로 형성될 수 있다.
뉴럴 네트워크(500)를 형성하는 복수개의 계층들 각각은 하나 이상의 노드를 포함할 수 있다. 예를 들어, 입력 계층(501)은 데이터를 수신하는 하나 이상의 노드(node)(530)들을 포함할 수 있다. 도 5에서는 입력 계층(501)이 복수개의 노드들을 포함하는 경우를 예로 들어 도시하였다. 그리고, 복수개의 노드(530)로 입력 영상(510)이 입력될 수 있다. 여기서, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)들(예를 들어, 540)로 연결된다. 각각의 노드들은 대응되는 가중치값을 가지고 있어서, 뉴럴 네트워크(500)는 입력된 신호와 가중치 값을 연산, 예를 들어, 곱하기 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.
뉴럴 네트워크(500)는 복수의 학습 데이터에 근거하여 학습되어, 입력 영상(510)으로부터 외부 기기 음량(520)을 추론하는 모델로서 구축될 수 있다.
실시 예에서, 뉴럴 네트워크(500)는 지도형 학습(supervised learning) 방법으로 소정의 데이터셋(dataset)을 학습하여 훈련된 뉴럴 네트워크일 수 있다. 뉴럴 네트워크는 학습한 데이터셋과 같거나 유사한 외부 기기 음량 정보 영역을 검출하도록 훈련될 수 있다.
실시 예에서, 뉴럴 네트워크(500)는 복수의 학습 데이터를 입력 값으로 하여 입력 데이터를 분석 및 분류하여 특징을 추출하는 알고리즘일 수 있다. 뉴럴 네트워크(500)는 입력된 데이터로부터 음량 정보를 추출하도록 학습된 모델일 수 있다. 이를 위해, 뉴럴 네트워크(500)는 영상에서 음량 정보를 검출하는 방법을 학습할 수 있다. 뉴럴 네트워크(500)는 다양한 영상 및 각 영상에 포함된 음량 정보의 종류나 위치, 크기를 학습 데이터 셋으로 이용하여 훈련될 수 있다. 여기서, 학습 데이터로 이용되는 영상은 음량 정보를 포함하는 화면일 수 있다.
실시 예에서, 뉴럴 네트워크(500)는 영상에서 음량 정보가 포함된 영역을 정답 셋으로 이용하여 훈련될 수 있다. 뉴럴 네트워크(500)는 입력 영상으로부터 음량 정보가 포함된 영역의 위치, 크기를 추론/예측하고, 예측한 결과가 정답 셋과 같아지도록 반복하여 훈련될 수 있다.
구체적으로, 뉴럴 네트워크(500)를 통하여 출력되는 결과의 정확도를 높이기 위해서, 복수의 학습 데이터에 근거하여 출력 계층(503)에서 입력 계층(501) 방향으로 학습(training)을 반복적으로 수행하며 출력 결과의 정확도가 높아지도록 가중치 값들을 수정할 수 있다.
그리고, 최종적으로 수정된 가중치 값들을 가지는 뉴럴 네트워크(500)는 입력 데이터인 입력 영상(510)에 포함되는 정보를 분석하여 외부 기기 음량(520)을 결과로 출력할 수 있다.
학습이 끝난 뉴럴 네트워크(500)는 메모리(103) 또는 외부 기기 음량 획득부(313)에 장착되어, 입력 영상(510)으로부터 외부 기기 음량(520)을 획득하는 데 이용될 수 있다.
뉴럴 네트워크(500)는 입력 영상(510)이 입력되면, 그로부터 입력 영상(510)에 포함된 외부 기기 음량 정보를 검출하고, 그로부터 외부 기기의 음량을 획득할 수 있다.
도 6은 실시 예에 따라, 전자 장치가 화면에서 외부 기기 음량을 획득하는 것을 설명하기 위한 도면이다.
실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 수신된 콘텐츠를 출력할 수 있다. 실시 예에서, 전자 장치(100)는 디스플레이(600)를 더 포함할 수 있다. 전자 장치(100)는 디스플레이(600)를 통해, 외부 기기(120)로부터 수신된 비디오 콘텐츠를 출력할 수 있다.
사용자는 외부 기기(120)의 음량을 조절하기 위해, 외부 기기(120)를 제어하기 위한 원격 제어 장치, 예컨대, 외부 기기 전용 원격 제어 장치 등을 이용하여 볼륨을 조절하는 버튼을 입력할 수 있다. 외부 기기(120)를 제어하기 위한 원격 제어 장치는 사용자가 볼륨을 조절하는 버튼을 선택한 것에 상응하여 외부 기기(120)의 음량과 관련된 제어 코드를 포함하는 제어 신호를 외부 기기(120)로 전송할 수 있다. 외부 기기(120)는 외부 기기(120)에 대한 음량 조절 제어 신호를 수신한 것에 상응하여 음량을 조절하고 동시에 조절된 음량을 나타내는 인터페이스 화면(610)을 생성하고, 이를 전자 장치(100)로 전송할 수 있다. 조절된 음량을 나타내는 인터페이스 화면(610)은 외부 기기 음량 정보를 포함하는 인터페이스 화면일 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 외부 기기 음량 정보를 포함하는 인터페이스 화면을 수신하고, 이를 디스플레이(600)를 통해 출력할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기 전용 원격 제어 장치 등으로부터 외부 기기(120)의 음량과 관련된 제어 코드를 포함하는 제어 신호가 외부 기기(120)로 전송된 것에 상응하여, 외부 기기(120)로부터 수신되어 출력된, 외부 기기 음량 정보를 포함하는 인터페이스 화면(610)을 캡쳐할 수 있다.
또는, 전자 장치(100)는 외부 기기(120)에 대한 음량 조절 제어 신호가 외부 기기(120)로 전송되는 것과 무관하게, 소정 시간, 예컨대 0.5초마다 전자 장치(100)의 디스플레이(600)를 통해 출력되는 화면을 캡쳐하고 이로부터 외부 기기 음량 정보를 획득할 수도 있다.
실시 예에서, 외부 기기 음량 정보를 포함하는 인터페이스 화면(610)은 외부 기기 음량 정보 영역(620)을 포함할 수 있다. 외부 기기 음량 정보 영역(620)은 전자 장치(100)에 연결된 외부 기기(120)의 음량을 나타내는 정보가 포함된 영역일 수 있다. 외부 기기 음량 정보 영역(620)은 외부 기기 음량을 숫자로 포함할 수 있다. 또는, 외부 기기 음량 정보 영역(620)은 외부 기기가 출력할 수 있는 최대 음량 중 현재의 외부 기기(120)의 설정 음량을 퍼센트나 그래프 등의 이미지로 포함할 수 있다.
도 6을 참조하면, 외부 기기 음량 정보 영역(620)은 외부 기기 음량 정보를 포함하는 인터페이스 화면(610)의 좌측 상단 영역에 포함되어 있는 것을 알 수 있다. 또한, 외부 기기 음량 정보 영역(620)은 숫자 11을 포함하는 것을 알 수 있다. 이는, 외부 기기 음량이 볼륨 11에 해당하는 것을 의미할 수 있다. 또한, 외부 기기 음량 정보 영역(620)은 원으로 표시되는 최대 음량 중 현재의 외부 기기 음량에 대응하는 영역이 진한 색으로 표시된 원형 그래프를 포함하고 있는 것을 알 수 있다. 다만, 이는 하나의 실시 예로, 외부 기기 음량 정보를 포함하는 인터페이스 화면(610)에서 외부 기기 음량 정보 영역(620)의 출력 위치나 크기, 색상, 밝기, 투명도, 외부 기기 음량 정보 영역(620)에 포함된 숫자나 그래프의 위치, 숫자나 그래프의 종류나 폰트 등은 다양하게 변형될 수 있다.
실시 예에서, 전자 장치(100)는 인터페이스 화면(610)에서 외부 기기 음량 정보 영역(620)을 검출하고, 외부 기기 음량 정보 영역(620)에 포함된, 외부 기기 음량을 식별할 수 있다.
도 7은 실시 예에 따라 전자 장치가 획득한 매핑 그래프를 도시한 도면이다.
실시 예에서, 전자 장치(100)는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다.
도 7을 참조하면, 매핑 그래프(700)의 x 축은 외부 기기 음량(VOLUME)을 나타내고, y 축은 전자 장치 출력 음량을 LKFS로 나타낸다. 도 7에서 LKFS는 절대값으로 표시되어 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 LKFS 정보를 수신할 수 있다. 실시 예에서, 전자 장치(100)는 외부 기기(120)로부터 수신된 LKFS 정보를 전자 장치 출력 음량으로 식별할 수 있다.
실시 예에서, 전자 장치(100)는 전자 장치(100)에 연결된 외부 기기(120)의 현재 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)의 음량이 조절될 때 전자 장치(100)에서 출력되는, 외부 기기 음량 정보를 포함하는 인터페이스 화면을 캡쳐하고, 이로부터 외부 기기 음량을 식별하여 획득할 수 있다.
실시 예에서, 전자 장치(100)는 일정한 주기 별로, 또는 랜덤한 간격으로 전자 장치 출력 음량 및/또는 외부 기기 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 원격 제어 장치(110)로부터의 음량 조절 명령을 수신하면, 그에 상응하여 전자 장치 출력 음량 및/또는 외부 기기 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(120)에 대한 음량 조절 제어 신호에 기반하여 외부 기기(120)가 음량을 조절하면서 외부 기기 음량 정보를 포함하는 인터페이스 화면을 출력할 때 마다 외부 기기 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 동일 시점에 외부 기기 음량과 전자 장치 출력 음량을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기 음량이 획득될 때 마다 전자 장치 출력 음량을 획득할 수 있다.
실시 예에서, 외부 기기 음량 획득 시점이 간헐적인 경우, 전자 장치(100)는 외부 기기 음량을 획득한 후, 이를 메모리(103)에 저장시켰다가, 이후, 전자 장치 출력 음량, 즉, LKFS 정보를 외부 기기(120)로부터 수신하면, 메모리(103)로부터 외부 기기 음량을 독출하여 이용할 수 있다.
실시 예에서, 전자 장치(100)는 전자 장치 출력 음량과 외부 기기 음량 간의 관계를 이용하여 매핑 그래프를 획득할 수 있다.
전자 장치 출력 음량과, 외부 기기 음량은 대체로 선형(linear)적인 특성을 가지기 때문에, 실시 예에서, 전자 장치(100)는 최소한, 두 시점에 각각 획득된 전자 장치 출력 음량 및 외부 기기 음량을 기반으로 매핑 그래프를 획득할 수 있다. 예컨대, 도 7을 참조하면, 전자 장치(100)는 제1 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량의 좌표 값(x1, y1)과, 제2 시점에 획득된 전자 장치 출력 음량 및 외부 기기 음량의 좌표 값(x2, y2)을 연결하여 매핑 그래프를 획득할 수 있다.
실시 예에서, 전자 장치(100)는 복수 시점에 각각 획득된 전자 장치 출력 음량 및 외부 기기 음량의 좌표 값을 획득하고, 이들을 연결하여, 전자 장치 출력 음량과 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다.
실시 예에서, 전자 장치(100)는 매핑 그래프를 기반으로, 외부 기기 음량이 외부 기기 임계 음량 이하인지 여부를 판단할 수 있다.
실시 예에서, 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 전자 장치 출력 음량에 대응하는 외부 기기 음량을 의미할 수 있다.
실시 예에서, 임계 출력 음량은 원격 제어 장치(110)로부터의 음량 조절 명령에 따라 음량을 제어할 대상 기기를 구분하는 데 있어 기준이 되는 출력 음량일 수 있다.
실시 예에서, 임계 출력 음량은 전자 장치(100) 제조사에 의해 미리 결정된 디폴트 값을 갖거나 또는 사용자 설정에 의해 결정될 수 있다. 예컨대, 도 7에서 임계 출력 음량이 -24 LKFS라고 가정하면, 전자 장치(100)는 전자 장치 출력 음량이 임계 출력 음량 음량인 -24LKFS일 때, 그에 대응하는 외부 기기 음량인 29를 외부 기기 임계 음량으로 식별할 수 있다.
실시 예에서, 전자 장치(100)는 원격 제어 장치(110)로부터의 음량 조절 명령에 따라 외부 기기 음량을 획득하고, 외부 기기 음량이 외부 기기 임계 음량 이하인 경우, 외부 기기 음량을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
예컨대, 위 예에서, 사용자가 원격 제어 장치(110)를 이용하여 음량을 올리라는 명령을 전송하면, 전자 장치(100)는 현재 외부 기기 음량을 식별할 수 있다. 현재 외부 기기 음량이, 예컨대 28인 경우, 전자 장치(100)는 현재 외부 기기 음량이 외부 기기 임계 음량인 29보다 작다고 판단하고, 외부 기기 음량을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송함으로써, 외부 기기(120)의 음량이 28에서 29으로 변경되도록 할 수 있다.
전자 장치(100)는 외부 기기 음량이 외부 기기 임계 음량인 29에 도달할 때까지 계속하여 원격 제어 장치(110)를 통한 볼륨 업 명령에 상응하여 외부 기기 음량을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 원격 제어 장치(110)로부터의 음량 조절 명령에 상응하여 획득한 외부 기기 음량이 외부 기기 임계 음량보다 큰 경우, 전자 장치(100)의 음량을 조절할 수 있다. 예컨대, 현재 외부 기기 음량이 30인 상태에서, 사용자가 원격 제어 장치(110)를 이용하여 음량을 높이라는 명령을 전송하면, 전자 장치(100)는 현재 외부 기기 음량이 외부 기기 임계 음량인 29보다 크다고 판단하고, 원격 제어 장치(110)를 통한 볼륨 업 명령에 상응하여, 외부 기기(120)가 아닌 전자 장치(100)의 볼륨을 높일 수 있다.
실시 예에서, 전자 장치(100)는 연결된 외부 기기가 변경되면, 변경된 외부 기기에 대응하는 매핑 그래프를 다시 획득할 수 있다. 전자 장치(100)는 변경된 외부 기기에 대응하는 매핑 그래프를 기반으로, 임계 출력 음량에 대응하는 외부 기기 임계 음량을 식별할 수 있다. 변경된 외부 기기의 외부 기기 임계 음량은, 변경 전 외부 기기의 외부 기기 임계 음량과 동일할 수도 있고, 다를 수도 있다.
예컨대, 임계 출력 음량이 -24 LKFS라고 할 때, 변경된 외부 기기의 외부 기기 임계 음량은 27일 수 있다. 전자 장치(100)는 원격 제어 장치(110)로부터 볼륨을 높이라는 명령을 수신한 것에 기반하여 변경된 외부 기기의 음량을 획득할 수 있다. 변경된 외부 기의 음량이 28인 경우, 전자 장치(100)는 변경된 외부 기기 음량이 외부 기기 임계 음량인 27보다 크다고 판단하고, 외부 기기가 아닌, 전자 장치(100)의 볼륨을 올릴 수 있다.
이와 같이, 실시 예에 의하면, 전자 장치(100)는 외부 기기 별로 매핑 그래프를 획득하여 이를 기반으로 임계 출력 음량에 대응하는 외부 기기 임계 음량을 식별할 수 있다. 따라서, 외부 기기들이 서로 다른 음량 특성을 갖더라도, 전자 장치(100)는 일정한 값을 갖는 임계 출력 음량을 기준으로 이용하여, 임계 출력 음량에 대응하는 외부 기기 임계 음량을 기준으로 음량을 제어할 대상 기기를 식별함으로써, 일관된 시점에 외부 기기에 대한 음량 제어 동작을 수행할 수 있다.
도 8은 실시 예에 따른 전자 장치의 내부 블록도이다.
도 8의 전자 장치(100b)는 도 2의 전자 장치(100a)의 일 예일 수 있다. 이하, 도 2에서 설명한 내용과 중복되는 설명은 생략한다.
도 8을 참조하면, 전자 장치(100b)는 프로세서(101) 및 메모리(103)를 포함할 수 있다. 전자 장치(100b)에 포함된 프로세서(101) 및 메모리(103)는 도 2의 전자 장치(100a)에 포함된 프로세서(101) 및 메모리(103)와 동일한 동작을 수행하므로, 동일 도면 부호를 이용하였다. 또한, 도 2의 통신 인터페이스(105)가 수행하는 동작은 도 8의 통신부(820) 및 입/출력부(840)가 나누어 수행할 수 있다.
실시 예에서, 전자 장치(100b)는 프로세서(101) 및 메모리(103) 외에, 튜너부(810), 통신부(820), 감지부(830), 입/출력부(840), 비디오 처리부(850), 디스플레이(860), 오디오 처리부(870), 오디오 출력부(880) 및 사용자 입력부(890)를 더 포함할 수 있다.
튜너부(810)는 유선 또는 무선으로 수신되는 방송 콘텐츠 등을 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(100b)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 튜너부(810)를 통해 수신된 콘텐츠는 디코딩되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(210)의 제어에 의해 메모리(103)에 저장될 수 있다.
실시 예에서, 통신부(820)는 프로세서(210)의 제어에 의해 전자 장치(100b)를 주변 기기나 외부 장치, 서버, 이동 단말기 등과 연결할 수 있다. 통신부(820)는 무선 통신을 수행할 수 있는 적어도 하나의 통신 모듈을 포함할 수 있다. 통신부(820)는 전자 장치(100b)의 성능 및 구조에 대응하여 무선랜 모듈(821), 블루투스 모듈(822), 유선 이더넷(Ethernet)(823) 중 적어도 하나를 포함할 수 있다.
블루투스 모듈(822)은 블루투스 통신 규격에 따라서 주변 기기로부터 전송된 블루투스 신호를 수신할 수 있다. 블루투스 모듈(822)은 BLE(Bluetooth Low Energy) 통신 모듈이 될 수 있으며, BLE 신호를 수신할 수 있다. 블루투스 모듈(822)은 BLE 신호가 수신되는지 여부를 감지하기 위해서 상시적으로 또는 일시적으로 BLE 신호를 스캔할 수 있다. 무선랜 모듈(821)은 와이파이(Wi-Fi) 통신 규격에 따라서 주변 기기와 와이파이 신호를 송수신할 수 있다.
감지부(830)는 사용자의 음성, 사용자의 이미지, 또는 사용자의 인터랙션을 감지하며, 마이크(831), 카메라부(832), 광 수신부(833), 센싱부(834)를 포함할 수 있다. 마이크(831)는 사용자의 발화(utterance)된 음성이나 노이즈를 포함하는 오디오 신호를 수신할 수 있고 수신된 오디오 신호를 전기 신호로 변환하여 프로세서(210)로 출력할 수 있다.
카메라부(832)는 센서(미도시) 및 렌즈(미도시)를 포함하고, 화면에 맺힌 이미지를 촬영하여 캡쳐하고 이를 프로세서(210)로 전송할 수 있다.
실시 예에서, 카메라부(832)는 외부 기기에 대한 음량 조절 제어 신호에 기반하여 디스플레이(860)에서 출력된, 외부 기기 음량 정보를 포함하는 화면을 캡쳐할 수 있다.
광 수신부(833)는, 광 신호(제어 신호를 포함)를 수신할 수 있다. 광 수신부(833)는 리모컨이나 핸드폰 등과 같은 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다.
입/출력부(840)는 프로세서(210)의 제어에 의해 외부 기기(120) 등으로부터 비디오(예를 들어, 동적 이미지 신호나 정지 이미지 신호 등), 오디오(예를 들어, 음성 신호나, 음악 신호 등) 및 부가 정보 등을 수신할 수 있다.
입/출력부(840)는 HDMI 포트(High-Definition Multimedia Interface port, 841), 컴포넌트 잭(component jack, 842), PC 포트(PC port, 843), 및 USB 포트(USB port, 844) 중 하나를 포함할 수 있다. 입/출력부(840)는 HDMI 포트(841), 컴포넌트 잭(842), PC 포트(843), 및 USB 포트(844)의 조합을 포함할 수 있다.
비디오 처리부(850)는, 디스플레이(860)에 의해 표시될 이미지 데이터를 처리하며, 이미지 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 이미지 처리 동작을 수행할 수 있다.
디스플레이(860)는 방송국으로부터 수신하거나 외부 서버, 또는 외부 저장 매체 등의 외부 기기(120)로부터 수신한 콘텐츠를 화면에 출력할 수 있다. 콘텐츠는 미디어 신호로, 비디오 신호, 이미지, 텍스트 신호 등을 포함할 수 있다.
실시 예에서, 디스플레이(860)는 외부 기기(120)로부터 수신한, 외부 기기 음량 정보를 포함하는 인터페이스 화면을 출력할 수 있다.
실시 예에서, 디스플레이(860)는 음량 조절 대상 기기를 식별하는 인터페이스 화면을 출력할 수 있다. 음량 조절 대상 기기를 식별하는 인터페이스 화면은, 음량 조절 대상 기기를 사용자에게 알려주거나 또는 음량 조절 대상 기기를 사용자로부터 선택 받기 위한 인터페이스 화면일 수 있다.
오디오 처리부(870)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(870)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 출력부(880)는 프로세서(210)의 제어에 의해 튜너부(810)를 통해 수신된 콘텐츠에 포함된 오디오, 통신부(820) 또는 입/출력부(840)를 통해 입력되는 오디오, 메모리(103)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(880)는 스피커(881), 헤드폰(882) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자)(883) 중 적어도 하나를 포함할 수 있다.
실시 예에서, 오디오 출력부(880)는 원격 제어 장치(110) 또는 프로세서(101)의 제어에 따라 출력되는 오디오의 음량을 조절할 수 있다.
사용자 입력부(890)는 전자 장치(100b)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(890)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 원격 제어 장치(110)와 같이 리모컨이나 기타 이동 단말기가 전자 장치(100b)를 제어하는 경우, 사용자 입력부(890)는 원격 제어 장치(110)로부터 수신되는 제어 신호를 수신할 수 있다.
실시 예에서, 사용자 입력부(890)는 사용자로부터 음량 조절 명령을 수신할 수 있다. 실시 예에서, 디스플레이(860)가 음량 조절 대상 기기를 선택 받기 위한 인터페이스 화면을 출력한 것에 상응하여 사용자 입력부(890)는 사용자로부터 음량 조절을 할 대상 기기를 선택 받을 수 있다.
도 9는 실시 예에 따라 전자 장치가 음량 조절 대상 기기를 식별하는 인터페이스 화면을 출력하는 것을 설명하기 위한 도면이다.
도 9를 참조하면, 실시 예에서, 전자 장치(100)는 원격 제어 장치(110)로부터의 음량 조절 명령에 따라, 외부 기기(120)의 음량을 획득하고, 외부 기기의 음량이 외부 기기 임계 음량 이하인 경우, 음량 조절 대상 기기를 식별하는 인터페이스 화면을 출력할 수 있다.
실시 예에서, 음량 조절 대상 기기를 식별하는 인터페이스 화면(920)은, 음량 조절 대상 기기를 선택 받기 위한 화면일 수 있다. 예컨대, 전자 장치(100)가 TV이고, 전자 장치(100)에 연결된 외부 기기(120)가 셋탑 박스인 경우, 도 9(a)에 도시된 바와 같이, 음량 조절 대상 기기를 식별하는 인터페이스 화면(920)은 음량을 조절할 대상 기기로 셋탑 박스를 선택할지, 또는 TV를 선택할지를 묻는 메시지를 포함할 수 있다.
실시 예에서, 전자 장치(100)는 음량 조절 대상 기기를 식별하는 인터페이스 화면(920)을 전자 장치(100)의 디스플레이의 일 부분 영역 상에 텍스트 창 형태로 디스플레이 할 수 있으나, 이에 한정되는 것은 아니다. 음량 조절 대상 기기를 식별하는 인터페이스 화면(920)의 크기, 출력 위치, 투명도, 형태, 메시지의 내용 등은 다양하게 변형될 수 있다.
사용자는 음량 조절 대상 기기를 식별하는 인터페이스 화면(920)이 출력된 것에 상응하여 음량을 조절할 대상 기기를 선택할 수 있다. 예컨대, 사용자는 원격 제어 장치(110)의 상하 버튼을 이용하여, 음량 조절 대상 기기로 셋탑 박스를 선택하거나 또는 TV를 선택할 수 있다.
전자 장치(100)는 사용자가 음량 조절 대상 기기로 셋탑 박스, 즉, 외부 기기(120)를 선택한 것에 상응하여, 외부 기기(120)의 음량을 변경하기 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다. 원격 제어 장치(110)는 전자 장치(100)로부터 수신된 제어 신호에 기반하여 외부 기기(120)에 음량 조절 제어 신호를 전송함으로써, 외부 기기(120)의 음량이 조절되도록 할 수 있다.
실시 예에서, 음량 조절 대상 기기를 식별하는 인터페이스 화면(930)은, 음량 조절 대상 기기를 알리는 메시지를 포함할 수 있다. 예컨대, 도 9(b)에 도시된 바와 같이, 전자 장치(100)가 TV이고, 전자 장치(100)에 연결된 외부 기기(120)가 셋탑 박스인 경우, 음량 조절 대상 기기를 식별하는 인터페이스 화면(930)은 셋탑 볼륨이 낮아 셋탑 볼륨을 조절한다는 내용의 메시지를 포함할 수 있다.
실시 예에서, 전자 장치(100)는 원격 제어 장치(110)로부터의 음량 조절 명령에 따라 획득한 외부 기기 음량이 외부 기기 임계 음량 이하인 경우, 도 9(b)에 도시된 음량 조절 대상 기기를 식별하는 인터페이스 화면을 출력할 수 있다.
또는, 실시 예에서, 음량 조절 대상 기기를 식별하는 인터페이스 화면(920)이 출력된 것에 상응하여 사용자가 음량 조절 대상 기기로 셋탑 박스를 선택한 경우에, 전자 장치(100)는 음량 조절 대상 기기를 식별하는 인터페이스 화면(930)을 출력할 수도 있다.
실시 예에서, 전자 장치(100)는 음량 조절 대상 기기를 식별하는 인터페이스 화면(930)을 전자 장치(100)의 디스플레이의 상단 중앙에 텍스트 창 형태로 디스플레이 할 수 있으나, 이에 한정되는 것은 아니다. 음량 조절 대상 기기를 식별하는 인터페이스 화면(930)의 크기, 출력 위치, 투명도, 형태, 메시지의 내용 등은 다양하게 변형될 수 있다.
사용자는 음량 조절 대상 기기를 식별하는 인터페이스 화면(930)이 출력된 것에 상응하여 음량이 조절되는 대상 기기가 셋탑 박스, 즉, 외부 기기(120)임을 식별할 수 있다.
이와 같이, 실시 예에 의하면, 사용자는 외부 기기 전용 원격 제어 장치 등을 이용하지 않고도, 원격 제어 장치(110)만을 이용하여 전자 장치(100)와 외부 기기(120)의 음량을 제어할 수 있다. 전자 장치(100)는 외부 기기 음량과 전자 장치 출력 음량을 고려하여, 음량 조절이 필요한 기기를 식별하고 식별된 기기의 음량을 조절함으로써, 음량을 조절하려는 사용자 의도에 보다 부합되는 콘텐츠 이용 환경을 제공할 수 있다.
도 10은 실시 예에 따라, 전자 장치가 매핑 그래프를 획득하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 전자 장치(100)는 전자 장치 출력 음량을 획득할 수 있다(단계 1010). 전자 장치(100)는 전자 장치(100)에 연결된 외부 기기(120)로부터 LKFS 정보를 획득하고, 이를 전자 장치 출력 음량으로 획득할 수 있다.
전자 장치(100)는 전자 장치(100)에서 출력되는 화면에서 외부 기기 음량을 획득할 수 있다(단계 1020). 전자 장치(100)는 외부 기기(120)에 대한 음량 조절 제어 신호에 기반하여 전자 장치(100)에서 출력된 외부 기기 음량 정보를 포함하는 화면을 캡쳐하고, 캡쳐된 화면에서 외부 기기 음량을 획득할 수 있다.
전자 장치(100)는 전자 장치 출력 음량 및 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다(단계 1030). 전자 장치(100)는 동일 시점에 획득된, 전자 장치 출력 음량과 외부 기기 음량을 하나의 좌표 값으로 표시하고, 복수 시점에 획득된 복수 좌표 값들을 연결하여, 전자 장치 출력 음량과 외부 기기 음량 간의 관계를 나타내는 매핑 그래프를 획득할 수 있다. 전자 장치(100)는 전자 장치 출력 음량과 외부 기기 음량을 새로 획득하면 기 생성된 매핑 그래프를 업데이트할 수 있다. 또한, 전자 장치(100)는 외부 기기(120)가 변경될 때 마다 새로운 매핑 그래프를 획득할 수 있다.
도 11은 실시 예에 따라, 전자 장치가 음량 조절 대상 기기를 식별하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 전자 장치(100)는 외부 기기 음량을 획득할 수 있다(단계 1110).
전자 장치(100)는 기 생성된 매핑 그래프를 이용하여, 전자 장치 출력 음량이 임계 출력 음량일 때 전자 장치 출력 음량에 대응하는 외부 기기 음량인 외부 기기 임계 음량을 식별할 수 있다.
전자 장치(100)는 외부 기기 임계 음량과, 획득된 외부 기기 음량을 비교할 수 있다. 전자 장치(100)는 획득된 외부 기기 음량이 외부 기기 임계 음량 이하인지를 판단할 수 있다(단계 1120).
전자 장치(100)는 획득된 외부 기기 음량이 외부 기기 임계 음량 이하라고 판단하면, 외부 기기 음량 변경을 위한 제어 신호를 원격 제어 장치(110)로 전송할 수 있다(단계 1130).
원격 제어 장치(110)는 전자 장치(100)로부터 외부 기기 음량 변경을 위한 제어 신호를 수신하고, 수신한 제어 신호, 또는 수신한 제어 신호에 기반하여 생성된 음량 제어 신호를 외부 기기(120)로 전송함으로써, 외부 기기(120)의 음량이 조절되도록 할 수 있다.
일부 실시 예에 따른 전자 장치의 동작 방법 및 장치는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 전술한 본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은 원격 제어 장치로부터의 음량 조절 명령에 따라, 상기 전자 장치에 연결된 외부 기기의 음량을 획득하는 단계 및 상기 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 상기 원격 제어 장치로 전송하는 단계를 포함하고, 상기 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 상기 전자 장치 출력 음량에 대응하는 외부 기기의 음량인, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체/저장 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 전자 장치(100, 100a, 100b)에 있어서,
    통신 인터페이스(105);
    하나 이상의 인스트럭션을 저장하는 메모리(103); 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(101)를 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    원격 제어 장치(110)로부터의 음량 조절 명령에 따라, 상기 전자 장치에 연결된 외부 기기(120)의 음량을 획득하고,
    상기 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 상기 통신 인터페이스를 통해 상기 원격 제어 장치로 전송하고,
    상기 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 상기 전자 장치 출력 음량에 대응하는 외부 기기의 음량인, 전자 장치.
  2. 제1 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치 출력 음량 및 상기 외부 기기의 음량 간의 관계를 나타내는 매핑 그래프를 기반으로, 상기 외부 기기 임계 음량을 식별하는, 전자 장치.
  3. 제2 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 시점에 획득된 전자 장치 출력 음량 및 외부 기기의 음량, 및 제2 시점에 획득된 전자 장치 출력 음량 및 외부 기기의 음량을 이용하여 상기 매핑 그래프를 획득하는, 전자 장치.
  4. 제2 항 또는 제3 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    기 설정된 시간 간격 마다 또는 이벤트가 발생할 때 마다 상기 매핑 그래프를 획득하고, 상기 이벤트는 상기 전자 장치에 연결된 외부 기기가 변경되는 이벤트, 및 상기 외부 기기의 음량이 변경되는 이벤트 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서, 디스플레이(860)를 더 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 외부 기기로부터 수신되는 입력 신호에 포함된 LKFS, Loudness, K-weighted, relative to Full Scale, 정보에 기초하여 상기 전자 장치 출력 음량을 획득하고,
    외부 기기에 대한 음량 조절 제어 신호에 기반하여 상기 디스플레이(860)에서 출력된, 외부 기기 음량 정보를 포함하는 화면에서 상기 외부 기기의 음량을 획득하는, 전자 장치.
  6. 제5 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    입력 영상에서 음량을 획득하도록 훈련된 뉴럴 네트워크를 이용하여 상기 외부 기기 음량 정보를 포함하는 화면에서 상기 외부 기기의 음량을 획득하는, 전자 장치.
  7. 제1 항 내지 제6 항 중 어느 한 항에 있어서, 디스플레이(860)를 더 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 획득된 외부 기기의 음량이 상기 외부 기기 임계 음량 이하인 것에 상응하여, 음량 조절 대상 기기를 식별하는 인터페이스 화면을 상기 디스플레이를 통해 출력하는, 전자 장치.
  8. 제7 항에 있어서, 사용자 입력부(890)를 더 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 인터페이스 화면 출력에 상응하여 상기 사용자 입력부를 통해 상기 외부 기기를 선택 받은 것을 기반으로 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 상기 원격 제어 장치로 전송하는, 전자 장치.
  9. 제1 항 내지 제8 항 중 어느 한 항에 있어서, 상기 획득된 외부 기기의 음량이 상기 외부 기기 임계 음량 이하인 경우는 상기 외부 기기가 뮤트(mute) 상태인 경우를 포함하고,
    상기 외부 기기의 음량을 변경하기 위한 제어 신호는 상기 뮤트 상태를 해제하기 위한 제어 신호를 포함하는, 전자 장치.
  10. 제1 항 내지 제9 항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 획득된 외부 기기의 음량이 상기 외부 기기 임계 음량보다 큰 것에 상응하여, 상기 원격 제어 장치로부터의 음량 조절 명령에 따라, 상기 전자 장치의 음량을 조절하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    원격 제어 장치로부터의 음량 조절 명령에 따라, 상기 전자 장치에 연결된 외부 기기의 음량을 획득하는 단계; 및
    상기 획득된 외부 기기의 음량이 외부 기기 임계 음량 이하인 것에 상응하여, 상기 외부 기기의 음량을 변경하기 위한 제어 신호를 상기 원격 제어 장치로 전송하는 단계를 포함하고,
    상기 외부 기기 임계 음량은 전자 장치 출력 음량이 임계 출력 음량일 때 상기 전자 장치 출력 음량에 대응하는 외부 기기의 음량인, 전자 장치의 동작 방법.
  12. 제11 항에 있어서, 상기 전자 장치 출력 음량 및 상기 외부 기기의 음량 간의 관계를 나타내는 매핑 그래프를 기반으로, 상기 외부 기기 임계 음량을 식별하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  13. 제12 항에 있어서, 제1 시점에 획득된 전자 장치 출력 음량 및 외부 기기의 음량, 및 제2 시점에 획득된 전자 장치 출력 음량 및 외부 기기의 음량을 이용하여 상기 매핑 그래프를 획득하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  14. 제12 항 또는 제13 항에 있어서, 상기 매핑 그래프를 획득하는 단계는 기 설정된 시간 간격 마다 또는 이벤트가 발생할 때 마다 상기 매핑 그래프를 획득하는 단계를 포함하고, 상기 이벤트는 상기 전자 장치에 연결된 외부 기기가 변경되는 이벤트, 및 상기 외부 기기의 음량이 변경되는 이벤트 중 적어도 하나를 포함하는, 전자 장치의 동작 방법.
  15. 제11 항 내지 제14 항 중 어느 한 항의 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2023/006760 2022-08-19 2023-05-18 전자 장치 및 그 동작 방법 WO2024039004A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0104311 2022-08-19
KR1020220104311A KR20240026000A (ko) 2022-08-19 2022-08-19 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2024039004A1 true WO2024039004A1 (ko) 2024-02-22

Family

ID=89942017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006760 WO2024039004A1 (ko) 2022-08-19 2023-05-18 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20240026000A (ko)
WO (1) WO2024039004A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002542A (ja) * 2013-06-18 2015-01-05 船井電機株式会社 表示装置
KR20160095377A (ko) * 2015-02-03 2016-08-11 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20200143973A (ko) * 2019-06-17 2020-12-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20200144836A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022108131A (ja) * 2021-01-12 2022-07-25 武 服部 リモートコントローラ、音声出力装置、及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002542A (ja) * 2013-06-18 2015-01-05 船井電機株式会社 表示装置
KR20160095377A (ko) * 2015-02-03 2016-08-11 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20200143973A (ko) * 2019-06-17 2020-12-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20200144836A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022108131A (ja) * 2021-01-12 2022-07-25 武 服部 リモートコントローラ、音声出力装置、及びその制御方法

Also Published As

Publication number Publication date
KR20240026000A (ko) 2024-02-27

Similar Documents

Publication Publication Date Title
WO2018026162A1 (en) Electronic apparatus and method of operating the same
WO2016076570A1 (en) Display apparatus and display method
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2017111252A1 (en) Electronic device and method of scanning channels in electronic device
WO2014017757A1 (en) Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
EP3430811A1 (en) Electronic apparatus and method of operating the same
WO2019182323A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2022030857A1 (ko) 오디오 신호 처리 장치 및 그 동작 방법
WO2021137558A1 (ko) 전자장치 및 그 제어방법
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2020171657A1 (en) Display device and image display method of the same
EP3479583A2 (en) Electronic device and method for updating channel map thereof
WO2020067771A1 (en) Display apparatus and control method thereof
WO2020045858A1 (en) Electronic apparatus and method of controlling the same
WO2024039004A1 (ko) 전자 장치 및 그 동작 방법
WO2021141300A1 (en) Electronic device and method of operating the same
WO2022177211A1 (ko) 오디오의 존재 및 비존재에 따른 비디오 품질 평가 방법 및 장치
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2020111567A1 (en) Electronic device and operation method thereof
WO2020080701A1 (en) Electronic apparatus and control method thereof
WO2019050265A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2019124775A1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
WO2024043761A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23854977

Country of ref document: EP

Kind code of ref document: A1