WO2026019258A1 - 블루투스 연결에 기반하여 다수 기기의 멀티채널 오디오 신호의 시간 동기화를 위한 장치 및 방법 - Google Patents

블루투스 연결에 기반하여 다수 기기의 멀티채널 오디오 신호의 시간 동기화를 위한 장치 및 방법

Info

Publication number
WO2026019258A1
WO2026019258A1 PCT/KR2025/010459 KR2025010459W WO2026019258A1 WO 2026019258 A1 WO2026019258 A1 WO 2026019258A1 KR 2025010459 W KR2025010459 W KR 2025010459W WO 2026019258 A1 WO2026019258 A1 WO 2026019258A1
Authority
WO
WIPO (PCT)
Prior art keywords
delay
speaker
source device
audio
built
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/010459
Other languages
English (en)
French (fr)
Inventor
김종민
이민수
조한규
이현재
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of WO2026019258A1 publication Critical patent/WO2026019258A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present disclosure relates to a device and method for precisely synchronizing audio signals between a plurality of wired and wireless speakers in a multi-channel audio environment using Bluetooth communication technology. Specifically, the present disclosure relates to a device and method for precisely synchronizing audio playback timing between a source device (e.g., a TV or a sound bar) and a plurality of external wireless speakers based on a Bluetooth audio transmission structure, thereby minimizing sound distortion based on a listener's position and realizing high-quality surround audio.
  • a source device e.g., a TV or a sound bar
  • Multichannel audio systems are designed to deliver three-dimensional surround sound, including not only left and right channels, but also rear, center, and woofer channels. These systems require time synchronization of audio signals between multiple speakers, typically achieved by adjusting the timing of the signals transmitted from the source device to each speaker.
  • the present invention proposes a new time synchronization technique that measures the arrival time of each speaker at the listener's position and, based on the information, allows a source device to adjust individual delays for each speaker, thereby providing a synchronized audio environment from the listener's perspective.
  • the present disclosure provides a device and method for precisely synchronizing audio signals between a plurality of wired and wireless speakers in a multi-channel audio environment using Bluetooth communication technology.
  • the present disclosure provides a device and method for precisely aligning audio playback timing between a source device and a plurality of external wireless speakers based on a Bluetooth audio transmission structure, thereby minimizing sound distortion based on a listener position and realizing high-quality surround audio.
  • a method of operating a source device in a short-range wireless communication system comprising: transmitting a request for information on a second delay of the one or more external speaker devices to one or more external speaker devices; receiving information on the second delay from the one or more external speaker devices; determining a first delay for an internal speaker of the source device based on the second delay to synchronize audio output between the internal speaker of the source device and the one or more external speaker devices; and transmitting a first audio data stream to the one or more external speaker devices for synchronized playback with a second audio data stream output from the internal speaker based on the determined first delay.
  • a method for operating an external speaker device in a short-range wireless communication system comprising: receiving a request for information on a second delay of the external speaker device from a source device; transmitting information on the second delay to the source device; and receiving a first audio data stream from the source device for synchronized reproduction with a second audio data stream output from the built-in speaker based on a first delay for the built-in speaker of the source device, wherein the first delay for the built-in speaker of the source device is based on the second delay for synchronizing audio output between the built-in speaker of the source device and the external speaker device.
  • a source device in a short-range wireless communication system, includes: a first processor corresponding to a host stack; a second processor corresponding to a controller stack; a memory; an input device corresponding to a user interface (UI); an output device corresponding to the UI; and a transceiver, wherein the host stack and the controller stack are connected by a Host Controller Interface (HCI), and the memory stores instructions for performing operations based on what is executed by the first processor and the second processor, the operations comprising: requesting information on a second delay of the one or more external speaker devices from one or more external speaker devices; receiving information on the second delay from the one or more external speaker devices; determining a first delay for an internal speaker of the source device based on the second delay to synchronize audio output between an internal speaker of the source device and the one or more external speaker devices; And a source device is provided, comprising a step of transmitting a first audio data stream to the one or more external speaker devices for synchronized playback with HCI
  • HCI Host
  • the present disclosure can provide a device and method for precisely synchronizing audio signals between a plurality of wired and wireless speakers in a multi-channel audio environment using Bluetooth communication technology.
  • the present disclosure provides a device and method for precisely aligning audio playback timing between a source device and a plurality of external wireless speakers based on a Bluetooth audio transmission structure, thereby minimizing sound distortion based on a listener position and realizing high-quality surround audio.
  • FIG. 1 is a schematic diagram showing an example of a wireless communication system using the Bluetooth low energy technology proposed in the present disclosure.
  • FIG. 2 shows an example of an internal block diagram of a device capable of implementing the methods proposed in the present disclosure.
  • FIG. 3 illustrates an example of a Bluetooth communication architecture to which the methods proposed in the present disclosure can be applied.
  • FIG. 4 shows an example of the structure of the GATT (Generic Attribute Profile) of Bluetooth low energy.
  • FIG. 5 is a flowchart illustrating an example of a connection procedure method in Bluetooth low energy technology to which various embodiments of the present disclosure can be applied.
  • FIG. 6 illustrates an example of a system structure in which multi-channel audio signals are transmitted between a BLE-based TV transmitting device and multiple BLE audio receiving speakers.
  • FIG. 7 illustrates an example of a compensation procedure for synchronizing image processing delay and audio processing delay in a Bluetooth low-latency audio system proposed in the present disclosure.
  • FIG. 8 illustrates an example of a test stream-based calibration procedure for measuring and adjusting the sound pressure level of each speaker based on a user position in a BLE-based audio system proposed in the present disclosure.
  • FIG. 9 illustrates an example of an inter-speaker synchronization correction structure for correcting an audio synchronization error due to a difference in distance between a TV speaker and a rear speaker in a multi-channel audio system proposed in the present disclosure.
  • FIG. 10 illustrates an example of a speaker-to-speaker synchronization structure for correcting sound synchronization errors due to distance differences between rear speakers in a multi-channel audio system proposed in the present disclosure.
  • FIG. 11 illustrates an example of a structure in which each speaker outputs a different audio channel (1 kHz, 2 kHz, etc.) in a Bluetooth-based multi-channel audio environment proposed in the present disclosure, and a microphone device at the listener's position receives the same.
  • FIG. 12 illustrates an example of a process of measuring the arrival time difference of test sounds from each speaker received by a microphone device at a listener's position in a multi-channel audio system proposed in the present disclosure and transmitting the difference to a source device (TV).
  • TV source device
  • FIG. 13 illustrates an example of a structure in which a third device, such as a Bluetooth remote control or a smartphone, measures the time at which each speaker receives a test tone, and a source device adjusts the delay for each speaker based on this in a multi-channel audio system proposed in the present disclosure.
  • a third device such as a Bluetooth remote control or a smartphone
  • FIG. 14 illustrates an example of a structure that independently defines the presentation delay of a built-in speaker in a source device (TV) and matches the total audio delay with Bluetooth speakers in a multi-channel audio system proposed in the present disclosure.
  • FIG. 15 illustrates a multi-channel audio transmission structure between a source device (such as a sound bar) and multiple wired/wireless speakers in a multi-channel audio system proposed in the present disclosure, and illustrates an example of a configuration in which each speaker is connected via various paths such as HDMI, Opt, and Bluetooth.
  • FIG. 16 illustrates an example of an audio output timing control structure for synchronized audio output between speakers in a multi-channel audio system proposed in the present disclosure.
  • FIG. 17 illustrates an example of an operation process of a source device such as a TV or sound bar according to various embodiments of the present disclosure.
  • FIG. 18 illustrates an example of an operation process of a speaker according to various embodiments of the present disclosure.
  • a or B may mean “only A,” “only B,” or “both A and B.” In other words, in various embodiments of the present disclosure, “A or B” may be interpreted as “A and/or B.” For example, in various embodiments of the present disclosure, “A, B or C” may mean “only A,” “only B,” “only C,” or “any combination of A, B and C.”
  • a slash (/) or a comma may mean “and/or.”
  • A/B may mean “A and/or B.”
  • A/B may mean “only A,” “only B,” or “both A and B.”
  • A, B, C may mean “A, B, or C.”
  • “at least one of A and B” may mean “only A,” “only B,” or “both A and B.” Furthermore, in various embodiments of the present disclosure, the expressions “at least one of A or B” or “at least one of A and/or B” may be interpreted as equivalent to “at least one of A and B.”
  • “at least one of A, B and C” can mean “only A,” “only B,” “only C,” or “any combination of A, B and C.” Additionally, “at least one of A, B or C” or “at least one of A, B and/or C” can mean “at least one of A, B and C.”
  • Figure 1 is a schematic diagram showing an example of a wireless communication system using the Bluetooth low energy technology proposed in this specification.
  • a wireless communication system (100) includes at least one server device (Server Device, 120) and at least one client device (Client Device, 110).
  • the server device and client device perform Bluetooth communication using Bluetooth Low Energy (BLE, hereinafter referred to as 'BLE' for convenience) technology.
  • BLE Bluetooth Low Energy
  • BLE technology has a relatively small duty cycle compared to Bluetooth BR/EDR (Basic Rate/Enhanced Data Rate) technology, allows for low-cost production, and significantly reduces power consumption through low-speed data transmission rates, enabling operation for more than a year using a coin cell battery.
  • BR/EDR Basic Rate/Enhanced Data Rate
  • BLE technology simplifies the connection process between devices and is designed to have a smaller packet size compared to Bluetooth BR/EDR technology.
  • the number of RF channels is 40
  • the data transmission speed supports 1 Mbps
  • the topology is a scatternet structure
  • the latency is 3 ms
  • the maximum current is 15 mA or less
  • the output power is 10 mW (10 dBm) or less
  • the server device (120) can operate as a client device in a relationship with other devices, and the client device can operate as a server device in a relationship with other devices. That is, in a BLE communication system, any one device can operate as a server device or a client device, and, if necessary, can operate as a server device and a client device simultaneously.
  • the above server device (120) may be expressed as a data service device, a client device, a slave device, a server, a conductor, a host device, a gateway, a sensing device, a monitoring device, a first device, a second device, etc.
  • the above client device (110) can be expressed as a server device (master device), a master, a client, a member, a sensor device, a sink device, a collector, a third device, a fourth device, etc.
  • the server device and the client device are the main components of the wireless communication system, and the wireless communication system may include other components in addition to the server device and the client device.
  • the above server device refers to a device that receives data from a client device and performs direct communication with the client device, thereby providing data to the client device through a response when receiving a data request from the client device.
  • the server device sends a notification message and an indication message to the client device to provide data information to the client device. Additionally, when the server device transmits an indication message to the client device, it receives a confirmation message corresponding to the indication message from the client.
  • the server device can provide data information to a user through an output unit (Display Unit) or receive a request input from a user through an input unit (User Input Interface) in the process of transmitting and receiving notifications, instructions, and confirmation messages to and from a client device.
  • Display Unit Display Unit
  • input unit User Input Interface
  • the server device can read data from a memory unit or write new data to the memory unit during the process of transmitting and receiving messages with the client device.
  • one server device can be connected to multiple client devices, and can easily reconnect (or connect) to the client devices by utilizing bonding information.
  • the above client device (120) refers to a device that requests data information and data transmission from a server device.
  • the client device receives data from the server device through a notification message, an instruction message, etc., and when receiving an instruction message from the server device, sends a confirmation message in response to the instruction message.
  • the client device can provide information to the user through an output unit or receive input from the user through an input unit during the process of transmitting and receiving messages with the server device.
  • the client device can read data from memory or write new data to the memory during the process of transmitting and receiving messages with the server device.
  • the wireless communication system can establish a Personal Area Network (PAN) via Bluetooth technology.
  • PAN Personal Area Network
  • the wireless communication system can establish a private piconet between devices, enabling the quick and secure exchange of files, documents, and other information.
  • FIG. 2 shows an example of an internal block diagram of a device capable of implementing the methods proposed in this specification.
  • the server device (110) includes an input unit (User Input Interface, 112), a power supply unit (Power Supply Unit, 113), a control unit (Control Unit, 114), a memory unit (Memory Unit, 115), a network interface (Network Interface, 116) including a Bluetooth interface, storage (Storage, 117), an output unit (Display Unit, 118), and a multimedia module (Multi Media Module, 119).
  • the input unit (User Input Interface, 112), power supply unit (Power Supply Unit, 113), control unit (Control Unit, 114), memory (Memory Unit, 115), network interface (Network Interface, 116) including Bluetooth interface, storage (Storage, 117), output unit (Display Unit, 118), and multimedia module (Multi media Module, 119) are functionally interconnected to perform the method proposed in this specification.
  • the client devices (#1 and #2) (120) include an input unit (User Input Interface, 122), a power supply unit (Power Supply Unit, 123), a control unit (Control Unit, 124), a memory unit (Memory Unit, 125), a network interface (Network Interface, 126) including a Bluetooth interface, storage (Storage, 127), an output unit (Display Unit, 128), and a multimedia module (Multi media Module, 129).
  • the above input unit (User Input Interface, 122), power supply unit (Power Supply Unit, 123), control unit (Control Unit, 124), memory (Memory Unit, 125), network interface (Network Interface, 126) including Bluetooth interface, storage (Storage, 127), output unit (Display Unit, 128), and multimedia module (Multi media Module, 129) are functionally interconnected to perform the method proposed in this specification.
  • the above network interface (116, 126) refers to a unit (or module) that can transmit data, such as request/response, command, notification, instruction/confirmation messages, etc., between devices using Bluetooth technology.
  • the above memory (115, 125) is a unit implemented in various types of devices, and refers to a unit in which various types of data are stored.
  • the storage (117, 127) refers to a unit that performs a function similar to memory.
  • the above control unit (114, 124) refers to a module that controls the overall operation of the server device (110) or client device (120), and controls to request transmission of a message to a network interface or to process a received message.
  • the above control unit (114, 124) may include an application-specific integrated circuit (ASIC), another chipset, a logic circuit, and/or a data processing device.
  • ASIC application-specific integrated circuit
  • the above memory may include a ROM (read-only memory), a RAM (random access memory), a flash memory, a memory card, a storage medium, and/or other storage devices.
  • the above memory (115, 125) may be internal or external to the processor (114, 124) and may be connected to the processor (114, 124) by various well-known means.
  • the above output unit (118, 128) refers to a module for providing device status information and message exchange information to the user through a screen.
  • the above power supply unit refers to a module that receives external power and internal power under the control of the control unit and supplies the power required for the operation of each component.
  • BLE technology has a small duty cycle and can significantly reduce power consumption through low data rates.
  • Figure 3 shows an example of a Bluetooth communication architecture to which the methods proposed in this specification can be applied.
  • FIG. 3 shows an example of the architecture of Bluetooth LE (Low Energy).
  • the BLE architecture includes a controller stack (Controller stackACK) operable to handle timing-critical wireless device interfaces and a host stack (Host stackACK) operable to handle high level data.
  • Controller stackACK controller stack
  • Host stackACK host stack
  • Controller stack may be referred to as a Controller, but to avoid confusion with the processor, which is an internal component of the device mentioned in FIG. 2 above, it will be referred to as a Controller stackACK hereinafter.
  • the controller stack may be implemented using a communication module that may include a Bluetooth radio, and a processor module that may include a processing device, such as a microprocessor.
  • the host stack can be implemented as part of an OS running on a processor module, or as an instantiation of a package on top of the OS.
  • controller stack and the host stack may operate or execute on the same processing device within a processor module.
  • the host stack includes GAP (Generic Access Profile, 310), GATT-based Profiles (320), GATT (Generic Attribute Profile, 330), ATT (Attribute Protocol, 340), SM (Security Manager, 350), and L2CAP (Logical Link Control and Adaptation Protocol, 360).
  • GAP Generic Access Profile
  • GATT-based Profiles 320
  • GATT Generic Attribute Profile
  • ATT Attribute Protocol
  • SM Simple Transaction Manager
  • L2CAP Logical Link Control and Adaptation Protocol
  • the host stack multiplexes various protocols, profiles, etc. provided above Bluetooth using L2CAP.
  • L2CAP Logical Link Control and Adaptation Protocol,360
  • L2CAP provides a single bidirectional channel for transmitting data to a specific protocol or profile.
  • BLE uses three fixed channels (one for signaling CH, one for Security Manager, and one for Attribute protocol).
  • SM Security Manager
  • ATT Attribute Protocol, 340
  • ATT Application Protocol
  • ATT defines the rules for accessing data from other devices in a server-client architecture.
  • ATT has six message types: Request, Response, Command, Notification, Indication, and Confirmation.
  • the Request message is a message for requesting specific information from a client device to a server device
  • the Response message is a response message to the Request message, and refers to a message transmitted from the server device to the client device.
  • Command message A message sent from a client device to a server device to instruct a specific action command.
  • the server device does not send a response to the Command message to the client device.
  • Notification message A message sent from a server device to a client device for notification of events, etc.; the client device does not send a confirmation message for the Notification message to the server device.
  • Indication and Confirm messages Messages sent from the server device to the client device for notification of events, etc. Unlike the Notification message, the client device sends a confirmation message for the Indication message to the server device.
  • GAP Generic Access Profile
  • GAP is primarily used in device discovery, connection creation, and security procedures, defines how to provide information to users, and defines the types of attributes as follows:
  • the controller stack includes a physical layer (390), a link layer (380), and a host controller interface (370).
  • the physical layer (wireless transmission/reception module, 390) is a layer that transmits and receives 2.4 GHz wireless signals and uses GFSK (Gaussian Frequency Shift Keying) modulation and a frequency hopping technique consisting of 40 RF channels.
  • GFSK Gausian Frequency Shift Keying
  • the link layer (380) transmits or receives Bluetooth packets.
  • the link layer performs advertising and scanning functions using three advertising channels, then creates a connection between devices, and provides the ability to send and receive data packets of up to 42 bytes through 37 data channels.
  • HCI Home Controller Interface
  • Controller stack provides an interface between the Host stack and the Controller stack, allowing the Host stack to provide commands and data to the Controller stack, and allowing the Controller stack to provide events and data to the Host stack.
  • BLE procedures can be divided into device filtering procedures, advertising procedures, scanning procedures, discovering procedures, and connecting procedures.
  • Device filtering procedures are a way to reduce the number of devices that respond to requests, instructions, notifications, etc. in the controller stack.
  • the controller stack can control the power consumption of the BLE controller stack by reducing the number of requests transmitted.
  • An advertising device or scanning device may perform the above device filtering procedure to limit the devices that receive advertising packets, scan requests, or connection requests.
  • an advertising device refers to a device that transmits an advertising event, i.e., performs an advertisement, and is also expressed as an advertiser.
  • a scanning device is a device that performs scanning and transmits scan requests.
  • a scanning device when a scanning device receives some advertising packets from an advertising device, the scanning device must send a scan request to the advertising device.
  • the scanning device may ignore advertising packets transmitted from the advertising device.
  • Device filtering procedures may also be used during the connection request process. If device filtering is used during the connection request process, the connection request is ignored, eliminating the need to send a response to the connection request.
  • An advertising device performs an advertising procedure to perform a non-directional broadcast to devices within the area.
  • non-directional broadcast refers to broadcast in all directions rather than broadcasting in a specific direction.
  • a directional broadcast refers to a broadcast in a specific direction.
  • a non-directional broadcast occurs without a connection procedure between an advertising device and a device in a listening (or listening) state (hereinafter referred to as a listening device).
  • the advertising process is used to establish a Bluetooth connection with a nearby initiating device.
  • the advertising procedure may be used to provide periodic broadcasts of user data to scanning devices listening on the advertising channel.
  • Advertising devices can receive scan requests from listening devices that are listening to obtain additional user data from the advertising device.
  • the advertising device transmits a response to the scan request to the device that sent the scan request over the same advertising physical channel as the advertising physical channel that received the scan request.
  • Broadcast user data sent as part of advertising packets is dynamic data, whereas scan response data is typically static data.
  • An advertising device can receive a connection request from an initiating device on an advertising (broadcast) physical channel. If the advertising device uses a connectable advertising event and the initiating device is not filtered by the device filtering procedure, the advertising device stops advertising and enters connected mode. The advertising device can resume advertising after entering connected mode.
  • a device performing scanning i.e., a scanning device, performs a scanning procedure to listen for non-directional broadcasts of user data from advertising devices using an advertising physical channel.
  • the scanning device transmits a scan request to the advertising device via the advertising physical channel to request additional data from the advertising device.
  • the advertising device transmits a scan response, which is a response to the scan request, including the additional data requested from the scanning device via the advertising physical channel.
  • the above scanning procedure can be used while connecting with other BLE devices in a BLE piconet.
  • the scanning device can initiate a Bluetooth connection with the advertising device by transmitting a connection request to the advertising device over the advertising physical channel.
  • a scanning device When a scanning device sends a connection request to an advertising device, the scanning device stops initiator mode scanning for further broadcasts and enters connection mode.
  • Bluetooth devices Devices capable of Bluetooth communication (hereinafter referred to as “Bluetooth devices”) perform advertising and scanning procedures to discover nearby devices or to be discovered by other devices within a given area.
  • the discovery process is performed asymmetrically.
  • a Bluetooth device attempting to discover other devices in its vicinity is called a discovering device and listens for devices advertising scannable advertising events.
  • a Bluetooth device discovered and available to other devices is called a discoverable device and actively broadcasts advertising events over the advertising (broadcast) physical channel to make it scannable.
  • Both the discovering device and the discoverable device may already be connected to other Bluetooth devices in the piconet.
  • connection procedure is asymmetric, requiring one Bluetooth device to perform an advertising procedure while another Bluetooth device performs a scanning procedure.
  • the advertising process can be targeted, resulting in only one device responding to the advertisement.
  • a connection After receiving an accessible advertising event from the advertising device, a connection can be initiated by sending a connection request to the advertising device via the advertising (broadcast) physical channel.
  • the Link Layer enters the advertising state at the direction of the host (stack).
  • the Link Layer transmits advertising Packet Data Units (PDUs) in advertising events.
  • PDUs Packet Data Units
  • Each advertising event consists of at least one advertising PDU, which are transmitted via the advertising channel indices used.
  • An advertising event may terminate when each advertising PDU has been transmitted via the advertising channel indices used, or may terminate earlier if the advertising device needs to free up space for other functions.
  • the link layer enters the scanning state at the direction of the host (stack). In the scanning state, the link layer listens for advertising channel indices.
  • scanning states There are two types of scanning states: passive scanning and active scanning, and each scanning type is determined by the host.
  • the link layer listens for advertising channel indices for the duration of the scanWindow.
  • the scanInterval is defined as the interval between the start points of two consecutive scan windows.
  • the link layer must listen for the completion of all scan intervals in the scan window, as directed by the host, provided there are no scheduling conflicts. In each scan window, the link layer must scan a different advertising channel index. The link layer uses all available advertising channel indices.
  • the link layer only receives packets and does not transmit any packets.
  • the link layer listens to the advertising device for advertising PDUs and depending on the advertising PDU type, may request additional information about the advertising device.
  • the link layer enters the initiated state at the direction of the host (stack).
  • the link layer listens for advertising channel indices.
  • the link layer listens for advertising channel indices during the scan window period.
  • the Link Layer has only one packet format, which is used for both advertising channel packets and data channel packets.
  • the PDU When a packet is transmitted on an advertising physical channel, the PDU will be an advertising channel PDU, and when a packet is transmitted on a data physical channel, the PDU will be a data channel PDU.
  • Advertising channel PDUs Packet Data Units
  • PDUs Packet Data Units
  • the PDU type field of the advertising channel PDU included in the header indicates the PDU type as defined in Table 1 below.
  • the advertising channel PDU types below are called advertising PDUs and are used in specific events.
  • ADV_DIRECT_IND Connectable directional advertising event
  • ADV_SCAN_IND Scannable non-directional ad event
  • the advertising channel PDU type below is called a scanning PDU and is used in the conditions described below.
  • SCAN_RSP Sent by the link layer in advertising state and received by the link layer in scanning state.
  • the advertising channel PDU type below is called an initiation PDU.
  • CONNECT_REQ Sent by the link layer in the initiating state and received by the link layer in the advertising state.
  • a data channel PDU has a 16-bit header, a payload of variable size, and may include a Message Integrity Check (MIC) field.
  • MIC Message Integrity Check
  • FIG. 4 shows an example of the structure of the GATT (Generic Attribute Profile) of Bluetooth low energy.
  • GATT Generic Attribute Profile
  • a peripheral device e.g., a sensor device
  • GATT server acts as a GATT server and has definitions for services and characteristics.
  • a GATT client sends a data request to a GATT server, and all operations (transactions) are initiated by the GATT client and receive responses from the GATT server.
  • the GATT-based operation structure used in Bluetooth LE is based on profiles, services, and characteristics, and can form a vertical structure as shown in Fig. 5.
  • the above profile consists of one or more services, and the services may consist of one or more characteristics or other services.
  • the above service serves to logically divide data into units and may include one or more characteristics or other services.
  • Each service has a 16-bit or 128-bit identifier called a Universal Unique Identifier (UUID).
  • UUID Universal Unique Identifier
  • the above characteristic is the lowest unit in the GATT-based operation structure.
  • the characteristic contains only one piece of data and, similar to the above service, has a 16-bit or 128-bit UUID.
  • the above characteristics are defined by the values of various pieces of information, and each piece of information requires one attribute. Multiple consecutive attributes can be used for the above characteristics.
  • FIG. 5 is a flowchart showing an example of a connection procedure method in Bluetooth low energy technology to which the present invention can be applied.
  • the server transmits advertising messages to the client through three advertising channels (S5010).
  • a server may be called an Advertiser before connection, and a Master after connection.
  • An example of such a server may be a sensor (e.g., a temperature sensor).
  • a client may be referred to as a "Scanner” before connection and as a “Slave” after connection.
  • An example of a client may be a smartphone.
  • Bluetooth communicates across 40 channels over the 2.4 GHz band. Of these 40 channels, three are advertising channels, used to exchange various advertising packets and other packets used to establish a connection.
  • the remaining 37 channels are used for data exchange after connection as data channels.
  • the client may send a Scan Request message to the server to obtain additional data (e.g., server device name, etc.) from the server.
  • additional data e.g., server device name, etc.
  • the server transmits a Scan Response message containing additional data in response to a Scan Request message to the client.
  • the Scan Request message and the Scan Response message are an end of an advertising packet, and the advertising packet can only contain user data of 31 bytes or less.
  • the data is sent in two parts using a scan request message/scan response message.
  • the client sends a connection request message to the server to establish a Bluetooth connection with the server (S5020).
  • LL Link Layer
  • the server and client perform security establishment procedures.
  • the secure establishment procedure may be interpreted as or performed incorporating Secure Simple Pairing.
  • the security establishment procedure can be carried out through Phase 1 to Phase 3.
  • phase 1 a pairing procedure (phase 1) is performed between the server and the client (S5030).
  • the pairing procedure involves the client sending a pairing request message to the server, and the server sending a pairing response message to the client.
  • the pairing process involves exchanging authentication requirements, input/output capabilities, and key size information between devices. This information is used to determine which key generation method to use in Phase 2.
  • phase 2 legacy pairing or secure connections are performed between the server and the client (S5040).
  • Phase 2 a 128-bit temporary key and a short term key (STK) are generated to perform legacy pairing.
  • STK short term key
  • STK Short Term Key
  • LTK Long Term Key
  • LTK Long Term Key
  • phase 3 a key distribution procedure is performed between the server and the client (S5050).
  • Audio data occurs periodically (or at specific time intervals) depending on its characteristics.
  • a specific time period during which audio data occurs periodically can be expressed as an Idle Event Interval.
  • Each audio data is transmitted during each Idle Event Interval.
  • each audio data can be transmitted throughout the entire Idle Event Interval or a portion of the Idle Event Interval.
  • advertising and scanning procedures, communication procedures, and disconnection procedures must be performed each time the generated audio data is transmitted or received.
  • audio data is generally generated periodically, and regardless of the amount of data, a latency guarantee for audio data transmission is essential.
  • Audio data transmission through hearing aids (HA) or headsets can achieve higher energy efficiency by utilizing BLE technology rather than Bluetooth BR/EDR technology because the amount of data generated is relatively small.
  • BLE technology rather than Bluetooth BR/EDR technology because the amount of data generated is relatively small.
  • the Data Channel Process of BLE technology requires advertising and connection for each data transmission, which results in a large overhead in data transmission.
  • the Latency Guarantee which is absolutely necessary for audio data transmission, cannot be guaranteed.
  • the Data Channel Process of BLE technology aims to increase energy efficiency by transmitting data that occurs sporadically only when necessary and inducing deep sleep of the BLE device in other time domains, it may be difficult to apply the Data Channel Process of BLE technology to the transmission of audio data that occurs periodically.
  • a new channel, the Isochronous Channel, is defined to transmit periodically occurring data using BLE technology.
  • An isochronous channel is a channel used to transmit isochronous data between devices that use isochronous streams (e.g., Conductor-Member).
  • Isochronous data refers to data that is transmitted periodically or regularly at specific time intervals.
  • an isochronous channel may refer to a channel through which periodically occurring data, such as audio data or voice data, is transmitted and received in BLE technology.
  • the isochronous channel may refer to a channel through which data generated based on a user input of a game user's controller device is transmitted and received in a gaming scenario.
  • the isochronous channel may be used to transmit and receive data with a single member, a set of one or more coordinated members, or multiple members.
  • the isochronous channel corresponds to a flushing channel that may be used to transmit and receive important data in an isochronous stream, such as audio streaming, or in another time domain.
  • the source device In order to synchronize wired and wireless speakers at the listener's position in a multi-channel audio environment, the source device must know all delay times from the source to the listener's position, and it is not easy to accurately set the delay time due to variations between products or within the same product.
  • Various embodiments of the present disclosure provide a method for synchronizing audio at a listener's position in a multichannel audio environment.
  • Various embodiments of the present disclosure provide a method for synchronizing audio at a listener's position by measuring only the listener's delay time at the source device.
  • Various embodiments of the present disclosure provide a method for synchronizing audio by fixing a wired audio delay time and changing a wireless audio delay time, or by fixing a wireless audio delay time and changing a wired audio delay time, when building a multi-channel audio environment using wired and wireless speakers.
  • the sound distortion effect caused by time delay due to the difference in distance between each speaker from the listener's perspective is resolved.
  • Various embodiments of the present disclosure enable synchronization from the source device to any product, from the source device to the output speaker.
  • Various embodiments of the present disclosure enable synchronization of multi-channel audio without having to know the delay time of third-party products on a Sound Bar or TV.
  • Various embodiments of the present disclosure enable synchronization of multichannel audio when audio delay is known.
  • FIG. 6 illustrates an example of a system structure in which multi-channel audio signals are transmitted between a BLE-based TV transmitting device and multiple BLE audio receiving speakers.
  • Figure 6 illustrates an example system architecture that wirelessly transmits multi-channel audio signals between a TV transmitter and multiple audio receiver speakers using BLE (Bluetooth Low Energy) technology.
  • the system of Figure 6 configures the TV as an audio transmitter (Initiator) and each speaker as an audio receiver (Acceptor), enabling a multi-channel audio environment without wired connections. It utilizes BLE's ISO channel, making it suitable for audio data transmission where time synchronization is critical.
  • the TV LE Audio Tx Device includes a video display, an audio decoder/encoder, a controller, and a BLE Tx interface.
  • the audio decoder/encoder converts surround audio formats such as Dolby or DTS into PCM and encodes it into the LC3 codec suitable for BLE transmission. It also supports mono unicast transmission.
  • the TV wirelessly transmits the processed audio signal to external speakers via the BLE Tx interface. Configuration information can be communicated bidirectionally, while the actual audio stream is transmitted unidirectionally.
  • the Speaker LE Audio Rx Device consists of a BLE Tx/Rx interface, an audio decoder, an LC3 decoder, a controller, and a speaker driver. Each speaker receives BLE audio data wirelessly transmitted from the TV through the BLE Tx/Rx interface. The received data is restored to the original audio signal through the LC3 decoder and audio decoder, and this signal is output as sound through the speaker driver. Speakers with Tx/Rx interfaces can be used for exchanging setting information with the TV or receiving control signals.
  • the system in Figure 6 operates by processing multichannel audio signals, such as 5.1 channels, from a TV and assigning and transmitting them to wireless speakers, either individually or in groups. Each speaker receives and plays audio data for its assigned channel, allowing users to experience a wireless surround sound system without the need for complex audio cable connections. This offers the advantage of increased installation flexibility and a cleaner user experience.
  • multichannel audio signals such as 5.1 channels
  • FIG. 7 illustrates an example of a compensation procedure for synchronizing image processing delay and audio processing delay in a Bluetooth low-latency audio system proposed in the present disclosure.
  • Video and audio signals each have their own unique delays as they pass through various stages of decoding, processing, and output. This delay difference can cause misalignment between video and audio, making it essential to synchronize the two for a natural audiovisual experience.
  • the video processing path involves compressed data being decoded, then undergoing image enhancement and display output.
  • This process can include various processes such as frame doubling, anti-aliasing, and TCON (Timing Controller), which, as shown in the diagram, can result in a relatively large delay of approximately 100 ms or more. This is the result of a combination of the physical delay required to display the image on screen and the processing delay.
  • the audio processing path involves decoding compressed audio data, then going through the Bluetooth encoding/transmission/decoding process, and possibly applying additional audio enhancements.
  • This includes various audio-related processes such as buffering, pop filtering, woofer boost, and active noise cancellation. These processes introduce delays into the audio signal, and the diagram shows this audio processing delay at approximately 30ms or more. This delay is relatively short compared to video delay.
  • the compensation procedure presented in Figure 7 aims to overcome this delay difference and synchronize video and audio. It utilizes information such as the Presentation Time Stamp (PTS) to determine the original timing of the video and audio data, intentionally delaying the output of the audio signal with a shorter delay or making other timing adjustments to ensure that the video and audio are output nearly simultaneously.
  • PTS Presentation Time Stamp
  • FIG. 8 illustrates an example of a test stream-based calibration procedure for measuring and adjusting the sound pressure level of each speaker based on a user position in a BLE-based audio system proposed in the present disclosure.
  • Figure 8 illustrates an example of a test stream-based calibration procedure for measuring and adjusting the sound pressure level (SPL) from each speaker relative to the user's listening position (sweet spot) in a Bluetooth low-latency audio system.
  • This process aims to optimize balanced sound from each speaker in a multi-speaker audio system at the user's primary seating position.
  • This procedure utilizes a measurement device, such as a smartphone, to achieve this goal.
  • the calibration process begins with playing a test audio stream to each speaker.
  • the user's smartphone or control device individually sends a command to play the test stream to each speaker.
  • Each speaker then plays its own corresponding test sound via a unicast connection.
  • This test stream may be a signal with a specific frequency range or characteristics designed for loudness measurement.
  • the user measures the sound pressure level (SPL) arriving at each speaker using a sound pressure measurement device, such as a smartphone, at their primary listening position (the "Sweet Spot").
  • SPL sound pressure level
  • the figure shows the user sitting in the center, holding the smartphone, and measuring the SPL values coming from each speaker.
  • the system Based on the measured sound pressure level of each speaker, the system adjusts the final audio output. By adjusting the volume or gain of each speaker to compensate for differences in measured SPL values, the system ensures that all speakers sound at the intended relative loudness when the user is listening in the "Sweet Spot.” This process compensates for volume differences caused by individual speaker locations or characteristics, and optimizes the overall sound field of the multichannel audio system to the user's location, providing a more immersive sound experience.
  • FIG. 9 illustrates an example of an inter-speaker synchronization correction structure for correcting an audio synchronization error due to a difference in distance between a TV speaker and a rear speaker in a multi-channel audio system proposed in the present disclosure.
  • FIG. 10 illustrates an example of a speaker-to-speaker synchronization structure for correcting sound synchronization errors due to distance differences between rear speakers in a multi-channel audio system proposed in the present disclosure.
  • Figures 9 and 10 illustrate various examples of inter-speaker synchronization structures for compensating for acoustic synchronization errors caused by distance differences between multiple speakers and the user's listening position in a multichannel audio system. Since sound propagates through the air at a finite speed, if each speaker is located at a different distance from the listener, the time it takes for the sound to reach the listening position also varies. This difference in sound arrival times can distort the accurate spatial perception and sound image localization of multichannel sound.
  • Figure 9 illustrates the effect of the distance difference between the TV speakers (which typically serve as front speakers) and the rear speakers on audio synchronization.
  • Figure 9 shows that the rear speakers are located further away from the listener than the TV speakers (e.g., 3 meters), causing sound from the rear speakers to arrive at the listening position later than sound from the TV speakers. Even though the system transmits audio signals simultaneously, the listener experiences a temporal mismatch due to the physical distance difference.
  • Figure 10 illustrates the effect of distance differences between rear speakers on synchronization.
  • the left and right rear speakers may not be positioned exactly the same distance from the listener, and the figure assumes one rear speaker is slightly further away than the other (e.g., a distance difference of 3 meters). Even these slight distance differences between speakers can cause sound arrival times to vary, and especially in sophisticated surround sound environments, these errors can lead to distortion of the sound image.
  • the system measures the distance between each speaker and the listening position or calculates the difference in sound arrival times based on a preset value. The system then performs compensation by intentionally delaying the audio signal output from speakers closer to the listening position by the calculated difference. In other words, by adjusting the timing of sound from all speakers to arrive at the listening position, the system ensures that even in multichannel systems with speakers in different locations, users experience a precise and consistent soundstage as designed.
  • Figures 11 and 12 illustrate a method of measuring the delay time difference between speakers as a differentiation technique by measuring the user (remote control) microphone input time difference.
  • FIG. 11 illustrates an example of a structure in which each speaker outputs a different audio channel (1 kHz, 2 kHz, etc.) in a Bluetooth-based multi-channel audio environment proposed in the present disclosure, and a microphone device at the listener's position receives the same.
  • CH Channel Number: A channel number that distinguishes each audio output speaker, for example, CH1 may correspond to the front left (FL), CH2 to the front right (FR), CH3 to the rear left (RL), and CH4 to the rear right (RR) speaker.
  • Audio Delay This is an additional audio presentation delay set by the source device for each channel to synchronize all speakers. Based on the latest arrival, CH4 (4ms), the compensation values are set to 3ms for CH1 and CH2, 1ms for CH3, and 0ms for CH4.
  • the present disclosure measures the delay for each speaker based on the listener's position, and based on the delay information, the source device precisely adjusts the audio playback timing for each speaker, thereby enabling synchronization of the entire audio system.
  • Fig. 13 The embodiment illustrated in Fig. 13 comprises the following steps:
  • the third device transmits LE Audio data packets containing test tones of different frequencies (e.g., 1kHz, 2kHz, 3kHz, 4kHz) to each speaker (Server: FL, FR, RL, RR) via the Soundbar. These test tones are transmitted by each speaker on its own assigned frequency.
  • Test tone playback Each speaker plays its assigned test tone. For example, FL sequentially outputs a test sound of 1 kHz, FR sequentially outputs a test sound of 2 kHz, RL sequentially outputs a test sound of 3 kHz, and RR sequentially outputs a test sound of 4 kHz.
  • Test tone reception and delay measurement The third device compares the timing of receiving test tones output from multiple speakers and detects the delay difference between the speaker arrival times.
  • FL and FR are received with a delay of 1 ms
  • RL with a delay of 2 ms
  • RR with a delay of 4 ms.
  • the third device transmits the measured delay information to the source device (e.g., TV or sound bar), and the source device sets an additional presentation delay for each speaker based on this.
  • the source device e.g., TV or sound bar
  • the present disclosure proposes a technology for precisely implementing audio synchronization (inter-speaker sync) between a TV (source device) and a Bluetooth speaker (sink device).
  • a conventional test involved connecting two TVs and Bluetooth (BT) speakers in a laboratory environment.
  • the delay time of the BT speakers based on BR/EDR was large, and even when the Audio Delay was manually set to 0, a delay difference existed at the actual audio output time, resulting in an echo phenomenon.
  • the sound pressure level (SPL) standard was not applied to the volume control, which resulted in an imbalance in the actual output volume. For example, at volume 1, the sound from the BT speaker was louder than the TV speaker, at volume 10, the sound levels between the TV and BT speakers were similar, and at volume 30, the sound from the TV speaker was louder than the BT speaker.
  • the present disclosure proposes the following proposed technology (To-Be): that is, by fixing the built-in speaker delay value of the TV (TV Source Speaker Presentation Delay) to a certain degree and adjusting the delay value of the Bluetooth speaker accordingly, the audio output timing between the TV speaker and the Bluetooth speaker is synchronized.
  • To-Be proposed technology
  • it is a method of synchronizing the audio output of all speaker channels to the listener by individually defining the presentation delay set to the TV's built-in speakers according to the actual timing of playback by Bluetooth speakers.
  • This method can also be effectively applied in a Bluetooth-based multi-channel audio environment, and even if the TV itself is unaware of the Bluetooth speaker delay, it can ensure the sound quality and precise synchronization of the entire system by adjusting the Bluetooth speaker output timing based on a fixed built-in speaker delay.
  • FIG. 14 illustrates an example of a structure that independently defines the presentation delay of a built-in speaker in a source device (TV) and matches the total audio delay with Bluetooth speakers in a multi-channel audio system proposed in the present disclosure.
  • TV Speaker Total Delay the final output timing of the TV Speaker (TV Speaker Total Delay) is defined as follows:
  • Bluetooth Total System Delay is calculated as follows:
  • Total Audio System Delay is defined as follows:
  • the TV calculates the overall system delay based on the final audio output timing of the built-in speakers and Bluetooth speakers, and independently sets the TV speaker delay value to synchronize with the playback timing of the Bluetooth speakers, thereby configuring all channels to be precisely synchronized from the listener's perspective.
  • This structure can cope with external speaker delay even in a Bluetooth-based audio environment, and can realize precise audio synchronization that does not impede the user experience even in a mixed wired/wireless environment.
  • FIG. 15 illustrates a multi-channel audio transmission structure between a source device (such as a sound bar) and multiple wired/wireless speakers in a multi-channel audio system proposed in the present disclosure, and illustrates an example of a configuration in which each speaker is connected via various paths such as HDMI, Opt, and Bluetooth.
  • FIG. 15 is a diagram schematically illustrating an audio transmission structure of a multi-channel audio system according to one embodiment of the present disclosure.
  • the audio source device receives various wired and wireless inputs such as HDMI, optical, and Bluetooth (BT) from external devices such as TVs and mobile phones, and processes multi-channel audio through a multi-channel audio processing device in the form of a sound bar.
  • the multi-channel audio processing device supports multi-channel speaker outputs such as front left and right (Front L/R), center, and woofer, and transmits audio signals to multiple wired/wireless speakers (SPK).
  • a multichannel audio processing device transmits audio for each channel to multiple speakers via a multichannel path. These speakers can be connected to the soundbar via various methods, either wired or wireless (e.g., Bluetooth).
  • Fig. 15 illustrates an example of a multichannel audio system with various input interfaces and a multichannel audio output structure.
  • FIG. 16 illustrates an example of an audio output timing control structure for synchronized audio output between speakers in a multi-channel audio system proposed in the present disclosure.
  • FIG. 16 is a diagram illustrating an example of a timing control structure for audio output synchronization between a soundbar speaker and a BLE (Bluetooth Low Energy) speaker in a multi-channel audio system according to one embodiment of the present disclosure.
  • BLE Bluetooth Low Energy
  • the soundbar contains an internal multi-channel audio processor (PCM), and internal bus delay and preparation delay occur based on the PCM data output point (Anchor Point for Audio Input). This is defined as the soundbar internal delay (SoundBar Internal Delay).
  • PCM multi-channel audio processor
  • Each speaker in the soundbar (e.g. CH L, CH R) additionally has its own individual Presentation Delay, which sets the final output timing of the soundbar speakers (SoundBar Speaker Total Delay).
  • the Bluetooth speaker receives audio signals through the Bluetooth audio path, which consists of the following delay elements: Audio Processing Time (Unicast Client/Audio Source/Broadcast Source), Transport Latency, Presentation Delay (Unicast Server/Audio Sink/Broadcast Sink).
  • Audio Processing Time Unicast Client/Audio Source/Broadcast Source
  • Transport Latency Transport Latency
  • Presentation Delay Unicast Server/Audio Sink/Broadcast Sink
  • the overall delay in a Bluetooth audio flow is defined as Bluetooth Total System Delay.
  • the TV Source Speaker Presentation Delay is fixed, and the Delay of the soundbar speaker is additionally defined based on the Bluetooth Delay, so that the built-in speakers of the soundbar are synchronized with the playback timing of the Bluetooth speakers.
  • This enables Inter Speaker Sync that considers the total delay time of each path after the Anchor Point in the entire audio system.
  • Figure 16 visually organizes such time delay items to explain a method of adjusting and synchronizing audio output timing in a multi-channel audio system.
  • FIG. 17 The embodiments described below are specifically described with reference to FIG. 17 in terms of the operation of a source device (TV, soundbar, etc.).
  • the methods described below are distinguished for convenience of explanation, and it is understood that some components of one method may be substituted for some components of another method, or may be applied in combination with each other, as long as they are not mutually exclusive.
  • FIG. 17 illustrates an example of an operation process of a source device such as a TV or sound bar according to various embodiments of the present disclosure.
  • a method is provided that is performed by a source device such as a TV or sound bar that supports a short-range communication system such as Bluetooth.
  • the source device includes a first processor corresponding to a host stack; a second processor corresponding to a first controller stack; a memory; and a transceiver.
  • the host stack and the controller stack are connected via a Host Controller Interface (HCI).
  • HCI Host Controller Interface
  • the source device transmits a request for information on a second delay of the one or more external speaker devices to one or more external speaker devices.
  • step S1702 the source device receives information about the second delay from the one or more external speaker devices.
  • the source device determines a first delay for the built-in speaker of the source device based on the second delay to synchronize audio output between the built-in speaker of the source device and the one or more external speaker devices.
  • step S1704 the source device transmits the first audio data stream to the one or more external speaker devices for synchronized playback with the second audio data stream output from the built-in speaker based on the determined first delay.
  • the second delay information may include a transport latency and a presentation delay associated with the one or more external speaker devices.
  • the first delay may be determined such that the first delay of the built-in speaker of the source device is synchronized with the second delay of the one or more external speaker devices.
  • the first delay of the built-in speaker may include a conventional audio processing delay and an added source speaker presentation delay.
  • the embodiment of FIG. 17 may further include the step of receiving, from a third device located at a listener position, information regarding a measured first arrival time for a first test tone output from the one or more external speaker devices.
  • the determination of the first delay may additionally be based on the received first arrival time.
  • the embodiment of FIG. 17 may further include: determining a delay difference based on the first arrival time and the second arrival time of the second test tone output from the built-in speaker to the third device; and transmitting a control signal for adjusting a presentation delay based on the delay difference to the one or more external speaker devices.
  • the embodiment of FIG. 17 may further include: determining a second presentation delay for the one or more external speaker devices based on a fixed delay of the built-in speaker of the source device; and transmitting the second presentation delay to the one or more external speaker devices to adjust an audio output timing of the one or more external speaker devices.
  • an electronic device includes a first processor corresponding to a host stack; a second processor corresponding to a first controller stack; a memory; and a transceiver.
  • the host stack and the controller stack are connected via a Host Controller Interface (HCI).
  • HCI Host Controller Interface
  • the memory may be configured to store instructions for performing an operating method of the source device according to FIG. 17 based on instructions executed by the first processor and the second processor.
  • a control device for controlling a source device includes at least one processor and at least one memory operably connected to the at least one processor.
  • the at least one memory may be configured to store instructions for performing an operating method of the source device according to FIG. 17 based on instructions executed by the at least one processor.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시의 다양한 실시 예들에 따르면, 근거리 무선 통신 시스템에서 소스 장치의 동작 방법에 있어서, 하나 이상의 외장 스피커 장치에게, 상기 하나 이상의 외장 스피커 장치의 제2 딜레이의 정보의 요청을 전송하는 단계; 상기 하나 이상의 외장 스피커 장치로부터, 상기 제2 딜레이의 정보를 수신하는 단계; 상기 소스 장치의 내장 스피커와 상기 하나 이상의 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 제2 딜레이에 기반하여 상기 소스 장치의 내장 스피커를 위한 제1 딜레이를 결정하는 단계; 및 상기 결정된 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 하나 이상의 외장 스피커 장치로 제1 오디오 데이터 스트림을 전송하는 단계를 포함하는 방법이 제공된다.

Description

블루투스 연결에 기반하여 다수 기기의 멀티채널 오디오 신호의 시간 동기화를 위한 장치 및 방법
본 개시(disclosure)는 블루투스 통신 기술을 이용하여 멀티채널 오디오 환경에서 다수의 유무선 스피커 간 오디오 신호를 시간적으로 정밀하게 동기화하기 위한 장치 및 방법에 관한 것이다. 구체적으로, 본 개시는 블루투스 오디오 전송 구조를 기반으로, 소스 장치(예를 들어, TV, 사운드바)와 복수의 외장 무선 스피커 간의 오디오 재생 타이밍을 정밀하게 맞춤으로써, 청취자 위치 기준으로 음상 왜곡을 최소화하고, 고품질의 서라운드 오디오를 실현하기 위한 장치 및 방법에 관한 것이다.
멀티채널 오디오 시스템은 좌우 채널뿐 아니라 후방, 중앙, 우퍼 채널 등을 포함하여 입체적인 서라운드 음향을 제공할 수 있도록 설계되어 있다. 이러한 시스템에서는 복수의 스피커 간 오디오 신호의 시간 동기화가 필수적으로 요구되며, 일반적으로는 소스 장치에서 각 스피커로 전달되는 신호의 타이밍을 조정하는 방식으로 동기화가 수행된다.
그러나 종래의 멀티채널 오디오 기술에서는 단순히 스피커 간의 출력 타이밍만을 맞추는 방식으로 시간 동기를 구현함에 따라, 청취자 위치 기준에서 발생하는 스피커와 청취자 간의 거리 차이로 인한 지연을 보정하지 못하고, 그 결과 음상이 어긋나는 현상이 발생할 수 있다. 특히 유선 스피커와 무선 스피커가 혼재된 환경에서는 각 스피커의 전송 경로 및 장치 내부 처리 지연이 다르기 때문에, 청취자 위치에서의 정확한 동기화를 구현하기 어렵다.
이를 해결하기 위해 소스 장치에서 청취자까지의 모든 경로 지연을 미리 알고 있어야 하나, 실제 환경에서는 장치 간 제조 편차, 네트워크 지연, 설치 환경 차이 등으로 인해 정확한 절대 지연시간 측정이 현실적으로 어렵고 복잡하다.
본 발명은 이러한 문제점을 극복하기 위해, 청취자 위치에서 각 스피커의 도달 시점을 측정하고, 해당 정보를 바탕으로 소스 장치가 각 스피커별로 개별 지연을 조정함으로써, 결과적으로 청취자 기준에서 동기화된 오디오 환경을 제공할 수 있도록 하는 새로운 시간 동기화 기법을 제안한다.
상술한 문제점을 해결하기 위해, 본 개시는 블루투스 통신 기술을 이용하여 멀티채널 오디오 환경에서 다수의 유무선 스피커 간 오디오 신호를 시간적으로 정밀하게 동기화하기 위한 장치 및 방법을 제공한다.
본 개시는 블루투스 오디오 전송 구조를 기반으로, 소스 장치와 복수의 외장 무선 스피커 간의 오디오 재생 타이밍을 정밀하게 맞춤으로써, 청취자 위치 기준으로 음상 왜곡을 최소화하고, 고품질의 서라운드 오디오를 실현하기 위한 장치 및 방법을 제공한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시 예들에 따르면, 근거리 무선 통신 시스템에서 소스 장치의 동작 방법에 있어서, 하나 이상의 외장 스피커 장치에게, 상기 하나 이상의 외장 스피커 장치의 제2 딜레이의 정보의 요청을 전송하는 단계; 상기 하나 이상의 외장 스피커 장치로부터, 상기 제2 딜레이의 정보를 수신하는 단계; 상기 소스 장치의 내장 스피커와 상기 하나 이상의 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 제2 딜레이에 기반하여 상기 소스 장치의 내장 스피커를 위한 제1 딜레이를 결정하는 단계; 및 상기 결정된 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 하나 이상의 외장 스피커 장치로 제1 오디오 데이터 스트림을 전송하는 단계를 포함하는 방법이 제공된다.
본 개시의 다양한 실시 예들에 따르면, 근거리 무선 통신 시스템에서 외장 스피커 장치의 동작 방법에 있어서, 소스 장치로부터, 상기 외장 스피커 장치의 제2 딜레이의 정보의 요청을 수신하는 단계; 상기 소스 장치에게, 상기 제2 딜레이의 정보를 전송하는 단계; 상기 소스 장치의 내장 스피커를 위한 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 소스 장치로부터 제1 오디오 데이터 스트림을 수신하는 단계를 포함하고, 상기 소스 장치의 내장 스피커와 상기 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 소스 장치의 내장 스피커를 위한 상기 제1 딜레이는 상기 제2 딜레이에 기반하는 방법이 제공된다.
본 개시의 다양한 실시 예들에 따르면, 근거리 무선 통신 시스템에서 소스 장치에 있어서, 호스트 스택(host stack)에 대응하는 제1 프로세서; 컨트롤러 스택(controller stack)에 대응하는 제2 프로세서; 메모리; 사용자 인터페이스(user interface, UI)에 대응하는 입력 장치; 상기 UI에 대응하는 출력 장치; 및 송수신기(transceiver)를 포함하고, 상기 호스트 스택과 상기 컨트롤러 스택은 HCI(Host Controller Interface)로 연결되고, 상기 메모리는, 상기 제1 프로세서 및 상기 제2 프로세서에 의해 실행되는 것에 기반하여, 동작들을 수행하는 지시(instruction)들을 저장하며, 상기 동작들은, 하나 이상의 외장 스피커 장치에게, 상기 하나 이상의 외장 스피커 장치의 제2 딜레이의 정보를 요청하는 단계; 상기 하나 이상의 외장 스피커 장치로부터, 상기 제2 딜레이의 정보를 수신하는 단계; 상기 소스 장치의 내장 스피커와 상기 하나 이상의 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 제2 딜레이에 기반하여 상기 소스 장치의 내장 스피커를 위한 제1 딜레이를 결정하는 단계; 및 상기 결정된 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 하나 이상의 외장 스피커 장치로 제1 오디오 데이터 스트림을 전송하는 단계를 포함하는 소스 장치가 제공된다.
상술한 문제점을 해결하기 위해, 본 개시는 블루투스 통신 기술을 이용하여 멀티채널 오디오 환경에서 다수의 유무선 스피커 간 오디오 신호를 시간적으로 정밀하게 동기화하기 위한 장치 및 방법을 제공할 수 있다.
본 개시는 블루투스 오디오 전송 구조를 기반으로, 소스 장치와 복수의 외장 무선 스피커 간의 오디오 재생 타이밍을 정밀하게 맞춤으로써, 청취자 위치 기준으로 음상 왜곡을 최소화하고, 고품질의 서라운드 오디오를 실현하기 위한 장치 및 방법을 제공할 수 있다.
이하에 첨부되는 도면들은 본 개시에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 개시에 대한 실시 예들을 제공할 수 있다. 다만, 본 개시의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미할 수 있다.
도 1은 본 개시에서 제안하는 블루투스 저전력 에너지 기술을 이용하는 무선 통신 시스템의 일 예를 나타낸 개략도이다.
도 2는 본 개시에서 제안하는 방법들을 구현할 수 있는 디바이스의 내부 블록도의 일 예를 나타낸다.
도 3은 본 개시에서 제안하는 방법들이 적용될 수 있는 블루투스 통신 아키텍처(Architecture)의 일 예를 나타낸다.
도 4는 블루투스 저전력 에너지의 GATT(Generic Attribute Profile)의 구조의 일 예를 나타낸다.
도 5는 본 개시의 다양한 실시 예들이 적용될 수 있는 블루투스 저전력 에너지 기술에서 연결 절차 방법의 일 예를 나타내는 흐름도이다.
도 6은 BLE 기반 TV 송신 장치와 복수의 BLE 오디오 수신 스피커 간에 멀티채널 오디오 신호가 전송되는 시스템 구조의 일 예를 도시한다.
도 7은 본 개시에서 제안하는 블루투스 저지연 오디오 시스템에서 영상 처리 지연과 오디오 처리 지연 간의 동기화를 맞추기 위한 보정 절차의 일 예를 도시한다.
도 8은 본 개시에서 제안하는 BLE 기반 오디오 시스템에서 사용자 위치 기준으로 각 스피커의 음압 레벨을 측정하고 조정하기 위한 테스트 스트림 기반 캘리브레이션 절차의 일 예를 도시한다.
도 9는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 TV 스피커와 후면 스피커 간의 거리 차이에 따른 음향 동기화 오차를 보정하기 위한 스피커 간 동기화 보정 구조의 일 예를 도시한다.
도 10은 본 개시에서 제안하는 멀티채널 오디오 시스템에서 후면 스피커 간의 거리 차이에 따른 음향 동기화 오차를 보정하기 위한 스피커 간 동기화 구조의 일 예를 도시한다.
도 11은 본 개시에서 제안하는 블루투스 기반 멀티채널 오디오 환경에서 각 스피커가 서로 다른 오디오 채널(1kHz, 2kHz 등)을 출력하고, 청취자 위치의 마이크 장치가 이를 수신하는 구조의 일 예를 도시한다.
도 12는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 청취자 위치의 마이크 장치가 수신한 각 스피커의 테스트 음향의 도달 시간 차이를 측정하고, 이를 소스 장치 (TV)에 전달하는 과정의 일 예를 도시한다.
도 13은 본 개시에서 제안하는 멀티채널 오디오 시스템에서 블루투스 리모컨 또는 스마트폰과 같은 제3 장치가 각 스피커의 테스트 톤 수신 시점을 측정하고, 소스 장치가 이를 기반으로 스피커별 지연을 조정하는 구조의 일 예를 도시한다.
도 14는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 소스 장치 (TV) 에서 내장 스피커의 프리젠테이션 딜레이(presentation delay)를 독립적으로 정의하고, 블루투스 스피커들과의 총 오디오 지연을 일치시키는 구조의 일 예를 도시한다.
도 15는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 소스 장치(사운드바 등)와 복수의 유무선 스피커 간 멀티채널 오디오 전송 구조를 도시하며, 각 스피커가 HDMI, Opt, Bluetooth 등 다양한 경로로 연결되는 구성의 일 예를 도시한다.
도 16은 본 개시에서 제안하는 멀티채널 오디오 시스템에서 스피커 간 동기화된 오디오 출력을 위한 오디오 출력 타이밍 제어 구조의 일 예를 도시한다.
도 17은 본 개시의 다양한 실시 예들에 따른 TV, 사운드바 등의 소스 장치의 동작 과정의 일 예를 도시한다.
도 18은 본 개시의 다양한 실시 예들에 따른 스피커의 동작 과정의 일 예를 도시한다.
본 개시의 다양한 실시 예들에서 "A 또는 B(A or B)"는 "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 달리 표현하면, 본 개시의 다양한 실시 예들에서 "A 또는 B(A or B)"는 "A 및/또는 B(A and/or B)"으로 해석될 수 있다. 예를 들어, 본 개시의 다양한 실시 예들에서 "A, B 또는 C(A, B or C)"는 "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다.
본 개시의 다양한 실시 예들에서 사용되는 슬래쉬(/)나 쉼표(comma)는 "및/또는(and/or)"을 의미할 수 있다. 예를 들어, "A/B"는 "A 및/또는 B"를 의미할 수 있다. 이에 따라 "A/B"는 "오직 A", "오직 B", 또는 "A와 B 모두"를 의미할 수 있다. 예를 들어, "A, B, C"는 "A, B 또는 C"를 의미할 수 있다.
본 개시의 다양한 실시 예들에서 "적어도 하나의 A 및 B(at least one of A and B)"는, "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 또한, 본 개시의 다양한 실시 예들에서 "적어도 하나의 A 또는 B(at least one of A or B)"나 "적어도 하나의 A 및/또는 B(at least one of A and/or B)"라는 표현은 "적어도 하나의 A 및 B(at least one of A and B)"와 동일하게 해석될 수 있다.
또한, 본 개시의 다양한 실시 예들에서 "적어도 하나의 A, B 및 C(at least one of A, B and C)"는, "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다. 또한, "적어도 하나의 A, B 또는 C(at least one of A, B or C)"나 "적어도 하나의 A, B 및/또는 C(at least one of A, B and/or C)"는 "적어도 하나의 A, B 및 C(at least one of A, B and C)"를 의미할 수 있다.
도 1은 본 명세서에서 제안하는 블루투스 저전력 에너지 기술을 이용하는 무선 통신 시스템의 일 예를 나타낸 개략도이다.
무선 통신 시스템(100)은 적어도 하나의 서버 디바이스(Server Device, 120) 및 적어도 하나의 클라이언트 디바이스(Client Device, 110)를 포함한다.
서버 장치와 클라이언트 장치는 블루투스 저전력 에너지(Bluetooth Low Energy:BLE, 이하 편의상 'BLE'로 표현한다.) 기술을 이용하여 블루투스 통신을 수행한다.
먼저, BLE 기술은 블루투스 BR/EDR(Basic Rate/Enhanced Data Rate) 기술과 비교하여, 상대적으로 작은 duty cycle을 가지며 저 가격 생산이 가능하고, 저속의 데이터 전송률을 통해 전력 소모를 크게 줄일 수 있어 코인 셀(coin cell) 배터리를 이용할 경우 1년 이상 동작이 가능하다.
또한, BLE 기술에서는 디바이스 간 연결 절차를 간소화하였으며, 패킷 사이즈도 블루투스 BR/EDR 기술에 비해 작게 설계되어 있다.
BLE 기술에서, (1) RF 채널수는 40개이며, (2) 데이터 전송 속도는 1Mbps를 지원하며, (3) 토폴로지는 스캐터넷 구조이며, (4) latency는 3ms이며, (5) 최대 전류는 15mA 이하이며, (6) 출력 전력은 10mW(10dBm) 이하이며, (7) 휴대폰, 시계, 스포츠, 헬스케어, 센서, 기기제어 등의 어플리케이션에 주로 사용된다.
상기 서버 장치(120)는 다른 장치와의 관계에서 클라이언트 장치로 동작할 수 있고, 상기 클라이언트 장치는 다른 장치와의 관계에서 서버 장치로 동작할 수 있다. 즉, BLE 통신 시스템에서 어느 하나의 장치는 서버 장치 또는 클라이언트 장치로 동작하는 것이 가능하며, 필요한 경우, 서버 장치 및 클라이언트 장치로 동시에 동작하는 것도 가능하다.
상기 서버 장치(120)는 데이터 서비스 장치(Data Service Device), 클라이언트 디바이스(slave device), 슬레이브(slave), 서버, 컨덕터(Conductor), 호스트 디바이스(Host Device), 게이트웨이(Gateway), 센싱 장치(Sensing Device), 모니터링 장치(monitoring device), 제 1 디바이스, 제 2 디바이스 등으로 표현될 수 있다.
상기 클라이언트 디바이스(110)는 서버 디바이스(master device), 마스터(master), 클라이언트, 멤버(Member), 센서 디바이스, 싱크 디바이스(Sink Device), 콜렉터(Collector), 제 3 디바이스, 제 4 디바이스 등으로 표현될 수 있다.
서버 장치와 클라이언트 장치는 상기 무선 통신 시스템의 주요 구성요소에 해당하며, 상기 무선 통신 시스템은 서버 장치 및 클라이언트 장치 이외에도 다른 구성요소를 포함할 수 있다.
상기 서버 장치는 클라이언트 장치로부터 데이터를 제공 받고, 클라이언트 장치와 직접 통신을 수행함으로써, 클라이언트 장치부터 데이터 요청을 수신하는 경우, 응답을 통해 클라이언트 장치로 데이터를 제공하는 장치를 말한다.
또한, 상기 서버 장치는 클라이언트 장치로 데이터 정보를 제공하기 위해 클라이언트 장치에게 알림/통지(Notification) 메시지, 지시(Indication) 메시지를 보낸다. 또한, 상기 서버 장치는 상기 클라이언트 장치로 지시 메시지를 전송하는 경우, 상기 클라이언트로부터 상기 지시 메시지에 대응하는 확인(Confirm) 메시지를 수신한다.
또한, 상기 서버 장치는 알림, 지시, 확인 메시지들을 클라이언트 디바이스와 송수신하는 과정에서 출력부(Display Unit)을 통해서 사용자에게 데이터 정보를 제공하거나 입력부(User Input Interface)를 통해 사용자로부터 입력되는 요청을 수신할 수 있다.
또한, 상기 서버 장치는 상기 클라이언트 장치와 메시지를 송수신하는 과정에서 메모리(memory unit)로부터 데이터를 읽어 오거나 새로운 데이터를 해당 메모리에 쓸 수 있다.
또한, 하나의 서버 장치는 다수의 클라이언트 장치들과 연결될 수 있으며, 본딩(Bonding) 정보를 활용하여 클라이언트 장치들과 쉽게 재 연결(또는 접속)이 가능하다.
상기 클라이언트 장치 (120)는 서버 장치에게 데이터 정보 및 데이터 전송을 요청하는 장치를 말한다.
클라이언트 장치는 상기 서버 장치로부터 알림 메시지, 지시 메시지 등을 통해 데이터를 수신하고, 지시 메시지를 상기 서버 디바이스로부터 수신하는 경우, 상기 지시 메시지에 대한 응답으로 확인 메시지를 보낸다.
상기 클라이언트 장치도 마찬가지로 상기 서버 장치와 메시지들을 송수신하는 과정에서 출력부를 통해 사용자에게 정보를 제공하거나 입력부를 통해 사용자로부터의 입력을 수신할 수 있다.
또한, 상기 클라이언트 장치는 상기 서버 장치와 메시지를 송수신하는 과정에서 메모리로부터 데이터를 읽어 오거나 새로운 데이터를 해당 메모리에 쓸 수 있다.
상기 서버 장치 및 클라이언트 장치의 출력부, 입력부 및 메모리 등과 같은 하드웨어 구성요소에 대해서는 도 2에서 구체적으로 살펴보기로 한다.
또한, 상기 무선 통신 시스템은 블루투스 기술을 통해 개인 영역 네트워킹(Personal Area Networking:PAN)을 구성할 수 있다. 일 예로, 상기 무선 통신 시스템에서는 디바이스 간 개인적인 피코넷(private piconet)을 확립함으로써 파일, 서류 등을 신속하고 안전하게 교환할 수 있다.
도 2는 본 명세서에서 제안하는 방법들을 구현할 수 있는 디바이스의 내부 블록도의 일 예를 나타낸다.
도 2에 도시된 바와 같이, 서버 디바이스(110)는 입력부(User Input Interface, 112), 전력 공급부(Power Supply Unit, 113), 제어부(Control Unit, 114), 메모리(Memory Unit, 115), 블루투스 인터페이스(Bluetooth Interface)를 포함하는 네트워크 인터페이스(Network Interface, 116), 스토리지(Storage, 117), 출력부(Display Unit, 118), 멀티 미디어 모듈(Multi media Module, 119)를 포함한다.
상기 입력부(User Input Interface, 112), 전력 공급부(Power Supply Unit, 113), 제어부(Control Unit, 114), 메모리(Memory Unit, 115), 블루투스 인터페이스(Bluetooth Interface)를 포함하는 네트워크 인터페이스(Network Interface, 116), 스토리지(Storage, 117), 출력부(Display Unit, 118), 멀티 미디어 모듈(Multi media Module, 119)들은 본 명세서에서 제안하는 방법을 수행하기 위해 기능적으로 서로 연결되어 있다.
또한, 도 2에 도시된 바와 같이, 클라이언트 디바이스(#1 및 #2)(120)는 입력부(User Input Interface, 122), 전력 공급부(Power Supply Unit, 123), 제어부(Control Unit, 124), 메모리(Memory Unit, 125), 블루투스 인터페이스(Bluetooth Interface)를 포함하는 네트워크 인터페이스(Network Interface, 126), 스토리지(Storage, 127), 출력부(Display Unit, 128), 멀티 미디어 모듈(Multi media Module, 129)를 포함한다.
상기 입력부(User Input Interface, 122), 전력 공급부(Power Supply Unit, 123), 제어부(Control Unit, 124), 메모리(Memory Unit, 125), 블루투스 인터페이스(Bluetooth Interface)를 포함하는 네트워크 인터페이스(Network Interface, 126), 스토리지(Storage, 127), 출력부(Display Unit, 128), 멀티 미디어 모듈(Multi media Module, 129)들은 본 명세서에서 제안하는 방법을 수행하기 위해 기능적으로 서로 연결되어 있다.
상기 네트워크 인터페이스(116,126)는 블루투스 기술을 이용하여 디바이스들 간의 요청/응답, 명령, 알림, 지시/확인 메시지 등 또는 데이터 전송이 가능한 유닛(또는 모듈)을 말한다.
상기 메모리(115,125)는 다양한 종류의 디바이스에 구현되는 유닛으로서, 다양한 종류의 데이터가 저장되는 유닛을 말한다. 또한, 상기 스토리지(117, 127)은 메모리와 유사한 기능을 수행하는 유닛을 말한다.
상기 제어부(114,124)는 서버 디바이스(110) 또는 클라이언트 디바이스(120)의 전반적인 동작을 제어하는 모듈을 말하며, 네트워크 인터페이스로 메시지를 전송하도록 요청하거나, 수신받은 메시지를 처리하도록 제어한다.
상기 제어부(114,124)는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다.
상기 메모리(115,125)는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.
상기 메모리(115,125)는 프로세서(114,124) 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(114,124)와 연결될 수 있다.
상기 출력부(118,128)는 디바이스의 상태 정보 및 메시지 교환 정보 등을 화면을 통해서 사용자에게 제공하기 위한 모듈을 말한다.
상기 전력 공급부(전원 공급부, 113, 123)는 제어부의 제어 하에 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급해주는 모듈을 말한다.
앞에서 살핀 것처럼, BLE 기술에서는 작은 duty cycle을 가지며, 저속의 데이터 전송률을 통해 전력 소모를 크게 줄일 수 있다.
도 3은 본 명세서에서 제안하는 방법들이 적용될 수 있는 블루투스 통신 아키텍처(Architecture)의 일 예를 나타낸다.
구체적으로, 도 3은 블루투스 LE(Low Energy)의 아키텍처의 일 예를 나타낸다.
도 3에 도시된 바와 같이, BLE 구조는 타이밍이 중요한 무선장치 인터페이스를 처리하도록 동작가능한 컨트롤러 스택(Controller stACK)과 고레벨(high level) 데이터를 처리하도록 동작가능한 호스트 스택(Host stACK)을 포함한다.
상기 Controller stack은 Controller로 호칭될 수도 있으나, 앞서 도 2에서 언급한 디바이스 내부 구성요소인 프로세서와의 혼동을 피하기 위해 이하에서는 Controller stACK으로 표현하기로 한다.
먼저, 컨트롤러 스택은 블루투스 무선장치를 포함할 수 있는 통신 모듈과, 예를 들어, 마이크로프로세서와 같은 프로세싱 디바이스를 포함할 수 있는 프로세서 모듈을 이용하여 구현될 수 있다.
호스트 스택은 프로세서 모듈 상에서 작동되는 OS의 일부로서, 또는 OS 위의 패키지(package)의 인스턴스 생성(instantiation)으로서 구현될 수 있다.
일부 사례들에서, 컨트롤러 스택 및 호스트 스택은 프로세서 모듈 내의 동일한 프로세싱 디바이스 상에서 작동 또는 실행될 수 있다.
호스트 스택은 GAP(Generic Access Profile,310), GATT based Profiles(320), GATT(Generic Attribute Profile,330), ATT(Attribute Protocol,340), SM(Security Manage,350), L2CAP(Logical Link Control and Adaptation Protocol,360)을 포함한다. 다만, 호스트 스택은 이것으로 한정되지는 않고 다양한 프로토콜들 및 프로파일들을 포함할 수 있다.
호스트 스택은 L2CAP을 사용하여 블루투스 상위에서 제공하는 다양한 프로토콜, 프로파일 등을 다중화(multiplexing)한다.
먼저, L2CAP(Logical Link Control and Adaptation Protocol,360)은 특정 프로토콜 또는 프로파일에게 데이터를 전송하기 위한 하나의 양방향 채널을 제공한다.
L2CAP은 상위 계층 프로토콜들 사이에서 데이터를 다중화(multiplex)하고, 패키지(package)들을 분할(segment) 및 재조립(reassemble)하고, 멀티캐스트 데이터 송신을 관리하도록 동작 가능할 수 있다.
BLE 에서는 3개의 고정 채널(signaling CH을 위해 1개, Security Manager를 위해 1개, Attribute protocol을 위해 1개)을 사용한다.
반면, BR/EDR(Basic Rate/Enhanced Data Rate)에서는 동적인 채널을 사용하며, protocol service multiplexer, retransmission, streaming mode 등을 지원한다.
SM(Security Manager,350)은 디바이스를 인증하며, 키 분배(key distribution)를 제공하기 위한 프로토콜이다.
ATT(Attribute Protocol,340)는 서버-클라이언트(Server-Client) 구조로 상대 디바이스의 데이터를 접근하기 위한 규칙을 정의한다. ATT에는 6가지의 메시지 유형(Request, Response, Command, Notification, Indication, Confirmation)이 있다.
즉, ① 요청(Request) 및 응답(Response) 메시지: Request 메시지는 클라이언트 디바이스에서 서버 디바이스로 특정 정보를 요청하기 위한 메시지이며, Response 메시지는 Request 메시지에 대한 응답 메시지로서, 서버 디바이스에서 클라이언트 디바이스로 전송되는 메시지를 말한다.
② Command 메시지: 클라이언트 디바이스에서 서버 디바이스로 특정 동작의 명령을 지시하기 위해 전송하는 메시지로, 서버 디바이스는 Command 메시지에 대한 응답을 클라이언트 디바이스로 전송하지 않는다.
③ Notification 메시지: 서버 디바이스에서 클라이언트 디바이스로 이벤트 등과 같은 통지를 위해 전송하는 메시지로, 클라이언트 디바이스는 Notification 메시지에 대한 확인 메시지를 서버 디바이스로 전송하지 않는다.
④ Indication 및 Confirm 메시지: 서버 디바이스에서 클라이언트 디바이스로 이벤트 등과 같은 통지를 위해 전송하는 메시지로, Notification 메시지와는 달리, 클라이언트 디바이스는 Indication 메시지에 대한 확인 메시지를 서버 디바이스로 전송한다.
GAP(Generic Access Profile)는 BLE 기술을 위해 새롭게 구현된 계층으로, BLE 디바이스들 간의 통신을 위한 역할 선택, 멀티 프로파일 작동이 어떻게 일어나는지를 제어하는데 사용된다.
또한, GAP는 디바이스 발견, 연결 생성 및 보안 절차 부분에 주로 사용되며, 사용자에게 정보를 제공하는 방안을 정의하며, 하기와 같은 attribute의 type을 정의한다.
① Service : 데이터와 관련된 behavior의 조합으로 디바이스의 기본적인 동작을 정의
② Include : 서비스 사이의 관계를 정의
③ Characteristics : 서비스에서 사용되는 data 값
④ Behavior : UUID(Universal Unique Identifier, value type)로 정의된 컴퓨터가 읽을 수 있는 포맷
GATT-based Profiles은 GATT에 의존성을 가지는 profile 들로 주로 BLE 디바이스에 적용된다. GATT-based Profiles은 Battery, Time, FindMe, Proximity, Time, Object Delivery Service 등일 수 있다. GATT-based Profiles의 구체적인 내용은 하기와 같다.
Battery : 배터리 정보 교환 방법
Time : 시간 정보 교환 방법
FindMe : 거리에 따른 알람 서비스 제공
Proximity : 배터리 정보 교환 방법
Time : 시간 정보 교환 방법
GATT는 서비스들의 구성 시에 ATT가 어떻게 이용되는지를 설명하는 프로토콜로서 동작 가능할 수 있다. 예를 들어, GATT는 ATT 속성들이 어떻게 서비스들로 함께 그룹화되는지를 규정하도록 동작 가능할 수 있고, 서비스들과 연계된 특징들을 설명하도록 동작 가능할 수 있다.
따라서, GATT 및 ATT는 디바이스의 상태와 서비스들을 설명하고, 특징들이 서로 어떻게 관련되며 이들이 어떻게 이용되는지를 설명하기 위하여, 특징들을 사용할 수 있다.
컨트롤러(Controller) 스택은 물리 계층(Physical Layer,390), 링크 계층(Link Layer,380) 및 호스트 컨트롤러 인터페이스(Host Controller Interface,370)를 포함한다.
물리 계층(무선 송수신 모듈,390)은 2.4 GHz 무선 신호를 송수신하는 계층으로 GFSK (Gaussian Frequency Shift Keying) modulation과 40 개의 RF 채널로 구성된 frequency hopping 기법을 사용한다.
링크 계층(380)은 블루투스 패킷을 전송하거나 수신한다.
또한, 링크 계층은 3개의 Advertising 채널을 이용하여 Advertising, Scanning 기능을 수행한 후에 디바이스 간 연결을 생성하고, 37개 Data 채널을 통해 최대 42bytes 의 데이터 패킷을 주고 받는 기능을 제공한다.
HCI(Host Controller Interface)는 Host 스택과 Controller 스택 사이의 인터페이스를 제공하여, Host 스택에서 command와 Data를 Controller 스택으로 제공하게 하며, Controller 스택에서 event와 Data를 Host 스택으로 제공하게 해준다.
이하에서, 블루투스 저전력 에너지(Bluetooth Low Energy:BLE) 기술의 절차(Procedure)들에 대해 간략히 살펴보기로 한다.
BLE 절차는 디바이스 필터링 절차(Device Filtering Procedure), 광고 절차(Advertising Procedure), 스캐닝 절차(Scanning Procedure), 디스커버링 절차(Discovering Procedure), 연결 절차(Connecting Procedure) 등으로 구분될 수 있다.
디바이스 필터링 절차(Device Filtering Procedure)
디바이스 필터링 절차는 컨트롤러 스택에서 요청, 지시, 알림 등에 대한 응답을 수행하는 디바이스들의 수를 줄이기 위한 방법이다.
모든 디바이스에서 요청 수신 시, 이에 대해 응답하는 것이 불필요하기 때문에, 컨트롤러 스택은 요청을 전송하는 개수를 줄여서, BLE 컨트롤러 스택에서 전력 소비가 줄 수 있도록 제어할 수 있다.
광고 디바이스 또는 스캐닝 디바이스는 광고 패킷, 스캔 요청 또는 연결 요청을 수신하는 디바이스를 제한하기 위해 상기 디바이스 필터링 절차를 수행할 수 있다.
여기서, 광고 디바이스는 광고 이벤트를 전송하는 즉, 광고를 수행하는 디바이스를 말하며, 광고자(Advertiser)라고도 표현된다.
스캐닝 디바이스는 스캐닝을 수행하는 디바이스, 스캔 요청을 전송하는 디바이스를 말한다.
BLE에서는, 스캐닝 디바이스가 일부 광고 패킷들을 광고 디바이스로부터 수신하는 경우, 상기 스캐닝 디바이스는 상기 광고 디바이스로 스캔 요청을 전송해야 한다.
하지만, 디바이스 필터링 절차가 사용되어 스캔 요청 전송이 불필요한 경우, 상기 스캐닝 디바이스는 광고 디바이스로부터 전송되는 광고 패킷들을 무시할 수 있다.
연결 요청 과정에서도 디바이스 필터링 절차가 사용될 수 있다. 만약, 연결 요청 과정에서 디바이스 필터링이 사용되는 경우, 연결 요청을 무시함으로써 상기 연결 요청에 대한 응답을 전송할 필요가 없게 된다.
광고 절차(Advertising Procedure)
광고 디바이스는 영역 내 디바이스들로 비지향성의 브로드캐스트를 수행하기 위해 광고 절차를 수행한다.
여기서, 비지향성의 브로드캐스트는 특정 방향으로의 브로드캐스트가 아닌 전(모든) 방향으로의 브로드캐스트를 말한다.
이와 달리, 지향성 브로드 캐스트는 특정 방향으로의 브로드캐스트를 말한다. 비지향성 브로드캐스트는 광고 디바이스와 리스닝(또는 청취) 상태에 있는 디바이스(이하, 리스닝 디바이스라 한다.) 간에 연결 절차 없이 발생한다.
광고 절차는 근처의 개시 디바이스와 블루투스 연결을 확립하기 위해 사용된다.
또는, 광고 절차는 광고 채널에서 리스닝을 수행하고 있는 스캐닝 디바이스들에게 사용자 데이터의 주기적인 브로드캐스트를 제공하기 위해 사용될 수 있다.
광고 절차에서 모든 광고(또는 광고 이벤트)는 광고 물리 채널을 통해 브로드캐스트된다.
광고 디바이스들은 광고 디바이스로부터 추가적인 사용자 데이터를 얻기 위해 리스닝을 수행하고 있는 리스닝 디바이스들로부터 스캔 요청을 수신할 수 있다. 광고 디바이스는 스캔 요청을 수신한 광고 물리 채널과 동일한 광고 물리 채널을 통해, 스캔 요청을 전송한 디바이스로 스캔 요청에 대한 응답을 전송한다.
광고 패킷들의 일 부분으로서 보내지는 브로드캐스트 사용자 데이터는 동적인 데이터인 반면에, 스캔 응답 데이터는 일반적으로 정적인 데이터이다.
광고 디바이스는 광고 (브로드캐스트) 물리 채널 상에서 개시 디바이스로부터 연결 요청을 수신할 수 있다. 만약, 광고 디바이스가 연결 가능한 광고 이벤트를 사용하였고, 개시 디바이스가 디바이스 필터링 절차에 의해 필터링 되지 않았다면, 광고 디바이스는 광고를 멈추고 연결 모드(connected mode)로 진입한다. 광고 디바이스는 연결 모드 이후에 다시 광고를 시작할 수 있다.
스캐닝 절차(Scanning Procedure)
스캐닝을 수행하는 디바이스 즉, 스캐닝 디바이스는 광고 물리 채널을 사용하는 광고 디바이스들로부터 사용자 데이터의 비지향성 브로드캐스트를 청취하기 위해 스캐닝 절차를 수행한다.
스캐닝 디바이스는 광고 디바이스로부터 추가적인 데이터를 요청 하기 위해, 광고 물리 채널을 통해 스캔 요청을 광고 디바이스로 전송한다. 광고 디바이스는 광고 물리 채널을 통해 스캐닝 디바이스에서 요청한 추가적인 데이터를 포함하여 상기 스캔 요청에 대한 응답인 스캔 응답을 전송한다.
상기 스캐닝 절차는 BLE 피코넷에서 다른 BLE 디바이스와 연결되는 동안 사용될 수 있다.
만약, 스캐닝 디바이스가 브로드캐스트되는 광고 이벤트를 수신하고, 연결 요청을 개시할 수 있는 개시자 모드(initiator mode)에 있는 경우, 스캐닝 디바이스는 광고 물리 채널을 통해 광고 디바이스로 연결 요청을 전송함으로써 광고 디바이스와 블루투스 연결을 시작할 수 있다.
스캐닝 디바이스가 광고 디바이스로 연결 요청을 전송하는 경우, 스캐닝 디바이스는 추가적인 브로드캐스트를 위한 개시자 모드 스캐닝을 중지하고, 연결 모드로 진입한다.
디스커버링 절차(Discovering Procedure)
블루투스 통신이 가능한 디바이스(이하, '블루투스 디바이스'라 한다.)들은 근처에 존재하는 디바이스들을 발견하기 위해 또는 주어진 영역 내에서 다른 디바이스들에 의해 발견되기 위해 광고 절차와 스캐닝 절차를 수행한다.
디스커버링 절차는 비대칭적으로 수행된다. 주위의 다른 디바이스를 찾으려고 하는 블루투스 디바이스를 디스커버링 디바이스(discovering device)라 하며, 스캔 가능한 광고 이벤트를 광고하는 디바이스들을 찾기 위해 리스닝한다. 다른 디바이스로부터 발견되어 이용 가능한 블루투스 디바이스를 디스커버러블 디바이스(discoverable device)라 하며, 적극적으로 광고 (브로드캐스트) 물리 채널을 통해 다른 디바이스가 스캔 가능하도록 광고 이벤트를 브로드캐스트한다.
디스커버링 디바이스와 디스커버러블 디바이스 모두 피코넷에서 다른 블루투스 디바이스들과 이미 연결되어 있을 수 있다.
연결 절차(Connecting Procedure)
연결 절차는 비대칭적이며, 연결 절차는 특정 블루투스 디바이스가 광고 절차를 수행하는 동안 다른 블루투스 디바이스는 스캐닝 절차를 수행할 것을 요구한다.
즉, 광고 절차가 목적이 될 수 있으며, 그 결과 단지 하나의 디바이스만 광고에 응답할 것이다. 광고 디바이스로부터 접속 가능한 광고 이벤트를 수신한 이후, 광고 (브로트캐스트) 물리 채널을 통해 광고 디바이스로 연결 요청을 전송함으로써 연결을 개시할 수 있다.
다음으로, BLE 기술에서의 동작 상태 즉, 광고 상태(Advertising State), 스캐닝 상태(Scanning State), 개시 상태(Initiating State), 연결 상태(connection state)에 대해 간략히 살펴보기로 한다.
광고 상태(Advertising State)
링크 계층(LL)은 호스트 (스택)의 지시에 의해, 광고 상태로 들어간다. 링크 계층이 광고 상태에 있을 경우, 링크 계층은 광고 이벤트들에서 광고 PDU(Packet Data Unit)들을 전송한다.
각각의 광고 이벤트는 적어도 하나의 광고 PDU들로 구성되며, 광고 PDU들은 사용되는 광고 채널 인덱스들을 통해 전송된다. 광고 이벤트는 광고 PDU가 사용되는 광고 채널 인덱스들을 통해 각각 전송되었을 경우, 종료되거나 광고 디바이스가 다른 기능 수행을 위해 공간을 확보할 필요가 있을 경우 좀 더 일찍 광고 이벤트를 종료할 수 있다.
스캐닝 상태(Scanning State)
링크 계층은 호스트 (스택)의 지시에 의해 스캐닝 상태로 들어간다. 스캐닝 상태에서, 링크 계층은 광고 채널 인덱스들을 리스닝한다.
스캐닝 상태에는 수동적 스캐닝(passive scanning), 적극적 스캐닝(active scanning)의 두 타입이 있으며, 각 스캐닝 타입은 호스트에 의해 결정된다.
스캐닝을 수행하기 위한 별도의 시간이나 광고 채널 인덱스가 정의되지는 않는다.
스캐닝 상태 동안, 링크 계층은 스캔윈도우(scanWindow) 구간(duration) 동안 광고 채널 인덱스를 리스닝한다. 스캔인터벌(scanInterval)은 두 개의 연속적인 스캔 윈도우의 시작점 사이의 간격(인터벌)으로서 정의된다.
링크 계층은 스케쥴링의 충돌이 없는 경우, 호스트에 의해 지시되는 바와 같이 스캔윈도우의 모든 스캔인터벌 완성을 위해 리스닝해야한다. 각 스캔윈도우에서, 링크 계층은 다른 광고 채널 인덱스를 스캔해야한다. 링크 계층은 사용 가능한 모든 광고 채널 인덱스들을 사용한다.
수동적인 스캐닝일 때, 링크 계층은 단지 패킷들만 수신하고, 어떤 패킷들도 전송하지 못한다.
능동적인 스캐닝일 때, 링크 계층은 광고 디바이스로 광고 PDU들과 광고 디바이스 관련 추가적인 정보를 요청할 수 있는 광고 PDU 타입에 의존하기 위해 리스닝을 수행한다.
개시 상태(Initiating State)
링크 계층은 호스트(스택)의 지시에 의해 개시 상태로 들어간다.
링크 계층이 개시 상태에 있을 때, 링크 계층은 광고 채널 인덱스들에 대한 리스닝을 수행한다.
개시 상태 동안, 링크 계층은 스캔윈도우 구간 동안 광고 채널 인덱스를 리스닝한다.
연결 상태(connection state)
링크 계층은 연결 요청을 수행하는 디바이스 즉, 개시 디바이스가 CONNECT_REQ PDU를 광고 디바이스로 전송할 때 또는 광고 디바이스가 개시 디바이스로부터 CONNECT_REQ PDU를 수신할 때 연결 상태로 들어간다.
연결 상태로 들어간 이후, 연결이 생성되는 것으로 고려된다. 다만, 연결이 연결 상태로 들어간 시점에서 확립되도록 고려될 필요는 없다. 새로 생성된 연결과 기 확립된 연결 간의 유일한 차이는 링크 계층 연결 감독 타임아웃(supervision timeout) 값뿐이다.
두 디바이스가 연결되어 있을 때, 두 디바이스들은 다른 역할로 활동한다.
마스터 역할을 수행하는 링크 계층은 마스터로 불리며, 슬레이브 역할을 수행하는 링크 계층은 슬레이브로 불린다. 마스터는 연결 이벤트의 타이밍을 조절하고, 연결 이벤트는 마스터와 슬레이브 간 동기화되는 시점을 말한다.
이하에서, 블루투스 인터페이스에서 정의되는 패킷에 대해 간략히 살펴보기로 한다. BLE 디바이스들은 하기에서 정의되는 패킷들을 사용한다.
패킷 포맷(Packet Format)
링크 계층(Link Layer)은 광고 채널 패킷과 데이터 채널 패킷 둘 다를 위해 사용되는 단지 하나의 패킷 포맷만을 가진다.
각 패킷은 프리앰블(Preamble), 접속 주소(Access Address), PDU 및 CRC 4개의 필드로 구성된다.
하나의 패킷이 광고 물리 채널에서 송신될 때, PDU는 광고 채널 PDU가 될 것이며, 하나의 패킷이 데이터 물리 채널에서 전송될 때, PDU는 데이터 채널 PDU가 될 것이다.
광고 채널 PDU(Advertising Channel PDU)
광고 채널 PDU(Packet Data Unit)는 16비트 헤더와 다양한 크기의 페이로드를 가진다.
헤더에 포함되는 광고 채널 PDU의 PDU 타입 필드는 하기 표 1에서 정의된 바와 같은 PDU 타입을 나타낸다.
PDU Type PDU Name Channel Permitted PHYs
LE 1M LE 2M LE Coded
0000b ADV_IND Primary Advertising O
0001b ADV_DIRECT_IND Primary Advertising O
0010b ADV_NONCONN_IND Primary Advertising O
0011b SCAN_REQ Primary Advertising O
AUX_SCAN_REQ Secondary Advertising O O O
0100b SCAN_RSP Primary Advertising O
0101b CONNECT_IND Primary Advertising O
AUX_CONNECT_REQ Secondary Advertising O O O
0110b ADV_SCAN_IND Primary Advertising O
광고 PDU(Advertising PDU)
아래 광고 채널 PDU 타입들은 광고 PDU로 불리고 구체적인 이벤트에서 사용된다.
ADV_IND: 연결 가능한 비지향성 광고 이벤트
ADV_DIRECT_IND: 연결 가능한 지향성 광고 이벤트
ADV_NONCONN_IND: 연결 가능하지 않은 비지향성 광고 이벤트
ADV_SCAN_IND: 스캔 가능한 비지향성 광고 이벤트
상기 PDU들은 광고 상태에서 링크 계층(Link Layer)에서 전송되고, 스캐닝 상태 또는 개시 상태(Initiating State)에서 링크 계층에 의해 수신된다.
스캐닝 PDU(Scanning PDU)
아래 광고 채널 PDU 타입은 스캐닝 PDU로 불리며, 하기에서 설명되는 상태에서 사용된다.
SCAN_REQ: 스캐닝 상태에서 링크 계층에 의해 전송되며, 광고 상태에서 링크 계층에 의해 수신된다.
SCAN_RSP: 광고 상태에서 링크 계층에 의해 전송되며, 스캐닝 상태에서 링크 계층에 의해 수신된다.
개시 PDU(Initiating PDU)
아래 광고 채널 PDU 타입은 개시 PDU로 불린다.
CONNECT_REQ: 개시 상태에서 링크 계층에 의해 전송되며, 광고 상태에서 링크 계층에 의해 수신된다.
데이터 채널 PDU(Data Channel PDU)
데이터 채널 PDU는 16 비트 헤더, 다양한 크기의 페이로드를 가지고, 메시지 무결점 체크(Message Integrity Check:MIC) 필드를 포함할 수 있다.
앞에서 살펴본, BLE 기술에서의 절차, 상태, 패킷 포맷 등은 본 명세서에서 제안하는 방법들을 수행하기 위해 적용될 수 있다.
도 4는 블루투스 저전력 에너지의 GATT(Generic Attribute Profile)의 구조의 일 예를 나타낸다.
도 4를 참조하면 블루투스 저전력 에너지의 프로파일 데이터(Profile Data) 교환을 위한 구조를 살펴볼 수 있다.
구체적으로, GATT(Generic Attribute Profile)는 블루투스 LE 장치 간의 서비스(Service), 특성(Characteristic)을 이용해서 데이터를 주고받는 방법을 정의한 것이다.
일반적으로, 페리페럴(Peripheral) 장치(예를 들면, 센서 장치)가 GATT 서버(Server)역할을 하며, 서비스(Service), 특성(Characteristic)에 대한 정의를 가지고 있다.
데이터를 읽거나 쓰기 위해서 GATT 클라이언트는 GATT 서버로 데이터 요청을 보내게 되며, 모든 동작(Transaction)은 GATT client에서 시작되어 GATT 서버로부터 응답을 받게 된다.
블루투스 LE에서 사용하는 GATT 기반 동작구조는 프로파일(Profile), 서비스(Service), 특성(Characteristic)에 기초하며, 상기 도 5와 같은 수직 구조를 이룰 수 있다.
상기 프로파일(Profile) 하나 또는 그 이상의 서비스들로 구성되어 있으며, 상기 서비스는 하나 이상의 특성 또는 다른 서비스들로 구성되어 있을 수 있다.
상기 서비스(Service)는 데이터를 논리적인 단위로 나누는 역할을 하며 하나 이상의 특성(Characteristic) 또는 다른 서비스들을 포함하고 있을 수 있다. 각 서비스는 UUID(Universal Unique Identifier)라 불리는 16bit 또는 128bit의 구분자를 가지고 있다.
상기 특성(Characteristic)은 GATT 기반 동작 구조에서 가장 하위 단위이다. 상기 특성은 단 하나의 데이터를 포함하며, 상기 서비스와 유사하게 16 bit 또는 128 bit의 UUID를 가지고 있다.
상기 특성은 여러 가지 정보들의 값으로 정의되고, 각각의 정보를 담기 위해서 속성(Attribute)을 하나씩 필요로 한다. 상기 특성 여러 개의 연속된 속성을 사용할 수 있다.
상기 속성(Attribute)은 네 개의 구성 요소로 이루어지며, 아래와 같은 의미를 갖는다.
- handle: 속성의 주소
- Type: 속성의 유형
- Value: 속성의 값
- Permission: 속성에 대한 접근 권한
도 5는 본 발명이 적용될 수 있는 블루투스 저전력 에너지 기술에서 연결 절차 방법의 일 예를 나타내는 흐름도이다.
서버는 클라이언트로 3개의 광고 채널을 통해 광고 메시지를 전송한다(S5010).
서버는 연결 전에는 광고자(Advertiser)로 호칭될 수 있고, 연결 이후에는 마스터(Master)로 호칭될 수 있다. 상기 서버의 일 예로, 센서(온도 센서 등)이 있을 수 있다.
또한, 클라이언트는 연결 전에는 스캐너(Scanner)로 호칭될 수 있고, 연결 이후에는 슬레이브(Slave)로 호칭될 수 있다. 클라이언트의 일 예로 스마트 폰 등이 있을 수 있다.
앞에서 살펴본 것처럼, 블루투스는 2.4GHz 밴드를 통해 총 40개의 채널로 나뉘어 통신을 한다. 40개의 채널 중 3개의 채널은 광고 채널로써, 각종 광고 패킷(Advertising Packet)을 비롯하여 연결을 맺기 위해 주고 받는 패킷들의 교환에 이용된다.
나머지 37개의 채널들은 데이터 채널로 연결 이후의 데이터 교환에 이용된다.
상기 클라이언트는 상기 광고 메시지를 수신한 후, 상기 서버로 추가적인 데이터(예: 서버 디바이스 이름 등)을 획득하기 위해 서버로 스캔 요청 메시지(Scan Request message)를 전송할 수 있다.
이 경우, 상기 서버는 상기 클라이언트로 스캔 요청 메시지(Scan Request message)에 대한 응답으로 추가적인 데이터를 포함하는 스캔 응답 메시지(Scan Response message)를 전송한다.
여기서, 스캔 요청 메시지(Scan Request message) 및 스캔 응답 메시지(Scan Response message)는 광고 패킷의 한 종료로써, 광고 패킷은 31 bytes 이하의 사용자 데이터(User Data)만을 포함할 수 있다.
따라서, 데이터의 크기가 3 bytes보다 크지만, 연결까지 맺어서 데이터를 보내기에는 오버헤드가 큰 데이터가 존재하는 경우, 스캔 요청 메시지/스캔 응답 메시지를 이용하여 두번에 걸쳐서 데이터를 나눠 보낸다.
다음, 클라이언트는 서버와 블루투스 연결 설정을 위한 연결 요청 메시지(Connection Request message)를 서버로 전송한다(S5020).
이를 통해, 서버와 클라이언트 간에 Link Layer(LL) 연결이 형성(establish)된다.
이후, 서버와 클라이언트는 보안 설립 절차를 수행한다.
보안 설립 절차는 보안 심플 페어링(Secure Simple Pairing)으로 해석되거나 이를 포함하여 수행될 수 있다.
즉, 보안 설립 절차는 페이즈(Phase) 1 단계 내지 페이즈 3 단계를 거쳐 수행될 수 있다.
구체적으로, 서버와 클라이언트 간에 페어링 절차(페이즈 1)를 수행한다(S5030).
페어링 절차는 클라이언트가 서버로 페어링 요청 메시지(Pairing Request message)를 전송하고, 서버가 클라이언트로 페어링 응답 메시지(Pairing Response message)를 전송한다.
페어링 절차를 통해서 장치간 인증 요건(authentication requirements)과 인풋/아웃풋 능력(I(Input)/O(Output) capabilities)과 키 사이즈(Key Size)정보를 주고 받는다. 이 정보를 통해 페이즈 2에서 어떤 키(Key) 생성 방법을 사용할지 결정하게 된다.
다음, 페이즈 2로서, 서버와 클라이언트 간에 레거시 페어링(Legacy pairing) 또는 보안 연결(Secure Connections)을 수행한다(S5040).
페이즈 2에서 레거시 페어링을 수행하는 128bits의 임시 키(Temporary Key) 및 쇼트 텀 키(Short Term Key(STK))를 생성한다.
- 임시 키(Temporary Key): STK를 생성하기 위해 만들어진 Key
- 쇼트 텀 키(Short Term Key(STK)): 기기간 암호화된 연결(Encrypted connection)을 만드는데 사용되는 Key 값
만약, 페이즈 2에서 보안 연결을 수행하는 경우, 128 bit의 롱 텀 키(Long Term Key(LTK))를 생성한다.
- 롱 텀 키(Long Term Key(LTK)): 기기간 암호화된 연결뿐만 아니라 추후의 연결에서도 사용되는 Key 값
다음, 페이즈 3으로서, 서버와 클라이언트 간에 키 분배(Key Distribution) 절차를 수행한다(S5050).
이를 통해, 서버와 클라이언트간에 보안 연결이 확립되고, 암호화된 링크를 형성하여 데이터를 송수신할 수 있게 된다.
등시채널(Isochronous Channel) 일반
오디오 신호(Audio Signal)의 경우, 오디오 스트리밍 데이터(Audio Streaming Data) 또는 오디오 데이터(Audio Data)가 Idle Event Interval 간격으로 주기적으로 발생하는 것을 볼 수 있다.
오디오 데이터는 그 특성에 따라 주기적으로(또는 특정 시간 간격으로) 발생한다. 여기서, 오디오 데이터가 주기적으로 발생하는 특정 시간 구간은 Idle Event Interval로 표현될 수 있다. 각 Idle Event Interval에서 각각의 오디오 데이터가 전송된다. 또한, 각 오디오 데이터는 Idle Event Interval의 전체 구간 또는 일부 구간을 통해 전송될 수 있다. 주기적 또는 규칙적으로 발생하는 오디오 스트리밍 데이터를 BLE 메커니즘을 이용하여 전송하는 경우, 발생되는 오디오 데이터를 송수신할 때마다 광고 및 스캐닝 절차, communication 절차, Disconnection 절차 등을 수행해야 한다. 하지만, 오디오 데이터는 일반적으로 주기적으로 발생하고, 그 데이터 양에 상관없이 오디오 데이터 전송에 대한 대기시간 보장(Latency Guarantee)가 필수적이다.
하지만, 새롭게 발생하는 오디오 데이터를 전송할 때마다 매번 광고 및 스캐닝 절차, communication 절차, Disconnection 절차 등을 수행해야 하는 경우, 오디오 데이터 전송에 있어 대기시간이 발생하게 되는 문제가 있다.
보청기(Hearing Aids:HA)나 헤드셋(Headset) 등을 통한 오디오 데이터 전송은 데이터 발생량이 비교적 적기 때문에 Bluetooth BR/EDR 기술보다 BLE 기술을 활용하는 경우 높은 에너지 효율을 얻을 수 있으나, 앞서 살핀 것처럼 BLE 기술의 Data Channel Process는 매 데이터 전송마다 Advertising, Connection 등을 수행해야 하기 때문에 데이터 전송에 있어 큰 오버헤드(Large overhead)를 가지게 되며 특히, 오디오 데이터 전송에 있어 절대적으로 필요한 Latency Guarantee를 보장할 수 없게 된다.
또한, BLE 기술의 Data Channel Process는 단발적으로 발생된 데이터를 필요한 경우에만 전송하고, 다른 시간 영역에서는 BLE 디바이스의 Deep Sleep을 유도하여 에너지 효율을 높이는 데 목적이 있기 때문에, 주기적으로 발생하는 오디오 데이터의 전송에 대해 BLE 기술의 Data Channel Process를 적용하는 것은 어려울 수 있다.
등시 채널(Isochronous Channel) 및 이와 관련된 메커니즘 정의
주기적으로 발생하는 데이터를 BLE 기술을 활용하여 전송하기 위해 새로운 채널 즉, 등시 채널(Isochronous Channel)을 정의한다.
등시 채널(Isochronous Channel)은 등시 스트림을 사용하는 디바이스들 간(예: Conductor-Member)에 등시 데이터(Isochronous Data)를 전송하기 위해 사용되는 채널이다.
등시 데이터(Isochronous Data)는 특정 시간 간격으로 즉, 주기적 또는 규칙적으로 전송되는 데이터를 말한다.
즉, 등시 채널(Isochronous Channel)은 BLE 기술에서 오디오 데이터 또는 음성 데이터와 같이 주기적으로 발생하는 데이터가 송수신되는 채널을 나타낼 수 있다. 또한, 상기 등시 채널은 게이밍(gaming) 시나리오에서, 게임 사용자의 컨트롤러 디바이스의 사용자 입력에 기초해서 생성되는 데이터가 송수신되는 채널을 나타낼 수 있다. 상기 등시 채널은 단일의 멤버, 하나 이상의 협력된(coordinated) 멤버들의 셋 또는 다수의 멤버들로 데이터를 송수신하기 위해 사용될 수 있다. 또한, 상기 등시 채널은 오디오 스트리밍과 같은 등시 스트림(Isochronous Stream) 또는 다른 시간 영역에서 중요 데이터를 송수신하기 위해 사용될 수 있는 플러싱(flushing) 채널에 해당한다.
본 개시의 다양한 실시 예들의 구성
종래 기술의 문제점
멀티채널 오디오에서 스피커 간의 시간 동기 만을 맞추면 스피커와 청취자 간의 거리 차이로 인한 시간지연으로 인해 음상이 틀어지는 문제가 발생한다.
멀티채널 오디오 환경에서 청취자위치에서의 유무선 스피커 간의 동기를 맞추기 위해서는 Source 기기에서 Source부터 청취자의 위치까지의 모든 지연시간을 알고 있어야 했고, 이는 제품간 또는 동일제품에서의 편차로 인해서 정확한 지연시간을 맞추기가 쉽지 않다.
본 개시의 다양한 실시 예들의 요지
본 개시의 다양한 실시 예들은 멀티채널 오디오 환경에서 청취자 위치에서의 오디오 동기를 맞추는 방법을 제공한다.
본 개시의 다양한 실시 예들은 Source기기에서의 청취자의 지연시간만을 측정해서 청취자 위치에서의 오디오 동기를 맞추는 방법을 제공한다.
본 개시의 다양한 실시 예들은 유무선 스피커를 이용하여 멀티채널 오디오 환경을 구축하는 경우 유선 오디오 지연시간을 고정하고 무선 오디오 지연시간를 변경하거나 또는 무선 오디오 지연시간을 고정하고 유선 오디오 지연 시간을 변경하여 오디오 동기를 맞추는 방법을 제공한다.
본 개시의 다양한 실시 예들의 효과
본 개시의 다양한 실시 예들을 통해 청취자 입장에서의 각 스피커 간 거리 차이에 의한 시간지연으로 인한 음상 틀어지는 효과가 해결된다.
본 개시의 다양한 실시 예들을 통해 Source 기기에서 출력스피커까지 어떤 제품을 사용하더라도 Source 기기에서 동기를 맞출 수 있다.
본 개시의 다양한 실시 예들을 통해 Sound Bar나 TV에서 타사의 제품의 지연 시간을 몰라도 멀티채널 오디오의 동기를 맞출 수 있다.
본 개시의 다양한 실시 예들을 통해 오디오 지연을 아는 경우 멀티채널 오디오의 동기를 맞출 수 있다.
도 6은 BLE 기반 TV 송신 장치와 복수의 BLE 오디오 수신 스피커 간에 멀티채널 오디오 신호가 전송되는 시스템 구조의 일 예를 도시한다.
도 6은 BLE(Bluetooth Low Energy) 기술을 활용하여 TV 송신 장치와 여러 개의 오디오 수신 스피커 간에 멀티채널 오디오 신호를 무선으로 전송하는 시스템 구조의 한 예시이다. 도 6의 시스템은 TV를 오디오 송신 장치(Initiator)로, 각 스피커를 오디오 수신 장치(Acceptor)로 구성하여, 유선 연결 없이도 다채널 오디오 환경을 구축할 수 있게 한다. BLE의 ISO 채널을 사용하여 시간 동기화가 중요한 오디오 데이터 전송에 적합하다.
TV LE Audio Tx Device는 비디오 디스플레이와 함께 오디오 디코더/인코더, 제어기, 그리고 BLE Tx 인터페이스를 포함한다. 여기서 오디오 디코더/인코더는 Dolby 또는 DTS와 같은 서라운드 오디오 포맷을 PCM으로 변환하고, 이를 다시 BLE 전송에 적합한 LC3 코덱으로 인코딩하는 역할을 수행한다. 또한 모노 유니캐스트 전송 기능도 지원함을 알 수 있다. TV는 이렇게 처리된 오디오 신호를 BLE Tx 인터페이스를 통해 무선으로 외부 스피커들에게 송신한다. 설정 정보는 양방향(Bidirectional)으로 통신될 수 있으며, 실제 오디오 스트림은 단방향(Unidirectional)으로 전송된다.
Speaker LE Audio Rx Device는 BLE Tx/Rx 인터페이스, 오디오 디코더, LC3 디코더, 제어기, 그리고 스피커 드라이버로 구성된다. 각 스피커는 TV로부터 무선으로 전송된 BLE 오디오 데이터를 BLE Tx/Rx 인터페이스를 통해 수신한다. 수신된 데이터는 LC3 디코더와 오디오 디코더를 거쳐 원래의 오디오 신호로 복원되며, 이 신호는 스피커 드라이버를 통해 소리로 출력된다. 스피커에 Tx/Rx 인터페이스가 있는 것은 TV와의 설정 정보 교환이나 제어 신호 수신 등에 사용될 수 있다.
도 6의 시스템은 TV에서 5.1 채널과 같은 멀티채널 오디오 신호를 처리하여 각 채널별 또는 그룹별로 무선 스피커에 할당하고 전송하는 방식으로 동작한다. 각 스피커는 할당받은 채널의 오디오 데이터를 받아 재생함으로써, 사용자는 복잡한 오디오 케이블 연결 없이도 무선으로 구성된 서라운드 사운드 시스템을 경험할 수 있다. 이는 설치의 유연성을 높이고 사용 환경을 더욱 깔끔하게 만드는 장점을 제공한다.
도 7은 본 개시에서 제안하는 블루투스 저지연 오디오 시스템에서 영상 처리 지연과 오디오 처리 지연 간의 동기화를 맞추기 위한 보정 절차의 일 예를 도시한다.
영상 및 오디오 신호는 각각 디코딩, 처리 및 출력을 위한 다양한 단계를 거치면서 고유의 지연 시간을 가지게 된다. 이 지연 시간의 차이는 영상과 소리가 어긋나는 문제를 발생시키므로, 사용자가 자연스러운 시청각 경험을 하려면 이 둘의 타이밍을 맞춰주는 과정이 필수적이다.
영상 처리 경로는 압축된 데이터가 들어와 디코딩된 후, 영상 향상 및 디스플레이 출력 과정을 거치게 된다. 이 과정에는 프레임 더블링, 안티앨리어싱, TCON(Timing Controller) 등 다양한 처리가 포함될 수 있으며, 도식화된 바와 같이 이로 인해 약 100ms 이상의 상대적으로 큰 지연이 발생할 수 있다. 이는 영상을 화면에 표시하기까지 걸리는 물리적인 시간 지연과 처리 지연이 합쳐진 결과이다.
오디오 처리 경로는 압축된 오디오 데이터가 디코딩된 후, 블루투스 인코딩/전송/디코딩 과정을 거치고 추가적인 오디오 향상 처리가 적용될 수 있다. 여기에는 버퍼링, 팝 노이즈 필터링, 우퍼 부스트, 액티브 노이즈 캔슬링 등 다양한 오디오 관련 처리가 포함된다. 이러한 과정들을 거치면서 오디오 신호에도 지연이 발생하며, 도식에서는 이 오디오 처리 지연이 약 30ms 이상 발생함을 나타낸다. 영상 지연에 비해 상대적으로 짧은 지연 시간이다.
영상 처리 지연과 오디오 처리 지연 사이에는 상당한 차이가 발생하게 된다. 도 7에서 제시하는 보정 절차는 바로 이 지연 시간의 차이를 극복하고 영상과 오디오의 동기화를 맞추는 데 목적이 있다. PTS(Presentation Time Stamp)와 같은 정보를 활용하여 영상과 오디오 데이터의 원래 타이밍 정보를 파악하고, 지연 시간이 더 짧은 오디오 신호의 출력을 의도적으로 지연시키거나 다른 타이밍 조정을 통해 영상과 오디오가 거의 동시에 출력되도록 보정한다.
도 8은 본 개시에서 제안하는 BLE 기반 오디오 시스템에서 사용자 위치 기준으로 각 스피커의 음압 레벨을 측정하고 조정하기 위한 테스트 스트림 기반 캘리브레이션 절차의 일 예를 도시한다.
도 8은 블루투스 저지연 오디오 시스템에서 사용자의 청취 위치(Sweet Spot)를 기준으로 각 스피커에서 나오는 소리의 음압 레벨(SPL)을 측정하고 이를 조정하기 위한 테스트 스트림 기반의 캘리브레이션(보정) 절차의 한 예시를 보여준다. 이 과정은 여러 개의 스피커로 구성된 오디오 시스템에서 사용자가 앉는 주요 위치에서 각 스피커의 소리가 균형 있게 들리도록 최적화하는 것을 목표로 한다. 이를 위해 스마트폰과 같은 측정 장치를 활용하는 방법을 제시하고 있다.
캘리브레이션 절차의 시작은 각 스피커에서 테스트 오디오 스트림을 재생하는 것이다. 그림에서 보듯이, 사용자의 스마트폰 또는 제어 장치에서 각 스피커로 테스트 스트림 재생 명령을 개별적으로 전송한다. 이때 각 스피커는 유니캐스트(Unicast) 연결을 통해 자신에게 해당하는 테스트 사운드를 재생하게 된다. 이 테스트 스트림은 음량 측정에 적합하도록 설계된 특정 주파수 대역이나 특성을 가진 신호일 수 있다.
각 스피커에서 테스트 스트림이 재생되는 동안, 사용자는 자신의 주 청취 위치, 즉 Sweet Spot에서 스마트폰과 같은 음압 측정 장치를 사용하여 각 스피커에서 도달하는 소리의 음압 레벨을 측정한다. 그림에는 사용자가 중앙에 앉아 스마트폰을 들고 각 스피커 방향에서 오는 소리의 SPL 값을 측정하는 모습이 표현되어 있다. 각 스피커의 위치에 따라 측정되는 SPL 값은 스피커와의 거리, 스피커 자체의 성능, 주변 환경 등에 따라 다르게 나타날 수 있다 (예: SPL=60, SPL=80, SPL=30).
이렇게 측정된 각 스피커의 음압 레벨 값을 바탕으로 시스템은 최종적인 오디오 출력을 조정한다. 측정된 SPL 값의 차이를 보상하기 위해 각 스피커의 볼륨이나 게인(Gain)을 조절함으로써, 사용자가 Sweet Spot에서 들을 때 모든 스피커의 소리가 의도된 상대적인 크기로 들리도록 만든다. 이 과정을 통해 개별 스피커의 위치나 특성으로 인한 음량 차이를 보정하고, 멀티채널 오디오 시스템의 전체적인 음장감을 사용자 위치에 최적화하여 더욱 몰입감 있는 사운드 경험을 제공할 수 있다.
도 9는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 TV 스피커와 후면 스피커 간의 거리 차이에 따른 음향 동기화 오차를 보정하기 위한 스피커 간 동기화 보정 구조의 일 예를 도시한다.
도 10은 본 개시에서 제안하는 멀티채널 오디오 시스템에서 후면 스피커 간의 거리 차이에 따른 음향 동기화 오차를 보정하기 위한 스피커 간 동기화 구조의 일 예를 도시한다.
도 9와 도 10은 멀티채널 오디오 시스템에서 여러 스피커와 사용자의 청취 위치 간의 거리 차이로 인해 발생하는 음향 동기화 오차를 보정하기 위한 스피커 간 동기화 구조의 다양한 예시를 보여준다. 소리는 공기 중에서 유한한 속도로 전파되기 때문에, 각 스피커가 청취자로부터 떨어진 거리가 다르면 소리가 청취 위치에 도달하는 시간 또한 달라지게 된다. 이 소리의 도달 시간 차이는 멀티채널 사운드의 정확한 공간감과 음상 정위(Sound Image Localization)를 왜곡시킬 수 있다.
도 9가 보여주는 것은 TV 스피커(주로 전면 스피커 역할을 함)와 후면 스피커 간의 거리 차이가 음향 동기화에 미치는 영향이다. 도 9에서는 후면 스피커가 TV 스피커보다 청취자로부터 더 멀리 떨어져 있음을 나타내고 있으며 (예: 3미터), 이로 인해 후면 스피커에서 나오는 소리가 TV 스피커의 소리보다 청취 위치에 더 늦게 도달하게 된다. 시스템에서 동시에 오디오 신호를 전송하더라도 물리적인 거리 차이 때문에 청취자는 소리의 시간적 불일치를 경험하게 되는 것이다.
도 10은 후면 스피커들 사이에서의 거리 차이가 동기화에 미치는 영향을 보여주는 예시이다. 왼쪽 후면 스피커와 오른쪽 후면 스피커가 청취자로부터 정확히 같은 거리에 위치하지 않을 수 있으며, 그림에서는 한쪽 후면 스피커가 다른 쪽보다 약간 더 멀리 떨어져 있는 상황을 가정하고 있다 (예: 3미터의 거리 차이). 이러한 스피커들 간의 미세한 거리 차이 또한 소리의 도달 시간 차이를 유발하며, 특히 정교한 서라운드 사운드 환경에서는 이러한 오차가 사운드 이미지의 왜곡으로 이어질 수 있다.
이러한 거리 차이로 인한 음향 동기화 오차를 보정하기 위해 시스템은 각 스피커와 청취 위치 간의 거리를 측정하거나 설정된 값을 기반으로 소리의 도달 시간 차이를 계산한다. 그리고 이 계산된 차이만큼 청취 위치에서 더 가까운 스피커들의 오디오 신호 출력을 의도적으로 지연시키는 방식으로 보정을 수행한다. 즉, 모든 스피커에서 나오는 소리가 청취 위치에 시간적으로 정렬되어 도달하도록 조정함으로써, 각기 다른 위치에 있는 스피커들로 구성된 멀티채널 시스템에서도 사용자는 설계된 대로의 정확하고 일관된 음장감을 경험할 수 있게 된다.
도 11과 도 12는 차별화 기술로서 스피커별 지연 시간 차이를 사용자(리모컨) 마이크 입력 시간 차이를 측정하는 방법을 나타낸다.
도 11은 본 개시에서 제안하는 블루투스 기반 멀티채널 오디오 환경에서 각 스피커가 서로 다른 오디오 채널(1kHz, 2kHz 등)을 출력하고, 청취자 위치의 마이크 장치가 이를 수신하는 구조의 일 예를 도시한다.
도 11은 본 개시의 일 실시 예에 따른 블루투스 기반 멀티채널 오디오 환경에서, 복수의 스피커 장치가 서로 다른 오디오 주파수(예: 1kHz, 2kHz 등)의 테스트 톤을 출력하고, 청취자 위치의 마이크 장치(예: 블루투스 리모컨 또는 스마트폰)가 이를 수신하는 과정을 도시한다. 도 11에 도시된 바와 같이, TV 또는 사운드바와 같은 소스 장치는 전방 좌측 스피커(CH1:FL) 및 전방 우측 스피커(CH2:FR)에 오디오 신호를 출력하며, 동시에 후방 좌측 스피커(CH3:RL) 및 후방 우측 스피커(CH4:RR)는 블루투스 기반 무선 통신을 통해 각각 2ms 및 4ms 지연된 오디오 신호를 출력한다. 청취자 위치에 배치된 블루투스 리모컨(또는 스마트폰)은 각 스피커로부터 출력되는 테스트 톤을 수신하며, 각 채널 별로 오디오 신호가 도달하는 시간의 차이를 감지할 수 있다. 예컨대, CH1 및 CH2는 1ms 지연으로 수신되고, CH3는 2ms, CH4는 4ms 지연으로 수신된다. 이러한 측정값은 후속 보정 단계에서 활용된다.
도 12는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 청취자 위치의 마이크 장치가 수신한 각 스피커의 테스트 음향의 도달 시간 차이를 측정하고, 이를 소스 장치 (TV)에 전달하는 과정의 일 예를 도시한다.
도 12는 본 개시의 일 실시 예에 따른 멀티채널 오디오 시스템에서, 청취자 위치의 마이크 장치가 각 스피커의 테스트 톤에 대한 도달 시간 차이를 측정하고, 그 측정값을 소스 장치(TV 또는 사운드바)에 전달하는 일련의 과정을 단계별로 도시한다.
스피커별 지연 시간 차이를 사용자(리모컨) 마이크 수신 소리의 시간 차이로 측정할 수 있다. Source기기에서 동시 or 등간격으로 소리를 재생 요청하고 각 스피커별로 소리를 냈을 때 오디오 청취자 입장에서의 각 스피커별로 들어오는 오디오 지연시간을 측정하여 스피커간 Sync 차이를 알 수 있다.
Step #0: 스피커별 구분은 오디오 주파수 대역을 바꾸어서 구분할 수 있다. (1kHz, 2kHz, 3kHz....) (예: 스피커 1 : 1kHz 소리 전송, 스피커 2 : 2kHz 소리 전송, 스피커 3 : 3kHz 소리 전송, 스피커 4 : 4kHz 소리 전송)
Step #1: TV가 스피커들에게 Test 용 소리 재생 요청을 전송하고, 스피커는 소리 재생을 한다. 소스 장치는 멀티채널 환경에서 각 스피커에 대해 서로 다른 주파수의 테스트 톤(예: CH1 = 1kHz, CH2 = 2kHz, CH3 = 3kHz, CH4 = 4kHz)을 송신한다. 이 테스트 신호는 동시 또는 순차적으로 전송될 수 있다.
1) 소스 기기가 모든 스피커에게 동시 소리 전송 요청하고 각 스피커는 Hz 대역 소리를 재생한다.
2) 소스 기기간 등 간격(ex. 10ms)으로 각 스피커에게 순차적 Hz 대역 소리 재생 요청을 전송한다.
Step #2: 청취자 기기(폰, 리모컨 마이크)가 스피커마다 서로 다르게 들어오는 Delay 수집한다. 청취자 위치에 배치된 블루투스 리모컨 또는 스마트폰의 마이크는 각 주파수 대역에 해당하는 테스트 톤을 수신하고, 각 채널 별로 도달 시간(delay)을 측정한다. 예컨대, CH1과 CH2는 1ms, CH3은 2ms, CH4는 4ms 지연으로 수신된다.
1kHz 소리(Speaker1)가 가장 빨리 들어온다.
2kHz 소리(Speaker2)는 1kHz보다 1ms 늦게 들어온다.
3kHz 소리(Speaker3)는 1kHz보다　2ms 늦게 들어온다.
4kHz 소리(Speaker3)는 1kHz보다　4ms 늦게 들어온다.
Step #3: 청취자 기기(폰, 리모컨 마이크)가 각 스피커별(주파수 대역별) 소리 delay 차이를 Source 기기(TV)에 전달한다. 마이크 장치는 측정된 도달 시간 정보를 소스 장치로 전송한다.
1kHz는 1ms이고, 2kHz는 1ms이고, 3kHz는 2ms이고, 4kHz는 4ms이다.
Step #4: Source 기기에서 1) 스피커간 Delay 차이만큼 보정해서 오디오　전송 or 2) 스피커별 오디오 재생 delay(ex. Presentation Delay)에 보정 값을 더해 모든 스피커를 동기화한다. 소스 장치는 수신된 delay 정보에 기반하여 각 스피커 채널에 대해 보정된 오디오 재생 지연(Presentation Delay)을 설정한다. 예를 들어, CH1과 CH2에는 3ms, CH3에는 2ms, CH4에는 0ms의 오디오 지연을 추가 적용함으로써 모든 스피커의 오디오 출력 타이밍을 청취자 기준으로 동기화한다.
스피커 1: 3ms 지연으로 오디오 전송
스피커 2 : 3ms 지연을 주고　오디오 전송
스피커 3 : 1ms 지연을 주고 오디오 전송
스피커 3 : 0ms 지연을 주고 오디오 전송
이러한 방법의 장점은　소스 장치와 스피커 간에 유선 또는 무선의 연결 방식을 구분할 필요가 없다는 점이다.　청취자 입장에서의 지연이기 때문에 가장 정확한 방법이 될 수도 있다. 이러한 방법의 단점은 청취자의 지연을 측정하는 오디오 성능(마이크, 측정 기능 등)이 좋아야 한다는 점이다.
이러한 방법은 스피커 간 유/무선 여부, 위치 거리, 네트워크 경로에 관계없이 청취자 중심의 시간 동기화를 정밀하게 구현할 수 있도록 한다.
도 13은 본 개시에서 제안하는 멀티채널 오디오 시스템에서 블루투스 리모컨 또는 스마트폰과 같은 제3 장치가 각 스피커의 테스트 톤 수신 시점을 측정하고, 소스 장치가 이를 기반으로 스피커별 지연을 조정하는 구조의 일 예를 도시한다.
도 13은 본 개시의 일 실시 예에 따른 멀티채널 오디오 시스템에서, 블루투스 리모컨 또는 스마트폰과 같은 제3 장치(Client)가 각 스피커의 테스트 톤 수신 시점을 측정하고, 이를 바탕으로 소스 장치(Source device)가 각 스피커의 지연을 개별적으로 보정하는 과정을 도시한 시퀀스 다이어그램이다.
CH Measured Delay(ms) Audio Delay(ms)
#1 1 3
#2 1 3
#3 2 1
#4 4 0
표 2는 본 개시의 일 실시 예에 따라, 블루투스 기반 멀티채널 오디오 시스템에서 각 스피커 채널(CH1~CH4)에 대해 청취자 위치의 제3 장치(예: 블루투스 리모컨 또는 스마트폰 마이크)를 통해 측정된 지연 시간(Measured Delay)과, 이를 기반으로 소스 장치에서 설정한 오디오 재생 지연(Audio Delay) 값을 나타낸 것이다.
보다 구체적으로, 표 2의 각 열은 다음을 나타낸다:
CH (채널 번호): 각각의 오디오 출력 스피커를 구분하는 채널 번호로서, 예컨대 CH1은 전방 좌측(FL), CH2는 전방 우측(FR), CH3는 후방 좌측(RL), CH4는 후방 우측(RR) 스피커에 대응될 수 있다.
Measured Delay (ms): 청취자 위치에서 각 채널별로 수신된 테스트 톤의 도달 시점을 기준으로 측정된 상대적인 지연 시간이다. 예를 들어, CH1 및 CH2는 1ms, CH3은 2ms, CH4는 4ms로 측정된다.
Audio Delay (ms): 소스 장치가 전체 스피커의 동기화를 위해 채널별로 설정하는 추가 오디오 재생 지연(presentation delay)이다. 가장 늦게 도달한 CH4(4ms)를 기준점으로 하여, CH1 및 CH2에는 3ms, CH3에는 1ms, CH4에는 0ms의 보정값이 설정된다.
이와 같이, 본 개시에서는 청취자 위치 기준으로 스피커별 지연을 측정하고, 해당 지연 정보를 기반으로 소스 장치가 스피커별 오디오 재생 타이밍을 정밀하게 조정함으로써, 전체 오디오 시스템의 동기화를 구현할 수 있다.
도 13에 도시된 실시 예에서는 다음의 단계들로 이루어진다:
(1) 테스트 톤 전송: 제3 장치(Client)는 사운드바(Soundbar)를 통해 각 스피커(Server: FL, FR, RL, RR)에 서로 다른 주파수의 테스트 톤(예: 1kHz, 2kHz, 3kHz, 4kHz)을 포함하는 LE Audio 데이터 패킷을 전송한다. 이 테스트 톤들은 각 스피커가 자신에게 할당된 고유 주파수를 통해 송출하게 된다.
(2) 테스트 톤 재생: 각 스피커는 자신에게 할당된 테스트 톤을 재생한다. 예컨대, FL은 1kHz, FR은 2kHz, RL은 3kHz, RR은 4kHz의 테스트 음향을 순차적으로 출력한다.
(3) 테스트 톤 수신 및 지연 측정: 제3 장치는 복수의 스피커로부터 출력된 테스트 톤을 수신한 시점을 비교하여, 스피커 간 도달 시간 차이(delay difference)를 감지한다. 측정 예로는 FL 및 FR은 1ms, RL은 2ms, RR은 4ms의 지연으로 수신된다.
(4) 지연 보정값 전달: 제3 장치는 측정된 delay 정보를 소스 장치(예: TV 또는 사운드바)로 전달하고, 소스 장치는 이를 바탕으로 각 스피커에 대해 추가적인 재생 지연(presentation delay)을 설정한다.
(5) 지연 보정값 설정: 예를 들어, 가장 늦게 도달한 RR 채널(4ms)을 기준으로 동기화를 맞추기 위해, FL 및 FR에는 3ms, RL에는 1ms, RR에는 0ms의 추가 지연값이 개별적으로 설정된다.
이러한 방식은 스피커 간 유선/무선 여부나 거리 차이에 관계없이, 청취자 위치 기준으로 모든 오디오 채널을 정밀하게 동기화할 수 있는 기법을 제공한다. 특히 블루투스 기반 멀티채널 오디오 환경에서도 호환이 가능하며, 사용자가 별도의 보정 없이도 자동으로 음향 동기화 효과를 체감할 수 있는 장점이 있다.
본 개시는 TV(소스 장치)와 블루투스 스피커(싱크 장치) 간의 오디오 동기화(inter-speaker sync)를 정밀하게 구현하기 위한 기술을 제안한다. 도면에 도시된 바와 같이, 종래에는 TV와 블루투스(BT) 스피커를 실험실 환경에서 2대 연결하여 시험하였으나, BR/EDR 기반의 BT 스피커의 지연시간이 크고, 수동 설정으로 Audio Delay를 0으로 설정해도 실제 오디오 출력 시점에 지연 차이가 존재하여 에코(echo) 현상이 발생하였다.
또한, 볼륨 조절에 있어서도 음압(SPL, Sound Pressure Level) 기준이 적용되지 않아 실제 출력 음량의 균형이 맞지 않는 문제가 있었다. 예를 들어, 볼륨 1에서는 BT 스피커의 소리가 TV 스피커보다 더 크게 출력되었고, 볼륨 10에서는 TV와 BT 스피커 간 소리 크기가 유사하였으며, 볼륨 30에서는 TV 스피커의 소리가 BT 스피커보다 더 크게 출력되었다.
이러한 문제를 해결하기 위해 본 개시에서는 다음과 같은 제안 기술(To-Be)을 제시한다. 즉, TV의 내장 스피커 지연값(TV Source Speaker Presentation Delay)을 여유 있게 고정시키고, 블루투스 스피커의 지연값을 이에 맞춰 조정함으로써 TV 스피커와 블루투스 스피커 간의 오디오 출력 시점을 동기화하는 것이다.
보다 구체적으로는, 블루투스 스피커들이 재생(playback)하는 실제 시점에 맞춰, TV 내장 스피커에 설정되는 지연값(presentation delay)을 개별적으로 추가 정의함으로써, 전 스피커 채널의 오디오 출력을 청취자 기준으로 동기화하는 방식이다.
이러한 방식은 블루투스 기반 멀티채널 오디오 환경에서도 효과적으로 적용될 수 있으며, TV 자체가 블루투스 스피커의 delay를 알지 못하더라도, 고정된 내장 스피커 delay 기준으로 블루투스 스피커 출력 timing을 조절함으로써 전체 시스템의 음향 품질과 정밀 동기화를 확보할 수 있다.
도 14는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 소스 장치 (TV)에서 내장 스피커의 프리젠테이션 딜레이(presentation delay)를 독립적으로 정의하고, 블루투스 스피커들과의 총 오디오 지연을 일치시키는 구조의 일 예를 도시한다.
도 14는 본 개시의 일 실시 예에 따른 멀티채널 오디오 시스템에서, 소스 장치(예: TV)의 내장 스피커에 대한 프리젠테이션 딜레이(presentation delay)를 독립적으로 설정하고, 이를 기준으로 Bluetooth(BLE) 기반 외장 스피커들과의 오디오 출력 타이밍을 동기화하는 구조의 일 예를 도시한다.
전통적인 오디오 시스템에서는 블루투스 스피커들의 지연시간이 TV 스피커와 상이하여 청취자 입장에서 음상의 일관성이 저해되거나 에코 현상이 발생할 수 있다. 본 개시는 이러한 문제를 해결하기 위해 TV 스피커의 프리젠테이션 딜레이(TV Source Speaker Presentation Delay)를 여유 있게 고정시켜 놓고, 블루투스 스피커들의 총 오디오 지연에 맞추어 동기화가 이루어지는 구조를 제안한다.
보다 구체적으로, 도 14에서는 TV 내부에서의 전체 지연(TV Internal Delay)은 다음의 구성 요소를 포함한다:
Multi-CH Audio Processor로부터 출력된 PCM 오디오 데이터가, BUS delay를 거쳐, Preparation Delay를 통과한 후, Audio Renderer / Audio Processing 과정을 통해 처리되고, 최종적으로 TV Source Speaker Presentation Delay가 적용된 상태로 TV Speaker (CH L, CH R)로 출력된다. 이때, TV 스피커의 최종 출력 타이밍(TV Speaker Total Delay)은 다음과 같이 정의된다:
TV Speaker Total Delay = Audio processing delay + TV Source Speaker Presentation Delay
한편, Bluetooth 경로로 전송되는 오디오 신호는 다음의 과정을 거친다: Encoding & Audio Processing; Low Latency (LL) 전송 및 수신; Transport Latency; Decoding & Audio Processing; 최종 Presentation Delay 적용 후 Audio Out
이를 통틀어 Bluetooth Total System Delay는 다음과 같이 계산된다:
Bluetooth Total System Delay = Audio Processing Time + Transport Latency + Presentation Delay
이때, 전체 오디오 시스템 지연(Total Audio System Delay) 은 다음과 같이 정의된다:
Total Audio System Delay = BUS Delay + Preparation Delay + TV Speaker Total Delay = BUS Delay + Preparation Delay + Bluetooth Total System Delay
즉, TV는 내장 스피커와 블루투스 스피커의 최종 오디오 출력 타이밍(Audio Out Timing)에 맞추어 전체 시스템 지연을 계산하고, 블루투스 스피커들의 재생(playback) 시점에 동기화되도록 TV 스피커 지연값을 독립적으로 설정함으로써, 모든 채널이 청취자 기준에서 정밀하게 동기화되도록 구성한다.
도 14 중 "TV 스피커를 위한 별도의 Delay 추가 정의(Set individual presentation_delay of this TV speaker)"라는 문구는, 블루투스 오디오 경로와의 정합을 맞추기 위한 TV 스피커 전용 프리젠테이션 딜레이가 소스 장치 내부에서 개별적으로 설정될 수 있음을 강조한다.
이러한 구조는 블루투스 기반 오디오 환경에서도 외장 스피커 지연에 대응할 수 있게 하며, 유선/무선 혼합 환경에서도 사용자 경험을 저해하지 않는 정밀한 오디오 동기화를 실현할 수 있다.
도 15는 본 개시에서 제안하는 멀티채널 오디오 시스템에서 소스 장치(사운드바 등)와 복수의 유무선 스피커 간 멀티채널 오디오 전송 구조를 도시하며, 각 스피커가 HDMI, Opt, Bluetooth 등 다양한 경로로 연결되는 구성의 일 예를 도시한다.
도 15는 본 개시의 일 실시예에 따른 멀티채널 오디오 시스템의 오디오 전송 구조를 개략적으로 도시한 도면이다.
도 15에 도시된 바와 같이, 오디오 소스 장치는 TV, 휴대폰 등의 외부 기기에서 HDMI, 광(Optical), Bluetooth(BT) 등의 다양한 유무선 입력을 수신하여, 사운드바 형태의 멀티채널 오디오 프로세싱장치를 통해 멀티채널 오디오를 처리한다. 해당 멀티채널 오디오 프로세싱장치는 전면 좌우(Front L/R), 센터(Center), 우퍼(Woofer) 등의 다채널 스피커 출력을 지원하며, 복수의 유/무선 스피커(SPK)들로 오디오 신호를 송출한다.
멀티채널 오디오 프로세싱 장치는 멀티채널 경로를 통해 복수의 스피커들에 각각 채널별 오디오를 전송하며, 이러한 스피커들은 유선 또는 무선(블루투스 등)의 다양한 방식으로 사운드바에 연결될 수 있다. 이와 같이 도 15는 다양한 입력 인터페이스와 다채널 오디오 출력 구조를 갖춘 멀티채널 오디오 시스템의 일 예를 도시한다.
도 16은 본 개시에서 제안하는 멀티채널 오디오 시스템에서 스피커 간 동기화된 오디오 출력을 위한 오디오 출력 타이밍 제어 구조의 일 예를 도시한다.
도 16은 본 개시의 일 실시예에 따른 멀티채널 오디오 시스템에서, 사운드바 스피커와 BLE(Bluetooth Low Energy) 스피커 간의 오디오 출력 동기화를 위한 타이밍 제어 구조의 일 예를 도시한 도면이다.
먼저, 사운드바는 내부에 멀티채널 오디오 프로세서(PCM)를 포함하고 있으며, 해당 PCM 데이터 출력 시점을 기준(Anchor Point for Audio Input)으로 하여, 내부 BUS Delay 및 Preparation Delay가 발생한다. 이는 사운드바 내부 지연(SoundBar Internal Delay)로 정의된다.
이후 오디오 렌더러(Audio Renderer)는 오디오 처리(Audio Processing)를 수행하고, TV Source Speaker Presentation Delay가 추가된다. 사운드바의 각 스피커(예: CH L, CH R)는 개별 Presentation Delay를 추가로 가지며, 이를 통해 사운드바 스피커의 최종 출력 타이밍이 설정된다(SoundBar Speaker Total Delay).
한편, 블루투스 스피커는 Bluetooth 오디오 경로를 통해 오디오 신호를 수신하며, 해당 경로는 다음과 같은 지연 요소로 구성된다: Audio Processing Time (Unicast Client/Audio Source/Broadcast Source), Transport Latency, Presentation Delay (Unicast Server/Audio Sink/Broadcast Sink).
Bluetooth 오디오 흐름에서의 전체 지연은 Bluetooth Total System Delay로 정의된다.
본 실시예에서는 블루투스 스피커들의 재생 타이밍에 맞추어 사운드바의 내장 스피커들이 동기화되도록, TV Source Speaker Presentation Delay를 고정시킨 상태에서 Bluetooth Delay를 기준으로 사운드바 스피커의 Delay를 추가 정의한다. 이를 통해 전체 오디오 시스템에서 Anchor Point 이후 각 경로의 총 지연 시간을 고려한 Inter Speaker Sync가 가능해진다.
즉, 다음과 같은 수식이 적용된다:
TV Speaker Total Delay = Audio Processing Delay + TV Source Speaker Presentation Delay = Bluetooth Total System Delay
Total Audio System Delay = BUS Delay + Preparation Delay + TV Speaker Total Delay = BUS Delay + Preparation Delay + Bluetooth Total System Delay
도 16은 이와 같은 시간 지연 항목들을 시각적으로 정리하여, 멀티채널 오디오 시스템에서의 오디오 출력 타이밍 조절 및 동기화 방식을 설명한다.
[TV 장치 claim 관련 설명]
이하 상술한 실시 예들을 소스 장치(TV, 사운드바 등)의 동작 측면에서 도 17을 참조하여 구체적으로 설명한다. 이하 설명되는 방법들은 설명의 편의를 위하여 구분된 것일 뿐, 상호 배척되지 않는 한 어느 한 방법의 일부 구성이 다른 방법의 일부 구성과 치환되거나, 상호 간에 결합되어 적용될 수 있음은 물론이다.
도 17은 본 개시의 다양한 실시 예들에 따른 TV, 사운드바 등의 소스 장치의 동작 과정의 일 예를 도시한다.
본 개시의 다양한 실시 예들에 따르면, 블루투스 등의 근거리 통신 시스템을 지원하는 TV, 사운드바 등의 소스 장치에 의하여 수행되는 방법이 제공된다.
소스 장치는 호스트 스택(host stack)에 대응하는 제1 프로세서; 제1 컨트롤러 스택(controller stack)에 대응하는 제2 프로세서; 메모리; 및 송수신기(transceiver)를 포함한다. 상기 호스트 스택과 상기 컨트롤러 스택은 HCI(Host Controller Interface)로 연결된다.
S1701 단계에서, 소스 장치는 하나 이상의 외장 스피커 장치에게, 상기 하나 이상의 외장 스피커 장치의 제2 딜레이의 정보의 요청을 전송한다.
S1702 단계에서, 소스 장치는 상기 하나 이상의 외장 스피커 장치로부터, 상기 제2 딜레이의 정보를 수신한다.
S1703 단계에서, 소스 장치는 상기 소스 장치의 내장 스피커와 상기 하나 이상의 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 제2 딜레이에 기반하여 상기 소스 장치의 내장 스피커를 위한 제1 딜레이를 결정한다.
S1704 단계에서, 소스 장치는 상기 결정된 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 하나 이상의 외장 스피커 장치로 제1 오디오 데이터 스트림을 전송한다.
본 개시의 다양한 실시 예들에 따르면, 상기 제2 딜레이의 정보는 상기 하나 이상의 외장 스피커 장치와 연관된 전송 지연(transport latency) 및 프리젠테이션 딜레이(presentation delay)를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 상기 제1 딜레이는 상기 소스 장치의 상기 내장 스피커의 상기 제1 딜레이가 상기 하나 이상의 외장 스피커 장치의 상기 제2 딜레이와 동기화되도록 결정될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 상기 내장 스피커의 제1 딜레이는 기존의 오디오 처리 딜레이 및 추가된 소스 스피커 프리젠테이션 딜레이를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 도 17의 실시 예는, 청취자 위치에 있는 제3 장치로부터, 상기 하나 이상의 외장 스피커 장치에서 출력된 제1 테스트 톤에 대하여 측정된 제1 도달 시간의 정보를 수신하는 단계를 더 포함할 수 있다. 상기 제1 딜레이의 결정은 수신된 상기 제1 도달 시간에 추가적으로 기반할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 도 17의 실시 예는, 상기 제1 도달 시간 및 상기 내장 스피커에서 출력된 제2 테스트 톤의 상기 제3 장치에 대한 제2 도달 시간에 기반하여 딜레이 차이를 결정하는 단계; 및 상기 딜레이 차이에 기반하여 프리젠테이션 딜레이를 조정하기 위한 제어 신호를 상기 하나 이상의 외장 스피커 장치로 전송하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 도 17의 실시 예는, 상기 소스 장치의 상기 내장 스피커의 고정된 딜레이에 기반하여 상기 하나 이상의 외장 스피커 장치를 위한 제2 프리젠테이션 딜레이를 결정하는 단계; 및 상기 하나 이상의 외장 스피커 장치의 오디오 출력 타이밍을 조정하기 위해 상기 제2 프리젠테이션 딜레이를 상기 하나 이상의 외장 스피커 장치로 전송하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면 전자 장치가 제공된다. 소스 장치는 호스트 스택(host stack)에 대응하는 제1 프로세서; 제1 컨트롤러 스택(controller stack)에 대응하는 제2 프로세서; 메모리; 및 송수신기(transceiver)를 포함한다. 상기 호스트 스택과 상기 컨트롤러 스택은 HCI(Host Controller Interface)로 연결된다. 상기 메모리는, 상기 제1 프로세서 및 상기 제2 프로세서에 의해 실행되는 것에 기반하여, 도 17에 따른 소스 장치의 동작 방법을 수행하는 지시(instruction)들을 저장하도록 구성될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 소스 장치를 제어하는 제어 장치가 제공된다. 상기 제어 장치는 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서들에 동작 가능하게 접속된 적어도 하나의 메모리를 포함한다. 상기 적어도 하나의 메모리들은, 상기 적어도 하나의 프로세서에 의해 실행되는 것에 기반하여, 도 17에 따른 소스 장치의 동작 방법을 수행하는 지시(instruction)들을 저장하도록 구성될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 하나 이상의 명령어를 저장하는 하나 이상의 비일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer readable medium, CRM)가 제공된다. 상기 하나 이상의 명령어는, 하나 이상의 프로세서에 의해 실행되는 것에 기반하여, 동작들을 수행하고, 상기 동작들은, 도 17에 따른 소스 장치의 동작 방법을 포함할 수 있다.
[스피커 claim 관련 설명]
이하 상술한 실시 예들을 스피커의 동작 측면에서 도 18을 참조하여 구체적으로 설명한다. 이하 설명되는 방법들은 설명의 편의를 위하여 구분된 것일 뿐, 상호 배척되지 않는 한 어느 한 방법의 일부 구성이 다른 방법의 일부 구성과 치환되거나, 상호 간에 결합되어 적용될 수 있음은 물론이다.
도 18은 본 개시의 다양한 실시 예들에 따른 스피커의 동작 과정의 일 예를 도시한다.
본 개시의 다양한 실시 예들에 따르면, 블루투스 등의 근거리 통신 시스템을 지원하는 스피커에 의하여 수행되는 방법이 제공된다.
스피커는 호스트 스택(host stack)에 대응하는 제3 프로세서; 제3 컨트롤러 스택(controller stack)에 대응하는 제4 프로세서; 메모리; 및 송수신기(transceiver)를 포함한다. 상기 호스트 스택과 상기 컨트롤러 스택은 HCI(Host Controller Interface)로 연결된다.
S1801 단계에서, 스피커는 소스 장치로부터, 상기 외장 스피커 장치의 제2 딜레이의 정보의 요청을 수신한다.
S1802 단계에서, 스피커는 상기 소스 장치에게, 상기 제2 딜레이의 정보를 전송한다.
S1803 단계에서, 스피커는 상기 소스 장치의 내장 스피커를 위한 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 소스 장치로부터 제1 오디오 데이터 스트림을 수신한다. 상기 소스 장치의 내장 스피커와 상기 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 소스 장치의 내장 스피커를 위한 상기 제1 딜레이는 상기 제2 딜레이에 기반한다.
본 개시의 다양한 실시 예들에 따르면, 상기 제2 딜레이의 정보는 상기 외장 스피커 장치와 연관된 전송 지연(transport latency) 및 프리젠테이션 딜레이(presentation delay)를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 상기 제1 딜레이는 상기 소스 장치의 상기 내장 스피커의 상기 제1 딜레이가 상기 외장 스피커 장치의 상기 제2 딜레이와 동기화되도록 결정될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 상기 내장 스피커의 제1 딜레이는 기존의 오디오 처리 딜레이 및 추가된 소스 스피커 프리젠테이션 딜레이를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 상기 제1 딜레이의 결정은 제1 도달 시간에 추가적으로 기반할 수 있다. 상기 제1 도달 시간은 상기 하나 이상의 외장 스피커 장치에서 출력된 제1 테스트 톤에 대하여 청취자 위치에 있는 제3 장치로부터 측정될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 도 18의 실시 예는, 딜레이 차이에 기반하여 프리젠테이션 딜레이를 조정하기 위한 제어 신호를 상기 소스 장치로부터 수신하는 단계를 더 포함할 수 있다. 상기 딜레이 차이는 상기 제1 도달 시간 및 상기 내장 스피커에서 출력된 제2 테스트 톤의 상기 제3 장치에 대한 제2 도달 시간에 기반할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 도 18의 실시 예는, 상기 외장 스피커 장치의 오디오 출력 타이밍을 조정하기 위한 제2 프리젠테이션 딜레이를 상기 소스 장치로부터 수신하는 단계를 더 포함할 수 있다. 상기 제2 프리젠테이션 딜레이는 상기 소스 장치의 상기 내장 스피커의 고정된 딜레이에 기반할 수 있다.
본 개시의 다양한 실시 예들에 따르면 스피커가 제공된다. 스피커는 호스트 스택(host stack)에 대응하는 제3 프로세서; 제3 컨트롤러 스택(controller stack)에 대응하는 제4 프로세서; 메모리; 송수신기(transceiver); 스피커 장치를 포함한다. 상기 호스트 스택과 상기 컨트롤러 스택은 HCI(Host Controller Interface)로 연결된다. 상기 메모리는, 상기 제3 프로세서 및 상기 제4 프로세서에 의해 실행되는 것에 기반하여, 도 18에 따른 스피커의 동작 방법을 수행하는 지시(instruction)들을 저장하도록 구성될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 스피커를 제어하는 제어 장치가 제공된다. 상기 제어 장치는 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서들에 동작 가능하게 접속된 적어도 하나의 메모리를 포함한다. 상기 적어도 하나의 메모리들은, 상기 적어도 하나의 프로세서에 의해 실행되는 것에 기반하여, 도 18에 따른 스피커의 동작 방법을 수행하는 지시(instruction)들을 저장하도록 구성될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 하나 이상의 명령어를 저장하는 하나 이상의 비일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer readable medium, CRM)가 제공된다. 상기 하나 이상의 명령어는, 하나 이상의 프로세서에 의해 실행되는 것에 기반하여, 동작들을 수행하고, 상기 동작들은, 도 18에 따른 스피커의 동작 방법을 포함할 수 있다.
본 개시의 다양한 실시 예들에 기재된 청구항들은 다양한 방식으로 조합될 수 있다. 예를 들어, 본 개시의 다양한 실시 예들의 방법 청구항의 기술적 특징이 조합되어 장치로 구현될 수 있고, 본 개시의 다양한 실시 예들의 장치 청구항의 기술적 특징이 조합되어 방법으로 구현될 수 있다. 또한, 본 개시의 다양한 실시 예들의 방법 청구항의 기술적 특징과 장치 청구항의 기술적 특징이 조합되어 장치로 구현될 수 있고, 본 개시의 다양한 실시 예들의 방법 청구항의 기술적 특징과 장치 청구항의 기술적 특징이 조합되어 방법으로 구현될 수 있다.

Claims (20)

  1. 근거리 무선 통신 시스템에서 소스 장치의 동작 방법에 있어서,
    하나 이상의 외장 스피커 장치에게, 상기 하나 이상의 외장 스피커 장치의 제2 딜레이의 정보의 요청을 전송하는 단계;
    상기 하나 이상의 외장 스피커 장치로부터, 상기 제2 딜레이의 정보를 수신하는 단계;
    상기 소스 장치의 내장 스피커와 상기 하나 이상의 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 제2 딜레이에 기반하여 상기 소스 장치의 내장 스피커를 위한 제1 딜레이를 결정하는 단계; 및
    상기 결정된 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 하나 이상의 외장 스피커 장치로 제1 오디오 데이터 스트림을 전송하는 단계를 포함하는,
    방법.
  2. 제1 항에 있어서,
    상기 제2 딜레이의 정보는 상기 하나 이상의 외장 스피커 장치와 연관된 전송 지연(transport latency) 및 프리젠테이션 딜레이(presentation delay)를 포함하는,
    방법.
  3. 제1 항에 있어서,
    상기 제1 딜레이는 상기 소스 장치의 상기 내장 스피커의 상기 제1 딜레이가 상기 하나 이상의 외장 스피커 장치의 상기 제2 딜레이와 동기화되도록 결정되는,
    방법.
  4. 제3 항에 있어서,
    상기 내장 스피커의 제1 딜레이는 기존의 오디오 처리 딜레이 및 추가된 소스 스피커 프리젠테이션 딜레이를 포함하는,
    방법.
  5. 제1 항에 있어서,
    청취자 위치에 있는 제3 장치로부터, 상기 하나 이상의 외장 스피커 장치에서 출력된 제1 테스트 톤에 대하여 측정된 제1 도달 시간의 정보를 수신하는 단계를 더 포함하고,
    상기 제1 딜레이의 결정은 수신된 상기 제1 도달 시간에 추가적으로 기반하는,
    방법.
  6. 제5 항에 있어서,
    상기 제1 도달 시간 및 상기 내장 스피커에서 출력된 제2 테스트 톤의 상기 제3 장치에 대한 제2 도달 시간에 기반하여 딜레이 차이를 결정하는 단계; 및
    상기 딜레이 차이에 기반하여 프리젠테이션 딜레이를 조정하기 위한 제어 신호를 상기 하나 이상의 외장 스피커 장치로 전송하는 단계를 더 포함하는,
    방법.
  7. 제1 항에 있어서,
    상기 소스 장치의 상기 내장 스피커의 고정된 딜레이에 기반하여 상기 하나 이상의 외장 스피커 장치를 위한 제2 프리젠테이션 딜레이를 결정하는 단계; 및
    상기 하나 이상의 외장 스피커 장치의 오디오 출력 타이밍을 조정하기 위해 상기 제2 프리젠테이션 딜레이를 상기 하나 이상의 외장 스피커 장치로 전송하는 단계를 더 포함하는,
    방법.
  8. 근거리 무선 통신 시스템에서 외장 스피커 장치의 동작 방법에 있어서,
    소스 장치로부터, 상기 외장 스피커 장치의 제2 딜레이의 정보의 요청을 수신하는 단계;
    상기 소스 장치에게, 상기 제2 딜레이의 정보를 전송하는 단계;
    상기 소스 장치의 내장 스피커를 위한 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 소스 장치로부터 제1 오디오 데이터 스트림을 수신하는 단계를 포함하고,
    상기 소스 장치의 내장 스피커와 상기 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 소스 장치의 내장 스피커를 위한 상기 제1 딜레이는 상기 제2 딜레이에 기반하는,
    방법.
  9. 제8 항에 있어서,
    상기 제2 딜레이의 정보는 상기 외장 스피커 장치와 연관된 전송 지연(transport latency) 및 프리젠테이션 딜레이(presentation delay)를 포함하는,
    방법.
  10. 제8 항에 있어서,
    상기 제1 딜레이는 상기 소스 장치의 상기 내장 스피커의 상기 제1 딜레이가 상기 외장 스피커 장치의 상기 제2 딜레이와 동기화되도록 결정되는,
    방법.
  11. 제10 항에 있어서,
    상기 내장 스피커의 제1 딜레이는 기존의 오디오 처리 딜레이 및 추가된 소스 스피커 프리젠테이션 딜레이를 포함하는,
    방법.
  12. 제8 항에 있어서,
    상기 제1 딜레이의 결정은 제1 도달 시간에 추가적으로 기반하고,
    상기 제1 도달 시간은 상기 하나 이상의 외장 스피커 장치에서 출력된 제1 테스트 톤에 대하여 청취자 위치에 있는 제3 장치로부터 측정되는,
    방법.
  13. 제12 항에 있어서,
    딜레이 차이에 기반하여 프리젠테이션 딜레이를 조정하기 위한 제어 신호를 상기 소스 장치로부터 수신하는 단계를 더 포함하고,
    상기 딜레이 차이는 상기 제1 도달 시간 및 상기 내장 스피커에서 출력된 제2 테스트 톤의 상기 제3 장치에 대한 제2 도달 시간에 기반하는,
    방법.
  14. 제8 항에 있어서,
    상기 외장 스피커 장치의 오디오 출력 타이밍을 조정하기 위한 제2 프리젠테이션 딜레이를 상기 소스 장치로부터 수신하는 단계를 더 포함하고,
    상기 제2 프리젠테이션 딜레이는 상기 소스 장치의 상기 내장 스피커의 고정된 딜레이에 기반하는,
    방법.
  15. 근거리 무선 통신 시스템에서 소스 장치에 있어서,
    호스트 스택(host stack)에 대응하는 제1 프로세서; 컨트롤러 스택(controller stack)에 대응하는 제2 프로세서; 메모리; 사용자 인터페이스(user interface, UI)에 대응하는 입력 장치; 상기 UI에 대응하는 출력 장치; 및 송수신기(transceiver)를 포함하고,
    상기 호스트 스택과 상기 컨트롤러 스택은 HCI(Host Controller Interface)로 연결되고,
    상기 메모리는, 상기 제1 프로세서 및 상기 제2 프로세서에 의해 실행되는 것에 기반하여, 동작들을 수행하는 지시(instruction)들을 저장하며,
    상기 동작들은,
    하나 이상의 외장 스피커 장치에게, 상기 하나 이상의 외장 스피커 장치의 제2 딜레이의 정보를 요청하는 단계;
    상기 하나 이상의 외장 스피커 장치로부터, 상기 제2 딜레이의 정보를 수신하는 단계;
    상기 소스 장치의 내장 스피커와 상기 하나 이상의 외장 스피커 장치 간의 오디오 출력을 동기화하기 위해, 상기 제2 딜레이에 기반하여 상기 소스 장치의 내장 스피커를 위한 제1 딜레이를 결정하는 단계; 및
    상기 결정된 제1 딜레이에 기반하여 상기 내장 스피커로부터 출력되는 제2 오디오 데이터 스트림과의 동기화된 재생을 위해, 상기 하나 이상의 외장 스피커 장치로 제1 오디오 데이터 스트림을 전송하는 단계를 포함하는,
    소스 장치.
  16. 제15 항에 있어서,
    상기 제2 딜레이의 정보는 상기 하나 이상의 외장 스피커 장치와 연관된 전송 지연(transport latency) 및 프리젠테이션 딜레이(presentation delay)를 포함하는,
    소스 장치.
  17. 제15 항에 있어서,
    상기 제1 딜레이는 상기 소스 장치의 상기 내장 스피커의 상기 제1 딜레이가 상기 하나 이상의 외장 스피커 장치의 상기 제2 딜레이와 동기화되도록 결정되는,
    소스 장치.
  18. 제17 항에 있어서,
    상기 내장 스피커의 제1 딜레이는 기존의 오디오 처리 딜레이 및 추가된 소스 스피커 프리젠테이션 딜레이를 포함하는,
    소스 장치.
  19. 제1 항에 있어서,
    상기 동작들은: 청취자 위치에 있는 제3 장치로부터, 상기 하나 이상의 외장 스피커 장치에서 출력된 제1 테스트 톤에 대하여 측정된 제1 도달 시간의 정보를 수신하는 단계를 더 포함하고,
    상기 제1 딜레이의 결정은 수신된 상기 제1 도달 시간에 추가적으로 기반하는,
    소스 장치.
  20. 제19 항에 있어서,
    상기 동작들은:
    상기 제1 도달 시간 및 상기 내장 스피커에서 출력된 제2 테스트 톤의 상기 제3 장치에 대한 제2 도달 시간에 기반하여 딜레이 차이를 결정하는 단계; 및
    상기 딜레이 차이에 기반하여 프리젠테이션 딜레이를 조정하기 위한 제어 신호를 상기 하나 이상의 외장 스피커 장치로 전송하는 단계를 더 포함하는,
    소스 장치.
PCT/KR2025/010459 2024-07-18 2025-07-16 블루투스 연결에 기반하여 다수 기기의 멀티채널 오디오 신호의 시간 동기화를 위한 장치 및 방법 Pending WO2026019258A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20240094782 2024-07-18
KR10-2024-0094782 2024-07-18

Publications (1)

Publication Number Publication Date
WO2026019258A1 true WO2026019258A1 (ko) 2026-01-22

Family

ID=98437664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/010459 Pending WO2026019258A1 (ko) 2024-07-18 2025-07-16 블루투스 연결에 기반하여 다수 기기의 멀티채널 오디오 신호의 시간 동기화를 위한 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2026019258A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011979A (ko) * 2009-07-29 2011-02-09 엘지전자 주식회사 영상표시기기의 영상신호 동기화 장치 및 방법
JP6291531B2 (ja) * 2011-03-18 2018-03-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． クライアント装置と無線周辺ユニットとの間の通信
KR101975251B1 (ko) * 2012-07-09 2019-05-07 삼성전자주식회사 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법
KR102454761B1 (ko) * 2015-06-15 2022-10-13 엘지전자 주식회사 영상표시장치의 동작 방법
KR102650734B1 (ko) * 2019-04-17 2024-03-22 엘지전자 주식회사 복수의 스피커들에 다채널 오디오 신호를 제공하기 위한 오디오 장치, 오디오 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011979A (ko) * 2009-07-29 2011-02-09 엘지전자 주식회사 영상표시기기의 영상신호 동기화 장치 및 방법
JP6291531B2 (ja) * 2011-03-18 2018-03-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． クライアント装置と無線周辺ユニットとの間の通信
KR101975251B1 (ko) * 2012-07-09 2019-05-07 삼성전자주식회사 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법
KR102454761B1 (ko) * 2015-06-15 2022-10-13 엘지전자 주식회사 영상표시장치의 동작 방법
KR102650734B1 (ko) * 2019-04-17 2024-03-22 엘지전자 주식회사 복수의 스피커들에 다채널 오디오 신호를 제공하기 위한 오디오 장치, 오디오 시스템 및 방법

Similar Documents

Publication Publication Date Title
WO2021015484A1 (ko) 무선 통신 시스템에서 적응적인 오디오 처리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
WO2020096412A1 (ko) 블루투스 기술을 이용하여 오디오 데이터를 수신하기 위한 방법 및 이에 대한 장치
WO2020213959A1 (ko) 블루투스 기술을 이용하여 오디오 데이터를 수신하기 위한 방법 및 이에 대한 장치
WO2020149708A1 (ko) 블루투스 기술을 이용하여 오디오 서비스를 제공하기 위한 방법 및 장치
WO2022124870A1 (ko) 근거리 무선 통신 시스템에서 데이터를 송수신하기 위한 방법 및 이에 대한 장치
WO2018038459A1 (ko) 블루투스 기술을 이용하여 디바이스를 제어하기 위한 방법 및 장치
WO2018169380A1 (ko) 블루투스 기술을 이용하여 오디오 신호를 처리하기 위한 방법 및 장치
WO2020180168A1 (ko) 블루투스 기술을 이용하여 오디오 데이터를 수신하기 위한 방법 및 이에 대한 장치
WO2018222024A1 (ko) 블루투스 le 기술을 이용하여 디바이스를 연결하기 위한 방법 및 장치
WO2022240160A1 (ko) 근거리 무선 통신 시스템에서 데이터를 송수신하기 위한 방법 및 이에 대한 장치
WO2015194854A1 (ko) 블루투스 le(low energy) 기술을 이용하여 디바이스 간 커넥션을 형성하기 위한 방법 및 장치
WO2021006710A1 (ko) 무선 통신 시스템에서 근거리 무선 통신을 이용한 오디오 데이터 전송 방법 및 이에 대한 장치
WO2016036139A2 (ko) 블루투스 le(low energy) 기술을 이용하여 디바이스를 제어하기 위한 방법 및 장치
WO2016175638A1 (ko) 블루투스 메쉬 네트워크에서 디바이스의 주소를 할당하기 위한 방법 및 장치
WO2021040457A1 (ko) 무선 통신 시스템에서 오디오 처리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
WO2021215776A1 (ko) 무선 통신 시스템에서 채널 선택 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
WO2020246768A1 (ko) 무선 통신 시스템에서 브로드캐스트 디스커버리 서비스 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
WO2021071272A1 (ko) 무선 통신 시스템에서 음향 노출 관리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
WO2017030232A1 (ko) 데이터 송수신 방법 및 이를 위한 디바이스
WO2015163680A1 (ko) 무선 통신 시스템에서 블루투스 저전력 에너지 기술을 이용하여 데이터를 송수신하기 위한 방법 및 장치
WO2020262927A1 (ko) 무선 통신 시스템에서 오디오 라우팅 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
WO2019235892A1 (ko) 블루투스 기술을 이용하여 디바이스의 전력을 제어하기 위한 방법 및 장치
WO2016036206A2 (ko) 블루투스 le(low energy) 기술을 이용하여 디바이스를 제어하기 위한 방법 및 장치
WO2021096257A1 (ko) 무선 통신 시스템에서 근거리 무선 통신을 이용한 오디오 데이터 전송 방법 및 이에 대한 장치
WO2022265433A1 (ko) 무선 통신 시스템에서 근거리 무선 통신을 이용한 오디오 데이터 전송 방법 및 이에 대한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25841549

Country of ref document: EP

Kind code of ref document: A1