WO2024085343A1 - 오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치 - Google Patents

오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치 Download PDF

Info

Publication number
WO2024085343A1
WO2024085343A1 PCT/KR2023/008673 KR2023008673W WO2024085343A1 WO 2024085343 A1 WO2024085343 A1 WO 2024085343A1 KR 2023008673 W KR2023008673 W KR 2023008673W WO 2024085343 A1 WO2024085343 A1 WO 2024085343A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio playback
playback device
conversation
content
audio
Prior art date
Application number
PCT/KR2023/008673
Other languages
English (en)
French (fr)
Inventor
권지혜
우영찬
이좌영
명인식
이미영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/219,219 priority Critical patent/US20240236408A9/en
Publication of WO2024085343A1 publication Critical patent/WO2024085343A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Definitions

  • Various embodiments of the present disclosure relate to a method of automatically controlling sound output of a personal audio player according to a mode and an electronic device that performs the method.
  • a couple can watch the same TV program (or separate programs provided by the same TV) at the same time, each wearing wireless headphones.
  • a method for controlling sound output of a first audio playback device is provided.
  • the first audio playback device is capable of operating in a simultaneous listening mode with the second audio playback device, and in the simultaneous listening mode, each of the first audio playback device and the second audio playback device operates according to each corresponding sound output setting. , and operates to output content sound based on an audio content signal streamed from a corresponding content providing device through a communication connection.
  • the method may include detecting a conversation request generated from the second audio player while the first and second audio players are operating in the simultaneous listening mode.
  • the method includes, in response to detecting the conversation request, causing the first audio playback device to exit the simultaneous listening mode and enter a conversation mode, and changing the sound output settings corresponding to the first audio playback device.
  • the method includes controlling the first audio playback device to output the content sound based on the changed sound output setting while operating in the conversation mode.
  • an electronic device including a memory storing at least one instruction, and at least one processor electrically connected to the memory and executing the at least one instruction.
  • the at least one processor is configured to perform a method of controlling sound output of the first audio playback device.
  • the first audio playback device is capable of operating in a simultaneous listening mode with the second audio playback device, and in the simultaneous listening mode, each of the first audio playback device and the second audio playback device operates according to each corresponding sound output setting. , and operates to output content sound based on an audio content signal streamed from a corresponding content providing device through a communication connection.
  • the method may include detecting a conversation request generated from the second audio player while the first and second audio players are operating in the simultaneous listening mode.
  • the method includes, in response to detecting the conversation request, causing the first audio playback device to exit the simultaneous listening mode and enter a conversation mode, and changing the sound output settings corresponding to the first audio playback device.
  • the method may include controlling the first audio playback device to output the content sound based on the changed sound output setting while operating in the conversation mode.
  • the conversation when users want to have a brief conversation while listening to content through each personal audio playback device, the conversation can be conducted smoothly while each user is wearing the personal audio playback device without any additional inconvenient manipulation. You can proceed.
  • each user when carrying out a conversation while wearing a personal audio playback device, each user can obtain directional sound that reflects the content providing device for the user and the location of the other user, just like a personal audio playback device. You can have a realistic conversation as if you were not wearing it. According to an example of the present disclosure, after a conversation ends, users can continue to enjoy an optimized content listening experience through a personal audio player device being worn.
  • a method of appropriately changing output settings of a plurality of audio playback devices simultaneously depending on the mode can be applied in various situations. For example, while each viewer wears a personal audio player in a gallery and listens to audio content related to the description of an artwork, a question-and-answer session may occur between the viewer and the explainer (docent). In such cases, the sound output settings of the audio playback devices worn by the viewer and the explainer are temporarily changed, so that the dialogue sound based on the voice input obtained from the explainer's audio playback device is overlaid with the existing content sound and played on the viewer's audio playback device. can be printed.
  • various adjustments may be made, such as reducing the volume of the content sound related to the existing work description and increasing the volume of the conversation sound.
  • FIG. 1 is a diagram schematically illustrating an environment in which simultaneous listening and conversation modes can be applied through a plurality of personal audio playback devices, according to an example of the present disclosure.
  • FIG. 2 is a functional block diagram schematically showing the functional configuration of a content providing device according to an example of the present disclosure.
  • FIG. 3 is a functional block diagram schematically showing the functional configuration of a personal audio playback device according to an example of the present disclosure.
  • FIGS. 4A and 4B show, according to an example of the present disclosure, a plurality of personal audio playback devices connect to a content providing device to simultaneously listen, and a conversation mode between users is started, progressed, and ended through a request.
  • This is an operation flow chart that schematically shows the procedure.
  • FIG. 5 is a diagram schematically showing the flow of a process in which a plurality of personal audio playback devices are connected to a content providing device for simultaneous listening, according to an example of the present disclosure.
  • FIG. 6 is a diagram schematically showing the flow of a process in which a plurality of personal audio playback devices are connected to a content providing device for simultaneous listening, according to an example of the present disclosure.
  • FIG. 7 is a diagram illustrating an example screen displayed on the display of a content providing device during the process of releasing a conversation mode, according to an example of the present disclosure.
  • FIG. 8 is a diagram illustrating example user interfaces for displaying and/or changing sound output settings for a personal audio playback device to be used in a conversation mode, according to an example of the present disclosure.
  • FIG. 9 is a table listing example events that can be used as a conversation mode start request that occurs during simultaneous listening mode on a personal audio playback device and a conversation mode end request that occurs during conversation mode, respectively, in some examples of the present disclosure. am.
  • FIG. 10 is a diagram showing a case in which a conversation mode is started and proceeds according to a button input, in an example of the present disclosure.
  • FIG. 11 is a diagram schematically illustrating an operation flow when a conversation mode is started and ended in response to a predetermined change detected in a personal audio playback device, in an example of the present disclosure.
  • FIG. 12 is a diagram showing examples of changes that may occur in a personal audio playback device that can be recognized as the start of a conversation mode, according to an example of the present disclosure.
  • FIG. 13 to 16 show the progress of a conversation on the display of the content providing device when a conversation mode between users is conducted through two personal audio playback devices respectively connected to the content providing device, according to an example of the present disclosure. These are drawings showing the situations in which the indicated signs are displayed.
  • 17 and 18 show the progress of a conversation on the display of the content providing device when a conversation mode between users is in progress through two personal audio playback devices respectively connected to the content providing device, according to an example of the present disclosure. These are drawings showing the situations in which the indicated signs are displayed.
  • 19 and 20 show a conversation between users on the display of a content providing device when a conversation mode between users is in progress through three personal audio playback devices each connected to the content providing device, according to some examples of the present disclosure.
  • FIG. 21 shows the progress of a conversation between users on the display of a content provision device in a situation in which a conversation mode between users is initiated through three personal audio playback devices each connected to the content provision device, according to an example of the present disclosure. This is a drawing showing each example situation in which a sign indicating is displayed.
  • FIG. 22 is a diagram schematically showing an environment in which simultaneous listening and conversation modes can be applied through a plurality of VR devices, according to an example of the present disclosure.
  • FIG. 23 is a diagram schematically showing a simultaneous listening environment by multiple users according to an example of the present disclosure.
  • 24A and 24B show, according to an example of the present disclosure, when sound according to conversation voice is provided as three-dimensional sound generated/changed in consideration of relative position changes between personal audio playback devices during conversation mode, conversation This is a diagram schematically showing the operation flow of starting, progressing, and ending the mode.
  • FIG. 25 visually illustrates a situation in which three-dimensional sound reflecting the relative positions of the personal audio playback device and the content providing device where the utterance occurred is provided to the personal audio playback device when the conversation mode is in progress, according to an example of the present disclosure. It is a drawing.
  • FIG. 1 is a diagram schematically illustrating an environment in which simultaneous listening and conversation modes can be applied through a plurality of personal audio playback devices, according to an example of the present disclosure.
  • the content providing device 100 may be a TV device, and the present disclosure is not limited thereto.
  • the content providing device 100 may be a variety of devices that provide audio content signals, such as mobile terminals, tablets, computers, and various audio devices, and is not limited to a specific type.
  • the simultaneous listening mode is, for example, in a state in which a plurality of personal audio playback devices are each connected to the same or different content providing devices, and simultaneously receive streaming audio content signals provided from the content providing devices for user listening. It can refer to the operating state of playback.
  • each of the users wearing personal audio playback devices 200a and 200b watches content provided from the content providing device 100, for example, a TV program, in a conversation mode, while chatting with a user on the other person's personal audio playback device.
  • the conversation can proceed.
  • each of the personal audio playback devices 200a and 200b receives streaming audio signals provided from the content providing device and plays them for user listening, similar to the simultaneous listening mode, but the personal audio playback devices 200a and 200b, respectively.
  • the volume of the content sound from the content providing device output from each personal audio playback device 200a and 200b may be automatically reduced compared to the simultaneous listening mode, but is not limited to this. .
  • the content that all users are watching in the simultaneous listening mode may be the same, but the present disclosure is not limited thereto.
  • all users may be accessing the same content providing device in simultaneous listening mode, but the present disclosure is not limited thereto.
  • users each wearing their own personal audio player device are connected to the same content providing device 100 and each view separate content provided by the content providing device 100, such as a separate TV program. You can watch it.
  • users wearing their own personal audio playback devices can connect to different content providing devices and watch content provided from each content providing device.
  • FIG. 2 is a functional block diagram schematically showing the functional configuration of a content providing device according to an example of the present disclosure.
  • the content providing device 100 includes a communication unit 110, a content acquisition unit 120, a memory 130, a control unit 140, an audio processing unit 150, a sound output unit 160, and a display 170. ) and a sensor unit 180.
  • the communication unit 110 may establish a communication connection with an external device according to one or more wired or wireless communication protocols. According to one example, the communication unit 110 establishes a wireless connection with each of one or more personal audio playback devices (e.g., wireless headphones, wireless earphones) and/or personal communication devices (e.g., various personal mobile terminals such as smartphones and tablets). Establish and communicate through it. In one example, the communication unit 110 may communicate based on any short-range wireless communication protocol, including, for example, Wi-Fi, Bluetooth, UWB, IrDA, etc. According to one example, the communication unit 110 is connected to a personal audio playback device (200a, 200b in FIG.
  • a personal audio playback device 200a, 200b in FIG.
  • the communication unit 110 may receive various information such as user input control information, voice information, various state sensing information, and location information obtained and transmitted from the personal audio playback device (200a, 200b in FIG. 1). there is.
  • the communication unit 110 also transmits various information such as the above-described user input control information, voice information, various state sensing information, and location information transmitted from the personal audio player device and received by the communication unit 110 through short-distance wireless communication. It can be transmitted to another personal audio playback device connected to the communication unit 110 according to the protocol.
  • the content acquisition unit 120 may receive multimedia content data from various external content source devices according to any of various wired and wireless methods.
  • multimedia content data may include, for example, video data of a moving image or still image, or audio data of voice or music.
  • the content acquisition unit 120 can selectively receive each broadcast content data by, for example, tuning a signal (e.g., broadcast signal) of a specific channel (frequency) among wireless radio signals broadcast over the public. .
  • the content acquisition unit 120 is wired using various types of video transmission cables, such as component cables, CVBS cables, HDMI cables, USB cables, Ethernet cables, or Wi-Fi, Bluetooth, ZigBee, Z -Content data can be received from a certain content source device, such as a set-top box or other external content source device, according to a short-range wireless protocol such as Wave.
  • the content acquisition unit 120 may use any of the following, for example, TCP/IP, UDP, HTTP, HTTPS, FTP, SFTP, MQTT, GSM, CDMA, WCDMA, WiMAX, LTE, LTE-A, 5G, or 6G.
  • Various content data can be received from an external content provision server according to wired and wireless communication protocols.
  • the external content server may be, for example, an IPTV server, an OTT server, etc., and the present disclosure is not limited to a specific form.
  • the description is centered on the case where the content providing device 100 is provided with the content acquisition unit 120, but the present disclosure is not limited thereto. In one example of the present disclosure, the content providing device 100 without the content acquisition unit 120 may be used.
  • the memory 130 may store various data that can be used by each component of the content providing device 100.
  • the memory 130 may include, for example, various software, programs, and related input/output data that can be used to perform the functions of the content providing device 100.
  • memory 130 may store various types of content data.
  • the memory 130 includes device information of each personal audio playback device (200a, 200b in FIG. 1) capable of communication connection with the communication unit 110, such as MAC address, identification information, security key information, and/or Location information, etc. can be stored.
  • the memory 130 stores various control information and/or sensing information received from each personal audio playback device (200a, 200b in FIG. 1) through a wireless communication connection using the communication unit 110. You can.
  • the memory 130 contains sound setting information (e.g., audio to be provided to the personal audio playback device) set for each of the personal audio playback devices (200a and 200b in FIG. 1) capable of communication connection with the communication unit 110.
  • sound setting information e.g., audio to be provided to the personal audio playback device
  • the memory 130 includes sound setting information for simultaneous listening mode (or normal listening mode) set for each of the personal audio playback devices (200a and 200b in FIG. 1) and for a conversation mode to be described later. Sound setting information can be saved.
  • memory 130 includes, for example, volume information, information on whether ANC circuit is activated, information on whether transparency mode is applied, It may include parameters or adjustment standards for creating three-dimensional sound effects.
  • memory 130 may include volatile memory or non-volatile memory.
  • the control unit 140 may control the overall operation of each component of the content providing device 100.
  • the control unit 140 may control the communication unit 110 to be connected to each of the personal audio playback devices (200a and 200b in FIG. 1).
  • the control unit 140 receives various information from the personal audio playback device (200a, 200b in FIG. 1) through the communication unit 110, such as user input control information, voice information, various state sensing information, and location information. etc. can be obtained.
  • the control unit 140 detects, for example, a request to initiate a conversation mode, consent to enter the conversation mode, and/or a request to release the conversation mode, based on various information from the personal audio playback device (200a, 200b in FIG. 1). can do.
  • the control unit 140 may determine whether to enter a simultaneous listening mode and/or a conversation mode for a communication-connected personal audio playback device (200a, 200b in FIG. 1). In one example, when the control unit 140 determines to enter the simultaneous listening mode and/or conversation mode with respect to the communication-connected personal audio playback device (200a, 200b in FIG. 1), it determines the corresponding sound output setting. You can. In one example, the control unit 140 may control the audio processing unit 160, which will be described later, to process an audio signal according to the determined sound output settings. In one example, the control unit 140 may transmit information about the determined sound output settings to the corresponding personal audio playback device through the communication unit 110. As described above, sound output setting information for each personal audio playback device may include, for example, volume information, ANC circuit activation information, information on whether to apply transparent mode, parameters or adjustment standards for creating stereoscopic sound effects, etc. The disclosure is not limited thereto.
  • control unit 140 processes voice information received from the personal audio playback device (200a, 200b in FIG. 1) through the communication unit 110 during the conversation mode through the audio processing unit 150, and then processes the voice information in the conversation mode. You can have it transmitted to other personal audio playback devices in your computer.
  • the control unit 140 transmits various user input information obtained from the personal audio playback device 200 through the communication unit 110 to another personal audio playback device 200 connected to the content providing device 100. It can be delivered.
  • the audio processing unit 150 may receive an audio signal obtained through the communication unit 110 or the content acquisition unit 120. In one example, the audio processing unit 150 may receive voice and/or sound signals obtained from a personal audio playback device (200a, 200b in FIG. 1) through the communication unit 110. In one example, the audio processing unit 150 may receive an audio signal of multimedia content acquired through the content acquisition unit 120. In one example, the audio processing unit 150 may also obtain an audio signal from another component of the content providing device 110, such as the memory 130 or the control unit 140.
  • the audio processing unit 150 may perform various processing on the acquired audio signal.
  • the audio processing unit 150 may synthesize a plurality of acquired analog audio signals into one analog audio signal and convert it into a digital audio signal.
  • the audio processing unit 150 changes the sampling rate, applies one or more filters, performs interpolation processing, and converts all or part of the frequency band to the digital audio signal, according to the sound output settings determined by the control unit 140.
  • a variety of processing can be performed, including amplification or attenuation processing, noise processing (e.g., noise or echo attenuation), channel changes (e.g., switching between mono and stereo), binaural processing, mixing, or specified signal extraction.
  • the audio processing unit 150 may generate a three-dimensional audio signal (eg, a stereo or 5.1 channel signal) divided into a plurality of channels from a digital audio signal. According to one example, the audio processing unit 150 may generate a Dolby Atmos type object-based stereoscopic audio signal. In one example, the digital audio signal processed in the audio processing unit 150 may be transmitted to a personal audio playback device (200a, 200b in FIG. 1) connected to communication through the communication unit 110. In one example, the audio processing unit 150 may convert a processed digital audio signal into an analog audio signal and output it.
  • a personal audio playback device 200a, 200b in FIG. 1
  • the audio processing unit 150 may convert a processed digital audio signal into an analog audio signal and output it.
  • the analog audio signal output from the audio processing unit 150 may be output to the outside through the audio output unit 160.
  • the sound output unit 160 may include one or more speakers.
  • the three-dimensional audio signal generated and output from the audio processing unit 150 may be output through a plurality of speakers of the audio output unit 160.
  • the display 170 may visually output content obtained from the communication unit 110 and/or the content acquisition unit 120. According to one example, the display 170 may display a user interface for controlling setting information of each of the personal audio playback devices 200a and 200b in FIG. 1. In one example, when a conversation mode is initiated between a plurality of personal audio playback devices (200a and 200b in FIG. 1) each connected to the content providing device 100, the display 170 displays an indicator indicating the start state of the conversation mode. , a sign indicating the progress of a conversation between a plurality of personal audio playback devices (for example, including a sign indicating a device corresponding to the speaker), etc. may be displayed.
  • display 170 may be a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, or a microelectromechanical system. It may be implemented as either a micro electromechanical systems (MEMS) display or an electronic paper display, but is not limited thereto.
  • display 170 may include, for example, a display, a holographic device, or a projector and control circuitry for controlling the device.
  • the display 170 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the sensor unit 180 may include one or more sensors for detecting the operating state of the content providing device 100, the environmental state, etc.
  • the sensor unit 180 may include, for example, a geomagnetic sensor, an IMU sensor, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, and an IR (infrared) sensor.
  • the sensor unit 180 may acquire movement information of the content providing device 100 (e.g., movement direction information of the content providing device 100 and/or tilt information of the content providing device 100, etc.). there is.
  • the configuration of the content providing device 100 described above with reference to FIG. 2 is merely exemplary, and the content providing device to which the present disclosure can be applied may have a modified configuration and function different from those described above.
  • FIG. 3 is a functional block diagram schematically showing the functional configuration of a personal audio playback device according to an example of the present disclosure.
  • the personal audio player 200 includes a communication unit 210, a memory 220, a control unit 230, a microphone 240, an audio processing/sound output unit 250, a visual output unit 260, and It may include a sensor unit 270.
  • the personal audio playback device 200 shown in FIG. 3 may correspond to each of the personal audio playback devices 200a and 200b in FIG. 1, and the present disclosure is not limited thereto.
  • the communication unit 210 may establish a communication connection with an external device according to one or more wired or wireless communication protocols.
  • the communication unit 210 may support communication based on any short-range wireless communication protocol, including, for example, Wi-Fi, Bluetooth, UWB, IrDA, etc.
  • the communication unit 210 mediates communication with the content providing device 100 of FIG. 1 and/or another separate personal communication device (e.g., the content providing device 100), for example, through a short-range wireless communication channel. You can establish a wireless connection with each intermediate device (personal terminal such as smartphone, tablet, etc.) and communicate through this.
  • the communication unit 210 may transmit and receive signals with another personal audio player through, for example, a short-range wireless communication channel.
  • the communication unit 210 establishes a short-range wireless communication connection to the content providing device 100 and receives various signal information, such as audio content signals and various setting/control information through the established communication channel.
  • the communication unit 210 receives voice information obtained from an external device similar to the personal audio playback device 200, for example, the content providing device 100 of FIG. 1, and the user
  • voice information obtained from an external device similar to the personal audio playback device 200, for example, the content providing device 100 of FIG. 1, and the user
  • Various information such as input control information, various state sensing information, and location information, can be received from other personal audio playback devices or via the content providing device 100.
  • the communication unit 210 also provides various information acquired on the personal audio playback device 200, such as sound and/or voice information, user input control information, various state sensing information, and location information, for example. It can be transmitted to the content providing device 100 and/or another personal audio playback device according to a short-range wireless communication protocol.
  • the memory 220 may store various data that can be used by each component of the personal audio playback device 200.
  • the memory 220 may include, for example, various software, programs, and related input/output data that can be used to perform the functions of the personal audio playback device 200.
  • the memory 220 includes information on each device capable of communication connection with the communication unit 210, such as the MAC address and identification of each of the content providing device 100, other personal communication devices, and/or other personal audio playback devices. Information, security key information, and/or location information may be stored.
  • the memory 220 includes various setting/control information and /Or sensing information, etc. can be stored.
  • the memory 220 may store one or more sound output setting information that controls the state of the audio signal sound to be output through the audio processing/sound output unit 250, which will be described later.
  • the memory 220 may store sound setting information for simultaneous listening mode (or normal listening mode) and sound setting information for a conversation mode, which will be described later.
  • the sound setting information stored in the memory 220 may include, for example, volume information, information on whether the ANC circuit is activated, information on whether a transparent mode is applied, parameters or adjustment standards for generating stereoscopic sound effects, etc.
  • memory 130 may include volatile memory or non-volatile memory.
  • control unit 230 may control the overall operation of each component of the personal audio playback device 200.
  • control unit 230 may control the communication unit 210 to be connected to each of the content providing device 100, a separate personal communication device, and/or another personal audio playback device.
  • control unit 230 allows the audio processing/sound output unit 250, which will be described later, to operate the determined operation mode (e.g., simultaneous listening mode, conversation mode, etc.) and/or sound with respect to the personal audio playback device 200.
  • control may be made to output content sound based on the content audio signal obtained from the content providing device 100 through the communication unit 210.
  • control unit 230 may receive various information received from the content providing device 100, a separate personal communication device, and/or another personal audio playback device connected to communication through the communication unit 210, such as other personal audio. User input control information, voice information, various state sensing information, and/or location information obtained from the playback device may be received. In one example, the control unit 230 controls a conversation for the personal audio playback device 200 based on the above-described information received from the content providing device 100, another personal communication device, and/or another personal audio playback device. A request to initiate a mode, consent to enter a conversation mode, and/or a request to release a conversation mode can be detected.
  • control unit 230 may obtain various sensing information by the sensor unit 270, which will be described later. In one example, the control unit 230, for example, requests to initiate a conversation mode in the personal audio playback device 200, agrees to enter the conversation mode, and/or initiates the conversation mode based on the sensing information obtained from the sensor unit 270. A release request can be detected. In one example, the control unit 230 may determine whether to enter a simultaneous listening mode and/or a conversation mode for the personal audio playback device 200. In one example, the control unit 230 may determine corresponding sound output settings depending on whether the personal audio playback device 200 is in simultaneous listening mode and/or conversation mode. In one example, the control unit 230 may control the operations of the microphone 240 and the audio processing/sound output unit 250, which will be described later, according to the determined sound output settings.
  • control unit 230 processes voice information received from another personal audio playback device through the communication unit 210 during the conversation mode by the audio processing/sound output unit 250, which will be described later, to produce the content sound as described above. It can be overlaid and output together with .
  • control unit 230 transmits voice information acquired on the personal audio playback device 200 through the microphone 240, which will be described later, to the content providing device 100 and other devices through the communication unit 210. It can be transmitted to a personal communication device and/or to another personal audio playback device in conversation mode.
  • control unit 230 overlays voice information acquired on the personal audio playback device 200 through the microphone 240 during conversation mode (when transparent mode is applied) on the content sound described above, as described later. It can be controlled to be output through the audio processing/sound output unit 250.
  • microphone 240 may include, for example, a dynamic microphone, a condenser microphone, or a piezo microphone.
  • the microphone 240 can acquire various noises from the outside or voice input from a user.
  • the microphone 240 may convert acquired voice and/or sound into a digital audio signal.
  • voice and/or sound acquired from the microphone 240 may be processed differently depending on the mode and/or sound output settings of the personal audio playback device 200.
  • the voice and/or sound obtained from the microphone 240 is converted into a digital audio signal and transmitted to the content providing device 100 or the communication unit 210. It can be transmitted to other external personal audio playback devices.
  • the voice and/or sound obtained from the microphone 240 is transmitted to the audio processing/sound output unit. It is transmitted to 250 and can be output by overlaying the output content sound.
  • microphone 240 may be equipped with an ANC circuit.
  • microphone 240 may, through the ANC circuit, It can analyze sounds and generate corresponding offset sounds. The offset sound generated by the microphone 240 may be transmitted to the audio processing/sound output unit 250.
  • the sound obtained from the microphone 240 may overlap with the corresponding offset sound and be canceled.
  • microphone 240 may not produce the canceling sound, and thus microphone 240 ) and transmitted to the audio processing/sound output unit 250 may not be erased.
  • audio processing/sound output 250 may include one or more speakers. According to one example, the audio processing/sound output unit 250 may include a pair of speakers separated into left and right sides, and the present disclosure is not limited thereto. In one example, the audio processing/sound output unit 250 may generate, process, and output an audio signal based on the audio output setting information stored in the memory 220 described above. In one example, the audio processing/sound output unit 250 appropriately processes the audio content signal received from an external device through the above-described communication unit 210 based on the sound setting information stored in the memory 220 and then You can print it out for listening.
  • the audio processing/sound output unit 250 may include part of the signal processing process (e.g., conversion of a digital audio signal to an analog signal, etc.) by the audio processing unit 150 of the content providing device 100. and is not limited thereto) or all of them, and the present disclosure is not limited thereto.
  • the audio processing/sound output unit 250 based on the sound setting information stored in the memory 220, converts the voice and/or sound signal acquired through the microphone 250, which will be described later, into audio processing/sound. It can be output to the outside through the output unit 250.
  • the visual output unit 260 may be a visual indicator indicating that a user's voice input is occurring through the microphone 240 described above.
  • the visual output unit 260 may be, for example, an LED lamp that lights up while a user's voice input occurs through the microphone 240.
  • the sensor unit 270 may include one or more sensors for detecting the operating state of the personal audio player 200, the environmental state, etc.
  • the sensor unit 270 may include, for example, a geomagnetic sensor, an IMU sensor, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR sensor, and a biometric sensor.
  • the acceleration sensor and gyro sensor may constitute a 6-axis sensor.
  • the 6-axis sensor can detect the amount of change in movement of the personal audio player 200.
  • the 6-axis sensor may include an inertial sensor.
  • an acceleration sensor can measure forces acting in three axes: the x-axis, the y-axis, and the z-axis.
  • the gyro sensor can measure angular velocity by detecting pitch, roll, and yaw in three axes.
  • the sensor unit 270 includes an acceleration sensor, a gyro sensor, a geomagnetic sensor, an IMU sensor, and provides movement information of the personal audio player 200 (e.g., movement of the personal audio player 200). Size and direction, tilt size and direction, rotation size and direction position change amount, etc.) can be obtained.
  • the configuration of the personal audio playback device 200 described above with reference to FIG. 3 is merely exemplary, and the personal audio playback device to which the present disclosure can be applied may have a modified configuration and function different from those described above.
  • FIGS. 4A and 4B show, according to an example of the present disclosure, a plurality of personal audio playback devices connect to a content providing device to simultaneously listen, and a conversation mode between users is started, progressed, and ended through a request.
  • This is an operation flow chart that schematically shows the procedure.
  • a communication connection according to a predetermined communication protocol may be established between the content providing device 100 and the first and second personal audio playback devices 200a and 200b, respectively.
  • the content providing device 100 and the first and second personal audio playback devices 200a and 200b have a communication connection according to any short-range wireless communication protocol including Wi-Fi, Bluetooth, UWB, IrDA, etc. can be established.
  • any short-range wireless communication protocol including Wi-Fi, Bluetooth, UWB, IrDA, etc.
  • FIG. 5 is a diagram schematically showing the flow of a process in which a plurality of personal audio playback devices are connected to a content providing device for simultaneous listening, according to an example of the present disclosure. Referring to FIG. 5, a process in which the first personal audio playback device 200a and the second personal audio playback device 200b establish a communication connection with the content providing device 100 is shown.
  • each of the first personal audio playback device 200a and the second personal audio playback device 200b may activate a communication function and transmit a signal for connection to the content providing device 100.
  • each personal audio playback device 200a, 200b may transmit a predetermined signal for connection to the content providing device 100 according to a predetermined short-range wireless communication protocol (eg, Bluetooth protocol).
  • a predetermined short-range wireless communication protocol eg, Bluetooth protocol
  • the content providing device 100 may detect signals transmitted from each of the first and second personal audio playback devices 200a and 200b. Then, the content providing device 100 selects each of the devices 200a and 200b that detect signal transmission in operation 503 and sends a response to each connection request to the first and second personal audio playback devices 200a. , 200b).
  • the response signal transmitted from the content providing device 100 to the first and second personal audio playback devices 200a and 200b, respectively includes, for example, the MAC address, identification information, and security key information of the content providing device 100. , location information, and other control information may be included.
  • each of the first and second personal audio playback devices 200a and 200b receives and confirms a response signal from the content providing device 100 and provides feedback information containing information necessary for establishing an access channel. It can be transmitted to the content providing device 100.
  • the feedback signal provided to the content providing device 100 includes, for example, MAC address, identification information, security key information, location information, and other control information for each of the first or second personal audio playback devices 200a and 200b. It may include information, etc.
  • the content providing device 100 obtains feedback signals transmitted from each of the first and second personal audio playback devices 200a and 200b, and proceeds to operation 506 to obtain the first and second personal audio playback devices 200a and 200b. Connection establishment with each of the playback devices 200a and 200b can be completed. In one example, the content providing device 100 may store information received from each of the first and second personal audio playback devices 200a and 200b.
  • each of the first or second personal audio playback devices 200a and 200b transmits a predetermined signal by activating a communication function according to a predetermined short-range wireless communication protocol (e.g., UWB protocol).
  • a predetermined short-range wireless communication protocol e.g., UWB protocol
  • the first and second personal audio playback devices 200a and 200b can detect and monitor the distance between each other, their relative positions, and changes in each other by detecting signals transmitted from each other.
  • operation 507 is a series of operations between the content providing device 100 and the first and second personal audio playback devices 200a and 200b according to the operations 501 to 506 described above. It may be separate from the sequential operation flow of .
  • the first and second personal audio playback devices 200a and 200b continuously detect signals transmitted by the other party according to operation 507 and monitor the distance between each other, relative positions, etc., the results of such monitoring are subsequently recorded. It can be used in connection with the progress of simultaneous listening mode or conversation mode.
  • FIG. 6 is a diagram schematically showing the flow of a process in which a plurality of personal audio playback devices are connected to a content providing device for simultaneous listening, according to an example of the present disclosure.
  • the first and second personal audio playback devices 200a and 200b are first connected to the first and second personal communication devices 600a and 600b, respectively, and the first and second personal communication devices 600a and 600b are connected to the first and second personal communication devices 600a and 600b, respectively. It is connected to the content providing device 100 through 600b).
  • the first and second personal audio playback devices 200a and 200b establish a direct communication channel with the content providing device 100, whereas in FIG.
  • the first and second personal audio playback devices 200a and 200b establish a direct communication channel with the content providing device 100. After 200b) establishes a communication channel with the corresponding first and second personal communication devices 600a and 600b, the first and second personal communication devices 600a and 600b communicate and connect with the content providing device 100. It has a structure.
  • the first personal audio playback device 200a may establish a connection channel with the first personal communication device 600a according to any wireless communication protocol
  • the second personal audio playback device 200b can establish a connection channel with the second personal communication device 600b according to any wireless communication protocol.
  • the first personal audio player 200a may establish an access channel to the first personal communication device 600a according to any short-range wireless communication protocol, including Bluetooth, Wi-Fi, etc.
  • the second personal audio player 200b may establish an access channel to the second personal communication device 600b according to a short-range wireless communication protocol such as Bluetooth, Wi-Fi, etc.
  • the processes of operations 602 to 607 are generally similar to the processes of operations 501 to 506 described above with respect to FIG. 5, and these operational flows are used in the first and second personal communication devices. The main difference is that it is performed between (600a, 600b) and the content providing device 100. Therefore, detailed description of the process of operations 602 to 607 will be omitted.
  • status monitoring of the first or second personal audio playback devices 200a and 200b with respect to each other may occur.
  • each of the first and second personal audio playback devices 200a and 200b activates a communication function according to a predetermined short-range wireless communication protocol (e.g., UWB protocol) to transmit a predetermined signal.
  • UWB protocol a predetermined short-range wireless communication protocol
  • operation 608 includes the content providing device 100 and the first and second personal communication devices 600a according to operations 602 to 607 described above. It may be separate from the series of sequential operation flows between 600b). In one example, if status monitoring of the first and second personal audio playback devices 200a, 200b is performed according to operation 606, the results of such monitoring may be used in connection with subsequent progress in simultaneous listening mode or conversation mode. there is.
  • the content providing device 100 may transmit streaming content audio signals to the first and second personal audio playback devices 200a and 200b, respectively.
  • the content providing device 100 may play and output multimedia content stored on the content providing device 100 or acquired externally in various ways.
  • content played by the content providing device 100 may include an audio signal.
  • the content providing device 100 may transmit streaming content audio signals to the first and second personal audio playback devices 200a and 200b, respectively, through the communication connection established in operation 401.
  • each of the first and second personal audio playback devices 200a and 200b receives a content audio signal from the content providing device 100 and plays content sound based on the received signal in a simultaneous listening mode. Can be printed.
  • each of the first and second personal audio playback devices 200a and 200b may output the content sound according to sound output settings preset for the simultaneous listening mode.
  • the occurrence of a predetermined event indicating a conversation request may be detected in the first personal audio playback device 200a.
  • Various types of events that may indicate a conversation request and/or a request to end a conversation will be described later.
  • the first personal audio playback device 200a may detect that an event indicating a conversation request has occurred and then notify the content providing device 100 of the detection result and/or entry into the conversation mode.
  • the content providing device 100 may obtain a conversation mode entry request from the first personal audio playback device 200a and transmit the obtained request to the second personal audio playback device 200b.
  • the second personal audio playback device 200b may receive a request to enter the conversation mode transmitted from the content providing device 100.
  • the content providing device 100 obtains the conversation mode entry request in operation 405, determines entry into the conversation mode, and determines the corresponding point in the timeline of the content currently being provided (e.g., The content playback point at the time of entering conversation mode) can be saved.
  • each of the first and second personal audio playback devices 200a and 200b enters a conversation mode and continues to receive content audio signals from the content providing device 100.
  • Each of the first and second personal audio playback devices 200a and 200b may output content sound based on the received content audio signal according to sound output settings preset for the conversation mode.
  • the sound output settings preset for the simultaneous listening mode may be different from the sound output settings preset for the conversation mode.
  • the ANC function may be turned on and the transparency mode may be turned off so that the user can focus on the content sound on the personal audio player (especially when conversations through natural voice playback are turned on).
  • the ANC function may be turned off and the transparency mode may be turned on so that the user can smoothly conduct a conversation on the personal audio player device.
  • the volume of the content sound may be set lower than in the sound output setting for the simultaneous listening mode.
  • the three-dimensional sound effect may be adjusted so that the content sound appears to be heard from further away than in the sound output setting for the simultaneous listening mode.
  • the conversation mode when the conversation mode is in progress, only the content sound is set to audio output for the conversation mode (e.g., low volume, stereoscopic sound effects adjusted to be heard from a distance, ANC function turn off, transparency mode turn on, etc.), and the actual conversation voice by the user is transmitted to the user from outside the personal audio playback devices 200a and 200b in the form of natural speech voice. It can be delivered.
  • spoken voice from the user is acquired through the microphone 240 of each personal audio playback device (200a, 200b), and the sound according to the acquired spoken voice is overlaid on the content sound to enable conversation.
  • the sound output setting for the conversation mode is set to three-dimensional sound output considering the relative positions and directions of the content providing device 100 and the personal audio playback devices 200a and 200b. May include sound effect settings.
  • the audio received from the content providing device 100 is based on the sound output setting for the conversation mode.
  • the audio signal is adjusted and output, the present disclosure is not limited thereto.
  • the content providing device 100 when entering the conversation mode, the content providing device 100 generates an audio signal adjusted according to the output settings for the conversation mode for each of the first and second personal audio playback devices 200a and 200b. and may be transmitted, and the present disclosure is not limited to a particular form.
  • the content providing device 100 may display an indicator on the display indicating that the first and second personal audio playback devices 200a and 200b are currently in a conversation mode.
  • the content providing device 100 may display a predetermined sign indicating the conversation mode on the display.
  • the content providing device 100 displays icons representing each of the first and second personal audio playback devices 200a and 200b participating in the conversation mode on the display, in addition to a predetermined sign indicating the conversation mode. can do.
  • the content providing device 100 may display a sign indicating which of the first and second personal audio playback devices 200a and 200b participating in the conversation mode is the device on which speech is taking place. The display of a sign regarding the progress of the conversation mode by the content providing device 100 will be described in more detail later with reference to FIGS. 12 to 21.
  • the occurrence of a predetermined event indicating a request to end the conversation mode may be detected in the first personal audio playback device 200a.
  • Various types of events that may indicate a conversation request and/or a request to end a conversation will be described later.
  • the first personal audio playback device 200a may detect that an event indicating a request to end the conversation mode has occurred and then notify the content providing device 100 of the detection result and/or the end of the conversation mode. .
  • both the conversation mode request and the end request are shown as occurring in the same first personal audio playback device 200a, but the present disclosure is not limited thereto.
  • the content providing device 100 may obtain a conversation mode termination request from the first personal audio playback device 200a and transmit the obtained request to the second personal audio playback device 200b.
  • the second personal audio playback device 200b may receive a request to end the conversation mode transmitted from the content providing device 100.
  • the content providing device 100 determines to end the conversation mode in operation 413 and displays a screen for selecting a time point on the timeline of content playback (170). It can be displayed on the table.
  • the content providing device 110 may display an option on the display 170 to select whether to return to the point at which the conversation mode was entered (e.g., the point saved in operation 407). .
  • FIG. 7 is a diagram illustrating an example screen displayed on the display of a content providing device during the process of releasing a conversation mode, according to an example of the present disclosure.
  • a selection window 700 is displayed on the display 170 of the content providing device 100.
  • the selection window 700 provides information on the time the conversation mode has been in progress (e.g., 3 minutes) and whether to move the content playback time to a time before the conversation mode starts (e.g., 3 minutes ago).
  • Selection buttons 710 and 720 that allow selection are displayed.
  • the user of the first or second personal audio playback device (200a, 200b) inputs input means provided on the first or second personal audio playback device (200a, 200b) or a separate control device (e.g., remote control). You can select one of the selection buttons 710 and 720.
  • the playback time on the content timeline may move back to the start of the conversation mode.
  • the first personal audio playback device 200a may select a playback time of content through an option provided by the content providing device 100 in operation 413 .
  • the first personal audio player 200a may select to return to the point at which it entered the conversation mode.
  • the first personal audio player 200a may select to continue from the current point in order to play content without going back in the timeline.
  • the selection of content playback time is shown as being made by the first personal audio playback device 200a, but the present disclosure is not limited thereto.
  • the content providing device 100 may adjust the content playback time to go back according to the selection from the first personal audio player 200a made in operation 414.
  • the content providing device 100 continues playing the content from the adjusted point in the timeline and transmits content audio signals to both the first and second personal audio playback devices 200a and 200b in the simultaneous listening mode. Streaming can be transmitted.
  • each of the first and second personal audio playback devices 200a and 200b receives a content audio signal from the content providing device 100 and plays content sound based on the received signal in a simultaneous listening mode. Can be printed.
  • each of the first and second personal audio playback devices 200a and 200b may output the content sound according to sound output settings preset for the simultaneous listening mode.
  • the sound output settings used in operation 417 may be the same settings as those used for the sound output of each of the first and second personal audio playback devices 200a and 200b in operation 403, and the present disclosure is not limited thereto. It is not
  • FIG. 8 is a diagram illustrating example user interfaces for displaying and/or changing sound output settings for a personal audio playback device to be used in a conversation mode, according to an example of the present disclosure.
  • example user interfaces 810, 820, 830, and 840 that can be displayed on the mobile terminal 800 are shown, respectively.
  • the mobile terminal 800 on which each user interface is displayed is a content providing device (e.g., the content providing device 100 described above with reference to FIGS. 1 to 6) that provides audio content signals to each personal audio player. ), and the present disclosure is not limited thereto.
  • the mobile terminal 800 may be a personal communication device that is connected to a personal audio player and supports communication with the outside, and the present disclosure is not limited to a specific form.
  • the first and second personal audio playback devices H1 and H2 may be connected to the mobile terminal 800 for communication, respectively.
  • the first and second personal audio playback devices H1 and H2 may correspond to the first and second personal audio playback devices 200a and 200b described above with reference to FIGS. 1 to 6, respectively.
  • a user interface screen 810 for setting audio output for a conversation mode for the first personal audio player H1 is shown.
  • a selection item 811 for selecting a device to be set is displayed, indicating that the first personal audio playback device H1 is currently selected.
  • a visual indicator 812 is displayed indicating that the first personal audio playback device H1 is accessing the mobile terminal 800.
  • a selection item 813 is displayed to support the selection of whether to activate each of the ANC function and the Transparency function in the first personal audio playback device (H1).
  • the ANC mode is set to be disabled (indicated as not selected) and the Transparency mode is set to be activated (indicated as selected in bold).
  • these settings can be changed by user selection.
  • the sound according to the conversation voice may be delivered to the other user in the form of natural speech voice rather than through each personal audio playback device (H1).
  • ANC mode is disabled and Transparency mode is activated. By doing this, you can ensure smooth conversation.
  • the sound according to the conversation voice may be overlaid with the content sound from the content providing device and output and transmitted through the speaker of each personal audio playback device.
  • a selection item 814 is displayed on the screen in which settings related to stereoscopic sound effects for the output sound according to the conversation voice, which can be used in the first personal audio playback device H1, can be selected. It is displayed in the bottom area of (810).
  • the selection item 814 on the screen 810 is displayed. It is disabled.
  • the first personal audio playback device H1
  • a selection bar 815 for setting how to distribute the volume of output sound between conversation sound and content sound is displayed at the bottom of the cover 812. As shown, the selection bar 815, like the selection item 814, is deactivated. At the bottom of the selection bar 815, a selection item 816 is displayed for selecting whether automatic settings will be performed based on existing user data stored in the mobile terminal 800.
  • a user interface screen that can collectively set or change the audio output settings for conversation mode for all of them. (820) is shown. At the top of the screen 820, a selection item 821 for selecting a device to be set is displayed, indicating that all devices are currently selected. At the bottom of the selection item 821, a visual indicator 822 is displayed indicating that the first and second personal audio playback devices H1 and H2 are accessing the mobile terminal 800.
  • the user interface shown on the screen 820 also transmits the sound according to the conversation voice to the user in the form of natural speech voice in conversation mode without going through each personal audio playback device (H1, H2). This is in case something happens.
  • each setting on the screen 820 is similar to that shown on the screen 810, and detailed description will be omitted. While the screen 810 is a settings screen for the first personal audio playback device (H1), the settings (or settings changes) on the screen 820 are applied to all connected personal audio playback devices (H1, H2). There is a difference in
  • a user interface screen 830 that supports audio output settings for conversation mode for all personal audio playback devices H1 and H2 connected to the mobile terminal 800 is shown.
  • a selection item 831 for selecting a device to be set is displayed, indicating that all devices are currently selected.
  • a visual indicator 832 is displayed indicating that the first and second personal audio playback devices H1 and H2 are accessing the mobile terminal 800.
  • the user interface shown on the screen 830 is, in conversation mode, the sound according to the conversation voice is overlaid with the content sound from the content providing device, so that each personal audio playback device (H1, H2) ) relates to the case of output through the audio processing/sound output unit 250.
  • the screen 810 is a settings screen for the first personal audio playback device (H1)
  • the settings (or settings change) on the screen 830 are applied to all connected personal audio playback devices (H1, H2). There is a difference in that respect.
  • a selection item ( 833) is displayed.
  • the ANC mode is activated (selected in bold) and the Transparency mode is deactivated (indicated not selected). ), and these settings can be changed by user selection.
  • the conversation mode when the conversation mode is in progress, settings for stereoscopic sound effects for the sound according to the conversation voice, which can be used in each personal audio playback device (H1, H2) regarding the conversation sound, are supported.
  • the selection item 834 is displayed. As shown, in conversation mode, a 2.1-channel stereoscopic sound effect will be applied to the sound according to the user's conversation voice.
  • a selection bar 835 for setting how to distribute the volume of the sound output from each personal audio playback device (H1, H2) between the conversation sound and the content sound when the conversation mode is in progress. ) is displayed. As shown, the selection bar 835 has completely moved to indicate the conversation mode, and the current setting indicates that the user will focus on the conversation mode as much as possible when the conversation mode is in progress. In this case, in the actual sound output through the audio processing/sound output unit 250, the content sound may be output at a low volume as determined by the system, and the sound volume according to the user's voice may be output at a high volume. The user can adjust the distribution of the volumes on both sides by adjusting the selection bar 835. Similar to the screens 810 and 820, a selection item 836 is displayed at the bottom of the selection bar 835 for selecting whether automatic settings will be performed based on existing user data stored in the mobile terminal 800.
  • a user interface screen 840 that supports setting audio output for conversation mode for all personal audio playback devices (H1 and H2) in the mobile terminal 800 is shown.
  • a selection item 841 for selecting a device to be set is displayed, indicating that all devices are currently selected.
  • a visual indicator 842 is displayed indicating that the first and second personal audio playback devices H1 and H2 are accessing the mobile terminal 800.
  • each of the personal audio playback devices H1 and H2 connected to the mobile terminal 800 may receive and output different audio content.
  • audio content received and output from each device can be selected, and reference numeral 847 on the screen 840 indicates an item enabling such selection. Since the screen 840 further includes the items indicated by reference numeral 847, the remaining settings are similar to those shown in the screen 830, and thus detailed description will be omitted.
  • each example user interface for displaying and/or changing sound output settings for a personal audio player is provided through a mobile terminal, but the present disclosure is not limited thereto.
  • each of the above-described user interfaces may be communication-connected to a personal audio player and displayed on a separate device equipped with a display, such as a TV device that provides audio content.
  • FIG. 9 is a table listing example events that can be used as a conversation mode start request that occurs during simultaneous listening mode on a personal audio playback device and a conversation mode end request that occurs during conversation mode, respectively, in some examples of the present disclosure. am.
  • column 910 lists means that can be used for each request event
  • columns 920 and 930 show that any event that occurs in each means is a request to start a conversation mode or a conversation mode. It is indicated whether to indicate a termination request.
  • Each item linked to Figure 9 is merely an example, and the present disclosure is not limited thereto.
  • a touch sensor is used for event input, and a tap or hold is used as a conversation mode start request event, and a double tap or hold release is used as a conversation mode end request event.
  • a key sensor is used for event input, and key press and key press release are used as conversation mode start request and conversation mode end request events, respectively.
  • each of the personal audio playback devices 200a and 200b may be provided with buttons or keys for requesting to start and end the conversation mode, but the present disclosure is not limited thereto.
  • a microphone sensor is used for event input, acquisition of audio at a volume above the reference value is used as a conversation start request event, and a case where audio acquisition at a volume above the reference value does not occur for a predetermined time or more after starting the conversation mode is used as a conversation mode. It is indicated as being used as a mode termination request event.
  • a microphone sensor is used for event input, and voice acquisition in a predetermined pattern is used as a conversation start request and conversation mode end request event, respectively.
  • a motion sensor e.g., acceleration sensor, geomagnetic sensor, IMU sensor, gyro sensor, etc.
  • motion detection meeting a predetermined standard is used as a conversation start request event
  • conversation mode is performed. It is indicated that when no movement exceeding a standard value is detected for a predetermined period of time after initiation or when another movement meeting a predetermined standard is detected, each is used as a conversation mode termination request event.
  • each of the personal audio playback devices 200a and 200b may be equipped with one or more motion detection sensors.
  • each of the personal audio playback devices 200a and 200b may include one or more geomagnetic sensors, IMU sensors, acceleration sensors, gyro sensors, etc., and use these sensors to detect the amount and direction of movement of the device (e.g., movement magnitude and direction, tilt magnitude and direction, rotation magnitude and direction, etc.) can be detected.
  • the personal audio playback devices 200a and 200b use the motion sensors provided when the straight line connecting both speakers provided in the device rotates more than a predetermined angle while being horizontal to the ground (e.g.
  • each movement obtained based on the above-described motion sensor may be defined as a movement that can be compared with a predetermined standard corresponding to a conversation mode start/end request, with respect to row 916 ( The matters listed herein are merely illustrative and do not limit the disclosure to a particular form).
  • the personal audio playback devices 200a and 200b can monitor each other's positions by transmitting and receiving signals according to a short-range wireless communication method, and the results of such monitoring can be used to determine whether or not the device is moving in the specific direction described above. there is.
  • a plurality of events occurring through a plurality of means may be combined and treated as a conversation mode start request and conversation mode end request event.
  • both a microphone and a motion sensor are used, and a request to start a conversation mode is generated when a movement meeting a predetermined standard as in row 916 is detected and a voice signal with a volume above the reference value is obtained. It is defined as
  • a request to end the conversation mode is made. It is defined as having occurred.
  • rows 911 to 917 it is explained that a conversation mode start request and a conversation mode end request are detected through sensor means provided in each of the personal audio playback devices 200a and 200b.
  • row 918 it can be defined that an event requesting to start or end a conversation mode occurs according to an on/off input of an input unit associated with the content providing device 100, for example, a remote control.
  • the events defined to represent the conversation mode start request and conversation mode end request listed in FIG. 9 are merely examples, and the present disclosure is not limited to a specific form.
  • FIG. 10 is a diagram showing a case in which a conversation mode is started and proceeds according to a button input, in an example of the present disclosure.
  • personal audio playback devices 200a and 200b are respectively connected to the content providing device 100 (eg, TV).
  • the personal audio playback devices 200a and 200b have requested access to the display 170 of the content providing device 100 during the process of establishing a communication connection with each of the personal audio playback devices 200a and 200b. Each is displayed as selectable.
  • each of the personal audio playback devices 200a and 200b and the content providing device 100 enter a simultaneous listening mode, so that each user listens to the same content providing device through their respective personal audio playback devices 200a and 200b. You are watching content from (100).
  • the user of the personal audio playback device 200a may click a conversation button provided on the device to trigger a conversation mode request start event.
  • the conversation mode is initiated, and in each of the content playback devices 200a and 200b, sound based on the content audio signal from the content providing device 100 is changed to sound output settings to suit the conversation mode (e.g., volume decrease, etc.) may be output accordingly.
  • each user receives a content sound signal provided according to the conversation mode sound output setting through each personal audio player (200a, 200b), while receiving a voice input from the other user from the outside (e.g., "That actor's name is “What is it?”, “Woo Young-woo”) can be recognized.
  • the sound based on the voice signal acquired from each user through the microphone of each personal audio playback device 200a and 200b is overlaid with the sound of the content audio signal from the content providing device 100 to set the conversation mode sound output. Accordingly, it may be output through each of the personal audio playback devices 200a and 200b.
  • FIG. 11 is a diagram schematically illustrating an operation flow in which a conversation mode is started and ended in response to a predetermined change detected in a personal audio playback device, according to an example of the present disclosure.
  • FIG. 12 is a diagram showing examples of changes that may occur in a personal audio playback device that can be recognized as the start of a conversation mode, according to an example of the present disclosure.
  • the simultaneous listening mode is initiated in operation 1101.
  • a user may be wearing personal audio playback devices 200a and 200b, respectively, and enjoying content provided from the content providing device 100.
  • the personal audio playback devices 200a and 200b can reproduce content sound according to the audio content signal received from the content providing device 100 according to the sound output setting determined for the simultaneous listening mode and output it through each provided speaker. there is.
  • At operation 1102 it may be determined whether a threshold time has elapsed. Afterwards, in determining whether to start the conversation mode according to the status monitoring results of each personal audio playback device, at the beginning of the simultaneous listening mode (for example, at the beginning when the user wears headphones and starts watching TV), there is some relative movement, etc. Since there may be many, the transition to conversation mode is postponed for a predetermined critical time until the simultaneous listening mode is stabilized.
  • each personal audio playback device 200a and 200b can track and monitor each other's location or direction by transmitting and receiving signals through a short-range communication module (eg, UWB module).
  • a short-range communication module eg, UWB module
  • each personal audio playback device 200a, 200b may recognize the location of the content providing device 100 using a short-distance communication method.
  • each audio playback device 200a, 200b is equipped with a microphone 240 and can obtain voice input through the microphone 240.
  • each audio playback device can track and monitor the movement, rotation, tilt, etc.
  • each personal audio playback device (200a, 200b) detects the location of the other device (200b, 200a) being tracked and monitored, the location of the content providing device 100, and the corresponding audio playback device (200a, 200b). By combining the movements, etc., the distance between the personal audio playback device (200a, 200b) and the content providing device 100, the distance between the audio playback device and the other device, the audio playback device (e.g., You can monitor changes in various information, such as the angle formed by a straight line) and the other device (e.g., a straight line made by speakers on both sides of the other device).
  • each audio playback device is equipped with a proximity sensor and can detect proximity between the content providing device and/or the other device.
  • operation 1104 it may be determined whether a change has occurred that meets the criteria for requesting to initiate conversational mode based on the monitoring results in operation 1102.
  • a criterion for requesting to start a conversation mode for example, when the audio playback devices 200a and 200b are tilted more than the reference value toward the other device (e.g., see reference numeral 1202 in FIG.
  • the audio playback devices 200a and 200b are If (200a, 200b) moves more than the reference value toward the content providing device 100, and the audio playback device (200a, 200b) moves more than the reference value toward the other device, the microphone (200a, 200b)
  • the volume of the voice acquired through 240 is greater than the reference value (e.g., see reference numeral 1203 in FIG. 12), and when the angle formed between the audio playback devices 200a and 200b and the other party devices 200b and 200a is reduced. It may be defined in various ways (e.g., see reference numeral 1204 in FIG. 12), and is not limited to a specific form.
  • each of the personal audio playback devices 200a and 200b and the content providing device 100 enter the conversation mode. can do.
  • the user can wear the personal audio playback devices 200a and 200b, respectively, and enjoy the content provided from the content providing device 100 while simultaneously conducting a conversation with the user of the other device.
  • the personal audio playback devices 200a and 200b reproduce the content sound according to the audio content signal received from the content providing device 100 according to the sound output setting determined for the conversation mode through each provided speaker.
  • the personal audio playback devices also overlay conversation sounds based on conversation voices acquired by the microphone of each personal audio playback device 200a, 200b with content sounds based on content signals from the content providing device 100. Thus, it can be output through a speaker.
  • state changes in the personal audio playback devices 200a and 200b may be continuously tracked and monitored while the conversation mode is in progress. This is to detect a change in status to determine whether a request to end the conversation mode has occurred.
  • the states subject to tracking and monitoring may be the same or similar to those monitored to determine whether there is a request to enter the conversation mode in operation 1103, and the present disclosure is not limited to a particular form.
  • operation 1106 it may be determined whether a change has occurred that meets the criteria for requesting to end conversation mode based on the monitoring results in operation 1105.
  • a criterion for requesting to end the conversation mode for example, when the audio playback devices 200a and 200b are tilted more than the reference value toward the other device and then return to the direction away from the other device by more than the reference value, the audio playback devices 200a , 200b) moves away from the content providing device 100 by more than a standard value, and when the audio playback devices 200a and 200b move away from the other device by more than a standard value, the audio playback device 200a moves away from the other device for a predetermined period of time.
  • 200b can be defined in various ways, such as when there is no volume higher than the reference value obtained through the microphone 240, when the angle formed between the audio playback device (200a, 200b) and the other device (200b, 200a) increases beyond the reference value, etc. You can.
  • FIG. 13 to 16 show the progress of a conversation on the display of the content providing device when a conversation mode between users is conducted through two personal audio playback devices respectively connected to the content providing device, according to an example of the present disclosure. These are drawings showing the situations in which the indicated signs are displayed.
  • FIG. 13 shows a state in which users listening to content through personal audio playback devices 200a and 200b respectively connected to the content providing device 100 have entered the conversation mode from the simultaneous listening mode.
  • the content providing device 100 may be a TV device.
  • an indicator 1300 is displayed on the display of the content providing device 100, indicating that the personal audio playback devices 200a and 200b have just entered the conversation mode.
  • the illustrated sign 1300 does not indicate which device ignites.
  • FIG. 14 shows, following FIG. 13, when the conversation mode is in progress and a speech is made by the user of the personal audio playback device 200a, a sign 1400 indicating such a speech device is displayed on the content providing device 100.
  • the content providing device 100 and each personal audio playback device 200a and 200b may recognize each other's locations according to a short-range wireless communication protocol.
  • the content providing device 100 may recognize the relative directions of both the personal audio playback devices 200a and 200b.
  • the personal audio playback device 200a may be on the left (in the direction of looking vertically at the display), and the sign 1400 may include a left arrow indicating that speech is on the left. This indicates that it is occurring in the personal audio playback device 200a.
  • FIG. 15 shows a case where, when the conversation mode is in progress and the user of the personal audio playback device 200b makes a speech, a sign 1500 indicating the speech device is displayed on the content providing device 100.
  • the content providing device 100 can recognize the relative directions of both the personal audio playback devices 200a and 200b.
  • the personal audio playback device 200b may be on the right (in the direction of viewing the display vertically), and the sign 1500 may include a right arrow indicating that speech is on the right. This indicates that it is occurring in the personal audio playback device 200b.
  • FIG. 16 shows a case where, when speech is made simultaneously by both users of the personal audio playback devices 200a and 200b while the conversation mode is in progress, a sign 1600 indicating such speech device is displayed on the content providing device 100. As shown, left and right arrows are displayed on the sign 1600, indicating that speech is occurring in both the left and right personal audio playback devices 200a and 200b.
  • 17 and 18 show the progress of a conversation on the display of the content providing device when a conversation mode is conducted between users through two personal audio playback devices respectively connected to the content providing device, according to an example of the present disclosure. These are drawings showing the situations in which the indicated signs are displayed.
  • FIGS. 17 and 18 users listening to content through personal audio playback devices 200a and 200b respectively connected to the content providing device 100 enter the conversation mode from the simultaneous listening mode. One state is shown. Unlike in FIGS. 13 to 16 where only one sign indicating the conversation mode is displayed, in FIGS. 17 and 18 each personal audio playback device 200a, Markers 1710 and 1720 indicating 200b) are displayed. As described above, the content providing device 100 can recognize the relative positions of each of the connected personal audio playback devices 200a and 200b, so the sign 1710 displayed at the lower left of the display 170 indicates the personal audio playback device 200a and 200b on the left.
  • a sign 1720 indicating the audio playback device 200a and displayed at the bottom right of the display may indicate the personal audio playback device 200b on the right.
  • the user of the personal audio player 200a is speaking, and among the signs displayed on the content providing device 100, the left sign 1710 is displayed in bold.
  • the user on the personal audio player 200b is speaking, and among the signs displayed on the content providing device 100, the right sign 1720 is displayed in bold.
  • 19 and 20 show the progress of a conversation on the display of the content providing device when a conversation mode between users is in progress through three personal audio playback devices each connected to the content providing device, according to some examples of the present disclosure. These are drawings showing each example situation in which the indicated sign is displayed.
  • FIG. 19 shows a state in which users listening to content through personal audio playback devices 200a, 200b, and 200c respectively connected to the content providing device 100 have entered the conversation mode from the simultaneous listening mode.
  • the content providing device 100 may be a TV device.
  • an indicator 1900 indicating that the personal audio playback devices 200a, 200b, and 200c have entered the conversation mode is displayed on the display of the content providing device 100.
  • the illustrated sign 1900 is similar to the sign 1600 shown in FIG. 16, but differs in that there are three connected personal audio playback devices.
  • the content providing device 100 can recognize the relative positions of each personal audio playback device 200a, 200b, and 200c.
  • the left and right arrows included in the cover 1900 are intended to indicate the personal audio playback devices 200a and 200b located on the left and right sides of the content providing device 100, respectively.
  • the central lower arrow among the arrows included in the cover 1900 indicates the personal audio playback device 200c located between the personal audio playback devices 200a and 200b.
  • speech is being made on all three personal audio playback devices 200a, 200b, and 200c, and three arrows are displayed on the cover 1900 to indicate this.
  • FIG. 20 shows a state in which users listening to content through personal audio playback devices 200a, 200b, and 200c respectively connected to the content providing device 100 have entered the conversation mode from the simultaneous listening mode.
  • the content providing device 100 may be a TV device.
  • a sign 2000 indicating that the personal audio playback devices 200a, 200b, and 200c have entered the conversation mode is displayed on the display of the content providing device 100.
  • the illustrated sign 2000 is similar to the sign 1900 shown in FIG. 19, but unlike in FIG. 19 where arrows in each direction are used to indicate the speaker, in FIG. 20 the name (or identifier) of each device is used. The difference is that it is indicated at the bottom of the cover (2000).
  • the personal audio player 200c is currently speaking, and the identifier of the device may be Label 2.
  • the cover (2000) has Label 2 at the bottom.
  • 21 shows the progress of a conversation between users on the display of a content provision device in a situation in which a conversation mode between users is initiated through two personal audio playback devices respectively connected to the content provision device, according to an example of the present disclosure. It is a drawing showing each example situation in which a sign indicating is displayed.
  • FIG. 21 users listening to content through personal audio playback devices 200a and 200b respectively connected to the content providing device 100 enter the conversation mode from the simultaneous listening mode.
  • an indicator 2100 indicating that the personal audio playback devices 200a and 200b have entered the conversation mode is displayed on the display 170 of the content providing device 100.
  • the illustrated sign 2100 is similar to the signs 1700 and 1800 shown in FIGS. 17 and 18, but a description of the sound output settings in the currently applied conversation mode, for example, ANC mode deactivation, is displayed at the top (2101).
  • ANC mode deactivation is displayed at the top (2101).
  • the shapes of the marks 2102 and 2103 representing the personal audio playback devices 200a and 200b are different.
  • the display indications shown in FIGS. 13 to 21 are all illustrative and the present disclosure is not limited thereto. Various methods for displaying the progress of the conversation mode through the content providing device can be considered.
  • FIG. 22 is a diagram schematically showing an environment in which simultaneous listening and conversation modes can be applied through a plurality of VR devices, according to an example of the present disclosure.
  • the provided immersive content 2200 may be simultaneously provided by streaming from the same or different content providing devices (not explicitly shown).
  • the content providing device may be, for example, any wired or wireless communication device or server device capable of providing immersive content, and is not limited to a specific type.
  • two VR devices 200a' and 200b' may be connected to each other through a short-range wireless communication method, and the present disclosure is not limited thereto.
  • the VR devices 200a' and 200b' can enter conversation mode in response to a conversation mode request event occurring on either device while watching content in simultaneous listening mode according to the sound output settings set for each simultaneous listening mode. there is.
  • the sound output through the speakers of the VR devices 200a' and 200b' in the conversation mode may include the immersive content sound and the sound corresponding to the user's voice (obtained from the microphone on each device) overlaid thereon. may be possible, and the present disclosure is not limited thereto.
  • FIG. 23 is a diagram schematically showing a simultaneous listening environment by multiple users according to an example of the present disclosure.
  • FIG. 23 a simultaneous listening environment similar to that shown in Figure 1 is shown.
  • two personal audio playback devices 200a and 200b are respectively connected to the content providing device 100 in a wireless manner.
  • the audio signals acquired by the personal audio playback devices 200a and 200b from the same content providing device 100 are not the same content.
  • the user is watching different programs using the split mode of the content providing device 100 (e.g., TV device), and can also watch each program through the personal audio playback devices 200a and 200b. Content sounds that correspond to the current program and are different from each other are output.
  • the split mode of the content providing device 100 e.g., TV device
  • the content providing device 100 and each personal audio playback device 200a, 200b can enter the conversation mode and change sound for the conversation mode. Depending on the output settings, each content sound (different from each other) can be obtained.
  • FIGS. 24A and 24B show, according to an example of the present disclosure, when the sound according to the conversation voice is provided as three-dimensional sound generated/changed in consideration of the relative position change between personal audio playback devices when the conversation mode is in progress, the conversation
  • This is a diagram schematically showing the operation flow of starting, progressing, and ending the mode.
  • each personal audio playback device when a plurality of personal audio playback devices connect to a content providing device and enter a conversation mode while listening to content sounds of audio content in simultaneous listening mode, each personal audio The sound according to the user's spoken voice acquired through the microphone in the playback device may be overlaid with the content sound and provided through the speakers of each personal audio playback device.
  • the first and second personal audio playback devices may be communicatively connected to the content providing device.
  • each of the first and second personal audio playback devices may receive an audio content signal from the content providing device and play and output content sound based on the received audio signal.
  • the content sound may be generated and output according to the sound output setting for the simultaneous listening mode predetermined for each personal audio playback device.
  • an event indicating a conversation request has occurred on either the first or the second personal audio playback device.
  • the occurrence of the event may be transmitted to the other party's personal audio playback device (eg, another audio playback device in simultaneous listening mode).
  • the personal audio playback device where the event occurred has obtained a consent response from the other personal audio playback device that received such notification within a specified time.
  • a plurality of events that can be used to request initiation of a conversation mode in each personal audio playback device or to agree to the other party's request may be predefined. According to an example of the present disclosure, as shown, when there is a request to start a conversation mode from one device, the conversation mode can be entered if there is consent from the other device, but the present disclosure is not limited to this. no.
  • the conversation mode is entered, and the process proceeds to operation 2405, where the microphones of each personal audio player device on both sides can be activated.
  • the content providing device may receive a voice signal obtained from the microphone of each personal audio playback device.
  • each personal audio playback device can detect the magnitude and direction of movement of the device through sensors, such as an IMU sensor, a gyro sensor, a geomagnetic sensor, and various other motion sensors.
  • the content providing device and the personal audio playback device can each continuously acquire their relative positions through signal transmission and reception through short-range wireless communication.
  • the content providing device may monitor the relative position between the content providing device and/or the personal audio player.
  • the content providing device overlays the content audio signal to be provided to each personal audio playback device with the voice signal from each personal audio playback device obtained in operation 2406, It can be transmitted to a personal audio playback device.
  • the content providing device may appropriately overlay the content audio signal and the voice signal based on the audio output settings for the conversation mode and then transmit the content audio signal and the voice signal to each personal audio playback device.
  • the content providing device monitors the relative positions of the content providing device and/or the personal audio playback device in operation 2407 in overlaying the content audio signal and voice signal for transmission to each personal audio playback device. One result can be used.
  • the content processing device when the content processing device overlays the content audio signal and the voice signal for transmission to each personal audio playback device, the content processing device reflects the relative positions of the content providing device and the other party's personal audio playback device with respect to the personal audio playback device.
  • An acoustic signal can be generated.
  • each personal audio playback device may receive a signal in which a content audio signal and a voice signal are overlaid from the content providing device, and play and output sound based on the received signal.
  • the content providing device may determine whether a change has occurred in the relative positions of the content providing device and/or the personal audio playback device. When such a change occurs, in operation 2411, the content providing device may adjust the overlay signal of the content audio signal and the voice signal to reflect the changed relative position.
  • the content sound and the conversation sound are overlaid to the user through each personal audio player, and are provided in the form of three-dimensional sound that reflects the change in position between the content providing device and/or the personal audio player involved in the conversation mode. You can. As a result, users can feel the realism of listening to content and having a conversation in a natural state without such a device, even when listening to sound through the speaker of a personal audio player.
  • FIG. 25 visually illustrates a situation in which three-dimensional sound reflecting the relative positions of the personal audio playback device and the content providing device where the utterance occurred is provided to the personal audio playback device when the conversation mode is in progress, according to an example of the present disclosure. It is a drawing.
  • the audio content signal from the content providing device 100 and the user's spoken voice signal generated on the personal audio playback device 200b are provided to the personal audio playback device 200a.
  • the dotted line 2501 represents content sound according to the content signal from the content providing device 100
  • the thick solid line 2502 represents conversation sound according to the voice signal from the personal audio player 200b being spoken in conversation. It is for.
  • the content sound indicated by the dotted line 2501 may be a directional sound reflecting the relative position of the content providing device 100 with respect to the personal audio playback device 200a.
  • the conversation sound indicated by the solid line 2502 may be a directional sound that reflects the relative position of the personal audio player 200b with respect to the personal audio player 200a.
  • operation 2412 it may be determined whether an event indicating a request to end the conversation mode has occurred on either the first or the second personal audio playback device. If it is determined that such an event has occurred, in operation 2412, the content providing device may return the content playback time to the point before entering the conversation mode and enter the simultaneous listening mode again.
  • a personal audio playback device may proactively perform all or part of the various processes described above on behalf of the content providing device.
  • another personal communication device connected to the personal audio playback device may perform all or part of such various processes.
  • the description is mainly focused on a conversation mode between a plurality of personal audio playback devices connected to the same content providing device, but the present disclosure is not limited thereto.
  • the simultaneous listening mode of the present disclosure is considered to be in progress even in the case of personal audio playback devices that are connected to each content providing device and enjoy each audio content, and then predetermined When a predetermined event occurs, a conversation mode can be established between these personal audio playback devices.
  • a method for controlling sound output of audio playback devices 200a, 200b, and 200 is provided.
  • the audio playback device is capable of operating in a simultaneous listening mode with another audio playback device, and in the simultaneous listening mode, each of the audio playback device and the other audio playback device corresponds through a communication connection according to each corresponding sound output setting. It may operate to output content sound based on an audio content signal received streaming from the content providing device 100.
  • the method includes detecting a conversation request originating from another audio playback device while the audio playback device and the other audio playback device are operating in the simultaneous listening mode.
  • the method includes, in response to detecting the conversation request, causing the audio playback device to exit the simultaneous listening mode and enter a conversation mode, and changing the sound output settings corresponding to the audio playback device.
  • the method includes controlling the audio playback device to output the content sound based on the changed sound output setting while operating in the conversation mode.
  • the sound output setting of the audio playback device in the simultaneous listening mode may include a turn-on setting of the Active Noise Cancellation (ANC) function.
  • the changed audio output settings in the conversation mode may include a turn-off setting for the ANC function.
  • ANC Active Noise Cancellation
  • the audio playback device may include a microphone configured to pick up external noise.
  • the changed sound output setting may include a turn-on setting of a transparency mode so that noise sound based on the external noise is output along with the content sound.
  • the sound output setting of the audio playback device may include at least one of a volume setting and a three-dimensional sound effect setting for the content sound.
  • the changed sound output settings may include at least one changed setting among the volume setting and the stereoscopic sound effect setting.
  • the method includes detecting a conversation request to the other audio playback device generated on the audio playback device while the audio playback device and the other audio playback device are operating in the simultaneous listening mode, the other audio playback device In response to detecting a conversation request to an audio playback device, causing the audio playback device to exit the simultaneous listening mode and enter a conversation mode, and changing the sound output settings corresponding to the audio playback device, and The method may further include controlling the audio playback device to output the content sound based on the changed sound output settings while operating in the conversation mode.
  • the operation of detecting a conversation request to another audio playback device includes a predetermined touch input by the user that occurs on the audio playback device, input or release of a predetermined button, input or release of a predetermined key, It may include detecting at least one of voice input above a threshold, movement above the threshold, and movement in a predetermined pattern.
  • the operation of detecting a conversation request to the other audio playback device may include the operation of detecting a change in distance or angle between the audio playback device and the other audio playback device that meets a predetermined criterion. there is.
  • a signal notifying the occurrence of the conversation request to the other audio playback device is sent to the audio playback device through a communication connection.
  • the operation of notifying the corresponding content providing device or the other audio playback device may be further included.
  • the audio playback device may include a microphone configured to acquire voice input from a user.
  • the method controls, while operating in the conversation mode, the voice input obtained through the microphone to be transmitted from the audio playback device to the content providing device corresponding to the audio playback device or the other audio playback device. Additional actions may be included.
  • the other audio playback device may include a second microphone configured to acquire voice input from a second user.
  • the method includes, while operating in the conversation mode, the audio playback device, based on the changed sound output settings, overlays the content sound to produce conversation sound based on the voice input obtained from the other audio playback device.
  • An operation to control output may be further included.
  • the method may further include detecting the relative positions of each of the content device and the other audio playback device corresponding to the audio playback device with respect to the audio playback device.
  • the changed sound output settings may include stereoscopic sound effect settings for the content sound and the conversation sound based on the detected relative positions.
  • the method may further include detecting a request to end the conversation mode generated on the audio playback device or the other audio playback device while operating in the conversation mode.
  • the method includes, when the end request is detected, allowing the audio playback device to exit the conversation mode and enter the simultaneous listening mode, and restoring the changed sound output settings to the sound output settings before the change, and
  • the method may further include controlling the audio playback device to output the content sound based on the restored sound output setting.
  • the operation of detecting a request to end the conversation mode may include a predetermined touch input occurring on the audio playback device or the other audio playback device, a predetermined button input or release, a predetermined key input or release, or a predetermined button input or release. It may include detecting at least one of no voice input exceeding the threshold for a period of time or longer, no movement exceeding the threshold for a predetermined period of time, and movement in a predetermined pattern.
  • the electronic device includes a memory 130 or 220 that stores at least one instruction, and at least one processor 140 or 230 that is electrically connected to the memory 130 or 220 and executes the at least one instruction. It can be included.
  • the at least one processor 140 or 230 may be configured to perform any one of the above-described methods.
  • the electronic device establishes a communication connection with each of the audio processing circuit 150, the display 170, the audio playback device, and the other audio playback device that provides an audio content signal according to a timeline, It may further include a communication circuit 110 configured to transmit the audio content signal from the audio processing circuit 150 to each of the audio playback device and the other audio playback device through the communication connection.
  • a communication circuit 110 configured to transmit the audio content signal from the audio processing circuit 150 to each of the audio playback device and the other audio playback device through the communication connection.
  • Each of the audio processing circuit 150, the display 170, and the communication circuit 110 may be connected to the processor 140.
  • the processor 140 transmits the audio content signal to each of the audio playback device and the other audio playback device through the communication circuit 110, while communicating with the other audio playback device from the audio playback device.
  • a request is detected, and when the conversation request is detected, an indicator (1300, 1400, 1500, 1600, 1710, 1720, 1900) indicates the conversation state between the audio playback device and the
  • the indicator indicating the conversation state may include icons 1710, 1720, 2102, and 2103 indicating each of the audio playback devices.
  • the indicator indicating the conversation state may include an indication (1400, 1500, 1600, 1710, 1720, 1900, 2000, 2102) of the device in which speech input is currently occurring among the audio playback devices. .
  • the processor 140 when detecting the conversation request, stores corresponding timeline information regarding the audio content signal, and stores the audio playback device and the other audio playback device generated by the conversation request. Detect the end of a conversation, and when the end of the conversation is detected, cause the audio processing circuit 150 to move the provision time of the audio content signal on the timeline based on the stored timeline information. It can be configured further.
  • the processor 140 moves the provision time of the audio content signal on the timeline based on the stored timeline information through the display 170.
  • the audio content signal transmitted to each of the audio playback device and the other audio playback device through the communication circuit 110 may include different content information.
  • unit or “module” used in various embodiments of this document may include a unit implemented with hardware, software, or firmware, for example, logic, logic block, component, or circuit. Can be used interchangeably with the same term.
  • the “ ⁇ part” or “ ⁇ module” may be an integrated part or a minimum unit of the part or a part thereof that performs one or more functions.
  • “ ⁇ unit” or “ ⁇ module” may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • the program executed by the content providing device 100, personal communication device 600a, 600b, personal audio player 200, etc. described in this document includes hardware components, software components, and/or hardware components and It can be implemented as a combination of software components.
  • a program can be executed by any system that can execute computer-readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software may be implemented as a computer program including instructions stored on computer-readable storage media.
  • Computer-readable storage media include, for example, magnetic storage media (e.g., ROM (Read-Only Memory), RAM (Random-Access Memory), floppy disk, hard disk, etc.) and optical read media (e.g., CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable storage medium is distributed across networked computer systems, so that computer-readable code can be stored and executed in a distributed manner.
  • Computer programs may be distributed (e.g., downloaded or uploaded) online, through an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • two user devices e.g., smart phones
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

제1 오디오 재생장치의 음향 출력을 제어하는 방법이 제공된다. 상기 제1 오디오 재생장치는 제2 오디오 재생장치와 동시청취 모드에서 동작 가능하고, 상기 동시청취 모드에서 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치 각각은, 각 대응하는 음향 출력 설정에 따라, 통신 접속을 통해 대응 컨텐츠 제공 장치로부터 스트리밍 수신되는 오디오 컨텐츠 신호에 기초한 컨텐츠 음향을 출력하도록 동작한다. 상기 방법에 따르면, 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 제2 오디오 재생장치로부터 발생한 대화 요청을 감지할 수 있다. 상기 방법에 따르면, 상기 대화 요청의 감지에 응답하여, 상기 제1 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와 대화모드로 진입하도록 하고, 상기 제1 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경할 수 있다. 상기 방법에 따르면, 상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어할 수 있다.

Description

오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치
본 개시의 다양한 실시예들은, 모드에 따라 개인용 오디오 재생장치의 음향 출력을 자동으로 제어하는 방법 및 그러한 방법을 수행하는 전자 장치에 관한 것이다.
팬데믹 이후 가족 구성원들이 집안 같은 공간에 함께 머무르며 각자의 활동을 하는 시간이 늘어나고 있다. 같은 공간 안에 있으면서도 가족 구성원 각자는 게임을 즐기거나, TV를 시청하거나, 음악을 청취하거나, 조용하게 수면을 취하는 등 저마다의 오디오 경험을 희망할 수 있다. 이러한 현상은, 비단 집안에서 만이 아니라 다양한 공간의 다양한 사람들 간에도 발생할 수 있다. 이러한 환경에서 오디오 충돌을 피하기 위해 근래에는 동일 공간 내 위치한 각각의 사람들이 저마다 개인용 오디오 재생장치(예: 무선 헤드폰, 무선 이어폰)를 이용하는 경우가 늘고 있다. 개인용 오디오 재생장치들은, 외부 잡음 차단이나 입체 음향효과 등 사용자를 위한 몰입형 오디오 청취 경험을 제공하기 위한 다양한 기능을 제공하고 있다.
사람들은 각자의 개인용 오디오 재생장치를 활용하여 하나의 동일한 컨텐츠 제공 장치에 함께 접속하거나 근거리의 서로 다른 복수의 컨텐츠 제공 장치에 각각 접속하여 컨텐츠 제공 장치(들)로부터 제공되는 컨텐츠를 소비하는 경우가 있다. 예컨대, 집안에서 아기가 자는 동안 부부는 각자 무선 헤드폰을 낀 채 동일한 TV 프로그램(또는 동일한 TV가 제공하는 각각 별개의 프로그램)을 동시에 시청할 수 있다. 컨텐츠 제공 장치에 접속된 각각의 개인용 오디오 재생장치를 통하여 동시에 컨텐츠를 청취하는 중에 사람들은 서로 간단한 대화를 하기 원할 수 있는데, 원활한 대화를 위해서는 개인용 오디오 재생장치를 잠시 벗어 두어야 할 수 있다. 대화가 필요할 때마다 개인용 오디오 재생장치를 벗어 두었다가 이후 다시 착용하는 절차는 사용자의 컨텐츠 청취 경험을 해칠 수 있다.
본 개시의 일 측면에 따르면, 제1 오디오 재생장치의 음향 출력을 제어하는 방법이 제공된다. 상기 제1 오디오 재생장치는 제2 오디오 재생장치와 동시청취 모드에서 동작 가능하고, 상기 동시청취 모드에서 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치 각각은, 각 대응하는 음향 출력 설정에 따라, 통신 접속을 통해 대응 컨텐츠 제공 장치로부터 스트리밍 수신되는 오디오 컨텐츠 신호에 기초한 컨텐츠 음향을 출력하도록 동작한다. 상기 방법은, 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 제2 오디오 재생장치로부터 발생한 대화 요청을 감지하는 동작을 포함할 수 있다. 상기 방법은, 상기 대화 요청의 감지에 응답하여, 상기 제1 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와 대화모드로 진입하도록 하고, 상기 제1 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경하는 동작을 포함할 수 있다. 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 포함한다.
본 개시의 다른 측면에 따르면, 적어도 하나의 명령어를 저장하는 메모리, 및 상기 메모리와 전기적으로 연결되고, 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함한 전자 장치가 제공된다. 상기 적어도 하나의 프로세서는, 제1 오디오 재생장치의 음향 출력을 제어하는 방법을 수행하도록 구성된다. 상기 제1 오디오 재생장치는 제2 오디오 재생장치와 동시청취 모드에서 동작 가능하고, 상기 동시청취 모드에서 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치 각각은, 각 대응하는 음향 출력 설정에 따라, 통신 접속을 통해 대응 컨텐츠 제공 장치로부터 스트리밍 수신되는 오디오 컨텐츠 신호에 기초한 컨텐츠 음향을 출력하도록 동작한다. 상기 방법은, 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 제2 오디오 재생장치로부터 발생한 대화 요청을 감지하는 동작을 포함할 수 있다. 상기 방법은, 상기 대화 요청의 감지에 응답하여, 상기 제1 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와 대화모드로 진입하도록 하고, 상기 제1 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경하는 동작을 포함할 수 있다. 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 포함할 수 있다.
본 개시의 일 예에 따르면, 사용자들은, 각각의 개인용 오디오 재생장치를 통하여 컨텐츠를 청취하는 중 잠시 대화를 하려는 경우, 별도의 번거로운 조작 없이 각 사용자가 개인용 오디오 재생장치를 착용한 상태 그대로 원활하게 대화를 진행할 수 있다.
본 개시의 일 예에 따르면, 각 사용자는 개인용 오디오 재생장치를 착용한 상태에서 대화를 진행할 때 자신에 대한 컨텐츠 제공 장치 및 상대방 사용자의 위치가 반영된 지향성 음향을 획득할 수 있고, 마치 개인용 오디오 재생장치를 착용하지 않은 것과 같은 현장감 있는 대화를 진행할 수 있다. 본 개시의 일 예에 따르면, 사용자들은, 대화가 종료된 후, 착용 중인 개인용 오디오 재생장치를 통해 계속하여 최적화된 컨텐츠 청취 경험을 이어갈 수 있다.
본 개시의 일 예에 따르면, 복수의 오디오 재생장치의 출력 설정을 모드에 따라 동시에 적절히 변경하는 방법은 다양한 상황에서 적용될 수 있다. 예컨대, 갤러리에서 각 관람자가 개인용 오디오 재생장치를 착용하고서 작품 설명에 관한 오디오 컨텐츠를 감상하는 중에, 관람자와 설명자(도슨트) 간의 질의응답이 발생할 수 있다. 그러한 경우, 관람자와 설명자가 착용한 오디오 재생장치의 음향 출력 설정이 일시적으로 변경되어, 설명자의 오디오 재생장치에서 획득된 음성 입력에 기초한 대화 음향이 기존의 컨텐츠 음향과 오버레이되어 관람자의 오디오 재생장치에서 출력될 수 있다. 일 예에서는, 관람자와 설명자 간의 질의응답이 이루어지는 동안(예컨대, 대화모드 상태 중에서), 기존의 작품 설명에 관한 컨텐츠 음향의 볼륨을 줄이고 대화 음향의 볼륨을 높이는 등 다양한 조정이 이루어질 수 있다.
도 1은, 본 개시의 일 예에 따라, 복수의 개인용 오디오 재생장치를 통하여 동시청취 및 대화모드가 적용될 수 있는 환경을 개략적으로 도시한 도면이다.
도 2는, 본 개시의 일 예에 따른 컨텐츠 제공 장치의 기능 구성을 개략적으로 도시한 기능 블록도이다.
도 3은, 본 개시의 일 예에 따른 개인용 오디오 재생장치의 기능 구성을 개략적으로 도시한 기능 블록도이다.
도 4a 및 도 4b는, 본 개시의 일 예에 따라, 복수의 개인용 오디오 재생장치가 컨텐츠 제공 장치에 접속하여 동시청취를 진행하고, 요청을 통해 사용자들 간 대화모드가 개시, 진행 및 종료되도록 하는 절차를 개략적으로 도시한 동작 흐름도이다.
도 5는, 본 개시의 일 예에 따라, 동시청취를 위하여, 복수의 개인용 오디오 재생장치가 컨텐츠 제공 장치에 접속되는 과정의 흐름을 개략적으로 도시한 도면이다.
도 6은, 본 개시의 일 예에 따라, 동시청취를 위하여, 복수의 개인용 오디오 재생장치가 컨텐츠 제공 장치에 접속되는 과정의 흐름을 개략적으로 도시한 도면이다.
도 7은, 본 개시의 일 예에 따라, 대화모드 해제 과정에서 컨텐츠 제공 장치의 디스플레이 상에 표시되는 예시적 화면이 도시된 도면이다.
도 8은, 본 개시의 일 예에 따라, 대화모드에서 사용될 개인용 오디오 재생장치를 위한 음향 출력 설정을 표시 및/또는 변경하기 위한 예시적 사용자 인터페이스들을 도시한 도면이다.
도 9는, 본 개시의 일부 예들에서, 개인용 오디오 재생장치 상에서 동시청취 모드 중 발생하는 대화모드 개시 요청과, 대화모드 중 발생하는 대화모드 종료 요청으로 각각 이용될 수 있는 예시적 이벤트들을 열거한 표이다.
도 10은, 본 개시의 일 예에서, 버튼 입력에 따라 대화모드가 개시 및 진행되는 경우를 보여주는 도면이다.
도 11은, 본 개시의 일 예에서, 개인용 오디오 재생장치에서 감지되는 소정의 변동 발생에 따라 대화모드가 개시 및 종료되는 경우의 동작 흐름을 개략적으로 도시한 도면이다.
도 12는, 본 개시의 일 예에 따라, 대화모드의 개시로 인식될 수 있는 개인용 오디오 재생장치에서 발생 가능한 변동의 예들을 보여주는 도면이다.
도 13 내지 도 16은, 본 개시의 일 예에 따라, 컨텐츠 제공 장치에 각각 접속된 두 개의 개인용 오디오 재생장치를 통하여 사용자들 간 대화모드가 진행되는 경우 컨텐츠 제공 장치의 디스플레이 상에 대화의 진행을 나타내는 표지가 표시되는 상황들을 보여주는 도면들이다.
도 17 및 도 18은, 본 개시의 일 예에 따라, 컨텐츠 제공 장치에 각각 접속된 두 개의 개인용 오디오 재생장치를 통한 사용자들 간 대화모드가 진행되는 경우 컨텐츠 제공 장치의 디스플레이 상에 대화의 진행을 나타내는 표지가 표시되는 상황들을 보여주는 도면들이다.
도 19 및 도 20은, 본 개시의 일부 예들에 따라, 컨텐츠 제공 장치에 각각 접속된 세 개의 개인용 오디오 재생장치를 통한 사용자들 간 대화모드가 진행되는 경우 컨텐츠 제공 장치의 디스플레이 상에 사용자들 간 대화의 진행을 나타내는 표지가 표시되는 각각의 예시적 상황을 보여주는 도면들이다.
도 21은, 본 개시의 일 예에 따라, 컨텐츠 제공 장치에 각각 접속된 세 개의 개인용 오디오 재생장치를 통한 사용자들 간 대화모드가 개시되는 상황에서 컨텐츠 제공 장치의 디스플레이 상에 사용자들 간 대화의 진행을 나타내는 표지가 표시되는 각각의 예시적 상황을 보여주는 도면이다.
도 22는, 본 개시의 일 예에 따라, 복수의 VR 장치를 통하여 동시청취 및 대화모드가 적용될 수 있는 환경을 개략적으로 도시한 도면이다.
도 23은, 본 개시의 일 예에 따른, 복수 사용자에 의한 동시청취 환경을 개략적으로 도시한 도면이다.
도 24a 및 도 24b는, 본 개시의 일 예에 따라, 대화모드 진행 시 대화 음성에 따른 음향을, 개인용 오디오 재생장치들 간 상대적 위치 변화를 고려하여 생성/변경되는 입체음향으로서 제공하는 경우, 대화모드의 개시, 진행, 및 종료의 동작 흐름을 개략적으로 도시한 도면이다.
도 25는, 본 개시의 일 예에 따라, 대화 모드 진행 시 개인용 오디오 재생장치에 대해, 발화가 발생한 개인용 오디오 재생장치 및 컨텐츠 제공 장치의 상대적 위치가 반영된 입체음향이 제공되는 상황을 시각적으로 도시한 도면이다.
이하 첨부된 도면을 참고하여 일 예를 상세히 설명한다. 후술될 설명에서, 상세한 구성 및 구성 요소와 같은 특정 세부 사항은 단지 본 개시의 실시예들에 대한 전반적인 이해를 돕기 위해 제공될 것이다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
도 1은, 본 개시의 일 예에 따라, 복수의 개인용 오디오 재생장치를 통하여 동시청취 및 대화모드가 적용될 수 있는 환경을 개략적으로 도시한 도면이다.
도시된 바에 의하면, 컨텐츠 제공 장치(100)에 대해 두 개의 개인용 오디오 재생장치(200a, 200b)가 각각 무선 방식으로 접속되어 있다. 도시된 바와 같이, 컨텐츠 제공 장치(100)는, TV 장치일 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 컨텐츠 제공 장치(100)는 모바일 단말, 태블릿, 컴퓨터, 각종 음향 기기 등 오디오 컨텐츠 신호를 제공하는 다양한 기기일 수 있고 특정 형태로 제한되지 않는다.
개인용 오디오 재생장치(200a, 200b)를 각각 착용한 사용자들은 동시청취 모드에서 컨텐츠 제공 장치(100)로부터 제공되는 컨텐츠, 예컨대 TV 프로그램을 시청할 수 있다. 본 개시에서, 동시청취 모드는, 예컨대 복수의 개인용 오디오 재생장치가 각각 동일하거나 상이한 컨텐츠 제공 장치에 통신 접속된 상태에서, 컨텐츠 제공 장치로부터 제공되는 오디오 컨텐츠 신호를 동시에 각각 스트리밍 수신하여 사용자 청취를 위해 재생하는 동작 상태를 지칭할 수 있다.
일 예에서, 개인용 오디오 재생장치(200a, 200b)를 각각 착용한 사용자들 각각은 대화모드에서 컨텐츠 제공 장치(100)로부터 제공되는 컨텐츠, 예컨대 TV 프로그램을 시청하면서, 상대방 개인용 오디오 재생장치 상의 사용자와 대화를 진행할 수 있다. 대화모드에서, 각 개인용 오디오 재생장치(200a, 200b)는, 동시청취 모드와 유사하게 컨텐츠 제공 장치로부터 제공되는 오디오 신호를 스트리밍 수신하여 사용자 청취를 위해 재생하지만, 각각 개인용 오디오 재생장치(200a, 200b)를 착용한 사용자들 간에 원활한 대화가 이루어지도록 재생 출력되는 오디오 신호 음향 상태가 변경되어 출력되는 동작 상태를 지칭할 수 있다. 예컨대, 대화모드에서는, 동시청취 모드의 경우보다, 각 개인용 오디오 재생장치(200a, 200b)에서 출력되는 컨텐츠 제공 장치로부터의 컨텐츠 음향의 볼륨이 자동으로 감소된 상태일 수 있고, 이제 한정되지는 않는다.
도 1에 도시된 바와 같이, 전체 사용자들이 동시청취 모드에서 시청 중인 컨텐츠는 동일할 수 있으나, 본 개시가 이로써 제한되는 것은 아니다. 도 1에 도시된 바와 같이, 전체 사용자들이 동시청취 모드에서 동일한 컨텐츠 제공 장치에 접속 중일 수 있으나, 본 개시가 이로써 제한되는 것은 아니다. 일 예에 따르면, 각각 자신의 개인용 오디오 재생장치를 착용한 사용자들은, 동일한 컨텐츠 제공 장치(100)에 접속되어, 컨텐츠 제공 장치(100)에서 제공되는 각각 별개의 컨텐츠, 예컨대 각각 별개의 TV 프로그램을 시청할 수 있다. 본 개시의 일 예에 따르면, 각각 자신의 개인용 오디오 재생장치를 착용한 사용자들은, 서로 다른 각각의 컨텐츠 제공 장치에 접속되어, 각 컨텐츠 제공 장치에서 제공되는 컨텐츠를 시청할 수 있다.
도 2는, 본 개시의 일 예에 따른 컨텐츠 제공 장치의 기능 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 컨텐츠 제공 장치(100)는 통신부(110), 컨텐츠 획득부(120), 메모리(130), 제어부(140), 오디오 처리부(150), 음향 출력부(160), 디스플레이(170) 및 센서부(180)를 포함할 수 있다.
일 예에서, 통신부(110)는 하나 이상의 유무선 통신 프로토콜에 따라 외부 장치와의 통신 접속을 수립할 수 있다. 일 예에 따르면, 통신부(110)는, 하나 이상의 개인용 오디오 재생장치(예컨대, 무선 헤드폰, 무선 이어폰) 및/또는 개인 통신장치(예컨대, 스마트폰, 태블릿 등 각종 개인 모바일 단말) 각각과 무선 접속을 수립하고 이를 통해 통신할 수 있다. 일 예에서, 통신부(110)는, 예컨대 Wi-Fi, 블루투스, UWB, IrDA 등을 비롯한 임의의 근거리 무선 통신 프로토콜에 기초하여 통신할 수 있다. 일 예에 따르면, 통신부(110)는, 예컨대 후술하는 바에 따라 개인용 오디오 재생장치(도 1의 200a, 200b)와 접속되어 근거리 무선 통신 채널을 수립하고, 수립된 통신 채널을 통해, 예컨대 후술하는 컨텐츠 제공 장치(100)의 오디오 처리부(150)로부터 출력되는 오디오 컨텐츠 신호를 송신할 수 있다. 일 예에 따르면, 통신부(110)는, 개인용 오디오 재생장치(도 1의 200a, 200b)에서 획득되어 전송된 사용자 입력 제어 정보, 음성 정보, 각종 상태 센싱 정보, 위치 정보 등 다양한 정보를 수신할 수 있다. 일 예에 따르면, 통신부(110)는 또한, 개인용 오디오 재생장치로부터 전송되어 통신부(110)에서 수신된 전술한 사용자 입력 제어 정보, 음성 정보, 각종 상태 센싱 정보, 위치 정보 등 다양한 정보를 근거리 무선 통신 프로토콜에 따라 통신부(110)에 접속된 다른 개인용 오디오 재생장치로 전송할 수 있다.
일 예에 따르면, 컨텐츠 획득부(120)는, 다양한 유무선 방식 중 임의의 방식에 따라 다양한 외부 컨텐츠 소스 장치로부터 멀티미디어 컨텐츠 데이터를 수신할 수 있다. 일 예에 의하면, 멀티미디어 컨텐츠 데이터는, 예컨대 동영상 또는 정지 영상의 비디오 데이터 또는 음성 또는 음악의 오디오 데이터를 포함할 수 있다. 일 예에 의하면, 컨텐츠 획득부(120)는, 예컨대 공중에 방송되는 무선 전파 신호들 중에서 특정 채널(주파수)의 신호(예컨대, 방송 신호)를 튜닝함으로써 선택적으로 각 방송 컨텐츠 데이터를 수신할 수 있다. 일 예에 의하면, 컨텐츠 획득부(120)는 다양한 종류의 영상 전송 케이블, 예컨대 컴포넌트 케이블, CVBS 케이블, HDMI 케이블, USB 케이블, 이더넷 케이블 등을 이용한 유선 방식으로 또는 Wi-Fi, 블루투스, 지그비, Z-웨이브 등의 근거리 무선 프로토콜에 따라 소정의 컨텐츠 소스 장치, 예컨대 셋탑 박스 또는 기타 외부 컨텐츠 소스 장치로부터 컨텐츠 데이터를 수신할 수 있다. 일 예에 의하면, 컨텐츠 획득부(120)는, 예컨대 TCP/IP, UDP, HTTP, HTTPS, FTP, SFTP, MQTT, GSM, CDMA, WCDMA, WiMAX, LTE, LTE-A, 5G, 또는 6G 등 임의의 유무선 통신 프로토콜에 따라 외부의 컨텐츠 제공 서버로부터 각종 컨텐츠 데이터를 수신할 수 있다. 일 예에 의하면, 외부의 컨텐츠 서버는, 예컨대 IPTV 서버, OTT 서버 등일 수 있고, 본 개시가 특정 형태로 제한되는 것은 아니다. 본 도면 및 설명에서는, 컨텐츠 제공 장치(100)가 컨텐츠 획득부(120) 구성을 구비하는 경우를 중심으로 설명되어 있으나 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 예에서는, 컨텐츠 획득부(120)를 구비하지 않은 컨텐츠 제공 장치(100)가 이용될 수 있다.
일 예에 따르면, 메모리(130)는, 컨텐츠 제공 장치(100)의 각 구성요소에 의해 사용될 수 있는 다양한 데이터를 저장할 수 있다. 메모리(130)는, 예를 들어 컨텐츠 제공 장치(100)의 기능 수행에 이용될 수 있는 각종 소프트웨어, 프로그램 및 관련된 입출력 데이터를 포함할 수 있다. 일 예에서, 메모리(130)는 다양한 형태의 컨텐츠 데이터를 저장할 수 있다. 일 예에서, 메모리(130)는, 통신부(110)와 통신 접속이 가능한 각 개인용 오디오 재생장치(도 1의 200a, 200b)의 장치 정보, 예컨대 맥 주소, 식별 정보, 보안 키 정보, 및/또는 위치 정보 등을 저장할 수 있다. 일 예에서, 메모리(130)는, 통신부(110)를 이용한 무선 통신 접속을 통해, 각 개인용 오디오 재생장치(도 1의 200a, 200b)로부터 수신한, 각종 제어 정보 및/또는 센싱 정보 등을 저장할 수 있다. 일 예에서, 메모리(130)는, 통신부(110)와 통신 접속이 가능한 개인용 오디오 재생장치(도 1의 200a, 200b) 각각에 관하여 설정된 음향 설정 정보(예컨대, 해당 개인용 오디오 재생장치로 제공할 오디오 컨텐츠 신호의 처리에 적용될 각종 제어 정보)를 저장할 수 있다. 일 예에서, 메모리(130)는, 개인용 오디오 재생장치(도 1의 200a, 200b) 각각에 관하여 설정된, 동시청취 모드(또는 통상의 청취모드)를 위한 음향 설정 정보와, 후술하는 대화모드를 위한 음향 설정 정보를 저장할 수 있다. 일 예에서, 메모리(130)에 저장되는 각 개인용 오디오 재생장치(도 1의 200a, 200b)를 위한 음향 설정 정보는, 예컨대 볼륨 정보, ANC 회로 활성화 여부 정보, 투명(Transparency) 모드 적용 여부 정보, 입체음향 효과 생성을 위한 파라미터들이나 조정기준 등을 포함할 수 있다. 일 예에서, 메모리(130)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
일 예에 따르면, 제어부(140)는 컨텐츠 제공 장치(100)의 각 구성요소의 전반적 동작을 제어할 수 있다. 일 예에서, 제어부(140)는, 통신부(110)가 개인용 오디오 재생장치(도 1의 200a, 200b) 각각과 통신 접속되도록 제어할 수 있다. 일 예에서, 제어부(140)는, 통신부(110)를 통해 개인용 오디오 재생장치(도 1의 200a, 200b)로부터 수신된 각종 정보, 예컨대 사용자 입력 제어 정보, 음성 정보, 각종 상태 센싱 정보, 위치 정보 등을 획득할 수 있다. 일 예에서, 제어부(140)는, 개인용 오디오 재생장치(도 1의 200a, 200b)로부터의 각종 정보에 기초하여, 예컨대 대화모드 개시 요청, 대화모드 진입 동의, 및/또는 대화모드 해제 요청을 감지할 수 있다. 일 예에서, 제어부(140)는, 통신 접속된 개인용 오디오 재생장치(도 1의 200a, 200b)에 관한 동시청취 모드 및/또는 대화모드로의 진입을 결정할 수 있다. 일 예에서, 제어부(140)는, 통신 접속된 개인용 오디오 재생장치(도 1의 200a, 200b)에 관하여 동시청취 모드 및/또는 대화모드로의 진입을 결정한 경우, 그에 대응하는 음향 출력 설정을 결정할 수 있다. 일 예에서, 제어부(140)는, 결정된 음향 출력 설정에 따라 후술하는 오디오 처리부(160)가 오디오 신호를 처리하도록 제어할 수 있다. 일 예에서 제어부(140)는, 결정된 음향 출력 설정에 관한 정보를, 통신부(110)를 통해 대응하는 개인용 오디오 재생장치로 전달할 수 있다. 전술한 바와 같이, 개인용 오디오 재생장치 각각을 위한 음향 출력 설정 정보에는, 예컨대 볼륨 정보, ANC 회로 활성화 정보, 투명모드 적용 여부 정보, 입체음향 효과 생성을 위한 파라미터들이나 조정기준 등이 포함될 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
일 예에서, 제어부(140)는, 대화모드 중에 통신부(110)를 통해 개인용 오디오 재생장치(도 1의 200a, 200b)로부터 수신된 음성 정보가, 오디오 처리부(150)를 거쳐 처리된 후 대화모드 중에 있는 다른 개인용 오디오 재생장치로 전달되도록 할 수 있다. 일 예에서, 제어부(140)는, 통신부(110)를 통해 개인용 오디오 재생장치(200)로부터 획득된 각종 사용자 입력 정보를, 컨텐츠 제공 장치(100)에 접속된 다른 개인용 오디오 재생장치(200)로 전달할 수 있다.
일 예에서, 오디오 처리부(150)는, 통신부(110) 또는 컨텐츠 획득부(120)를 통해 획득된 오디오 신호를 수신할 수 있다. 일 예에서, 오디오 처리부(150)는, 통신부(110)를 통해 개인용 오디오 재생장치(도 1의 200a, 200b)에서 획득된 음성 및/또는 음향 신호를 수신할 수 있다. 일 예에서, 오디오 처리부(150)는, 컨텐츠 획득부(120)를 통해 획득된 멀티미디어 컨텐츠의 오디오 신호를 수신할 수 있다. 일 예에서, 오디오 처리부(150)는 또한 컨텐츠 제공 장치(110)의 다른 구성 요소, 예컨대 메모리(130) 또는 제어부(140)로부터 오디오 신호를 획득할 수 있다.
일 예에서, 오디오 처리부(150)는, 획득한 오디오 신호에 대한 다양한 처리를 수행할 수 있다. 일 예에서, 오디오 처리부(150)는, 획득된 복수의 아날로그 오디오 신호를 하나의 아날로그 오디오 신호로 합성하고, 디지털 오디오 신호로 변환할 수 있다. 일 예에서, 오디오 처리부(150)는 디지털 오디오 신호에 대해, 제어부(140)에 의해 결정된 음향 출력 설정에 따라, 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄 처리, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오 간 전환), 입체음향 처리, 합성(mixing), 또는 지정된 신호 추출 등 다양한 처리를 수행할 수 있다. 일 예에서, 오디오 처리부(150)는, 예컨대 디지털 오디오 신호로부터 복수의 채널들로 나누어진 입체음향 오디오 신호(예: 스테레오 또는 5.1채널 신호)를 생성할 수 있다. 일 예에 따르면, 오디오 처리부(150)는, Dolby Atmos 방식의 객체 기반 입체음향 오디오 신호를 생성할 수 있다. 일 예에서, 오디오 처리부(150)에서 처리된 디지털 오디오 신호는 통신부(110)를 통해 통신 접속된 개인용 오디오 재생장치(도 1의 200a, 200b)로 전송될 수 있다. 일 예에서, 오디오 처리부(150)는, 처리된 디지털 오디오 신호를 아날로그 오디오 신호로 변환하여 출력할 수 있다.
일 예에서, 오디오 처리부(150)로부터 출력된 아날로그 오디오 신호는 음향 출력부(160)를 통해 외부로 출력될 수 있다. 일 예에서, 음향 출력부(160)는, 하나 이상의 스피커를 포함할 수 있다. 일 예에서, 오디오 처리부(150)로부터 생성 및 출력된 입체음향 오디오 신호는, 음향 출력부(160)의 복수의 스피커를 통하여 출력될 수 있다.
일 예에 따르면, 디스플레이(170)는, 통신부(110) 및/또는 컨텐츠 획득부(120)에서 획득된 컨텐츠를 시각적으로 출력할 수 있다. 일 예에 따르면, 디스플레이(170)는, 개인용 오디오 재생장치(도 1의 200a, 200b) 각각의 설정 정보를 제어하기 위한 사용자 인터페이스를 표시할 수 있다. 일 예에서, 디스플레이(170)는, 컨텐츠 제공 장치(100)에 각각 접속된 복수의 개인용 오디오 재생장치(도 1의 200a, 200b) 간에 대화모드가 개시된 경우, 그러한 대화모드의 개시 상태를 나타내는 표지, 복수의 개인용 오디오 재생장치 간 대화 진행 상태를 나타내는 표지(예컨대, 발화자에 대응하는 기기를 나타내는 표지 포함) 등을 표시할 수 있다. 일 예에서, 디스플레이(170)는 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light-emitting diode, LED) 디스플레이, 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 또는 마이크로 전자 기계 시스템(micro electromechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 중 어느 하나로 구현될 수 있으며, 이에 한정하는 것은 아니다. 일 예에서, 디스플레이(170)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 예에 따르면, 디스플레이(170)은 터치를 감지하도록 설정된 터치 센서, 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
일 예에 따르면, 센서부(180)는 컨텐츠 제공 장치(100)의 동작 상태, 환경 상태 등을 감지하기 위한 하나 이상의 센서를 포함할 수 있다. 일 예에서, 센서부(180)는, 예를 들어 지자계 센서, IMU 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, GPS 센서 및/또는 조도 센서를 포함할 수 있다. 일 예에서, 센서부(180)는 컨텐츠 제공 장치(100)의 움직임 정보(예: 컨텐츠 제공 장치(100)의 움직임 방향 정보 및/또는 컨텐츠 제공 장치(100)의 기울기 정보 등)를 획득할 수 있다.
도 2와 관련하여 전술한 컨텐츠 제공 장치(100)의 구성은 단지 예시적인 것이며, 본 개시가 적용될 수 있는 컨텐츠 제공 장치는 전술한 것과 달리 변형된 구성 및 기능을 가질 수 있다.
도 3은, 본 개시의 일 예에 따른 개인용 오디오 재생장치의 기능 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 개인용 오디오 재생장치(200)는 통신부(210), 메모리(220), 제어부(230), 마이크(240), 오디오 처리/음향 출력부(250), 시각 출력부(260) 및 센서부(270)를 포함할 수 있다. 도 3에 도시된 개인용 오디오 재생장치(200)는, 도 1의 개인용 오디오 재생장치(200a, 200b) 각각에 대응할 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
일 예에서, 통신부(210)는 하나 이상의 유무선 통신 프로토콜에 따라 외부 장치와 통신 접속을 수립할 수 있다. 일 예에서, 통신부(210)는, 예컨대 Wi-Fi, 블루투스, UWB, IrDA 등을 비롯한 임의의 근거리 무선 통신 프로토콜에 기초한 통신을 지원할 수 있다. 일 예에 따르면, 통신부(210)는, 예컨대 근거리 무선 통신 채널을 통해, 도 1의 컨텐츠 제공 장치(100) 및/또는 별도의 다른 개인 통신장치(예컨대, 컨텐츠 제공 장치(100)와의 통신을 중개하는 중간장치인 스마트폰, 태블릿 등 개인 단말) 각각과 무선 접속을 수립하고 이를 통해 통신할 수 있다. 일 예에 따르면, 통신부(210)는, 예컨대 근거리 무선 통신 채널을 통해, 다른 개인용 오디오 재생장치와 신호를 송수신할 수 있다.
일 예에 따르면, 통신부(210)는 컨텐츠 제공 장치(100)에 근거리 무선 통신 접속을 수립하고, 수립된 통신 채널을 통해 각종 신호 정보, 예컨대 오디오 컨텐츠 신호 및 각종 설정/제어 정보를 수신할 수 있다. 일 예에 따르면, 통신부(210)는, 임의의 근거리 무선 통신 프로토콜에 따라, 해당 개인용 오디오 재생장치(200)와 유사한 외부 장치, 예컨대 도 1의 컨텐츠 제공 장치(100)에서 획득된 음성 정보, 사용자 입력 제어 정보, 각종 상태 센싱 정보, 위치 정보 등 다양한 정보를, 그 다른 개인용 오디오 재생장치로부터 또는 컨텐츠 제공 장치(100)를 경유하여, 수신할 수 있다. 일 예에 따르면, 통신부(210)는 또한 개인용 오디오 재생장치(200) 상에서 획득된 각종 정보, 예컨대 음향 및/또는 음성 정보, 사용자 입력 제어 정보, 각종 상태 센싱 정보, 위치 정보 등 다양한 정보를, 예컨대 근거리 무선 통신 프로토콜에 따라 컨텐츠 제공 장치(100) 및/또는 다른 개인용 오디오 재생장치로 전송할 수 있다.
일 예에 따르면, 메모리(220)는, 개인용 오디오 재생장치(200)의 각 구성요소에 의해 사용될 수 있는 다양한 데이터를 저장할 수 있다. 메모리(220)는, 예를 들어 개인용 오디오 재생장치(200)의 기능 수행에 이용될 수 있는 각종 소프트웨어, 프로그램 및 관련된 입출력 데이터를 포함할 수 있다. 일 예에 따르면, 메모리(220)는, 통신부(210)와 통신 접속이 가능한 각 장치 정보, 예컨대 컨텐츠 제공 장치(100), 다른 개인 통신장치 및/또는 다른 개인용 오디오 재생장치 각각의 맥 주소, 식별 정보, 보안 키 정보, 및/또는 위치 정보 등을 저장할 수 있다. 일 예에서, 메모리(220)는, 통신부(210)를 이용한 무선 접속을 통해, 컨텐츠 제공 장치(100), 다른 개인 통신장치 및/또는 다른 개인용 오디오 재생장치로부터 수신한, 각종 설정/제어 정보 및/또는 센싱 정보 등을 저장할 수 있다. 일 예에서, 메모리(220)는, 후술하는 오디오 처리/음향 출력부(250)를 통하여 출력될 오디오 신호 음향의 상태를 제어하는 하나 이상의 음향 출력 설정 정보를 저장할 수 있다. 일 예에서, 메모리(220)는, 동시청취 모드(또는 통상의 청취모드)를 위한 음향 설정 정보와, 후술하는 대화모드를 위한 음향 설정 정보를 저장할 수 있다. 일 예에서, 메모리(220)에 저장되는 음향 설정 정보는, 예컨대 볼륨 정보, ANC 회로 활성화 여부 정보, 투명 모드 적용 여부 정보, 입체음향 효과 생성을 위한 파라미터들이나 조정기준 등을 포함할 수 있다. 일 예에서, 메모리(130)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
일 예에서, 제어부(230)는 개인용 오디오 재생장치(200)의 각 구성요소의 전반적 동작을 제어할 수 있다. 일 예에서, 제어부(230)는, 통신부(210)가 컨텐츠 제공 장치(100), 별도의 개인 통신장치 및/또는 다른 개인용 오디오 재생장치 각각과 통신 접속되도록 제어할 수 있다. 일 예에서, 제어부(230)는, 후술하는 오디오 처리/음향 출력부(250)가, 개인용 오디오 재생장치(200)에 관하여 결정된 동작 모드(예컨대, 동시청취 모드, 대화모드 등) 및/또는 음향 출력 설정에 따라, 통신부(210)를 통해 컨텐츠 제공 장치(100)로부터 획득된 컨텐츠 오디오 신호에 기초한 컨텐츠 음향을 출력하도록 제어할 수 있다. 일 예에서, 제어부(230)는, 통신부(210)를 통해 통신 접속된 컨텐츠 제공 장치(100), 별도의 다른 개인 통신장치 및/또는 다른 개인용 오디오 재생장치로부터 수신된 각종 정보, 예컨대 다른 개인용 오디오 재생장치 상에서 획득된 사용자 입력 제어 정보, 음성 정보, 각종 상태 센싱 정보, 및/또는 위치 정보 등을 수신할 수 있다. 일 예에서, 제어부(230)는, 컨텐츠 제공 장치(100), 다른 개인 통신장치 및/또는 다른 개인용 오디오 재생장치로부터 수신된 전술한 정보들에 기초하여, 개인용 오디오 재생장치(200)에 대한 대화모드 개시 요청, 대화모드 진입 동의, 및/또는 대화모드 해제 요청을 감지할 수 있다. 일 예에서, 제어부(230)는 후술하는 센서부(270)에 의한 각종 센싱 정보를 획득할 수 있다. 일 예에서, 제어부(230)는, 센서부(270)로부터 획득한 센싱 정보에 기초하여, 예컨대 개인용 오디오 재생장치(200)에 있어서의 대화모드 개시 요청, 대화모드 진입 동의, 및/또는 대화모드 해제 요청을 감지할 수 있다. 일 예에서, 제어부(230)는, 개인용 오디오 재생장치(200)에 관한 동시청취 모드 및/또는 대화모드로의 진입을 결정할 수 있다. 일 예에서, 제어부(230)는, 개인용 오디오 재생장치(200)가 동시청취 모드 및/또는 대화모드에 있는지에 따라, 그에 대응하는 음향 출력 설정을 결정할 수 있다. 일 예에서, 제어부(230)는, 결정된 음향 출력 설정에 따라 후술하는 마이크(240) 및 오디오 처리/음향 출력부(250)의 동작을 제어할 수 있다.
일 예에서, 제어부(230)는, 대화모드 중에 통신부(210)를 통해 다른 개인용 오디오 재생장치로부터 수신된 음성 정보가, 후술하는 오디오 처리/음향 출력부(250)에 의해 처리되어 전술한 컨텐츠 음향과 함께 오버레이되어 출력되도록 할 수 있다. 일 예에서, 제어부(230)는, 대화모드 중에, 후술하는 마이크(240)를 통해 개인용 오디오 재생장치(200) 상에서 획득된 음성 정보가, 통신부(210)를 통해 컨텐츠 제공 장치(100), 다른 개인 통신장치 및/또는 대화모드에 있는 다른 개인용 오디오 재생장치로 전송되도록 할 수 있다. 일 예에서, 제어부(230)는, 대화모드 중에(투명 모드가 적용될 때), 마이크(240)를 통해 개인용 오디오 재생장치(200) 상에서 획득된 음성 정보가, 전술한 컨텐츠 음향에 오버레이되어, 후술하는 오디오 처리/음향 출력부(250)를 통해 출력되도록 제어할 수 있다.
일 예에서, 마이크(240)는 예컨대, 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크를 포함할 수 있다. 일 예에서, 마이크(240)가 외부로부터의 각종 잡음이나 사용자로부터의 발화 음성입력을 획득할 수 있다. 일 예에서, 마이크(240)는 획득된 음성 및/또는 음향을 디지털 오디오 신호로 변환할 수 있다. 일 예에서, 마이크(240)에서 획득된 음성 및/또는 음향은, 해당 개인용 오디오 재생장치(200)의 모드 및/또는 음향 출력 설정에 따라 각각 다르게 처리될 수 있다. 일 예에서, 개인용 오디오 재생장치(200)가 대화모드에 있을 때, 마이크(240)에서 획득되는 음성 및/또는 음향은 디지털 오디오 신호로 변환되어 통신부(210)를 통해 컨텐츠 제공 장치(100) 또는 외부의 다른 개인용 오디오 재생장치로 전송될 수 있다. 일 예에서, 전술한 바와 같이, 음향 출력 설정이 투명 모드가 적용되는 것으로 정해져 있는 경우(통상 대화모드 일 수 있음), 마이크(240)에서 획득되는 음성 및/또는 음향이 오디오 처리/음향 출력부(250)로 전달되어, 출력되는 컨텐츠 음향에 오버레이되어 출력될 수 있다. 일 예에서, 마이크(240)는 ANC 회로를 구비할 수 있다. 일 예에서, 개인용 오디오 재생장치(200)가 동시청취 모드에 있고/있거나 음향 출력 설정이 ANC 회로를 활성화하는 것으로 정해진 경우, 마이크(240)는, ANC 회로를 통해, 마이크(240)에서 획득되는 음향을 분석하고 그에 대응하는 상쇄 음향을 생성할 수 있다. 마이크(240)에서 생성된 상쇄 음향은 오디오 처리/음향 출력부(250)로 전달될 수 있다. 그러한 경우, 오디오 처리/음향 출력부(250)에서는, 마이크(240)로부터 획득되는 음향이 그에 대응한 상쇄 음향과 중첩되어 소거될 수 있다. 일 예에서, 개인용 오디오 재생장치(200)가 대화모드에 있고/있거나 음향 출력 설정이 ANC 회로를 비활성화하는 것으로 정해진 경우, 마이크(240)는 상기 상쇄 음향을 생성하지 않을 수 있고, 따라서 마이크(240)에 획득되어 오디오 처리/음향 출력부(250)로 전달된 상기 음향은 소거되지 않을 수 있다.
일 예에서, 오디오 처리/음향 출력부(250)는 하나 이상의 스피커를 포함할 수 있다. 일 예에 따르면, 오디오 처리/음향 출력부(250)는 좌우 양측으로 분리된 한 쌍의 스피커를 포함할 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 일 예에서, 오디오 처리/음향 출력부(250)는, 전술한 메모리(220)에 저장된 음향 출력 설정 정보에 기초하여 음향 신호를 생성, 처리 및 출력할 수 있다. 일 예에서, 오디오 처리/음향 출력부(250)는, 전술한 통신부(210)를 통해 외부 장치로부터 수신된 오디오 컨텐츠 신호를, 메모리(220)에 저장된 음향 설정 정보에 기초하여 적절히 가공한 후 사용자 청취를 위해 출력할 수 있다. 일 예에서, 오디오 처리/음향 출력부(250)는, 앞서 컨텐츠 제공 장치(100)의 오디오 처리부(150)에 의한 신호 처리 과정의 일부(예컨대, 디지털 오디오 신호의 아날로그 신호 변환 등을 포함할 수 있고 이에 한정되지 않음) 또는 전부를 수행할 수 있고, 본 개시가 이로써 제한되지는 않는다. 일 예에서, 오디오 처리/음향 출력부(250)는, 메모리(220)에 저장된 음향 설정 정보에 기초하여, 후술하는 마이크(250)를 통해 획득된 음성 및/또는 음향 신호가, 오디오 처리/음향 출력부(250)를 통해 외부로 출력되도록 할 수 있다.
일 예에서, 시각 출력부(260)는, 전술한 마이크(240)를 통하여 사용자 음성 입력이 발생하고 있음을 알리는 시각 표지자일 수 있다. 일 예에서, 시각 출력부(260)는, 예컨대 마이크(240)를 통한 사용자 음성 입력이 발생하는 동안 점등되는 LED 램프일 수 있다.
일 예에서, 센서부(270)는 개인용 오디오 재생장치(200)의 동작 상태, 환경 상태 등을 감지하기 위한 하나 이상의 센서를 포함할 수 있다. 일 예에서, 센서부(270)는, 예를 들어 지자계 센서, IMU 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. 일 예에서, 가속도 센서 및 자이로 센서는 6축 센서를 구성할 수 있다. 6축 센서는 개인용 오디오 재생장치(200)의 움직임의 변화량을 검출할 수 있다. 6축 센서는 관성 센서를 포함할 수 있다. 예컨대, 가속도 센서는 3축으로, x축, y축, z축의 방향으로 작용하는 힘을 측정할 수 있다. 자이로 센서는 3축으로, 피치(pitch), 롤(roll), 요(yaw)를 검출하여, 각속도를 측정할 수 있다. 일 예에서, 센서부(270)는, 가속도 센서, 자이로 센서, 지자계 센서, IMU 센서 등을 구비하여, 개인용 오디오 재생장치(200)의 움직임 정보(예: 개인용 오디오 재생장치(200)의 이동 크기 및 방향, 기울기 크기 및 방향, 회전 크기 및 방향 위치 변동량 등)를 획득할 수 있다.
도 3과 관련하여 전술한 개인용 오디오 재생장치(200)의 구성은 단지 예시적인 것이며, 본 개시가 적용될 수 있는 개인용 오디오 재생장치는 전술한 것과 달리 변형된 구성 및 기능을 가질 수 있다.
도 4a 및 도 4b는, 본 개시의 일 예에 따라, 복수의 개인용 오디오 재생장치가 컨텐츠 제공 장치에 접속하여 동시청취를 진행하고, 요청을 통해 사용자들 간 대화모드가 개시, 진행 및 종료되도록 하는 절차를 개략적으로 도시한 동작 흐름도이다.
먼저, 동작(401)에서, 컨텐츠 제공 장치(100)와, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각 사이에 소정의 통신 프로토콜에 따른 통신 접속이 수립될 수 있다. 일 예에서, 컨텐츠 제공 장치(100)와, 제1 및 제2 개인용 오디오 재생장치(200a, 200b)는, Wi-Fi, 블루투스, UWB, IrDA 등을 비롯한 임의의 근거리 무선 통신 프로토콜에 따른 통신 접속을 수립할 수 있다. 동작(401)에서 통신 접속을 수립하는 구체적인 과정과 관련해서, 도 5 및 도 6을 참조할 수 있다.
도 5는, 본 개시의 일 예에 따라, 동시청취를 위하여, 복수의 개인용 오디오 재생장치가 컨텐츠 제공 장치에 접속되는 과정의 흐름을 개략적으로 도시한 도면이다. 도 5를 참조하면, 제1 개인용 오디오 재생장치(200a) 및 제2 개인용 오디오 재생장치(200b)가 각각 컨텐츠 제공 장치(100)에 대해 통신 접속을 수립하는 과정이 도시되어 있다.
먼저, 동작(501)에서, 제1 개인용 오디오 재생장치(200a)와 제2 개인용 오디오 재생장치(200b) 각각은 통신 기능을 활성화하여 컨텐츠 제공 장치(100)로 접속을 위한 신호를 송신할 수 있다. 예를 들어, 각 개인용 오디오 재생장치(200a, 200b)는 소정의 근거리 무선 통신 프로토콜(예컨대, 블루투스 프로토콜)에 따라 컨텐츠 제공 장치(100)로 접속하기 위한 소정의 신호를 송출할 수 있다.
동작(502)에서, 컨텐츠 제공 장치(100)는, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각으로부터 송출된 신호를 감지할 수 있다. 그런 다음, 컨텐츠 제공 장치(100)는 동작(503)에서 신호 송신을 감지한 각각의 장치(200a, 200b)를 선택하고, 각 접속 요청에 대한 응답을 제1 및 제2 개인용 오디오 재생장치(200a, 200b)로 전송할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)로부터 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각으로 전송되는 응답 신호는, 예컨대 컨텐츠 제공 장치(100)의 맥 주소, 식별 정보, 보안 키 정보, 위치 정보, 기타 제어 정보 등이 포함될 수 있다.
동작(504)에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 컨텐츠 제공 장치(100)로부터 응답 신호를 수신 및 확인하고, 접속 채널 수립을 위하여 필요한 정보를 담은 피드백 정보를 컨텐츠 제공 장치(100)로 전송할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)로 제공되는 피드백 신호는, 예컨대 제1 또는 제2 개인용 오디오 재생장치(200a, 200b) 각각에 관한 맥 주소, 식별 정보, 보안 키 정보, 위치 정보, 기타 제어 정보 등을 포함할 수 있다.
동작(505)에서 컨텐츠 제공 장치(100)는 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각으로부터 전송된 피드백 신호를 획득하고, 동작(506)로 진행하여 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각과의 접속 수립을 완료할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각으로부터 수신된 각 정보를 저장할 수 있다.
선택적으로, 동작(507)에서, 제1 또는 제2 개인용 오디오 재생장치(200a, 200b) 각각은 소정의 근거리 무선 통신 프로토콜(예컨대, UWB 프로토콜)에 따른 통신 기능을 활성화하여 소정의 신호를 송출하고, 상대방이 송출한 신호를 감지할 수 있다. 예컨대, 제1 및 제2 개인용 오디오 재생장치(200a, 200b)는 서로로부터 송출되는 신호를 감지함으로써 서로 간의 거리, 서로의 상대적 위치 등과 각각의 변화를 감지 및 모니터링 할 수 있다. 도 5에 함께 도시되었지만, 동작(507)은, 전술한 동작(501) 내지 동작(506)에 따른 컨텐츠 제공 장치(100)와 제1 및 제2 개인용 오디오 재생장치기(200a, 200b) 사이의 일련의 순차적 동작 흐름과는 별개일 수 있다. 제1 및 제2 개인용 오디오 재생장치(200a, 200b)가 동작(507)에 따라 상대방이 송출한 신호를 계속하여 감지하며 서로 간의 거리, 서로의 상대적 위치 등을 모니터링하는 경우, 그러한 모니터링 결과가 이후 동시청취 모드 또는 대화모드의 진행과 관련하여 이용될 수 있다.
도 6은, 본 개시의 일 예에 따라, 동시청취를 위하여, 복수의 개인용 오디오 재생장치가 컨텐츠 제공 장치에 접속되는 과정의 흐름을 개략적으로 도시한 도면이다. 도시된 바에 의하면, 제1 및 제2 개인용 오디오 재생장치(200a, 200b)가 각각 제1 및 제2 개인 통신장치(600a, 600b)에 먼저 접속되고, 제1 및 제2 개인 통신장치(600a, 600b)를 통해 컨텐츠 제공 장치(100)에 통신 접속되고 있다. 도 5의 경우 제1 및 제2 개인용 오디오 재생장치(200a, 200b)가 컨텐츠 제공 장치(100)와 직접 통신 채널을 수립하는 것과 달리, 도 6에서는 제1 및 제2 개인용 오디오 재생장치(200a, 200b)가 각 대응하는 제1 및 제2 개인 통신장치(600a, 600b)와 통신 채널을 수립한 후 제1 및 제2 개인 통신장치(600a, 600b)가 컨텐츠 제공 장치(100)와 통신 접속하는 구조를 갖는다.
먼저, 동작(601)에서, 제1 개인용 오디오 재생장치(200a)는 제1 개인 통신장치(600a)와 임의의 무선 통신 프로토콜에 따라 접속 채널을 수립할 수 있고, 제2 개인용 오디오 재생장치(200b)는 제2 개인 통신장치(600b)와 임의의 무선 통신 프로토콜에 따라 접속 채널을 수립할 수 있다. 일 예에서, 제1 개인용 오디오 재생장치(200a)는 블루투스, Wi-Fi 등을 비롯한 임의의 근거리 무선 통신 프로토콜에 따라 제1 개인 통신 장치(600a)에 대한 접속 채널을 수립할 수 있다. 일 예에서, 제2 개인용 오디오 재생장치(200b)는 블루투스, Wi-Fi 등을 비롯한 근거리 무선 통신 프로토콜에 따라 제2 개인 통신 장치(600b)에 대한 접속 채널을 수립할 수 있다. 이후, 동작(602) 내지 동작(607)의 과정은, 도 5와 관련하여 전술한 동작(501) 내지 동작(506)의 과정과 대체로 유사하며, 이러한 동작 흐름이 제1 및 제2 개인 통신장치(600a, 600b)와 컨텐츠 제공 장치(100) 사이에서 이루어진다는 점에서 주로 차이가 있다. 따라서, 동작(602) 내지 동작(607)의 과정에 대해서는 구체적인 설명을 생략하기로 한다.
또한, 동작(608)에서는, 동작(507)에서와 유사하게, 제1 또는 제2 개인용 오디오 재생장치(200a, 200b) 간의 서로에 대한 상태 모니터링이 이루어질 수 있다. 예컨대, 동작(507)에서와 유사하게, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각이 소정의 근거리 무선 통신 프로토콜(예컨대, UWB 프로토콜)에 따른 통신 기능을 활성화하여 소정의 신호를 송출하고, 상대방이 송출한 신호를 감지함으로써, 서로 간의 거리, 서로의 상대적 위치 등과 각각의 변화를 감지 및 모니터링 할 수 있다. 일 예 따르면, 동작(608)에서, 제1 및 제2 개인 통신장치(600a, 600b) 간의 신호 교환에 따라, 제1 또는 제2 개인용 오디오 재생장치(200a, 200b)의 상태 모니터링이 이루어질 수 있다. 동작(507)과 관련하여 언급한 것과 유사하게, 동작(608)은, 전술한 동작(602) 내지 동작(607)에 따른 컨텐츠 제공 장치(100)와 제1 및 제2 개인 통신장치(600a, 600b) 사이의 일련의 순차적 동작 흐름과는 별개일 수 있다. 일 예에서, 동작(606)에서 따라 제1 및 제2 개인용 오디오 재생장치(200a, 200b)의 상태 모니터링이 이루어지는 경우 그러한 모니터링 결과가 이후의 동시청취 모드 또는 대화모드의 진행과 관련하여 이용될 수 있다.
도 4a로 돌아와서, 동작(402)에서, 컨텐츠 제공 장치(100)는, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각으로 컨텐츠 오디오 신호를 스트리밍 전송할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 컨텐츠 제공 장치(100) 상에 저장되어 있거나 다양한 방식으로 외부로부터 획득한 멀티미디어 컨텐츠를 재생 및 출력할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)가 재생하는 컨텐츠는 오디오 신호를 포함할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 동작(401)에서 수립된 통신 접속을 통해, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각으로 컨텐츠 오디오 신호를 스트리밍 전송할 수 있다.
동작(403)에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 컨텐츠 제공 장치(100)로부터 컨텐츠 오디오 신호를 수신하고, 동시청취 모드에서 상기 수신된 신호에 기초한 컨텐츠 음향을 출력할 수 있다. 일 예에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 동시청취 모드에 관하여 미리 설정된 음향 출력 설정에 따라 상기 컨텐츠 음향을 출력할 수 있다.
동작(404)에서, 제1 개인용 오디오 재생장치(200a)에서, 대화 요청을 나타내는 소정의 이벤트 발생이 감지될 수 있다. 대화 요청 발생을 나타내는 것으로 미리 정해진 다양한 이벤트가 있을 수 있다. 대화 요청 및/또는 대화 종료의 요청을 나타낼 수 있는 다양한 유형의 이벤트들에 대해서는 후술하기로 한다. 일 예에서, 제1 개인용 오디오 재생장치(200a)는 대화 요청을 나타내는 이벤트가 발생하였음을 감지한 후 그러한 감지 결과 및/또는 대화모드로의 진입을 컨텐츠 제공 장치(100)로 통지할 수 있다.
동작(405)에서, 컨텐츠 제공 장치(100)는, 제1 개인용 오디오 재생장치(200a)로부터 대화모드 진입 요청을 획득하고, 획득한 요청을 제2 개인용 오디오 재생장치(200b)로 전달할 수 있다. 동작(406)에서, 제2 개인용 오디오 재생장치(200b)는, 컨텐츠 제공 장치(100)로부터 전송된 대화모드로의 진입 요청을 수신할 수 있다. 동작(407)에서, 컨텐츠 제공 장치(100)는, 동작(405)에서 대화모드 진입 요청을 획득한 후, 대화모드로의 진입을 결정하고 현재 제공되고 있는 컨텐츠의 타임라인 상 대응 시점(예컨대, 대화모드로의 진입 시점 당시의 컨텐츠 재생 시점)을 저장할 수 있다.
동작(408)에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 대화모드로 진입하고, 계속해서 컨텐츠 제공 장치(100)로부터 계속하여 컨텐츠 오디오 신호를 수신할 수 있다. 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 대화모드를 위하여 미리 설정된 음향 출력 설정에 따라, 수신된 컨텐츠 오디오 신호에 기초한 컨텐츠 음향을 출력할 수 있다. 일 예에서, 동시청취 모드에 관하여 미리 설정된 음향 출력 설정은, 대화모드를 위하여 미리 설정된 음향 출력 설정과 다를 수 있다.
예컨대, 동시청취 모드를 위한 음향 출력 설정에서는, 개인용 오디오 재생장치 상에서 사용자가 컨텐츠 음향에 집중하도록 ANC 기능이 턴 온 되고 투명모드는 턴 오프 되도록 정해져 있을 수 있는 반면, (특히 자연 육성을 통한 대화가 이루어지는 경우) 대화모드를 위한 음향 출력 설정에서는, 개인용 오디오 재생장치 상에서 사용자가 대화를 원활하게 진행할 수 있도록 ANC 기능이 턴 오프 되고 투명모드는 턴 온 되도록 정해져 있을 수 있다. 예컨대, 대화모드를 위한 음향 출력 설정에서는, 동시청취 모드를 위한 음향 출력 설정에서 보다, 컨텐츠 음향의 볼륨이 낮게 설정되어 있을 수 있다. 예컨대, 대화모드를 위한 음향 출력 설정에서는, 동시청취 모드를 위한 음향 출력 설정에서 보다, 컨텐츠 음향이 더 멀리서 들리는 것으로 느껴지도록 입체음향 효과가 조정될 수 있다.
일 예에서, 대화모드가 진행될 때, 각 개인용 오디오 재생장치(200a, 200b)의 오디오 처리/음향 출력부(250)를 통해서는 컨텐츠 음향만이 대화모드를 위한 음향 출력 설정(예컨대, 낮은 볼륨, 멀리서 들리도록 조정된 입체음향 효과, ANC 기능 턴 오프, 투명모드 턴 온 등)에 따라 출력되고, 사용자에 의한 실제 대화 음성은 자연 발화 음성 형태로 개인용 오디오 재생장치(200a, 200b) 외부로부터 사용자에게 전달될 수 있다. 일 예에서, 대화모드가 진행될 때, 각 개인용 오디오 재생장치(200a, 200b)의 마이크(240)를 통해 사용자로부터의 발화 음성이 획득되고, 획득된 발화 음성에 따른 음향이 컨텐츠 음향에 오버레이되어 대화모드를 위한 음향 출력 설정에 따라 각 개인용 오디오 재생장치(200a, 200b)의 오디오 처리/음향 출력부(250)를 통해서 출력될 수 있다. 사용자의 발화 음성에 따른 음향과 컨텐츠 음향이 오버레이되어 출력되는 경우, 대화모드를 위한 음향 출력 설정은 컨텐츠 제공 장치(100)와 개인용 오디오 재생장치(200a, 200b) 서로 간의 상대적 위치 및 방향을 고려한 입체음향 효과 설정을 포함할 수 있다. 그 외에도, 사용자가 컨텐츠 음향에 집중하거나 대화 진행에 집중할 수 있도록, 모드별로 다르게 설정될 수 있는 다양한 음향 효과 설정이 있을 수 있고, 본 개시가 특정 형태로 제한되는 것은 아니다. 본 도면 및 설명에서는, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각이, 대화모드에 진입했을 때, 대화모드를 위한 음향 출력 설정에 기초하여, 컨텐츠 제공 장치(100)로부터 수신한 오디오 신호를 조정하여 출력하는 것으로 도시 및 설명되고 있으나 본 개시가 이로써 제한되는 것은 아니다. 일 예에서, 대화모드 진입 시, 컨텐츠 제공 장치(100) 측에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각을 위해, 대화모드를 위한 출력 설정에 따라 조정된 오디오 신호를 생성 및 전송할 수도 있고, 본 개시가 특정 형태로 제한되는 것은 아니다.
동작(409)에서, 컨텐츠 제공 장치(100)가 디스플레이를 통해 현재 제1 및 제2 개인용 오디오 재생장치(200a, 200b)가 대화모드에 있음을 알리는 표지를 표시할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 동작(407)에서 대화모드로의 진입을 결정한 후, 대화모드를 나타나는 소정의 표지를 디스플레이 상에 표시할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 대화모드를 나타내는 소정의 표지에 더하여, 대화모드에 참여 중인 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각을 나타내는 각 아이콘을 디스플레이에 표시할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 대화모드에 참여 중인 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 중 발화가 이루어지는 쪽의 기기를 나타내는 표지를 표시할 수 있다. 컨텐츠 제공 장치(100)에 의한 대화모드 진행에 관한 표지의 표시에 대해서는 도 12 내지 21을 참조하여 좀 더 자세히 후술하기로 한다.
도 4b의 동작(410)에서, 제1 개인용 오디오 재생장치(200a)에서, 대화모드 종료 요청을 나타내는 소정의 이벤트 발생이 감지될 수 있다. 대화모드 종료 요청 발생을 나타내는 것으로 미리 정해진 다양한 이벤트가 있을 수 있다. 대화 요청 및/또는 대화 종료의 요청을 나타낼 수 있는 다양한 유형의 이벤트들에 대해서는 후술하기로 한다. 일 예에서, 제1 개인용 오디오 재생장치(200a)는 대화모드 종료 요청을 나타내는 이벤트가 발생하였음을 감지한 후 그러한 감지 결과 및/또는 대화모드의 종료를 컨텐츠 제공 장치(100)로 통지할 수 있다. 본 도면에서는, 대화모드의 요청과 종료 요청이 모두 동일한 제1 개인용 오디오 재생장치(200a)에 발생한 것으로 도시되어 있으나 본 개시가 이로써 제한되는 것은 아니다.
동작(411)에서, 컨텐츠 제공 장치(100)는, 제1 개인용 오디오 재생장치(200a)로부터 대화모드 종료 요청을 획득하고, 획득한 요청을 제2 개인용 오디오 재생장치(200b)로 전달할 수 있다. 동작(412)에서, 제2 개인용 오디오 재생장치(200b)는, 컨텐츠 제공 장치(100)로부터 전송된 대화모드 종료 요청을 수신할 수 있다. 동작(411)에서 대화모드 종료 요청을 획득한 후, 동작(413)에서 컨텐츠 제공 장치(100)는, 대화모드 종료를 결정하고, 컨텐츠 재생의 타임라인 상 시점 선택을 위한 화면을 디스플레이(170) 상에 표시할 수 있다. 예컨대, 컨텐츠 제공 장치(110)는 디스플레이(170) 상에 대화모드 진입 당시의 지점(예를 들어, 동작(407)에서 저장한 시점)으로 다시 돌아갈 것인지 여부를 선택하도록 하는 옵션을 표시할 수 있다. 이와 관련하여, 도 7에 도시된 예시적 화면 표시를 참조할 수 있다.
도 7은, 본 개시의 일 예에 따라, 대화모드 해제 과정에서 컨텐츠 제공 장치의 디스플레이 상에 표시되는 예시적 화면이 도시된 도면이다.
도시된 바에 의하면, 컨텐츠 제공 장치(100)의 디스플레이(170) 상에 선택 창(700)이 표시 제공되고 있다. 도시된 바에 의하면, 선택 창(700)에는 대화모드가 진행된 시간(예: 3분)에 대한 안내와 함께, 대화모드가 시작되기 전 시점(예: 3분전 시점)으로 컨텐츠 재생시점을 이동할 것인지 여부를 선택할 수 있는 선택 버튼(710, 720)이 표시되고 있다. 일 예에서, 제1 또는 제2 개인용 오디오 재생장치(200a, 200b)의 사용자는 제1 또는 제2 개인용 오디오 재생장치(200a, 200b) 또는 별도의 제어장치(예컨대, 리모컨)에 마련된 입력 수단에 의해 선택 버튼(710, 720) 중 하나를 선택할 수 있다. 사용자의 선택에 따라, 컨텐츠의 타임라인 상 재생 시점은 대화모드 개시 시점으로 뒤로 갈 수 있다.
다시 도 4b로 돌아가서, 동작(414)에서, 예컨대 제1 개인용 오디오 재생장치(200a)가, 동작(413)에서 컨텐츠 제공 장치(100)에 의해 제공된 옵션을 통해 컨텐츠의 재생 시점을 선택할 수 있다. 일 예에서, 제1 개인용 오디오 재생장치(200a)는 대화모드 진입 당시의 지점으로 돌아가기를 선택할 수 있다. 일 예에서, 제1 개인용 오디오 재생장치(200a)는 컨텐츠 재생을 위해 타임라인을 뒤로 가지 않고 현재 시점부터 진행을 계속할 것을 선택할 수 있다. 본 도면에서는, 컨텐츠 재생 시점의 선택이 제1 개인용 오디오 재생장치(200a)에 의해 이루어진 것으로 도시되어 있으나 본 개시가 이로써 제한되는 것은 아니다.
동작(415)에서, 컨텐츠 제공 장치(100)는, 동작(414)에서 이루어진 제1 개인용 오디오 재생기기(200a)로부터의 선택에 따라, 컨텐츠 재생 시점을 뒤로 돌아가도록 조정할 수 있다. 동작(416)에서, 컨텐츠 제공 장치(100)는 타임라인 상 조정된 시점부터 컨텐츠의 재생을 지속하며 동시청취모드에서 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 양측으로 컨텐츠 오디오 신호를 스트리밍 전송할 수 있다. 동작(417)에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 컨텐츠 제공 장치(100)로부터 컨텐츠 오디오 신호를 수신하고, 동시청취 모드에서 상기 수신된 신호에 기초한 컨텐츠 음향을 출력할 수 있다. 일 예에서, 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각은, 동시청취 모드에 관하여 미리 설정된 음향 출력 설정에 따라 상기 컨텐츠 음향을 출력할 수 있다. 동작(417)에서 이용되는 음향 출력 설정은, 동작(403)에서 제1 및 제2 개인용 오디오 재생장치(200a, 200b) 각각의 음향 출력에 이용되었던 것과 같은 설정일 수 있고, 본 개시가 이로써 제한되는 것은 아니다
도 8은, 본 개시의 일 예에 따라, 대화모드에서 사용될 개인용 오디오 재생장치를 위한 음향 출력 설정을 표시 및/또는 변경하기 위한 예시적 사용자 인터페이스들을 도시한 도면이다.
도 8의 (a) 내지 (d)에는, 모바일 단말(800) 상에 표시 가능한, 예시적 사용자 인터페이스들(810, 820, 830, 840)이 각각 도시되어 있다. 일 예에서, 각 사용자 인터페이스가 표시되는 모바일 단말(800)은 각 개인용 오디오 재생기기에 오디오 컨텐츠 신호를 제공하는 컨텐츠 제공 장치(예컨대, 도 1 내지 도 6과 관련하여 전술한 컨텐츠 제공 장치(100))일 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 일 예에서, 모바일 단말(800)은, 개인용 오디오 재생기기에 접속되어 외부와의 통신을 지원하는 개인 통신장치일 수 있고, 본 개시가 특정 형태로 제한되지는 않는다. 도시된 바에 의하면, 모바일 단말(800)에는 제1 및 제2 개인용 오디오 재생장치(H1, H2)가 각각 통신 접속된 상태일 수 있다. 제1 및 제2 개인용 오디오 재생장치(H1, H2)는 도 1 내지 도 6과 관련하여 전술한 제1 및 제2 개인용 오디오 재생장치(200a, 200b)에 각각 대응할 수 있다.
도 8의 (a)를 참조하면, 제1 개인용 오디오 재생장치(H1)를 위한 대화모드용 음향 출력 설정을 위한 사용자 인터페이스 화면(810)이 도시되어 있다. 화면(810)의 최상단에는 설정 대상이 되는 장치를 선택하기 위한 선택 항목(811)이 표시되고, 현재 제1 개인용 오디오 재생장치(H1)이 선택되었음이 표시되고 있다. 선택 항목(811)의 하단에는 제1 개인용 오디오 재생장치(H1)가 모바일 단말(800)에 접속 중임을 나타내는 시각적 표지(812)가 표시되고 있다.
화면(810)의 중간 영역에는, 대화모드가 진행될 때, 제1 개인용 오디오 재생장치(H1)에서 ANC 기능과 Transparency 기능 각각을 활성화할 것인가 여부에 대한 선택을 지원하는 선택항목(813)이 표시되고 있다. 도시된 바에 의하면, 제1 개인용 오디오 재생장치(H1)에 관한 현재의 대화모드용 음향 출력 설정에서, ANC 모드는 비활성화(선택되지 않음 표시됨)하고 Transparency 모드는 활성화(진하게 선택 표시됨)하도록 설정되어 있는데, 이러한 설정은 사용자 선택에 의해 변경될 수 있다. 일 예에 따르면, 대화모드 시, 대화 음성에 따른 음향이 각 개인용 오디오 재생장치(H1)를 통하지 않고 자연 발화 육성 형태로 상대방 사용자에게 전달될 수 있고, 이러한 경우 ANC 모드를 비활성화하고 Transparency 모드를 활성화함으로써 원활한 대화가 이루어지도록 할 수 있다.
일 예에 따르면, 대화모드에서, 대화 음성에 따른 음향이 컨텐츠 제공 장치로부터의 컨텐츠 음향과 함께 오버레이 되어 각 개인용 오디오 재생장치의 스피커를 통해 출력 전달될 수 있다. 그러한 경우, 대화모드가 진행될 때, 제1 개인용 오디오 재생장치(H1)에서 이용될 수 있는, 대화 음성에 따른 출력 음향을 위한 입체음향 효과에 관한 설정이 선택될 수 있는 선택항목(814)이 화면(810)의 맨 하단 영역에 표시되고 있다. 도시된 바에 의하면, 대화모드에서 대화 음성에 따른 음향이 각 개인용 오디오 재생장치(H1)를 통하지 않고 자연 발화 육성 형태로 사용자에게 전달되는 경우에 대비하여, 화면(810) 상의 선택항목(814)이 비활성화되어 있다. 또한, 전술한 바와 같이 대화모드에서 대화 음성에 따른 음향이 컨텐츠 음향과 함께 오버레이 되어 각 개인용 오디오 재생장치의 스피커를 통해 출력 전달되는 경우, 대화모드가 진행될 때 제1 개인용 오디오 재생장치(H1)에서 출력되는 음향의 볼륨을 대화 음향과 컨텐츠 음향 사이에서 어떻게 분배할 것인지를 설정하도록 하는 선택 바(815)가 표지(812)의 하단에 표시되어 있다. 도시된 바에 의하면, 선택항목(814)와 마찬가지로 선택 바(815)가 비활성화되어 있다. 선택 바(815)의 하단에는 모바일 단말(800)에 저장된 기존의 사용자 데이터에 기초하여 자동 설정이 이루어질 것인지를 선택하도록 하는 선택항목(816)이 표시되어 있다.
도 8의 (b)에는, 모바일 단말(800)에 복수의 개인용 오디오 재생장치(H1, H2)가 접속된 경우 이들 모두를 위한 대화모드용 음향 출력 설정을 일괄하여 설정 또는 변경할 수 있는 사용자 인터페이스 화면(820)이 도시되어 있다. 화면(820)의 최상단에는 설정 대상이 되는 장치를 선택하기 위한 선택 항목(821)이 표시되고, 현재 전체 장치가 선택되었음이 표시되고 있다. 선택 항목(821)의 하단에는 제1 및 제2 개인용 오디오 재생장치(H1, H2)가 모바일 단말(800)에 접속 중임을 나타내는 시각적 표지(822)가 표시되고 있다.
화면(810)의 경우와 마찬가지로, 화면(820)에 도시된 사용자 인터페이스도, 대화모드에서 대화 음성에 따른 음향이 각 개인용 오디오 재생장치(H1, H2)를 통하지 않고 자연 발화 육성 형태로 사용자에게 전달되는 경우에 대비한 것이다. 도시된 바에 의하면, 화면(820) 상의 각 설정 사항은 화면(810)에 도시된 바와 유사하며 구체적인 설명은 생략하기로 한다. 화면(810)은 제1 개인용 오디오 재생장치(H1)을 위한 설정 화면인데 비해, 화면(820)에서의 설정(또는 설정 변경)은 접속된 전체 개인용 오디오 재생장치(H1, H2)에 적용된다는 점에서 차이가 있다.
도 8의 (c)에는, 모바일 단말(800)에 접속된 전체 개인용 오디오 재생장치(H1, H2)를 위한 대화모드용 음향 출력 설정을 지원하는 사용자 인터페이스 화면(830)이 도시되어 있다. 화면(830)의 최상단에는 설정 대상이 되는 장치를 선택하기 위한 선택 항목(831)이 표시되고, 현재 전체 장치가 선택되었음이 표시되고 있다. 선택 항목(831) 하단에는 제1 및 제2 개인용 오디오 재생장치(H1, H2)가 모바일 단말(800)에 접속 중임을 나타내는 시각적 표지(832)가 표시되고 있다. 화면(810, 820)과 달리, 화면(830)에 도시된 사용자 인터페이스는, 대화모드에서, 대화 음성에 따른 음향이 컨텐츠 제공 장치로부터의 컨텐츠 음향과 오버레이 되어, 각 개인용 오디오 재생장치(H1, H2)의 오디오 처리/음향 출력부(250)를 통해 출력되는 경우에 관한 것이다. 화면(810)은 제1 개인용 오디오 재생장치(H1)을 위한 설정 화면인데 비해, 화면(830)에서의 설정(또는 설정 변경)은 접속된 전체 개인용 오디오 재생장치(H1, H2)에 모두 적용된다는 점에서 차이가 있다.
화면(830)의 중간 영역에는, 대화모드가 진행될 때, 제1 및 제2 개인용 오디오 재생장치(H1, H2)에서 ANC 기능과 Transparency 기능 각각을 활성화할 것인가 여부에 대한 선택을 지원하는 선택항목(833)이 표시되고 있다. 도시된 바에 의하면, 제1 및 제2 개인용 오디오 재생장치(H1, H2)에 관한 현재의 대화모드용 음향 출력 설정에서, ANC 모드는 활성화(진하게 선택 표시됨)하고 Transparency 모드는 비활성화(선택되지 않음 표시)하도록 설정되어 있는데, 이러한 설정은 사용자 선택에 의해 변경될 수 있다.
화면(830)의 하단 영역에는, 대화모드가 진행될 때, 대화 음향에 관하여 각 개인용 오디오 재생장치(H1, H2)에서 이용될 수 있는, 대화 음성에 따른 음향을 위한 입체음향 효과에 관한 설정이 지원되는 선택항목(834)이 표시되고 있다. 도시된 바에 의하면, 대화모드에서, 사용자 대화 음성에 따른 음향에 대해서는 2.1 채널의 입체음향 효과가 적용될 것이다.
표지(832)의 하단에는, 대화모드가 진행될 때, 각 개인용 오디오 재생장치(H1, H2)에서 출력되는 음향의 볼륨을 대화 음향과 컨텐츠 음향 사이에서 어떻게 분배할 것인지를 설정하도록 하는 선택 바(835)가 표시되어 있다. 도시된 바에 의하면, 선택 바(835)가 대화모드를 나타내는 쪽으로 완전히 이동해 있고, 현재의 설정은, 대화모드가 진행될 때, 사용자가 가급적 대화모드에 집중할 것임을 표시하고 있다. 이러한 경우, 실제 오디오 처리/음향 출력부(250)를 통해 출력되는 음향 출력에 있어서, 컨텐츠 음향은 시스템이 정한 바에 따라 작은 볼륨으로 출력되고, 사용자 음성에 따른 음향의 볼륨이 높게 출력될 수 있다. 사용자는 선택 바(835)를 조정하여 양측 볼륨의 배분을 조정할 수 있다. 화면(810, 820)과 마찬가지로, 선택 바(835)의 하단에는 모바일 단말(800)에 저장된 기존의 사용자 데이터에 기초하여 자동 설정이 이루어질 것인지를 선택하도록 하는 선택 항목(836)이 표시되어 있다.
도 8의 (d)에는, 모바일 단말(800)에 전체 개인용 오디오 재생장치(H1, H2)를 위한 대화모드용 음향 출력 설정을 지원하는 사용자 인터페이스 화면(840)이 도시되어 있다. 화면(840)의 최상단에는 설정 대상이 되는 장치를 선택하기 위한 선택 항목(841)이 표시되고, 현재 전체 장치가 선택되었음이 표시되고 있다. 선택 항목(841)의 하단에는 제1 및 제2 개인용 오디오 재생장치(H1, H2)가 모바일 단말(800)에 접속 중임을 나타내는 시각적 표지(842)가 표시되고 있다.
일 예에 따르면, 모바일 단말(800)에 접속된 개인용 오디오 재생장치(H1, H2) 각각이 서로 다른 오디오 컨텐츠를 수신 및 출력할 수 있다. 그러한 경우, 각 장치에서 수신 및 출력되는 오디오 컨텐츠가 선택될 수 있는데, 화면(840) 상의 참조부호(847)은 그러한 선택이 가능하게 하는 항목을 나타내고 있다. 화면(840)은, 참조부호(847)의 항목을 더 포함하는 점을 제외하고 나머지 각 설정 사항은 화면(830)에 도시된 바와 유사하므로, 구체적인 설명은 생략하기로 한다.
도 8과 관련하여, 개인용 오디오 재생장치를 위한 음향 출력 설정을 표시 및/또는 변경하기 위한 각각의 예시적 사용자 인터페이스가 모바일 단말을 통해 제공되는 경우를 중심으로 설명되었으나 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 예에 따르면, 전술한 각각의 사용자 인터페이스는 개인용 오디오 재생장치에 통신 접속되고 디스플레이를 구비한 별도의 다른 장치, 예컨대 오디오 컨텐츠를 제공하는 TV 장치 등에 표시될 수 있다.
도 9는, 본 개시의 일부 예들에서, 개인용 오디오 재생장치 상에서 동시청취 모드 중 발생하는 대화모드 개시 요청과, 대화모드 중 발생하는 대화모드 종료 요청으로 각각 이용될 수 있는 예시적 이벤트들을 열거한 표이다.
도시된 바에 의하면, 컬럼(910)에는 각 요청 이벤트에 이용될 수 있는 수단들이 열거되어 있고, 컬럼(920) 및 컬럼(930)에는 각 수단에서 발생하는 어떠한 이벤트가 대화모드의 개시 요청 또는 대화모드의 종료 요청을 나타낼 것인지 표시되어 있다. 도 9에 연결된 각 항목은 단지 예시일 뿐이며, 본 개시가 이로써 제한되는 것은 아니다.
먼저, 행(911, 912)에는, 이벤트 입력에 터치센서가 이용되며, 각각 탭 또는 홀드가 대화모드 개시 요청 이벤트로 이용되고 더블 탭 또는 홀드 해제가 대화모드 종료 요청 이벤트로 이용되는 것으로 표시되어 있다. 행(913)에는, 이벤트 입력에 키 센서가 이용되며, 키 프레스 및 키 프레스 해제가 각각 대화모드 개시 요청 및 대화모드 종료 요청 이벤트로 이용되는 것으로 표시되어 있다. 일 예에서, 개인용 오디오 재생장치(200a, 200b) 각각은 대화모드 개시 요청 및 종료 요청을 위해 마련된 버튼 또는 키를 구비할 수 있으며, 본 개시가 이로써 제한되는 것은 아니다.
행(914)에는, 이벤트 입력에 마이크 센서가 이용되고, 기준 값 이상 음량의 오디오 획득이 대화 개시 요청 이벤트로서 이용되고, 대화모드 개시 후 소정 시간 이상 기준 값 이상 음량의 오디오 획득이 업는 경우가 대화모드 종료 요청 이벤트로 이용되는 것으로 표시되어 있다. 행(915)에서도, 이벤트 입력에 마이크 센서가 이용되며, 소정의 미리 정해진 패턴의 음성 획득이 각각 대화 개시 요청 및 대화모드 종료 요청 이벤트로 이용되는 것으로 표시되어 있다.
행(916)에서는, 이벤트 입력에 움직임 센서(예컨대, 가속도 센서, 지자계 센서, IMU 센서, 자이로 센서 등)가 이용되며, 소정 기준에 부합하는 움직임 감지가 대화 개시 요청 이벤트로서 이용되고, 대화모드 개시 후 소정 시간 이상 기준 값 이상의 움직임이 감지되지 않는 경우 또는 소정 기준에 부합하는 또 다른 움직임이 감지되는 경우가 각각 대화모드 종료 요청 이벤트로 이용되는 것으로 표시되어 있다. 일 예에서, 개인용 오디오 재생장치(200a, 200b) 각각은 하나 이상의 움직임 감지 센서를 구비할 수 있다. 예컨대, 개인용 오디오 재생장치(200a, 200b) 각각은, 하나 이상의 지자계 센서, IMU 센서, 가속도 센서, 자이로 센서 등을 포함할 수 있고, 이들 센서를 이용하여 해당 기기의 움직임 변화량 및 방향(예컨대, 이동 크기 및 방향, 기울기 크기 및 방향, 회전 크기 및 방향 등)을 감지할 수 있다. 일 예에서, 개인용 오디오 재생장치(200a, 200b)는, 구비된 움직임 센서를 이용하여, 해당 기기에 구비된 양측 스피커를 연결한 직선이 지면에 수평한 상태로 소정 각도 이상 회전하는 경우(예: 사용자가 좌우로 머리를 소정 각도 이상 크게 돌리는 경우) 또는 그러한 직선이 지면에 수평한 상태로 소정 각도 이상 소정 방향으로 회전하는 경우(예: 상대방 장치의 위치를 알고 있을 때 그 상대방 장치 위치를 향한 방향으로 사용자가 머리를 소정 각도 이상 크게 돌리는 경우)인지를 판정할 수 있다. 일 예에 따르면, 전술한 움직임 센서에 기초하여 획득된 각각의 움직임이, 행(916)과 관련하여, 대화모드 개시/종료 요청에 대응하는 소정 기준과 비교될 수 있는 움직임으로 정의될 수 있다(여기서 열거된 사항들은 단지 예시적인 것들일 뿐 본 개시가 특정 형태로 제한되지는 않는다). 일 예에서, 개인용 오디오 재생장치(200a, 200b)는 근거리 무선 통신 방식에 따른 신호 송수신으로, 서로의 위치를 모니터링할 수 있고, 그러한 모니터링 결과가 전술한 특정 방향으로의 움직임 여부 판정에 이용될 수 있다.
행(917)에서와 같이, 복수의 수단을 통해 발생한 복수의 이벤트가 결합하여 대화모드 개시 요청 및 대화모드 종료 요청 이벤트로 취급될 수 있다. 행(917)에서는, 마이크와 움직임 센서가 모두 이용되어, 행(916)에서와 같은 소정 기준에 부합하는 움직임이 감지되는 동시에 기준 값 이상 음량의 음성 신호가 획득되는 경우에 대화모드 개시 요청이 발생한 것으로 정의되고 있다. 또한, 행(917)에서는, 행(916)에서와 같은 소정 기준에 부합하는 움직임이 감지되는 동시에 대화모드 개시 이후 소정 시간 이상 기준 값 이상 음량의 음성 신호가 획득되지 않는 경우에 대화모드 종료 요청이 발생한 것으로 정의되고 있다. 이와 같이 복수의 조건을 결합하여 이용하는 경우, 사용자의 의도와 달리 대화모드가 개시되는 것이 방지될 수 있다.
행(911) 내지 행(917)에서는 개인용 오디오 재생장치(200a, 200b) 각각에 구비된 센서 수단을 통해 대화모드 개시 요청 및 대화모드 종료 요청이 검출되는 것으로 설명되었다. 이와 달리, 행(918)에서는, 컨텐츠 제공 장치(100)와 연계된 입력부, 예컨대 리모컨의 온/오프 입력에 따라 대화모드의 개시 또는 종료 요청의 이벤트가 발생하는 것으로 정의할 수 있다.
도 9에 열거된 대화모드 개시 요청과 대화모드 종료 요청을 각각 나타낼 수 있다고 정의된 이벤트들은 단지 예시적인 것들일 뿐이며, 본 개시가 특정 형태로 제한되지 않는다.
도 10은, 본 개시의 일 예에서, 버튼 입력에 따라 대화모드가 개시 및 진행되는 경우를 보여주는 도면이다.
도시된 바에 의하면, 컨텐츠 제공 장치(100)(예컨대, TV)에 개인용 오디오 재생장치(200a, 200b)(예컨대, 사용자 헤드폰)가 각각 통신 접속되고 있다. 상황(1010)에서는, 개인용 오디오 재생장치(200a, 200b) 각각과의 통신 접속 수립 과정에서 컨텐츠 제공 장치(100)의 디스플레이(170) 상에 접속을 요청해 온 개인용 오디오 재생장치(200a, 200b) 각각이 선택 가능하게 표시되고 있다. 상황(1020)에서, 개인용 오디오 재생장치(200a, 200b) 각각과 컨텐츠 제공 장치(100)는 동시청취 모드에 들어가서, 각 사용자는 각자의 개인용 오디오 재생장치(200a, 200b)를 통해 동일한 컨텐츠 제공 장치(100)로부터의 컨텐츠를 감상하고 있다. 상황(1030)에서, 개인용 오디오 재생장치(200a) 측의 사용자가 해당 기기에 구비된 대화버튼을 클릭하여 대화모드 요청 개시 이벤트를 트리거 할 수 있다. 상황(1040)에서, 대화모드가 개시되고, 컨텐츠 재생 장치(200a, 200b) 각각에서는 컨텐츠 제공 장치(100)로부터의 컨텐츠 오디오 신호에 기초한 음향이, 대화모드에 맞도록 변경된 음향 출력 설정(예컨대, 볼륨 감소 등)에 따라 출력될 수 있다. 일 예에서, 각 사용자는 각 개인용 오디오 재생장치(200a, 200b)를 통해 대화모드 음향 출력 설정에 따라 제공되는 컨텐츠 음향 신호를 수신하면서, 외부로부터 상대방 사용자의 음성 입력(예: "저 배우 이름이 뭐야?", "우영우")을 인지할 수 있다. 다른 예에서는, 각 사용자로부터 각 개인용 오디오 재생장치(200a, 200b)의 마이크를 통해 획득된 음성 신호에 기초한 음향이 컨텐츠 제공 장치(100)로부터의 컨텐츠 오디오 신호의 음향과 오버레이되어 대화모드 음향 출력 설정에 따라 개인용 오디오 재생장치(200a, 200b) 각각을 통해 출력될 수 있다.
도 11은, 본 개시의 일 예에 따라, 개인용 오디오 재생장치에서 감지되는 소정의 변동 발생에 따라 대화모드가 개시 및 종료되는 동작 흐름을 개략적으로 도시한 도면이다. 도 12는, 본 개시의 일 예에 따라, 대화모드의 개시로 인식될 수 있는 개인용 오디오 재생장치에서 발생 가능한 변동의 예들을 보여주는 도면이다.
도 11에 도시된 바에 의하면, 동작(1101)에서 동시청취 모드가 개시된다. 예컨대, 도 12의 참조부호(1201)에 도시된 바와 같이, 사용자는 개인용 오디오 재생장치(200a, 200b)를 각각 착용하고 컨텐츠 제공 장치(100)로부터 제공되는 컨텐츠를 감상하고 있을 수 있다. 개인용 오디오 재생장치들(200a, 200b)이 컨텐츠 제공 장치(100)로부터 수신된 오디오 컨텐츠 신호에 따른 컨텐츠 음향을 동시청취 모드에 관하여 정해진 음향 출력 설정에 따라 재생하여 각 구비한 스피커를 통해 출력할 수 있다.
동작(1102)에서 임계 시간 경과 여부가 판정될 수 있다. 이후 각 개인용 오디오 재생장치의 상태 모니터링 결과에 따라 대화모드 개시 여부를 판정함에 있어서, 동시청취 모드가 시작된 초기(예컨대, 사용자가 헤드폰을 착용하고 TV를 시청하기 시작하는 초기) 얼마간은 상대적으로 움직임 등이 많을 수 있으므로, 동시청취 모드가 안정화될 때까지 소정의 임계 시간 동안 대화모드로의 전환을 유예하는 것이다.
동작(1102)에서 임계시간이 경과한 후, 동작(1103)으로 진행하여 각 개인용 오디오 재생장치(200a, 200b)에서의 상태 변화가 모니터링될 수 있다. 예컨대, 전술한 바와 같이, 각 개인용 오디오 재생장치(200a, 200b)는 근거리 통신 모듈(예컨대, UWB 모듈)을 통한 신호 송수신에 의해 서로의 위치나 방향을 추적 및 모니터링할 수 있다. 일 예에서, 각 개인용 오디오 재생장치(200a, 200b)는 근거리 통신 방식에 의해 컨텐츠 제공 장치(100)의 위치를 인식할 수 있다. 일 예에서, 각 오디오 재생장치(200a, 200b)는 마이크(240)를 구비하고, 마이크(240)를 통해 음성 입력을 획득할 수 있다. 일 예에서, 각 오디오 재생장치는 각각 구비한 움직임 센서(270)를 통해 해당 기기의 이동, 회전, 기울어짐 등을 추적 및 모니터링할 수 있다. 일 예에서, 각 개인용 오디오 재생장치(200a, 200b)는, 추적 및 모니터링 중인 상대방 장치(200b, 200a)의 위치, 컨텐츠 제공 장치(100)의 위치, 해당 오디오 재생장치(200a, 200b) 상에서 감지된 움직임 등을 조합하여, 해당 개인용 오디오 재생장치(200a, 200b)와 컨텐츠 제공 장치(100) 사이의 거리, 해당 오디오 재생장치와 상대방 장치 사이의 거리, 해당 오디오 재생장치(예: 양측 스피커에 의한 직선)와 상대방 장치(예: 상대방 장치의 양측 스피커에 의한 직선)가 이루는 각도 등 다양한 정보의 변동을 모니터링할 수 있다. 일 예에서, 각 오디오 재생장치는 근접 센서를 구비하고, 컨텐츠 제공 장치 및/또는 상대방 장치와의 사이에서 근접도를 검출할 수 있다.
동작(1104)에서는, 동작(1102)에서의 모니터링 결과에 기초하여 대화모드 개시 요청을 위한 기준을 충족하는 변동이 발생하였는지가 판정될 수 있다. 일 예에서, 대화모드 개시 요청을 위한 기준으로는, 예컨대 오디오 재생장치(200a, 200b)가 상대방 장치 쪽으로 기준 값 이상 기울어진 경우(예: 도 12의 참조부호(1202) 참조), 오디오 재생장치(200a, 200b)가 컨텐츠 제공 장치(100) 쪽으로 기준 값 이상 이동한 경우, 오디오 재생장치(200a, 200b)가 상대방 장치 쪽으로 기준 값 이상 이동한 경우, 오디오 재생장치(200a, 200b)에서 마이크(240)를 통해 획득된 음성의 음량이 기준 값 이상인 경우(예: 도 12의 참조부호(1203) 참조), 오디오 재생장치(200a, 200b)와 상대방 장치(200b, 200a)가 이루는 각도가 줄어든 경우(예: 도 12의 참조부호(1204) 참조) 등 다양하게 정의될 수 있고, 특정 형태로 제한되지 않는다.
동작(1104)에서 대화모드 개시 요청을 위한 기준을 충족하는 변동이 발생하였다고 판정된 경우, 동작(1105)에서 각 개인용 오디오 재생장치(200a, 200b) 및 컨텐츠 제공 장치(100)는 대화모드로 진입할 수 있다. 사용자는 개인용 오디오 재생장치(200a, 200b)를 각각 착용하고 컨텐츠 제공 장치(100)로부터 제공되는 컨텐츠를 감상하는 동시에 상대방 장치의 사용자와 대화를 진행할 수 있다. 일 예에서, 개인용 오디오 재생장치들(200a, 200b)은 컨텐츠 제공 장치(100)로부터 수신된 오디오 컨텐츠 신호에 따른 컨텐츠 음향을 대화모드에 관하여 정해진 음향 출력 설정에 따라 재생하여 각 구비한 스피커를 통해 출력할 수 있다. 일 예에서, 개인용 오디오 재생장치들은 또한 각 개인용 오디오 재생장치(200a, 200b)의 마이크에 의해 획득된 대화 음성에 기초한 대화 음향을, 컨텐츠 제공 장치(100)로부터의 컨텐츠 신호에 기초한 컨텐츠 음향과 오버레이하여, 스피커를 통해 출력할 수 있다.
동작(1105)에서는 대화모드의 진행이 이루어지는 동안 개인용 오디오 재생장치(200a, 200b)에서의 상태 변화가 지속적으로 추적 및 모니터링될 수 있다. 대화모드의 종료 요청이 발생하였는지를 판정하기 위한 상태 변화를 감지하기 위한 것이다. 추적 및 모니터링 대상이 되는 상태는 동작(1103)에서 대화 모드로의 진입 요청이 있는지 여부를 판단하기 위해 모니터링 되었던 대상들과 같거나 유사할 수 있고, 본 개시가 특정 형태로 제한되는 것은 아니다.
동작(1106)에서는, 동작(1105)에서의 모니터링 결과에 기초하여 대화모드 종료 요청을 위한 기준을 충족하는 변동이 발생하였는지가 판정될 수 있다. 일 예에서, 대화모드 종료 요청을 위한 기준으로는, 예컨대 오디오 재생장치(200a, 200b)가 상대방 장치 쪽으로 기준 값 이상 기울어진 상태에서 다시 멀어지는 방향으로 기준 값 이상 복귀하는 경우, 오디오 재생장치(200a, 200b)가 컨텐츠 제공 장치(100)에서 멀어지는 쪽으로 기준 값 이상 이동한 경우, 오디오 재생장치(200a, 200b)가 상대방 장치로부터 멀어지는 방향으로 기준 값 이상 이동한 경우, 소정 시간 이상 오디오 재생장치(200a, 200b)에서 마이크(240)를 통해 획득된 기준 값 이상의 음량이 없는 경우, 오디오 재생장치(200a, 200b)와 상대방 장치(200b, 200a)가 이루는 각도가 기준 값 이상 늘어난 경우 등 다양하게 정의될 수 있다.
도 13 내지 도 16은, 본 개시의 일 예에 따라, 컨텐츠 제공 장치에 각각 접속된 두 개의 개인용 오디오 재생장치를 통하여 사용자들 간 대화모드가 진행되는 경우 컨텐츠 제공 장치의 디스플레이 상에 대화의 진행을 나타내는 표지가 표시되는 상황들을 보여주는 도면들이다.
도 13에는, 컨텐츠 제공 장치(100)에 각각 접속된 개인용 오디오 재생장치(200a, 200b)를 통하여 컨텐츠를 감상하는 사용자들이 동시청취 모드로부터 대화모드로 진입한 상태가 도시되어 있다. 도시된 바와 같이, 컨텐츠 제공 장치(100)는 TV 장치일 수 있다. 도 13에서, 컨텐츠 제공 장치(100)의 디스플레이 상에는 개인용 오디오 재생장치(200a, 200b)가 대화모드에 막 진입한 상태임을 나타내는 표지(1300)가 표시되어 있다. 도시된 표지(1300)에는, 후술하는 도 14 내지 도 16에 도시된 경우와 달리, 발화가 이루어지는 장치가 어느 쪽인지 표시되지 않는다.
도 14는, 도 13에 이어서, 대화모드가 진행되어 개인용 오디오 재생장치(200a) 측 사용자에 의한 발화가 이루어지는 경우 컨텐츠 제공 장치(100) 상에 그러한 발화 기기를 나타내는 표지(1400)가 표시되는 경우가 도시되어 있다. 전술한 바와 같이, 일 예에서, 컨텐츠 제공 장치(100)와 각 개인용 오디오 재생장치(200a, 200b)는 근거리 무선 통신 프로토콜에 따라 서로의 위치를 인식할 수 있다. 일 예에서, 컨텐츠 제공 장치(100)는, 개인용 오디오 재생장치(200a, 200b) 양자의 상대적 방향을 인식할 수 있다. 도시된 바에 의하면, 컨텐츠 제공 장치(100)에 대해 개인용 오디오 재생장치(200a)는 (디스플레이를 수직으로 바라보는 방향에서) 좌측일 수 있고, 표지(1400)는 좌측 화살표 표시를 포함하여 발화가 좌측의 개인용 오디오 재생장치(200a)에서 발생하고 있음을 나타내고 있다.
도 15는, 대화모드가 진행되어 개인용 오디오 재생장치(200b) 측 사용자에 의한 발화가 이루어지는 경우 컨텐츠 제공 장치(100) 상에 그러한 발화 장치를 나타내는 표지(1500)가 표시되는 경우가 도시되어 있다. 전술한 바와 같이, 컨텐츠 제공 장치(100)는, 개인용 오디오 재생장치(200a, 200b) 양자의 상대적 방향을 인식할 수 있다. 도시된 바에 의하면, 컨텐츠 제공 장치(100)에 대해 개인용 오디오 재생장치(200b)는 (디스플레이를 수직으로 바라보는 방향에서) 우측일 수 있고, 표지(1500)는 우측 화살표 표시를 포함하여 발화가 우측의 개인용 오디오 재생장치(200b)에서 발생하고 있음을 나타내고 있다.
도 16은, 대화모드가 진행되는 중에 양측 개인용 오디오 재생장치(200a, 200b 사용자 모두에 의한 발화가 동시에 이루어지는 경우 컨텐츠 제공 장치(100) 상에서 그러한 발화 기기를 나타내는 표지(1600)가 표시되는 경우가 도시되어 있다. 도시된 바에 의하면, 표지(1600)에는 좌우측 화살표가 표시되어 발화가 좌측과 우측의 개인용 오디오 재생장치(200a, 200b) 모두에서 발생하고 있음을 나타내고 있다.
도 17 및 도 18은, 본 개시의 일 예에 따라, 컨텐츠 제공 장치에 각각 접속된 두 개의 개인용 오디오 재생장치를 통하여 사용자들 간 대화모드가 진행되는 경우 컨텐츠 제공 장치의 디스플레이 상에 대화의 진행을 나타내는 표지가 표시되는 상황들을 보여주는 도면들이다.
도 13 내지 도 16과 유사하게, 도 17 및 도 18에는 컨텐츠 제공 장치(100)에 각각 접속된 개인용 오디오 재생장치(200a, 200b)를 통하여 컨텐츠를 감상하는 사용자들이 동시청취 모드로부터 대화모드로 진입한 상태가 도시되어 있다. 대화모드를 표시하는 하나의 표지 만이 도 13 내지 도 16에서 표시되어 있었던 것과 달리, 도 17 및 도 18에서는 컨텐츠 제공 장치(100)의 디스플레이(170)의 양측 하단에 각 개인용 오디오 재생장치(200a, 200b)를 나타내는 표지(1710, 1720)가 표시되고 있다. 전술한 바와 같이, 컨텐츠 제공 장치(100)는 접속 중인 개인용 오디오 재생장치(200a, 200b) 각각의 상대적 위치를 인식할 수 있으므로, 디스플레이(170)의 좌측 하단에 표시된 표지(1710)은 좌측의 개인용 오디오 재생장치(200a)를 나타내고 디스플레이의 우측 하단에 표시된 표지(1720)은 우측의 개인용 오디오 재생장치(200b)를 나타낼 수 있다. 도 17에서는, 개인용 오디오 재생장치(200a) 측의 사용자에 의한 발화가 이루어지는 중이고 컨텐츠 제공 장치(100)에 표시되는 표지들 중 좌측 표지(1710)가 진하게 표시되어 있다. 도 18에서는, 개인용 오디오 재생장치(200b) 측의 사용자에 의한 발화가 이루어지는 중이고 컨텐츠 제공 장치(100)에 표시되는 표지들 중 우측 표지(1720)가 진하게 표시되어 있다.
도 19 및 도 20은, 본 개시의 일부 예들에 따라, 컨텐츠 제공 장치에 각각 접속된 세 개의 개인용 오디오 재생장치를 통한 사용자들 간 대화모드가 진행되는 경우 컨텐츠 제공 장치의 디스플레이 상에 대화의 진행을 나타내는 표지가 표시되는 각각의 예시적 상황을 보여주는 도면들이다.
도 19에는, 컨텐츠 제공 장치(100)에 각각 접속된 개인용 오디오 재생장치(200a, 200b, 200c)를 통하여 컨텐츠를 감상하는 사용자들이 동시청취 모드로부터 대화모드로 진입한 상태가 도시되어 있다. 도시된 바와 같이, 컨텐츠 제공 장치(100)는 TV 장치일 수 있다. 도 19에서, 컨텐츠 제공 장치(100)의 디스플레이 상에는 개인용 오디오 재생장치(200a, 200b, 200c)가 대화모드에 진입한 상태임을 나타내는 표지(1900)가 표시되어 있다. 도시된 표지(1900)는, 도 16에 도시된 표지(1600)와 유사하지만 접속된 개인용 오디오 재생장치가 3개라는 점에서 차이가 있다. 컨텐츠 제공 장치(100)는 각 개인용 오디오 재생장치(200a, 200b, 200c)의 상대적 위치를 인식할 수 있다. 도시된 바에 있어서, 표지(1900)에 포함된 화살표 중 좌우측 화살표는 각각 컨텐츠 제공 장치(100)의 좌우측에 위치한 개인용 오디오 재생장치(200a, 200b)를 나타내기 위한 것이다. 도시된 바에 있어서, 표지(1900)에 포함된 화살표 중 중앙 하측 화살표는 개인용 오디오 재생장치(200a, 200b) 사이에 위치한 개인용 오디오 재생장치(200c)를 나타내기 위한 것이다. 도시된 바에 의하면, 세 개의 개인용 오디오 재생장치(200a, 200b, 200c) 측 모두에서 발화가 이루어지고 있으며, 표지(1900)에는 세 개의 화살표가 이를 나타내기 위해 표시되고 있다.
도 20에는, 컨텐츠 제공 장치(100)에 각각 접속된 개인용 오디오 재생장치(200a, 200b, 200c)를 통하여 컨텐츠를 감상하는 사용자들이 동시청취 모드로부터 대화모드로 진입한 상태가 도시되어 있다. 도시된 바와 같이, 컨텐츠 제공 장치(100)는 TV 장치일 수 있다. 도 20에서, 컨텐츠 제공 장치(100)의 디스플레이 상에는 개인용 오디오 재생장치(200a, 200b, 200c)가 대화모드에 진입한 상태임을 나타내는 표지(2000)가 표시되어 있다. 도시된 표지(2000)는, 도 19에 도시된 표지(1900)과 유사하지만, 발화자를 나타내기 위하여 도 19에서는 각 방향의 화살표가 이용되는 것과 달리 도 20에서는 각 기기의 명칭(또는 식별자)이 표지(2000) 하방에 표기된다는 점에서 차이가 있다. 도시된 바에 의하면, 개인용 오디오 재생장치(200c)에서 현재 발화가 이루어지는 중이며 해당 기기의 식별자가 Label 2일 수 있다. 표지(2000)는 하단에 Label 2가 표시되어 있다.
도 21은, 본 개시의 일 예에 따라, 컨텐츠 제공 장치에 각각 접속된 두 개의 개인용 오디오 재생장치를 통한 사용자들 간 대화모드가 개시되는 상황에서 컨텐츠 제공 장치의 디스플레이 상에 사용자들 간 대화의 진행을 나타내는 표지가 표시되는 각각의 예시적 상황을 보여주는 도면이다.
도 21에 도시된 바에 의하면, 컨텐츠 제공 장치(100)에 각각 접속된 개인용 오디오 재생장치(200a, 200b)를 통하여 컨텐츠를 감상하는 사용자들이 동시청취 모드로부터 대화모드로 진입한 상태가 도시되어 있다. 도 21에서, 컨텐츠 제공 장치(100)의 디스플레이(170) 상에는 개인용 오디오 재생장치(200a, 200b)가 대화모드에 진입한 상태임을 나타내는 표지(2100)가 표시되어 있다. 도시된 표지(2100)는, 도 17 및 도 18에 도시된 표지(1700, 1800)과 유사하지만 상단에 현재 적용 중인 대화모드에서의 음향 출력 설정에 관한 설명, 예컨대 ANC 모드 비활성화가 표시(2101)되고 있다는 점과, 각 개인용 오디오 재생장치(200a, 200b)를 나타내는 표시(2102, 2103)의 형상이 다른 점에서 약간의 차이가 있다.
도 13 내지 도 21에 도시된 디스플레이 표시들은 모두 예시적인 것일 뿐 본 개시가 이로써 제한되는 것은 아니다. 컨텐츠 제공 장치를 통한 대화모드의 진행 상태를 표시하는 다양한 방법들이 생각될 수 있다.
도 22는, 본 개시의 일 예에 따라, 복수의 VR 장치를 통하여 동시청취 및 대화모드가 적용될 수 있는 환경을 개략적으로 도시한 도면이다.
도시된 바에 의하면, 두 명의 사용자가 각각 VR 장치(200a', 200b')를 착용한 상태에서 몰입형 컨텐츠를 감상하고 있다. 제공되는 몰입형 컨텐츠(2200)는, 동일하거나 상이한 컨텐츠 제공 장치(명시적으로 도시되지 않음)로부터 동시에 스트리밍 제공되는 것일 수 있다. 컨텐츠 제공 장치는, 예컨대 몰입형 컨텐츠 제공이 가능한 임의의 유무선 통신 장치나 서버 장치 등일 수 있고, 특정 형태로 제한되지 않는다. 일 예에서, 두 개의 VR 장치(200a', 200b')가 서로 소정의 근거리 무선 통신 방식으로 접속될 수 있고, 본 개시가 이로써 제한되는 것은 아니다. VR 장치(200a', 200b')는 동시청취 모드에서 각각 동시청취 모드를 위해 설정된 음향 출력 설정에 따라 컨텐츠를 감상하는 중에 어느 한쪽 기기에서 대화모드 요청 이벤트가 발생함에 응답하여 대화모드로 진입할 수 있다. 대화모드로 진입할 경우, 대화모드를 위하여 설정된 음향 출력 설정에 따라 출력되는 음향을 청취하게 된다. 일 예에서, 대화모드에서 VR 장치(200a', 200b')의 스피커를 통해 출력되는 음향은 몰입형 컨텐츠 음향과 그에 오버레이된 사용자 음성(각 기기 상의 마이크에서 획득됨)에 대응한 음향을 포함할 수 있으며, 본 개시가 이로써 제한되는 것은 아니다.
도 23은, 본 개시의 일 예에 따른, 복수 사용자에 의한 동시청취 환경을 개략적으로 도시한 도면이다.
도 23에는, 도 1에 도시된 것과 유사한 동시청취 환경이 도시되어 있다. 도시된 바에 의하면, 컨텐츠 제공 장치(100)에 대해 두 개의 개인용 오디오 재생장치(200a, 200b)가 각각 무선 방식으로 접속되어 있다. 다만, 도 1에 도시된 경우와 달리 도 23에 도시된 바에 의하면, 개인용 오디오 재생장치(200a, 200b)가 동일한 컨텐츠 제공 장치(100)로부터 획득하는 오디오 신호가 동일한 컨텐츠가 아니라는 점이다. 도 23에 도시된 바에 의하면, 사용자는 컨텐츠 제공 장치(100)(예컨대, TV 장치)의 분할 모드를 이용해서 각각 다른 프로그램을 시청하고 있으며, 각 개인용 오디오 재생장치(200a, 200b)를 통해서도 각 시청 중인 프로그램에 상응하고 서로 간에는 상이한 컨텐츠 음향이 출력되고 있다. 이러한 상황에서도, 전술한 대화모드 진입을 위한 소정 이벤트가 감지될 경우, 컨텐츠 제공 장치(100) 및 각 개인용 오디오 재생장치(200a, 200b)는 대화모드에 진입할 수 있고, 대화 모드를 위한 변경된 음향 출력 설정에 따라 각각의 컨텐츠 음향(서로 상이함)을 획득할 수 있다.
도 24a 및 도 24b는, 본 개시의 일 예에 따라, 대화모드 진행 시 대화 음성에 따른 음향을, 개인용 오디오 재생장치들 간 상대적 위치 변화를 고려하여 생성/변경되는 입체음향으로서 제공하는 경우, 대화모드의 개시, 진행, 및 종료의 동작 흐름을 개략적으로 도시한 도면이다.
본 도면과 관련하여, 본 개시의 일 예에 따르면, 복수의 개인용 오디오 재생장치들이 컨텐츠 제공 장치에 접속하여 동시청취 모드에서 오디오 컨텐츠의 컨텐츠 음향을 감상하는 중에 대화모드에 진입하는 경우, 각 개인용 오디오 재생장치에서 마이크를 통해 획득된 사용자의 발화 음성에 따른 음향이, 컨텐츠 음향과 오버레이되어 개인용 오디오 재생장치들 각각의 스피커를 통해 제공될 수 있다.
도시된 바에 의하면, 동작(2401)에서, 컨텐츠 제공 장치에 제1 및 제2 개인용 오디오 재생장치가 통신 접속될 수 있다. 동작(2402)에서, 제1 및 제2 개인용 오디오 재생장치 각각은 컨텐츠 제공 장치로부터 오디오 컨텐츠 신호를 수신하고 수신된 오디오 신호에 기초한 컨텐츠 음향을 재생 및 출력할 수 있다. 이때, 컨텐츠 음향은, 각 개인용 오디오 재생장치 별로 미리 정해진 동시청취 모드를 위한 음향 출력 설정에 따라 생성 및 출력될 수 있다.
그런 다음, 동작(2403)에서, 제1 또는 제2 개인용 오디오 재생장치 중 어느 일 측에서 대화 요청을 나타내는 이벤트가 발생하였는지 판정될 수 있다. 그러한 이벤트가 발생했다고 판정된 경우, 이벤트의 발생은 상대방 개인용 오디오 재생장치(예컨대, 동시청취 모드 중에 있는 다른 오디오 재생장치)로 전달될 수 있다. 동작(2404)에서는, 이벤트가 발생했던 개인용 오디오 재생장치 측에서, 그러한 통지를 받은 상대방 개인용 오디오 재생장치로부터 동의 응답을 지정된 시간 내에 획득하였는지 여부가 판정될 수 있다. 전술한 바와 같이, 각 개인용 오디오 재생장치에서 대화모드의 개시를 요청하거나 상대방 요청에 대한 동의를 하는데 이용될 수 있는 복수의 이벤트들이 미리 정의되어 있을 수 있다. 본 개시의 일 예에 따르면, 도시된 바와 같이, 일측 장치에서 발생한 대화모드 개시 요청이 있을 경우, 상대방 장치로부터의 동의가 있는 경우에 대화모드로 진입하게 할 수 있으나, 본 개시가 이로써 제한되는 것은 아니다.
동작(2404)에서 상대방 개인용 오디오 재생장치로부터 동의 응답이 획득되었다고 판정된 경우, 대화모드에 진입하고, 동작(2405)로 진행하여 양측 개인용 오디오 재생장치 각각의 마이크가 활성화될 수 있다. 동작(2406)에서, 컨텐츠 제공장치가 각각의 개인용 오디오 재생장치의 마이크로부터 획득되는 음성 신호를 수신할 수 있다.
일 예에서, 각 개인용 오디오 재생장치는 구비된 센서들, 예컨대 IMU 센서, 자이로 센서, 지자계 센서, 및 기타 각종 움직임 센서들을 통해, 해당 장치의 움직임 크기 및 방향을 감지할 수 있다. 일 예에서, 전술한 바와 같이 컨텐츠 제공 장치와, 개인용 오디오 재생장치 각각은 근거리 무선 통신 방식을 통한 신호 송수신을 통해 서로 간의 상대적 위치를 지속적으로 획득할 수 있다. 동작(2407)에서는 컨텐츠 제공 장치가, 컨텐츠 제공 장치 및/또는 개인용 오디오 재생장치 간의 상대적 위치를 모니터링할 수 있다.
도 24b로 진행하여 동작(2408)에서, 컨텐츠 제공 장치는, 각 개인용 오디오 재생장치로 제공될 컨텐츠 오디오 신호와 동작(2406)에서 획득한 각각의 개인용 오디오 재생장치로부터의 음성 신호를 오버레이하여, 각 개인용 오디오 재생장치로 전송할 수 있다. 일 예에서, 컨텐츠 제공 장치는, 대화모드를 위한 음향 출력 설정에 기초하여, 컨텐츠 오디오 신호와 음성 신호를 적절히 오버레이 처리한 후 각 개인용 오디오 재생장치로 전송할 수 있다. 일 예에서, 컨텐츠 제공 장치는, 각 개인용 오디오 재생장치로 전송하기 위한 컨텐츠 오디오 신호 및 음성 신호를 오버레이 처리함에 있어서, 동작(2407)에서 컨텐츠 제공 장치 및/또는 개인용 오디오 재생장치의 상대적 위치를 모니터링한 결과를 이용할 수 있다. 예컨대, 컨텐츠 처리 장치는, 각 개인용 오디오 재생장치로 전송하기 위하여 컨텐츠 오디오 신호와 음성 신호를 오버레이 처리함에 있어서, 해당 개인용 오디오 재생장치에 관한 컨텐츠 제공 장치 및 상대방 개인용 오디오 재생장치의 상대적 위치를 반영한 입체음향 신호를 생성할 수 있다.
동작(2409)에서 각 개인용 오디오 재생장치는 컨텐츠 제공 장치로부터, 컨텐츠 오디오 신호와 음성 신호가 오버레이된 신호를 수신하고, 수신된 신호에 기초한 음향을 재생 및 출력할 수 있다. 동작(2410)에서, 컨텐츠 제공 장치는, 컨텐츠 제공 장치 및/또는 개인용 오디오 재생장치의 상대적 위치에 변동이 발생하였는지를 판정할 수 있다. 그러한 변동이 발생한 경우, 동작(2411)에서 컨텐츠 제공 장치는, 그 변경된 상대적 위치를 반영하여, 컨텐츠 오디오 신호와 음성 신호의 오버레이 신호를 조정할 수 있다. 이로써 대화모드 동안, 각 개인용 오디오 재생장치를 통해 사용자에게, 컨텐츠 음향과 대화 음향이 오버레이되되, 대화모드에 관여하는 컨텐츠 제공 장치 및/또는 개인용 오디오 재생기기 간 위치 변동을 반영한 입체음향 형태로써 제공될 수 있다. 이로써 사용자는, 개인용 오디오 재생기기의 스피커를 통해 음향을 청취함에도, 마치 그러한 장치 없이 자연상태에서 컨텐츠 감상과 대화를 진행하는 것과 같은 현장감을 느낄 수 있다.
도 25는, 본 개시의 일 예에 따라, 대화 모드 진행 시 개인용 오디오 재생장치에 대해, 발화가 발생한 개인용 오디오 재생장치 및 컨텐츠 제공 장치의 상대적 위치가 반영된 입체음향이 제공되는 상황을 시각적으로 도시한 도면이다.
도시된 바에 의하면, 컨텐츠 제공 장치(100)로부터의 오디오 컨텐츠 신호와 개인용 오디오 재생장치(200b) 상에서 발생한 사용자의 발화 음성 신호가 개인용 오디오 재생장치(200a)로 제공되고 있다. 점선(2501)은 컨텐츠 제공 장치(100)로부터의 컨텐츠 신호에 따른 컨텐츠 음향을 나타내고, 두꺼운 실선(2502)는 대화에서 발화 중인 개인용 오디오 재생장치(200b)로부터의 음성 신호에 따른 대화 음향을 나타내기 위한 것이다. 점선(2501)으로 표시되는 컨텐츠 음향은, 개인용 오디오 재생장치(200a)에 대한 컨텐츠 제공 장치(100)의 상대적 위치가 반영된 지향성 음향일 수 있다. 실선(2502)으로 표시되는 대화 음향은, 개인용 오디오 재생장치(200a)에 대한 개인용 오디오 재생장치(200b)의 상대적 위치가 반영된 지향성 음향일 수 있다.
도 24로 돌아와서, 동작(2412)에서, 제1 또는 제2 개인용 오디오 재생장치 중 어느 일 측에서 대화모드 종료 요청을 나타내는 이벤트가 발생하였는지 판정될 수 있다. 그러한 이벤트가 발생했다고 판정된 경우, 동작(2412)에서 컨텐츠 제공 장치는 대화모드 진입 이전의 시점으로 컨텐츠 재생시점을 복귀하고 다시 동시청취 모드로 들어갈 수 있다.
도 24 및 도 25와 관련하여, 개인용 오디오 재생장치들 간 대화모드에서, 각 개인용 오디오 재생장치로 전달될 컨텐츠 오디오 신호와 대화 음성 신호의 합성 및 처리, 컨텐츠 제공 장치 및/또는 개인용 오디오 재생장치들 간 상대적 위치에 따른 입체음향 신호 생성 등이 모두 컨텐츠 제공 장치의 주도 하에 이루어지는 경우를 중심으로 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 예에 따르면, 컨텐츠 제공 장치를 대신하여 개인용 오디오 재생장치가 주도적으로 전술한 각종 처리의 전체 또는 일부를 수행할 수도 있다. 본 개시의 일 예에 따르면, 개인용 오디오 재생장치에 접속된 별도의 다른 개인 통신장치가 그러한 각종 처리의 전체 또는 일부를 수행할 수도 있다.
본 개시에서는 주로 동일한 컨텐츠 제공 장치에 접속된 복수의 개인용 오디오 재생장치들 간의 대화모드를 중심으로 설명되었으나 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 예에서는, 근접한 공간에 있기만 하다면, 각각의 컨텐츠 제공 장치에 접속되어 각각의 오디오 컨텐츠를 감상하는 개인용 오디오 재생장치들의 경우에도 본 개시의 동시청취 모드가 진행 중인 것으로 보고, 이어서 미리 정해진 소정의 이벤트가 발생할 경우 이들 개인용 오디오 재생장치들 사이에 대화모드가 성립될 수 있다.
본 개시에 따르면 오디오 재생장치(200a, 200b, 200)의 음향 출력을 제어하는 방법이 제공된다. 상기 오디오 재생장치는 다른 오디오 재생장치와 동시청취 모드에서 동작 가능하고, 상기 동시청취 모드에서 상기 오디오 재생장치와 상기 다른 오디오 재생장치 각각은, 각 대응하는 음향 출력 설정에 따라, 통신 접속을 통해 대응 컨텐츠 제공 장치(100)로부터 스트리밍 수신되는 오디오 컨텐츠 신호에 기초한 컨텐츠 음향을 출력하도록 동작할 수 있다. 상기 방법은, 상기 오디오 재생장치와 상기 다른 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 다른 오디오 재생장치로부터 발생한 대화 요청을 감지하는 동작을 포함한다. 상기 방법은 상기 대화 요청의 감지에 응답하여, 상기 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와 대화모드로 진입하도록 하고, 상기 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경하는 동작을 포함한다. 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 포함한다.
일 예에서, 상기 동시청취 모드에서 상기 오디오 재생장치의 상기 음향 출력 설정은 ANC(Active Noise Cancellation) 기능의 턴 온 설정을 포함할 수 있다. 상기 대화모드에서의 상기 변경된 음향 출력 설정은 상기 ANC 기능의 턴 오프 설정을 포함할 수 있다.
일 예에서, 상기 오디오 재생장치는 외부 잡음을 획득하도록 구성된 마이크를 포함할 수 있다. 상기 변경된 음향 출력 설정은, 상기 컨텐츠 음향과 함께 상기 외부 잡음에 기초한 잡음 음향이 출력되도록 하는 투명(Transparency)모드의 턴 온 설정을 포함할 수 있다.
일 예에서, 상기 오디오 재생장치의 상기 음향 출력 설정은 상기 컨텐츠 음향을 위한 볼륨 설정 및 입체음향 효과 설정 중 적어도 하나를 포함할 수 있다. 상기 변경된 음향 출력 설정은, 상기 볼륨 설정 및 상기 입체음향 효과 설정 중 적어도 하나의 변경된 설정을 포함할 수 있다.
일 예에서, 상기 방법은, 상기 오디오 재생장치와 상기 다른 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 오디오 재생장치 상에서 발생한 상기 다른 오디오 재생장치로의 대화 요청을 감지하는 동작, 상기 다른 오디오 재생장치로의 대화 요청을 감지함에 응답하여, 상기 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와서 대화모드로 진입하도록 하고, 상기 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경하는 동작, 및 상기 대화모드에서 동작하는 동안, 상기 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 더 포함할 수 있다.
일 예에서, 상기 다른 오디오 재생장치로의 대화 요청을 감지하는 동작은, 상기 오디오 재생장치 상에서 발생한, 사용자에 의한 소정의 터치 입력, 소정의 버튼 입력 또는 입력 해제, 소정의 키 입력 또는 입력 해제, 임계값 이상의 음성 입력, 임계값 이상의 움직임, 및 소정 패턴의 움직임 중 적어도 하나를 감지하는 동작을 포함할 수 있다.
일 예에서, 상기 다른 오디오 재생장치로의 대화 요청을 감지하는 동작은, 소정 기준을 충족하는, 상기 오디오 재생장치와 상기 다른 오디오 재생장치 간 거리 변화 또는 각도 변화 발생을 감지하는 동작을 포함할 수 있다.
일 예에서, 상기 오디오 재생장치 상에서 발생한 상기 다른 오디오 재생장치로의 대화 요청이 감지된 경우, 통신 접속을 통해, 상기 다른 오디오 재생장치로의 상기 대화 요청의 발생을 알리는 신호를 상기 오디오 재생장치에 대응하는 상기 컨텐츠 제공 장치 또는 상기 다른 오디오 재생장치로 통지하는 동작을 더 포함할 수 있다.
일 예에서, 상기 오디오 재생장치는 사용자로부터의 음성 입력을 획득하도록 구성된 마이크를 포함할 수 있다. 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 마이크를 통해 획득된 상기 음성 입력이, 상기 오디오 재생장치로부터, 상기 오디오 재생장치에 대응하는 상기 컨텐츠 제공 장치 또는 상기 다른 오디오 재생장치로 전송되도록 제어하는 동작을 더 포함할 수 있다.
일 예에서, 상기 다른 오디오 재생장치는 제2 사용자로부터의 음성 입력을 획득하도록 구성된 제2 마이크를 포함할 수 있다. 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 오디오 재생장치가, 상기 변경된 음향 출력 설정에 기초하여, 상기 컨텐츠 음향에 오버레이해서, 상기 다른 오디오 재생장치에서 획득된 상기 음성 입력에 기초한 대화 음향을 출력하도록 제어하는 동작을 더 포함할 수 있다.
일 예에서, 상기 오디오 재생장치에 대한, 상기 오디오 재생장치에 대응하는 상기 컨텐츠 장치 및 상기 다른 오디오 재생장치 각각의 상대적 위치를 검출하는 동작을 더 포함할 수 있다. 상기 변경된 음향 출력 설정은, 상기 검출된 상대적 위치들에 기초한 상기 컨텐츠 음향과 상기 대화 음향의 입체음향 효과 설정을 포함할 수 있다.
일 예에서, 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 오디오 재생장치 또는 상기 다른 오디오 재생장치 상에서 발생한 상기 대화모드의 종료 요청을 감지하는 동작을 더 포함할 수 있다. 상기 방법은, 상기 종료 요청이 감지된 경우, 상기 오디오 재생장치가 상기 대화모드로부터 빠져나와서 상기 동시청취 모드로 진입하도록 하고, 상기 변경된 음향 출력 설정을 변경 전 상기 음향 출력 설정으로 복원하는 동작, 및 상기 동시청취 모드에서, 상기 오디오 재생장치가 복원된 상기 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 더 포함할 수 있다.
일 예에서, 상기 대화모드의 종료 요청을 감지하는 동작은, 상기 오디오 재생장치 또는 상기 다른 오디오 재생장치 상에서 발생한 소정의 터치 입력, 소정의 버튼 입력 또는 입력 해제, 소정의 키 입력 또는 입력 해제, 소정 기간 이상 임계값 이상인 음성 입력 없음, 소정 기간 이상 임계값 이상의 움직임 없음, 및 소정 패턴의 움직임 중 적어도 하나를 감지하는 동작을 포함할 수 있다.
본 개시에 따르면, 전자 장치(100. 200, 600a, 600b)가 제공된다. 전자 장치는, 적어도 하나의 명령어를 저장하는 메모리(130, 220), 및 상기 메모리(130, 220)와 전기적으로 연결되고, 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(140, 230)를 포함할 수 있다. 상기 적어도 하나의 프로세서(140, 230)는 전술한 방법들 중 어느 하나의 방법을 수행하도록 구성될 수 있다.
일 예에서, 상기 전자 장치는, 타임라인에 따른 오디오 컨텐츠 신호를 제공하는 오디오 처리 회로(150), 디스플레이(170), 상기 오디오 재생장치 및 상기 다른 오디오 재생장치 각각에 대해 통신 접속을 수립하고, 상기 통신 접속을 통해 상기 오디오 처리 회로(150)로부터의 상기 오디오 컨텐츠 신호를 상기 오디오 재생장치 및 상기 다른 오디오 재생장치 각각으로 전송하도록 구성된 통신 회로(110)를 더 포함할 수 있다. 상기 오디오 처리 회로(150), 상기 디스플레이(170), 및 상기 통신 회로(110) 각각은 상기 프로세서(140)에 접속될 수 있다. 상기 프로세서(140)는, 상기 통신 회로(110)를 통하여 상기 오디오 재생장치 및 상기 다른 오디오 재생장치 각각으로 상기 오디오 컨텐츠 신호를 전송하는 동안, 상기 오디오 재생장치로부터 발생한 상기 다른 오디오 재생장치로의 대화 요청을 감지하고, 상기 대화 요청을 감지한 경우, 상기 디스플레이(170)를 통해 상기 오디오 재생장치 및 상기 다른 오디오 재생장치 간의 대화 상태를 나타내는 표지(1300, 1400, 1500, 1600, 1710, 1720, 1900, 2000, 2100)를 표시하도록 구성될 수 있다.
일 예에서, 상기 대화 상태를 나타내는 표지는, 상기 오디오 재생장치들 각각을 나타내는 아이콘(1710, 1720, 2102, 2103)을 포함할 수 있다.
일 예에서, 상기 대화 상태를 나타내는 표지는, 상기 오디오 재생장치들 중 현재 발화 입력이 발생하고 있는 장치의 표시(1400, 1500, 1600, 1710, 1720, 1900, 2000, 2102)를 포함할 수 있다.
일 예에서, 상기 프로세서(140)는, 상기 대화 요청을 감지한 경우, 상기 오디오 컨텐츠 신호에 관하여 대응하는 타임라인 정보를 저장하고, 상기 대화 요청에 의해 발생한 상기 오디오 재생장치 및 상기 다른 오디오 재생장치 간 대화의 종료를 감지하고, 상기 대화의 종료를 감지한 경우, 상기 오디오 처리 회로(150)로 하여금, 상기 저장된 타임라인 정보에 기초하여 상기 타임라인 상에서 상기 오디오 컨텐츠 신호의 제공 시점을 이동시키게 하도록 더 구성될 수 있다.
일 예에서, 상기 프로세서(140)는, 상기 대화의 종료를 감지한 경우, 상기 디스플레이(170)를 통해, 상기 저장된 타임라인 정보에 기초하여 상기 타임라인 상에서 상기 오디오 컨텐츠 신호의 제공 시점을 이동시킬 것인지 여부의 선택 옵션(700)을 표시하고, 상기 선택 옵션 상의 선택에 응답하여, 상기 오디오 처리 회로(150)로 하여금, 상기 저장된 타임라인 정보에 기초하여 상기 타임라인 상에서 상기 오디오 컨텐츠 신호의 제공 시점을 이동시키게 하도록 더 구성될 수 있다.
일 예에서, 상기 통신 회로(110)를 통하여 상기 오디오 재생기기 및 상기 다른 오디오 재생기기 각각으로 전송되는 상기 오디오 컨텐츠 신호는 각각 다른 컨텐츠 정보를 포함할 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 문서에서 사용되는 '및/또는'이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다,' '가지다,' '구성되다' 등의 용어는 본 개시 상에 기재된 특징, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
본 문서의 다양한 실시예들에서 사용된 용어 "~부" 또는 "~모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. "~부" 또는 "~모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, "~부" 또는 "~모듈"은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들에서 사용된 용어 “~할 경우”는 문맥에 따라 “~할 때”, 또는 “~할 시” 또는 “결정하는 것에 응답하여” 또는 “검출하는 것에 응답하여”를 의미하는 것으로 해석될 수 있다. 유사하게, “~라고 결정되는 경우” 또는 “~이 검출되는 경우”는 문맥에 따라 “결정 시” 또는 “결정하는 것에 응답하여”, 또는 “검출 시” 또는 “검출하는 것에 응답하여”를 의미하는 것으로 해석될 수 있다.
본 문서를 통해 설명된 컨텐츠 제공 장치(100), 개인 통신장치(600a, 600b), 개인용 오디오 재생기기(200) 등에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 저장 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(Read-Only Memory), RAM(Random-Access Memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 컴퓨터 프로그램은 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 제1 오디오 재생장치(200a, 200b, 200)의 음향 출력을 제어하는 방법으로서,
    상기 제1 오디오 재생장치는 제2 오디오 재생장치와 동시청취 모드에서 동작 가능하고, 상기 동시청취 모드에서 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치 각각은, 각 대응하는 음향 출력 설정에 따라, 통신 접속을 통해 대응 컨텐츠 제공 장치(100)로부터 스트리밍 수신되는 오디오 컨텐츠 신호에 기초한 컨텐츠 음향을 출력하도록 동작하며, 상기 방법은,
    상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 제2 오디오 재생장치로부터 발생한 대화 요청을 감지하는 동작,
    상기 대화 요청의 감지에 응답하여, 상기 제1 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와 대화모드로 진입하도록 하고, 상기 제1 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경하는 동작, 및
    상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  2. 제1항에 있어서,
    상기 동시청취 모드에서 상기 제1 오디오 재생장치의 상기 음향 출력 설정은 ANC(Active Noise Cancellation) 기능의 턴 온 설정을 포함하고, 상기 대화모드에서의 상기 변경된 음향 출력 설정은 상기 ANC 기능의 턴 오프 설정을 포함하거나,
    상기 제1 오디오 재생장치의 상기 음향 출력 설정은 상기 컨텐츠 음향을 위한 볼륨 설정 및 입체음향 효과 설정 중 적어도 하나를 포함하고, 상기 변경된 음향 출력 설정은, 상기 볼륨 설정 및 상기 입체음향 효과 설정 중 적어도 하나의 변경된 설정을 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  3. 제1항에 있어서,
    상기 제1 오디오 재생장치는 외부 잡음을 획득하도록 구성된 마이크를 포함하고,
    상기 변경된 음향 출력 설정은, 상기 컨텐츠 음향과 함께 상기 획득된 외부 잡음에 기초한 잡음 음향이 출력되도록 하는 투명(Transparency)모드의 턴 온 설정을 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  4. 제1항에 있어서,
    상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치가 상기 동시청취 모드에서 동작 중인 동안, 상기 제1 오디오 재생장치 상에서 발생한 상기 제2 오디오 재생장치로의 대화 요청을 감지하는 동작,
    상기 제1 오디오 재생장치 상에서 발생한 상기 대화 요청을 감지함에 응답하여, 상기 제1 오디오 재생장치가 상기 동시청취 모드로부터 빠져나와서 대화모드로 진입하고, 상기 제1 오디오 재생장치에 대응하는 상기 음향 출력 설정을 변경하도록 제어하는 동작, 및
    상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치가 상기 변경된 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 더 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  5. 제4항에 있어서,
    상기 제1 오디오 재생장치 상에서 발생한 상기 대화 요청을 감지하는 동작은,
    상기 제1 오디오 재생장치 상에서 발생한, 사용자에 의한 소정의 터치 입력, 소정의 버튼 입력 또는 소정의 버튼 입력 해제, 소정의 키 입력 또는 소정의 키 입력 해제, 임계값 이상의 음성 입력, 임계값 이상의 움직임, 및 소정 패턴의 움직임 중 적어도 하나를 감지하는 동작을 포함하거나,
    소정 기준을 충족하는, 상기 제1 오디오 재생장치와 상기 제2 오디오 재생장치 간 거리 변화 또는 각도 변화를 감지하는 동작을 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  6. 제4항에 있어서,
    상기 제1 오디오 재생장치 상에서 발생한 상기 대화 요청을 감지한 경우, 통신 접속을 통해, 상기 제1 오디오 재생장치 상에서 발생한 상기 대화 요청의 발생을 알리는 신호를 상기 컨텐츠 제공 장치 또는 상기 제2 오디오 재생장치로 통지하는 동작을 더 포함하는, 오디오 재생장치 음향 출력 설정 제어 방법.
  7. 제1항에 있어서,
    상기 제1 오디오 재생장치는 사용자로부터의 음성 입력을 획득하도록 구성된 제1 마이크를 포함하고, 상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 제1 마이크를 통해 획득된 상기 음성 입력이, 상기 컨텐츠 제공 장치 또는 상기 제2 오디오 재생장치로 전송되도록 제어하는 동작을 더 포함하거나, 상기 제2 오디오 재생장치는 제2 사용자로부터의 음성 입력을 획득하도록 구성된 제2 마이크를 포함하고,
    상기 방법은, 상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치가, 상기 변경된 음향 출력 설정에 기초하여, 상기 컨텐츠 음향에 오버레이해서, 상기 제2 오디오 재생장치로부터 획득된 상기 음성 입력에 기초한 대화 음향을 출력하도록 제어하는 동작을 더 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  8. 제7항에 있어서,
    상기 제1 오디오 재생장치에 대한, 상기 컨텐츠 제공 장치 및 상기 제2 오디오 재생장치 각각의 상대적 위치를 검출하는 동작을 더 포함하고,
    상기 변경된 음향 출력 설정은, 상기 검출된 상대적 위치들에 기초한 상기 컨텐츠 음향과 상기 대화 음향의 입체(3D) 음향 효과 설정을 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  9. 제1항에 있어서,
    상기 대화모드에서 동작하는 동안, 상기 제1 오디오 재생장치 또는 상기 제2 오디오 재생장치 상에서 발생한 상기 대화모드의 종료 요청을 감지하는 동작,
    상기 대화모드의 종료 요청이 감지된 경우, 상기 제1 오디오 재생장치가 상기 대화모드로부터 빠져나와서 상기 동시청취 모드로 진입하도록 제어하고, 상기 대화모드로 진입하기 전에 설정되어 있었던 상기 음향 출력 설정을 복원하는 동작, 및
    상기 동시청취 모드에서, 상기 제1 오디오 재생장치가 복원된 상기 음향 출력 설정에 기초하여 상기 컨텐츠 음향을 출력하도록 제어하는 동작을 더 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  10. 제9항에 있어서,
    상기 대화모드의 종료 요청을 감지하는 동작은,
    상기 제1 오디오 재생장치 또는 상기 제2 오디오 재생장치 상에서 발생한 소정의 터치 입력, 소정의 버튼 입력 또는 소정의 버튼 입력 해제, 소정의 키 입력 또는 소정의 키 입력 해제, 소정 기간 이상 임계값 이상인 음성 입력 없음, 소정 기간 이상 임계값 이상의 움직임 없음, 및 소정 패턴의 움직임 중 적어도 하나를 감지하는 동작을 포함하는, 오디오 재생장치 음향 출력 제어 방법.
  11. 전자 장치(100. 200, 600a, 600b)에 있어서,
    적어도 하나의 명령어를 저장하는 메모리(130, 220), 및
    상기 메모리(130, 220)와 전기적으로 연결되고, 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(140, 230)를 포함하고,
    상기 적어도 하나의 프로세서(140, 230)는 제1항에 따른 방법을 수행하도록 구성된, 전자 장치.
  12. 제11항에 있어서,
    타임라인에 따른 오디오 컨텐츠 신호를 제공하는 오디오 처리 회로(150),
    디스플레이(170),
    상기 제1 오디오 재생장치 및 상기 제2 오디오 재생장치 각각에 대해 통신 접속을 수립하고, 상기 통신 접속을 통해 상기 오디오 처리 회로(150)로부터의 상기 오디오 컨텐츠 신호를 상기 제1 오디오 재생장치 및 상기 제2 오디오 재생장치 각각으로 전송하도록 구성된 통신 회로(110)를 더 포함하고,
    상기 오디오 처리 회로(150), 상기 디스플레이(170), 및 상기 통신 회로(110) 각각은 상기 프로세서(140)애 접속되며,
    상기 프로세서(140)는,
    상기 통신 회로(110)를 통하여 상기 제1 오디오 재생장치 및 상기 제2 오디오 재생장치 각각으로 상기 오디오 컨텐츠 신호를 전송하는 동안, 상기 제1 오디오 재생장치 상에서 발생한 상기 제2 오디오 재생장치에 대한 대화 요청을 감지하고,
    상기 대화 요청을 감지한 경우, 상기 제1 오디오 재생장치 및 상기 제2 오디오 재생장치 간의 대화 상태를 나타내는 표지(1300, 1400, 1500, 1600, 1710, 1720, 1900, 2000, 2100)를 표시하도록 상기 디스플레이(170)를 제어하도록 구성된, 전자 장치.
  13. 제12항에 있어서,
    상기 대화 상태를 나타내는 표지는, 상기 제1 오디오 재생장치 및 상기 제2 오디오 재생장치 각각을 나타내는 아이콘(1710, 1720, 2102, 2103)을 포함하거나, 상기 대화 상태를 나타내는 표지는, 상기 제1 오디오 재생장치 및 상기 제2 오디오 재생장치 중 현재 발화 입력이 발생하고 있는 장치의 표시(1400, 1500, 1600, 1710, 1720, 1900, 2000, 2102)를 포함하는, 전자 장치.
  14. 제12항에 있어서,
    상기 프로세서(140)는,
    상기 대화 요청을 감지한 경우, 상기 오디오 컨텐츠 신호에 관하여 대응하는 타임라인 정보를 저장하고,
    상기 대화 모드의 종료를 감지하고,
    상기 대화의 종료를 감지한 경우, 상기 오디오 처리 회로(150)로 하여금, 상기 저장된 타임라인 정보에 기초하여 상기 타임라인 상에서 상기 오디오 컨텐츠 신호의 제공 시점을 이동시키도록 제어하도록 구성된, 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서(140)는,
    상기 대화 모드의 종료를 감지한 경우, 상기 저장된 타임라인 정보에 기초하여 상기 타임라인 상에서 상기 오디오 컨텐츠 신호의 제공 시점을 이동시킬 것인지 여부의 선택 옵션(700)을 표시하도록 상기 디스플레이를 제어하고,
    선택된 상기 선택 옵션에 응답하여, 상기 오디오 처리 회로(150)로 하여금, 상기 저장된 타임라인 정보에 기초하여 상기 타임라인 상에서 상기 오디오 컨텐츠 신호의 제공 시점을 이동시키게 제어하도록 구성된, 전자 장치.
PCT/KR2023/008673 2022-10-21 2023-06-22 오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치 WO2024085343A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/219,219 US20240236408A9 (en) 2022-10-21 2023-07-07 Method for controlling sound output of audio reproducing device and electronic device performing the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0136466 2022-10-20
KR1020220136466A KR20240056177A (ko) 2022-10-21 2022-10-21 오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/219,219 Continuation US20240236408A9 (en) 2022-10-21 2023-07-07 Method for controlling sound output of audio reproducing device and electronic device performing the same

Publications (1)

Publication Number Publication Date
WO2024085343A1 true WO2024085343A1 (ko) 2024-04-25

Family

ID=90738742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008673 WO2024085343A1 (ko) 2022-10-21 2023-06-22 오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치

Country Status (3)

Country Link
US (1) US20240236408A9 (ko)
KR (1) KR20240056177A (ko)
WO (1) WO2024085343A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100044380A (ko) * 2008-10-22 2010-04-30 영남대학교 산학협력단 듀얼 헤드셋 장치 및 그 통신 방법
US20150296061A1 (en) * 2014-04-14 2015-10-15 Bose Corporation Providing Isolation from Distractions
KR20160100767A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 영상 데이터를 재생하는 전자 장치 및 방법
KR20220020185A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 전자 장치 및 이를 이용한 오디오 공유 방법
KR20220084902A (ko) * 2020-12-14 2022-06-21 삼성전자주식회사 주변 소리 제어 방법 및 이를 위한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100044380A (ko) * 2008-10-22 2010-04-30 영남대학교 산학협력단 듀얼 헤드셋 장치 및 그 통신 방법
US20150296061A1 (en) * 2014-04-14 2015-10-15 Bose Corporation Providing Isolation from Distractions
KR20160100767A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 영상 데이터를 재생하는 전자 장치 및 방법
KR20220020185A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 전자 장치 및 이를 이용한 오디오 공유 방법
KR20220084902A (ko) * 2020-12-14 2022-06-21 삼성전자주식회사 주변 소리 제어 방법 및 이를 위한 전자 장치

Also Published As

Publication number Publication date
US20240236408A9 (en) 2024-07-11
KR20240056177A (ko) 2024-04-30
US20240137605A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
WO2014092509A1 (en) Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
JP5675729B2 (ja) オーディオエンハンス型装置
WO2020022572A1 (ko) 스마트 디바이스 및 그 제어 방법
US9137484B2 (en) Device, method and software for providing supplementary information
WO2014182112A1 (en) Display apparatus and control method thereof
EP2723090B1 (en) A directional sound apparatus, method graphical user interface and software
US9628893B2 (en) Method of auto-pausing audio/video content while using headphones
WO2019050317A1 (ko) 이어폰을 통한 어플리케이션별 오디오 출력 제어 방법 및 이를 구현한 전자 장치
JP6356915B2 (ja) 制御装置、制御方法及びプログラム
WO2017018552A1 (ko) 이어셋 및 그 제어 방법
WO2015190641A1 (ko) 무선 리시버 및 그 제어 방법
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
CN115344230A (zh) 用于在呼叫期间切换无线音频连接的方法和系统
JP7467513B2 (ja) 端末、音声連携再生システム及びコンテンツ表示装置
WO2024085343A1 (ko) 오디오 재생장치의 음향 출력 제어 방법 및 그러한 방법을 수행하는 전자 장치
JP3735596B2 (ja) 電子機器およびコンテンツデータの出力先切替え方法
WO2020111744A1 (ko) 전자 장치 및 그 제어 방법
US20220368554A1 (en) Method and system for processing remote active speech during a call
JP2023505986A (ja) ユーザ入力に基づく複数出力制御
JP2019197497A (ja) ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム
WO2020036323A1 (en) Electronic apparatus, control method thereof and electronic system
WO2020122274A1 (ko) 디스플레이 장치
WO2018030687A1 (ko) 오디오 신호를 처리하기 위한 장치 및 방법
WO2021187869A1 (ko) 전자 장치 및 이를 이용한 오디오 신호 처리 방법
US20240168701A1 (en) Head-mounted display control apparatus, method for controlling head-mounted display control apparatus, and non-transitory computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23879928

Country of ref document: EP

Kind code of ref document: A1