WO2022014734A1 - 무선 음향 기기를 제어하는 단말기 및 그 방법 - Google Patents

무선 음향 기기를 제어하는 단말기 및 그 방법 Download PDF

Info

Publication number
WO2022014734A1
WO2022014734A1 PCT/KR2020/009255 KR2020009255W WO2022014734A1 WO 2022014734 A1 WO2022014734 A1 WO 2022014734A1 KR 2020009255 W KR2020009255 W KR 2020009255W WO 2022014734 A1 WO2022014734 A1 WO 2022014734A1
Authority
WO
WIPO (PCT)
Prior art keywords
wireless
acoustic device
wireless acoustic
terminal
sound
Prior art date
Application number
PCT/KR2020/009255
Other languages
English (en)
French (fr)
Inventor
고경석
이성욱
김병진
조택일
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/787,098 priority Critical patent/US20230024547A1/en
Priority to PCT/KR2020/009255 priority patent/WO2022014734A1/ko
Priority to CN202080084125.0A priority patent/CN114747230A/zh
Priority to EP20945061.8A priority patent/EP4184944A4/en
Priority to KR1020227014094A priority patent/KR20230038406A/ko
Publication of WO2022014734A1 publication Critical patent/WO2022014734A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284—Relative positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/12—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247—Determining attitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present disclosure relates to a terminal and method for controlling a wireless sound device through wireless communication.
  • a wireless sound device refers to a device that receives a sound signal from a terminal through wireless communication and outputs a sound corresponding to the received sound signal.
  • An object of the present disclosure is to provide a method of controlling a wireless sound device that guides a user to wear it correctly.
  • Another object of the present disclosure is to provide a method of controlling a wireless acoustic device that adjusts an output channel of the wireless acoustic device or cuts off power thereof based on a user's wearing state.
  • An embodiment of the present disclosure connects to at least one or more wireless acoustic devices, transmits/receives positioning signals to and from the connected wireless acoustic devices to determine a connected relative position, and connects wireless acoustic devices based on an acceleration sensor value received from the connected wireless acoustic devices.
  • a terminal that determines a posture of an acoustic device, determines a wearing state of a connected wireless acoustic device based on a relative position and posture of the connected wireless acoustic device, and transmits an audio signal to a worn wireless acoustic device among the connected wireless acoustic devices, and a terminal thereof provide a way
  • the relative position of the wireless sound device may be determined by measuring the angle of arrival and flight time of the positioning signal transmitted and received using at least two or more communication modules.
  • the distance between the plurality of connected wireless acoustic devices may be calculated based on the directions and distances of the plurality of wireless acoustic devices.
  • the wearing state of the connected wireless acoustic device is determined based on at least one of a distance to each of the connected wireless acoustic devices, a direction of each of the connected wireless acoustic devices, a posture of each of the connected wireless acoustic devices, or a distance between the connected wireless acoustic devices.
  • power to an unworn wireless acoustic device among the connected wireless acoustic devices may be cut off, disconnected, or an output audio channel may not be allocated.
  • an output audio channel corresponding to the worn wireless acoustic device may be determined in consideration of the wearing direction of the worn wireless acoustic device, and an audio signal corresponding to the determined output audio channel may be transmitted to the worn wireless acoustic device.
  • the output audio channel of the first wireless acoustic device is changed to an audio channel corresponding to the wearing direction of the first wireless acoustic device. may be determined, and an output audio channel of the second wireless acoustic device may be determined as an audio channel corresponding to the wearing direction of the second wireless acoustic device.
  • the first wireless acoustic device and the second wireless acoustic device are worn by two users, one each, or that only one of the first wireless acoustic device and the second wireless acoustic device is worn by one user
  • the first wireless acoustic device An output audio channel of the worn wireless acoustic device among the acoustic device and the second wireless acoustic device may be determined as a mono channel.
  • the wireless acoustic device when the user wears the wireless acoustic device in the wrong direction, it is possible to guide the user on a correct way to wear the wireless acoustic device.
  • a sound may be output to suit the wearing direction of the wireless acoustic device.
  • unnecessary power consumption may be reduced by stopping sound output from a wireless sound device not worn by the user.
  • FIG. 1 is a diagram illustrating a sound output system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a terminal for controlling a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 3 is a perspective view of a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram illustrating a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a method of collecting a user's spoken voice using a wireless sound device according to various embodiments of the present disclosure
  • FIG. 6 is an operation flowchart illustrating a method of controlling a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a method of measuring an angle of arrival in a terminal according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a method of measuring a distance from a terminal to a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a result of calculating the relative positions of two wireless sound devices using a terminal according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a posture of a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a posture of a wireless sound device according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a relative position of a wireless acoustic device with respect to a terminal and a posture of the wireless acoustic device.
  • 13 is a diagram illustrating an example in which one user wears both wireless sound devices.
  • 14 to 16 are diagrams illustrating examples in which two users wear two wireless sound devices one by one.
  • 17 is a diagram illustrating an example in which one user wears only one of two wireless sound devices.
  • 18 is a diagram illustrating an example in which one user does not wear any two wireless sound devices.
  • 19 is a diagram illustrating an example in which one user wears two wireless sound devices in reverse.
  • the terminal 100 is a TV, a projector, a mobile phone, a smart phone, a desktop computer, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation system, a tablet PC, a wearable device, a set-top box (STB) , a DMB receiver, a radio, a washing machine, a refrigerator, a digital signage, a robot, a vehicle, etc., may be implemented as a fixed device or a movable device.
  • FIG. 1 is a view showing a sound output system 1 according to an embodiment of the present disclosure.
  • a sound output system 1 may include a terminal 100 , a content provider 200 , and at least one wireless sound device 300 .
  • the terminal 100 may refer to a device that connects to the wireless acoustic device 300 using a wireless communication technology, outputs sound through the wireless acoustic device 300 , and controls the wireless acoustic device 300 .
  • the terminal 100 provides an audio signal to the wireless sound device 300
  • the terminal 100 can be viewed as an audio signal providing device.
  • the terminal 100 may simultaneously output sound through one or more wireless sound devices 300 .
  • the terminal 100 may output multi-channel sounds by transmitting audio signals of different channels to each wireless sound device 300 .
  • the terminal 100 may transmit and receive a pairing signal, a positioning signal, an audio signal, and the like, with the wireless sound device 300 using a wireless communication technology.
  • the pairing signal may mean a signal transmitted and received to connect the wireless sound device 300 to the terminal 100 .
  • the positioning signal may mean a signal transmitted and received to measure a relative position between the terminal 100 and the wireless sound device 300 .
  • the audio signal may refer to a signal transmitted by the terminal 100 to the wireless acoustic device 300 to output sound through the wireless acoustic device 300 .
  • the terminal 100 may receive content data including audio data from the content provider 200 using wired/wireless communication technology, and transmit an audio signal corresponding to the received audio data to the wireless sound device 300 .
  • the terminal 100 may transmit an audio signal corresponding to the audio data stored in the memory 170 to the wireless sound device 300 .
  • the wireless sound device 300 may be connected to the terminal 100 using a wireless communication technology, and may output a sound based on an audio signal received from the terminal 100 .
  • the wireless sound device 300 may include at least one sound output unit or speaker.
  • the wireless sound device 300 may include one or more sound output units 340 , and may output sound of the same channel or sound of different channels through each sound output unit 340 .
  • the wireless acoustic device 300 may include two sound output units, such as headphones or neckband type earphones. In this case, the wireless acoustic device 300 outputs a left channel sound and a right channel sound through each sound output unit. can be printed out.
  • the plurality of wireless acoustic devices 300 may operate as one group, and the wireless acoustic device group may operate as one wireless acoustic device including a plurality of sound output units. For example, even if the two wireless acoustic devices 300 each include only one sound output unit, one of these two wireless acoustic devices 300 outputs a left channel sound corresponding to the left channel audio signal, and the other A right channel sound corresponding to the right channel audio signal may be output.
  • one wireless acoustic device may function as a master wireless acoustic device, and the other wireless acoustic devices may function as slave wireless acoustic devices.
  • the slave wireless acoustic device may also output sound through the master wireless acoustic device.
  • the terminal 100 may connect to a slave wireless acoustic device through the master wireless acoustic device and output sound from the slave acoustic device.
  • the terminal 100 when a plurality of wireless acoustic devices 300 operate as a group, the terminal 100 connects to each wireless acoustic device 300 and provides an audio signal to each wireless acoustic device 300 individually. can be transmitted to output sound.
  • the content provider 200 may provide video content data or audio content data to the terminal 100 using wired/wireless communication technology.
  • the video content or audio content data may include audio data.
  • the content provider 200 may refer to various content providing devices, such as a radio base station, a terrestrial base station, a broadcast satellite, and a content data server.
  • FIG. 2 is a block diagram illustrating a terminal 100 for controlling a wireless sound device according to an embodiment of the present disclosure.
  • the terminal 100 includes a communication unit 110 , an input unit 120 , a learning processor 130 , a sensing unit 140 , an output unit 150 , a memory 170 , and a processor 180 , etc. may include
  • the communication unit 110 may also be referred to as a communication modem or a communication circuit.
  • the communication unit 110 may transmit/receive data to and from external devices such as the wireless sound device 300 using wired/wireless communication technology.
  • the communication unit 110 may transmit and receive sensor information, a user input, a learning model, a control signal, and the like with external devices.
  • the communication technology used by the communication unit 110 includes GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), There are Bluetooth (Bluetooth), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, NFC (Near Field Communication), and the like.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Bluetooth Bluetooth
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 120 may be referred to as an input interface.
  • the input unit 120 may acquire various types of data.
  • the input unit 120 may include a camera 121 for inputting an image signal, a microphone 122 for receiving an audio signal, a user input unit 123 for receiving information from a user, and the like.
  • a signal obtained from the camera 121 or the microphone 122 may be referred to as sensing data or sensor information.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the input unit 120 may acquire training data for model training and input data to be used when acquiring an output using the training model.
  • the input unit 120 may acquire raw input data, and in this case, the processor 180 or the learning processor 130 may extract an input feature by preprocessing the input data.
  • the camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a shooting mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170 .
  • the microphone 122 processes an external sound signal as electrical voice data.
  • the processed voice data may be utilized in various ways according to a function (or a running application program) being performed by the terminal 100 . Meanwhile, various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be applied to the microphone 122 .
  • the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123 , the processor 180 may control the operation of the terminal 100 to correspond to the input information.
  • the user input unit 123 may include a mechanical input means (eg, a button located on the front/rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc.) and a touch input means.
  • a mechanical input means eg, a button located on the front/rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc.
  • a touch input means consists of a virtual key, a soft key, or a visual key displayed on the touch screen through software processing, or is disposed on a part other than the touch screen. It can be made of a touch key (touch key).
  • the learning processor 130 may train a model composed of an artificial neural network by using the training data.
  • the learned artificial neural network may be referred to as a learning model.
  • the learning model may be used to infer a result value with respect to new input data other than the training data, and the inferred value may be used as a basis for a decision to perform a certain operation.
  • the learning processor 130 may perform AI processing together with a learning processor (not shown) of an artificial intelligence server (not shown).
  • the learning processor 130 may include a memory integrated or implemented in the terminal 100 .
  • the learning processor 130 may be implemented using the memory 170 , an external memory directly coupled to the terminal 100 , or a memory maintained in an external device.
  • the sensing unit 140 may be referred to as a sensor unit or a sensor.
  • the sensing unit 140 may acquire at least one of internal information of the terminal 100 , information about the surrounding environment of the terminal 100 , and user information by using various sensors.
  • Sensors included in the sensing unit 140 include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, a lidar, and a radar. etc.
  • the output unit 150 may be referred to as an output interface.
  • the output unit 150 may generate an output related to sight, hearing, or touch.
  • the output unit 150 includes at least one of a display unit (Display Unit, 151), a sound output unit (Sound Output Unit, 152), a haptic module (Haptic Module, 153), and an optical output unit (Optical Output Unit, 154) can do.
  • the display unit 151 displays (outputs) information processed by the terminal 100 .
  • the display unit 151 may display information on an execution screen of an application program driven in the terminal 100 , or user interface (UI) and graphic user interface (GUI) information according to the information on the execution screen.
  • UI user interface
  • GUI graphic user interface
  • the display unit 151 may implement a touch screen by forming a layer structure with the touch sensor or being integrally formed. Such a touch screen may function as the user input unit 123 providing an input interface between the terminal 100 and the user, and may provide an output interface between the terminal 100 and the user.
  • the sound output unit 152 may output audio data received from the communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.
  • the haptic module 153 generates various tactile effects that a user can feel.
  • a representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the light output unit 154 outputs a signal for notifying the occurrence of an event by using the light of the light source of the terminal 100 .
  • Examples of the event generated in the terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the memory 170 may store data supporting various functions of the terminal 100 .
  • the memory 170 may store input data obtained from the input unit 120 , learning data, a learning model, a learning history, and the like.
  • the processor 180 may control the overall operation of the terminal 100 .
  • the image signal processed by the processor 180 may be input to the display unit 151 and displayed as an image corresponding to the image signal. Also, the image signal processed by the processor 180 may be input to an external output device through an external device interface unit (not shown).
  • the audio signal processed by the processor 180 may be audio output to the audio output unit 152 . Also, the audio signal processed by the processor 180 may be input to an external output device through an external device interface unit (not shown).
  • the processor 180 may determine at least one executable operation of the terminal 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. In addition, the processor 180 may perform the determined operation by controlling the components of the terminal 100 . To this end, the processor 180 may request, search, receive, or utilize the data of the learning processor 130 or the memory 170, and perform a predicted operation or an operation determined to be preferable among the at least one executable operation. It is possible to control the components of the terminal 100 to execute.
  • the processor 180 may generate a control signal for controlling the corresponding external device and transmit the generated control signal to the corresponding external device.
  • the processor 180 may obtain intention information with respect to a user input, and determine a user's requirement based on the obtained intention information.
  • the processor 180 uses at least one of a speech to text (STT) engine for converting a voice input into a string or a natural language processing (NLP) engine for obtaining intention information of a natural language, Corresponding intention information may be obtained.
  • STT speech to text
  • NLP natural language processing
  • At least one of the STT engine and the NLP engine may be configured as an artificial neural network, at least a part of which is learned according to a machine learning algorithm.
  • at least one of the STT engine or the NLP engine is learned by the learning processor 130, or learned by the learning processor 240 of the artificial intelligence server (not shown), or by their distributed processing may have been learned.
  • the processor 180 collects history information including user feedback on the operation contents or operation of the terminal 100 and stores it in the memory 170 or the learning processor 130, or an artificial intelligence server (not shown), etc. can be transmitted to an external device.
  • the collected historical information may be used to update the learning model.
  • the processor 180 may control at least some of the components of the terminal 100 in order to drive an application program stored in the memory 170 . Furthermore, the processor 180 may operate by combining two or more of the components included in the terminal 100 to drive the application program.
  • the terminal 100 illustrated in FIG. 1 is merely an embodiment of the present disclosure, and some of the illustrated components may be integrated, added, or omitted according to the specifications of the terminal 100 that are actually implemented. .
  • two or more components of the terminal 100 may be combined into one component, or one component may be subdivided into two or more components.
  • the function performed by each block is for describing an embodiment of the present disclosure, and the specific operation or device does not limit the scope of the present disclosure.
  • FIG 3 is a perspective view of a wireless sound device 300 according to an embodiment of the present disclosure.
  • the canal type wireless earphone as the wireless sound device 300 shown in FIG. 3 is merely an example, and the present disclosure is not limited thereto. That is, the wireless sound device 300 according to the present disclosure may include a headphone, a neckband type earphone, a canal type earphone, an open type earphone, a bone conduction earphone, and the like.
  • the wireless sound device 300 includes a plurality of cases 301 , 302 , 303 and 305 , and the cases 301 , 302 , 303 , and 305 are combined to form an internal space in which electronic components are mounted. It is possible to form a housing comprising a.
  • the second case 302 coupled to one side of the first case 301 is a portion exposed to the outside when a user wears the wireless sound device 300 , and a sound according to an acoustic signal on the other side of the first case 301 .
  • a sound output unit 340 for outputting may be provided with a sound path 304 for transmitting sound to the user.
  • the portion where the sound passage 304 is located is separated to form a separate case 303. have.
  • the wireless sound device 300 is a canal type, and has a protruding sound passage 304 in a form that can be inserted into the user's ear canal, and an ear tip may be coupled to the outside of the sound passage 304 so as to be in close contact with the user's ear.
  • FIG. 4 is a block diagram illustrating a wireless acoustic device 300 according to an embodiment of the present disclosure.
  • the wireless sound device 300 includes a processor 380, a communication unit 385, a sound output unit 340, a sensing unit 375, a microphone 360, a user input unit 370, and a power supply unit ( 390) and the like.
  • the communication unit 385 may transmit/receive data to and from an external device such as the terminal 100 using a wireless communication technology, and may include an antenna for transmitting/receiving a wireless signal.
  • the antenna may be positioned in the second case 302 that does not come into contact with the body when worn because radiation performance is reduced when it comes into contact with the user's body.
  • the communication unit 385 may be disposed adjacent to the sound output unit 340 . If the wireless sound device 300 includes a plurality of sound output units 340 , the communication unit 385 is composed of as many as the number corresponding to each sound output unit 340 , and each sound output unit 340 . may be disposed adjacent to the For example, when the wireless sound device 300 includes the first sound output unit and the second sound output unit, the first communication unit is disposed adjacent to the first sound output unit, and the second communication unit is located adjacent to the second sound output unit. may be placed in position.
  • the sound output unit 340 may include a diaphragm, an acoustic coil, and a permanent magnet that forms a magnetic field around the acoustic coil.
  • electromagnetic force is generated within the magnetic field formed by the permanent magnet to move the acoustic coil, and the diaphragm vibrates according to the movement of the acoustic coil, and sound may be output.
  • the microphone 360 processes the negative acoustic signal as electrical voice data.
  • the processed voice data may be transmitted to the terminal 100 or an external server (not shown) through the communication unit 385 .
  • Various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be implemented in the microphone 360 .
  • the user input unit 370 may mean an input unit or an input interface for a user to control the wireless sound device 300 .
  • the small size of the wireless sound device 300 may be expanded into inputable control commands by using a touch type or by using a limited number of buttons, by combining the time and number of pressing the buttons and a plurality of buttons.
  • the sensing unit 375 may acquire information about the state of the wireless sound device 300 itself and surrounding conditions.
  • the sensing unit 375 may include an illuminance sensor for detecting ambient brightness, a touch sensor for detecting a touch input, and a gyro sensor or an acceleration sensor for detecting the tilt and position of the wireless sound device 300 .
  • the power supply unit 390 supplies power required for the processor 380 and each component, and may include a battery.
  • the power supply unit 390 may include a power terminal connected to an external power source to charge the battery.
  • the power terminal may be in contact with a power terminal formed on a cradle on which the wireless sound device 300 is mounted to receive power from an external power source.
  • the processor 380 may control the overall operation of the wireless sound device 300 .
  • FIG. 5 is a diagram illustrating a method of collecting a user's spoken voice using the wireless sound device 300 according to various embodiments of the present disclosure.
  • FIG. 5 (a) shows an embodiment in which two microphones 361 and 362 are provided in the wireless acoustic device 300
  • FIG. 5 (b) shows three microphones 361 in the wireless acoustic device 300; 362, 363) is shown in the provided embodiment.
  • the microphone 360 of the wireless sound device 300 may include a plurality of microphones 361 , 362 , and 363 .
  • the wireless sound device 300 may remove noise by combining sounds obtained from each of the microphones 361 , 362 , and 363 .
  • the wireless sound device 300 includes two microphones 361 and 362 disposed at different positions, as shown in FIG. 5A , and each microphone 361 and 362 . It is possible to distinguish the user's spoken voice from external noise by using the time difference, volume difference, etc. of the sounds collected in the , and thus the external noise can be removed.
  • the wireless sound device 300 includes a third microphone 363 that collects sound transmitted through the Eustachian tube connecting between the user's mouth and the ear. ) may be additionally provided, and external noise may be removed by combining the sound collected by the microphones 361 and 362 and the third microphone 363 located outside.
  • the sound collected by the third microphone 363 since the sound collected by the third microphone 363 has the smallest external noise and the largest user's spoken voice, it has an effective structure for removing external noise.
  • FIG. 6 is an operation flowchart illustrating a method of controlling a wireless sound device according to an embodiment of the present disclosure.
  • the processor 180 of the terminal 100 connects to at least one wireless sound device 300 through the communication unit 110 ( S601 ).
  • the terminal 100 may be connected to one or more wireless sound devices 300 for outputting sound, and may output sound by using the connected wireless sound devices 300 later.
  • a wireless sound device in which two sound output units are physically connected such as a wireless headphone or a neckband type earphone, may be regarded as a single wireless sound device 300 including a plurality of sound output units.
  • Two wireless acoustic devices physically separated from each other like a typical Bluetooth earphone may be regarded as two wireless acoustic devices 300 .
  • the two wireless acoustic devices 300 since the two wireless acoustic devices 300 operate together to output sound, the two wireless acoustic devices 300 may be treated as one wireless acoustic device group.
  • the terminal 100 may connect to all the wireless acoustic devices 300 included in the wireless acoustic device group, or may connect only to the master wireless acoustic device in the wireless acoustic device group.
  • the master wireless acoustic device is connected to the slave wireless acoustic devices in the wireless acoustic device group to which it belongs, and the terminal 100 may control the slave wireless acoustic device through the master wireless acoustic device.
  • the processor 180 of the terminal 100 transmits and receives a positioning signal to and from each connected wireless sound device 300 through the communication unit 110 (S603).
  • the processor 180 may periodically transmit/receive positioning signals to and from the wireless acoustic device 300 while the connection to the wireless acoustic device 300 is maintained.
  • the terminal 100 and the wireless sound device 300 transmit and receive positioning signals to each other, it may mean exchanging positioning signals.
  • the processor 180 transmits a request signal to the wireless acoustic device 300 through the communication unit 110 for positioning the wireless acoustic device 300 , and corresponds to the request signal transmitted from the wireless acoustic device 300 .
  • a response signal may be received.
  • the request signal transmitted from the terminal 100 to the wireless sound device 300 may be a poll message, and the response signal to the request signal may be a response message.
  • the processor 180 may transmit the response signal to the wireless acoustic device 300 through the communication unit 110 .
  • the re-response signal transmitted from the terminal 100 to the wireless sound device 300 may be a final message.
  • the positioning signal may be transmitted through various communication technologies such as ultra-wideband (UWB), Bluetooth, and Wi-Fi.
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • Wi-Fi Wi-Fi
  • the processor 180 of the terminal 100 determines the relative position of each connected wireless sound device 300 based on the transmitted and received positioning signal (S605).
  • the processor 180 may determine the direction of the wireless sound device 300 based on an Angle of Arrival (AoA) of the transmitted/received positioning signal. In addition, the processor 180 may determine the distance to the wireless sound device 300 based on a Time of Flight (ToF) of the transmitted and received positioning signal.
  • AoA Angle of Arrival
  • ToF Time of Flight
  • the direction of the wireless acoustic device 300 to the terminal 100 and the distance from the terminal 100 to the wireless acoustic device 300 are both relative positions of the wireless acoustic device 300 .
  • the communication unit 110 of the terminal 100 may include a plurality of communication modules, and the processor 180 is based on the phase difference or time difference of the positioning signals received from the wireless acoustic device 300 using the plurality of communication modules. Thus, the angle of arrival can be calculated.
  • the processor 180 may determine the relative position of the wireless acoustic device 300 based on at least one of a direction of the wireless acoustic device 300 and a distance to the wireless acoustic device 300 .
  • the angle of arrival measured by the terminal 100 may vary depending on the posture of the terminal 100 . Accordingly, the terminal 100 may acquire the attitude information of the terminal 100 through the gyro sensor value, and may correct the angle of arrival of the connected wireless sound device 300 based on the acquired attitude information. Alternatively, the terminal 100 may measure the angle of arrival only in a situation in which the user directly controls the terminal 100. In this case, since the terminal 100 is in a position facing the user, the angle of arrival can be obtained relatively accurately. can
  • the processor 180 of the terminal 100 receives an acceleration sensor value from each connected wireless sound device 300 through the communication unit 110 (S607).
  • the acceleration sensor value may indicate a direction of gravity detected by the wireless acoustic device 300 , which may be used to determine the posture of the wireless acoustic device 300 .
  • the acceleration sensor value may be +90 degrees or -90 degrees
  • the acceleration sensor The value may be 0 degrees.
  • the processor 180 of the terminal 100 determines the wearing state of each connected wireless acoustic device 300 based on the relative position and the acceleration sensor value of each connected wireless acoustic device 300 ( S609 ).
  • the wireless sound device 300 may include the same number of communication units 385 as the sound output unit 340 , and each communication unit 385 may be disposed at a location physically adjacent to each sound output unit 340 .
  • each communication unit 385 may be disposed within a predetermined distance with respect to each sound output unit 340 .
  • the wearing state of the wireless acoustic device 300 may include at least one of whether the wireless acoustic device 300 is worn or a wearing direction.
  • the wearing state of the wireless sound device 300 may include information such as whether it is worn by one user, worn by multiple users, and in which direction if worn.
  • a plurality of communication units 385 used for positioning the wireless acoustic device 300 may be configured. That is, if the terminal 100 is connected to a single wireless acoustic device 300 , whether the wireless acoustic device 300 is worn or not, when a plurality of communication units 385 are included in the wireless acoustic device 300 , The wearing direction can be determined more accurately.
  • the terminal 100 is connected to a plurality of wireless acoustic devices 300 or a group of wireless acoustic devices, since there are a plurality of communication units 385 included in each wireless acoustic device 300, the wireless acoustic devices are used to Whether or not the device 300 is worn or the direction in which the device 300 is worn may be determined more accurately.
  • Whether the wireless acoustic device 300 is worn may mean only whether the wireless acoustic device 300 is worn on the user's ear, and further means whether the wireless acoustic device 300 is worn by one user or worn by a plurality of users. can do. That is, when the terminal 100 is connected to two wireless acoustic devices 300 , both wireless acoustic devices 300 may be worn by only one user or may be worn by different users in pairs. In order to determine this, the processor 180 determines whether the two wireless acoustic devices 300 are worn by one user based on the distance between the two wireless acoustic devices 300 and the respective wearing directions of the two wireless acoustic devices 300 .
  • the processor 180 can determine whether For example, when the distance between the two wireless acoustic devices 300 is within a reference range for the distance between the two ears, and the wearing directions of the two wireless acoustic devices 300 are the left and right ears, the processor 180 It may be determined that the audio device 300 is worn by one user.
  • the processor 180 may determine whether to wear the wireless acoustic device 300 based on the distance to the wireless acoustic device 300 . For example, when the distance to the wireless acoustic device 300 exceeds the first reference value, the processor 180 may determine that the user does not wear the wireless acoustic device 300 .
  • the processor 180 determines whether the two wireless acoustic devices 300 are worn based on the distance between the two wireless acoustic devices 300 in a state in which the two wireless acoustic devices 300 are connected. can decide To this end, the processor 180 may calculate a distance between the two wireless acoustic devices 300 based on the relative positions of each of the two wireless acoustic devices 300 . For example, when the distance between the two wireless acoustic devices 300 is less than the second reference value, the processor 180 may determine that the user does not wear the wireless acoustic device 300 .
  • the processor 180 determines the posture of the wireless sound device 300 based on an acceleration sensor value of the wireless sound device 300 , and based on the posture of the wireless sound device 300 , the processor 180 determines the posture of the wireless sound device 300 . 300), it is possible to determine whether to wear it and the direction in which it is worn.
  • the processor 180 determines that the wireless acoustic device 300 is worn on the left ear, and the posture of the wireless acoustic device 300 is the second 2 If it is within the reference angle range, it is determined that the wireless acoustic device 300 is worn on the right ear, and when the posture of the wireless acoustic device 300 is outside the first reference angle range and the second reference angle range, the wireless audio device ( 300) may be determined not to be worn.
  • the processor 180 of the terminal 100 cuts off the power of the wireless sound device 300 that is not worn or disconnects the connection (S611).
  • the processor 180 cuts off power to or disconnects the wireless acoustic device 300 that is determined not to be worn, thereby preventing the output of sound by the wireless acoustic device 300 that is not worn and preventing unnecessary power consumption.
  • the processor 180 of the terminal 100 determines an output audio channel corresponding to each worn wireless acoustic device 300 based on whether the wireless acoustic device 300 is worn or not and the wearing direction ( S613 ).
  • Each sound output unit 340 of the wireless sound device 300 has an audio channel set in advance, but the user can wear the wireless sound device 300 in a different position from the previously set direction (or channel). . Accordingly, the processor 180 outputs audio corresponding to each worn wireless acoustic device 300 based on whether each wireless acoustic device 300 is worn and the worn direction of the wireless acoustic device 300 determined to be worn. channel can be determined.
  • the processor 180 when one wireless acoustic device 300 is worn and the worn wireless acoustic device 300 includes two sound output units 340 , the processor 180 is In consideration of the wearing direction of the sound device 300 , output audio channels for the two sound output units 340 may be set as a left channel or a right channel. For example, the processor 180 divides the two sound output units 340 into a left sound output unit and a right sound output unit in consideration of the wearing direction of the wireless sound device 300 , and sets the output audio channel of the left sound output unit to the left channel. , and an output audio channel of the right sound output unit may be determined as the right channel.
  • the processor 180 when it is determined that the two wireless acoustic devices 300 are worn, the processor 180 considers the wearing direction of each worn wireless acoustic device 300 to perform the sound of each wireless acoustic device 300 .
  • An output audio channel for the output unit 300 may be set as a left channel, a right channel, or a mono channel. For example, if the two wireless acoustic devices 300 are worn by one user, the processor 180 sets the two wireless acoustic devices as the left wireless acoustic device and the right wireless acoustic device in consideration of the wearing direction of the wireless acoustic device 300 .
  • the output audio channel of the sound output unit 340 of the left wireless sound device may be determined as the left channel
  • the output audio channel of the sound output unit 340 of the right wireless sound device may be determined as the right channel.
  • the processor 180 determines the output audio channel of the acoustic output unit 340 of each wireless acoustic device 300 as a mono channel. can This is because, if only the sound of one sound output unit 340 is transmitted to one person, outputting the sound of the mono channel can provide a high sound.
  • the processor 180 when it is determined that only one wireless acoustic device 300 is worn and only one acoustic output unit 340 is included in the worn wireless acoustic device 300 , the processor 180 performs the worn wireless acoustic device 300 .
  • An output audio channel of the sound output unit 340 of the sound device 300 may be determined as a mono channel.
  • the processor 180 of the terminal 100 transmits an audio signal corresponding to the output audio channel determined for each worn wireless sound device 300 through the communication unit 110 (S615).
  • the audio signal is an audio signal corresponding to the output audio content.
  • the terminal 100 may control the operation of the wireless acoustic device 300 to suit the wearing state of the connected wireless acoustic device 300 .
  • the order of the steps shown in FIG. 6 is only an example, and the present disclosure is not limited thereto. That is, in an embodiment, the order of some of the steps shown in FIG. 6 may be reversed to be performed. Also, in an embodiment, some of the steps shown in FIG. 6 may be performed in parallel. Also, only some of the steps shown in FIG. 6 may be performed.
  • FIG. 7 is a diagram illustrating a method of measuring an angle of arrival in the terminal 100 according to an embodiment of the present disclosure.
  • the communication unit 110 of the terminal 100 may include a first communication unit (first transceiver, 110_1) and a second communication unit (second transceiver, 110_2).
  • the terminal 100 may transmit/receive a positioning signal 701 to and from the communication unit 340 of the wireless communication device 300 through the first communication unit 110_1 and the second communication unit 110_2 .
  • the angle of arrival ⁇ 713 of the positioning signal 710 for the terminal 100 is defined as the angle formed by the normal of the line connecting the two communication units 110_1 and 110_2 of the terminal 100 and the positioning signal 710, When the positioning signal 710 is incident in a direction perpendicular to the terminal 100 , the angle of arrival 713 may be 0 degrees.
  • the processor 180 uses a distance d 711 between the two communication units 110_1 and 110_2 of the terminal 100 and a distance difference p 712 between the positioning signal 710 incident on the two communication units 110_1 and 110_2.
  • the angle of arrival ⁇ (713) can be calculated.
  • a phase difference ⁇ exists in the positioning signal 710 incident on the first communication unit 110_1 and the second communication unit 110_2, and the processor 180 uses the wavelength ⁇ of the positioning signal 710 to obtain a phase difference ⁇ .
  • a corresponding distance difference p(712) can be calculated. That is, the processor 180 may calculate the angle of arrival ⁇ 713 using the following [Equation 1] to [Equation 3].
  • the communication unit 110 of the terminal 100 includes two or more communication units, and the processor 180 calculates the angle of arrival for each 3-dimensional axis using the two or more communication units. It is also possible to calculate the direction of the wireless sound device 300 in the three-dimensional space by calculating.
  • FIG 8 is a diagram illustrating a method of measuring a distance from the terminal 100 to the wireless sound device 300 according to an embodiment of the present disclosure.
  • the terminal 100 measures the distance between the terminal 100 and the wireless sound device 300 using a two-way ranging technique. can do.
  • the terminal 100 may transmit a poll message 801 to the wireless acoustic device 300 at the time T SP , and the wireless acoustic device 300 may receive the poll message 801 at the time T RP . Then, in response to the received poll message 801 , the wireless sound device 300 transmits a response message 802 to the terminal 100 at time T SR , and the terminal 100 transmits a response message 802 at time T RR may receive a response message 802 . Then, in response to the received response message 802 , the terminal 100 transmits a final message 803 to the wireless sound device 300 at the time T SF, and the wireless sound device 300 at the time point T SF A final message 803 may be received at T RF.
  • the terminal 100 transmits the poll message 801 at the time T SP and receives the response message 802 as a response to the poll message 801 at the time T RR , the terminal 100 transmits the message from the viewpoint of the terminal 100 . and it takes T 1 time to receive the response. Since the wireless acoustic device 300 also receives the poll message 801 at the time T RP and transmits the response message 802 at the time T SR , the wireless acoustic device 300 takes a time T 2 until it responds. It takes
  • the wireless acoustic device 300 transmits the response message 802 at the time T SR and receives the final message 803 as a response to the response message 802 at the time T RF
  • the wireless acoustic device 300 From the point of view of , it takes T 3 time between sending a message and receiving its response. Since the terminal 100 also receives the response message 802 at the time T RR and transmits the final message 803 at the time T SF , it takes time T 4 until the terminal 100 responds.
  • the processor 180 of the terminal 100 calculates the time of flight (TOF) of the positioning signals 801 , 802 , 803 transmitted and received between the terminal 100 and the wireless sound device 300 as shown in Equation 4 below. can do.
  • TOF time of flight
  • the terminal 100 calculates the time of flight (TOF) of the positioning signals 801 , 802 and 803 , and then calculates the distance between the terminal 100 and the wireless sound device 300 using the propagation speed of the signal can do.
  • TOF time of flight
  • the terminal 100 may measure the distance between the terminal 100 and the wireless acoustic device 300 using a one-way ranging technique or the like.
  • FIG. 9 is a diagram illustrating a result of calculating the relative positions of two wireless sound devices 300 using the terminal 100 according to an embodiment of the present disclosure.
  • FIG. 9 shows that two wireless acoustic devices 300 are connected to the terminal 100 and operate as one wireless acoustic device group, and two wireless acoustic devices 300 are worn on both ears of one user, The results obtained when the two wireless sound devices 300 and the terminal 100 are about 60 cm apart are shown.
  • FIG. 9(a) is a result showing the relative position of the first wireless acoustic device worn on the user's left ear
  • FIG. 9(b) is the relative position of the second wireless acoustic device worn on the user's right ear. indicates the location.
  • the first wireless sound device worn on the user's left ear is about 57 cm away from the terminal 100 and is located in a direction of -14 degrees indicating a left direction with respect to the terminal 100.
  • the second wireless sound device worn on the user's right ear is about 63 cm away from the terminal 100 and is located at 15 degrees indicating the right direction with respect to the terminal 100 . do.
  • the terminal 100 can calculate the distance and direction from the terminal 100 to the wireless sound device 300 by transmitting and receiving a positioning signal to and from the wireless sound device 300, and based on this, the terminal 100 It is possible to determine the relative position of the wireless sound device 300 with respect to . As the relative position of the wireless acoustic device 300 with respect to the terminal 100 is determined, the terminal 100 may determine whether the wireless acoustic device 300 is worn.
  • FIG. 10 is a diagram illustrating a posture of the wireless sound device 300 according to an embodiment of the present disclosure.
  • the posture of the wireless acoustic device 300 indicates the direction of the wireless acoustic device 300 and may be defined as an angle 1001 formed with a normal line of the ground.
  • the wireless acoustic device 300 includes a gyro sensor or an acceleration sensor, and the processor 180 of the terminal 100 determines the posture of the wireless acoustic device 300 based on the acceleration sensor value received from the wireless acoustic device 300 . can decide
  • FIG. 11 is a diagram illustrating a posture of the wireless sound device 300 according to an embodiment of the present disclosure.
  • the processor 180 of the terminal 100 may determine the angle of the wireless acoustic device 300 with respect to the normal to the ground based on the acceleration sensor value received from the wireless acoustic device 300, and based on this, It is possible to determine the posture of the wireless sound device 300 and the direction in which the user's ear is worn.
  • FIG. 12 is a diagram illustrating a relative position of the wireless acoustic device 300 with respect to the terminal 100 and a posture of the wireless acoustic device 300 .
  • the terminal 100 may be connected to a first wireless acoustic device 300_1 and a second wireless acoustic device 300_2 , and a first wireless acoustic device 300_1 and a second wireless acoustic device 300_2 . may constitute one wireless acoustic device group.
  • the first wireless acoustic device 300_1 may be a right wireless acoustic device to which a right channel is assigned as a default value
  • the second wireless acoustic device 300_2 may be a left wireless acoustic device to which a left channel is assigned as a default value.
  • the terminal 100 transmits/receives a positioning signal to and from the first wireless acoustic device 300_1, so that the distance d 1 (1211_1) to the first wireless acoustic device 300_1 and the direction ⁇ 1 of the first wireless acoustic device 300_1 (300_1) 1212_1) can be measured.
  • the terminal 100 transmits/receives a positioning signal to and from the second wireless acoustic device 300_2 , and thus the distance d 2 ( 1211_2 ) to the second wireless acoustic device 300_2 and the direction ⁇ of the second wireless acoustic device 300_2 . 2 (1212_2) can be measured.
  • a positioning signal to and from the first wireless acoustic device 300_1
  • the terminal 100 transmits/receives a positioning signal to and from the second wireless acoustic device 300_2 , and thus the distance d 2 ( 1211_2 ) to the second wireless acoustic device 300_2 and the direction
  • the direction ⁇ 1 (1212_1) of the first wireless acoustic device 300_1 with respect to the terminal 100 and the direction ⁇ 2 (1212_2) of the second wireless acoustic device 300_2 with respect to the terminal 100 are the terminal 100 ) in opposite directions with respect to the normal line of the display, so the signs may be opposite to each other.
  • the direction ⁇ 1 of the first wireless acoustic device 300_1 ( 1212_1 ) and the terminal The signs of the direction ⁇ 2 ( 1212_2 ) of the second wireless sound device 300_2 with respect to ( 100 ) may be the same.
  • the terminal 100 is a distance d 1 (1211_1) to the first wireless acoustic device 300_1, a direction ⁇ 1 (1212_1) of the first wireless acoustic device 300_1, and a distance d to the second wireless acoustic device 300_2 Using 2 ( 1211_2 ) and the direction ⁇ 2 ( 1212_2 ) of the second wireless acoustic device 300_2 , the distance d 1221 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 is calculated.
  • the first wireless acoustic device 300_1 may acquire a first acceleration sensor value (or a gyro sensor value), and the first acceleration sensor value is the direction or attitude ⁇ 1 of the first wireless acoustic device 300_1 with respect to the ground direction. (1222_1) can be expressed. Also, the second wireless acoustic device 300_2 may acquire a second acceleration sensor value (or a gyro sensor value), and the second acceleration sensor value is the direction or posture of the second wireless acoustic device 300_2 with respect to the ground direction. ⁇ 2 (1222_2) can be represented.
  • the terminal 100 receives the first acceleration sensor value from the first wireless acoustic device 300_1 and receives the second acceleration sensor value from the second wireless acoustic device 300_2, whereby the first wireless acoustic device 300_1 can obtain the attitude ⁇ 2 (1222_2) of the orientation ⁇ 1 (1222_1) and a second wireless sounder (300_2).
  • the posture ⁇ 1 ( 1222_1 ) of the first wireless acoustic device 300_1 and the posture ⁇ 2 ( 1222_2 ) of the second wireless acoustic device 300_2 are shown as being equally clockwise from the ground direction.
  • the posture ⁇ 1 (1222_1) of the first wireless acoustic device 300_1 points clockwise from the ground direction
  • the posture ⁇ 2 (1222_2) of the second wireless acoustic device 300_2 indicates a counterclockwise direction from the ground direction. Accordingly, the posture ⁇ 1 ( 1222_1 ) of the first wireless acoustic device 300_1 and the posture ⁇ 2 ( 1222_2 ) of the second wireless acoustic device 300_2 may have opposite signs.
  • the terminal 100 has a distance d 1 (1211_1) to the first wireless acoustic device 300_1, a direction ⁇ 1 (1212_1) of the first wireless acoustic device 300_1, and a first wireless acoustic device 300_1.
  • posture ⁇ 1 (1222_1), distance d 2 (1211_2) to second wireless acoustic device 300_2, direction ⁇ 2 (1212_2) of second wireless acoustic device 300_2, second wireless acoustic device 300_2 The first wireless acoustic device 300_1 and the second wireless acoustic device using the posture ⁇ 2 1222_2 and the distance d 1221 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 Whether to wear (300_2) and the direction of wearing may be determined.
  • 13 is a diagram illustrating an example in which one user wears both wireless sound devices.
  • two wireless acoustic devices 300_1 and 300_2 may constitute one wireless acoustic device group and may be worn by one user 1301 . That is, the first wireless acoustic device 300_1 may be worn on the right ear of the user 1301 , and the second wireless acoustic device 300_2 may be worn on the left ear of the user 1301 .
  • the terminal 100 may acquire the distance, direction, and posture of each of the wireless acoustic devices 300_1 and 300_2, and further acquire the distance 1311 between the two wireless acoustic devices 300_1 and 300_2, and the obtained It may be determined whether the two wireless sound devices 300_1 and 300_2 are worn by one user using the information. In particular, when the distance 1311 between the two wireless sound devices 300_1 and 300_2 is significantly farther or significantly closer than the distance between the two ears of a normal person, the terminal 100 may determine that it is not worn by one user. .
  • the terminal 100 has a posture when the first wireless sound device 300_1 is worn on the right ear, the second wireless sound device 300_2 has a posture when worn on the left ear, and the first wireless sound device 300_1 has a posture when worn on the left ear.
  • ) is located to the right of the second wireless acoustic device 300_2 with respect to the terminal 100, and the distance 1311 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 is a predetermined ear
  • the terminal 100 may set the output audio channel to the right channel in the first wireless acoustic device 300_1 and set the output audio channel to the left channel in the second wireless acoustic device 300_2 .
  • 14 to 16 are diagrams illustrating examples in which two users wear two wireless sound devices one by one.
  • two wireless acoustic devices 300_1 and 300_2 may constitute one wireless acoustic device group, and may be worn by two users 1401 and 1402 one by one.
  • the first wireless acoustic device 300_1 may be worn on the left ear of the first user 1401
  • the second wireless acoustic device 300_2 may be worn on the right ear of the second user 1402 .
  • the terminal 100 has a posture when the first wireless sound device 300_1 is worn on the left ear
  • the second wireless sound device 300_2 has a posture when worn on the right ear
  • the first wireless sound device 300_1 has a posture when worn on the right ear.
  • the two wireless acoustic devices 300_1 and 300_2 are worn by two users, one by one.
  • the terminal 100 performs the two wireless acoustic devices 300_1 and 300_2. Considering the posture and direction, it may be determined that the first wireless acoustic device 300_1 is worn on the left ear of the first user 1401 and the second wireless acoustic device 300_2 is worn on the right ear of the second user 1402 . . Accordingly, the terminal 100 may determine that both the output audio channels of the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 are mono channels.
  • the first wireless acoustic device 300_1 may be worn on the right ear of the first user 1401
  • the second wireless acoustic device 300_2 may be worn on the right ear of the second user 1402 .
  • the terminal 100 has a posture when the first wireless sound device 300_1 is worn on the right ear
  • the second wireless sound device 300_2 has a posture when worn on the right ear
  • the first wireless sound device 300_1 has a posture when worn on the right ear.
  • the two wireless acoustic devices 300_1 and 300_2 are worn by two users, one by one.
  • the distance 1511 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 deviates from the predetermined ear distance range.
  • the first wireless acoustic device 300_1 is worn on the right ear of the first user 1401 in consideration of the postures and directions of the two wireless acoustic devices 300_1 and 300_2, and the second wireless acoustic device 300_2 may be determined to be worn on the right ear of the second user 1402 . Accordingly, the terminal 100 may determine that both the output audio channels of the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 are mono channels.
  • the first wireless acoustic device 300_1 may be worn on the right ear of the first user 1401
  • the second wireless acoustic device 300_2 may be worn on the left ear of the second user 1402 .
  • the terminal 100 has a posture when the first wireless sound device 300_1 is worn on the right ear, the second wireless sound device 300_2 has a posture when worn on the left ear, and the first wireless sound device 300_1 has a posture when worn on the left ear. ) can be identified as being located to the right of the second wireless sound device 300_2 with respect to the terminal 100 .
  • the terminal 100 can determine the wearing state of the two wireless acoustic devices 300_1 and 300_2 by additionally considering the distance 1611 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2. .
  • the distance 1611 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 is more than twice the universal ear spacing and deviates from a predetermined ear spacing range. Therefore, the terminal 100 considers the posture and direction of the two wireless acoustic devices 300_1 and 300_2 as well as the distance 1611 between the two wireless acoustic devices 300_1 and 300_2 when the first wireless acoustic device 300_1 is It may be determined that the first user 1401 is worn on the right ear and the second wireless sound device 300_2 is worn on the left ear of the second user 1402 . Accordingly, the terminal 100 may determine that both the output audio channels of the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 are mono channels.
  • 17 is a diagram illustrating an example in which one user wears only one of two wireless sound devices.
  • two wireless acoustic devices 300_1 and 300_2 may constitute one wireless acoustic device group, and only one of the two wireless acoustic devices may be worn by the user 1701 . That is, the first wireless acoustic device 300_1 may be worn on the right ear of the user 1701 , and the second wireless acoustic device 300_2 may not be worn by the user 1701 .
  • the terminal 100 recognizes that the first wireless sound device 300_1 has a posture when worn on the right ear, but does not have a posture when the second wireless sound device 300_2 is worn on the user 1701's ear. can In this situation, it is significant that the distance 1711 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 deviates from the predetermined ear distance range.
  • the first wireless acoustic device 300_1 is worn on the right ear of the user 1701 in consideration of the postures and directions of the two wireless acoustic devices 300_1 and 300_2, and the second wireless acoustic device 300_2 is the user (1701) may determine that it was not worn.
  • the terminal 100 determines the output audio channel of the first wireless acoustic device 300_1 as a mono channel, cuts off the power of the second wireless acoustic device 300_2, disconnects the connection, or allocates an output audio channel. it may not be
  • 18 is a diagram illustrating an example in which one user does not wear any two wireless sound devices.
  • two wireless acoustic devices 300_1 and 300_2 may constitute one wireless acoustic device group, and both may not be worn by the user 1801 . That is, the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 may not be worn by the user 1801 .
  • the terminal 100 may determine that the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 do not have postures when worn by the user 1801 . In this situation, the distance 1811 between the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2 is very close, so that the deviation from the predetermined ear distance range is significant.
  • the terminal 100 considers the posture and direction of the two wireless acoustic devices 300_1 and 300_2, and the distance between the two wireless acoustic devices 300_1 and 300_2, the first wireless acoustic device 300_1 and the second wireless acoustic device ( It may be determined that 300_2 is not worn by the user 1801 . Accordingly, the terminal 100 may cut off the power of the first wireless acoustic device 300_1 and the second wireless acoustic device 300_2, disconnect the power, or may not allocate an output audio channel.
  • 19 is a diagram illustrating an example in which one user wears two wireless sound devices in reverse.
  • two wireless acoustic devices 300_1 and 300_2 may constitute one wireless acoustic device group and may be worn by one user 1901 . That is, the first wireless acoustic device 300_1 may be worn on the right ear of the user 1901 , and the second wireless acoustic device 300_2 may be worn on the left ear of the user 1901 .
  • the first wireless sound device 300_1 may have a structure designed to suit the shape of the left ear, in which the output audio channel set as a default value is the left channel.
  • the second wireless sound device 300_2 may have a structure designed to suit the shape of the right ear, in which the output audio channel set as a default value is the right channel. That is, the user 1901 wore both the wireless sound devices 300_1 , but contrary to the designer's intention, he wore them.
  • the terminal 100 may change the output audio channel in consideration of the wearing directions of the two wireless acoustic devices 300_1, or may output notifications 1921 and 1922 for inducing correct wearing of the wireless acoustic devices. .
  • the terminal 100 outputs a notification such as "I worn the earphone in reverse. Shall I change the audio channel?” (1921) through the display unit 151, or "I put the earphone on through the wireless sound devices 300_1 and 300_2" Conversely, you can output a notification such as "Can I change the audio channel?” (1922).
  • the terminal 100 sets the output audio channel of the first wireless acoustic device 300_1 to the right channel and outputs the second wireless acoustic device 300_2 You can set the audio channel to the left channel.
  • the terminal 100 may not change the output audio channel set as a default value for each of the wireless sound devices 300_1 and 300_2 .
  • the terminal 100 may periodically determine whether the user 1901 wears the wireless acoustic devices 300_1 and 300_2 correctly, and when it is determined that the wireless acoustic devices 300_1 and 300_2 are worn conversely, the wireless acoustic device is correctly worn. Inducing notifications 1921 and 1922 may be output.
  • the notification inducing correct wearing of the wireless acoustic device may include a notification that the wireless acoustic device is worn in the wrong direction or a notification that an output audio channel is set according to the wearing direction of the wireless acoustic device.
  • the above-described method may be implemented as computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

본 개시의 일 실시 예는 무선 음향 기기를 제어하는 단말기에 있어서, 적어도 하나 이상의 무선 음향 기기와 연결하는 통신부; 및 상기 통신부를 통해 상기 연결된 무선 음향 기기와 측위 신호를 송수신하고, 상기 송수신한 측위 신호에 기초하여 상기 연결된 무선 음향 기기의 상대적 위치를 결정하고, 상기 통신부를 통해 상기 연결된 무선 음향 기기로부터 가속도 센서 값을 수신하고, 상기 수신한 가속도 센서 값에 기초하여 상기 연결된 무선 음향 기기의 자세를 결정하고, 상기 결정된 상대적 위치 및 상기 결정된 자세에 기초하여 상기 연결된 무선 음향 기기의 착용 여부 또는 착용 방향 중에서 적어도 하나 이상을 결정하고, 상기 통신부를 통해 착용된 것으로 결정된 무선 음향 기기에 오디오 신호를 전송하는 프로세서를 포함하는, 단말기를 제공한다.

Description

무선 음향 기기를 제어하는 단말기 및 그 방법
본 개시(disclosure)는 무선 통신을 통해 무선 음향 기기를 제어하는 단말기 및 그 방법에 관한 것이다.
무선 음향 기기는 무선 통신을 통해 단말기로부터 음향 신호를 수신하고, 수신한 음향 신호에 대응하는 음향을 출력하는 기기를 의미한다. 최근 무선 통신 기술이 발달하고 유선 음향 기기에 비하여 휴대성과 편의성이 크다는 측면에서, 무선 음향 기기의 수요와 공급이 크게 증가하고 있다.
그러나, 이러한 무선 음향 기기의 휴대성의 증가로 인해 양 음향 출력부를 반대로 착용하는 상황이나 분실하는 상황이 증가하였다. 또한, 유선 음향 기기와는 달리 배터리를 내장하여 사용 시간에 제한이 있으며, 따라서 무선 음향 기기의 불필요한 배터리 소모를 줄일 필요가 있다.
본 개시는 사용자에게 올바른 착용을 안내하는 무선 음향 기기의 제어 방법을 제공하고자 한다.
또한, 본 개시는 사용자의 착용 상태에 기초하여 무선 음향 기기의 출력 채널을 조정하거나 그 전원을 차단하는 무선 음향 기기의 제어 방법을 제공하고자 한다.
본 개시의 일 실시 예는, 적어도 하나 이상의 무선 음향 기기와 연결하고, 연결된 무선 음향 기기와 측위 신호를 송수신하여 연결된 상대적 위치를 결정하고, 연결된 무선 음향 기기로부터 수신한 가속도 센서 값에 기초하여 연결된 무선 음향 기기의 자세를 결정하고, 연결된 무선 음향 기기의 상대적 위치와 자세에 기초하여 연결된 무선 음향 기기의 착용 상태를 결정하고, 연결된 무선 음향 기기 중에서 착용된 무선 음향 기기에 오디오 신호를 전송하는 단말기 및 그 방법을 제공한다.
이때, 적어도 두 개 이상의 통신 모듈을 이용하여 송수신한 측위 신호의 도래각과 비행 시간을 측정하여, 무선 음향 기기의 상대적 위치를 결정할 수 있다.
이때, 복수의 무선 음향 기기와 연결될 경우에는 연결된 복수의 무선 음향 기기 각각의 방향 및 거리에 기초하여 연결된 복수의 무선 음향 기기들 사이의 거리를 산출할 수 있다.
이때, 연결된 무선 음향 기기 각각에 대한 거리, 연결된 무선 음향 기기 각각의 방향, 연결된 무선 음향 기기 각각의 자세 또는 연결된 무선 음향 기기들 사이의 거리 중에서 적어도 하나 이상에 기초하여 연결된 무선 음향 기기의 착용 상태를 결정할 수 있다.
이때, 연결된 무선 음향 기기 중에서 착용되지 않은 무선 음향 기기에 대하여는 전원을 차단하거나, 연결을 해제하거나 또는 출력 오디오 채널을 할당하지 않을 수 있다.
이때, 착용된 무선 음향 기기의 착용 방향을 고려하여 착용된 무선 음향 기기에 대응하는 출력 오디오 채널을 결정하고, 착용된 무선 음향 기기에 결정된 출력 오디오 채널에 대응하는 오디오 신호를 전송할 수 있다.
이때, 제1 무선 음향 기기와 제2 무선 음향 기기가 모두 한 명의 사용자에게 착용된 것으로 판단된 경우, 제1 무선 음향 기기의 출력 오디오 채널을 제1 무선 음향 기기의 착용 방향에 대응하는 오디오 채널로 결정하고, 제2 무선 음향 기기의 출력 오디오 채널을 제2 무선 음향 기기의 착용 방향에 대응하는 오디오 채널로 결정할 수 있다.
이때, 제1 무선 음향 기기와 제2 무선 음향 기기가 각각 하나씩 두 명의 사용자에게 착용되거나, 제1 무선 음향 기기와 제2 무선 음향 기기 중에서 하나만 한 명의 사용자에게 착용된 것으로 판단된 경우, 제1 무선 음향 기기와 제2 무선 음향 기기 중에서 착용된 무선 음향 기기의 출력 오디오 채널을 모노 채널로 결정할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사용자가 무선 음향 기기를 잘못된 방향으로 착용하였을 때, 사용자에게 무선 음향 기기에 대한 올바른 착용 방법을 안내할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 사용자가 무선 음향 기기를 반대로 착용하더라도, 무선 음향 기기의 착용 방향에 적합하게 소리를 출력할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 사용자가 착용하지 않은 무선 음향 기기에서의 소리 출력을 중단하여 불필요한 전력 소모를 줄일 수 있다.
도 1은 본 개시의 일 실시 예에 따른 음향 출력 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 무선 음향 기기를 제어하는 단말기를 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 무선 음향 기기의 사시도이다.
도 4는 본 개시의 일 실시 예에 따른 무선 음향 기기를 나타낸 블록도이다.
도 5는 본 개시의 다양한 실시 예들에 따른 무선 음향 기기를 이용하여 사용자의 발화 음성을 수집하는 방법을 나타낸 도면이다.
도 6은 본 개시의 일 실시 예에 따른 무선 음향 기기를 제어하는 방법을 나타낸 동작 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 단말기에서 도래각을 측정하는 방법을 나타낸 도면이다.
도 8은 본 개시의 일 실시 예에 따른 단말기에서 무선 음향 기기까지의 거리를 측정하는 방법을 나타낸 도면이다.
도 9는 본 개시의 일 실시 예에 따른 단말기를 이용하여 두 개의 무선 음향 기기의 상대적인 위치를 산출한 결과를 나타낸 도면이다.
도 10은 본 개시의 일 실시 예에 따른 무선 음향 기기의 자세를 나타낸 도면이다.
도 11은 본 개시의 일 실시 예에 따른 무선 음향 기기의 자세를 나타낸 도면이다.
도 12는 단말기에 대한 무선 음향 기기의 상대적 위치와 무선 음향 기기의 자세를 나타낸 도면이다.
도 13은 한 명의 사용자가 두 개의 무선 음향 기기를 모두 착용하는 예시를 나타낸 도면이다.
도 14 내지 16는 두 명의 사용자가 두 개의 무선 음향 기기를 하나씩 착용하는 예시들을 나타낸 도면이다.
도 17은 한 명의 사용자가 두 개의 무선 음향 기기 중에서 하나만을 착용하는 예시를 나타낸 도면이다.
도 18은 한 명의 사용자가 두 개의 무선 음향 기기를 하나도 착용하지 않은 예시를 나타낸 도면이다.
도 19는 한 명의 사용자가 두 개의 무선 음향 기기를 반대로 착용하는 예시를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단말기(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 음향 출력 시스템(1)을 나타낸 도면이다.
도 1을 참조하면, 음향 출력 시스템(1)은 단말기(100), 컨텐츠 제공자(200) 및 적어도 하나 이상의 무선 음향 기기(300) 등을 포함할 수 있다.
단말기(100)는 무선 통신 기술을 이용하여 무선 음향 기기(300)와 연결하고, 무선 음향 기기(300)를 통해 소리를 출력하고, 무선 음향 기기(300)를 제어하는 장치를 의미할 수 있다. 단말기(100)가 무선 음향 기기(300)에 오디오 신호를 제공한다는 점에서, 단말기(100)를 오디오 신호 제공 장치라고 볼 수 있다.
단말기(100)는 하나 이상의 무선 음향 기기(300)를 통해 동시에 소리를 출력할 수 있다. 예컨대, 단말기(100)는 각 무선 음향 기기(300)에 서로 다른 채널의 오디오 신호를 전송함으로써, 다채널의 소리를 출력할 수 있다.
단말기(100)는 무선 통신 기술을 이용하여 무선 음향 기기(300)와 페어링(pairing) 신호, 측위 신호, 오디오 신호 등을 송수신할 수 있다. 페어링 신호는 무선 음향 기기(300)를 단말기(100)에 연결하는데 송수신하는 신호를 의미할 수 있다. 측위 신호는 단말기(100)와 무선 음향 기기(300) 사이의 상대적 위치를 측정하는데 송수신하는 신호를 의미할 수 있다. 오디오 신호는 단말기(100)가 무선 음향 기기(300)를 통해 음향을 출력하기 위하여 무선 음향 기기(300)에 전송하는 신호를 의미할 수 있다.
단말기(100)는 유무선 통신 기술을 이용하여 컨텐츠 제공자(200)로부터 오디오 데이터를 포함하는 컨텐츠 데이터를 수신하고, 수신한 오디오 데이터에 대응하는 오디오 신호를 무선 음향 기기(300)에 전송할 수 있다. 또는, 단말기(100)는 메모리(170)에 저장된 오디오 데이터에 대응하는 오디오 신호를 무선 음향 기기(300)에 전송할 수도 있다.
무선 음향 기기(300)는 무선 통신 기술을 이용하여 단말기(100)와 연결하며, 단말기(100)로부터 수신한 오디오 신호에 기초하여 소리를 출력할 수 있다. 이를 위해, 무선 음향 기기(300)는 적어도 하나 이상의 음향 출력부 또는 스피커를 포함할 수 있다.
무선 음향 기기(300)는 하나 이상의 음향 출력부(340)를 포함할 수 있고, 각 음향 출력부(340)를 통해 동일한 채널의 소리를 출력할 수도 있고, 서로 다른 채널의 소리를 출력할 수도 있다. 예컨대, 무선 음향 기기(300)는 헤드폰이나 넥 밴드형 이어폰과 같이 두 개의 음향 출력부들을 포함할 수 있고, 이 경우 무선 음향 기기(300)는 각 음향 출력부를 통해 좌 채널 소리와 우 채널 소리를 출력할 수 있다.
복수의 무선 음향 기기(300)는 하나의 그룹으로 동작할 수 있고, 이러한 무선 음향 기기 그룹은 마치 복수의 음향 출력부를 포함하는 하나의 무선 음향 기기처럼 동작할 수 있다. 예컨대, 두 개의 무선 음향 기기(300)가 각각 하나의 음향 출력부만을 포함하더라도, 이러한 두 개의 무선 음향 기기(300) 중에서 하나는 좌 채널 오디오 신호에 대응하는 좌 채널 소리를 출력하고, 나머지 하나는 우 채널 오디오 신호에 대응하는 우 채널 소리를 출력할 수도 있다.
일 실시 예에서, 복수의 무선 음향 기기(300)가 하나의 그룹으로 동작할 경우, 하나의 무선 음향 기기가 마스터 무선 음향 기기로 기능하고, 나머지 무선 음향 기기가 슬레이브 무선 음향 기기로 기능할 수 있다. 이 경우, 단말기(100)는 마스터 무선 음향 기기에만 연결하더라도, 마스터 무선 음향 기기를 통해 슬레이브 무선 음향 기기에서도 소리를 출력할 수 있다. 또한, 단말기(100)는 마스터 무선 음향 기기를 통하여 슬레이브 무선 음향 기기와도 연결하고, 슬레이브 음향 기기에서 소리를 출력할 수 있다.
일 실시 예에서, 복수의 무선 음향 기기(300)가 하나의 그룹으로 동작할 경우, 단말기(100)가 각 무선 음향 기기(300)와 모두 연결하고 각 무선 음향 기기(300)에 개별적으로 오디오 신호를 전송하여 소리를 출력할 수 있다.
컨텐츠 제공자(200)는 유무선 통신 기술을 이용하여 단말기(100)에 대하여 비디오 컨텐츠 데이터 또는 오디오 컨텐츠 데이터 등을 제공할 수 있다. 비디오 컨텐츠 또는 오디오 컨텐츠 데이터는 오디오 데이터를 포함할 수 있다.
컨텐츠 제공자(200)는 라디오 기지국, 지상파 기지국, 방송 위성, 컨텐츠 데이터 서버 등의 다양한 컨텐츠 제공 장치를 지칭할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 무선 음향 기기를 제어하는 단말기(100)를 나타낸 블록도이다.
도 2를 참조하면, 단말기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 통신 모뎀(communication modem) 또는 통신 회로(communication circuit)라고도 칭할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 무선 음향 기기(300) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 입력 인터페이스(input interface)라고 칭할 수 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123) 등을 포함할 수 있다. 여기서, 카메라(121)나 마이크로폰(122)을 센서로 취급하여, 카메라(121)나 마이크로폰(122)으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 프로세서(180)는 입력된 정보에 대응되도록 단말기(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 입력 수단 (예컨대, 단말기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력 수단을 포함할 수 있다. 예컨대, 터치식 입력 수단은, 소프트웨어적인 처리를 통해 터치 스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치 스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
러닝 프로세서(130)는 인공 지능 서버(미도시)의 러닝 프로세서(미도시)와 함께 AI 프로세싱을 수행할 수 있다.
러닝 프로세서(130)는 단말기(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), 단말기(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 센서부 또는 센서라고 칭할 수 있다.
센싱부(140)는 다양한 센서들을 이용하여 단말기(100) 내부 정보, 단말기(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 출력 인터페이스(output interface)라고 칭할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(150)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(151)는 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module, 153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
메모리(170)는 단말기(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 단말기(100)의 전반적인 동작을 제어할 수 있다.
프로세서(180)에서 영상 처리된 영상 신호는 디스플레이부(151)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 프로세서(180)에서 영상 처리된 영상 신호는 외부 장치 인터페이스부(미도시)를 통하여 외부 출력 장치로 입력될 수 있다.
프로세서(180)에서 처리된 음성 신호는 음향 출력부(152)로 오디오 출력될 수 있다. 또한, 프로세서(180)에서 처리된 음성 신호는 외부 장치 인터페이스부(미도시)를 통하여 외부 출력 장치로 입력될 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 단말기(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 단말기(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 단말기(100)의 구성 요소들을 제어할 수 있다.
프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다. STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, 인공 지능 서버(미도시)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 단말기(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, 인공 지능 서버(미도시) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 단말기(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, 단말기(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
한편, 도 1에 도시된 단말기(100)는 본 개시의 일 실시 예에 불과하며, 도시된 구성요소들 중 일부는 실제 구현되는 단말기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
일 실시 예에서, 단말기(100)의 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 개시의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리 범위를 제한하지 아니한다.
도 3은 본 개시의 일 실시 예에 따른 무선 음향 기기(300)의 사시도이다.
도 3에서 도시된 무선 음향 기기(300)로써의 커널형 무선 이어폰은 예시에 불과하며, 본 개시가 이에 한정되지 않는다. 즉, 본 개시에서의 무선 음향 기기(300)는 헤드폰, 넥 밴드형 이어폰, 커널형 이어폰, 개방형 이어폰, 골전도 이어폰 등을 포함할 수 있다.
도 3을 참조하면, 무선 음향 기기(300)는 복수 개의 케이스(301, 302, 303, 305)를 포함하고, 상기 케이스(301, 302, 303, 305)는 결합하여 전자 부품이 실장되는 내부 공간을 포함하는 하우징을 형성할 수 있다. 제1 케이스(301)의 일측에 결합하는 제2 케이스(302)는 사용자가 무선 음향 기기(300)를 착용시 외측으로 노출되는 부분이고, 제1 케이스(301)의 타측에 음향신호에 따라 소리를 출력하는 음향 출력부(340)가 위치하여 사용자에게 소리를 전달하는 음향 통로(304)가 구비될 수 있다. 제1 케이스(301)에 부품(예컨대, 음향 출력부(340), 통신부(385))의 실장이 용이하도록 음향 통로(304)가 위치하는 부분이 분리되어 별도의 케이스(303)를 구성할 수 있다.
무선 음향 기기(300)는 커널형으로서 사용자의 외이도에 삽입 가능한 형태로 돌출된 음향 통로(304)를 구비하고 음향 통로(304)의 외측에 사용자의 귀와 밀착되도록 이어팁이 결합될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 무선 음향 기기(300)를 나타낸 블록도이다.
도 4를 참조하면, 무선 음향 기기(300)는 프로세서(380), 통신부(385), 음향 출력부(340), 센싱부(375), 마이크로폰(360), 사용자 입력부(370) 및 전원 공급부(390) 등을 포함할 수 있다.
통신부(385)는 무선 통신 기술을 이용하여 단말기(100)와 같은 외부 장치와 데이터를 송수신할 수 있고, 무선 신호의 송수신을 위한 안테나를 포함할 수 있다. 안테나는 사용자의 몸과 닿으면 방사 성능이 저하되므로 착용시 몸과 닿지 않는 제2 케이스(302)에 위치할 수 있다.
통신부(385)는 음향 출력부(340)에 인접한 위치에 배치될 수 있다. 만약, 무선 음향 기기(300)에 복수의 음향 출력부(340)가 포함된 경우, 통신부(385)는 각 음향 출력부(340)에 대응하는 개수만큼으로 구성되어, 각 음향 출력부(340)에 인접한 위치에 배치될 수 있다. 예컨대, 무선 음향 기기(300)에 제1 음향 출력부와 제2 음향 출력부가 포함된 경우, 제1 통신부는 제1 음향 출력부에 인접한 위치에 배치되고 제2 통신부는 제2 음향 출력부에 인접한 위치에 배치될 수 있다.
음향 출력부(340)는 진동판, 음향 코일 및 음향 코일의 주변에 자기장을 형성시키는 영구 자석을 포함할 수 있다. 음향 코일에 전원이 인가되면 영구 자석에 의해 형성된 자기장 내에서 전자기력이 발생하여 음향 코일이 움직이게 되고, 음향 코일의 움직임에 따라 진동판이 진동하며 소리가 출력될 수 있다.
마이크로폰(360)은 부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통신부(385)를 통해 단말기(100) 또는 외부의 서버(미도시)로 전달될 수 있다. 마이크로폰(360)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(370)는 사용자가 무선 음향 기기(300)를 제어하기 위한 입력부 또는 입력 인터페이스를 의미할 수 있다. 크기가 작은 무선 음향 기기(300)는 터치 형식을 이용하거나 제한된 개수의 버튼을 이용하여, 버튼을 누르는 시간 및 횟수 그리고 복수 개의 버튼을 조합하여 입력 가능한 제어 명령으로 확대시킬 수 있다.
센싱부(375)는 무선 음향 기기(300) 자체의 상태 및 주변의 상황에 대한 정보를 획득할 수 있다. 센싱부(375)는 주변의 밝기를 감지하는 조도 센서, 터치 입력을 감지하는 터치 센서, 무선 음향 기기(300)의 기울기 및 위치를 감지하기 위한 자이로 센서나 가속도 센서 등을 포함할 수 있다.
전원 공급부(390)는 프로세서(380) 및 각 부품에 필요한 전원을 공급하며, 배터리를 포함할 수 있다. 그리고, 전원 공급부(390)는 배터리를 충전하기 위해 외부 전원과 연결하는 전원 단자를 포함할 수 있다. 일 실시 예에서, 전원 단자는 무선 음향 기기(300)가 실장되는 크래들에 형성된 전원 단자와 접촉되어 외부 전원으로부터 전원을 인가받을 수 있다.
프로세서(380)는 무선 음향 기기(300)의 전반적인 동작을 제어할 수 있다.
도 5는 본 개시의 다양한 실시 예들에 따른 무선 음향 기기(300)를 이용하여 사용자의 발화 음성을 수집하는 방법을 나타낸 도면이다.
도 5의 (a)는 무선 음향 기기(300)에 2 개의 마이크로폰(361, 362)이 구비된 실시 예를 나타내며, 도 5의 (b)는 무선 음향 기기(300)에 3 개의 마이크로폰(361, 362, 363)이 구비된 실시 예를 나타낸다.
도 5를 참조하면, 무선 음향 기기(300)의 마이크로폰(360)은 복수 개의 마이크로폰(361, 362, 363)으로 구성될 수 있다.
무선 음향 기기(300)는 각 마이크로폰(361, 362, 363)에서 획득한 소리를 조합하여 노이즈를 제거할 수 있다.
일 실시 예에 따른 무선 음향 기기(300)는, 도 5의 (a)에 도시된 것과 같이, 서로 다른 위치에 배치된 2 개의 마이크로폰(361, 362)을 포함하며, 각 마이크로폰(361, 362)에서 수집된 소리의 시간차, 음량 차 등을 이용하여 사용자의 발화 음성과 외부 소음을 구분할 수 있고, 그에 따라 외부 소음을 제거할 수 있다.
다른 일 실시 예에 따른 무선 음향 기기(300)는, 도 5의 (b)에 도시된 것과 같이, 사용자의 입과 귀 사이를 연결하는 유스타키오관을 통해 전달된 소리를 수집하는 제3 마이크로폰(363)을 추가로 구비할 수 있고, 외부에 위치하는 마이크로폰(361, 362)과 제3 마이크로폰(363)에서 수집한 소리를 조합하여 외부 소음을 제거할 수 있다. 특히, 제3 마이크(363)에서 수집된 소리는 외부 소음이 가장 작고 사용자의 발화 음성이 가장 크게 수집되므로, 외부 소음을 제거하는데 효과적인 구조를 갖는다.
도 6은 본 개시의 일 실시 예에 따른 무선 음향 기기를 제어하는 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 단말기(100)의 프로세서(180)는 통신부(110)를 통해 적어도 하나 이상의 무선 음향 기기(300)와 연결한다(S601).
단말기(100)는 소리 출력을 위한 하나 이상의 무선 음향 기기(300)와 연결하며, 추후에 연결된 무선 음향 기기(300)를 이용하여 소리를 출력할 수 있다.
무선 헤드폰이나 넥 밴드형 이어폰과 같이 두 개의 음향 출력부가 물리적으로 연결된 무선 음향 기기는 복수의 음향 출력부를 포함하는 단일한 무선 음향 기기(300)로 간주할 수 있다.
통상적인 블루투스 이어폰과 같이 서로 물리적으로 분리된 두 개의 무선 음향 기기는 두 개의 무선 음향 기기(300)로 간주할 수 있다. 이 경우, 두 개의 무선 음향 기기(300)가 함께 동작하여 소리를 출력한다는 점에서, 이러한 두 개의 무선 음향 기기(300)를 하나의 무선 음향 기기 그룹으로 취급할 수 있다. 단말기(100)는 무선 음향 기기 그룹에 포함된 모든 무선 음향 기기(300)와 연결할 수도 있고, 무선 음향 기기 그룹 내의 마스터 무선 음향 기기와만 연결할 수도 있다. 마스터 무선 음향 기기는 자신이 속한 무선 음향 기기 그룹 내의 슬레이브 무선 음향 기기들과 연결되며, 단말기(100)는 마스터 무선 음향 기기를 통해 슬레이브 무선 음향 기기를 제어할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 통신부(110)를 통해 각 연결된 무선 음향 기기(300)와 측위 신호를 송수신한다(S603).
프로세서(180)는 무선 음향 기기(300)와 연결이 유지되는 동안 무선 음향 기기(300)와 주기적으로 측위 신호를 송수신할 수도 있다. 단말기(100)와 무선 음향 기기(300)가 서로 측위 신호를 송수신하는 것은 측위 신호를 교환하는 것을 의미할 수 있다.
프로세서(180)는, 무선 음향 기기(300)의 측위를 위해, 통신부(110)를 통해 무선 음향 기기(300)에 요청 신호를 송신하고, 무선 음향 기기(300)로부터 송신한 요청 신호에 대응하는 응답 신호를 수신할 수 있다. 단말기(100)가 무선 음향 기기(300)에 전송하는 요청 신호는 폴 메시지(poll message)이고, 그에 대한 응답 신호는 응답 메시지(response message)일 수 있다.
또한, 프로세서(180)는 무선 음향 기기(300)로부터 응답 신호를 수신한 이후에, 통신부(110)를 통해 무선 음향 기기(300)로 재응답 신호를 송신할 수 있다. 단말기(100)가 무선 음향 기기(300)에 전송하는 재응답 신호는 최종 메시지(final message)일 수 있다.
측위 신호는 초광대역(UWB: Ultra-wideband), 블루투스, 와이파이 등의 다양한 통신 기술을 통해 전송될 수 있다.
그리고, 단말기(100)의 프로세서(180)는 송수신한 측위 신호를 기초로 각 연결된 무선 음향 기기(300)의 상대적 위치를 결정한다(S605).
프로세서(180)는 송수신한 측위 신호의 도래각(AoA: Angle of Arrival)에 기초하여 무선 음향 기기(300)의 방향을 파악할 수 있다. 또한, 프로세서(180)는 송수신한 측위 신호의 비행 시간(ToF: Time of Flight)에 기초하여 무선 음향 기기(300)까지의 거리를 파악할 수 있다. 단말기(100)에 대한 무선 음향 기기(300)의 방향과 단말기(100)에 대한 무선 음향 기기(300)까지의 거리는 모두 무선 음향 기기(300)의 상대적 위치이다.
단말기(100)의 통신부(110)에는 복수의 통신 모듈이 포함될 수 있고, 프로세서(180)는 복수의 통신 모듈을 이용하여 무선 음향 기기(300)로부터 수신한 측위 신호의 위상 차이 또는 시간 차이에 기초하여 도래각을 산출할 수 있다.
나아가, 프로세서(180)는 무선 음향 기기(300)의 방향과 무선 음향 기기(300)까지의 거리 중에서 적어도 하나 이상에 기초하여 무선 음향 기기(300)의 상대적 위치를 결정할 수 있다.
단말기(100)에서 측정하는 도래각은 단말기(100)의 자세에 따라 달라질 수 있다. 따라서, 단말기(100)는 자이로 센서 값을 통해 단말기(100)의 자세 정보를 획득할 수 있고, 획득한 자세 정보에 기초하여 연결된 무선 음향 기기(300)에 대한 도래각을 보정할 수 있다. 또는, 단말기(100)는 사용자가 단말기(100)를 직접 제어하는 상황에서만 도래각을 측정할 수도 있고, 이 경우에는 단말기(100)가 사용자를 바라보는 위치에 있기 때문에 도래각을 비교적 정확하게 획득할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 통신부(110)를 통해 각 연결된 무선 음향 기기(300)로부터 가속도 센서 값을 수신한다(S607).
가속도 센서 값은 무선 음향 기기(300)에서 감지하는 중력 방향을 가리킬 수 있으며, 이는 무선 음향 기기(300)의 자세를 판단하는데 이용될 수 있다. 예컨대, 무선 음향 기기(300)가 지면에 수평한 방향을 바라보는 경우에는 가속도 센서 값이 +90도 또는 -90도일 수 있고, 무선 음향 기기(300)가 지면에 방향을 바라보는 경우에는 가속도 센서 값이 0도일 수 있다.
그리고, 단말기(100)의 프로세서(180)는 각 연결된 무선 음향 기기(300)의 상대적 위치 및 가속도 센서 값에 기초하여 각 연결된 무선 음향 기기(300)의 착용 상태를 결정한다(S609).
무선 음향 기기(300)에는 음향 출력부(340)와 동일한 수의 통신부(385)가 포함될 수 있고, 각 통신부(385)는 각 음향 출력부(340)와 물리적으로 인접한 위치에 배치될 수 있다. 예컨대, 각 통신부(385)는 각 음향 출력부(340)에 대하여 미리 정해진 거리 이내에 배치될 수 있다.
무선 음향 기기(300)의 착용 상태에는 무선 음향 기기(300)의 착용 여부 또는 착용 방향 중에서 적어도 하나 이상이 포함될 수 있다. 예컨대, 무선 음향 기기(300)의 착용 상태는 한 명의 사용자에게 착용되었는지, 또는 여러 사용자에게 착용되었는지, 착용되었다면 어느 방향에 착용되었는지 등의 정보를 포함할 수 있다.
무선 음향 기기(300)의 착용 여부 또는 착용 방향을 높은 정확도로 결정하기 위하여는, 무선 음향 기기(300)의 측위에 사용하는 통신부(385)가 복수 개로 구성될 수 있다. 즉, 단말기(100)가 단일한 무선 음향 기기(300)와 연결하는 경우라면, 해당 무선 음향 기기(300)에 복수의 통신부(385)가 포함되는 경우에 무선 음향 기기(300)의 착용 여부 또는 착용 방향을 보다 정확히 판단할 수 있다. 또한, 단말기(100)가 복수의 무선 음향 기기(300) 또는 무선 음향 기기 그룹과 연결하는 경우라면, 각 무선 음향 기기(300)에 포함되는 통신부(385)가 복수 개 이므로, 이들을 이용하여 무선 음향 기기(300)의 착용 여부 또는 착용 방향을 보다 정확히 판단할 수 있다.
무선 음향 기기(300)의 착용 여부는 무선 음향 기기(300)가 사용자의 귀에 착용된 상태인지만을 의미할 수도 있고, 나아가 한 명의 사용자에게 착용된 상태인지 또는 복수의 사용자에게 착용된 상태인지를 의미할 수 있다. 즉, 단말기(100)가 두 개의 무선 음향 기기(300)와 연결된 경우, 두 무선 음향 기기(300)가 모두 한 명의 사용자에게만 착용될 수도 있지만, 한 짝씩 서로 다른 사용자에게 착용될 수도 있다. 이를 파악하기 위해, 프로세서(180)는 두 무선 음향 기기(300) 사이의 거리와 두 무선 음향 기기(300) 각각의 착용 방향에 기초하여, 두 무선 음향 기기(300)가 한 명의 사용자에게 착용되었는지 여부를 판단할 수 있다. 예컨대, 프로세서(180)는 두 무선 음향 기기(300) 사이의 거리가 두 귀 사이의 거리에 대한 기준 범위 내이고 두 무선 음향 기기(300)의 착용 방향이 좌 귀 및 우 귀인 경우에는, 두 무선 음향 기기(300)가 한 명의 사용자에게 착용되었다고 판단할 수 있다.
일 실시 예에서, 프로세서(180)는 무선 음향 기기(300)까지의 거리에 기초하여 무선 음향 기기(300)의 착용 여부를 결정할 수 있다. 예컨대, 프로세서(180)는 무선 음향 기기(300)까지의 거리가 제1 기준 값을 초과한 경우 사용자가 무선 음향 기기(300)를 착용하지 않은 것으로 결정할 수 있다.
일 실시 예에서, 프로세서(180)는 두 개의 무선 음향 기기(300)가 연결되어 있는 상태에서, 두 개의 무선 음향 기기(300) 사이의 거리에 기초하여 두 무선 음향 기기(300)의 착용 여부를 결정할 수 있다. 이를 위해, 프로세서(180)는 두 개의 무선 음향 기기(300) 각각의 상대적 위치에 기초하여 두 개의 무선 음향 기기(300) 사이의 거리를 산출할 수 있다. 예컨대, 프로세서(180)는 두 개의 무선 음향 기기(300) 사이의 거리가 제2 기준 값 미만인 경우에 사용자가 무선 음향 기기(300)를 착용하지 않은 것으로 결정할 수 있다.
일 실시 예에서, 프로세서(180)는 무선 음향 기기(300)의 가속도 센서 값에 기초하여 무선 음향 기기(300)의 자세를 결정하고, 무선 음향 기기(300)의 자세에 기초하여 무선 음향 기기(300)의 착용 여부 및 착용 방향을 결정할 수 있다. 예컨대, 프로세서(180)는 무선 음향 기기(300)의 자세가 제1 기준 각도 범위 이내일 경우에 무선 음향 기기(300)가 좌 귀에 착용된 것으로 결정하고, 무선 음향 기기(300)의 자세가 제2 기준 각도 범위 이내일 경우에 무선 음향 기기(300)가 우 귀에 착용된 것으로 결정하며, 무선 음향 기기(300)의 자세가 제1 기준 각도 범위와 제2 기준 각도 범위 밖일 경우에는 무선 음향 기기(300)가 착용되지 않은 것으로 결정할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 착용하지 않은 무선 음향 기기(300)의 전원을 차단하거나 연결을 해제한다(S611).
프로세서(180)는 착용하지 않은 것으로 결정된 무선 음향 기기(300)에 대하여 전원을 차단하거나 연결을 해제함으로써, 착용하지 않은 무선 음향 기기(300)에 의한 소리의 출력을 방지하고 불필요한 전력 소모를 방지할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 무선 음향 기기(300)의 착용 여부 및 착용 방향에 기초하여 각 착용한 무선 음향 기기(300)에 대응하는 출력 오디오 채널을 결정한다(S613).
무선 음향 기기(300)의 각 음향 출력부(340)는 사전에 오디오 채널이 설정되어 있으나, 사용자가 기존에 설정된 방향(또는 채널)과는 다른 위치에 무선 음향 기기(300)를 착용할 수 있다. 따라서, 프로세서(180)는 각 무선 음향 기기(300)의 착용 여부와 착용한 것으로 판단된 무선 음향 기기(300)의 착용 방향에 기초하여, 각 착용한 무선 음향 기기(300)에 대응하는 출력 오디오 채널을 결정할 수 있다.
일 실시 예에서, 하나의 무선 음향 기기(300)가 착용된 상태이며, 착용한 무선 음향 기기(300)에 두 개의 음향 출력부(340)이 포함된 경우에는, 프로세서(180)는 착용한 무선 음향 기기(300)의 착용 방향을 고려하여 두 음향 출력부(340)에 대한 출력 오디오 채널을 좌 채널 또는 우 채널로 설정할 수 있다. 예컨대, 프로세서(180)는 무선 음향 기기(300)의 착용 방향을 고려하여 두 개의 음향 출력부(340)를 좌 음향 출력부와 우 음향 출력부로 구분하고, 좌 음향 출력부의 출력 오디오 채널을 좌 채널로 결정하고, 우 음향 출력부의 출력 오디오 채널을 우 채널로 결정할 수 있다.
일 실시 예에서, 두 개의 무선 음향 기기(300)가 착용된 것으로 결정된 경우에, 프로세서(180)는 각 착용한 무선 음향 기기(300)의 착용 방향을 고려하여 각 무선 음향 기기(300)의 음향 출력부(300)에 대한 출력 오디오 채널을 좌 채널, 우 채널 또는 모노 채널로 설정할 수 있다. 예컨대, 두 무선 음향 기기(300)가 한 명의 사용자에게 착용된 상태라면, 프로세서(180)는 무선 음향 기기(300)의 착용 방향을 고려하여 두 무선 음향 기기를 좌 무선 음향 기기와 우 무선 음향 기기로 구분하고, 좌 무선 음향 기기의 음향 출력부(340)의 출력 오디오 채널을 좌 채널로 결정하고, 우 무선 음향 기기의 음향 출력부(340)의 출력 오디오 채널을 우 채널로 결정할 수 있다. 또한, 예컨대, 두 무선 음향 기기(300)가 한 명의 사용자에게 착용되지 않은 상태라면, 프로세서(180)는 각 무선 음향 기기(300)의 음향 출력부(340)의 출력 오디오 채널을 모노 채널로 결정할 수 있다. 이는, 한 사람에게 하나의 음향 출력부(340)의 소리만이 전달되는 상황이라면 모노 채널의 소리를 출력하는 것이 만작도 높은 소리를 제공할 수 있기 때문이다.
일 실시 예에서, 하나의 무선 음향 기기(300)만이 착용된 것으로 결정되었고, 착용된 무선 음향 기기(300)에 하나의 음향 출력부(340)만 포함된 경우, 프로세서(180)는 착용한 무선 음향 기기(300)의 음향 출력부(340)의 출력 오디오 채널을 모노 채널로 결정할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 통신부(110)를 통해 각 착용한 무선 음향 기기(300)에 대하여 결정된 출력 오디오 채널에 대응하는 오디오 신호를 전송한다(S615).
오디오 신호는 출력 오디오 컨텐츠에 대응하는 오디오 신호이다.
이에 따라, 단말기(100)는 연결된 무선 음향 기기(300)의 착용 상태에 적합하게 무선 음향 기기(300)의 동작을 제어할 수 있다.
도 6에 도시된 단계들(steps)의 순서는 하나의 예시에 불과하며, 본 개시가 이에 한정되지는 않는다. 즉, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계의 순서가 서로 바뀌어 수행될 수도 있다. 또한, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계는 병렬적으로 수행될 수도 있다. 또한, 도 6에 도시된 단계들 중 일부만 수행될 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 단말기(100)에서 도래각을 측정하는 방법을 나타낸 도면이다.
도 7을 참조하면, 본 개시의 일 실시 예에 따른 단말기(100)의 통신부(110)는 제1 통신부(제1 송수신부, 110_1) 및 제2 통신부(제2 송수신부, 110_2)를 포함할 수 있고, 단말기(100)는 제1 통신부(110_1) 및 제2 통신부(110_2)를 통해 무선 통신 기기(300)의 통신부(340)와 측위 신호(701)를 송수신할 수 있다.
단말기(100)에 대한 측위 신호(710)의 도래각 θ(713)은 단말기(100)의 두 통신부(110_1, 110_2)를 잇는 선의 법선과 측위 신호(710)가 이루는 각으로 정의할 수 있고, 측위 신호(710)가 단말기(100)에 수직한 방향으로 입사될 경우 도래각(713)은 0도일 수 있다.
프로세서(180)는 단말기(100)의 두 통신부(110_1, 110_2) 사이의 거리 d(711)와 두 통신부(110_1, 110_2)에 입사되는 측위 신호(710)의 거리 차 p(712)를 이용하여 도래각 θ(713)을 산출할 수 있다. 구체적으로, 제1 통신부(110_1)와 제2 통신부(110_2)에 입사되는 측위 신호(710)에는 위상차 α가 존재하며, 프로세서(180)는 측위 신호(710)의 파장 λ을 이용하여 위상차 α에 대응하는 거리 차 p(712)를 산출할 수 있다. 즉, 프로세서(180)는 하기 [수학식 1] 내지 [수학식 3]을 이용하여, 도래각 θ(713)을 산출할 수 있다.
Figure PCTKR2020009255-appb-img-000001
Figure PCTKR2020009255-appb-img-000002
Figure PCTKR2020009255-appb-img-000003
도 7은 단말기(100)의 통신부(110)에 포함된 두 개의 통신부(110_1, 110_2)를 이용하여 2차원 평면에서의 도래각을 산출하는 방법을 예시한 것에 불과하며, 본 개시가 이에 한정되지 않는다. 즉, 본 개시의 다양한 실시 예에서, 단말기(100)의 통신부(110)에는 두 개 이상의 통신부가 포함되며, 프로세서(180)는 두 개 이상의 통신부를 이용하여 3차원의 각 축에 대한 도래각을 산출하여 3차원 공간 내에서의 무선 음향 기기(300)의 방향을 산출할 수도 있다.
도 8은 본 개시의 일 실시 예에 따른 단말기(100)에서 무선 음향 기기(300)까지의 거리를 측정하는 방법을 나타낸 도면이다.
도 8을 참조하면, 본 개시의 일 실시 예에 따른 단말기(100)는 양 방향 거리 측정(two-way ranging) 기법을 이용하여, 단말기(100)와 무선 음향 기기(300) 사이의 거리를 측정할 수 있다.
단말기(100)는 시점 T SP에 무선 음향 기기(300)로 폴 메시지(poll message, 801)를 송신하고, 무선 음향 기기(300)는 시점 T RP에 폴 메시지(801)를 수신할 수 있다. 그리고, 무선 음향 기기(300)는 수신한 폴 메시지(801)에 대한 응답으로, 시점 T SR에 단말기(100)로 응답 메시지(response message, 802)를 송신하고, 단말기(100)는 시점 T RR에 응답 메시지(802)를 수신할 수 있다. 그리고, 단말기(100)는 수신한 응답 메시지(802)에 대한 응답으로, 시점 T SF에 무선 음향 기기(300)로 최종 메시지(final message, 803)를 송신하고, 무선 음향 기기(300)는 시점 T RF에 최종 메시지(803)를 수신할 수 있다.
단말기(100)는 시점 T SP에서 폴 메시지(801)를 송신하고, 시점 T RR에 폴 메시지(801)에 대한 응답인 응답 메시지(802)를 수신하였으므로, 단말기(100)의 관점에서는 메시지를 송신하고 그 응답을 수신하기까지 T 1만큼의 시간이 소요된다. 무선 음향 기기(300)도 시점 T RP에 폴 메시지(801)를 수신하고, 시점 T SR에 응답 메시지(802)를 송신하였으므로, 무선 음향 기기(300)에서는 응답을 하기까지 T 2만큼의 시간이 소요된다.
또한, 무선 음향 기기(300)는 시점 T SR에서 응답 메시지(802)를 송신하고, 시점 T RF에 응답 메시지(802)에 대한 응답인 최종 메시지(803)를 수신하였으므로, 무선 음향 기기(300)의 관점에서는 메시지를 송신하고 그 응답을 수신하기까지 T 3만큼의 시간이 소요된다. 단말기(100)도 시점 T RR에 응답 메시지(802)를 수신하고, 시점 T SF에 최종 메시지(803)를 송신하였으므로, 단말기(100)에서는 응답을 하기까지 T 4만큼의 시간이 소요된다.
단말기(100)의 프로세서(180)는 하기 [수학식 4]과 같이 단말기(100)와 무선 음향 기기(300) 사이에 송수신된 측위 신호(801, 802, 803)의 비행 시간(TOF)을 산출할 수 있다.
Figure PCTKR2020009255-appb-img-000004
그리고, 단말기(100)는 측위 신호(801, 802, 803)의 비행 시간(TOF)를 산출한 이후, 신호의 전파 속도를 이용하여 단말기(100)와 무선 음향 기기(300) 사이의 거리를 산출할 수 있다.
도 8에서는 양 방향 거리 측정 기법을 이용하여 단말기(100)와 무선 음향 기기(300) 사이의 거리를 측정하는 방법을 예시한 것에 불과하며, 본 개시가 이에 한정되지 않는다. 즉, 본 개시의 다양한 실시 예에서, 단말기(100)는 일 방향 거리 측정(one-way ranging) 기법 등을 이용하여 단말기(100)와 무선 음향 기기(300) 사이의 거리를 측정할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 단말기(100)를 이용하여 두 개의 무선 음향 기기(300)의 상대적인 위치를 산출한 결과를 나타낸 도면이다.
구체적으로, 도 9는 두 개의 무선 음향 기기(300)가 단말기(100)에 연결되어 하나의 무선 음향 기기 그룹으로 동작하고, 두 개의 무선 음향 기기(300)가 한 명의 사용자의 양 귀에 착용되며, 두 개의 무선 음향 기기(300)와 단말기(100)가 약 60cm 떨어진 상태에서 획득한 결과를 나타낸다. 그리고, 도 9의 (a)는 사용자의 왼쪽 귀에 착용된 제1 무선 음향 기기에 대한 상대적 위치를 나타낸 결과이며, 도 9의 (b)는 사용자의 오른쪽 귀에 착용된 제2 무선 음향 기기에 대한 상대적 위치를 나타낸다.
도 9의 (a)를 참조하면, 사용자의 왼쪽 귀에 착용된 제1 무선 음향 기기는 단말기(100)로부터 약 57cm 떨어져 있으며, 단말기(100)를 기준으로 왼쪽 방향을 나타내는 -14도 방향에 위치한다. 반면, 도 9의 (b)를 참조하면, 사용자의 오른쪽 귀에 착용된 제2 무선 음향 기기는 단말기(100)로부터 약 63cm 떨어져 있으며, 단말기(100)를 기준으로 오른쪽 방향을 나타내는 15도 방향에 위치한다.
이와 같이, 단말기(100)는 무선 음향 기기(300)와 측위 신호를 송수신함으로써 단말기(100)에 대한 무선 음향 기기(300)까지의 거리와 방향을 산출할 수 있고, 이에 기초하여 단말기(100)에 대한 무선 음향 기기(300)의 상대적 위치를 결정할 수 있다. 단말기(100)에 대한 무선 음향 기기(300)의 상대적 위치가 결정됨에 따라, 단말기(100)는 무선 음향 기기(300)의 착용 여부를 판단할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 무선 음향 기기(300)의 자세를 나타낸 도면이다.
도 10을 참조하면, 무선 음향 기기(300)의 자세는 무선 음향 기기(300)의 방향을 나타내며, 지면의 법선과 이루는 각도(1001)로 정의될 수 있다.
무선 음향 기기(300)에는 자이로 센서 또는 가속도 센서가 포함되며, 단말기(100)의 프로세서(180)는 무선 음향 기기(300)로부터 수신한 가속도 센서 값에 기초하여 무선 음향 기기(300)의 자세를 결정할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 무선 음향 기기(300)의 자세를 나타낸 도면이다.
도 11을 참조하면, 무선 음향 기기(300)는 사용자의 양쪽 귀에 착용되었을 때에 자세에 차이가 존재한다.
도 11의 (a)를 참조하면, 무선 음향 기기(300)는 사용자의 오른쪽 귀에 착용되었을 때, 그 자세가 지면에 대한 법선으로부터 반 시계 방향으로 양의 각도를 갖는다. 반면, 도 11의 (b)를 참조하면, 무선 음향 기기(300)는 사용자의 왼쪽 귀에 착용되었을 때, 그 자세가 지면에 대한 법선으로부터 시계 방향으로 양의 각도를 갖는다.
이에 따라, 단말기(100)의 프로세서(180)는 무선 음향 기기(300)로부터 수신한 가속도 센서 값에 기초하여 무선 음향 기기(300)가 지면에 대한 법선에 대한 각도를 파악할 수 있고, 이에 기초하여 무선 음향 기기(300)의 자세와 사용자의 어느 방향의 귀에 착용되었는지 결정할 수 있다.
도 12는 단말기(100)에 대한 무선 음향 기기(300)의 상대적 위치와 무선 음향 기기(300)의 자세를 나타낸 도면이다.
도 12를 참조하면, 단말기(100)는 제1 무선 음향 기기(300_1) 및 제2 무선 음향 기기(300_2)와 연결될 수 있고, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)는 하나의 무선 음향 기기 그룹을 구성할 수 있다. 제1 무선 음향 기기(300_1)는 기본 값으로 우 채널이 할당된 우 무선 음향 기기이고, 제2 무선 음향 기기(300_2)는 기본 값으로 좌 채널이 할다된 좌 무선 음향 기기일 수 있다.
단말기(100)는 제1 무선 음향 기기(300_1)와 측위 신호를 송수신함으로써, 제1 무선 음향 기기(300_1)까지의 거리 d 1(1211_1) 및 제1 무선 음향 기기(300_1)의 방향 θ 1(1212_1)을 측정할 수 있다. 또한, 단말기(100)는 제2 무선 음향 기기(300_2)와 측위 신호를 송수신함으로써, 제2 무선 음향 기기(300_2)까지의 거리 d 2(1211_2) 및 제2 무선 음향 기기(300_2)의 방향 θ 2(1212_2)을 측정할 수 있다. 도 12에서 단말기(100)에 대한 제1 무선 음향 기기(300_1)의 방향 θ 1(1212_1)과 단말기(100)에 대한 제2 무선 음향 기기(300_2)의 방향 θ 2(1212_2)는 단말기(100)의 디스플레이의 법선에 대하여 서로 반대 방향이므로, 그 부호가 서로 반대일 수 있다. 반면, 단말기(100)가 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)의 사이에 위치하지 않을 경우에는, 제1 무선 음향 기기(300_1)의 방향 θ 1(1212_1)과 단말기(100)에 대한 제2 무선 음향 기기(300_2)의 방향 θ 2(1212_2)의 부호가 서로 같을 수 있다.
단말기(100)는 제1 무선 음향 기기(300_1)까지의 거리 d 1(1211_1), 제1 무선 음향 기기(300_1)의 방향 θ 1(1212_1), 제2 무선 음향 기기(300_2)까지의 거리 d 2(1211_2) 및 제2 무선 음향 기기(300_2)의 방향 θ 2(1212_2)을 이용하여, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리 d(1221)를 계산할 수 있다.
제1 무선 음향 기기(300_1)는 제1 가속도 센서 값 (또는 자이로 센서 값)을 획득할 수 있고, 제1 가속도 센서 값은 지면 방향에 대한 제1 무선 음향 기기(300_1)의 방향 또는 자세 φ 1(1222_1)를 나타낼 수 있다. 또한, 제2 무선 음향 기기(300_2)는 제2 가속도 센서 값 (또는 자이로 센서 값)을 획득할 수 있고, 제2 가속도 센서 값은 지면 방향에 대한 제2 무선 음향 기기(300_2)의 방향 또는 자세 φ 2(1222_2)를 나타낼 수 있다. 단말기(100)는 제1 무선 음향 기기(300_1)로부터 제1 가속도 센서 값을 수신하고, 제2 무선 음향 기기(300_2)로부터 제2 가속도 센서 값을 수신함으로써, 제1 무선 음향 기기(300_1)의 자세 φ 1(1222_1)와 제2 무선 음향 기기(300_2)의 자세 φ 2(1222_2)를 획득할 수 있다. 비록 도 12에서는, 제1 무선 음향 기기(300_1)의 자세 φ 1(1222_1)와 제2 무선 음향 기기(300_2)의 자세 φ 2(1222_2)가 지면 방향으로부터 동일하게 시계 방향의 각도인 것처럼 도시되어 있지만, 각 무선 음향 기기의 관점에서 보았을 경우 제1 무선 음향 기기(300_1)의 자세 φ 1(1222_1)는 지면 방향으로부터 시계 방향을 가리키며, 제2 무선 음향 기기(300_2)의 자세 φ 2(1222_2)는 지면 방향으로부터 반시계 방향을 가리킨다. 따라서, 제1 무선 음향 기기(300_1)의 자세 φ 1(1222_1)와 제2 무선 음향 기기(300_2)의 자세 φ 2(1222_2)는 서로 부호가 반대일 수 있다.
단말기(100)는 단말기(100)는 제1 무선 음향 기기(300_1)까지의 거리 d 1(1211_1), 제1 무선 음향 기기(300_1)의 방향 θ 1(1212_1), 제1 무선 음향 기기(300_1)의 자세 φ 1(1222_1), 제2 무선 음향 기기(300_2)까지의 거리 d 2(1211_2), 제2 무선 음향 기기(300_2)의 방향 θ 2(1212_2), 제2 무선 음향 기기(300_2)의 자세 φ 2(1222_2) 및 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기 사이(300_2)의 거리 d(1221)를 이용하여, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)의 착용 여부 및 착용 방향을 결정할 수 있다.
도 13은 한 명의 사용자가 두 개의 무선 음향 기기를 모두 착용하는 예시를 나타낸 도면이다.
도 13을 참조하면, 두 개의 무선 음향 기기(300_1, 300_2)는 하나의 무선 음향 기기 그룹을 구성할 수 있고, 한 명의 사용자(1301)에게 착용될 수 있다. 즉, 제1 무선 음향 기기(300_1)는 사용자(1301)의 오른쪽 귀에 착용될 수 있고, 제2 무선 음향 기기(300_2)는 사용자(1301)의 왼쪽 귀에 착용될 수 있다.
단말기(100)는 각 무선 음향 기기(300_1, 300_2)의 거리, 방향 및 자세를 획득할 수 있고, 나아가 두 무선 음향 기기(300_1, 300_2) 사이의 거리(1311)를 획득할 수 있으며, 획득한 정보를 이용하여 두 무선 음향 기기(300_1, 300_2)가 한 명의 사용자에게 착용되었는지 판단할 수 있다. 특히, 단말기(100)는 두 무선 음향 기기(300_1, 300_2) 사이의 거리(1311)가 통상적인 사람의 두 귀 사이 거리보다 현저히 멀거나 현저히 가까운 경우에는 한 명의 사용자에게 착용되지 않았다고 판단할 수 있다.
단말기(100)는 제1 무선 음향 기기(300_1)가 오른쪽 귀에 착용되었을 때의 자세를 가지며, 제2 무선 음향 기기(300_2)가 왼쪽 귀에 착용되었을 때의 자세를 가지며, 제1 무선 음향 기기(300_1)가 단말기(100)를 기준으로 제2 무선 음향 기기(300_2)보다 오른쪽에 위치하며, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1311)가 미리 정해진 귀 간격 범위 이내에 위치한 경우에, 두 무선 음향 기기(300_1, 300_2)가 한 명의 사용자(1301)에게 착용되었다고 판단할 수 있다. 이에 따라, 단말기(100)는 제1 무선 음향 기기(300_1)에는 출력 오디오 채널을 우 채널로 설정하고, 제2 무선 음향 기기(300_2)에는 출력 오디오 채널을 좌 채널로 설정할 수 있다.
도 14 내지 16는 두 명의 사용자가 두 개의 무선 음향 기기를 하나씩 착용하는 예시들을 나타낸 도면이다.
도 14 내지 16에서, 두 개의 무선 음향 기기(300_1, 300_2)는 하나의 무선 음향 기기 그룹을 구성할 수 있고, 두 명의 사용자(1401, 1402)에게 하나씩 착용될 수 있다.
도 14를 참조하면, 제1 무선 음향 기기(300_1)는 제1 사용자(1401)의 왼쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)는 제2 사용자(1402)의 오른쪽 귀에 착용될 수 있다. 단말기(100)는 제1 무선 음향 기기(300_1)가 왼쪽 귀에 착용되었을 때의 자세를 가지며, 제2 무선 음향 기기(300_2)가 오른쪽 귀에 착용되었을 때의 자세를 가지며, 제1 무선 음향 기기(300_1)가 단말기(100)를 기준으로 제2 무선 음향 기기(300_2)보다 오른쪽에 위치하므로, 두 무선 음향 기기(300_1, 300_2)가 두 명의 사용자에게 한 쪽씩 착용되었다고 판단할 수 있다.
특히, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1411)가 미리 정해진 귀 간격 범위 이내에 위치하더라도, 단말기(100)는 두 무선 음향 기기(300_1, 300_2)의 자세와 방향을 고려하여 제1 무선 음향 기기(300_1)가 제1 사용자(1401)의 왼쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)가 제2 사용자(1402)의 오른쪽 귀에 착용되었다고 결정할 수 있다. 이에 따라, 단말기(100)는 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)의 출력 오디오 채널을 모두 모노 채널로 결정할 수 있다.
도 15를 참조하면, 제1 무선 음향 기기(300_1)는 제1 사용자(1401)의 오른쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)는 제2 사용자(1402)의 오른쪽 귀에 착용될 수 있다. 단말기(100)는 제1 무선 음향 기기(300_1)가 오른쪽 귀에 착용되었을 때의 자세를 가지며, 제2 무선 음향 기기(300_2)가 오른쪽 귀에 착용되었을 때의 자세를 가지며, 제1 무선 음향 기기(300_1)가 단말기(100)를 기준으로 제2 무선 음향 기기(300_2)보다 오른쪽에 위치하므로, 두 무선 음향 기기(300_1, 300_2)가 두 명의 사용자에게 한 쪽씩 착용되었다고 판단할 수 있다.
또한, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1511)가 미리 정해진 귀 간격 범위에서 벗어남이 상당하다. 단말기(100)는 두 무선 음향 기기(300_1, 300_2)의 자세와 방향을 고려하여 제1 무선 음향 기기(300_1)가 제1 사용자(1401)의 오른쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)가 제2 사용자(1402)의 오른쪽 귀에 착용되었다고 결정할 수 있다. 이에 따라, 단말기(100)는 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)의 출력 오디오 채널을 모두 모노 채널로 결정할 수 있다.
도 16을 참조하면, 제1 무선 음향 기기(300_1)는 제1 사용자(1401)의 오른쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)는 제2 사용자(1402)의 왼쪽 귀에 착용될 수 있다. 단말기(100)는 제1 무선 음향 기기(300_1)가 오른쪽 귀에 착용되었을 때의 자세를 가지며, 제2 무선 음향 기기(300_2)가 왼쪽 귀에 착용되었을 때의 자세를 가지며, 제1 무선 음향 기기(300_1)가 단말기(100)를 기준으로 제2 무선 음향 기기(300_2)보다 오른쪽에 위치함을 파악할 수 있다. 그러나, 이러한 정보만으로는 두 무선 음향 기기(300_1, 300_2)가 한 명의 사용자에게 착용되었는지 판단하기 어렵다. 따라서, 단말기(100)는 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1611)를 추가적으로 고려하여 두 무선 음향 기기(300_1, 300_2)의 착용 상태를 파악할 수 있다.
제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1611)는 보편적인 귀 간격의 두 배 이상이며 미리 정해진 귀 간격 범위에서 벗어난다. 따라서, 단말기(100)는 두 무선 음향 기기(300_1, 300_2)의 자세와 방향뿐만 아니라, 두 무선 음향 기기(300_1, 300_2) 사이의 거리(1611)를 고려하여 제1 무선 음향 기기(300_1)가 제1 사용자(1401)의 오른쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)가 제2 사용자(1402)의 왼쪽 귀에 착용되었다고 결정할 수 있다. 이에 따라, 단말기(100)는 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)의 출력 오디오 채널을 모두 모노 채널로 결정할 수 있다.
도 17은 한 명의 사용자가 두 개의 무선 음향 기기 중에서 하나만을 착용하는 예시를 나타낸 도면이다.
도 17을 참조하면, 두 개의 무선 음향 기기(300_1, 300_2)는 하나의 무선 음향 기기 그룹을 구성할 수 있고, 두 개 중에서 하나만 사용자(1701)에게 착용될 수 있다. 즉, 제1 무선 음향 기기(300_1)는 사용자(1701)의 오른쪽 귀에 착용될 수 있고, 제2 무선 음향 기기(300_2)는 사용자(1701)에게 착용되지 않을 수 있다.
단말기(100)는 제1 무선 음향 기기(300_1)가 오른쪽 귀에 착용되었을 때의 자세를 가지지만, 제2 무선 음향 기기(300_2)가 사용자(1701)의 귀에 착용되었을 때의 자세를 갖지 않음을 파악할 수 있다. 이러한 상황에서는, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1711)가 미리 정해진 귀 간격 범위에서 벗어남이 상당하다. 단말기(100)는 두 무선 음향 기기(300_1, 300_2)의 자세와 방향을 고려하여 제1 무선 음향 기기(300_1)가 사용자(1701)의 오른쪽 귀에 착용되고, 제2 무선 음향 기기(300_2)가 사용자(1701)에게 착용되지 않았다고 결정할 수 있다. 이에 따라, 단말기(100)는 제1 무선 음향 기기(300_1)의 출력 오디오 채널을 모노 채널로 결정하고, 제2 무선 음향 기기(300_2)의 전원을 차단하거나 연결을 해제하거나 출력 오디오 채널을 할당하지 않을 수 있다.
도 18은 한 명의 사용자가 두 개의 무선 음향 기기를 하나도 착용하지 않은 예시를 나타낸 도면이다.
도 18을 참조하면, 두 개의 무선 음향 기기(300_1, 300_2)는 하나의 무선 음향 기기 그룹을 구성할 수 있고, 두 개 모두 사용자(1801)에게 착용되지 않을 수 있다. 즉, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)는 사용자(1801)에게 착용되지 않을 수 있다.
단말기(100)는 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)가 사용자(1801)의 귀에 착용되었을 때의 자세를 갖지 않음을 파악할 수 있다. 이러한 상황에서는, 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2) 사이의 거리(1811)가 매우 가까워서 미리 정해진 귀 간격 범위에서 벗어남이 상당하다. 단말기(100)는 두 무선 음향 기기(300_1, 300_2)의 자세와 방향, 그리고 두 무선 음향 기기(300_1, 300_2) 사이의 거리를 고려하여 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)가 사용자(1801)에게 착용되지 않았다고 결정할 수 있다. 이에 따라, 단말기(100)는 제1 무선 음향 기기(300_1)와 제2 무선 음향 기기(300_2)의 전원을 차단하거나 연결을 해제하거나 출력 오디오 채널을 할당하지 않을 수 있다.
도 19는 한 명의 사용자가 두 개의 무선 음향 기기를 반대로 착용하는 예시를 나타낸 도면이다.
도 19를 참조하면, 두 개의 무선 음향 기기(300_1, 300_2)는 하나의 무선 음향 기기 그룹을 구성할 수 있고, 한 명의 사용자(1901)에게 착용될 수 있다. 즉, 제1 무선 음향 기기(300_1)는 사용자(1901)의 오른쪽 귀에 착용될 수 있고, 제2 무선 음향 기기(300_2)는 사용자(1901)의 왼쪽 귀에 착용될 수 있다. 그러나, 제1 무선 음향 기기(300_1)는 기본 값으로 설정된 출력 오디오 채널이 좌 채널이며, 왼쪽 귀의 모양에 적합하게 설계된 구조를 가질 수 있다. 마찬가지로, 제2 무선 음향 기기(300_2)는 기본 값으로 설정된 출력 오디오 채널이 우 채널이며, 오른쪽 귀의 모양에 적합하게 설계된 구조를 가질 수 있다. 즉, 사용자(1901)는 두 무선 음향 기기(300_1)를 모두 착용하기는 하였으나, 설계자의 의도와는 반대로 착용하였다.
상술한 방법을 통해, 단말기(100)는 제1 무선 음향 기기(300_1)가 사용자(1901)의 오른쪽 귀에 착용되었으며, 제2 무선 음향 기기(300_2)가 사용자(1901)의 왼쪽 귀에 착용되었으므로, 그에 따라 두 무선 음향 기기(300_1, 300_2)가 설계자의 의도와는 반대로 착용되었음을 파악할 수 있다. 이 경우, 단말기(100)는 두 무선 음향 기기(300_1)의 착용 방향을 고려하여 출력 오디오 채널을 변경할 수도 있고, 또는 무선 음향 기기의 올바른 착용을 유도하는 알림(1921, 1922)을 출력할 수도 있다.
단말기(100)는 디스플레이부(151)를 통해 "이어폰을 반대로 착용하였습니다. 오디오 채널을 바꿀까요?"(1921)와 같은 알림을 출력하거나, 무선 음향 기기들(300_1, 300_2)를 통해 "이어폰을 반대로 착용하였습니다. 오디오 채널을 바꿀까요?"(1922)와 같은 알림을 출력할 수 있다. 만약, 사용자(1901)가 오디오 채널을 바꿀 것을 요구하는 경우, 단말기(100)는 제1 무선 음향 기기(300_1)의 출력 오디오 채널을 우 채널로 설정하고, 제2 무선 음향 기기(300_2)의 출력 오디오 채널을 좌 채널로 설정할 수 있다. 반면, 사용자(1901)가 오디오 채널을 바꿀 것을 요구하지 않는 경우, 단말기(100)는 각 무선 음향 기기(300_1, 300_2)에 기본 값으로 설정된 출력 오디오 채널을 변경하지 않을 수 있다.
단말기(100)는 주기적으로 사용자(1901)가 무선 음향 기기(300_1, 300_2)를 올바르게 착용하였는지 판단할 수 있고, 무선 음향 기기(300_1, 300_2)가 반대로 착용되었다고 판단되면 무선 음향 기기의 올바른 착용을 유도하는 알림(1921, 1922)을 출력할 수 있다. 무선 음향 기기의 올바른 착용을 유도하는 알림은 무선 음향 기기가 잘못된 방향으로 착용되었음을 알리는 알림, 또는 무선 음향 기기의 착용 방향에 맞추어 출력 오디오 채널을 설정함을 알리는 알림을 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 전술한 방법은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

Claims (15)

  1. 무선 음향 기기를 제어하는 단말기에 있어서,
    적어도 하나 이상의 무선 음향 기기와 연결하는 통신부; 및
    상기 통신부를 통해 상기 연결된 무선 음향 기기와 측위 신호를 송수신하고, 상기 송수신한 측위 신호에 기초하여 상기 연결된 무선 음향 기기의 상대적 위치를 결정하고, 상기 통신부를 통해 상기 연결된 무선 음향 기기로부터 가속도 센서 값을 수신하고, 상기 수신한 가속도 센서 값에 기초하여 상기 연결된 무선 음향 기기의 자세를 결정하고, 상기 결정된 상대적 위치 및 상기 결정된 자세에 기초하여 상기 연결된 무선 음향 기기의 착용 상태를 결정하고, 상기 통신부를 통해 상기 연결된 무선 음향 기기 중에서 착용된 무선 음향 기기에 오디오 신호를 전송하는 프로세서를 포함하는, 단말기.
  2. 청구항 1에 있어서,
    상기 상대적 위치는
    상기 단말기에 대한 상기 무선 음향 기기까지의 거리 및 상기 무선 음향 기기의 방향을 포함하고,
    상기 통신부는
    적어도 두 개 이상의 통신 모듈을 포함하고,
    상기 프로세서는
    상기 적어도 두 개 이상의 통신 모듈을 이용하여 상기 송수신한 측위 신호의 도래각(AoA: Angle of Arrival)을 측정하고, 상기 송수신한 측위 신호의 비행 시간(ToF: Time of Flight)을 측정함으로써, 상기 무선 음향 기기의 상기 상대적 위치를 결정하는, 단말기.
  3. 청구항 2에 있어서,
    상기 프로세서는
    양 방향 거리 측정(two-way ranging) 기법을 이용하여 상기 무선 음향 기기까지의 거리를 산출하는, 단말기.
  4. 청구항 2에 있어서,
    상기 상대적 위치는
    상기 연결된 무선 음향 기기가 복수 개일 경우에, 상기 연결된 복수의 무선 음향 기기들 사이의 거리를 포함하고,
    상기 프로세서는
    상기 연결된 복수의 무선 음향 기기 각각의 방향 및 거리에 기초하여 상기 연결된 복수의 무선 음향 기기들 사이의 거리를 산출하는, 단말기.
  5. 청구항 4에 있어서,
    상기 프로세서는
    상기 연결된 무선 음향 기기 각각에 대한 거리, 상기 연결된 무선 음향 기기 각각의 방향, 상기 연결된 무선 음향 기기 각각의 자세 또는 상기 연결된 무선 음향 기기들 사이의 거리 중에서 적어도 하나 이상에 기초하여 상기 연결된 무선 음향 기기의 상기 착용 상태를 결정하는, 단말기.
  6. 청구항 4에 있어서,
    상기 착용 상태는
    상기 무선 음향 기기의 착용 여부 또는 착용 방향 중에서 적어도 하나 이상을 포함하는, 단말기.
  7. 청구항 6에 있어서,
    상기 프로세서는
    상기 연결된 무선 음향 기기 중에서 착용되지 않은 무선 음향 기기에 대하여는 전원을 차단하거나, 연결을 해제하거나 또는 출력 오디오 채널을 할당하지 않는, 단말기.
  8. 청구항 6에 있어서,
    상기 프로세서는
    상기 착용된 무선 음향 기기의 착용 방향을 고려하여 상기 착용된 무선 음향 기기에 대응하는 출력 오디오 채널을 결정하고, 상기 착용된 무선 음향 기기에 상기 결정된 출력 오디오 채널에 대응하는 오디오 신호를 전송하는, 단말기.
  9. 청구항 6에 있어서,
    상기 통신부는
    제1 무선 음향 기기 및 제2 무선 음향 기기와 연결하고,
    상기 프로세서는
    상기 제1 무선 음향 기기의 방향, 상기 제1 무선 음향 기기의 자세, 상기 제2 무선 음향 기기의 방향, 상기 제2 무선 음향 기기의 자세 또는 상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기 사이의 거리 중에서 적어도 하나 이상에 기초하여, 상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기의 착용 상태를 결정하는, 단말기.
  10. 청구항 9에 있어서,
    상기 프로세서는
    상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기가 모두 한 명의 사용자에게 착용된 것으로 판단된 경우, 상기 제1 무선 음향 기기의 출력 오디오 채널을 상기 제1 무선 음향 기기의 착용 방향에 대응하는 오디오 채널로 결정하고, 상기 제2 무선 음향 기기의 출력 오디오 채널을 상기 제2 무선 음향 기기의 착용 방향에 대응하는 오디오 채널로 결정하는, 단말기.
  11. 청구항 9에 있어서,
    상기 프로세서는
    상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기가 모두 한 명의 사용자에게 착용되었지만, 기본 값으로 설정된 착용 방향과 반대로 착용된 것으로 판단된 경우, 상기 통신부를 통해 상기 제1 무선 음향 기기 또는 상기 제2 무선 음향 기기 중에서 적어도 하나 이상에 올바른 착용을 유도하는 알림을 전송하는, 단말기.
  12. 청구항 9에 있어서,
    상기 프로세서는
    상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기가 각각 하나씩 두 명의 사용자에게 착용되거나, 상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기 중에서 하나만 한 명의 사용자에게 착용된 것으로 판단된 경우, 상기 제1 무선 음향 기기와 상기 제2 무선 음향 기기 중에서 착용된 무선 음향 기기의 출력 오디오 채널을 모노 채널로 결정하는, 단말기.
  13. 청구항 1에 있어서,
    상기 프로세서는
    상기 연결된 무선 음향 기기의 자세가 제1 기준 각도 범위 이내일 경우에 상기 대응하는 무선 음향 기기가 좌 귀에 착용된 것으로 결정하고, 상기 연결된 무선 음향 기기의 자세가 제2 기준 각도 범위 이내일 경우에 상기 대응하는 무선 음향 기기가 우 귀에 착용된 것으로 결정하는, 단말기.
  14. 무선 음향 기기를 제어하는 방법에 있어서,
    적어도 하나 이상의 무선 음향 기기와 연결하는 단계;
    상기 연결된 무선 음향 기기와 측위 신호를 송수신하는 단계;
    상기 송수신한 측위 신호에 기초하여 상기 연결된 무선 음향 기기의 상대적 위치를 결정하는 단계;
    상기 통신부를 통해 상기 연결된 무선 음향 기기로부터 가속도 센서 값을 수신하는 단계;
    상기 수신한 가속도 센서 값에 기초하여 상기 연결된 무선 음향 기기의 자세를 결정하는 단계;
    상기 결정된 상대적 위치 및 상기 결정된 자세에 기초하여 상기 연결된 무선 음향 기기의 착용 상태를 결정하는 단계; 및
    상기 통신부를 통해 상기 연결된 무선 음향 기기 중에서 착용된 무선 음향 기기에 오디오 신호를 전송하는 단계를 포함하는, 방법.
  15. 무선 음향 기기를 제어하는 방법을 기록한 기록 매체에 있어서, 상기 방법은
    적어도 하나 이상의 무선 음향 기기와 연결하는 단계;
    상기 연결된 무선 음향 기기와 측위 신호를 송수신하는 단계;
    상기 송수신한 측위 신호에 기초하여 상기 연결된 무선 음향 기기의 상대적 위치를 결정하는 단계;
    상기 통신부를 통해 상기 연결된 무선 음향 기기로부터 가속도 센서 값을 수신하는 단계;
    상기 수신한 가속도 센서 값에 기초하여 상기 연결된 무선 음향 기기의 자세를 결정하는 단계;
    상기 결정된 상대적 위치 및 상기 결정된 자세에 기초하여 상기 연결된 무선 음향 기기의 착용 상태를 결정하는 단계; 및
    상기 통신부를 통해 상기 연결된 무선 음향 기기 중에서 착용된 무선 음향 기기에 오디오 신호를 전송하는 단계를 포함하는, 기록 매체.
PCT/KR2020/009255 2020-07-14 2020-07-14 무선 음향 기기를 제어하는 단말기 및 그 방법 WO2022014734A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/787,098 US20230024547A1 (en) 2020-07-14 2020-07-14 Terminal for controlling wireless sound device, and method therefor
PCT/KR2020/009255 WO2022014734A1 (ko) 2020-07-14 2020-07-14 무선 음향 기기를 제어하는 단말기 및 그 방법
CN202080084125.0A CN114747230A (zh) 2020-07-14 2020-07-14 控制无线音响设备的终端及其方法
EP20945061.8A EP4184944A4 (en) 2020-07-14 2020-07-14 TERMINAL FOR CONTROLLING A WIRELESS SOUND DEVICE, AND ASSOCIATED METHOD
KR1020227014094A KR20230038406A (ko) 2020-07-14 2020-07-14 무선 음향 기기를 제어하는 단말기 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009255 WO2022014734A1 (ko) 2020-07-14 2020-07-14 무선 음향 기기를 제어하는 단말기 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022014734A1 true WO2022014734A1 (ko) 2022-01-20

Family

ID=79554728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009255 WO2022014734A1 (ko) 2020-07-14 2020-07-14 무선 음향 기기를 제어하는 단말기 및 그 방법

Country Status (5)

Country Link
US (1) US20230024547A1 (ko)
EP (1) EP4184944A4 (ko)
KR (1) KR20230038406A (ko)
CN (1) CN114747230A (ko)
WO (1) WO2022014734A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114675256A (zh) * 2022-03-23 2022-06-28 Oppo广东移动通信有限公司 定位方法、装置、系统、终端、存储介质和程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220256028A1 (en) * 2021-02-08 2022-08-11 Samsung Electronics Co., Ltd. System and method for simultaneous multi-call support capability on compatible audio devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039339A (ko) * 2016-10-10 2018-04-18 삼성전자주식회사 오디오 신호를 출력하는 출력 장치 및 출력 장치의 제어 방법
US20180279038A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH System and Method for Sharing Wireless Earpieces
US20180367882A1 (en) * 2017-06-16 2018-12-20 Cirrus Logic International Semiconductor Ltd. Earbud speech estimation
KR20190044703A (ko) * 2015-09-16 2019-04-30 애플 인크. 생체 측정 센싱을 갖는 이어버드
US20200103513A1 (en) * 2018-09-28 2020-04-02 Silicon Laboratories Inc. Systems And Methods For Selecting Operating Mode Based On Relative Position Of Wireless Devices

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326228B2 (en) * 2008-12-19 2012-12-04 At&T Mobility Ii Llc Headset locator device
US10827268B2 (en) * 2014-02-11 2020-11-03 Apple Inc. Detecting an installation position of a wearable electronic device
CN107683459B (zh) * 2015-06-05 2020-04-17 苹果公司 基于可佩戴设备的状态改变伴随通信设备行为
US10924858B2 (en) * 2018-11-07 2021-02-16 Google Llc Shared earbuds detection
US11632614B2 (en) * 2020-01-29 2023-04-18 Google Llc Different head detection in headphones

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190044703A (ko) * 2015-09-16 2019-04-30 애플 인크. 생체 측정 센싱을 갖는 이어버드
KR20180039339A (ko) * 2016-10-10 2018-04-18 삼성전자주식회사 오디오 신호를 출력하는 출력 장치 및 출력 장치의 제어 방법
US20180279038A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH System and Method for Sharing Wireless Earpieces
US20180367882A1 (en) * 2017-06-16 2018-12-20 Cirrus Logic International Semiconductor Ltd. Earbud speech estimation
US20200103513A1 (en) * 2018-09-28 2020-04-02 Silicon Laboratories Inc. Systems And Methods For Selecting Operating Mode Based On Relative Position Of Wireless Devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4184944A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114675256A (zh) * 2022-03-23 2022-06-28 Oppo广东移动通信有限公司 定位方法、装置、系统、终端、存储介质和程序产品

Also Published As

Publication number Publication date
KR20230038406A (ko) 2023-03-20
EP4184944A1 (en) 2023-05-24
US20230024547A1 (en) 2023-01-26
CN114747230A (zh) 2022-07-12
EP4184944A4 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
WO2017188492A1 (ko) 이동단말기 및 그 제어방법
WO2014157846A1 (en) Portable terminal, hearing aid, and method of indicating positions of sound sources in the portable terminal
WO2012091185A1 (en) Display device and method of providing feedback for gestures thereof
WO2017171137A1 (ko) 보청장치, 휴대장치 및 그 제어방법
WO2017142139A1 (ko) 이동 단말기 및 이를 포함하는 이동 단말기 음향신호 처리시스템
WO2021107225A1 (ko) 디스플레이의 크기를 제어하는 전자 장치 및 그 제어 방법
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2022014734A1 (ko) 무선 음향 기기를 제어하는 단말기 및 그 방법
WO2022080612A1 (ko) 휴대용 음향기기
WO2021085902A1 (ko) 복수의 어플리케이션들의 오디오 데이터를 출력하는 전자 장치 및 그 동작 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2016024707A1 (ko) 이동 단말기 및 그 제어 방법
WO2016013692A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2022154440A1 (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2020013363A1 (ko) 이동단말기 및 그 제어 방법
WO2022124561A1 (ko) 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
WO2022145914A1 (ko) 전력 공급 장치를 이용하여 오디오 출력 장치를 찾는 방법 및 그 전력 공급 장치
WO2022065827A1 (ko) 무선 통신을 이용한 촬영 방법 및 이를 지원하는 전자 장치
WO2018044011A1 (ko) 휴대용 음향기기
WO2022097892A1 (ko) 전자 장치 및 전자 장치에서 이미지 공유 방법
WO2021251642A1 (ko) 카메라 모듈에 배치된 안테나 모듈을 포함하는 전자 장치
WO2017094966A1 (ko) 플렉서블 와치 타입 이동 단말기
WO2020171295A1 (ko) 이동단말기 및 그 제어 방법
WO2023229199A1 (ko) 전자 장치의 화면 표시 모드를 결정하는 동작 방법 및 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945061

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020945061

Country of ref document: EP

Effective date: 20230214