WO2023153299A1 - 情報処理システム、及び、情報処理方法 - Google Patents

情報処理システム、及び、情報処理方法 Download PDF

Info

Publication number
WO2023153299A1
WO2023153299A1 PCT/JP2023/003340 JP2023003340W WO2023153299A1 WO 2023153299 A1 WO2023153299 A1 WO 2023153299A1 JP 2023003340 W JP2023003340 W JP 2023003340W WO 2023153299 A1 WO2023153299 A1 WO 2023153299A1
Authority
WO
WIPO (PCT)
Prior art keywords
tws
acceleration
state
attachment
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/003340
Other languages
English (en)
French (fr)
Inventor
周 犀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US18/835,552 priority Critical patent/US20250150784A1/en
Publication of WO2023153299A1 publication Critical patent/WO2023153299A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers

Definitions

  • the present technology relates to an information processing system and an information processing method, and more particularly to an information processing system and an information processing method that enable determination that cannot be determined using a single data by sharing acceleration data among a plurality of devices. .
  • Patent Document 1 discloses that a sensor for detecting attachment/detachment of the wearable device to the user is attached to the attachment portion of the wearable device.
  • Acceleration sensors are installed in various devices, and the acceleration data detected by the acceleration sensors is used for various purposes. If acceleration data can be shared among a plurality of devices, it will be possible to make judgments that cannot be made with single data, and the acceleration sensor can be used more effectively in conjunction with other uses.
  • This technology has been developed in view of this situation, and it makes it possible to make decisions that cannot be made with a single data by sharing acceleration data between multiple devices.
  • An information processing system based on a first acceleration and a second acceleration, which are respective accelerations of a first device and a second device detachably attached to a predetermined portion facing each other,
  • the information processing system includes a processing unit that determines whether or not the first device and the second device are in a facing position relationship, and detects attachment/detachment states of the first device and the second device.
  • An information processing method is an information processing system having a processing unit.
  • a first acceleration and a second Based on the acceleration, it is determined whether or not the first device and the second device are in a facing position relationship, and the attachment/detachment state of the first device and the second device is detected.
  • An information processing system is an information processing system including a communication unit that transmits acceleration of a first device via wireless communication to a second device that is connected to the first device via wireless communication. is.
  • the acceleration of the first device is transmitted by the wireless communication to the second device that is connected to the first device by wireless communication.
  • FIG. 4 is a diagram illustrating appearances of TWS(L) and TWS(R); It is a figure explaining an outline of this art. It is a figure explaining an outline of this art.
  • FIG. 10 is a diagram showing an example of processing associated with transitions between attaching/detaching states of TWS(L) and TWS(R) to a user's ear.
  • FIG. 4 is a block diagram illustrating attachment/detachment state detection according to the first embodiment; 4 is a flowchart illustrating an example of a procedure for detecting an attachment/detachment state according to the first embodiment; It is a figure explaining the determination processing in a state determination part.
  • FIG. 4 is a diagram illustrating appearances of TWS(L) and TWS(R); It is a figure explaining an outline of this art. It is a figure explaining an outline of this art.
  • FIG. 10 is a diagram showing an example of processing associated with transitions between attaching/detaching states of TWS(L) and TWS(R
  • FIG. 11 is a block diagram illustrating attachment/detachment state detection according to the second embodiment;
  • FIG. 11 is a flow chart exemplifying a processing procedure for attachment/detachment state detection according to the second embodiment;
  • FIG. 11 is a flow chart exemplifying a processing procedure for attachment/detachment state detection according to the second embodiment;
  • FIG. 10 is a flow chart illustrating a procedure for detecting attachment/detachment states of TWS(L) and TWS(R) by always using an auxiliary sensor;
  • FIG. 1 is a block diagram showing a configuration example of an information processing system according to an embodiment of the present technology.
  • an information processing system 1 which is an embodiment of an information processing system to which the present technology is applied, includes a smartphone 11, TWS (L) (True Wireless Stereo (Left): complete wireless stereo (left side)) 12L, and , TWS(R) (True Wireless Stereo (Right)) 12R.
  • any two devices among the smartphone 11, TWS(L) 12L, and TWS(R) 12R can be connected by wireless communication conforming to a predetermined communication standard.
  • Bluetooth registered It is assumed that connection is possible by wireless communication conforming to the Bluetooth (registered trademark) Low Energy standard (hereafter referred to as BLE), which is one of the Bluetooth (registered trademark) standards.
  • BLE Low Energy standard
  • the connection between devices by BLE wireless communication is simply referred to as connection, connection by BLE, or the like.
  • the state in which connection by wireless communication is being performed is the state in which the wireless communication of the communication unit is enabled, and the state in which connection by wireless communication is not being performed. is in a state in which the wireless communication of the communication unit is disabled.
  • the wireless communication standard that connects devices may be any standard other than BLE, and the wireless communication that connects devices may not all be of the same standard.
  • the smartphone 11 is a well-known information processing device. Among the components included in the smartphone 11, there are a processing unit 31 and a communication unit 32 as components related to wireless communication with the TWS(L) 12L and the TWS(R) 12R.
  • the processing unit 31 executes a program stored in a storage unit (not shown) and executes processing according to the program.
  • the processing unit 31 supplies the communication unit 32 with data (data body) such as audio data to be transmitted to the TWS(L) 12L and the TWS(R) 12R connected to the smartphone 11 .
  • the processing unit 31 acquires data transmitted by the TWS(L) 12L and the TWS(R) 12R connected to the smartphone 11 via the communication unit 32 .
  • the communication unit 32 performs processes such as encapsulation and modulation on the data supplied from the processing unit 31. As a result, the communication unit 32 generates BLE-compliant transmission data (a packet of a predetermined bit length) and transmits it as radio waves to the TWS(L) 12L and TWS(R) 12R. The communication unit 32 receives transmission data transmitted as radio waves from the TWS(L) 12L and TWS(R) 12R connected to the smartphone 11 . The communication unit 32 performs processing such as demodulation and decapsulation on the received transmission data, and supplies the data to the processing unit 31 .
  • BLE-compliant transmission data a packet of a predetermined bit length
  • the communication unit 32 receives transmission data transmitted as radio waves from the TWS(L) 12L and TWS(R) 12R connected to the smartphone 11 .
  • the communication unit 32 performs processing such as demodulation and decapsulation on the received transmission data, and supplies the data to the processing unit 31 .
  • the smartphone 11 is an example, and may be any device such as a personal computer, a music player, or a mobile terminal.
  • TWS(L)12L and TWS(R)12R represent audio output devices such as earphones that support complete wireless stereo.
  • FIG. 2 exemplifies the appearance of TWS(L) 12L and TWS(R) 12R, which are earphones. It is used in combination with an earphone for left side) and an earphone for right (for right side) worn on the right ear.
  • the TWS(L) 12L and TWS(R) 12R are denoted by TWS(L) and TWS(R) without any reference numerals.
  • TWS(L) 12L and TWS(R) 12R are examples, and the present technology is applied to two devices that are detachably attached to a predetermined portion such as the head (especially ears) facing each other. obtain.
  • TWS(L) has an acceleration sensor 51L, an auxiliary sensor 52L, a processing section 53L, and a communication section 54L.
  • the acceleration sensor 51L detects acceleration in orthogonal three-axis directions.
  • a detection signal (acceleration data) of the acceleration sensor 51L is supplied to the processing section 53L.
  • the auxiliary sensor 52L detects contact with the ear.
  • the auxiliary sensor 52L is not limited to a specific type as long as it is a proximity sensor, contact sensor, pulse wave sensor, or other sensor that detects the proximity or contact of an object.
  • a detection signal of the auxiliary sensor 52L is supplied to the processing section 53L.
  • the processing unit 53L executes a program stored in a storage unit (not shown) and executes processing according to the program.
  • the processing unit 53L supplies data (data body) to be transmitted to the smart phone 11 and TWS(R) connected to the TWS(L) 12 to the communication unit 54L.
  • the processing unit 53L acquires data transmitted by the smartphone 11 or TWS(R) connected to the TWS(L) via the communication unit 54L.
  • the processing unit 53L also detects the attachment/detachment state of TWS(L) and TWS(R).
  • the processing unit 53L exemplifies a functional configuration related to detection of the attachment/detachment state.
  • the processing unit 53L has a sensor value acquisition unit 71L, a state determination unit 72L, and a state storage unit 73R.
  • the sensor value acquisition unit 71L acquires sensor values (acceleration data) detected by the acceleration sensor 51L. Further, the sensor value acquisition unit 71L acquires the sensor value (acceleration data) detected by the TWS(R) acceleration sensor 51R through the communication unit 54L.
  • the state determination unit 72L determines the attachment/detachment state of TWS(L) and TWS(R) based on the sensor value acquired by the sensor value acquisition unit 71 or the information stored in the state storage unit 73L.
  • the state storage unit 73L stores the current attachment/detachment state of TWS(L) determined by the state determination unit 72L.
  • the state storage unit 73L may store attachment/detachment states of TWS(L) and TWS(R).
  • the communication unit 54L performs processes such as encapsulation and modulation on the data supplied from the processing unit 53L. As a result, the communication unit 54L generates BLE-compliant transmission data (a packet of a predetermined bit length), and transmits the data as radio waves to the smartphone 11 and TWS(R) connected to TWS(L). The communication unit 54L receives transmission data (packets) transmitted as radio waves from the smartphone 11 and TWS(R) connected to TWS(L). The communication unit 54L performs processing such as demodulation and decapsulation on the received transmission data, and supplies the processed data to the processing unit 53L.
  • BLE-compliant transmission data a packet of a predetermined bit length
  • the communication unit 54L receives transmission data (packets) transmitted as radio waves from the smartphone 11 and TWS(R) connected to TWS(L).
  • the communication unit 54L performs processing such as demodulation and decapsulation on the received transmission data, and supplies the processed data to the processing unit 53L.
  • the TWS(R) has an acceleration sensor 51R, an auxiliary sensor 52R, a processing section 53R, and a communication section 54R.
  • the acceleration sensor 51R, the auxiliary sensor 52R, the processing unit 53R, and the communication unit 54R correspond to the acceleration sensor 51L, the auxiliary sensor 52L, the processing unit 53L, and the communication unit 54L of TWS(L), respectively. , so that the description is omitted.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • TWS(L) and TWS(R) are connected to the smartphone 11 by BLE and perform data communication according to GATT (Generic Attribute Profile) specifications, for example, there are the following connection modes.
  • the smartphone 11 is the master (parent device), and one of TWS(L) and TWS(R) (for example, TWS(L)) is the slave (child device) of the smartphone. 11.
  • the TWS(L) connected to the smartphone 11 as a slave simultaneously becomes a master for the other TWS(R), and the TWS(L) and TWS(R) are connected as the TWS(R) becomes a slave. .
  • TWS(L) when stereo audio data is transmitted from the smartphone 11 to TWS(L), for example, TWS(L) separates the stereo audio data into left audio data and right audio data. TWS(L) reproduces left audio data. TWS(L) transmits the separated right audio data to TWS(R), and TWS(R) reproduces the right audio data.
  • the smartphone 11 is used as a master, and TWS(L) and TWS(R) are individually connected to the smartphone 11 as slaves.
  • the smartphone 11 has a function to transmit the left audio data and the right audio data separately, the left audio data is transmitted from the smartphone 11 to TWS(L). ) reproduces the audio data for the left.
  • Right audio data is transmitted from the smartphone 11 to TWS(R), and TWS(R) reproduces the right audio data. Only one of TWS(L) and TWS(R) may be connected to the smartphone 11 to reproduce audio data.
  • TWS(L) and TWS(R) connect to the smartphone 11 by BLE and perform broadcast communication
  • the smartphone 11 is set as a slave (broadcaster), and TWS(L) and TWS(R) are set as masters ( It is individually connected to the smartphone 11 as an observer).
  • the same audio data is transmitted from the smartphone 11 to TWS(L) and TWS(R), and each of TWS(L) and TWS(R) reproduces the audio data.
  • TWS(L) and TWS(R) are wireless and have built-in rechargeable batteries. Therefore, low power consumption is important.
  • TWS (L) and TWS (R) there are two states of wearing TWS (L) and TWS (R), both of which are attached to the ears, and one of which is attached to the ears.
  • the TWS(L) or TWS(R) that are not worn on the ear are not used for listening to audio data.
  • both TWS(L) and TWS(R) are not used for listening to audio data.
  • BLE connection pairing
  • TWS that is not worn on the ear among TWS(L) and TWS(R). Therefore, by not supplying audio data, wasteful power consumption can be reduced.
  • TWS that are not attached to the ear it is possible not only not to connect by BLE (disable wireless communication) but also to turn off the power.
  • BLE disable wireless communication
  • every time the attachment/detachment state of TWS(L) and TWS(R) changes it is not possible to change the connection state of TWS(L) and TWS(R) by BLE or change the playback state of audio data. It takes time and effort for the user to operate.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2020-31444 proposes that a sensor for detecting attachment/detachment of a wearable device to a user is attached to the attachment portion, but does not disclose a specific method. It is also conceivable to detect contact with TWS(L) and TWS(R) with a sensor to detect the attachment/detachment state. However, TWS(L) and TWS(R) may be in contact with parts other than the ears, and malfunctions are likely to occur.
  • an acceleration sensor is used to detect the attachment/detachment state of TWS(L) and TWS(R).
  • the acceleration sensor can also be used for other purposes (detection of user operations, etc.) besides detecting the attachment/detachment state. It is effective to be able to detect the attachment/detachment state of the . That is, in the present technology, by using both acceleration data detected by the respective acceleration sensors of TWS(L) and TWS(R), TWS(L) and TWS(R), which cannot be determined based on only one data, can be detected. To make it possible to determine the attaching/detaching state of an acceleration sensor and to effectively use an acceleration sensor together with other uses.
  • the acceleration sensors 51L and 51R of TWS(L) and TWS(R) in FIG. 1 are triaxial acceleration sensors, and detect acceleration in the three directions of the X, Y, and Z axes set to themselves.
  • the acceleration sensors 51L and 51R assume a standard posture (relative posture) when both TWS(L) and TWS(R) are attached to both ears of the user. and 51R are fixed inside TWS(L) and TWS(R) so that their respective X-axes, Y-axes, and Z-axes are parallel to each other.
  • FIG. 2 illustrates the directions of the X, Y, and Z axes of acceleration sensors 51L and 51R of TWS(L) and TWS(R), respectively.
  • the TWS(L) and TWS(R) are positioned opposite each other (and the posture ).
  • the magnitudes of gravity (gravitational acceleration) with respect to each of the three directions of the X, Y, and Z axes detected by the acceleration sensors 51L and 51R are substantially the same.
  • a vector indicating the magnitude and direction of gravitational acceleration is called a gravitational vector
  • the magnitude and direction of the gravitational vector ( X, Y, Z component values of the gravity vector) almost match.
  • FIG. 3 shows how TWS(L) and TWS(R) are worn on both ears and worn on one ear.
  • TWS(L) and TWS(R) are positioned opposite each other. Assume that they are arranged in a relationship of Gravity is downward against the user's 101 head.
  • the acceleration sensors 51L and 51R are TWS(L) and TWS(R) so that the magnitudes and directions of the gravitational vectors (X, Y, Z components of the gravitational vectors) detected by the acceleration sensors 51L and 51R match. ). Therefore, the magnitude and direction of the gravitational vectors detected by the acceleration sensors 51L and 51R are substantially the same.
  • TWS(R) when TWS(R) is removed from the state of wearing both ears, the direction of gravity is downward, but the direction of the gravity vector detected by TWS(R) changes, and the direction of the gravity vector detected by TWS(L) changes. differ from If the user 101 tilts his or her head while wearing both ears as shown in FIG. maintained as is.
  • the acceleration sensors 51L and 51R for TWS(L) and TWS(R) use gravity to detect whether or not TWS(L) and TWS(R) are opposed to each other. It is detected whether or not the ear is worn. However, if TWS(L) and TWS(R) are not in a relationship of opposing positions, it is not possible to distinguish between the non-wearing state and the one-ear wearing state.
  • the change in the acceleration of TWS(L) and TWS(R) generated in the wearing/wearing state and the output values of the auxiliary sensors 52L and 52R are appropriately used to determine whether the earbud is in the non-wearing state or the one-ear wearing state.
  • FIG. 5 is a diagram showing an example of processing associated with transitions between attachment/detachment states of TWS(L) and TWS(R) to the user's ears.
  • FIG. 5 there are shown three attachment/detachment states of the TWS(L) and TWS(R), ie, the binaural attachment state, the single ear attachment state, and the non-attachment state.
  • BLE connection pairing between the smartphone 11 and TWS(L) and TWS(R) is performed, and TWS(L) and TWS(R) are connected.
  • Processing for starting and stopping audio reproduction is processing by an audio reproduction application executed in the processing unit 31 of the smartphone 11 .
  • connection is performed between the smartphone 11 and the TWS(L) or TWS(R) worn on the ear, and the TWS(R) worn on the ear L) or start playing audio (music, etc.) from TWS(R).
  • TWS(L) and TWS(R) TWS worn on the ear
  • TWS(-X) TWS not worn on the ear
  • connection is performed between the smartphone 11 and TSW(X) to be worn on the ears, and audio is reproduced from TWS(X). to start.
  • TWS(L) and TWS(R) are attached to or detached from the ear. . Unlike the change in acceleration when walking, attaching and detaching the TWS(L) or TWS(R) to the ear generates a large acceleration in one direction. can.
  • TWS(L) and TWS(R) attachment/detachment state detection is divided into the first form performed by the TWS that is attached/detached among TWS(L) and TWS(R), and the second form performed by the TWS that is not attached/detached. I will explain separately.
  • TWS(L) and TWS(R) performs attachment/detachment state detection of TWS(L) and TWS(R)
  • any form other than the first form and the second form may be used.
  • Attachment/detachment state detection can be performed in any form by applying the form and the second form.
  • FIG. 6 is a diagram extracting and showing blocks used for attachment/detachment state detection according to the first embodiment in the information processing system 1 of FIG. However, since the configuration of TWS(R) is the same as that of TWS(L), it is omitted.
  • FIG. 7 is a flowchart illustrating an example of a procedure for detecting the attachment/detachment state according to the first embodiment.
  • FIG. 8 is a diagram for explaining determination processing in the state determination section 72L (72R).
  • the attachment/detachment state detection according to the first form is performed in the TWS that is attached/detached.
  • TWS(L) is operated for attachment/detachment, and attention is paid to attachment/detachment state detection performed by TWS(L).
  • TWS(R) performs attachment/detachment state detection processing performed by TWS(L)
  • the explanation is omitted. do.
  • the sensor value acquisition unit 71L of TWS(L) inquires of the acceleration sensor 51L about the sensor value (acceleration data), and acquires the sensor value from the acceleration sensor 51L at a predetermined cycle. to start. The acquired sensor value is notified to the state determination unit 72L. Based on the sensor value from the sensor value acquisition unit 71L, the state determination unit 72L detects a change in acceleration indicating that the TWS(L) has been attached or detached (hereinafter simply referred to as a change in acceleration) (step S11), it is determined that the attachment/detachment state of TWS(L) is an attachment/detachment operation state in which an attachment/detachment operation is being performed.
  • a change in acceleration indicating that the TWS(L) has been attached or detached
  • the state determination unit 72L grasps the attachment/detachment state of the TWS(R) (step S12 in FIG. 7).
  • the attachment/detachment state of TWS(R) is grasped by the state determination unit 72L of TWS(L) by, for example, the following method. Note that the communication units 54L and 54R are omitted from the block diagram of FIG. are omitted unless necessary.
  • the sensor value acquisition unit 71L transmits the sensor value (acceleration data).
  • the sensor value acquiring unit 71R acquires sensor values from the acceleration sensor 51R at predetermined intervals in response to inquiries about sensor values, and returns the acquired sensor values to the sensor value acquiring unit 71L.
  • the state determination unit 72L acquires the sensor value returned from the sensor value acquisition unit 71R via the sensor value acquisition unit 71L, and grasps the attachment/detachment state of the TWS(R) based on the acquired sensor value.
  • the state determination unit 72L determines that the TWS(R) is worn on the right ear. It is determined (deemed) that the device is in a non-wearing state.
  • the state determination unit 72L determines TWS. It is determined that (R) is in the attachment/detachment operation state in which attachment/detachment operation is being performed.
  • the state determination unit 72L determines TWS ( R), it is determined whether the TWS(R) is attached to the right ear or not attached to the right ear based on the attached/detached state information.
  • the state determination unit 72L causes the sensor value acquisition unit 71L to inquire of the sensor value acquisition unit 71R about the attachment/detachment state of TWS(R).
  • the attachment/detachment state information stored in the state storage section 73R is acquired via the sensor value acquisition section 71R and the sensor value acquisition section 71L.
  • the state determination unit 72L acquires the attachment/detachment state information of the state storage unit 73R.
  • TWS(R) may determine (grasp) any one of the wearing state, the non-wearing state, and the attachment/detachment operation state.
  • the state determination unit 72L stores the information about the attachment/detachment state of the TWS(R) acquired by inquiring the state storage unit 73L. Based on this, it may be possible to grasp whether the TWS(R) is in the wearing state or the non-wearing state.
  • TWS(R) grasps the attachment/detachment state of TWS(R)
  • TWS(R) is in the attachment/detachment operation state, whether or not the acceleration change of TWS(R) occurred before TWS(L). That is, it is determined whether or not TWS(R) has entered the attachment/detachment operation state before TWS(L) (step S13 in FIG. 7).
  • Whether or not the acceleration change of TWS(R) occurred before TWS(L) is determined by the inquiry of the sensor value or attachment/detachment state to TWS(L) by the sensor value acquisition unit 71R of TWS(R). It can be determined by whether or not it was performed before L).
  • the attachment/detachment state detection process is stopped (step S14 in FIG. 7). That is, when acceleration change (attachment/detachment operation) occurs in both TWS(L) and TWS(R), one of them that undergoes the acceleration change first performs attachment/detachment state detection processing, and the other performs attachment/detachment state detection processing. Only the sensor value is returned to one side without performing the processing of . It should be noted that the TWS in which the change in acceleration occurs later may perform the attachment/detachment state detection processing.
  • TWS(R ) is the mounted state (step S15 in FIG. 7). Note that the state determination unit 72L continues to periodically acquire the sensor values of the acceleration sensors 51L and 51R, and after the change in acceleration indicating that the TWS(L) is being attached/detached is no longer detected, The determination of step S15 in FIG. 7 is performed.
  • the state determination unit 72L determines the TWS(L) based on the relationship between the opposing positions of the TWS(L) and the TWS(R). Therefore, the auxiliary sensor 52L is turned on and the value returned from the auxiliary sensor 52L is obtained (step S16 in FIG. 7). The state determination unit 72L determines whether TWS(L) is in the worn state based on the value acquired from the auxiliary sensor 52L (step S17 in FIG. 7).
  • the state determination unit 72L determines that TWS(L) is in the worn state. When it is detected that there is no object approaching or contacting TWS(L), the state determination unit 72L determines that TWS(L) is in the non-wearing state.
  • the state determination unit 72L determines that TWS(L) is in the wearing state, TWS(L) and TWS(R) is determined to be worn on one ear (only TWS(L) worn).
  • the state determination unit 72L determines that the attachment/detachment state of TWS(L) and TWS(R) is the non-wearing state (step S18 in FIG. 7). After determining the attachment/detachment state, the state determination unit 72L turns off the auxiliary sensor 52L, and stores the attachment/detachment state, which is the determination result, in the state storage unit 73L. In addition, the state determination unit 72L transmits the attachment/detachment state, which is the determination result, to the processing unit 53R of TWS(R), and stores it in the state storage unit 72R.
  • the state determination unit 72L detects the change in acceleration indicating that the attachment/detachment operation of the TWS(R) is being performed. Determine the attachment/detachment state. At this time, if TWS(L) is in the attached state, the state determination unit 72L detects the attachment/detachment state of TWS(L) based on the positional relationship between TWS(L) and TWS(R). do. When TWS(L) is in the non-mounted state, the state determination section 72L detects the detachable state of TWS(L) based on the value acquired from the auxiliary sensor 52R.
  • the state determination unit 72L causes the state storage unit 73L to store the attachment/detachment state, which is the determination result. In addition, the state determination unit 72L transmits the attachment/detachment state, which is the determination result, to the processing unit 53R of TWS(R), and stores it in the state storage unit 72R.
  • the result of the state determination unit 72L determining whether or not the TWS(R) is in the wearing state (step S15 in FIG. 7). If it is determined that TWS(R) is in the attached state, the attachment/detachment state of TWS(L) is detected based on the relationship between the opposing positions of TWS(L) and TWS(R) (step S19). That is, the state determination unit 72L determines whether or not TWS(L) and TWS(R) are in a facing relationship based on the sensor value of the acceleration sensor 51L and the sensor value of the acceleration sensor 51R. . Specifically, as shown in FIG.
  • the state determination unit 72L subtracts the sensor value of the acceleration sensor 51L and the sensor value of the acceleration sensor 51R for each of the X, Y, and Z components using the subtractor 91L, A low-pass filter 92L extracts only low-frequency components. That is, the state determination unit 72L extracts the low-frequency component of the difference vector representing the difference from the gravitational vectors detected by the acceleration sensors 51L and 51R. If the difference vector is equal to or less than a predetermined threshold value, the state determination unit 72L regards the difference vector as zero, determines that TWS(L) and TWS(R) are in a facing relationship, and determines that TWS( L) and TWS(R) are determined to be worn on both ears.
  • the state determination unit 72L determines that TWS(L) is in the non-wearing state, and determines the attachment/detachment state of TWS(L) and TWS(R) as the one-ear wearing state (TWS(R ) is determined to be the wearing state). After determining the attachment/detachment state, the state determination unit 72L stores the attachment/detachment state, which is the determination result, in the state storage unit 73L. In addition, the state determination unit 72L transmits the attachment/detachment state, which is the determination result, to the processing unit 53R of TWS(R), and stores it in the state storage unit 72R.
  • the TWS(L) and TWS(R) are in the non-wearing state, the one-ear wearing state, or the both-ear wearing state. It is possible to detect the attachment/detachment state after the transition from the state of no wearing, the state of wearing one ear, or the state of wearing both ears. It should be noted that both TWS(L) and TWS(R) may perform attachment/detachment state detection when both TWS(L) and TWS(R) are attached/detached.
  • the wireless communication status or power supply status of TWS(L) and TWS(R) can be automatically switched between enabled/disabled or on/off according to the wearing status of each, saving the user time and effort. Therefore, the power consumption can be reduced.
  • FIG. 9 is a diagram extracting and showing blocks used for attachment/detachment state detection according to the second embodiment in the information processing system 1 of FIG. 10 and 11 are flowcharts illustrating a procedure for detecting the attachment/detachment state according to the second embodiment.
  • the TWS that is not attached/detached performs the attachment/detachment state detection processing according to the procedure of FIG. .
  • the TWS that is not attached or detached is in the non-wearing state and may be turned off.
  • the TWS subjected to the attachment/detachment operation performs attachment/detachment state detection processing according to the procedure of FIG.
  • TWS(L) and TWS(R) are detached and detached
  • the TWS that has been detached and detached earlier or later is used for detaching and detaching according to the procedure of FIG. process.
  • this description will focus on attachment/detachment state detection performed by TWS(L).
  • the attachment/detachment state detection performed by TWS(R) is different only in that the attachment/detachment state detection performed by TWS(L) is performed by TWS(R), so a description thereof will be omitted.
  • the sensor value acquisition unit 71L of TWS(L) inquires of the acceleration sensor 51L about the sensor value (acceleration data), and starts acquiring the sensor value from the acceleration sensor 51L at predetermined intervals. The acquired sensor value is notified to the state determination unit 72L. Based on the sensor value of the acceleration sensor 51L, the state determination unit 72L starts detecting a change in acceleration indicating that the TWS(R) has been attached or detached (hereinafter simply referred to as a change in acceleration) (step S31 in FIG. 10). .
  • the sensor value acquisition unit 71L acquires the sensor value of the acceleration sensor 51L.
  • the state determination unit 72L grasps the attachment/detachment state of the TWS(R) (step S32 in FIG. 10).
  • the attachment/detachment state of the TWS(R) is grasped by the same method as the attachment/detachment state detection according to the first embodiment (see step S12 in FIG. 7).
  • the state determination unit 72L detects that the TWS(R) is in the attachment/detachment operation state.
  • the sensor value of the acceleration sensor 51R is inquired of the acquisition unit 71R, and the sensor value returned at a predetermined cycle from the sensor value acquisition unit 71R is acquired (step S33 in FIG. 10).
  • the sensor value acquisition unit 71R inquires about the sensor value (acceleration data) of the acceleration sensor 51R, acquires the sensor value from the acceleration sensor 51R at predetermined intervals, and returns the acquired sensor value to the sensor value acquisition unit 71L.
  • the sensor value of the acceleration sensor 51R returned to the sensor value acquisition unit 71L is notified to the state determination unit 72L. Note that the sensor value of the acceleration sensor 51L for TWS(L) is notified from the sensor value acquisition unit 71L to the state determination unit 72L regardless of whether or not the TWS(R) is attached or detached.
  • State determination unit 72L determines whether or not TWS(L) and TWS(R) are opposed to each other based on the sensor value of acceleration sensor 51L and the sensor value of acceleration sensor 51R (Fig. 10 step S34). Since the specific processing is the same as the processing described with reference to FIG. 8, the description is omitted. Note that the state determination unit 72L performs the determination of step S34 in FIG. 10 after the change in acceleration indicating that the attachment/detachment operation is being performed for both TWS(L) and TWS(R) is no longer detected.
  • the state determination unit 72L determines that the attachment/detachment state of TWS(L) and TWS(R) is the state of being worn on both ears. judge.
  • the state determination unit 72L sets the attachment/detachment state of the TWS(L) and the TWS(R) to the one-ear wearing state (only the TWS(L) is wearing state). Determine that there is.
  • the state determination unit 72L stores the attachment/detachment state, which is the determination result, in the state storage unit 73L.
  • the attachment/detachment state stored in the state storage unit 73L is transmitted to the TWS(R) and stored in the state storage unit 73R of the TWS(R).
  • the sensor value acquisition unit 71L of TWS(L) inquires of the acceleration sensor 51L about the sensor value (acceleration data), and starts acquiring the sensor value from the acceleration sensor 51L at predetermined intervals. The acquired sensor value is notified to the state determination unit 72L. Based on the sensor value of the acceleration sensor 51L, the state determination unit 72L starts detecting a change in acceleration indicating that the TWS(L) has been attached/detached (step S51 in FIG. 11).
  • the sensor value acquisition unit 71L inquires the sensor value acquisition unit 71R about the sensor value or the attachment/detachment state. R) is grasped (step S52 in FIG. 11).
  • the attachment/detachment state of the TWS(R) is grasped by the same method as the attachment/detachment state detection according to the first embodiment (see step S12 in FIG. 7).
  • the state determination unit 72L determines whether or not the grasped TWS(R) is in the attachment/detachment state, wearing state, or attachment/detachment operation state (step S53 in FIG. 11). When both TWS(R) and TWS(L) are attached/detached, the state determination unit 72L determines whether the TWS that was attached/detached earlier or later is shown in FIG. Step S53 and subsequent steps are performed. Here, it is assumed that TWS(L) performs the processing after step S53 in FIG. Further, the determination of step S53 in FIG. 11 is performed after the change in acceleration indicating that the TWS(L) is being attached/detached is no longer detected.
  • the state determination unit 72L When it is determined that the TWS(R) is in the non-wearing state or the attachment/detachment operation state, the state determination unit 72L, similarly to steps S16 to S18 in FIG. It is determined whether (L) is in the mounted state (steps S54 to S56 in FIG. 11). When determining that TWS(L) is in the wearing state, the state determination unit 72L determines that the attachment/detachment state of TWS(L) and TWS(R) is in the one-ear wearing state (only TWS(L) is in the wearing state). .
  • the state determination unit 72L determines that TWS(L) is in the non-wearing state, it determines that the attachment/detachment state of TWS(L) and TWS(R) is the non-wearing state. After determining the attachment/detachment state, the state determination unit 72L turns off the auxiliary sensor 52L, and stores the attachment/detachment state, which is the determination result, in the state storage unit 73L. In addition, the state determination unit 72L transmits the attachment/detachment state, which is the determination result, to the processing unit 53R of TWS(R), and stores it in the state storage unit 72R.
  • the state determination unit 72L detects the change in acceleration indicating that the attachment/detachment operation of the TWS(R) is being performed. Determine the attachment/detachment state. At this time, if TWS(L) is in the attached state, the state determination unit 72L detects the attachment/detachment state of TWS(L) based on the positional relationship between TWS(L) and TWS(R). do. When TWS(L) is in the non-mounted state, the state determination section 72L detects the detachable state of TWS(L) based on the value acquired from the auxiliary sensor 52R.
  • the state determination unit 72L causes the state storage unit 73L to store the attachment/detachment state, which is the determination result. In addition, the state determination unit 72L transmits the attachment/detachment state, which is the determination result, to the processing unit 53R of TWS(R), and stores it in the state storage unit 72R.
  • the state determination unit 72L determines that the grasped attachment/detachment state of TWS(R) is the attached state (step S53 in FIG. 11)
  • the sensor value acceleration data
  • TWS(R) step S57 in FIG. 11
  • the attachment/detachment state detection process of FIG. 10 is performed in TWS(R).
  • the TWS(L) and TWS(R) are in the non-wearing state, the one-ear wearing state, or the both-ear wearing state. It is possible to detect the attachment/detachment state after the transition from the state of no wearing, the state of wearing one ear, or the state of wearing both ears.
  • the wireless communication status or power supply status of TWS(L) and TWS(R) can be automatically switched between enabled/disabled or on/off according to the wearing status of each, saving the user time and effort. Therefore, the power consumption can be reduced.
  • TWS(L) and TWS(R) are based on the sensor values of the acceleration sensors 51L and 51R, and the relationship between the opposing positions of TWS(L) and TWS(R) is determined. Even if it is detected whether or not it is, the attachment/detachment detection may be performed in consideration of the detection results of the auxiliary sensors 52L and 52R to improve the detection accuracy.
  • FIG. 12 is a flow chart illustrating the procedure for detecting the attachment/detachment state of TWS(L) and TWS(R) by always using the auxiliary sensor. It should be noted that it is assumed that whether or not TWS(L) and TWS(R) are opposed to each other is already detected. Also, a case where the state determination unit 72L of TWS(L) determines the attachment/detachment state will be described. When the state determination unit 72L of TWS(L) detects a change in acceleration (step S71), it turns on the auxiliary sensor 52L, and grasps the attachment/detachment state of TWS(L) to the ear by the auxiliary sensor 52L.
  • the state determination unit 72L determines whether or not attachment/detachment of the auxiliary sensor 52L is confirmed. That is, the state determination unit 72L determines the attachment/detachment state of TWS(L) and TWS(R) ascertained based on the sensor values of the acceleration sensors 51L and 51R and the attachment/detachment state of TWS(L) ascertained by the auxiliary sensor 52L. Determine whether or not they match.
  • the state determination unit 72L acquires the information of the auxiliary sensor 52R from TWS(R), and the attachment/detachment state of TWS(R) is also determined based on the sensor values of the acceleration sensors 51L and 51R. It may be determined whether or not it matches the attachment/detachment state of (R).
  • step S73 determines the attachment/detachment state of TWS(L) and TWS(R) (step S73). If the state determination unit 72L determines that they do not match, it determines the final attachment/detachment state of TWS(L) and TWS(R) based on information from the auxiliary sensor (step S74).
  • the sensor values (acceleration data) detected by the acceleration sensors 51L and 51R at TWS(L) and TWS(R) are appropriately to TWS(R) or from TWS(R) to TWS(L) by BLE.
  • Communication between TWS(L) and TWS(R) is not limited to BLE, and may be any wireless or wired communication standard other than BLE.
  • the acceleration data may be included in the advertising packet.
  • the advertising packet is data transmitted using an advertising channel in advertising performed before the TWS on the slave side establishes a connection (pairing) with the TWS on the master side.
  • acceleration is defined as a characteristic of GATT, and the acceleration sensor 51L or 51R
  • the detected acceleration data may be transmitted as a GATT characteristic.
  • the attachment/detachment state detection processing for TWS(L) and TWS(R) was performed by either the TWS(L) or TWS(R) processing unit. ) may be performed by acquiring necessary information in a processing unit of a device other than TWS(L) and TWS(R).
  • the present technology can also take the following configurations. (1) Based on a first acceleration and a second acceleration, which are respective accelerations of a first device and a second device that are detachably attached to a predetermined portion so as to face each other, the positional relationship between the first device and the second device is determined. an information processing system that detects whether or not the first device and the second device are attached or detached. (2) The processing unit detects a direction of gravity with respect to the first device and the second device based on the first acceleration and the second acceleration, and detects the direction of gravity with respect to the first device and the second device based on the direction of gravity.
  • the information processing system according to (1) above, wherein it is determined whether or not there is a relationship of opposing positions.
  • the first device and the second device are earphones worn on left and right ears, respectively.
  • the first device and the second device are complete wireless earphones worn on left and right ears, respectively.
  • the first device and the second device each have a first communication unit and a second communication unit that perform wireless communication,
  • the first communication unit switches between enabling and disabling the wireless communication according to the attachment/detachment state of the first device,
  • the information processing system according to any one of (1) to (5), wherein the second communication unit enables or disables the wireless communication according to the attachment/detachment state of the second device.
  • the acceleration information is included in an advertising packet and transmitted when pairing is performed.
  • the wireless communication is wireless communication conforming to the Bluetooth (registered trademark) Low Energy standard.
  • An information processing system comprising: a communication unit configured to transmit acceleration of a first device by wireless communication to a second device connected to the first device by wireless communication. (13) The information processing system according to (12), wherein the communication unit includes the acceleration in an advertising packet for pairing and transmits it. (14) The information processing system according to (12), wherein the communication unit transmits the acceleration as GATT characteristic information in GATT specification data communication. (15) The information processing system according to any one of (12) to (14), wherein the wireless communication is wireless communication conforming to the Bluetooth (registered trademark) Low Energy standard.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Emergency Alarm Devices (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術は、複数デバイス間での加速度データの共有により単一データでは判断できないことを判断できるようにする情報処理システム、及び、情報処理方法に関する。 所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態が検出される。または、第１装置と無線通信により接続された第２装置に対して、前記第１装置の加速度が前記無線通信により伝送される。

Description

情報処理システム、及び、情報処理方法
　本技術は、情報処理システム、及び、情報処理方法に関し、特に、複数デバイス間での加速度データの共有により単一データでは判断できないことを判断できるようにした情報処理システム、及び、情報処理方法に関する。
　特許文献１には、ウェアラブルデバイスの装着部にユーザへの着脱を検知するセンサが取り付けられることが開示されている。
特開２０２０－３１４４４号公報
　加速度センサは様々の装置に搭載されて、加速度センサにより検出された加速度データが様々な用途で用いられている。複数デバイス間で加速度データを共有することができれば、単一データでは判断できないことを判断できるようにすることができ、加速度センサを他の用途での利用と併せて更に有効利用することできる。
　本技術はこのような状況に鑑みてなされたものであり、複数デバイス間での加速度データの共有により単一データでは判断できないことを判断できるようにする。
　本技術の第１の側面の情報処理システムは、所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態を検出する処理部を有する情報処理システムである。
　本技術の第１の側面の情報処理方法は、処理部を有する情報処理システムの前記処理部が、所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態を検出する情報処理方法である。
　本技術の第１の側面の情報処理システム及び情報処理方法においては、所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態が検出される。
　本技術の第２の側面の情報処理システムは、第１装置と無線通信により接続された第２装置に対して、前記第１装置の加速度を前記無線通信により伝送する通信部を有する情報処理システムである。
　本技術の第２の側面の情報処理システムにおいては、第１装置と無線通信により接続された第２装置に対して、前記第１装置の加速度が前記無線通信により伝送される。
本技術の実施の形態に係る情報処理システムの構成例を示すブロック図である。 TWS(L)及びTWS(R)の外観を例示した図である。 本技術の概要を説明する図である。 本技術の概要を説明する図である。 TWS(L)及びTWS(R)のユーザの耳への各着脱状態と各着脱状態間での遷移に伴う処理例と表した図である。 第１形態に係る着脱状態検出を説明するブロック図である。 第１形態に係る着脱状態検出の処理手順を例示したフローチャートである。 状態判定部における判定処理を説明する図である。 第２形態に係る着脱状態検出を説明するブロック図である。 第２形態に係る着脱状態検出の処理手順を例示したフローチャートである。 第２形態に係る着脱状態検出の処理手順を例示したフローチャートである。 補助センサを常に用いてTWS(L)及びTWS(R)の着脱状態検出を行う場合の手順を例示したフローチャートである。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜情報処理システムの実施の形態＞
　図１は、本技術の実施の形態に係る情報処理システムの構成例を示すブロック図である。
　図１において、本技術が適用された情報処理システムの実施の形態である情報処理システム１は、スマートフォン１１、TWS(L)（True Wireless Stereo(Left)：完全ワイヤレスステレオ（左側））１２Ｌ、及び、TWS(R)（True Wireless Stereo(Right)：完全ワイヤレスステレオ（右側））１２Ｒを有する。
　スマートフォン１１、TWS(L)１２Ｌ、及び、TWS(R)１２Ｒのうちの任意の２つの装置の間は、所定の通信規格に準拠した無線通信により接続可能である。本実施の形態では、スマートフォン１１とTWS(L)１２Ｌ及びTWS(R)１２Ｒのそれぞれとの間、並びに、TWS(L)１２ＬとTWS(R)１２Ｒとの間は、いずれも、Bluetooth（登録商標）規格のうちの１つであるBluetooth（登録商標） Low Energy規格（以下、BLEという）に準拠した無線通信により接続可能であるとする。以下において、装置間におけるBLEの無線通信による接続を、単に接続、又は、BLEによる接続等という。装置間におけるBLEの無線通信による接続を行うそれぞれの装置の通信部に関して、無線通信による接続を行っている状態を、通信部の無線通信が有効な状態とし、無線通信による接続を行っていない状態を通信部の無線通信が無効な状態とする。
　ただし、装置間を接続する無線通信の規格は、BLE以外の任意の規格であってよいし、装置間を接続する無線通信の全てが同一の規格でなくてもよい。
　スマートフォン１１は、周知の情報処理装置である。スマートフォン１１が有する構成部のうち、TWS(L)１２Ｌ及びTWS(R)１２Ｒとの無線通信に関連する構成部としては、処理部３１と通信部３２とがある。
　処理部３１は、記憶部（不図示）に記憶されたプログラムを実行し、プログラムに従った処理を実行する。処理部３１は、スマートフォン１１に接続されたTWS(L)１２ＬやTWS(R)１２Ｒに対して送信する音声データ等のデータ（データ本体）を通信部３２に供給する。処理部３１は、スマートフォン１１に接続されたTWS(L)１２ＬやTWS(R)１２Ｒが送信したデータを通信部３２を介して取得する。
　通信部３２は、処理部３１から供給されたデータに対してカプセル化及び変調等の処理を行う。これによって、通信部３２は、BLEに準拠した伝送データ（所定ビット長のパケット）を生成し、電波としてTWS(L)１２ＬやTWS(R)１２Ｒに送信する。通信部３２は、スマートフォン１１に接続されたTWS(L)１２ＬやTWS(R)１２Ｒが電波として送信した伝送データを受信する。通信部３２は、受信した伝送データに対して復調及び非カプセル化等の処理を行い、データを処理部３１に供給する。
　なお、スマートフォン１１は、一例であり、パーソナルコンピュータ、音楽再生装置、携帯端末等の任意の装置であってよい。
　TWS(L)１２Ｌ及びTWS(R)１２Ｒは、完全ワイヤレスステレオに対応したイヤホン等の音声出力装置を表す。図２には、イヤホンであるTWS(L)１２Ｌ及びTWS(R)１２Ｒの外観が例示されており、TWS(L)１２Ｌ及びTWS(R)１２Ｒは、それぞれ、左耳に装着される左用（左側配置用）のイヤホンと、右耳に装着される右用（右側配置用）のイヤホンとの組合せで使用される。なお、以下において、TWS(L)１２Ｌ及びTWS(R)１２Ｒは、いずれも符号を付けずにTWS(L)及びTWS(R)で表すこととする。TWS(L)１２Ｌ及びTWS(R)１２Ｒは一例であって、本技術は、頭部（特に耳）等の所定部分に互いに対向して着脱可能に装着される２つの装置に対して適用され得る。
　図１において、TWS(L)は、加速度センサ５１Ｌ、補助センサ５２Ｌ、処理部５３Ｌ、及び通信部５４Ｌを有する。加速度センサ５１Ｌは、直交３軸方向の加速度を検出する。加速度センサ５１Ｌの検出信号（加速度データ）は、処理部５３Ｌに供給される。補助センサ５２Ｌは、耳との接触を検出する。例えば、補助センサ５２Ｌは、近接センサ、接触センサ、又は脈波センサなどの物体が近接又は接触したことを検出するセンサであれば特定の種類に限定されない。補助センサ５２Ｌの検出信号は、処理部５３Ｌに供給される。
　処理部５３Ｌは、記憶部（不図示）に記憶されたプログラムを実行し、プログラムに従った処理を実行する。処理部５３Ｌは、TWS(L)１２に接続されたスマートフォン１１やTWS(R)に対して送信するデータ（データ本体）を通信部５４Ｌに供給する。処理部５３Ｌは、TWS(L)に接続されたスマートフォン１１やTWS(R)が送信したデータを通信部５４Ｌを介して取得する。また、処理部５３Ｌは、TWS(L)及びTWS(R)の着脱状態を検出する。処理部５３Ｌには、着脱状態の検出に関連する機能構成が例示されている。処理部５３Ｌは、センサ値取得部７１Ｌ、状態判定部７２Ｌ、及び状態記憶部７３Ｒを有する。
　センサ値取得部７１Ｌは、加速度センサ５１Ｌで検出されたセンサ値（加速度データ）を取得する。また、センサ値取得部７１Ｌは、通信部５４Ｌを通じてTWS(R)の加速度センサ５１Ｒで検出されたセンサ値（加速度データ）を取得する。
　状態判定部７２Ｌは、センサ値取得部７１で取得されたセンサ値又は状態記憶部７３Ｌに記憶されている情報に基づいてTWS(L)及びTWS(R)の着脱状態を判定する。
　状態記憶部７３Ｌは、状態判定部７２Ｌにより判定されたTWS(L)の現時点での着脱状態を記憶する。状態記憶部７３Ｌは、TWS(L)とTWS(R)の着脱状態を記憶する場合であってもよい。
　通信部５４Ｌは、処理部５３Ｌから供給されたデータに対してカプセル化及び変調等の処理を行う。これによって、通信部５４Ｌは、BLEに準拠した伝送データ（所定ビット長のパケット）を生成し、電波としてTWS(L)に接続されたスマートフォン１１やTWS(R)に送信する。通信部５４Ｌは、TWS(L)に接続されたスマートフォン１１やTWS(R)が電波として送信した伝送データ（パケット）を受信する。通信部５４Ｌは、受信した伝送データに対して復調及び非カプセル化等の処理を行い、処理部５３Ｌに供給する。
　TWS(R)は、加速度センサ５１Ｒ、補助センサ５２Ｒ、処理部５３Ｒ、及び通信部５４Ｒを有する。これらの加速度センサ５１Ｒ、補助センサ５２Ｒ、処理部５３Ｒ、及び通信部５４Ｒは、それぞれ、TWS(L)の加速度センサ５１Ｌ、補助センサ５２Ｌ、処理部５３Ｌ、及び通信部５４Ｌに対応し、それらと同様の処理を行う構成部であるので、説明を省略する。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
（接続形態）
　TWS(L)とTWS(R)とがスマートフォン１１に対してBLEにより接続し、GATT(Generic Attribute Profile)仕様のデータ通信を行う場合に、例えば、次のような接続形態がある。一の接続形態では、スマートフォン１１をマスタ（親機）として、TWS(L)とTWS(R)とのうちのいずれか一方（例えば、TWS(L)とする）がスレーブ（子機）としてスマートフォン１１に接続される。スレーブとしてスマートフォン１１に接続されたTWS(L)は、同時に他方のTWS(R)に対してマスタとなり、TWS(R)がスレーブとなってTWS(L)とTWS(R)とが接続される。これによれば、スマートフォン１１から例えばステレオ音声データがTWS(L)に伝送された場合に、TWS(L)がステレオ音声データを左用の音声データと右用の音声データに分離する。TWS(L)は、左用の音声データを再生する。TWS(L)は、分離した右用の音声データをTWS(R)に伝送し、TWS(R)が、右用の音声データを再生する。
　他の接続形態では、スマートフォン１１をマスタとし、TWS(L)とTWS(R)とがスレーブとしてスマートフォン１１に個別に接続される。この場合、スマートフォン１１が左用の音声データと右用の音声データとを個別に伝送する機能を備えているときには、スマートフォン１１からTWS(L)には左用の音声データが伝送されて、TWS(L)が左用の音声データを再生する。スマートフォン１１からTWS(R)には右用の音声データが伝送されて、TWS(R)が右用の音声データを再生する。TWS(L)とTWS(R)とのうちのいずれか一方のみがスマートフォン１１と接続されて音声データが再生される場合もある。
　TWS(L)とTWS(R)とがスマートフォン１１に対してBLEにより接続し、ブロードキャスト通信を行う場合、スマートフォン１１をスレーブ（ブロードキャスタ）とし、TWS(L)とTWS(R)とがマスタ（オブザーバ）としてスマートフォン１１に個別に接続される。この場合、スマートフォン１１からTWS(L)及びTWS(R)に例えば同一の音声データが伝送され、TWS(L)及びTWS(R)のそれぞれが音声データを再生する。
（本技術の概要）
　TWS(L)及びTWS(R)は、ワイヤレスであり、充電バッテリが内蔵されている。そのため、低消費電力であることが重要である。TWS(L)及びTWS(R)の耳への着脱状態として、TWS(L)及びTWS(R)のうち、その両方が耳に装着された両耳装着状態と、一方が耳に装着された片耳装着状態と、両方とも耳に装着されていない無装着状態とがある。片耳装着状態では、耳に装着されていないTWS(L)又はTWS(R)は音声データの聴取に使用されていない。無装着状態では、TWS(L)及びTWS(R)の両方が音声データの聴取に使用されていない。したがって、TWS(L)及びTWS(R)の装着状態に応じてTWS(L)及びTWS(R)のうちの耳に装着されていないTWSに対しては、BLEによる接続（ペアリング）を行わず、音声データの供給を行わないことで、無駄な消費電力を低減することができる。耳に装着されていないTWSに対しては、BLEによる接続を行わない（無線通信を無効にする）だけでなく、電源をオフにすることも可能である。しかしながら、TWS(L)及びTWS(R)の着脱状態が変わるごとに、TWS(L)及びTWS(R)のそれぞれのBLEによる接続状態を変更したり、音声データの再生状態を変更することをユーザが操作して行うのは手間を要する。
　特許文献１（特開２０２０ー３１４４４号公報）には、ウェアラブルデバイスの装着部にユーザへの着脱を検知するセンサが取り付けられることが提示されているが、具体的な方法は開示されていない。また、TWS(L)及びTWS(R)への接触をセンサで検出して、着脱状態を検出することも考えられる。しかしながら、TWS(L)及びTWS(R)に対して耳以外の部分が接触している場合があり、誤動作が生じやすい。
　本技術では、以下で説明するように加速度センサを用いてTWS(L)及びTWS(R)の着脱状態を検出する。加速度センサは、着脱状態の検出以外に他の用途（ユーザの操作検出等）にも利用し得る点でも、TWS(L)及びTWS(R)の加速度センサでTWS(L)及びTWS(R)の着脱状態を検出できるようにすることは効果的である。即ち、本技術では、TWS(L)及びTWS(R)のそれぞれの加速度センサで検出された加速度のデータの両方を用いることで、一方のデータだけでは判断できないTWS(L)及びTWS(R)の着脱状態を判断できるようにし、加速度センサを他の用途での利用と併せて有効利用することができようにする。
　図１のTWS(L)及びTWS(R)がそれぞれ有する加速度センサ５１Ｌ及び５１Ｒは、3軸の加速度センサであり、自身に設定されたX,Y,Z軸の3方向の加速度を検出する。加速度センサ５１Ｌ及び５１Ｒは、TWS(L)及びTWS(R)の両方がユーザの両耳に装着されたときの標準的な姿勢（相対的な姿勢）を想定し、そのときに、加速度センサ５１Ｌ及び５１ＲのそれぞれのX軸同士、Y軸同士、及びZ軸同士が平行となるようにTWS(L)及びTWS(R)の内部に固定される。図２は、TWS(L)及びTWS(R)がそれぞれ有する加速度センサ５１Ｌ及び５１ＲのX,Y,Z軸の方向が例示されている。
　これよれば、ユーザ１０１の両耳に対してTWS(L)及びTWS(R)が装着されている両耳装着状態の場合には、TWS(L)及びTWS(R)は対向位置（及び姿勢）の関係にある。この場合、それぞれの加速度センサ５１Ｌ及び５１Ｒで検出されるX,Y,Z軸の3方向のそれぞれに対する重力（重力加速度）の大きさは、ほぼ一致する。即ち、これを別言すると、重力加速度の大きさ及び方向を示すベクトルを重力ベクトルと称した場合に、加速度センサ５１Ｌ及び５１ＲのそれぞれのXYZ座標系で検出される重力ベクトルの大きさ及び方向（重力ベクトルのX,Y,Z成分値）がほぼ一致する。一方、ユーザ１０１の片耳に対してTWS(L)又はTWS(R)が装着されている片耳装着状態の場合には、加速度センサ５１Ｌ及び５１Ｒにより検出される重力ベクトルの方向が一致しない。図３は、TWS(L)及びTWS(R)が両耳装着状態から片耳装着状態に変化した様子を示している。図３に示すように正面を向くユーザ１０１の両耳にTWS(L)又はTWS(R)が装着されている両耳装着状態の場合、即ち、TWS(L)及びTWS(R)が対向位置の関係に配置されている場合を想定する。重力はユーザ１０１の頭部に対して下向きである。この場合に、加速度センサ５１Ｌ及び５１Ｒにより検出される重力ベクトルの大きさ及び方向（重力ベクトルのX,Y,Z成分）が一致するように加速度センサ５１Ｌ及び５１ＲがTWS(L)及びTWS(R)に対して設置されている。したがって、加速度センサ５１Ｌ及び５１Ｒにより検出される重力ベクトルの大きさ及び方向はほぼ一致する。
　一方、両耳装着状態からTWS(R)が取り外されると、重力方向は下向きであるが、TWS(R)が検出する重力ベクトルの方向が変化し、TWS(L)が検出する重力ベクトルの方向と相違する。仮に図４のように両耳装着状態で、ユーザ１０１が頭部を傾けた場合に、加速度センサ５１Ｌ及び５１Ｒがそれぞれ検出する重力ベクトルの方向が変化するが、重力ベクトルの大きさ及び方向は一致した状態に維持される。
　このように、TWS(L)及びTWS(R)の加速度センサ５１Ｌ及び５１Ｒによって、TWS(L)及びTWS(R)が対向位置の関係にあるか否かが重力を利用して検出され、両耳装着状態であるか否かが検出される。ただし、TWS(L)及びTWS(R)が対向位置の関係にない場合には、無装着状態であるか片耳装着状態であるかを判別することができないので、それらの状態に遷移する前の着脱状態に対して生じたTWS(L)及びTWS(R)の加速度の変化や補助センサ５２Ｌ、５２Ｒの出力値を適宜利用して無装着状態であるか片耳装着状態であるかを判別する。
　図５は、TWS(L)及びTWS(R)のユーザの耳への各着脱状態と各着脱状態間での遷移に伴う処理例と表した図である。図５において、TWS(L)及びTWS(R)の着脱状態として両耳装着状態、片耳装着状態、及び無装着状態の３つの着脱状態が示されている。
　無装着状態から両耳装着状態に遷移した場合には、スマートフォン１１とTWS(L)及びTWS(R)との間のBLEによる接続（ペアリング）を行い、TWS(L)及びTWS(R)からの音声（音楽等）再生を開始する。なお、スマートフォン１１とTWS(L)及びTWS(R)との間のBLEによる接続とは、例えば、スマートフォン１１とTWS(L)との間、及び、TWS(L)とTWS(R)との間の接続の場合と、スマートフォン１１とTWS(L)との間、及び、スマートフォン１１とTWS(R)との間の接続の場合とのいずれの場合であってもよい。音声再生の開始や停止の処理はスマートフォン１１の処理部３１における実行される音声再生アプリによる処理である。
　両耳装着状態から無装着状態に遷移した場合には、スマートフォン１１とTWS(L)及びTWS(R)との間の接続（ペアリング）の解除を行い、TWS(L)及びTWS(R)からの音声（音楽等）再生を停止する。
　無装着状態から片耳装着状態に遷移した場合には、スマートフォン１１と耳に装着されたTWS(L)又はTWS(R)との間の接続（ペアリング）を行い、耳に装着されたTWS(L)又はTWS(R)からの音声（音楽等）再生を開始する。なお、TWS(L)又はTWS(R)のうち、耳に装着されたTWSをTWS(X)、耳に装着されないTWSをTWS(-X)で表すこととする。片耳装着状態から無装着状態に遷移した場合には、スマートフォン１１とTWS(X)との間の接続（ペアリング）の解除を行い、TWS(X)からの音声再生を停止する。
　両耳装着状態から片耳装着状態に遷移した場合には、スマートフォン１１と耳から外された（耳に装着されなくなる）TSW(-X)との間の接続（ペアリング）の解除を行い、TWS(-X)からの音声再生を停止する。
　片耳装着状態から両耳装着状態に遷移した場合には、スマートフォン１１と耳に装着されることとなるTSW(X)との間の接続（ペアリング）を行い、TWS(X)からの音声再生を開始する。
＜＜着脱状態検出の詳細＞＞
　TWS(L)及びTWS(R)の着脱状態検出は、TWS(L)又はTWS(R)のいずれかに対して耳への着脱操作が行われる際の加速度変化が検出されたときに行われる。TWS(L)又はTWS(R)の耳への着脱操作は歩行時等の加速度変化とは異なり、一方向に向かう大きな加速度が発生するため、加速度変化により着脱操作か否かを判別することができる。
　TWS(L)及びTWS(R)の着脱状態検出は、TWS(L)及びTWS(R)のうち、着脱操作されるTWSで行う第１形態と、着脱操作されないTWSで行う第２形態とに分けて説明する。TWS(L)及びTWS(R)の着脱状態検出をTWS(L)及びTWS(R)のいずれが行うかについては、第１形態及び第２形態以外の任意の形態であってよく、第１形態及び第２形態の応用により任意の形態での着脱状態検出を実施することができる。
＜第１形態に係る着脱状態検出＞
　TWS(L)及びTWS(R)の第１形態に係る着脱状態検出について、図６乃至図８を適宜用いて説明する。図６は、図１の情報処理システム１において、第１形態に係る着脱状態検出に使用されるブロックを抽出して示した図である。ただし、TWS(R)の構成はTWS(L)と同様であるので省略している。図７は、第１形態に係る着脱状態検出の処理手順を例示したフローチャートである。図８は、状態判定部７２Ｌ（７２Ｒ）における判定処理を説明する図である。
　第１形態に係る着脱状態検出は、着脱操作されるTWSにおいて行われる場合である。本説明では、TWS(L)が着脱操作され、TWS(L)が行う着脱状態検出に着目する。TWS(R)が着脱操作され、TWS(R)が着脱状態検出を行う場合については、TWS(L)が行う着脱状態検出の処理をTWS(R)が行う点で相違するだけなので説明を省略する。
　図６において、TWS(L)のセンサ値取得部７１Ｌは、電源がオンされると、加速度センサ５１Ｌに対してセンサ値（加速度データ）を問い合わせ、加速度センサ５１Ｌから所定周期でのセンサ値の取得を開始する。取得されたセンサ値は、状態判定部７２Ｌに通知される。状態判定部７２Ｌは、センサ値取得部７１Ｌからのセンサ値に基づいて、TWS(L)が着脱操作されたことを示す加速度変化（以下、単に加速度変化ともいう）を検出すると（図７のステップＳ１１）、TWS(L)の着脱状態が着脱操作されている着脱操作状態であると判定する。状態判定部７２Ｌは、TWS(L)の着脱操作状態であると判定すると、TWS(R)の着脱状態を把握する（図７のステップＳ１２）。TWS(L)の状態判定部７２ＬによるTWS(R)の着脱状態を把握は、例えば、次の方法で行われる。なお、図６のブロック図では、通信部５４Ｌ及び５４Ｒが省略されており、以下における説明ではTWS(L)とTWS(R)との間での情報のやり取りにBLE等の通信が用いられることを必要な場合を除いて省略する。
　TWS(L)の状態判定部７２Ｌは、TWS(L)が着脱操作状態であると判定すると、センサ値取得部７１Ｌにより、TWS(R)のセンサ値取得部７１Ｒに対して、センサ値（加速度データ）を問い合わせる。センサ値取得部７１Ｒは、センサ値の問い合わせに応答して加速度センサ５１Ｒから所定周期でセンサ値を取得し、取得したセンサ値をセンサ値取得部７１Ｌに返信する。状態判定部７２Ｌは、センサ値取得部７１Ｒから返信されたセンサ値をセンサ値取得部７１Ｌを介して取得し、取得したセンサ値に基づいて、TWS(R)の着脱状態を把握する。ここで、センサ値取得部７１Ｒからの返信（応答）が得られない場合には、TWS(R)の電源がオフであり、状態判定部７２Ｌは、TWS(R)が右耳に装着されていない非装着状態であると判定する（みなす）。センサ値取得部７１Ｒからの返信（応答）が得られた場合に、その返信として得られたセンサ値に、着脱操作されたことを示す加速度変化が起きているときには、状態判定部７２Ｌは、TWS(R)が着脱操作されている着脱操作状態であると判定する。返信として得られたセンサ値に、着脱操作されたことを示す加速度変化が起きていないとき、即ち、着脱操作状態ではないときには、状態判定部７２Ｌは、状態記憶部７３Ｒに記憶されているTWS(R)の着脱状態の情報に基づいて、TWS(R)が右耳に装着された装着状態か、右耳に装着されていない非装着状態かを判定する。状態記憶部７３Ｒに記憶されている着脱状態の情報を取得する場合、状態判定部７２Ｌは、センサ値取得部７１Ｌにより、センサ値取得部７１Ｒに対して、TWS(R)の着脱状態を問い合わせ、その返信として、状態記憶部７３Ｒに記憶されている着脱状態の情報をセンサ値取得部７１Ｒ及びセンサ値取得部７１Ｌを介して取得する。なお、TWS(R)が着脱操作状態であるか否かの情報が状態記憶部７３Ｒに記憶される場合には、状態判定部７２Ｌは、状態記憶部７３Ｒの着脱状態の情報を取得することで、TWS(R)が、装着状態、非装着状態、及び着脱操作状態のいずれかを判定（把握）する場合であってもよい。また、状態記憶部７３ＬにTWS(R)の着脱状態の情報が記憶される場合には、状態判定部７２Ｌは、状態記憶部７３Ｌに問い合わせして取得したTWS(R)の着脱状態の情報に基づいて、TWS(R)が装着状態か非装着状態かを把握する場合であってもよい。
　状態判定部７２Ｌは、TWS(R)の着脱状態を把握すると、TWS(R)が着脱操作状態の場合には、TWS(L)よりも先にTWS(R)の加速度変化が起きていたか否か、即ち、TWS(L)よりも先にTWS(R)が着脱操作状態となったか否かを判定する（図７のステップＳ１３）。TWS(L)よりも先にTWS(R)の加速度変化が起きていたか否かは、TWS(R)のセンサ値取得部７１ＲによるTWS(L)へのセンサ値又は着脱状態の問い合わせがTWS(L)よりも先に行われたか否かで判定することができる。状態判定部７２Ｌは、TWS(L)よりも先にTWS(R)の加速度変化が起きていたと判定した場合には、着脱状態検出の処理を中止する（図７のステップＳ１４）。即ち、TWS(L)とTWS(R)との両方に加速度変化（着脱操作）が起きた場合には先に加速度変化が起きた一方が着脱状態検出の処理を実施し、他方は着脱状態検出の処理を行わずにセンサ値のみを一方に返信する。なお、後に加速度変化が起きたTWSが着脱状態検出の処理を実施してもよい。
　状態判定部７２Ｌは、TWS(L)よりも先にTWS(R)の加速度変化が起きていたと判定しない場合（TWS(R)に加速度変化が起きていない場合も含む）には、TWS(R)の着脱状態が装着状態であるか否かを判定する（図７のステップＳ１５）。なお、状態判定部７２Ｌは、加速度センサ５１Ｌ及び５１Ｒのセンサ値の取得を周期的に継続して行い、TWS(L)の着脱操作が行われていることを示す加速度変化が検出されなくなってから図７のステップＳ１５の判定を実施する。TWS(R)が非装着状態又は着脱操作状態であると判定した場合には、状態判定部７２Ｌは、TWS(L)とTWS(R)との対向位置の関係に基づいて、TWS(L）の着脱状態を検出することができないため、補助センサ５２Ｌをオンにし、補助センサ５２Ｌから返却される値を取得する（図７のステップＳ１６）。状態判定部７２Ｌは、補助センサ５２Ｌから取得した値に基づいて、TWS(L)が装着状態か否かを判定する（図７のステップＳ１７）。補助センサ５２Ｌからの値により、TWS(L)に対して近接又は接触する物体があることが検出された場合には、状態判定部７２Ｌは、TWS(L)が装着状態であると判定し、TWS(L)に対して近接又は接触する物体がないことが検出された場合には、状態判定部７２Ｌは、TWS(L)が非装着状態であると判定する。ここで、TWS(R)は非装着状態又は着脱操作状態であるので、状態判定部７２Ｌは、TWS(L)が装着状態であると判定した場合には、TWS(L)及びTWS(R)の着脱状態を片耳装着状態（TWS(L)のみ装着状態）と判定する。状態判定部７２Ｌは、TWS(L)が非装着状態であると判定した場合には、TWS(L)及びTWS(R)の着脱状態を無装着状態と判定する（図７のステップＳ１８）。状態判定部７２Ｌは、着脱状態の判定後、補助センサ５２Ｌをオフにし、判定結果である着脱状態を状態記憶部７３Ｌに記憶させる。また、状態判定部７２Ｌは、判定結果である着脱状態をTWS(R)の処理部５３Ｒに送信し、状態記憶部７２Ｒに記憶させる。
　なお、TWS(R)が着脱操作状態の場合には、状態判定部７２Ｌは、TWS(R)の着脱操作が行われていることを示す加速度変化が検出されなくなってから、TWS(R)の着脱状態を判定する。このとき、TWS(L)が装着状態である場合には、状態判定部７２Ｌは、TWS(L)とTWS(R)との対向位置の関係に基づいて、TWS(L）の着脱状態を検出する。TWS(L)が非装着状態である場合には、状態判定部７２Ｌは、補助センサ５２Ｒから取得した値に基づいてTWS(L）の着脱状態を検出する。状態判定部７２Ｌは、判定結果である着脱状態を状態記憶部７３Ｌに記憶させる。また、状態判定部７２Ｌは、判定結果である着脱状態をTWS(R)の処理部５３Ｒに送信し、状態記憶部７２Ｒに記憶させる。
　状態判定部７２Ｌは、TWS(R)が装着状態であるか否かを判定した結果（図７のステップＳ１５）。TWS(R)が装着状態であると判定した場合には、TWS(L)とTWS(R)との対向位置の関係に基づいて、TWS(L）の着脱状態を検出する（図１７のステップＳ１９）。即ち、状態判定部７２Ｌは、加速度センサ５１Ｌのセンサ値と、加速度センサ５１Ｒのセンサ値とに基づいて、TWS(L)とTWS(R)とが対向位置の関係にあるか否かを判定する。具体的には、図８に示すように、状態判定部７２Ｌは、加速度センサ５１Ｌのセンサ値と、加速度センサ５１Ｒのセンサ値とをX,Y,Z成分ごとに減算器９１Ｌで減算した後、ローパスフィルタ９２Ｌで低周波成分のみを抽出する。即ち、状態判定部７２Ｌは、加速度センサ５１Ｌ及び５１Ｒのそれぞれで検出された重力ベクトルとの差分を表す差分ベクトルの低周波成分を抽出する。状態判定部７２Ｌは、差分ベクトルが所定の閾値以下の大きさである場合には、ゼロとみなして、TWS(L)及びTWS(R)とが対向位置の関係にあると判定し、TWS(L)及びTWS(R)の着脱状態を、両耳装着状態であると判定する。状態判定部７２Ｌは、差分ベクトルが所定の閾値より大きい場合には、TWS(L)が非装着状態であり、TWS(L)及びTWS(R)の着脱状態を、片耳装着状態（TWS(R)のみ装着状態）であると判定する。状態判定部７２Ｌは、着脱状態の判定後、判定結果である着脱状態を状態記憶部７３Ｌに記憶させる。また、状態判定部７２Ｌは、判定結果である着脱状態をTWS(R)の処理部５３Ｒに送信し、状態記憶部７２Ｒに記憶させる。
　以上のTWS(L)及びTWS(R)の第１形態に係る着脱状態検出によれば、TWS(L)及びTWS(R)が、無装着状態、片耳装着状態、又は両耳装着状態のそれぞれから無装着状態、片耳装着状態、又は両耳装着状態のそれぞれに遷移した場合の遷移後の着脱状態を検出することができる。なお、TWS(L)及びTWS(R)の両方が着脱操作された場合に、TWS(L)及びTWS(R)の両方が着脱状態検出を行う場合であってもよい。TWS(L)及びTWS(R)のそれぞれの無線通信の状態又は電源の状態が、それぞれの装着状態に応じて自動的に有効と無効、又はオンとオフとに切り替えられることで、ユーザの手間なく消費電力の低減が図られる。
＜第２形態に係る着脱状態検出＞
　TWS(L)及びTWS(R)の第２形態に係る着脱状態検出について、図９乃至図１１を適宜用いて説明する。図９は、図１の情報処理システム１において、第２形態に係る着脱状態検出に使用されるブロックを抽出して示した図である。図１０及び図１１は、第２形態に係る着脱状態検出の処理手順を例示したフローチャートである。
　ここで、第２形態に係る着脱状態検出は、TWS(L)及びTWS(R)のいずれかが着脱操作された場合に、着脱操作されないTWSが図１０の手順に従って着脱状態検出の処理を行う。ただし、無装着状態から片耳装着状態への遷移、又は、片耳装着状態から無装着状態への遷移では、着脱操作されないTWSは、非装着状態であり、電源がオフされている可能性があるので、着脱操作されるTWSが図１１の手順に従って着脱状態検出の処理を行う。また、TWS(L)及びTWS(R)の両方が着脱操作された場合にも第１形態に係る着脱状態検出と同様に先又は後に着脱操作されたTWSが図１１の手順に従って着脱状態検出の処理を行う。なお、本説明では、TWS(L)が行う着脱状態検出に着目する。TWS(R)が行う着脱状態検出は、TWS(L)が行う着脱状態検出をTWS(R)が行う点で相違するだけなので説明を省略する。
　まず、TWS(L)が着脱操作されず、TWS(R）が着脱操作されることとする。図９において、TWS(L)のセンサ値取得部７１Ｌは、加速度センサ５１Ｌに対してセンサ値（加速度データ）を問い合わせ、加速度センサ５１Ｌから所定周期でセンサ値の取得を開始する。取得されたセンサ値は、状態判定部７２Ｌに通知される。状態判定部７２Ｌは、加速度センサ５１Ｌのセンサ値に基づいて、TWS(R)が着脱操作されたことを示す加速度変化（以下、単に加速度変化という）の検出を開始する（図１０のステップＳ３１）。ここでは、加速度変化は検出されず、TWS(L）は装着状態であるとする。一方、TWS(R）が着脱操作されてTWS(R)のセンサ値取得部７１Ｒからセンサ値又は着脱状態の問い合わせがあると、センサ値取得部７１Ｌは、加速度センサ５１Ｌのセンサ値をセンサ値取得部７１Ｒに返信すると共に、状態判定部７２Ｌは、TWS(R)の着脱状態を把握する（図１０のステップＳ３２)。TWS(R)の着脱状態を把握は、第１形態に係る着脱状態検出と同様の方法により実施される（図７のステップＳ１２参照）。
　状態判定部７２Ｌが、TWS(R)の着脱状態を把握した結果、TWS(R)が着脱操作状態であることを検出した場合には、センサ値取得部７１Ｌが、TWS(R)のセンサ値取得部７１Ｒに対して加速度センサ５１Ｒのセンサ値を問い合わせ、センサ値取得部７１Ｒから所定周期で返信されるセンサ値を取得する(図１０のステップＳ３３）。センサ値取得部７１Ｒは、加速度センサ５１Ｒに対してセンサ値（加速度データ）を問い合わせ、加速度センサ５１Ｒから所定周期でセンサ値を取得し、取得したセンサ値をセンサ値取得部７１Ｌに返信する。センサ値取得部７１Ｌに返信された加速度センサ５１Ｒのセンサ値は、状態判定部７２Ｌに通知される。なお、TWS(Ｌ)の加速度センサ５１Ｌのセンサ値は、TWS(R)が着脱操作されたか否かにかかわらず、センサ値取得部７１Ｌから状態判定部７２Ｌに通知されている。
　状態判定部７２Ｌは、加速度センサ５１Ｌのセンサ値と、加速度センサ５１Ｒのセンサ値とに基づいて、TWS(L)とTWS(R)とが対向位置の関係にあるか否かを判定する（図１０のステップＳ３４）。具体的な処理は、図８で説明した処理と同じであるので説明を省略する。なお、状態判定部７２Ｌは、TWS(L)及びTWS(R)の両方に関して着脱操作が行われていることを示す加速度変化が検出されなくなってから図１０のステップＳ３４の判定を実施する。状態判定部７２Ｌは、TWS(L)及びTWS(R)が対向位置の関係にあると判定した場合には、TWS(L)及びTWS(R)の着脱状態を、両耳装着状態であると判定する。状態判定部７２Ｌは、TWS(R)が非装着状態であると判定した場合には、TWS(L)及びTWS(R)の着脱状態を、片耳装着状態（TWS(L)のみ装着状態）であると判定する。状態判定部７２Ｌは、着脱状態の判定後、判定結果である着脱状態を状態記憶部７３Ｌに記憶させる。状態記憶部７３Ｌに記憶された着脱状態は、TWS(R)に送信され、TWS(R)の状態記憶部７３Ｒに記憶される。
　次に、TWS(L）が着脱操作される場合のTWS(L）における着脱状態検出について説明する。図９において、TWS(L)のセンサ値取得部７１Ｌは、加速度センサ５１Ｌに対してセンサ値（加速度データ）を問い合わせ、加速度センサ５１Ｌから所定周期でセンサ値の取得を開始する。取得されたセンサ値は、状態判定部７２Ｌに通知される。状態判定部７２Ｌは、加速度センサ５１Ｌのセンサ値に基づいて、TWS(L)が着脱操作されたことを示す加速度変化の検出を開始する（図１１のステップＳ５１）。状態判定部７２Ｌは、TWS(L)が着脱操作されたことを示す加速度変化を検出した場合には、センサ値取得部７１Ｌからセンサ値取得部７１Ｒにセンサ値又は着脱状態を問い合わせて、TWS(R）の着脱状態を把握する（図１１のステップＳ５２)。なお、TWS(R)の着脱状態を把握は、第１形態に係る着脱状態検出と同様の方法により実施される（図７のステップＳ１２参照）。
　状態判定部７２Ｌは、把握したTWS(R)の着脱状態、装着状態、又は、着脱操作状態であるか否かを判定する（図１１のステップＳ５３）。なお、状態判定部７２Ｌは、TWS(R)及びTWS(L)の両方が着脱操作された場合には、第１形態に係る着脱状態検出と同様に先又は後に着脱操作されたTWSが図１１のステップＳ５３以降の処理を行う。ここでは、TWS(L)が図１１のステップＳ５３以降の処理を行うこととする。また、TWS(L)の着脱操作が行われていることを示す加速度変化が検出されなくなってから図１１のステップＳ５３の判定が実施される。TWS(R)が非装着状態又は着脱操作状態であると判定した場合には、状態判定部７２Ｌは、図７のステップＳ１６乃至１８と同様に、補助センサ５２Ｌから取得した値に基づいて、TWS(L)が装着状態か否かを判定する（図１１のステップＳ５４乃至Ｓ５６）。状態判定部７２Ｌは、TWS(L)が装着状態であると判定した場合には、TWS(L)及びTWS(R)の着脱状態を片耳装着状態（TWS(L)のみ装着状態）と判定する。状態判定部７２Ｌは、TWS(L)が非装着状態であると判定した場合には、TWS(L)及びTWS(R)の着脱状態を無装着状態と判定する。状態判定部７２Ｌは、着脱状態の判定後、補助センサ５２Ｌをオフにし、判定結果である着脱状態を状態記憶部７３Ｌに記憶させる。また、状態判定部７２Ｌは、判定結果である着脱状態をTWS(R)の処理部５３Ｒに送信し、状態記憶部７２Ｒに記憶させる。なお、TWS(R)が着脱操作状態の場合には、状態判定部７２Ｌは、TWS(R)の着脱操作が行われていることを示す加速度変化が検出されなくなってから、TWS(R)の着脱状態を判定する。このとき、TWS(L)が装着状態である場合には、状態判定部７２Ｌは、TWS(L)とTWS(R)との対向位置の関係に基づいて、TWS(L）の着脱状態を検出する。TWS(L)が非装着状態である場合には、状態判定部７２Ｌは、補助センサ５２Ｒから取得した値に基づいてTWS(L）の着脱状態を検出する。状態判定部７２Ｌは、判定結果である着脱状態を状態記憶部７３Ｌに記憶させる。また、状態判定部７２Ｌは、判定結果である着脱状態をTWS(R)の処理部５３Ｒに送信し、状態記憶部７２Ｒに記憶させる。
　状態判定部７２Ｌは、把握したTWS(R)の着脱状態が装着状態であると判定した場合には（図１１のステップＳ５３）、センサ値取得部７１Ｌに対して加速度センサ５１Ｌのセンサ値（加速度データ）をTWS(R)に送信させる（図１１のステップＳ５７）。これにより、図１０の着脱状態検出の処理がTWS(R)で行われる。
　以上のTWS(L)及びTWS(R)の第２形態に係る着脱状態検出によれば、TWS(L)及びTWS(R)が、無装着状態、片耳装着状態、又は両耳装着状態のそれぞれから無装着状態、片耳装着状態、又は両耳装着状態のそれぞれに遷移した場合の遷移後の着脱状態を検出することができる。TWS(L)及びTWS(R)のそれぞれの無線通信の状態又は電源の状態が、それぞれの装着状態に応じて自動的に有効と無効、又はオンとオフとに切り替えられることで、ユーザの手間なく消費電力の低減が図られる。
＜変形例＞
　上記第１形態及び第２形態に係る着脱状態検出において、TWS(L)及びTWS(R)を加速度センサ５１Ｌ及び５１Ｒのセンサ値に基づいてTWS(L)及びTWS(R)が対向位置の関係であるか否かを検出した場合であっても、補助センサ５２Ｌ及び５２Ｒの検出結果を考慮して着脱検出を行うようにし、検出精度を高めるようにしてもよい。
　図１２は、補助センサを常に用いてTWS(L)及びTWS(R)の着脱状態検出を行う場合の手順を例示したフローチャートである。なお、TWS(L)及びTWS(R)が対向位置の関係であるか否かの検出は行われていることとする。また、TWS(L)の状態判定部７２Ｌが着脱状態を判定する場合について説明する。TWS(L)の状態判定部７２Ｌは、加速度変化を検出すると（ステップＳ７１）、補助センサ５２Ｌをオンにし、補助センサ５２ＬによりTWS(L)の耳への着脱状態を把握する。その結果、状態判定部７２Ｌは、補助センサ５２Ｌでも着脱が確認されているか否かを判定する。即ち、状態判定部７２Ｌは、加速度センサ５１Ｌ及び５１Ｒのセンサ値に基づいて把握したTWS(L)及びTWS(R)の着脱状態と、補助センサ５２Ｌにより把握したTWS(L)の着脱状態とが一致しているか否かを判定する。なお、状態判定部７２Ｌは、補助センサ５２Ｒの情報をTWS(R)から取得し、TWS(R)の着脱状態についても加速度センサ５１Ｌ及び５１Ｒのセンサ値に基づいて把握したTWS(L)及びTWS(R)の着脱状態と一致しているか否かを判定してもよい。状態判定部７２Ｌは、一致していると判定した場合には、TWS(L)及びTWS(R)の着脱状態を確定する（ステップＳ７３）。状態判定部７２Ｌは、一致していないと判定した場合には、補助センサの情報を元にTWS(L)及びTWS(R)の最終的な着脱状態を判断する（ステップＳ７４）。
＜加速度データの送信＞
　記第１形態及び第２形態に係る着脱状態検出において、TWS(L)及びTWS(R)において、加速度センサ５１Ｌ及び５１Ｒによりそれぞれ検出されたセンサ値（加速度データ）は、適宜、TWS(L)からTWS(R)へ、又は、TWS(R)からTWS(L)へとBLEにより送信される。TWS(L)とTWS(R)との間の通信はBLEに限定されず、BLE以外の任意の無線又は有線通信の規格であってよい。TWS(L)とTWS(R)との間の通信をBLEの規格に準拠した通信等により行う場合、加速度データはアドバタイジング・パケットに含められるようにしてもよい。アドバタイジング・パケットは、スレーブ側のTWSがマスタ側のTWSとの接続（ペアリング）が確立する前に行うアドバタイジングにおいて、アドバタイジング・チャネルを用いて送信するデータである。また、TWS(L)とTWS(R)との間でBLEによる接続が確立した後のGATT仕様のデータ通信を行う場合に、GATTのキャラクタリスティックとして加速度を定義し、加速度センサ５１Ｌ又は５１Ｒで検出された加速度データをGATTのキャラクタリスティックとして送信する場合であってもよい。
　以上の説明では、TWS(L)及びTWS(R)の着脱状態検出の処理がTWS(L)とTWS(R)のいずれかの処理部で行われたが、TWS(L)及びTWS(R)の着脱状態検出の処理は、TWS(L)及びTWS(R)以外の装置の処理部において必要な情報を取得することで行われるようにしてもよい。
本技術は以下のような構成も取ることができる。
（１）
　所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態を検出する処理部
　を有する情報処理システム。
（２）
　前記処理部は、前記第１加速度及び前記第２加速度に基づいて、前記第１装置及び第２装置に対する重力方向を検出し、前記重力方向に基づいて、前記第１装置及び第２装置が前記対向位置の関係か否かを判定する
　前記（１）に記載の情報処理システム。
（３）
　前記第１装置及び前記第２装置は、音声出力装置を含む
　前記（１）又は（２）に記載の情報処理システム。
（４）
　前記第１装置及び前記第２装置は、それぞれ左右の耳に装着されるイヤホンである
　前記（１）乃至（３）のいずれかに記載の情報処理システム。
（５）
　前記第１装置及び前記第２装置は、それぞれ左右の耳に装着される完全ワイヤレスイヤホンである
　前記（１）乃至（４）のいずれかに記載の情報処理システム。
（６）
　前記第１装置及び第２装置は、それぞれ無線通信を行う通信部である第１通信部及び第２通信部を有し、
　前記第１通信部は、前記第１装置の前記着脱状態に応じて前記無線通信を有効または無効に切替え、
　前記第２通信部は、前記第２装置の前記着脱状態に応じて前記無線通信を有効または無効に切替える
　前記（１）乃至（５）のいずれかに記載の情報処理システム。
（７）
　前記処理部は、前記第１加速度及び第２加速度のうちの少なくとも一方の加速度情報を無線通信を通じて取得する
　前記（１）乃至（６）のいずれかに記載の情報処理システム。
（８）
　前記加速度情報は、ペアリングを行う際のアドバタイジング・パケットに含められて伝送される
　前記（７）に記載の情報処理システム。
（９）
　前記加速度情報は、GATT仕様のデータ通信において、GATTのキャラクタリスティックの情報として伝送される
　前記（７）に記載の情報処理システム。
（１０）
　前記無線通信は、Bluetooth（登録商標） Low Energy規格に準拠した無線通信である
　前記（７）乃至（９）のいずれかに記載の情報処理システム。
（１１）
　処理部を有する
　情報処理システムの
　前記処理部が、
　所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態を検出する
　情報処理方法。
（１２）
　第１装置と無線通信により接続された第２装置に対して、前記第１装置の加速度を前記無線通信により伝送する通信部
　を有する情報処理システム。
（１３）
　前記通信部は、前記加速度を、ペアリングを行う際のアドバタイジング・パケットに含めて伝送する
　前記（１２）に記載の情報処理システム。
（１４）
　前記通信部は、前記加速度を、GATT仕様のデータ通信において、GATTのキャラクタリスティックの情報として伝送する
　前記（１２）に記載の情報処理システム。
（１５）
　前記無線通信は、Bluetooth（登録商標） Low Energy規格に準拠した無線通信である
　前記（１２）乃至（１４）のいずれかに記載の情報処理システム。
　１　情報処理システム，　１１　スマートフォン，　３１　処理部，　３２　通信部，　５１Ｌ，５１Ｒ　加速度センサ，　５２Ｌ，５２Ｒ　補助センサ，　５３Ｌ，５３Ｒ　処理部，　５４Ｌ，５４Ｒ　通信部，　７１Ｌ　センサ値取得部，　７１Ｒ　センサ値取得部，　７２Ｌ，７２Ｒ　状態判定部，　７３Ｌ　，７３Ｒ　状態記憶部

Claims (15)

  1. 　所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態を検出する処理部
    　を有する情報処理システム。
  2. 　前記処理部は、前記第１加速度及び前記第２加速度に基づいて、前記第１装置及び第２装置に対する重力方向を検出し、前記重力方向に基づいて、前記第１装置及び第２装置が前記対向位置の関係か否かを判定する
    　請求項１に記載の情報処理システム。
  3. 　前記第１装置及び前記第２装置は、音声出力装置を含む
    　請求項１に記載の情報処理システム。
  4. 　前記第１装置及び前記第２装置は、それぞれ左右の耳に装着されるイヤホンである
    　請求項１に記載の情報処理システム。
  5. 　前記第１装置及び前記第２装置は、それぞれ左右の耳に装着される完全ワイヤレスイヤホンである
    　請求項１に記載の情報処理システム。
  6. 　前記第１装置及び第２装置は、それぞれ無線通信を行う通信部である第１通信部及び第２通信部を有し、
    　前記第１通信部は、前記第１装置の前記着脱状態に応じて前記無線通信を有効または無効に切替え、
    　前記第２通信部は、前記第２装置の前記着脱状態に応じて前記無線通信を有効または無効に切替える
    　請求項１に記載の情報処理システム。
  7. 　前記処理部は、前記第１加速度及び第２加速度のうちの少なくとも一方の加速度情報を無線通信を通じて取得する
    　請求項１に記載の情報処理システム。
  8. 　前記加速度情報は、ペアリングを行う際のアドバタイジング・パケットに含められて伝送される
    　請求項７に記載の情報処理システム。
  9. 　前記加速度情報は、GATT仕様のデータ通信において、GATTのキャラクタリスティックの情報として伝送される
    　請求項７に記載の情報処理システム。
  10. 　前記無線通信は、Bluetooth（登録商標） Low Energy規格に準拠した無線通信である
    　請求項７に記載の情報処理システム。
  11. 　処理部を有する
    　情報処理システムの
    　前記処理部が、
    　所定部分に互いに対向して着脱可能に装着される第１装置及び第２装置のそれぞれの加速度である第１加速度及び第２加速度に基づいて、前記第１装置及び第２装置が対向位置の関係か否かを判定して前記第１装置及び第２装置の着脱状態を検出する
    　情報処理方法。
  12. 　第１装置と無線通信により接続された第２装置に対して、前記第１装置の加速度を前記無線通信により伝送する通信部
    　を有する情報処理システム。
  13. 　前記通信部は、前記加速度を、ペアリングを行う際のアドバタイジング・パケットに含めて伝送する
    　請求項１２に記載の情報処理システム。
  14. 　前記通信部は、前記加速度を、GATT仕様のデータ通信において、GATTのキャラクタリスティックの情報として伝送する
    　請求項１２に記載の情報処理システム。
  15. 　前記無線通信は、Bluetooth（登録商標） Low Energy規格に準拠した無線通信である
    　請求項１２に記載の情報処理システム。
PCT/JP2023/003340 2022-02-14 2023-02-02 情報処理システム、及び、情報処理方法 Ceased WO2023153299A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/835,552 US20250150784A1 (en) 2022-02-14 2023-02-02 Information processing system and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-020339 2022-02-14
JP2022020339A JP2023117653A (ja) 2022-02-14 2022-02-14 情報処理システム、及び、情報処理方法

Publications (1)

Publication Number Publication Date
WO2023153299A1 true WO2023153299A1 (ja) 2023-08-17

Family

ID=87564341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003340 Ceased WO2023153299A1 (ja) 2022-02-14 2023-02-02 情報処理システム、及び、情報処理方法

Country Status (3)

Country Link
US (1) US20250150784A1 (ja)
JP (1) JP2023117653A (ja)
WO (1) WO2023153299A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184692A (ja) * 2019-05-08 2020-11-12 シャープ株式会社 制御システム及びその制御方法
JP2020188392A (ja) * 2019-05-16 2020-11-19 ローム株式会社 ステレオイヤホン及び判定装置
WO2021131583A1 (ja) * 2019-12-25 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 同期装置及び同期方法
JP2021153243A (ja) * 2020-03-24 2021-09-30 株式会社Ｊｖｃケンウッド 音入出力制御装置、音入出力制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184692A (ja) * 2019-05-08 2020-11-12 シャープ株式会社 制御システム及びその制御方法
JP2020188392A (ja) * 2019-05-16 2020-11-19 ローム株式会社 ステレオイヤホン及び判定装置
WO2021131583A1 (ja) * 2019-12-25 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 同期装置及び同期方法
JP2021153243A (ja) * 2020-03-24 2021-09-30 株式会社Ｊｖｃケンウッド 音入出力制御装置、音入出力制御方法、及びプログラム

Also Published As

Publication number Publication date
US20250150784A1 (en) 2025-05-08
JP2023117653A (ja) 2023-08-24

Similar Documents

Publication Publication Date Title
US10966012B2 (en) Wireless earbuds, and a storage and charging capsule therefor
CN206790671U (zh) 无线耳机组
CN107809696B (zh) 一种与耳机盒建立交互的无线耳机
EP3236639B1 (en) Portable sound equipment
CN114760554A (zh) 一种夹耳式耳机的麦克风管理方法、装置及夹耳式耳机
US20070281762A1 (en) Signal routing to a communication accessory based on device activation
JP7642752B2 (ja) モジュール化された眼鏡システム、装置、および方法のためのハードウェア・アーキテクチャ
WO2020107604A1 (zh) 一种无线播放设备及其播放控制方法和装置
CN206096664U (zh) 智能眼镜及其镜腿组件
JP2013051624A (ja) 音響再生装置
JP7830664B2 (ja) ホール効果センサによる近接の検出及び独立した結合を有するオーディオデバイス
WO2018128577A2 (en) Wireless earbuds, and a storage and charging capsule therefor
WO2018133323A1 (zh) 无线耳机装置以及人工智能装置
CN101263735A (zh) 用于同步音频数据处理的音频数据处理设备和方法
TW201543911A (zh) 多媒體播放系統及其聲道控制方法
WO2023153299A1 (ja) 情報処理システム、及び、情報処理方法
WO2020082391A1 (zh) 无线耳机的控制方法及相关产品
JP5760867B2 (ja) 音響再生装置
CN208863048U (zh) 一种无线播放设备及头戴式无线耳机系统
CN212909978U (zh) 一种耳机佩戴检测结构和耳挂式耳机
US9635476B2 (en) Method of preventing feedback based on detection of posture and devices for performing the method
WO2024222069A1 (zh) 佩戴位置的识别方法和电子设备
CN216217534U (zh) 头戴式立体声音频装置
CN211509271U (zh) 一种具有外音自动播放功能的蓝牙耳机套件
US11863927B2 (en) Audio device proximity detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23752764

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18835552

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23752764

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18835552

Country of ref document: US