WO2022209474A1 - コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション - Google Patents

コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション Download PDF

Info

Publication number
WO2022209474A1
WO2022209474A1 PCT/JP2022/007708 JP2022007708W WO2022209474A1 WO 2022209474 A1 WO2022209474 A1 WO 2022209474A1 JP 2022007708 W JP2022007708 W JP 2022007708W WO 2022209474 A1 WO2022209474 A1 WO 2022209474A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
user
unit
application
reproduction system
Prior art date
Application number
PCT/JP2022/007708
Other languages
English (en)
French (fr)
Inventor
明珍 丁
麻衣 今村
英夫 長坂
雄司 川辺
和政 橋本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2021/021261 external-priority patent/WO2022208906A1/ja
Priority claimed from PCT/JP2021/043551 external-priority patent/WO2022209000A1/ja
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to PCT/JP2022/013225 priority Critical patent/WO2022210113A1/ja
Priority to JP2023511341A priority patent/JPWO2022210652A1/ja
Priority to PCT/JP2022/015307 priority patent/WO2022210652A1/ja
Publication of WO2022209474A1 publication Critical patent/WO2022209474A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • the present disclosure relates to a content reproduction system, an information processing device, and a content reproduction control application that control output to a user.
  • Patent Document 1 There is a technology that recognizes utterances and environmental sounds, and selects and outputs content such as music based on the recognized sounds.
  • the technology to recognize speech and environmental sounds is applicable only to environments with sounds. Therefore, a user who does not want to make noise or a situation where he/she does not want to make noise may not be able to select appropriate content. Also, natural language processing requires high computational power, making it difficult to process locally.
  • an object of the present disclosure is to provide a content reproduction system, an information processing device, and a content reproduction control application that appropriately control output to the user regardless of the situation.
  • a content reproduction system includes: wearable devices and a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state of the user based on the user state; A content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue. a content control unit that reproduces the content; a content playback control application having an information processing device having a control circuit that executes Equipped with
  • the appropriate content can be played back from the content providing application without the user having to actively select it.
  • the control circuit of the information processing device executes a plurality of different content providing applications;
  • the content control unit may select a predetermined content providing application for reproducing the content based on the environmental state.
  • the control circuit of the information processing device executes a plurality of different content providing applications;
  • the wearable device has an input device,
  • the content control unit may select a predetermined content providing application for reproducing the content based on different operations input by a user to the wearable device.
  • the control circuit of the information processing device may execute a preset application that assigns the plurality of different operations to selection of the plurality of different content providing applications.
  • the preset application may be included in the content reproduction control application.
  • preset applications are assigned in advance to the selection of a plurality of different content providing applications.
  • a plurality of different operations e.g., single-tap, double-tap, triple-tap, radio button press, etc.
  • input by the user to the input device of the wearable device can be pre-assigned to select a plurality of different content providing applications.
  • the wearable device has a sensor unit
  • the content playback control application is a user position estimation unit that estimates a user position based on a detection value input from a sensor unit of the wearable device worn by the user; a location attribute estimating unit that estimates a location attribute, which is an attribute of a location where the user is located, based on the user location; further having The user state estimation unit may estimate the user state based on the location attribute.
  • the sensor unit of the wearable device may include at least one of an acceleration sensor, a gyro sensor, a compass, and a biosensor.
  • the content providing application may select a plurality of content candidates based on the cue, and select content to be reproduced from the plurality of candidates based on the detection value input from the sensor unit.
  • the content providing application may select an attribute of content to be played back based on the detected value input from the sensor unit during playback of the content, and play back the selected content.
  • the content providing application may select multiple content candidates based on the cue from the content playback control application, and select content to be played back from the multiple candidates based on detection values input from the sensor unit of the wearable device. good. Also, the content providing application may select content with a fast tempo that matches the user's running speed, for example, based on the detected value input from the sensor unit.
  • the content control unit generates a cue for the content providing application to stop playing the content based on the environmental state, outputs the cue to the content providing application, and instructs the content providing application to stop the reproduction of the content based on the cue. Playback of the content may be stopped.
  • the content playback control application can detect these conditions and send a stop command to the content providing application.
  • the content playback control application is further comprising a context acquisition unit that acquires the context of the user;
  • the user state estimation unit may estimate the user state based on the acquired context.
  • the user position estimation unit an angle correction unit that calculates a correction value of the azimuth angle of the user based on the detection value of the sensor unit of the wearable device worn by the user; an angle estimation unit that estimates an azimuth angle of the user based on the detection value of the sensor unit of the wearable device worn by the user and the correction value;
  • the azimuth angle may be used to estimate the user position.
  • the angle at which the wearable device is worn differs for each user. Therefore, the angles of the sensor axes of the acceleration sensor and the gyro sensor are different for each user. Therefore, the user position estimation unit can estimate the angle of the sensor axis of the sensor unit for each user, and use this as a correction value to estimate the direction (angle) with high accuracy without depending on individual differences.
  • the sensor unit of the wearable device includes an acceleration sensor,
  • the angle corrector is calculating the inclination of the user in the pitch direction and the inclination in the roll direction from the gravitational acceleration when the user faces the roll direction, which is the detection value of the acceleration sensor; calculating the inclination of the user in the Yaw direction from the gravitational acceleration when the user faces the Pitch direction as the detection value of the acceleration sensor, the inclination in the Pitch direction, and the inclination in the Roll direction;
  • the tilt in the Pitch direction, the tilt in the Roll direction, and the tilt in the Yaw direction may be used as the correction values.
  • the correction value of the user's azimuth angle can be calculated using only the acceleration sensor. As a result, it can be implemented in an environment with few mounted sensors, and low cost, power saving, and miniaturization can be realized.
  • the content control unit may reproduce continuously related content across the same environmental state.
  • An information processing device includes: a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state; A content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue. a content control unit that reproduces the content; a content playback control application having a control circuit for performing
  • a content playback control application includes: The control circuit of the information processing device, a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state; A content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue. It operates as a content control unit that reproduces the content.
  • 1 shows a configuration of an information processing system according to an embodiment of the present disclosure
  • 1 schematically shows a worn wearable device; Schematically shows individual differences in wearing wearable devices.
  • the concept of angle correction is shown schematically.
  • 4 shows an operation flow of an angle correction unit; Schematically shows a user's movement.
  • the concept of angle correction is shown schematically. Specific processing of the angle correction unit will be shown.
  • a specific calculation example is shown. Shows the relationship between initial frames. Shows how to specify the natural front. It is a figure for demonstrating the process of a place estimation part.
  • 4 shows an application example of the processing of the location estimator.
  • 4 shows a recognition example of the processing of the place estimating unit.
  • 4 shows an operation flow of a location estimation unit; 4 shows a supplemental operational flow of the location estimator; The following shows the operation when different walking styles are identified for the same route.
  • 4 shows a modification of a method for estimating a place by a place estimating unit; It is a flow for estimating the environmental state presented to the user from the context.
  • the operation of the user state estimator is shown. It shows the mapping relationship between context and user state.
  • Fig. 3 shows how the user state estimator determines the user state.
  • the operation of the environment estimator is shown.
  • 4 shows the operation of the content control unit of the output control unit; The operation of the notification control unit of the output control unit is shown.
  • 1 shows the configuration of a content reproduction system according to the present embodiment
  • 4 shows an example of a GUI of a preset application.
  • 4 shows an operational flow of a content playback control application
  • 1 shows an example of a table used to select a content providing application
  • 4 shows a functional configuration of an angle correction unit according to one embodiment
  • 4 shows an operation flow of an angle correction unit
  • a method for deriving the angle ⁇ is shown. Shows the axis of gravity when facing forward. Shows the axis of gravity when facing downwards. Yaw rotation calculation from measurement data and measurement singularity are shown.
  • Fig. 3 shows a flow chart for determining whether the conditions are met; Shows a face-on based yaw rotation definition.
  • the effect of vertical movement and bending angle on calculation results is shown. Shows the selection of playlists for scenes. An example of continuously reproducing a playlist across the same divided scenes will be shown. Another example of a user experiencing scene-appropriate content is shown.
  • a first implementation a content control application controls a content providing application
  • a second example of implementation a content control application records information about content that was being played back at the end of a scene and specifies a content ID for each context
  • An example of a content information acquisition method is shown. Indicates that one playlist is played by connecting the same scenes.
  • An example of a table held by a content reproduction control application is shown.
  • An example of a table held by a content reproduction control application is shown.
  • the user-front property will be explained using search as an example.
  • the user front property of this embodiment will be described.
  • the user front property of this embodiment will be described.
  • FIG. 1 shows the configuration of an information processing system according to one embodiment of the present disclosure.
  • the information processing system 10 has an information processing device 100 and a wearable device 200 .
  • the information processing device 100 is a terminal device used by an end user, such as a smartphone, tablet computer, or personal computer. Information processing apparatus 100 is connected to a network such as the Internet.
  • the wearable device 200 is a device worn on the user's head.
  • the wearable device 200 is typically a wireless earphone (FIG. 2), but may be a wireless headphone, a wired headphone, a wired earphone, an HMD (Head Mount Display) for AR (Augmented Reality) or VR (Virtual Reality), or the like. There may be.
  • FIG. 2 shows an open-ear earphone that does not completely cover the ear canal, it may be a canal-type earphone, a hearing aid, or a sound collector that closes the ear canal.
  • the information processing apparatus 100 and the wearable device 200 are connected to various types of proximity such as Bluetooth (registered trademark) (specifically, BLE (Bluetooth Low Energy) GATT (Generic Attribute Profile)) and Wi-Fi (registered trademark). They are communicably connected to each other by long-distance wireless communication.
  • Wearable device 200 has sensor section 210 .
  • the sensor unit 210 includes an acceleration sensor 211 that detects acceleration, a gyro sensor 212 that detects angular velocity, and a compass 213 that detects azimuth.
  • the sensor unit 210 further includes a biosensor 214 such as a heartbeat sensor, blood flow sensor, electroencephalogram sensor, or the like.
  • the wearable device 200 supplies the detection value of the sensor unit 210 to the information processing device 100 .
  • the information processing apparatus 100 has a context acquisition unit 110 and a PDR (Pedestrian Dead Reckoning) unit 120 (user position estimating unit), location estimating unit 130 (location attribute estimating unit), user state estimating unit 140, environment estimating unit 150, and output control unit 160.
  • PDR Registered Dead Reckoning
  • the context acquisition unit 110 acquires the user's context.
  • the user's context includes location information and terminal information.
  • the context is, for example, a sensor value obtained from the sensor unit 210, user's schedule information obtained from a calendar application, or the like.
  • the context acquisition unit 110 has a device such as a GPS sensor 111 and a beacon transmitter/receiver 112 that acquires location information as a context.
  • Context acquisition section 110 further includes terminal information acquisition section 113 that acquires terminal information as a context.
  • the terminal information acquisition unit 113 acquires screen lock information (locked, unlocked), user behavior information (run, bicycle, stationary, walking, riding, etc.), location (specific location such as home, office, etc.) as terminal information that is context.
  • the PDR section 120 (user position estimation section) estimates the user position based on the detection values (acceleration, angular velocity and azimuth angle) of the sensor section 210 of the wearable device 200 worn by the user.
  • PDR section 120 has angle correction section 121 , angle estimation section 122 , and user position estimation section 123 .
  • the angle correction unit 121 calculates a correction value for the user's azimuth angle based on the detection values (acceleration, angular velocity, and azimuth angle) of the sensor unit 210 of the wearable device 200 worn by the user.
  • the angle estimation unit 122 estimates the azimuth angle of the user based on the detection values (acceleration, angular velocity, and azimuth angle) of the sensor unit 210 of the wearable device 200 worn by the user and the correction value.
  • the user position estimation unit 123 estimates the user position using the corrected azimuth angle.
  • PDR Pedestrian Dead Reckoning
  • the PDR unit 120 detects changes in the user position from room to room, that is, movement of the user position, based on acceleration, angular velocity, and azimuth angle detected by the acceleration sensor 211, gyro sensor 212, and compass 213. Estimate a route.
  • the location estimation unit 130 estimates the attribute of the user's location (location attribute) based on the change in the user's position estimated by the PDR unit 120 . In other words, based on the moving route estimated by the PDR unit 120, the location attribute after the user moves is estimated.
  • a location attribute is, for example, a division within a building that is even finer than the building itself.
  • the location attribute is living room, bedroom, toilet, kitchen, washroom, etc. within one house.
  • the location attribute is a desk, conference room, etc. within one co-working space.
  • the location attribute is not limited to this, and the location attribute may indicate the building itself or the like, or may indicate both the building itself and the section within the building.
  • User state estimation unit 140 is based on the context acquired by context acquisition unit 110, detection values (acceleration, angular velocity, and azimuth angle) of sensor unit 210 of wearable device 200, and location attributes estimated by location estimation unit 130. , to estimate the user state.
  • a user state indicates a user's multi-level activity state. For example, the user state indicates four levels of activity: break time, neutral, DND (Do Not Disturb) and offline. Break time is the most relaxed activity state, Neutral is the normal activity state, DND is the relatively busy activity state, and Offline is the busiest activity state. In addition to the four levels described above, it may be possible to set an arbitrary number of levels on the system, or allow the user to set the number of levels as appropriate.
  • the environment estimation unit 150 estimates the environmental state to be presented to the user based on the user state estimated by the user state estimation unit 140 .
  • the environment estimation unit 150 may further estimate the environmental state presented to the user based on the location attributes estimated by the location estimation unit 130 .
  • the environmental state presented to the user is, for example, an environmental state in which the user can focus (concentrate) or an environmental state in which the user can relax.
  • the output control unit 160 controls output based on the environmental state estimated by the environment estimation unit 150 .
  • the output control unit 160 has a content control unit 161 and a notification control unit 162 .
  • the content control unit 161 reproduces content (music, video, etc.) selected based on the environmental state estimated by the environment estimation unit 150 .
  • the content control unit 161 notifies the DSP (Digital Service Provider) of the environmental state via the network, and the DSP selects content based on this environmental state (for example, content that the user can focus on, or content that allows the user to relax). content, etc.) may be received and reproduced.
  • the notification control unit 162 controls the number of notifications to the user based on environmental conditions. For example, the notification control unit 162 reduces or eliminates the number of notifications (e.g., notifications of new arrivals of applications or messages) so that the user can focus, or if the user is relaxing, the number of notifications is normalized. may be processed.
  • Fig. 2 schematically shows the worn wearable device.
  • the wearable device 200 is typically a wireless earphone.
  • a wearable device 200 which is a wireless earphone, has a speaker 221, a driver unit 222, and a sound conduit 223 connecting them.
  • the speaker 221 is inserted into the ear canal to position the wearable device 200 against the ear, and the driver unit 222 is located behind the ear.
  • a sensor section 210 including an acceleration sensor 211 and a gyro sensor 212 is built in a driver unit 222 .
  • Fig. 3 schematically shows individual differences in wearable devices worn.
  • the angle of the driver unit 222 of the wearable device 200 with respect to the front of the face differs for each user. Therefore, the angles of the sensor axes of the acceleration sensor 211 and the gyro sensor 212 of the sensor unit 210 built in the driver unit 222 with respect to the front of the face differ for each user.
  • (a) shows the case where the user wears the wearable device 200 shallowly hooked on the ear
  • (b) shows the case where the user wears the wearable device 200 deeply fixed to the ear.
  • the difference between the angle of the user's sensor axis with respect to the front face of (a) and the angle of the user's sensor axis with respect to the front of the face of (b) may be 30° or more. Therefore, the PDR unit 120 estimates the angle of the sensor axis of the sensor unit 210 with respect to the front of the face for each user, and uses this as a correction value to accurately estimate the orientation (angle) of the face without depending on individual differences.
  • FIG. 4 schematically shows the concept of angle correction.
  • Azimuth E is obtained from the three-dimensional posture obtained by integrating sensor values obtained by the gyro sensor 212 that detects angular velocity.
  • the Azimuth Offset differs for each user and cannot be measured just by wearing the device, so it is necessary to estimate the Azimuth Offset for each user.
  • Coordinate system (1) is a global frame (fixed), and is composed of a vertical Z-axis extending overhead, an X-axis connecting both ears and positive in the right direction, and a Y-axis orthogonal to the X-axis and Z-axis.
  • a coordinate system (2) is a sensor frame, and is a coordinate system (X E , Y E , Z E ) that is fixed with respect to the sensor unit 210 of the wearable device 200 .
  • Azimuth Offset which is a correction value, indicates the amount of rotation of the coordinate system (2) with respect to the coordinate system (1).
  • FIG. 5 shows the operation flow of the angle corrector.
  • FIG. 6 schematically shows user movements.
  • FIG. 7 schematically shows the concept of angle correction.
  • FIG. 8 shows specific processing of the angle corrector.
  • FIG. 9 shows a specific calculation example.
  • the user wears the wearable device 200 and moves the head downward so as to look diagonally downward from the front ((a) of FIG. 6) ((b) of FIG. 6) (step S101).
  • the angle correction unit 121 calculates Pitch and Roll with respect to the global frame coordinate system (X, Y, Z) from the acceleration value when moving the head downward (step S102).
  • the angle correction unit 121 starts collecting angular velocity values of the gyro sensor 212 . Let the time at this time be t0 (step S103) (process (2) in FIG. 8). Next, the user slowly moves his or her head up so as to look up diagonally from the front without blurring left and right ((c) in FIG. 6) (step S104).
  • the angle correction unit 121 continues collecting angular velocity values of the gyro sensor 212 (step S105). When the user raises his or her head to the limit, the angle corrector 121 stops collecting the angular velocity values of the gyro sensor 212 . The time at this time is set to t1 (step S106, YES).
  • R Z ( ⁇ ), R X ( ⁇ ), and R Y ( ⁇ ) are the rotation matrices of the Z-axis, Y-axis, and X-axis, respectively.
  • RotMat *axis is set to [ rX ,ry, rz ] T (step S107). If r Z deviates from the threshold value (if the difference from 0 is large), the angle correction unit 121 fails and redoes the process (step S108, NO). If r Z is within the threshold, the process proceeds to the next step (step S108, YES).
  • the angle corrector 121 obtains a correction value (Azimuth Offset ) from rX and rY (step S109) (process (5) in FIG. 8).
  • the angle correction unit 121 obtains a rotation matrix (RotMat) from Azimuth Offset , Pitch and Roll (step S110). This RotMat is based on the front face axis.
  • FIG. 10 shows the relationship between initial frames.
  • Fig. 11 shows a method of specifying a natural front view.
  • R t0 which is the posture of the right sensor (Right Sensor Pose) is obtained by the method of FIG.
  • Rt2 in the new attitude can be obtained from Rt0 and the acceleration sensor value in the new attitude by the method of FIG.
  • FIG. 12 is a diagram for explaining the processing of the location estimation unit.
  • (1) is the route from the living room to the bedroom
  • (2) is the route from the bedroom to the living room
  • (3) is the route from the living room to the toilet
  • (4) is A route from the toilet to the living room, (5) from the living room to the kitchen, and (6) from the kitchen to the living room.
  • the user wears the wearable device 200 and starts working in the living room. After a while, after going to the toilet, I returned to my seat after washing my hands in the washroom. After a while, I moved to the kitchen, got a drink, and returned to the living room.
  • the movement pattern here is as follows. From the living room to the toilet (route (3)). From the toilet to the living room (route (4)). From the living room to the kitchen (route (5)). From the kitchen to the living room (route (6)).
  • the place estimation unit 130 stores these four patterns and their order. The next time the user moves, the movement pattern is matched with the stored pattern. If the matching is successful, the place estimating unit 130 can specify the post-movement place, and if the matching is unsuccessful, the place estimating unit 130 adds it to the route list as a new pattern.
  • the route list includes movement patterns (top row) of "(1) living room to bedroom, (2) bedroom to living room, (5) living room to kitchen", and "(2) bedroom to living room, (5) living room
  • the location estimation unit 130 holds a plurality of movement routes, and matches the movement routes estimated by the PDR unit 120 with the plurality of held movement routes to obtain location attributes after movement (living room , bedroom, toilet, kitchen, washroom, etc.) can be estimated. Also, the location estimation unit 130 may estimate location attributes by determining how long the user stays at the location where the user is. By determining the staying time in addition to the moving route, the location attribute can be estimated more accurately.
  • FIG. 13 shows an application example of the processing of the location estimation unit.
  • the coordinate system of FIG. 13 shows the transition of the user position with the origin as the starting point and the user position plotted periodically (eg, every second) as it progresses from the origin (starting point) to another room.
  • the axis (1) indicates the moving route from the living room (origin) to the bedroom.
  • the axis (2) indicates the movement path (distance) from the bedroom (origin) to the living room.
  • the axis (3) indicates the moving route from the living room (origin) to the toilet.
  • the axis (4) indicates the moving route from the toilet (origin) to the living room.
  • FIG. 14 shows a recognition example of processing by the location estimation unit.
  • the location estimation unit 130 attaches labels indicating attributes when learning routes. As a result, the label indicating the attribute can be automatically displayed when the matching is successful. Next, the operation of the location estimation unit 130 will be described more specifically.
  • FIG. 15 shows the operation flow of the location estimation unit.
  • the PDR unit 120 estimates the change of the user position from room to room, that is, the movement route of the user position (step S201).
  • the place estimating unit 130 detects that the user has stopped based on the change in the user's position detected and estimated by the PDR unit 120 (step S202, YES).
  • the location estimation unit 130 increments (+1) the stop counter (step S203).
  • Matching is performed with a plurality of moving routes (step S205). If the matching is successful (step S206, YES), the place estimating unit 130 identifies the post-movement place (step S207). On the other hand, if the matching fails (step S206, NO), the location estimating unit 130 adds it to the route list as a new pattern (step S208).
  • FIG. 16 shows a supplementary operation flow of the location estimation unit.
  • step S206 NO
  • step S209 YES
  • step S208 if enough new travel routes are accumulated in the route list to the extent that matching is successful (step S208), matching is successful (step S206, YES), and the location after travel can be identified ( step S207).
  • the place estimation unit 130 When the matching failure continues for a predetermined number of times (step S209, YES), the place estimation unit 130 outputs a warning indicating that there is a possibility of another place not registered in the route list (step S210). This makes it possible to notify the user that the location attribute after movement will be estimated from the new movement route.
  • FIG. 17 shows the operation when different walking styles are identified for the same route.
  • DTW dynamic time warping
  • DTW dynamic time warping
  • FIG. 18 shows a modification of the method for estimating the location by the location estimating unit.
  • the location estimation unit 130 may estimate the attribute of the location where the user is located (location attribute), especially outdoors, based on the location information acquired by the GPS sensor 111 and the beacon transmitter/receiver 112 .
  • the place estimation unit 130 may estimate the attribute of the place where the user is (place attribute) based on the biometric information acquired by the biosensor 214 . For example, if it is known that the user is falling asleep based on the biometric sensor 214 (heartbeat sensor or the like), the location estimation unit 130 may estimate the bedroom as the location attribute.
  • FIG. 19 is a flow for estimating the environmental state presented to the user from the context.
  • the context acquisition unit 110 acquires the user's context.
  • User state estimation unit 140 is based on the context acquired by context acquisition unit 110, detection values (acceleration, angular velocity, and azimuth angle) of sensor unit 210 of wearable device 200, and location attributes estimated by location estimation unit 130. , to estimate the user state.
  • the environment estimation unit 150 estimates the environmental state (focus (concentration), relaxation, etc.) to be presented to the user.
  • FIG. 20 shows the operation of the user state estimation unit.
  • User state estimation unit 140 is based on the context acquired by context acquisition unit 110, detection values (acceleration, angular velocity, and azimuth angle) of sensor unit 210 of wearable device 200, and location attributes estimated by location estimation unit 130. , to estimate the user state.
  • the user's context includes location information and terminal information.
  • Terminal information includes screen lock information (lock, unlock), user behavior information (run, bicycle, stationary, walking, riding, etc.), location (specific location such as home or office, unspecified location), calendar application information ( Scheduled meeting, no meeting), time information (during work time, outside work time), phone application information (during a call), voice recognition application information (during speaking), automatic DND (Do Not Disturb) setting (during time frame, time out of frame), manual DND settings (on, offline), etc.
  • a user state indicates a user's multi-level activity state. For example, the user state indicates four levels of activity: break time, neutral, DND (Do Not Disturb) and offline. Break time is the most relaxed activity state, Neutral is the normal activity state, DND is the relatively busy activity state, and Offline is the busiest activity state.
  • FIG. 21 shows the mapping relationship between context and user state.
  • the user state estimation unit 140 estimates the user state by mapping the context to the user state. For example, if the screen lock information as the context is unlocked, the user state estimation unit 140 estimates that the user state is DND, and if the screen lock information is locked, the user state is estimated to be neutral. The user state estimating unit 140 also estimates user states for other contexts. Also, the context is not limited to that shown in FIG. 21, and any context may be used as long as it represents some kind of context.
  • FIG. 22 shows how the user state estimation unit determines the user state.
  • the user state estimation unit 140 estimates the user state as offline if even one of the contexts includes offline.
  • the user state estimation unit 140 estimates the user state as DND if there are no offline contexts and at least one context includes DND.
  • the user state estimation unit 140 estimates the user state as neutral if there is no offline, DND and break time for a plurality of contexts.
  • the user state estimating unit 140 estimates the user state as the break time if there is no offline or DND and the break time is included.
  • FIG. 23 shows the operation of the environment estimation unit.
  • the environment estimation unit 150 estimates the environmental state to be presented to the user based on the user state estimated by the user state estimation unit 140 and the location attribute estimated by the location estimation unit 130 .
  • the environmental state presented to the user is, for example, an environmental state in which the user can focus (concentrate) or an environmental state in which the user can relax.
  • the environment estimating unit 150 estimates that the environmental state presented to the user is the focus when the time period is at work, the user state is neutral, the action is stay, and the location is desk. (2) If the time zone is working and the user state is break time, the environment estimation unit 150 estimates that the environmental state to be presented to the user is relaxed. (3) If the time zone is non-work and the user state is break time, the environment estimation unit 150 estimates that the environmental state to be presented to the user is relaxed.
  • FIG. 24 shows the operation of the content control section of the output control section.
  • the content control unit 161 of the output control unit 160 reproduces content (music, video, etc.) selected based on the environmental state estimated by the environment estimation unit 150 .
  • the content control unit 161 notifies the DSP (Digital Service Provider) of the environmental state via the network, and the DSP selects content based on this environmental state (content that allows the user to focus, content that allows the user to relax). content) is received and played back.
  • the content control unit 161 plays music that helps the user concentrate, and if the user state is relaxed, the content control unit 161 plays music that helps the user relax.
  • the content control unit 161 reproduces sleep-promoting music if the user state is relaxed, and stops the music when the user falls asleep.
  • FIG. 25 shows the operation of the notification control section of the output control section.
  • the notification control unit 162 of the output control unit 160 controls the number of notifications to the user based on the environmental conditions. For example, the notification control unit 162 may reduce or eliminate the number of notifications (notifications of new arrivals of applications or messages) so that the user can focus, or may keep the number of notifications normal if the user is relaxing. For example, if the user is at work and the user state is focused, the notification control unit 162 reduces the number of notifications, and if the user state is relaxed, the notification control unit 162 issues the normal number of notifications.
  • the present embodiment it is possible to output content that encourages focus (concentration) and relaxation based on the user's location in the house and other user contexts. It is possible to appropriately control the output to the user regardless of the situation such as a situation where it is desired not to make a sound. For example, based on user context, if the user is at their desk while teleworking, we can output focusable content, and if they are at their resting place, we can play relaxing music.
  • the present embodiment it is possible to identify the position inside the house using the sensor unit 210 (the acceleration sensor 211, the gyro sensor 212, and the compass 213) attached to the wearable device 200 without any external equipment. can. Specifically, by storing the pattern of moving places and their order, it is possible to identify the place after the user moves from the N patterns of the most recent moves.
  • Telework has become commonplace, and users are spending more time at home, not only relaxing, but also focusing on work. At this time, it is thought that there are more users who do not want to make noise and situations in which they do not want to make noise than in the past when telework was not widespread. Therefore, as in the present embodiment, it will be more and more useful to specify the location in the house, estimate the environmental state to be presented to the user, and control the output to the user without the need to speak. .
  • the user state is estimated by mapping the context obtained from each sensor information to the user state, so the user state can be estimated without speaking and making a sound.
  • the context obtained from each sensor information is mapped to the user state, the amount of calculation is much smaller than that of natural language processing, and local processing is easy.
  • FIG. 26 shows the configuration of a content reproduction system according to this embodiment.
  • the content reproduction system 20 has an information processing device 100 and a wearable device 200 .
  • the information processing apparatus 100 loads a content reproduction control application 300, a content providing application 400, and a preset application 500, in which a processor such as a CPU of a control circuit is recorded in a ROM, into a RAM and executes them.
  • a processor such as a CPU of a control circuit is recorded in a ROM
  • the content reproduction control application 300 may be installed in the wearable device 200 instead of the information processing apparatus 100 and executed by the wearable device 200 .
  • the wearable device 200 is, as described above, wireless earphones (see FIG. 2), wireless headphones, wired headphones, wired earphones, or the like.
  • the wearable device 200 has a sensor section 210 and an input device 220 .
  • the sensor unit 210 includes an acceleration sensor 211, a gyro sensor 212, a compass 213, and a biosensor 214 such as a heart rate sensor, a blood flow sensor, an electroencephalogram sensor (see FIG. 1).
  • Wearable device 200 inputs the detection value of sensor unit 210 to content reproduction control application 300 and content providing application 400 .
  • the input device 220 is a touch sensor, a physical button, a non-contact sensor, or the like, and inputs a contact or non-contact operation by the user.
  • the input device 220 is provided on the outer surface of the driver unit 222 (see FIG. 2) of the wearable device 200, for example.
  • the content providing application 400 provides content.
  • a content providing application 400 is an application group including a plurality of different content providing applications 401 and 402 .
  • a plurality of different content providing applications 401 and 402 respectively provide content (specifically, audio content) of different genres such as music, environmental sounds, healing sounds, and radio programs.
  • the content providing application 400 is simply referred to when the different content providing applications 401 and 402 are not distinguished.
  • the content reproduction control application 300 includes the context acquisition unit 110, the PDR (Pedestrian Dead Reckoning) unit 120 (user position estimation unit), the location estimation unit 130 (location attribute estimation unit), and the user state estimation unit 140. , the environment estimation unit 150, and the content control unit 161 of the output control unit 160 (see FIG. 1).
  • the content control unit 161 selects the content providing application 400 based on the environmental state estimated by the environment estimation unit 150 or based on different operations input by the user to the input device 220 of the wearable device 200 .
  • the content control unit 161 generates a cue for the content providing application 400 to select content based on the environmental state, outputs the generated cue to the selected content providing application 400, and instructs the content providing application 400 to provide the content based on the cue.
  • the content is reproduced from the wearable device 200 by making the selection.
  • the preset application 500 pre-assigns a plurality of different operations input by the user to the input device 220 of the wearable device 200 to a plurality of different functions related to services provided by the content providing application 400 .
  • the preset application 500 pre-assigns a selection of different content providing applications 401,402.
  • a plurality of different operations input by the user to the input device 220 of the wearable device 200 are assigned in advance to selection of a plurality of different content providing applications 401 and 402.
  • Preset application 500 may be independent of content reproduction control application 300 or may be included in content reproduction control application 300 .
  • FIG. 27 shows an example of the GUI of the preset application.
  • the preset application 500 has, for example, a playback control GUI 710, a volume control GUI 720, and a quick access control GUI 730. Note that the GUI provided by the preset application 500 and the combination of settable functions and operations differ depending on the model of the wearable device 200 .
  • the user can use the playback control GUI 710 to assign a plurality of different operations input by the user to the input devices 220 of the left and right wearable devices 200 to each function during content playback. For example, the user assigns a single-tap operation of the wearable device 200 on the right side to play and pause, assigns a double-tap operation to play the next song, assigns a triple-tap operation to play the previous song, and assigns a long press operation to the voice assistant. Can be assigned to activate a function. Note that the functions assigned to each operation may be functions other than those described above, and the functions may be assigned to each operation by default.
  • the user can use the volume control GUI 720 to assign a plurality of different operations that the user inputs to the input devices 220 of the left and right wearable devices 200 to each function of the volume control. For example, the user can assign a single-tap operation of the left wearable device 200 to volume up and a long press operation to volume down.
  • the user uses the quick access control GUI 730 to convert a plurality of different operations that the user inputs to the input devices 220 of the left and right wearable devices 200 into a quick access function that selects and activates a plurality of different content providing applications 401 and 402. can be assigned. For example, the user can assign a double tap operation on the left wearable device 200 to launch the content providing application 401 and a triple tap operation to launch the content providing application 402 .
  • the preset application 500 can perform a plurality of different operations input by the user to the input devices 220 of the left and right wearable devices 200 not only through playback control and volume control while the content providing application 400 is running, but also through the content providing application 400 . can be assigned to the selection and activation of
  • FIG. 28 shows the operational flow of the content playback control application.
  • the context acquisition unit 110 acquires the user's context.
  • User state estimation unit 140 is based on the context acquired by context acquisition unit 110, detection values (acceleration, angular velocity, and azimuth angle) of sensor unit 210 of wearable device 200, and location attributes estimated by location estimation unit 130. , to estimate the user state (four-level activity state: break time, neutral, DND (Do Not Disturb) and offline).
  • the user state estimation unit 150 estimates the environmental state (focus (concentration), relaxation, etc.) to be presented to the user (see FIG. 19).
  • the content control unit 161 of the output control unit 160 detects an appropriate timing to start reproducing content based on the environmental state estimated by the environment estimation unit 150 (step S301).
  • the content control unit 161 of the output control unit 160 selects the content providing application 400 .
  • the content control unit 161 selects the content providing application 400 based on different operations input by the user to the input device 220 of the wearable device 200 .
  • the content control unit 161 selects the content providing application 401 if the operation input by the user to the input device 220 of the wearable device 200 is a double tap, and selects the content providing application 402 if it is a triple tap.
  • the content control unit 161 selects the content providing application 400 based on the environmental state (scenario described later) estimated by the environment estimation unit 150 (step S302).
  • the content control unit 161 can be set by the user (for example, by setting the content providing application 400 in advance according to the situation) such that the scenario will not fire even under the same conditions if the refusal is repeated. Based on this, the content providing application 400 may be selected.
  • FIG. 29 shows an example of a table used for selecting content providing applications.
  • the content control unit 161 refers to the table 600 and selects the content providing application 400 .
  • Table 600 has ID 601 , scenario 602 , user context 603 and queue 604 .
  • a scenario 602 corresponds to the environmental state estimated by the environment estimation unit 150 .
  • the user context 603 corresponds to the user state estimated by the user state estimation unit 140 based on the user's context acquired by the context acquisition unit 110 .
  • a queue 604 is a queue for the content providing application 400 to select content.
  • selection flag 605 of content providing application 401 and selection flag 606 of content providing application 402 are recorded in nine records of Music_01 to 09 with ID 601, respectively.
  • a record in which only the selection flag 605 is recorded means that the content providing application 401 is selected in the scenario 602 (environmental state).
  • both of the selection flags 605 and 606 mean that either one of the content providing applications 401 and 402 is selected under different conditions in the scenario 602 (environmental state).
  • the content control unit 161 may learn in advance and select the content providing application 400 that is frequently executed at the current time, the content providing application 400 that is frequently used, and the like.
  • the content control unit 161 of the output control unit 160 generates a cue 604 for the selected content providing application 400 to select content based on the scenario 602 (environmental state) (step S303). .
  • the content control unit 161 outputs the generated cue to the selected content providing application 400, causes the content providing application 400 to select content based on the cue, and reproduces the content from the wearable device 200 (step S304).
  • the content providing application 400 selects a plurality of content candidates based on the cue from the content reproduction control application 300, and reproduces from the plurality of candidates based on the detected value input from the sensor unit 210 of the wearable device 200. You can choose content.
  • the content providing application 400 may select content with a fast tempo that matches the user's running speed based on the detected value input from the sensor unit 210 .
  • the content control unit 161 of the content reproduction control application 300 detects the timing to start reproducing another content based on the environmental state (step S301), selects the content providing application 400 (steps S302, This step can be omitted), the queue 604 is generated (step S303), and the content is reproduced from the wearable device 200 (step S304).
  • the content reproduction control application 300 has user information (that is, user context 603 (user state), scenario 602 (environmental state)) that the content providing application 400 cannot know. Therefore, the content reproduction control application 300 can know cases where it is desirable to change the content being reproduced by the content providing application 400 .
  • the content reproduction control application 300 knows (that is, the user context 603 (user state) and the scenario 602 (environmental state)), it sends a cue to the content providing application 400 to change the content being reproduced. By transmitting, it is possible to provide the user with more desirable contents (music, healing sounds, etc.).
  • the content control unit 161 of the content reproduction control application 300 generates a cue for the content providing application 400 to stop (rather than change) the reproduction of the content based on the scenario 602 (environmental state) (step S303). is output to the content providing application, and the content providing application 400 is caused to stop the reproduction of the content based on the cue (step S304). For example, there are cases where it is better to stop the music due to a state change such as the start of a meeting.
  • the content playback control application 300 detects these states and sends a stop command to the content providing application 400 .
  • the content providing application 400 generates content with a fast tempo that matches the running speed of the user based on the detected values input from the sensor unit 210, for example, according to predetermined values of heart rate and acceleration. You can select and play.
  • the content providing application 400 actively reproduces the content based on the detection values input from the sensor unit 210 without receiving a cue from the content control unit 161 of the content reproduction control application 300. Attributes of content (tempo, pitch, etc.) can be selected and the selected content can be played back. In short, during content playback, the content providing application 400 can actively change the content to be played back.
  • the content reproduction control application 300 selects the content providing application 400 and outputs a cue to the content providing application 400 . Therefore, it is not necessary for the content providing application 400 to consider content reproduction conflicts between a plurality of different content providing applications 401 and 402 .
  • the content reproduction control application 300 generates a cue for the content providing application 400 to select content based on the environmental state, which is the user's sensitive information. Therefore, the content providing application 400 does not share the environmental state, which is the user's sensitive information, with the content providing application 400 from the content reproduction control application 300. The reflected content can be played back. Therefore, it is possible to improve the user experience while reducing the security risk.
  • the content reproduction control application 300 selects the content providing application 400, and the selected content providing application 400 reproduces the content. Furthermore, the preset application 500 allows the content reproduction control application 300 to select the content providing application 400 based on different operations input by the user to the input device 220 of the wearable device 200 . This makes it possible to provide a user experience that integrates the services of a plurality of different content providing applications 401 and 402 without requiring active selection by the user.
  • the shape of the user's ear, the method of wearing the wearable device 200, and the method of mounting the sensor unit 210 on the wearable device 200 vary depending on the individual and the environment. For this reason, the “front as seen from the user” and the “front of the sensor unit 210 of the wearable device 200” are not the same, and a discrepancy occurs. It is necessary that the wearable device 200 worn on the user's head can indicate the correct direction in an arbitrary coordinate system.
  • the angle correction unit 121 calculates the inclination in the pitch direction and the inclination in the roll direction from the acceleration value of the acceleration sensor 211 when the head is moved downward ((b) in FIG. 6, step S101 in FIG. 5). is calculated (step S102).
  • the angle correction unit 121 can calculate the tilt in the Yaw direction from the angular velocity value of the gyro sensor 212 when the head is slowly moved upward so as to look up obliquely from the front (FIG. 6(c), step S104). (4) process).
  • the angle correction unit 121 can obtain not only the tilt in the pitch direction and the tilt in the roll direction but also the tilt in the yaw direction from only the acceleration value of the acceleration sensor 211 without using the angular velocity value of the gyro sensor 212 .
  • a method for calculating the inclination will be described.
  • FIG. 30 shows the functional configuration of the angle corrector according to one embodiment.
  • FIG. 31 shows the operation flow of the angle corrector.
  • the information processing device 100 (smartphone, tablet computer, personal computer, or the like) has a setting application 800 installed as a user interface, and the user operates the display device and operation device (touch panel, etc.) of the information processing device 100.
  • the settings application 800 can be used by using.
  • the user operates the operation device and instructs the start of measurement from the setting application 800 .
  • the setting application 800 outputs angle correction operation data 801 to the wearable device 200 (step S400).
  • the wearable device 200 receives an instruction (angle correction operation data 801 ) from the setting application 800 and starts transmitting gravitational acceleration, which is a detection value detected by the acceleration sensor 211 , to the angle correction unit 121 .
  • the setting application 800 outputs (displays on the display device) an instruction to the user wearing the wearable device 200 to face the front ((a) in FIG. 6) (step S401).
  • the angle correction unit 121 calculates the tilt in the pitch direction and the tilt in the roll direction 802 from the gravitational acceleration value when the user faces the front (roll direction) ((a) in FIG. 6) (step S402). A calculation method will be described later in detail.
  • the setting application 800 instructs the user wearing the wearable device 200 to slowly move his/her head up and down so as not to shake left and right and to stop for about 1 second ((b) and (c) in FIG. 6). is output (displayed on the display device) (step S403).
  • the angle correction unit 121 calculates the angle formed by the gravity axis from the X, Y, and Z axes (step S404).
  • the angle correction unit 121 determines whether the calculated angle satisfies a predetermined condition (step S405). This condition is to prevent the measured value from approaching 0 when the user faces the front, and the X and Y axes of the accelerometer become nearly perpendicular to the gravity axis.
  • the condition is that the angle formed from the axis is a sufficient bending angle and that errors due to operation are not measured (details will be described later). If the conditions are not satisfied, the angle correction unit 121 outputs (displays on the display device) the measurement progress data 808 for instructing to redo the vertical movement (step S405, No).
  • step S405 determines the gravitational acceleration value and the pitch direction when the user faces up and down (the pitch direction) ((b) and (c) in FIG. 6). and the inclination 802 in the Roll direction, the inclination 803 in the Yaw direction of the user is calculated (step S406).
  • the angle correction unit 121 stores the tilt in the pitch direction, the tilt in the roll direction 802, and the tilt in the yaw direction 803 as correction values 804 in the nonvolatile storage area 805 (step S407), and completes the measurement (step S408).
  • the angle estimating unit 122 reads out the correction values 806 (Pitch direction tilt and Roll direction tilt 802, and Yaw direction tilt 803) stored in the nonvolatile storage area 805 .
  • the angle estimation unit 122 estimates the azimuth angle 807 of the user based on the detected value (acceleration) of the acceleration sensor 211 of the sensor unit 210 of the wearable device 200 worn by the user and the read correction value 806 .
  • Angle estimator 122 may output azimuth angle 807 to setting application 800 .
  • a coordinate system fixed to the user in a certain reference posture is expressed as (X, Y, Z).
  • the X axis (Pitch axis) is horizontally rightward
  • the Y axis (Roll axis) is horizontally front (forward)
  • the Z axis (Yaw axis) is vertically upward.
  • the three-dimensional local coordinate system of the acceleration sensor 211 attached to the wearable device 200 is expressed as (x, y, z). All three-dimensional coordinate systems are right-handed.
  • the above two coordinate systems (X, Y, Z) and (x, y, z) have a relative deviation of 3 degrees of freedom due to individual differences in how the wearable device 200 is worn by the user. If this deviation can be identified, the user coordinate system (X, Y, Z) can be derived from the local coordinate system (x, y, z) of the wearable device 200 .
  • the 2-degree-of-freedom component representing the inclination with respect to the horizontal plane out of the deviation is calculated using the values of the acceleration sensor 211 of the wearable device 200 measured while the user is stationary in the reference posture.
  • FIG. 32 shows the definition of the device coordinate system.
  • the coordinate axes that match the user coordinate system are rotated in three steps to match the coordinate system of the wearable device 200 so as to be suitable for the quaternion calculation described later.
  • rotate ⁇ around the X axis This ⁇ is finally matched with the angle that the y-axis forms with the horizontal plane.
  • it is rotated by ⁇ around the rotated y-axis.
  • the angle that the x-axis makes with the horizontal plane is finally made to match the angle ( ⁇ ) that the x-axis makes with the horizontal plane.
  • rotate ⁇ around the Z axis are rotated in three steps to match the coordinate system of the wearable device 200 so as to be suitable for the quaternion calculation described later.
  • This ⁇ is matched with the angle formed by the horizontal plane component of the final y-axis vector and the Y-axis.
  • the angles ⁇ , ⁇ are calculated from the values of the acceleration sensor 211 when the user is stationary. Since ⁇ cannot be calculated (all values are solutions), another method is used to obtain ⁇ .
  • FIG. 33 shows a method of deriving the angle ⁇ .
  • Equation 2 is derived using angles ⁇ and ⁇ between the x and z axes and the horizontal plane.
  • the angle ⁇ is obtained as the formula (3) from the formula (2).
  • the coordinate system (x', y', Z ) can be converted to Both x' and y' exist on the horizontal plane and correspond to x and y rotated by ⁇ around the Z axis.
  • the acceleration value in the coordinate system of the wearable device 200 after the tilt is removed and corrected to calculate ⁇ which will be described later, it is possible to perform highly accurate calculations without axis deviation.
  • An example of performing a rotation calculation using a quaternion from an acceleration vector (Ax, Ay, Az) in the coordinate system of the wearable device 200 to an acceleration vector (Ax', Ay', Az') in the coordinate system of the wearable device 200 after correction. indicates The relationship between the two coordinate systems is considered to be a synthesis of the first two stages of rotation in FIG. Assuming that each rotational quaternion is Q1 and Q2, it can be expressed by the following equation.
  • the quaternion R which represents the rotation that combines these, can be expressed by the following formula. where * represents a conjugated quaternion.
  • the calculation for converting the acceleration vector measured in the coordinate system of the wearable device 200 to the corrected coordinate system of the wearable device 200 can be expressed by the following formula using R.
  • Fig. 34 shows the gravity axis when facing forward.
  • the Yaw rotation is calculated by converting the gravitational acceleration values (x, y, z) measured on the three axes of the acceleration sensor 211 into polar coordinates. Define the distance from the origin as r, the angle from the Z axis as ⁇ , and the angle from the X axis as ⁇ . At this time, (x, y, z) and (r, ⁇ , ⁇ ) have the following relational expressions.
  • Equation 5 Equation 5 (step S404).
  • the deviation between the front direction of the user for which ⁇ is to be obtained and the front of the sensor of the wearable device 200 is the tilt in the Yaw direction (step S406).
  • FIG. 35 shows the gravity axis when facing downward.
  • FIG. 36 shows Yaw rotation calculation from measurement data and measurement singularity.
  • FIG. 37 shows a flow chart for determining whether the conditions are satisfied.
  • FIG. 38 shows the Yaw rotation definition on a face-on basis.
  • FIG. 39 shows the effect of vertical motion and bending angle on the calculation result.
  • the calculation of ⁇ uses the measurement result when the user is facing up and down (Fig. 35). This is to avoid the fact that when the user faces the front, the X and Y axes of the acceleration sensor 211 become nearly perpendicular to the gravity axis, and the measured values approach 0. Since the denominator of the formula of 5 approaches 0, a correct value cannot be calculated (FIG. 36).
  • the measurement results are used for calculation when the conditions of ⁇ >45 and ⁇ standard deviation ⁇ 3 are satisfied so that the bending angle ( ⁇ ) is sufficient and errors due to operation are not measured (step S405). (Fig. 37).
  • the upward/downward orientation may not meet the conditions, so two patterns of operation are implemented. It has already been confirmed in FIGS. 36, 38 and 39 that there is no difference in the calculation results between the upper and lower measurements.
  • Patent Document 1 detects and adjusts the user's head rotation.
  • the gyro sensor measures the rotation angle and the acceleration sensor measures the gyro inclination, calculates the "user's head rotation", and corrects the sound image localization position.
  • the front direction can be set by the user's operation, and the rotational movement from there can be traced, but since all measurements are relative to the "user front" as a reference, it cannot be applied to an absolute coordinate system such as azimuth.
  • Patent Document 2 calculates the mounting angle of the navigation device with respect to the vehicle by excluding the influence of the road inclination.
  • An acceleration sensor, a gyro sensor in the yaw direction, a running speed sensor, and GPS are used in combination. Data is collected while detecting the state of the vehicle, such as when the vehicle is stopped or running, and acceleration in the vehicle's traveling direction and lateral direction is detected, and the mounting angle is calculated from these. It is a technology that depends on the unique characteristics of automobiles and cannot be applied to devices worn by people.
  • the difference between the sensor coordinate system in the device installed on the user's head and the coordinate system set in any direction by the user is measured and corrected. Therefore, the output result can be made constant regardless of the shape of the user's ears and head, or the wearing method. Since the correction is not made within relative coordinates, it can be expanded to an absolute coordinate system such as azimuth.
  • the inclination in the Yaw direction is calculated from the gravitational acceleration by the user performing an action (pitch rotation) in which the head is turned up or down.
  • Pitch rotation an action in which the head is turned up or down.
  • the Yaw axis and the gravity axis are close, it is difficult to calculate the tilt of the Yaw report from the gravity acceleration, but by tilting in the Pitch direction, the gravity acceleration applied to each axis changes and can be calculated.
  • the correction value of the user's azimuth angle can be calculated using only the acceleration sensor.
  • the gyro sensor itself drifts depending on the usage environment and continuous use, but the acceleration sensor is not affected by the drift, so it is highly reliable.
  • Fig. 40 shows selection of a playlist suitable for a scene.
  • the content control unit 161 (FIG. 26) of the output control unit 160 assumes that the wearable device 200 is always worn. Suggest appropriate timing of content playback. Some specific examples will be described.
  • the content control unit 161 may restart (resume) content playback based on a user trigger (tap, gesture, etc.) (upper part of FIG. 40).
  • the content control unit 161 may restart content reproduction based on an auto-trigger (wearing, movement, after a call) (middle of FIG. 40).
  • the content control unit 161 may restart content playback based on an auto-trigger involving an interaction (morning commute, evening leaving, running, etc.) (lower part of FIG. 40).
  • the content control unit 161 may restart the reproduction of the content that was being reproduced during the previous morning's commute through interaction with the user.
  • Fig. 45 shows an example of switching and proposing playlists according to the scene.
  • the content control unit 161 reproduces the set resume when the wearable device 200 is attached in the morning.
  • the content control unit 161 reproduces the playlist set to "go to work” when the user goes to work.
  • the content control unit 161 changes the playlist according to the scene by reproducing the playlist set to "office work”.
  • the content control unit 161 stops the playback while the user is in a meeting or calling, and restarts the playlist set to "office work" when the meeting or calling ends.
  • the content control unit 161 proposes the start of playback of a playlist that matches the scene.
  • the content control unit 161 reproduces the playlist set to "go to work”.
  • the content control unit 161 stops the content according to the scene by stopping content reproduction.
  • FIG. 41 shows an example of continuously reproducing a playlist across the same divided scenes.
  • the previous day was as described with reference to FIG.
  • the content control unit 161 reproduces the music next to the music played last (the previous day). Therefore, the new song is played.
  • the content control unit 161 restarts the last song (on the previous day) of the playlist set to "go to work". That is, the content control unit 161 reproduces the playlist by connecting it across days.
  • the content control unit 161 connects the scenes over time and reproduces the playlist. to play.
  • the content control unit 161 When the user arrives at the office, the content control unit 161 resumes the last song played (on the previous day) in the playlist set to "office work". When the user leaves work, the content control unit 161 restarts the song that was played last (on the previous day) in the playlist set to "leave work”. That is, the content control unit 161 reproduces the same environmental state (scene ) can be continuously played back.
  • FIG. 42 shows another example in which the user experiences content that matches the scene.
  • the content control unit 161 reproduces content suitable for the morning.
  • the content control unit 161 restarts the song that was played last (the previous day) in the playlist set to "commuting to school" when the user (student in this example) is commuting to school.
  • the content control unit 161 reproduces the playlist set to "for work” and turns on noise canceling.
  • the content control unit 161 reproduces up-tempo content during running.
  • the content control unit 161 reproduces intensive BGM when the user sits at his desk at home and studies.
  • the content control unit 161 reproduces BGM that encourages meditation when the user's stress is high.
  • the content control unit 161 reproduces sleep BGM when the user lies down in bed at night, and stops the content when the user falls asleep. As a result, the wearable device 200 is worn all the time and the content is automatically reproduced according to the behavior of the user, so that the user can live comfortably.
  • FIG. 43 shows a first implementation example (a content control application controls a content providing application).
  • the content control application 300 controls the content providing application 400 .
  • the content control application 300 determines the scene ID based on the user's status (Not busy), etc., and notifies the content providing application 400 of the scene ID. Not busy means not busy (conversation, call, calendar event scheduled).
  • the content providing application 400 determines a playlist suitable for the scene based on the context, the user's own content table, and the content played last, and plays it.
  • FIG. 44 shows a second implementation example (the content control application records the information of the content that was being reproduced at the end of the scene and designates the content ID for each context).
  • the content control application 300 records the information of the content that was being reproduced at the end of the scene, and designates the content ID for each context.
  • the content control application 300 determines the scene ID from the user's state (Not busy), etc. Based on the scene ID, the content ID and artist ID are obtained from the context, the user's own content table, and the last played content. to the content providing application 400;
  • the content providing application 400 selects and reproduces a playlist including content identified by the content ID and artist ID.
  • FIG. 46 shows an example of a content information acquisition method.
  • the content control unit 161 remembers content information that the user has listened to for 30 seconds or more (when reproduction of 30 seconds or more is counted as 1 reproduction). At that time, it is recorded as a log along with context information such as time, place, action type, etc., as well as linking with the prescribed "scene" classification.
  • the content information includes, for example, song information, artist information, album information, playlist information, information on the number of songs in the playlist, playback application information, and information on how many seconds the song has been played back.
  • the content control unit 161 detects a context that matches the scene determination rule, the content control unit 161 resumes playback from the point where it was previously stopped in that scene.
  • the number of seconds for the content control unit 161 to remember the content information may be shorter than 30 seconds, longer than 30 seconds, may be appropriately set by the user, or may be automatically set for each content. may
  • AVRCP Audio/Video Remote Control Profile
  • resumes may be less reproducible.
  • the content control unit 161 issued a playback request to service B based on the meta information of the song played by the user on service A because the playback application information could not be acquired and the song information was text-based meta information. , there are times when a matching song cannot be found and cannot be reproduced.
  • the advantage of acquiring content information via the SDK is that resumes can be reproduced for each song/artist. Since the song ID/artist ID/album ID managed by the content providing application 400 can be obtained, it is possible to reproduce the album containing the song/artist.
  • the advantage of acquiring content information via GATT is that the resume can be reproduced on a song/artist/playlist basis, providing the highest quality experience.
  • GATT Generic Attribute Profile
  • the song ID/artist ID/album ID managed by the content providing application 400 if the playlist URI (Uniform Resource Identifier) and song order can be obtained, the song can be reproduced from the middle of the playlist.
  • playlist URI Uniform Resource Identifier
  • Fig. 47 shows the reproduction of one playlist by connecting the same scenes.
  • a playlist As a first example of a playlist, several categories based on the user's preferences are presented to the user in the form of a playlist, which is dynamically generated based on the preferences selected by the user.
  • a second example of a playlist is a playlist (fixed songs) generated by selecting songs by a creator.
  • the content control unit 161 plays back the playlist from the beginning when the playback of the playlist ends, or recommends a playlist that seems to be related and starts playback if the user accepts it. There are three options: implement or terminate.
  • FIG. 48 shows an example of a table held by the content reproduction control application.
  • the content for the morning commute is recommended by voice, and if the user interacts with Yes, they can continue listening to the song they last listened to on the morning commute.
  • the content control unit 161 memorizes, as an example, content information that the user has listened to for 30 seconds or more (when reproduction of 30 seconds or more is counted as one reproduction).
  • the content information includes, for example, song information, artist information, album information, playlist information, information on the number of songs in the playlist, playback application information, and information on how many seconds the song has been played back.
  • the content control unit 161 associates it with the prescribed “scene” classification, and records it as a log together with context information such as time, place, action type, and the like.
  • context information such as time, place, action type, and the like.
  • the content control unit 161 detects a context that matches the “scene” determination rule, the content control unit 161 resumes playback from the point where it stopped last time in that scene.
  • the number of seconds for the content control unit 161 to remember the content information may be shorter than 30 seconds, longer than 30 seconds, may be appropriately set by the user, or may be automatically set for each content. may
  • FIG. 49 shows an example of a table held by the content reproduction control application.
  • the content control unit 161 based on the song information, the playlist information, and the information on how many seconds of the song has been played back, specifies the last playback content "YYYY" of the same playlist and the playback time to reproduce the same scene. Sometimes it is possible to resume the previously played playlist.
  • the user may specify in advance a playlist to be reproduced in the scene. For example, the user sets scene (1): playlist A, scene (2): playlist B, and scene (3): none.
  • the content control unit 161 records what the user is playing.
  • the content control unit 161 records the playlist C when the playlist C is reproduced as the scene (3).
  • the content control unit 161 reproduces the playlist C when the wearable device 200 is attached in scene (3).
  • the content control unit 161 does not change the scene and playlist.
  • the content control unit 161 When the user manually changes the playlist during the scene, the content control unit 161 reproduces playlist A in scene (1) and changes it to playlist D during scene (1). The content control unit 161 finishes the scene (1), and when the scene (1) comes again after the passage of time, the play list A is reproduced (proposed). If the playlist A is rejected, the content control unit 161 proposes the playlist C (higher priority). It can also be done on the GUI. It also includes the case where the user is prompted to change and the user accepts it.
  • the content control unit 161 may make recommendations based on the scene.
  • the content control unit 161 can reflect the music preferences of the scene in the dynamically generated playlist.
  • the content control unit 161 analyzes preferences using Skip and Like in each scene, and can reflect the content preferred in each scene and a dynamic playlist generated for each scene.
  • the content control unit 161 continues the playlist when the scene is the same across multiple devices. For example, if the content control unit 161 is listening to a playlist for Saturday night on a smartphone, stops the music once at home, and starts playing music on an audio device after eating, Resume playlist.
  • the content control application 300 defines a scene based on the user's behavior, information related to the user, and the environment. Actions are walking, running, laughing, riding a train, staying at home, feeling good, not feeling well, and so on. Information related to the user is in a meeting, at work, shopping, at work, and the like. The environment is the weather, the time of day, and the like. A scene is defined by combining the above information (although it does not necessarily include all of them). Scenes include commuting, being in the office, running on holidays, and the like.
  • the content control application 300 selects and reproduces a playlist according to the scene. Specifically, a playlist is selected and played back at the playback start time point or at the change point of the scene being played back.
  • the user may associate scenes and playlists in advance. If the playlist is changed during the scene, it may be replaced (return to the preset playlist once playback is stopped). For example, when commuting, select and play a playlist that matches your commute, or a playlist that allows you to concentrate when you are at work.
  • the song being played is played to the end, and after the end, the playlist matching the current scene is played. Propose playback according to the scene when wearing. There is also an option not to play.
  • the content control application 300 When selecting music in a scene, the content control application 300 reproduces the continuation of the playlist reproduced in the same scene in the past. When playback is stopped during a scene, the song can be stored, and when the same scene appears next time, the stored song can be resumed.
  • the content control application 300 can confirm whether or not the change is allowed at the time of scene switching, and the user can refuse the confirmation.
  • a notification sound is superimposed on the song currently being played to notify the user that the playlist will be changed.
  • the user can reject or approve the change confirmation by the notification sound by key operation, voice, or gesture input.
  • the content control unit 161 can also be applied to present and recommend content other than music.
  • the content control unit 161 can provide contents other than music to be viewed depending on the scene.
  • the content control unit 161 reproduces a playlist of economic news videos on the train when going to work.
  • the content control unit 161 plays videos of favorite YouTubers in a playlist on the train on the way home.
  • the content control unit 161 can also switch SNS content and the like to be displayed according to the scene.
  • the content control unit 161 selects economic news on the train on the way to work, and selects entertainment news on the train on the way home.
  • the content control unit 161 can change the content to be provided according to the detected scene by defining what to present according to the scene for each device (category of).
  • FIG. 50 shows the concept of user frontality.
  • the wearable device 200 and the content playback control application 300 are the user front, and serve as interfaces that provide background creators and applications of each company.
  • FIG. 51 explains the user front property by taking a search as an example.
  • FIG. 52 explains the user front property of this embodiment.
  • FIG. 53 explains the user front property of this embodiment.
  • the content playback control application 300 provides the user's context to the content providing application 400 .
  • the content providing application 400 applies to the content reproduction control application 300 for content reproduction.
  • the content reproduction control application 300 permits the content providing application 400 to reproduce the content.
  • the content providing application 400 provides content to the wearable device 200 and reproduces it.
  • Fig. 54 shows playlist designation by a creator.
  • the content playback control application 300 transmits the context when the wearable device 200 is worn, and selects a playlist based on tags.
  • Creators create playlists and set the context they want to hear.
  • Creator-provided playlists are selected when the user is in a particular context.
  • FIG. 55 shows a method of providing content in accordance with scenes.
  • the content playback control application 300 provides an experience of listening to music content in such a scene, rather than having the user listen to the music content.
  • the content reproduction control application 300 makes it possible to search for content that cannot be identified by its title using tags. Tags can be added by users and creators.
  • the content playback control application 300 can make music content searchable in context (Run, Night+Run, etc.).
  • the content reproduction control application 300 can search contexts using user behavior as a search key.
  • FIG. 56 shows a method of playing music content when the user wants to listen to it.
  • the content playback control application 300 acquires the context of the timing at which the music content Like button was pressed, and when the same context appears again, the same content is played back and provided to the user. For example, when the content reproduction control application 300 detects a Night+Run context and Like, it reproduces the same content when the same context (Night+Run) situation occurs again. As a result, the content reproduction control application 300 reproduces songs with common tags and songs detected through cooperation.
  • Fig. 57 shows an example of dynamically changing content based on tags.
  • the content playback control application 300 detects changes in tags and dynamically changes content to be played back.
  • the present disclosure may have the following configurations.
  • a user state estimation unit that estimates a user state
  • an environment estimation unit that estimates an environmental state to be presented to the user based on the user state
  • an output control unit that controls output based on the environmental state
  • An information processing device comprising: (2) The information processing device according to (1) above, a user position estimating unit that estimates a user position based on a detection value of a sensor unit of the wearable device worn by the user; a location attribute estimating unit that estimates a location attribute, which is an attribute of a location where the user is located, based on the user location; further comprising The information processing apparatus, wherein the user state estimation unit estimates the user state based on the location attribute.
  • the user position estimation unit an angle correction unit that calculates a correction value of the azimuth angle of the user based on the detection value of the sensor unit of the wearable device worn by the user; an angle estimation unit that estimates an azimuth angle of the user based on the detection value of the sensor unit of the wearable device worn by the user and the correction value; a user position estimation unit that estimates the user position using the azimuth angle; An information processing device.
  • the user position estimation unit estimates a moving route of the user position, The information processing apparatus, wherein the location attribute estimation unit estimates the location attribute after movement based on the movement route.
  • the location attribute estimation unit stores a plurality of movement routes, and estimates the location attribute after movement by matching the estimated movement route with the plurality of held movement routes.
  • DTW dynamic time warping
  • the information processing device according to any one of (1) to (11) above, further comprising a context acquisition unit that acquires the context of the user; The information processing apparatus, wherein the user state estimation unit estimates the user state based on the acquired context.
  • the context includes at least one of location information of the user and terminal information of the information processing device.
  • Information processing apparatus wherein the user state estimation unit estimates the user state based on the detection value of the sensor unit of the wearable device and/or the location attribute.
  • the information processing apparatus indicates a plurality of activity states of the user.
  • the output control unit is An information processing apparatus comprising: a content control unit that reproduces content selected based on the environmental state; and/or a notification control unit that controls the number of notifications to the user based on the environmental state.
  • (17) Estimate the user state, estimating an environmental state to be presented to a user based on the user state; controlling output based on the environmental conditions; Information processing methods.
  • the processor of the information processing device a user state estimation unit that estimates a user state; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state; An information processing program operated as an output control unit that controls output based on the environmental state.
  • wearable devices and a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state; an output control unit that controls output based on the environmental state; an information processing device having An information processing system comprising (20) the processor of the information processing device, a user state estimation unit that estimates a user state; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state; A non-transitory computer-readable recording medium recording an information processing program operated as an output control unit that controls output based on the environmental state.
  • the present disclosure may have the following configurations.
  • wearable devices and a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state of the user based on the user state;
  • a content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue.
  • a content control unit that reproduces the content
  • a content playback control application having an information processing device having a control circuit that executes
  • a content playback system comprising: (2) The content reproduction system according to (1) above, the control circuit of the information processing device executes a plurality of different content providing applications; The content reproduction system, wherein the content control unit selects a predetermined content providing application for reproducing the content based on the environmental state. (3) The content reproduction system according to (1) or (2) above, the control circuit of the information processing device executes a plurality of different content providing applications; The wearable device has an input device, The content reproduction system, wherein the content control unit selects a predetermined content providing application for reproducing the content based on different operations input by a user to the wearable device.
  • the wearable device has a sensor unit
  • the content playback control application is a user position estimation unit that estimates a user position based on a detection value input from a sensor unit of the wearable device worn by the user; a location attribute estimating unit that estimates a location attribute, which is an attribute of a location where the user is located, based on the user location; further having The content reproduction system, wherein the user state estimation unit estimates the user state based on the location attribute.
  • the sensor unit of the wearable device includes at least one of an acceleration sensor, a gyro sensor, a compass, and a biosensor.
  • the content reproduction system according to (6) or (7) above The content providing application selects a plurality of content candidates based on the cue, and selects content to be played back from the plurality of candidates based on the detection value input from the sensor unit. (9) The content reproduction system according to any one of (6) to (8) above, A content reproduction system wherein the content providing application selects attributes of content to be reproduced based on the detection value input from the sensor unit and reproduces the selected content during reproduction of the content.
  • the content control unit generates a cue for the content providing application to stop playing the content based on the environmental state, outputs the cue to the content providing application, and instructs the content providing application to stop the reproduction of the content based on the cue.
  • a content reproduction system that stops the reproduction of the content.
  • the content playback control application is further comprising a context acquisition unit that acquires the context of the user; The content reproduction system, wherein the user state estimation unit estimates the user state based on the acquired context.
  • the user position estimation unit an angle correction unit that calculates a correction value of the azimuth angle of the user based on the detection value of the sensor unit of the wearable device worn by the user; an angle estimation unit that estimates an azimuth angle of the user based on the detection value of the sensor unit of the wearable device worn by the user and the correction value; A content reproduction system that estimates the user position using the azimuth angle.
  • the sensor unit of the wearable device includes an acceleration sensor,
  • the angle corrector is calculating the inclination of the user in the pitch direction and the inclination in the roll direction from the gravitational acceleration when the user faces the roll direction, which is the detection value of the acceleration sensor; calculating the inclination of the user in the Yaw direction from the gravitational acceleration when the user faces the Pitch direction as the detection value of the acceleration sensor, the inclination in the Pitch direction, and the inclination in the Roll direction;
  • a content reproduction system in which the tilt in the pitch direction, the tilt in the roll direction, and the tilt in the yaw direction are used as the correction values.
  • the content reproduction system according to any one of (1) to (13) above, A content reproduction system in which the content control unit continuously reproduces related content across the same environmental state.
  • a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state;
  • a content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue.
  • a content control unit that reproduces the content
  • a content playback control application having An information processing device comprising a control circuit for executing (16) The control circuit of the information processing device, a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state; A content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue.
  • a content reproduction control application that operates as a content control unit that reproduces the content.
  • the control circuit of the information processing device a user state estimation unit that estimates a user state of a user wearing the wearable device; an environment estimation unit that estimates an environmental state to be presented to the user based on the user state;
  • a content providing application that provides content generates a cue for selecting content based on the environmental state, outputs the cue to the content providing application, and causes the content providing application to select content based on the cue.
  • a non-transitory computer-readable recording medium recording a content reproduction control application that operates as a content control unit that reproduces the content.
  • information processing system 100 information processing device 110 context acquisition unit 111 GPS sensor 112 beacon transceiver 113 terminal information acquisition unit 120 PDR unit 121 angle correction unit 122 angle estimation unit 123 user position estimation unit 130 location estimation unit 140 user state estimation unit 150 Environment estimation unit 160 Output control unit 161 Content control unit 162 Notification control unit 200 Wearable device 210 Sensor unit 211 Acceleration sensor 212 Gyro sensor 213 Compass 214 Biosensor

Abstract

【課題】状況に拠らず適切にユーザに対する出力を制御するコンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーションを提供する。 【解決手段】コンテンツ再生システムは、ウェアラブルデバイスと、前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、前記ユーザ状態に基づき前記ユーザの環境状態を推定する環境推定部と、前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、を有するコンテンツ再生制御アプリケーションと、を実行する制御回路を有する情報処理装置と、を具備する。

Description

コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
　本開示は、ユーザに対する出力を制御するコンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーションに関する。
　発話や環境音を音声認識して、認識した音に基づき楽曲等のコンテンツを選択し出力する技術がある（特許文献１）。
米国特許第１０８９１９４８号明細書 米国特許第９３９８３６１号明細書 特開２０１０－５６５８９号公報 特開２０１１－２０９１６２号公報
　発話や環境音を音声認識する技術は、音がする環境のみ適用可能である。このため、音を立てたくないユーザや、音を立てたくない状況では、適切なコンテンツを選択できないおそれがある。また、自然言語処理には高い計算能力が必要であるため、ローカルで処理することが難しい。
　以上のような事情に鑑み、本開示の目的は、状況に拠らず適切にユーザに対する出力を制御するコンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーションを提供することにある。
　本開示の一形態に係るコンテンツ再生システムは、
　ウェアラブルデバイスと、
　　前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザの環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
　を有するコンテンツ再生制御アプリケーションと、
　を実行する制御回路を有する情報処理装置と、
　を具備する。
　これにより、ユーザが能動的に選択する必要無く、コンテンツ提供アプリケーションから適切なコンテンツを再生させることができる。
　前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
　前記コンテンツ制御部は、前記環境状態に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択してもよい。
　これにより、ユーザが能動的に選択する必要無く、複数の異なるコンテンツ提供アプリケーションのサービスを統合したユーザエクスペリエンスを提供できる。
　前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
　前記ウェアラブルデバイスは、入力装置を有し、
　前記コンテンツ制御部は、前記ウェアラブルデバイスにユーザが入力した異なる操作に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択してもよい。
　これにより、ユーザが能動的に選択する必要無く、複数の異なるコンテンツ提供アプリケーションのサービスを統合したユーザエクスペリエンスを提供できる。
　前記情報処理装置の前記制御回路は、複数の前記異なる操作を前記複数の異なるコンテンツ提供アプリケーションの選択に割り当てるプリセットアプリケーションを実行してもよい。
　前記プリセットアプリケーションは、前記コンテンツ再生制御アプリケーションに含まれてもよい。
　例えば、プリセットアプリケーションは、複数の異なるコンテンツ提供アプリケーションの選択に予め割り当てる。ウェアラブルデバイスの入力装置にユーザが入力する複数の異なる操作（例えば、シングルタップ、ダブルタップ、トリプルタップ、ラジオボタンの押下等）を、複数の異なるコンテンツ提供アプリケーションの選択に予め割り当てることができる。
　前記ウェアラブルデバイスは、センサ部を有し、
　前記コンテンツ再生制御アプリケーションは、
　　前記ユーザが装着したウェアラブルデバイスが有するセンサ部から入力された検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
　　前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
　をさらに有し、
　前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定してもよい。
　本実施形態によれば、ユーザの家屋内での場所や、他のユーザコンテクストに基づき、音を立てたくない状況等の状況に拠らず適切にユーザに対する出力を制御することができる。
　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含んでもよい。
　屋外と違い家屋内は比較的に場所が狭く、特定の位置を推定するためには高精度のビーコンやカメラのような外付け設備が必要になるのが一般的である。これに対して、本実施形態によれば、外付け装備なく、ウェアラブルデバイスに装着された加速度センサ、ジャイロセンサ及び／又はコンパスを使い家屋内の位置を特定することができる。
　前記コンテンツ提供アプリケーションは、前記キューに基づきコンテンツの複数の候補を選択し、前記センサ部から入力された前記検出値に基づき前記複数の候補から再生すべきコンテンツを選択してもよい。
　前記コンテンツ提供アプリケーションは、コンテンツの再生中に、前記センサ部から入力された前記検出値に基づき、再生すべきコンテンツの属性を選択し、選択したコンテンツを再生してもよい。
　コンテンツ提供アプリケーションは、コンテンツ再生制御アプリケーションからのキューに基づきコンテンツの複数の候補を選択し、ウェアラブルデバイスのセンサ部から入力された検出値に基づき、複数の候補から再生すべきコンテンツを選択してもよい。また、コンテンツ提供アプリケーションは、センサ部から入力された検出値に基づき、例えば、ユーザのランニング速度に合わせた速いテンポの、コンテンツを選択してもよい。
　前記コンテンツ制御部は、前記環境状態に基づき前記コンテンツ提供アプリケーションが前記コンテンツの再生を停止するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づき前記コンテンツの再生を停止させてもよい。
　例えば、会議開始などの状態変化により音楽を停止したほうがいいケースがある。コンテンツ再生制御アプリケーションはそれらの状態を検出しコンテンツ提供アプリケーションに対して停止命令を送ることができる。
　前記コンテンツ再生制御アプリケーションは、
　ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
　前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定してもよい。
　場所属性だけでなくユーザのコンテクストに基づきユーザ状態を推定することで、より精度よくユーザ状態を推定できる。
　前記ユーザ位置推定部は、
　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、を有し、
　前記方位角を利用して前記ユーザ位置を推定してもよい。
　ウェアラブルデバイスの装着角度は、ユーザ毎に異なる。このため、加速度センサ及びジャイロセンサのセンサ軸の角度は、ユーザ毎に異なる。そこで、ユーザ位置推定部は、ユーザ毎にセンサ部のセンサ軸の角度を推定し、これを補正値として、個人差に依存することなく精度高く向き（角度）を推定することができる。
　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサを含み、
　前記角度補正部は、
　　前記加速度センサの前記検出値としての前記ユーザがRoll方向を向いたときの重力加速度から、前記ユーザのPitch方向の傾き及び前記Roll方向の傾きを算出し、
　　前記加速度センサの前記検出値としての前記ユーザが前記Pitch方向を向いたときの重力加速度と、前記Pitch方向の傾き及び前記Roll方向の傾きとから、前記ユーザのYaw方向の傾きを算出し、
　　前記Pitch方向の傾き、前記Roll方向の傾き及び前記Yaw方向の傾きを、前記補正値としてもよい。
　本実施形態によれば、加速度センサのみを使用して、ユーザの方位角の補正値を算出することができる。これにより、搭載センサが少ない環境でも実施でき、低コスト、省電力、小型化を実現可能である。
　前記コンテンツ制御部は、同一の環境状態を跨いで連続的に関連するコンテンツを再生してもよい。
　本開示の一形態に係る情報処理装置は、
　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
　を有するコンテンツ再生制御アプリケーションと、
　を実行する制御回路
　を具備する。
　本開示の一形態に係るコンテンツ再生制御アプリケーションは、
　情報処理装置の制御回路を、
　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部
　として動作させる。
本開示の一実施形態に係る情報処理システムの構成を示す。 装着されたウェアラブルデバイスを模式的に示す。 装着されたウェアラブルデバイスの個人差を模式的に示す。 角度補正の概念を模式的に示す。 角度補正部の動作フローを示す。 ユーザの動きを模式的に示す。 角度補正の概念を模式的に示す。 角度補正部の具体的な処理を示す。 具体的な計算例を示す。 初期フレーム同士の関係を示す。 自然な正面を指定する方法を示す。 場所推定部の処理を説明するための図である。 場所推定部の処理の適用例を示す。 場所推定部の処理の認識例を示す。 場所推定部の動作フローを示す。 場所推定部の補足的な動作フローを示す。 経路が同じで違う歩き方として識別する場合の動作を示す。 場所推定部が場所を推定する方法の変形例を示す。 コンテクストからユーザに提示する環境状態を推定するフローである。 ユーザ状態推定部の動作を示す。 コンテクスト及びユーザ状態のマッピング関係を示す。 ユーザ状態推定部がユーザ状態を判断する方法を示す。 環境推定部の動作を示す。 出力制御部のコンテンツ制御部の動作を示す。 出力制御部の通知制御部の動作を示す。 本実施形態に係るコンテンツ再生システムの構成を示す。 プリセットアプリケーションのＧＵＩの一例を示す。 コンテンツ再生制御アプリケーションの動作フローを示す。 コンテンツ提供アプリケーションを選択するために用いられるテーブルの一例を示す。 一実施形態に係る角度補正部の機能的構成を示す。 角度補正部の動作フローを示す。 デバイス座標系の定義を示す。 角βの導出方法を示す。 正面を向いているときの重力軸を示す。 下方向を向いているときの重力軸を示す。 測定データからのYaw回転算出と測定特異点を示す。 条件を満たすかどうかを判断するためのフローチャートを示す。 正面方向ベースのYaw回転定義を示す。 上下動作と曲げ角度の算出結果への影響を示す。 シーンに合わせたプレイリストの選択を示す。 分断された同一シーンを跨いで連続的にプレイリストを再生する例を示す。 ユーザがシーンに合ったコンテンツを体験する別の例を示す。 第１の実現例（コンテンツ制御アプリケーションがコンテンツ提供アプリケーションをコントロールする）を示す。 第２の実現例（コンテンツ制御アプリケーションがシーンの最後に再生していたコンテンツの情報を記録し、コンテクストごとにコンテンツＩＤを指定する）を示す。 シーンに合わせてプレイリストを切り替え、提案する例を示す。 コンテンツ情報取得方法の例を示す。 同一シーンをつないで一つのプレイリストを再生することを示す。 コンテンツ再生制御アプリケーションが持つテーブルの一例を示す。 コンテンツ再生制御アプリケーションが持つテーブルの一例を示す。 ユーザフロント性の概念を示す。 検索を例としてユーザフロント性を説明する。 本実施形態のユーザフロント性を説明する。 本実施形態のユーザフロント性を説明する。 クリエイターによるプレイリスト指定を示す。 シーンと合わせたコンテンツの提供方法を示す。 ユーザが聴きたいときに音楽コンテンツを再生する方法を示す。 タグをもとに動的にコンテンツを変える例を示す。
　以下、図面を参照しながら、本開示の実施形態を説明する。
　１．情報処理システムの構成
　図１は、本開示の一実施形態に係る情報処理システムの構成を示す。
　情報処理システム１０は、情報処理装置１００と、ウェアラブルデバイス２００とを有する。
　情報処理装置１００は、例えば、スマートフォン、タブレットコンピュータ又はパーソナルコンピュータ等の、エンドユーザが使用する端末装置である。情報処理装置１００は、インターネット等のネットワークに接続される。
　ウェアラブルデバイス２００は、ユーザの頭に装着されるデバイスである。ウェアラブルデバイス２００は、典型的には、ワイヤレスイヤホン（図２）であるが、ワイヤレスヘッドフォンや有線ヘッドフォン、有線イヤホン、AR(Augmented Reality)またはVR(Virtual Reality)用のHMD(Head Mount Display)等であってもよい。また、図２では耳穴を完全にふさがないオープンイヤー型のイヤホンであるが、例えば耳孔を塞ぐタイプのカナル型イヤホンや補聴器、集音器等であっても良い。情報処理装置１００とウェアラブルデバイス２００とは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）（具体的には、ＢＬＥ（Bluetooth Low Energy）　ＧＡＴＴ（Generic Attribute Profile））やWi-Fi（登録商標）等の種々の近距離無線通信により相互に通信可能に接続される。ウェアラブルデバイス２００は、センサ部２１０を有する。センサ部２１０は、加速度を検出する加速度センサ２１１と、角速度を検出するジャイロセンサ２１２と、方位角を検出するコンパス２１３とを含む。センサ部２１０は、さらに、心拍センサ、血流センサ、脳波センサ等の生体センサ２１４を含む。ウェアラブルデバイス２００は、センサ部２１０の検出値を、情報処理装置１００に供給する。
　情報処理装置１００は、制御回路のＣＰＵ等のプロセッサがＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、コンテクスト取得部１１０と、ＰＤＲ（Pedestrian Dead Reckoning）部１２０（ユーザ位置推定部）と、場所推定部１３０（場所属性推定部）と、ユーザ状態推定部１４０と、環境推定部１５０と、出力制御部１６０として動作する。
　コンテクスト取得部１１０は、ユーザのコンテクストを取得する。ユーザのコンテクストは、位置情報及び端末情報を含む。ここで、コンテクストとは、例えばセンサ部２１０から取得したセンサ値や、カレンダーアプリから取得したユーザの予定情報等である。コンテクスト取得部１１０は、ＧＰＳセンサ１１１及びビーコン送受信機１１２等の、コンテクストとして位置情報を取得する装置を有する。コンテクスト取得部１１０は、さらに、コンテクストとして端末情報を取得する端末情報取得部１１３を有する。端末情報取得部１１３は、コンテクストである端末情報として、画面ロック情報（ロック、アンロック）、ユーザの行動情報（ラン、自転車、静止、徒歩、乗車中等）、場所（家やオフィス等の特定場所、不特定場所）、カレンダーアプリ情報（会議予定あり、無し）、時間情報（ワークタイム中、ワークタイム外）、電話アプリ情報（電話中）、音声認識アプリ情報（発話中）、自動ＤＮＤ（Do Not Disturb）設定（時間枠内、時間枠外）、手動ＤＮＤ設定（オン、オフライン）等を取得する。
　ＰＤＲ部１２０（ユーザ位置推定部）は、ユーザが装着したウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）に基づき、ユーザ位置を推定する。具体的には、ＰＤＲ部１２０は、角度補正部１２１と、角度推定部１２２と、ユーザ位置推定部１２３とを有する。角度補正部１２１は、ユーザが装着したウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）に基づき、ユーザの方位角の補正値を算出する。角度推定部１２２は、ユーザが装着したウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）と、補正値とに基づき、ユーザの方位角を推定する。ユーザ位置推定部１２３は、補正後の方位角を利用してユーザ位置を推定する。ＰＤＲ（歩行者自律航法、Pedestrian Dead Reckoning）とは、複数の自律動作するセンサからの検出値に基き、ある基準点からの相対的な位置を測位する技術である。本例では、ＰＤＲ部１２０は、加速度センサ２１１、ジャイロセンサ２１２、コンパス２１３からの検出値である加速度、角速度及び方位角に基づき、ユーザ位置の部屋から部屋への変化、即ち、ユーザ位置の移動経路を推定する。
　場所推定部１３０（場所属性推定部）は、ＰＤＲ部１２０が推定したユーザ位置の変化に基づき、ユーザがいる場所の属性（場所属性）を推定する。言い換えれば、ＰＤＲ部１２０が推定した移動経路に基づき、ユーザの移動後の場所属性を推定する。場所属性は、例えば、１つの建物自体等よりさらに細かい、１つの建物内の区分である。例えば、場所属性は、１つの家屋内の、リビングルーム、寝室、トイレ、キッチン、洗面所等である。あるいは、場所属性は、１つのコーワーキングスペース内の、デスク、会議室等である。ただし、これには限定されず、場所属性が建物自体等を示すものであってもよいし、建物自体と建物内の区分両方であっても良い。
　ユーザ状態推定部１４０は、コンテクスト取得部１１０が取得したコンテクストと、ウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）と、場所推定部１３０が推定した場所属性とに基づき、ユーザ状態を推定する。ユーザ状態は、ユーザの複数レベルの活動状態を示す。例えば、ユーザ状態は、ブレイクタイム、ニュートラル、ＤＮＤ（Do Not Disturb）及びオフラインの４レベルの活動状態を示す。ブレイクタイムが最もリラックスした活動状態、ニュートラルが通常の活動状態、ＤＮＤが比較的忙しい活動状態、オフラインが最も忙しい活動状態である。また、前述した４つのレベル別だけでなく、システム上で任意の数のレベル別に設定したり、ユーザ側でレベル数を適宜設定できるようにしてもよい。
　環境推定部１５０は、ユーザ状態推定部１４０が推定したユーザ状態に基づき、ユーザに提示する環境状態を推定する。環境推定部１５０は、さらに、場所推定部１３０が推定した場所属性に基づき、ユーザに提示する環境状態を推定してもよい。ユーザに提示する環境状態は、例えば、ユーザがフォーカス（集中）できるような環境状態や、ユーザがリラックスできるような環境状態である。
　出力制御部１６０は、環境推定部１５０が推定した環境状態に基づき出力を制御する。具体的には、出力制御部１６０は、コンテンツ制御部１６１及び通知制御部１６２を有する。コンテンツ制御部１６１は、環境推定部１５０が推定した環境状態に基づき選択されたコンテンツ（楽曲、動画等）を再生する。例えば、コンテンツ制御部１６１は、ネットワークを介してＤＳＰ（Digital Service Provider）に環境状態を通知し、ＤＳＰがこの環境状態に基づき選択したコンテンツ（例えばユーザがフォーカスできるようなコンテンツや、ユーザがリラックスできるようなコンテンツ等）を受信して再生すればよい。通知制御部１６２は、環境状態に基づきユーザへの通知の回数を制御する。例えば、通知制御部１６２は、ユーザがフォーカスできるように通知（アプリやメッセージの新着通知等）の回数を減らす又は無くす、ユーザがリラックス中であれば通知の回数を通常通りとする等のような処理をしてもよい。
　２．ＰＤＲ部の角度補正部の動作
　図２は、装着されたウェアラブルデバイスを模式的に示す。
　ウェアラブルデバイス２００は、典型的には、ワイヤレスイヤホンである。ワイヤレスイヤホンであるウェアラブルデバイス２００は、スピーカ２２１と、ドライバユニット２２２と、これらを接続する音導管２２３とを有する。スピーカ２２１が耳孔に挿入されてウェアラブルデバイス２００を耳に対して位置決めし、ドライバユニット２２２は耳の裏に位置する。加速度センサ２１１及びジャイロセンサ２１２を含むセンサ部２１０は、ドライバユニット２２２内に内蔵される。
　図３は、装着されたウェアラブルデバイスの個人差を模式的に示す。
　ウェアラブルデバイス２００のドライバユニット２２２の顔正面に対する角度は、ユーザ毎に異なる。このため、ドライバユニット２２２に内蔵されたセンサ部２１０の加速度センサ２１１及びジャイロセンサ２１２のセンサ軸の顔正面に対する角度は、ユーザ毎に異なる。例えば、（ａ）は、ユーザがウェアラブルデバイス２００を耳に浅く引っ掛けて装着した場合を示し、（ｂ）は、ユーザがウェアラブルデバイス２００を耳に深く固定して装着した場合を示す。（ａ）のユーザのセンサ軸の顔正面に対する角度と、（ｂ）のユーザのセンサ軸の顔正面に対する角度との差は、３０°以上になることもある。そこで、ＰＤＲ部１２０は、ユーザ毎にセンサ部２１０のセンサ軸の顔正面に対する角度を推定し、これを補正値として、個人差に依存することなく精度高く顔の向き（角度）を推定する。
　図４は、角度補正の概念を模式的に示す。
　ウェアラブルデバイス２００の方位角（azimuth）において、センサ部２１０が取得したセンサ値による更新値AzimuthEと、装着時の顔正面からの向きの差分AzimuthOffsetとには、「Azimuth=AzimuthE+AzimuthOffset」の関係がある。ここで、AzimuthEは、角速度を検出するジャイロセンサ２１２が取得したセンサ値を積算した３次元姿勢から求められる。一方、AzimuthOffsetは、ユーザ毎に異なり、装着だけでは測定ができないため、ユーザ毎にAzimuthOffsetを推定する必要がある。
　姿勢を推定するために、両耳を水平にした状態で、２つの座標系を定義する。座標系（１）は、グローバルフレーム(固定)であり、頭上に延びる垂線Z軸と、両耳を繋いで右方向を正とするX軸と、X軸及びZ軸と直交するY軸とからなる座標系である。座標系（２）は、センサフレームであり、ウェアラブルデバイス２００のセンサ部２１０に対して固定的な座標系（XE，YE，ZE）である。補正値である姿勢差（AzimuthOffset）は、座標系（１）に対する座標系（２）の回転量を示す。
　図５は、角度補正部の動作フローを示す。図６は、ユーザの動きを模式的に示す。図７は、角度補正の概念を模式的に示す。図８は、角度補正部の具体的な処理を示す。図９は、具体的な計算例を示す。
　ユーザはウェアラブルデバイス２００を装着し、正面を向いた状態（図６の（ａ））から、正面斜め下方向を見るように頭を下に動かす（図６の（ｂ））（ステップＳ１０１）。角度補正部１２１は、頭を下に動かすときの加速度値から、グローバルフレーム座標系（X，Y，Z）に対するPitch及びRollを算出する（ステップＳ１０２）。角度補正部１２１は、ジャイロセンサ２１２の角速度値の収集を開始する。このときの時間をt0とする（ステップＳ１０３）（図８の（２）の処理）。ユーザは、次に、左右がぶれないように、正面斜め上を見上げるように頭を上にゆっくり動かす（図６の（ｃ））（ステップＳ１０４）。角度補正部１２１は、ジャイロセンサ２１２の角速度値の収集を続ける（ステップＳ１０５）。ユーザが限界まで頭を上げると、角度補正部１２１は、ジャイロセンサ２１２の角速度値の収集を停止する。このときの時間をt1とする（ステップＳ１０６、ＹＥＳ）。
　角度補正部１２１は、収集したジャイロセンサ２１２の角速度値から、回転軸[αX，αy，αz，]Tを求める。この回転軸はセンサ軸を基準としたものである。次に角度補正部１２１は、ｔ０のときの回転行列（rotation matrix：RotMat）を、「RotMat at t0=RZ(yaw)*RX(pitch)*RY(roll)」と定義する。このRotMatは顔正面を基準としたものである。RZ(・)、RX(・)、RY(・)はそれぞれZ軸、Y軸、X軸の回転行列である。顔正面を基準としたpitchとrollは加速度センサから求められるが、yawは不知である。角度補正部１２１は、RotMat*axis=[1;0;0]の関係からyawを算出できる（図８の（４）の処理）。まずRotMat*axisを[rX，ry，rz]Tとする（ステップＳ１０７）。角度補正部１２１は、rZが閾値から外れれば（０との差が大きければ）失敗であり、処理をやり直す（ステップＳ１０８、ＮＯ）。rZが閾値以内であれば次に進む（ステップＳ１０８、ＹＥＳ）。角度補正部１２１は、rX、rYから補正値（AzimuthOffset）を求める（ステップＳ１０９）（図８の（５）の処理）。角度補正部１２１は、AzimuthOffset、Pitch及びRollから回転行列（rotation matrix：RotMat）を求める（ステップＳ１１０）。このRotMatは顔正面軸を基準としたものである。
　次に、顔が下を向いた状態でなく、自然な正面を指定する方法を説明する。
　図１０は、初期フレーム同士の関係を示す。
　頭を下げた初期姿勢（Head Center Pose）をI3x3(Identity Matrix)とする。センサの姿勢（右耳に付けることを想定しRight Sensor Poseとする）をRt0（図８のRotMat）とする。
　図１１は、自然な正面を指定する方法を示す。
　図９の方法で右センサの姿勢（Right Sensor Pose）であるRt0を求めておけば、顔のpitchを変えたい（即ち、顔を少し上げた姿勢を原点にしたい）場合には、計算をする必要がなく、図９の方法でRt0と新しい姿勢での加速度センサ値から新しい姿勢での関係式Rt2が求められる。
　３．場所推定部の動作
　図１２は、場所推定部の処理を説明するための図である。
　ユーザは家屋内でウェアラブルデバイス２００を装着したまま日常な移動を行う。場所推定部１３０はその移動パターンと順番を記憶しておく。家屋内でユーザが移動する場所やその移動順番は、有限な数で決まっていることが多い。場所推定部１３０は、直近のＮ(例えば、Ｎ＝３）個の移動パターンから場所を特定する。
　図１２において、（１）はリビング(Living)から寝室(Room)に行く経路、（２）は寝室からリビングに戻る経路、（３）はリビングからトイレ(Toilet)に行く経路、（４）はトイレ(Toilet)からリビングに戻る経路、（５）はリビングからキッチン(Kitchen)に行く経路、（６）はキッチンからリビングに戻る経路である。
　例えば、ウェアラブルデバイス２００を装着し、リビングで仕事を始める。しばらくしてトイレに行った後、洗面所で手を洗った後に席に戻る。またしばらくしてキッチンに移動して飲み物を取ってリビングに戻る。ここでの移動パターンは次のような移動パターンとなる。リビングからトイレ（経路（３））。トイレからリビング（経路（４））。リビングからキッチン（経路（５））。キッチンからリビング（経路（６））。
　場所推定部１３０は、この４個のパターンとその順番を記憶しておく。次にユーザが移動したときには、移動パターンを記憶されていたパターンとマッチングする。場所推定部１３０は、マッチングに成功すれば、移動後の場所が特定でき、マッチングに失敗すれば新しいパターンとして経路リストに追加する。経路リスト（図１２の右側）には、直近のＮ(例えば、Ｎ＝３）個の移動パターンの学習済みのリストである。例えば、経路リストは、「（１）リビングから寝室、（２）寝室からリビング、（５）はリビングからキッチン」の移動パターン（最上段）、「（２）寝室からリビング、（５）はリビングからキッチン、（６）はキッチンからリビング」（上から２段目）の様に、直近のＮ(例えば、Ｎ＝３）個の移動パターンが登録されている。
　このように、場所推定部１３０は、複数の移動経路を保持し、ＰＤＲ部１２０により推定された移動経路を、保持された複数の移動経路とマッチングすることにより、移動後の場所属性（リビングルーム、寝室、トイレ、キッチン、洗面所等）を推定することができる。また、場所推定部１３０は、ユーザがいる場所でのユーザの滞在時間を判断することにより、場所属性を推定してもよい。移動経路に加えて滞在時間を判断することで、より精度よく場所属性を推定できる。
　図１３は、場所推定部の処理の適用例を示す。
　出発地点と目的地点が同じでも歩き方が異なる場合は、マッチングしないことがあり、記憶パターンに追加することで学習が行われる。このため、同じ場所間の移動であっても複数のパターンが学習される。図１３の座標系は、原点を出発地点とし、原点（出発地点）から別の部屋に進むときのユーザ位置を定期的に（例えば、１秒ごとに）プロットしたユーザ位置の遷移を示す。（１）の軸は、リビング（原点）から寝室への移動経路を示す。（２）の軸は、寝室（原点）からリビングへの移動経路（距離）を示す。（３）の軸は、リビング（原点）からトイレへの移動経路を示す。（４）の軸は、トイレ（原点）からリビングへの移動経路を示す。
　図１４は、場所推定部の処理の認識例を示す。
　場所推定部１３０は、経路を学習する際に属性を示すラベルを付ける。これにより、マッチングに成功した際に属性を示すラベルを自動で表示することができる。次に、場所推定部１３０の動作をより具体的に説明する。
　図１５は、場所推定部の動作フローを示す。
　ＰＤＲ部１２０は、ユーザ位置の部屋から部屋への変化、即ち、ユーザ位置の移動経路を推定する（ステップＳ２０１）。場所推定部１３０は、ＰＤＲ部１２０が検出したが推定したユーザ位置の変化に基づき、ユーザが停止したことを検出する（ステップＳ２０２、ＹＥＳ）。場所推定部１３０は、停止カウンタをインクリメント（＋１）する（ステップＳ２０３）。場所推定部１３０は、部屋から部屋への移動がＮ個（例えば、Ｎ＝３）以上となると（ステップＳ２０４、ＹＥＳ）、直近のＮ個（例えば、Ｎ＝３）の経路を、保持している複数の移動経路とマッチングする（ステップＳ２０５）。場所推定部１３０は、マッチングに成功すれば（ステップＳ２０６、ＹＥＳ）、移動後の場所を特定する（ステップＳ２０７）。一方、場所推定部１３０は、マッチングに失敗すれば（ステップＳ２０６、ＮＯ）、新しいパターンとして経路リストに追加する（ステップＳ２０８）。
　図１６は、場所推定部の補足的な動作フローを示す。
　ところで、ユーザが自分の家から違う屋内(例えば、コワーキングスペース)に移動し、保持している複数の移動経路とは全く異なる移動経路が検出され続ける場合が考えられる。この場合、場所推定部１３０は、マッチング失敗（ステップＳ２０６、ＮＯ）がしばらく続く（ステップＳ２０９、ＹＥＳ）。一方、新たな移動経路をマッチングに成功するほどに経路リストに十分蓄積すれば（ステップＳ２０８）、マッチングに成功し（ステップＳ２０６、ＹＥＳ）、移動後の場所を特定することができるようになる（ステップＳ２０７）。場所推定部１３０は、マッチング失敗が所定回数続いた場合に（ステップＳ２０９、ＹＥＳ）、経路リストに登録されていない別の場所の可能性があることを示す警告を出力する（ステップＳ２１０）。これにより、移動後の場所属性を、新たな移動経路から推定する旨をユーザに通知できる。
　図１７は、経路が同じで違う歩き方として識別する場合の動作を示す。
　上述のように、出発地点と目的地点が同じでも歩き方が異なる場合は、マッチングしないことがあり、記憶パターンに追加することで学習が行われる。その方法を説明する。直近のＮ個の経路と、データベースのＮ個ずつ保存されたパターンとの距離を、ＤＴＷ(dynamic time warping、動的時間伸縮法)で計算し、閾値と比較する。ＤＴＷ(dynamic time warping、動的時間伸縮法)とは、時系列データ同士の距離・類似度を測る際に用いる手法である。歩き方が異なるとＤＴＷの閾値を超える場合があり、その場合、別のデータとして保存される。
　図１８は、場所推定部が場所を推定する方法の変形例を示す。
　場所推定部１３０は、ＧＰＳセンサ１１１及びビーコン送受信機１１２が取得した位置情報に基づいて、特に屋外でのユーザがいる場所の属性（場所属性）を推定してもよい。場所推定部１３０は、生体センサ２１４が取得した生体情報に基づいて、ユーザがいる場所の属性（場所属性）を推定してもよい。例えば、生体センサ２１４（心拍センサ等）に基づきユーザが入眠時であることが分かれば、場所推定部１３０は、場所属性として寝室を推定すればよい。
　４．ユーザ状態推定部の動作
　図１９は、コンテクストからユーザに提示する環境状態を推定するフローである。
　コンテクスト取得部１１０は、ユーザのコンテクストを取得する。ユーザ状態推定部１４０は、コンテクスト取得部１１０が取得したコンテクストと、ウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）と、場所推定部１３０が推定した場所属性とに基づき、ユーザ状態を推定する。環境推定部１５０は、ユーザ状態推定部１４０が推定したユーザ状態に基づき、ユーザに提示する環境状態（フォーカス（集中）、リラックス等）を推定する。
　図２０は、ユーザ状態推定部の動作を示す。
　ユーザ状態推定部１４０は、コンテクスト取得部１１０が取得したコンテクストと、ウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）と、場所推定部１３０が推定した場所属性とに基づき、ユーザ状態を推定する。ユーザのコンテクストは、位置情報及び端末情報を含む。端末情報は、画面ロック情報（ロック、アンロック）、ユーザの行動情報（ラン、自転車、静止、徒歩、乗車中等）、場所（家やオフィス等の特定場所、不特定場所）、カレンダーアプリ情報（会議予定あり、無し）、時間情報（ワークタイム中、ワークタイム外）、電話アプリ情報（電話中）、音声認識アプリ情報（発話中）、自動ＤＮＤ（Do Not Disturb）設定（時間枠内、時間枠外）、手動ＤＮＤ設定（オン、オフライン）等を含む。ユーザ状態は、ユーザの複数レベルの活動状態を示す。例えば、ユーザ状態は、ブレイクタイム、ニュートラル、ＤＮＤ（Do Not Disturb）及びオフラインの４レベルの活動状態を示す。ブレイクタイムが最もリラックスした活動状態、ニュートラルが通常の活動状態、ＤＮＤが比較的忙しい活動状態、オフラインが最も忙しい活動状態である。
　図２１は、コンテクスト及びユーザ状態のマッピング関係を示す。
　ユーザ状態推定部１４０は、コンテクストをユーザ状態にマッピングすることで、ユーザ状態を推定する。ユーザ状態推定部１４０は、例えば、コンテクストとしての画面ロック情報がアンロックであればユーザ状態はＤＮＤ、ロックであればユーザ状態はニュートラルであると推定する。ユーザ状態推定部１４０は、その他のコンテクストについてもそれぞれユーザ状態を推定する。また、コンテクストは図２１に示されているものに限られず、何かしらのコンテクストを表すものであれば、どのようなものであってもよい。
　図２２は、ユーザ状態推定部がユーザ状態を判断する方法を示す。
　ユーザ状態推定部１４０は、複数のコンテクストについて１つでもオフラインが含まれれば、ユーザ状態をオフラインと推定する。ユーザ状態推定部１４０は、複数のコンテクストについてオフラインが無く、１つでもＤＮＤが含まれれば、ユーザ状態をＤＮＤと推定する。ユーザ状態推定部１４０は、複数のコンテクストについてオフライン、ＤＮＤ及びブレイクタイムが無ければ、ユーザ状態をニュートラルと推定する。ユーザ状態推定部１４０は、オフライン及びＤＮＤが無くブレイクタイムが含まれれば、ユーザ状態をブレイクタイムと推定する。
　５．環境推定部の動作
　図２３は、環境推定部の動作を示す。
　環境推定部１５０は、ユーザ状態推定部１４０が推定したユーザ状態や場所推定部１３０が推定した場所属性に基づき、ユーザに提示する環境状態を推定する。ユーザに提示する環境状態は、例えば、ユーザがフォーカス（集中）できるような環境状態や、ユーザがリラックスできるような環境状態である。
　例えば、（１）環境推定部１５０は、時間帯が仕事中、ユーザ状態がニュートラル、行動がステイ、場所がデスクであれば、ユーザに提示する環境状態をフォーカスと推定する。（２）環境推定部１５０は、時間帯が仕事中、ユーザ状態がブレイクタイムであれば、ユーザに提示する環境状態をリラックスと推定する。（３）環境推定部１５０は、時間帯が仕事外、ユーザ状態がブレイクタイムであれば、ユーザに提示する環境状態をリラックスと推定する。
　６．出力制御部の動作
　図２４は、出力制御部のコンテンツ制御部の動作を示す。
　出力制御部１６０のコンテンツ制御部１６１は、環境推定部１５０が推定した環境状態に基づき選択されたコンテンツ（楽曲、動画等）を再生する。例えば、コンテンツ制御部１６１は、ネットワークを介してＤＳＰ（Digital Service Provider）に環境状態を通知し、ＤＳＰがこの環境状態に基づき選択したコンテンツ（ユーザがフォーカスできるようなコンテンツ、ユーザがリラックスできるようなコンテンツ）を受信して再生すればよい。例えば、コンテンツ制御部１６１は、ユーザが仕事中でユーザ状態がフォーカスであれば集中できるような音楽を再生し、ユーザ状態がリラックスであればリラックスできる音楽を再生する。例えば、コンテンツ制御部１６１は、ユーザの入眠時にユーザ状態がリラックスであれば睡眠を促す音楽を再生し、ユーザが眠ったら、音楽を停止する。
　図２５は、出力制御部の通知制御部の動作を示す。
　出力制御部１６０の通知制御部１６２は、環境状態に基づきユーザへの通知の回数を制御する。例えば、通知制御部１６２は、ユーザがフォーカスできるように通知（アプリやメッセージの新着通知等）の回数を減らす又は無くす、ユーザがリラックス中であれば通知の回数を通常通りとすればよい。例えば、通知制御部１６２は、ユーザが仕事中でユーザ状態がフォーカスであれば通知の回数を減らし、ユーザ状態がリラックスであれば通知の回数は通常通りに行う。
　７．小括
　発話や環境音を音声認識して、認識した音に基づき楽曲等のコンテンツを選択し出力する技術がある。発話や環境音を音声認識する技術は、音がする環境のみ適用可能である。このため、音を立てたくないユーザや、音を立てたくない状況では、適切なコンテンツを選択できないおそれがある。また、自然言語処理には高い計算能力が必要であるため、ローカルで処理することが難しい。
　これに対して、本実施形態によれば、ユーザの家屋内での場所や、他のユーザコンテクストに基づき、フォーカス（集中）やリラックスを促すコンテンツを出力することができる。音を立てたくない状況等の状況に拠らず適切にユーザに対する出力を制御することができる。例えば、ユーザコンテクストにベースにして、ユーザがテレワーク中に仕事席にいる場合は、フォーカスできるコンテンツを出力し、ユーザが休憩場所にいる場合はリラックスできる音楽を流すことができる。
　屋外と違い家屋内は比較的に場所が狭く、特定の位置を推定するためには高精度のビーコンやカメラのような外付け設備が必要になるのが一般的である。これに対して、本実施形態によれば、外付け装備なく、ウェアラブルデバイス２００に装着されたセンサ部２１０（加速度センサ２１１、ジャイロセンサ２１２、コンパス２１３）を使い家屋内の位置を特定することができる。具体的には、場所を移動するパターンとその順番を記憶しておいて、直近に移動したＮ個のパターンからユーザの移動後の場所を特定することができる。
　テレワークが一般的となっており、ユーザは家屋内で、リラックスするだけでなく仕事でフォーカスする時間が長くなっている。このとき、音を立てたくないユーザや、音を立てたくない状況は、テレワークが浸透していなかった従来に比べて多いものと考えられる。このため、本実施形態の様に、発話を必要とすることなく、家屋内の場所を特定し、ユーザに提示する環境状態を推定し、ユーザに対する出力を制御するのは今後益々利用価値が高い。
　また、本実施形態によれば、各センサ情報から得られたコンテクストをユーザ状態にマッピングすることでユーザ状態を推定するため、発話して音を立てなくてもユーザ状況を推定できる。本実施形態によれば、各センサ情報から得られたコンテクストをユーザ状態にマッピングするため、自然言語処理と比べて計算量が大幅に少なく、ローカルでの処理が容易である。
　８．コンテンツ再生システム
　図２６は、本実施形態に係るコンテンツ再生システムの構成を示す。
　コンテンツ再生システム２０は、情報処理装置１００と、ウェアラブルデバイス２００とを有する。
　情報処理装置１００は、制御回路のＣＰＵ等のプロセッサがＲＯＭに記録されたコンテンツ再生制御アプリケーション３００と、コンテンツ提供アプリケーション４００と、プリセットアプリケーション５００とをＲＡＭにロードして実行する。なお、コンテンツ再生制御アプリケーション３００は情報処理装置１００ではなく、ウェアラブルデバイス２００にインストールされウェアラブルデバイス２００が実行してもよい。
　ウェアラブルデバイス２００は、上記のように、ワイヤレスイヤホン（図２参照）、ワイヤレスヘッドフォン、有線ヘッドフォン、有線イヤホン等である。ウェアラブルデバイス２００は、センサ部２１０と入力装置２２０とを有する。センサ部２１０は、加速度センサ２１１と、ジャイロセンサ２１２と、コンパス２１３と、心拍センサ、血流センサ、脳波センサ等の生体センサ２１４を含む（図１参照）。ウェアラブルデバイス２００は、センサ部２１０の検出値を、コンテンツ再生制御アプリケーション３００と、コンテンツ提供アプリケーション４００とに入力する。入力装置２２０は、タッチセンサ、物理ボタン、非接触センサ等であり、ユーザによる接触または非接触の操作を入力する。入力装置２２０は、例えば、ウェアラブルデバイス２００のドライバユニット２２２（図２参照）の外表面に設けられる。
　コンテンツ提供アプリケーション４００は、コンテンツを提供する。コンテンツ提供アプリケーション４００は、複数の異なるコンテンツ提供アプリケーション４０１、４０２を含むアプリケーション群である。例えば、複数の異なるコンテンツ提供アプリケーション４０１、４０２は、それぞれ、楽曲、環境音、ヒーリング音、ラジオ番組等の、異なるジャンルのコンテンツ（具体的には、音声コンテンツ）を提供する。複数の異なるコンテンツ提供アプリケーション４０１、４０２を区別しないとき、単に、コンテンツ提供アプリケーション４００と記載する。
　コンテンツ再生制御アプリケーション３００は、上記の、コンテクスト取得部１１０と、ＰＤＲ（Pedestrian Dead Reckoning）部１２０（ユーザ位置推定部）と、場所推定部１３０（場所属性推定部）と、ユーザ状態推定部１４０と、環境推定部１５０と、出力制御部１６０のコンテンツ制御部１６１とを有する（図１参照）。コンテンツ制御部１６１は、環境推定部１５０が推定した環境状態に基づき、あるいは、ウェアラブルデバイス２００の入力装置２２０にユーザが入力した異なる操作に基づき、コンテンツ提供アプリケーション４００を選択する。コンテンツ制御部１６１は、環境状態に基づきコンテンツ提供アプリケーション４００がコンテンツを選択するためのキューを生成し、生成したキューを選択したコンテンツ提供アプリケーション４００に出力し、コンテンツ提供アプリケーション４００にキューに基づきコンテンツを選択させてコンテンツをウェアラブルデバイス２００から再生させる。
　プリセットアプリケーション５００は、ウェアラブルデバイス２００の入力装置２２０にユーザが入力する複数の異なる操作を、コンテンツ提供アプリケーション４００が提供するサービスに関する複数の異なる機能に予め割り当てる。例えば、プリセットアプリケーション５００は、複数の異なるコンテンツ提供アプリケーション４０１、４０２の選択に予め割り当てる。ウェアラブルデバイス２００の入力装置２２０にユーザが入力する複数の異なる操作（例えば、シングルタップ、ダブルタップ、トリプルタップ、ラジオボタンの押下等）を、複数の異なるコンテンツ提供アプリケーション４０１、４０２の選択に予め割り当てる。プリセットアプリケーション５００は、コンテンツ再生制御アプリケーション３００から独立してもよいし、コンテンツ再生制御アプリケーション３００に含まれてもよい。
　図２７は、プリセットアプリケーションのＧＵＩの一例を示す。
　プリセットアプリケーション５００は、例えば、再生コントロールＧＵＩ７１０、音量コントロールＧＵＩ７２０、クイックアクセスコントロールＧＵＩ７３０を有する。なお、プリセットアプリケーション５００が提供するＧＵＩ及び設定可能な機能と操作との組み合わせは、ウェアラブルデバイス２００の機種により異なる。
　ユーザは、再生コントロールＧＵＩ７１０を用いて、左右のウェアラブルデバイス２００の入力装置２２０にユーザが入力する複数の異なる操作を、コンテンツ再生時の各機能に割り当てることができる。例えば、ユーザは、右側のウェアラブルデバイス２００のシングルタップ操作を再生及び一時停止に割り当て、ダブルタップ操作を次曲の再生に割り当て、トリプルタップ操作を前曲の再生に割り当て、長押し操作を音声アシスタント機能の起動に割り当てることができる。なお、各操作に割り当てられる機能は、前述に挙げた機能以外のものであってもよいし、デフォルトで各操作に機能が割り当てられていてもよい。
　ユーザは、音量コントロールＧＵＩ７２０を用いて、左右のウェアラブルデバイス２００の入力装置２２０にユーザが入力する複数の異なる操作を、音量コントロールの各機能に割り当てることができる。例えば、ユーザは、左側のウェアラブルデバイス２００のシングルタップ操作を音量アップに割り当て、長押し操作を音量ダウンに割り当てることができる。
　ユーザは、クイックアクセスコントロールＧＵＩ７３０を用いて、左右のウェアラブルデバイス２００の入力装置２２０にユーザが入力する複数の異なる操作を、複数の異なるコンテンツ提供アプリケーション４０１、４０２を選択して起動するクイックアクセス機能に割り当てることができる。例えば、ユーザは、左側のウェアラブルデバイス２００のダブルタップ操作をコンテンツ提供アプリケーション４０１の起動に割り当て、トリプルタップ操作をコンテンツ提供アプリケーション４０２の起動に割り当てることができる。
　この様に、プリセットアプリケーション５００は、左右のウェアラブルデバイス２００の入力装置２２０にユーザが入力する複数の異なる操作を、コンテンツ提供アプリケーション４００を起動中の再生コントロールや音量コントロールだけでなく、コンテンツ提供アプリケーション４００の選択及び起動に割り当てることができる。
　図２８は、コンテンツ再生制御アプリケーションの動作フローを示す。
　コンテンツ再生制御アプリケーション３００において、コンテクスト取得部１１０は、ユーザのコンテクストを取得する。ユーザ状態推定部１４０は、コンテクスト取得部１１０が取得したコンテクストと、ウェアラブルデバイス２００が有するセンサ部２１０の検出値（加速度、角速度及び方位角）と、場所推定部１３０が推定した場所属性とに基づき、ユーザ状態（ブレイクタイム、ニュートラル、ＤＮＤ（Do Not Disturb）及びオフラインの４レベルの活動状態）を推定する。ここでは一例として４段階のユーザ状態を上げているが、これ以上でも以下であってもよい。また、ユーザ側で任意の数のユーザ状態を設定できるようにしてもよい。環境推定部１５０は、ユーザ状態推定部１４０が推定したユーザ状態に基づき、ユーザに提示する環境状態（フォーカス（集中）、リラックス等）を推定する（図１９参照）。出力制御部１６０のコンテンツ制御部１６１は、環境推定部１５０が推定した環境状態に基づき、コンテンツの再生を開始すべき適切なタイミングを検出する（ステップＳ３０１）。
　コンテンツ再生制御アプリケーション３００において、出力制御部１６０のコンテンツ制御部１６１は、コンテンツ提供アプリケーション４００を選択する。例えば、コンテンツ制御部１６１は、ウェアラブルデバイス２００の入力装置２２０にユーザが入力した異なる操作に基づき、コンテンツ提供アプリケーション４００を選択する。例えば、コンテンツ制御部１６１は、ウェアラブルデバイス２００の入力装置２２０にユーザが入力した操作が、ダブルタップであればコンテンツ提供アプリケーション４０１を選択し、トリプルタップであればコンテンツ提供アプリケーション４０２を選択する。あるいは、コンテンツ制御部１６１は、環境推定部１５０が推定した環境状態（後述のシナリオ）に基づき、コンテンツ提供アプリケーション４００を選択する（ステップＳ３０２）。あるいは、コンテンツ制御部１６１は、拒否などを繰り返すと同じ条件でもシナリオが発火しなくなったりするような学習や、ユーザによる設定（例えば、状況に応じてコンテンツ提供アプリケーション４００を予め設定しておく）に基づき、コンテンツ提供アプリケーション４００を選択してもよい。
　図２９は、コンテンツ提供アプリケーションを選択するために用いられるテーブルの一例を示す。
　例えば、コンテンツ制御部１６１は、テーブル６００を参照し、コンテンツ提供アプリケーション４００を選択する。テーブル６００は、ＩＤ６０１、シナリオ６０２、ユーザコンテクスト６０３、キュー６０４を有する。シナリオ６０２は、環境推定部１５０が推定した環境状態に相当する。ユーザコンテクスト６０３は、コンテクスト取得部１１０が取得したユーザのコンテクストに基づき、ユーザ状態推定部１４０が推定したユーザ状態に相当する。キュー６０４は、コンテンツ提供アプリケーション４００がコンテンツを選択するためのキューである。テーブル６００において、ＩＤ６０１のＭｕｓｉｃ＿０１～０９の９個のレコードに、それぞれ、コンテンツ提供アプリケーション４０１の選択フラグ６０５と、コンテンツ提供アプリケーション４０２の選択フラグ６０６とが記録される。選択フラグ６０５のみが記録されているレコードは、そのシナリオ６０２（環境状態）のときにコンテンツ提供アプリケーション４０１を選択することを意味する。一方、選択フラグ６０５、６０６の両方そのシナリオ６０２（環境状態）のときにコンテンツ提供アプリケーション４０１、４０２の何れかを別の条件により選択することを意味する。例えば、コンテンツ制御部１６１は、現在の時刻に実行する頻度が高いコンテンツ提供アプリケーション４００、使用頻度が高いコンテンツ提供アプリケーション４００等を予め学習しておき、選択してもよい。
　コンテンツ再生制御アプリケーション３００において、出力制御部１６０のコンテンツ制御部１６１は、シナリオ６０２（環境状態）に基づき、選択されたコンテンツ提供アプリケーション４００がコンテンツを選択するためのキュー６０４を生成する（ステップＳ３０３）。コンテンツ制御部１６１は、生成したキューを選択したコンテンツ提供アプリケーション４００に出力し、コンテンツ提供アプリケーション４００にキューに基づきコンテンツを選択させて、コンテンツをウェアラブルデバイス２００から再生させる（ステップＳ３０４）。例えば、コンテンツ提供アプリケーション４００は、コンテンツ再生制御アプリケーション３００からのキューに基づきコンテンツの複数の候補を選択し、ウェアラブルデバイス２００のセンサ部２１０から入力された検出値に基づき、複数の候補から再生すべきコンテンツを選択してもよい。また、コンテンツ提供アプリケーション４００は、センサ部２１０から入力された検出値に基づき、例えば、ユーザのランニング速度に合わせた速いテンポの、コンテンツを選択してもよい。
　再生開始後、コンテンツ再生制御アプリケーション３００のコンテンツ制御部１６１は、環境状態に基づき、別のコンテンツの再生を開始すべきタイミングを検出し（ステップＳ３０１）、コンテンツ提供アプリケーション４００を選択し（ステップＳ３０２、このステップは省略可）、キュー６０４を生成し（ステップＳ３０３）、コンテンツをウェアラブルデバイス２００から再生させる（ステップＳ３０４）。言い換えれば、コンテンツ再生制御アプリケーション３００は、コンテンツ提供アプリケーション４００が知りえないユーザの情報（即ち、ユーザコンテクスト６０３（ユーザ状態）、シナリオ６０２（環境状態））を有する。このため、コンテンツ再生制御アプリケーション３００は、コンテンツ提供アプリケーション４００の再生中のコンテンツを変更することが望ましいケースを知りえる。例えば、通勤中であることや、仕事を終えたことなどをトリガとして、再生中のコンテンツを変更することで、ユーザの気持ちの変化を誘導することができる。コンテンツ再生制御アプリケーション３００は、（即ち、ユーザコンテクスト６０３（ユーザ状態）、シナリオ６０２（環境状態））を知りえた場合に、コンテンツ提供アプリケーション４００に対して、再生中のコンテンツを変更するためのキューを送信することで、より望ましいコンテンツ（楽曲、ヒーリング音等）をユーザに提供することができる。
　さらに、コンテンツ再生制御アプリケーション３００のコンテンツ制御部１６１は、シナリオ６０２（環境状態）に基づきコンテンツ提供アプリケーション４００がコンテンツの再生を停止（変更ではなく）するためのキューを生成し（ステップＳ３０３）、キューをコンテンツ提供アプリケーションに出力し、コンテンツ提供アプリケーション４００にキューに基づきコンテンツの再生を停止させる（ステップＳ３０４）。例えば、会議開始などの状態変化により音楽を停止したほうがいいケースがある。コンテンツ再生制御アプリケーション３００はそれらの状態を検出しコンテンツ提供アプリケーション４００に対して停止命令を送る。
　また、コンテンツ再生中に、コンテンツ提供アプリケーション４００は、センサ部２１０から入力された検出値に基づき、例えば、心拍数や加速度が所定値に応じて、ユーザのランニング速度に合わせた速いテンポのコンテンツを選択し再生してもよい。言い換えれば、コンテンツ再生中に、コンテンツ提供アプリケーション４００は、コンテンツ再生制御アプリケーション３００のコンテンツ制御部１６１からキューを受信すること無く、センサ部２１０から入力された検出値に基づき、能動的に、再生するコンテンツの属性（テンポ、ピッチ等）を選択し、選択したコンテンツを再生することができる。要するに、コンテンツ再生中に、コンテンツ提供アプリケーション４００は、能動的に、再生するコンテンツを変更することができる。
　９．結語
　本実施形態に係るコンテンツ再生システム２０によれば、コンテンツ再生制御アプリケーション３００がコンテンツ提供アプリケーション４００を選択し、キューをコンテンツ提供アプリケーション４００に出力する。このため、コンテンツ提供アプリケーション４００が、複数の異なるコンテンツ提供アプリケーション４０１、４０２の間でのコンテンツ再生の競合を考慮する必要が無い。
　また、コンテンツ再生制御アプリケーション３００は、ユーザの機微（センシティブ）情報である環境状態に基づきコンテンツ提供アプリケーション４００がコンテンツを選択するためのキューを生成する。このため、コンテンツ再生制御アプリケーション３００からコンテンツ提供アプリケーション４００に、ユーザの機微（センシティブ）情報である環境状態を共有することなく、コンテンツ提供アプリケーション４００は、ユーザの機微（センシティブ）情報である環境状態を反映したコンテンツを再生することができる。このため、セキュリティリスクを低くしつつ、ユーザエクスペリエンスを向上することができる。
　また、コンテンツ再生制御アプリケーション３００がコンテンツ提供アプリケーション４００を選択し、選択されたコンテンツ提供アプリケーション４００がコンテンツを再生する。さらに、プリセットアプリケーション５００により、コンテンツ再生制御アプリケーション３００は、ウェアラブルデバイス２００の入力装置２２０にユーザが入力した異なる操作に基づき、コンテンツ提供アプリケーション４００を選択する。これにより、ユーザが能動的に選択する必要無く、複数の異なるコンテンツ提供アプリケーション４０１、４０２のサービスを統合したユーザエクスペリエンスを提供できる。
　１０．角度補正部の一実施形態
　（１）角度補正部の機能的構成及び動作
　図３で説明したように、ユーザの耳形状及びウェアラブルデバイス２００の装着方法と、ウェアラブルデバイス２００へのセンサ部２１０の実装方法は、個人及び環境でばらつきがある。このため、「ユーザからみた正面」と「ウェアラブルデバイス２００のセンサ部２１０の正面」は同一とならずズレが発生する。ユーザが頭部に装着したウェアラブルデバイス２００が任意の座標系で正しい方向を示せるようにする必要がある。
　そこで、上記実施形態では、角度補正部１２１は、頭を下に動かす（図６の（ｂ）、図５のステップＳ１０１）ときの加速度センサ２１１の加速度値からPitch方向の傾き及びRoll方向の傾きを算出する（ステップＳ１０２）。角度補正部１２１は、正面斜め上を見上げるように頭を上にゆっくり動かす（図６の（ｃ）、ステップＳ１０４）ときのジャイロセンサ２１２の角速度値からYaw方向の傾きを算出できる（図８の（４）の処理）。
　これに対して、以下、角度補正部１２１が、ジャイロセンサ２１２の角速度値を使用せずに、加速度センサ２１１の加速度値のみから、Pitch方向の傾き及びRoll方向の傾きだけでなく、Yaw方向の傾きを算出する方法を説明する。
　図３０は、一実施形態に係る角度補正部の機能的構成を示す。図３１は、角度補正部の動作フローを示す。
　前提として、情報処理装置１００（スマートフォン、タブレットコンピュータ又はパーソナルコンピュータ等）は、ユーザインタフェースである設定アプリケーション８００がインストールされており、ユーザは、情報処理装置１００の表示装置及び操作装置（タッチパネル等）を用いて、設定アプリケーション８００を使用することができる。
　まず、ユーザは、操作装置を操作して、設定アプリケーション８００から測定開始を指示する。設定アプリケーション８００は、ウェアラブルデバイス２００に角度補正操作データ８０１を出力する（ステップＳ４００）。
　ウェアラブルデバイス２００は、設定アプリケーション８００からの指示（角度補正操作データ８０１）を受けて、加速度センサ２１１が検出する検出値である重力加速度を角度補正部１２１へ送信開始する。
　設定アプリケーション８００は、ウェアラブルデバイス２００を装着したユーザに、正面を向く（図６の（ａ））ように指示を出力（表示装置に表示）する（ステップＳ４０１）。
　角度補正部１２１は、ユーザが正面（Roll方向）を向いた（図６の（ａ））ときの重力加速度値から、Pitch方向の傾き及びRoll方向の傾き８０２を算出する（ステップＳ４０２）。算出方法は後で詳細に説明する。
　次に、設定アプリケーション８００は、ウェアラブルデバイス２００を装着したユーザに、左右がぶれないように頭を上下にゆっくり動かし１秒ほど停止する（図６の（ｂ）、（ｃ））、ように指示を出力（表示装置に表示）する（ステップＳ４０３）。
　角度補正部１２１は、X,Y,Z軸から重力軸との成す角を算出する（ステップＳ４０４）。角度補正部１２１は、算出した角が所定の条件を満たすか否かを判断する（ステップＳ４０５）。この条件は、ユーザが正面方向を向いていると加速度センサのX軸、Y軸が重力軸に対して垂直に近くなり、測定値が０に近づいてしまうのを避けるための条件であり、Z軸からの成す角が十分な曲げ角度になっていることと動作中による誤差を測定しないことが条件である（詳細は後述）。角度補正部１２１は、条件を満たさなければ上下動作のやり直しを指示するための測定進捗データ８０８を出力（表示装置に表示）する（ステップＳ４０５、Ｎｏ）。
　一方、角度補正部１２１は、条件を満たす場合（ステップＳ４０５、Ｙｅｓ）、ユーザが上下（Pitch方向）を向いた（図６の（ｂ）、（ｃ））ときの重力加速度値と、Pitch方向の傾き及びRoll方向の傾き８０２とから、ユーザのYaw方向の傾き８０３を算出する（ステップＳ４０６）。算出方法は後で詳細に説明する。角度補正部１２１は、Pitch方向の傾き及びRoll方向の傾き８０２と、Yaw方向の傾き８０３を、補正値８０４として不揮発性保存領域８０５に保存し（ステップＳ４０７）、測定を完了する（ステップＳ４０８）。
　角度推定部１２２は、不揮発性保存領域８０５に保存された補正値８０６（Pitch方向の傾き及びRoll方向の傾き８０２と、Yaw方向の傾き８０３）を読み出す。角度推定部１２２は、ユーザが装着したウェアラブルデバイス２００が有するセンサ部２１０の加速度センサ２１１の検出値（加速度）と、読み出した補正値８０６とに基づき、ユーザの方位角８０７を推定する。角度推定部１２２は、方位角８０７を設定アプリケーション８００に出力してもよい。
　（２）Pitch方向の傾き及びRoll方向の傾きの算出（ステップＳ４０２）
　ある基準姿勢をとったユーザに固定された座標系を、(X,Y,Z)と表す。ユーザから見てX軸（Pitch軸）は水平右向き、Y軸（Roll軸）は水平正面（前）向き、Z軸（Yaw軸）は鉛直上向きである。一方、ウェアラブルデバイス２００に取り付けられた加速度センサ２１１がもつ3次元のローカル座標系を、(x,y,z)と表す。3次元座標系はいずれも右手系とする。
　上記2つの座標系(X,Y,Z)、(x,y,z)は、ユーザのウェアラブルデバイス２００の装着方法の個人差によって、3自由度の相対的なズレを持っている。このズレを特定できれば、ウェアラブルデバイス２００のローカル座標系(x,y,z)からユーザ座標系(X,Y,Z)を導くことができる。ここではズレのうち水平面に対する傾きを表す2自由度の成分を、基準姿勢でユーザが静止した状態で測定したウェアラブルデバイス２００の加速度センサ２１１の値を用いて算出する。
　図３２は、デバイス座標系の定義を示す。
　相対ズレ量を表す３つの角度を定義する。角度定義には様々な方法が考えられるが、ここでは後述のクォータニオン演算に適するよう、ユーザ座標系と一致する座標軸を3段階で回転させてウェアラブルデバイス２００の座標系と一致させるように定義する。まず、X軸回りにα回転させる。このαは最終的にy軸が水平面となす角と一致させる。次に、回転後のy軸回りにβ回転させる。このとき、x軸が水平面となす角は、最終的にx軸が水平面となす角（γ）と一致させる。最後に、Z軸回りにθ回転させる。このθは、最終的なy軸ベクトルの水平面成分がY軸となす角と一致させる。角度α、βを、ユーザ静止状態の加速度センサ２１１の値から計算する。なお、θは計算できない（全ての値が解になる）ため、別の手法で求める。
　加速度センサ２１１の(x,y,z)方向の測定値を(Ax,Ay,Az)とする。αの定義より、数１の式となる。
Figure JPOXMLDOC01-appb-M000001
　図３３は、角βの導出方法を示す。
　x軸の方向ベクトルを含む鉛直面と、z軸の方向ベクトルを含む鉛直面を考えると、x,z軸が水平面となす角γ,δを使って数２の式が導かれる。
Figure JPOXMLDOC01-appb-M000002
　数２の式より、角βが数３の式として得られる。
Figure JPOXMLDOC01-appb-M000003
　以上の結果から得られた角α、βを用いて、ウェアラブルデバイス２００の座標系(x,y,z)から、水平面に対する傾きを補正したウェアラブルデバイス２００の座標系(x',y',Z)への変換を行う事ができる。x'及びy'はいずれも水平面上に存在し、x及びyをZ軸回りにθ回転したものに相当する。後述のθ算出には、傾きを除去した補正後のウェアラブルデバイス２００の座標系での加速度値を用いることで、軸のズレのない高精度な演算を行うことができるようになる。
　ウェアラブルデバイス２００の座標系での加速度ベクトル(Ax,Ay,Az)から補正後のウェアラブルデバイス２００の座標系での加速度ベクトル(Ax',Ay',Az')への回転計算をクォータニオンで行う例を示す。両座標系の関係は、図３２のうち初めの2段階の回転を合成したものと考えられる。それぞれの回転クォータニオンをQ1,Q2とすると、数４の式と表せる。
Figure JPOXMLDOC01-appb-M000004
　これらを合成した回転を表すクォータニオンRは以下の式で表せる。ここで、*は共役クォータニオンを表す。
　R=Q1*Q2*
　ウェアラブルデバイス２００の座標系で測定した加速度ベクトルを補正後のウェアラブルデバイス２００の座標系へと変換する計算は、Rを使って、以下の式で表せる。
　(Ax',Ay',Az')=R*(Ax,Ay,Az)R
　（３）Yaw方向の傾きの算出（ステップＳ４０４－ステップＳ４０６）
　図３４は、正面を向いているときの重力軸を示す。
　加速度センサ２１１の３軸で測定される重力加速度の値(x,y,z)を極座標に変換してYaw回転を算出する。原点からの距離をr、Z軸からのなす角をθ、X軸からのなす角をΦと定義する。このとき、(x,y,z)と(r,θ,Φ)は以下の関係式となる。
　x=rsinθcosθ、y=rsinθsinΦ、z=rcosθ
　これらの式を組み直すと、数５の式と表せる（ステップＳ４０４）。ここで、sgnは符号関数である。
Figure JPOXMLDOC01-appb-M000005
　ここでのΦが求めたいユーザ正面方向とウェアラブルデバイス２００センサ正面とのズレが、Yaw方向の傾きとなる（ステップＳ４０６）。
　図３５は、下方向を向いているときの重力軸を示す。図３６は、測定データからのYaw回転算出と測定特異点を示す。図３７は、条件を満たすかどうかを判断するためのフローチャートを示す。図３８は、正面方向ベースのYaw回転定義を示す。図３９は、上下動作と曲げ角度の算出結果への影響を示す。
　Φの算出は、ユーザが上下方向を向いた状態（図３５）の測定結果を使用する。これはユーザが正面方向を向いていると加速度センサ２１１のX軸、Y軸が重力軸に対して垂直に近くなり、測定値が０に近づいてしまうのを避けるためで、この状態だと数５の式の分母が０に近づくため正しい値が算出できない（図３６）。十分な曲げ角度(θ)になっていることと動作中による誤差を測定しないようにθ>45、Φの標準偏差<3の条件を満たした場合の測定結果を算出に使用する（ステップＳ４０５）（図３７）。
　ユーザの耳形状や装着方法によっては上向き/下向きで条件を満たさないこともあるため、上下の2パターンの動作を実施している。上下の測定で算出結果に差異が無いことは、図３６、図３８及び図３９で確認済みである。
　（４）結語
　特許文献１は、ユーザの頭部回転を検出し調整する。ジャイロセンサで回転角度、加速度センサでジャイロの傾きを測定し、「ユーザの頭部回転」を算出し、音像定位位置の補正を行っている。ユーザ操作により正面方向を設定し、そこからの回転動作はトレースできるが全て「ユーザ正面」を基準とした相対的な測定となるため方位のような絶対座標系には適応できない。
　特許文献２は、ナビゲーション装置の自動車に対する取付角度を、道路傾斜の影響を排除して算出する。加速度センサと、ヨー方向のジャイロセンサや走行速度センサ、ＧＰＳを組み合わせて用いる。車両の停止や走行といった状態を検知しながらデータを収集し、車両の進行方向のおよび左右方向の加速度を検出し、これらから取付角度を算出する。自動車固有の特性に依存する技術であり、人が装着するデバイスには適用できないほか、加速度センサ以外にも補助的なセンサが必要となる。
　これに対して、本実施形態によれば、ユーザ頭部に設置したデバイス内のセンサ座標系とユーザが任意の方向に定めた座標系との差分を測定し、補正する。このため、ユーザの耳及び頭部形状、装着方法によらず出力結果を一定にできる。相対座標内での補正でないため方位のような絶対座標系にも展開が可能である。
　本実施形態によれば、ユーザが頭部を上または下を向く動作(Pitch回転)を実施することで重力加速度からYaw方向の傾きを算出する。Yaw軸と重力軸が近い場合、重力加速度からYaw報告の傾きを算出することは困難だがPitch方向へ傾けることで各軸に加わる重力加速度が変化し、算出可能である。耳形状によっては特定のPitch方向に傾けても算出が困難な場合があるが上と下の２パターン測定することで回避することができる。
　本実施形態によれば、加速度センサのみを使用して、ユーザの方位角の補正値を算出することができる。これにより、搭載センサが少ない環境でも実施でき、低コスト、省電力、小型化を実現可能である。また、ジャイロセンサは使用環境や継続使用によってセンサ自体にドリフトが発生するが、加速度センサではドリフトに影響されることが無いので、信頼度が高い。
　１１．シーンに合わせたプレイリストの選択
　図４０は、シーンに合わせたプレイリストの選択を示す。
　出力制御部１６０のコンテンツ制御部１６１（図２６）は、環境推定部１５０の推定結果に基づき、ウェアラブルデバイス２００が常時装着されていることを前提に、装着時にコンテンツを再生していないタイミングで、適切なタイミングのコンテンツ再生を提案する。その具体例をいくつか説明する。
　例えば、コンテンツ制御部１６１は、ユーザによるトリガ（タップやジェスチャなど）に基づき、コンテンツの再生を再開（レジューム）してもよい（図４０の上段）。コンテンツ制御部１６１は、オートトリガ（装着、動き、通話後）に基づき、コンテンツの再生を再開してもよい（図４０の中段）。コンテンツ制御部１６１は、インタラクションを伴うオートトリガ（朝の通勤、晩の退勤、ランニングなど）に基づき、コンテンツの再生を再開してもよい（図４０の下段）。例えば、コンテンツ制御部１６１は、ユーザとのインタラクションを経て、前回の朝の通勤時に再生していたコンテンツの再生を再開してもよい。
　図４５は、シーンに合わせてプレイリストを切り替え、提案する例を示す。
　コンテンツ制御部１６１は、一例として、朝、ウェアラブルデバイス２００が装着されると、設定していたレジュームを再生する。コンテンツ制御部１６１は、ユーザの出勤時に、「出勤」に設定したプレイリストを再生する。コンテンツ制御部１６１は、ユーザがオフィスに着くと、「オフィスワーク」に設定したプレイリストを再生することで、シーンに応じてプレイリストを変更する。コンテンツ制御部１６１は、ユーザがミーティングや通話中は再生を停止し、ミーティングや通話が終了すると、「オフィスワーク」に設定したプレイリストを再開する。例えば、コンテンツ制御部１６１は、ウェアラブルデバイス２００を装着した状態で再生停止している場合に、シーンに合わせたプレイリストの再生開始を提案をする。コンテンツ制御部１６１は、ユーザの退勤時に、「退勤」に設定したプレイリストを再生する。コンテンツ制御部１６１は、ユーザが自宅に着くと、コンテンツ再生を停止することで、シーンに応じてコンテンツを停止する。
　図４１は、分断された同一シーンを跨いで連続的にプレイリストを再生する例を示す。
　前日（１日目）は、図４５を参照して説明したとおりである。当日（２日目）は、コンテンツ制御部１６１は、一例として、朝、ウェアラブルデバイス２００が装着されると、最後に（前日に）再生された曲の次の曲を再生、即ち、時間がたっているため新しい曲から再生する。コンテンツ制御部１６１は、ユーザの出勤時に、「出勤」に設定したプレイリストの最後に（前日に）再生された曲を再開する。即ち、コンテンツ制御部１６１は、日を跨いで繋いでプレイリストを再生する。また、シーンが同じ日に分かれている場合（例えば、朝にランニングし、夜にもランニングする）、コンテンツ制御部１６１は、時間を跨いで繋いでプレイリストを再生する。を再生する。コンテンツ制御部１６１は、ユーザがオフィスに着くと、「オフィスワーク」に設定したプレイリストの最後に（前日に）再生された曲を再開する。コンテンツ制御部１６１は、ユーザの退勤時に、「退勤」に設定したプレイリストの最後に（前日に）再生された曲を再開する。即ち、コンテンツ制御部１６１は、前回同じ環境状態であったときに再生されたコンテンツに関連するコンテンツ（同じコンテンツ、同じプレイリスト内の次のコンテンツ）を再生することで、同一の環境状態（シーン）を跨いで連続的に関連するコンテンツを再生することができる。
　図４２は、ユーザがシーンに合ったコンテンツを体験する別の例を示す。
　コンテンツ制御部１６１は、一例として、朝、ウェアラブルデバイス２００が装着されると、朝に適したコンテンツを再生する。コンテンツ制御部１６１は、ユーザ（本例では、学生）の通学時に、「通学」に設定したプレイリストの最後に（前日に）再生された曲を再開する。コンテンツ制御部１６１は、ユーザが図書館でＰＣをオンすると、「作業用」に設定したプレイリストを再生し、ノイズキャンセリングをオンにする。コンテンツ制御部１６１は、ランニング時に、アップテンポなコンテンツを再生する。コンテンツ制御部１６１は、ユーザが自宅でデスクに座り学習するとき、集中ＢＧＭを再生する。コンテンツ制御部１６１は、ユーザのストレスが高いとき、メディテーションを促すＢＧＭを再生する。コンテンツ制御部１６１は、夜、ユーザがベッドで横になると、スリープＢＧＭを再生し、入眠するとコンテンツを停止する。これにより、ウェアラブルデバイス２００を常時装着して生活するだけで、コンテンツがユーザの行動に合わせて自動で再生されるので、ユーザが快適に生活できる。
　図４３は、第１の実現例（コンテンツ制御アプリケーションがコンテンツ提供アプリケーションをコントロールする）を示す。
　第１の実現例では、コンテンツ制御アプリケーション３００がコンテンツ提供アプリケーション４００をコントロールする。コンテンツ制御アプリケーション３００は、ユーザの状態（Not busy）などからシーンＩＤを決定し、コンテンツ提供アプリケーション４００にシーンＩＤを伝える。Not busyは、Busy（会話、通話、カレンダーにスケジュールされたイベントあり）でないことを意味する。コンテンツ提供アプリケーション４００は、シーンＩＤに基づき、コンテクストと、ユーザ独自のコンテンツテーブルと、最後に再生したコンテンツとから、シーンにあったプレイリストを決定し、再生する。
　図４４は、第２の実現例（コンテンツ制御アプリケーションがシーンの最後に再生していたコンテンツの情報を記録し、コンテクストごとにコンテンツＩＤを指定する）を示す。
　第２の実現例では、コンテンツ制御アプリケーション３００がシーンの最後に再生していたコンテンツの情報を記録し、コンテクストごとにコンテンツＩＤを指定する。コンテンツ制御アプリケーション３００は、ユーザの状態（Not busy）などからシーンＩＤを決定し、シーンＩＤに基づき、コンテクストと、ユーザ独自のコンテンツテーブルと、最後に再生したコンテンツとから、コンテンツＩＤ及びアーティストＩＤをコンテンツ提供アプリケーション４００に伝える。コンテンツ提供アプリケーション４００コンテンツＩＤ及びアーティストＩＤにより特定されるコンテンツが含まれるプレイリストを選択し、再生する。
　図４６は、コンテンツ情報取得方法の例を示す。
　コンテンツ制御部１６１は、一例として、ユーザが３０秒（３０秒以上の再生を１再生とカウントする場合）以上聴いたコンテンツ情報を覚えておく。その際に規定の「シーン」分類と紐づけるとともに、時間、場所、行動種別などのコンテクスト情報とともにログとして記録する。コンテンツ情報は、例えば、曲情報、アーティスト情報、アルバム情報、プレイリスト情報、プレイリストの中の何曲目かの情報、再生アプリ情報、曲の何秒まで再生したかの情報である。コンテンツ制御部１６１は、シーン判定ルールに合致するコンテクストを検出したら、そのシーンで前回止めたところからレジューム再生する。なお、コンテンツ制御部１６１がコンテンツ情報を覚えておく場合の秒数は３０秒よりも短くてもよいし、長くてもよく、ユーザによって適宜設定されてもよいし、コンテンツ毎に自動で設定されてもよい。
　AVRCP（Audio/Video Remote Control Profile）経由でコンテンツ情報を取得する場合の有利な点は、パートナー交渉必要なし、有料・無料会員の制限なしである点である。不利な点は、レジュームの再現性が低い可能性がある。即ち、再生アプリ情報が取得できず、曲情報はテキストベースのメタ情報のため、ユーザがサービスAで再生した曲のメタ情報をもとにコンテンツ制御部１６１がサービスBに再生リクエストを出したが、マッチする曲がみつからず再現できないというようなことがある。
　SDK（Software Development Kit）経由でコンテンツ情報を取得する場合の有利な点は、レジュームを曲/アーティスト単位で再現できる点である。コンテンツ提供アプリケーション４００の管理する曲ID/アーティストID/アルバムIDなどが取得できるので、その曲/アーティストが含まれるアルバムを再生することが可能である。
　GATT（Generic Attribute Profile）経由でコンテンツ情報を取得する場合の有利な点は、レジュームを曲/アーティスト/プレイリスト単位で再現でき、体験の質が最も高くなる点である。コンテンツ提供アプリケーション４００の管理する曲ID/アーティストID/アルバムIDに加え、プレイリストURI（「Uniform Resource Identifier）と曲順なども取得できれば、そのプレイリストのその曲の途中から再現できる。
　図４７は、同一シーンをつないで一つのプレイリストを再生することを示す。
　プレイリストの第１の例として、ユーザの嗜好に基づいていくつかに分類されたカテゴリをプレイリストの形でユーザに提示し、ユーザが選択した嗜好に基づいて動的に生成される。プレイリストの第２の例として、クリエイターが選曲を行い生成されたプレイリスト（曲固定）が挙げられる。第２の例では、コンテンツ制御部１６１は、プレイリストの再生が終了した際には頭に戻ってプレイリストを再生する、関連しそうなプレイリストをおすすめしてユーザが受け入れた場合には再生を実施する、終了する、の３つの選択肢が挙げられる。
　図４８は、コンテンツ再生制御アプリケーションが持つテーブルの一例を示す。
　ユーザは、朝の通勤電車に乗ったら、朝の通勤用のコンテンツを音声でおすすめされ、Yesのインタラクションをすると、朝の通勤で最後に聴いていた曲を続きから聴くことができる。
　実現方法として、コンテンツ制御部１６１は、一例として、ユーザが３０秒（３０秒以上の再生を１再生とカウントする場合）以上聴いたコンテンツ情報を覚えておく。コンテンツ情報は、例えば、曲情報、アーティスト情報、アルバム情報、プレイリスト情報、プレイリストの中の何曲目かの情報、再生アプリ情報、曲の何秒まで再生したかの情報である。その際に、コンテンツ制御部１６１は、規定の「シーン」分類と紐づけるとともに、時間、場所、行動種別などのコンテクスト情報とともにログとして記録する。コンテンツ制御部１６１は、「シーン」判定ルールに合致するコンテクストを検出したら、そのシーンで前回止めたところからレジューム再生する。なお、コンテンツ制御部１６１がコンテンツ情報を覚えておく場合の秒数は３０秒よりも短くてもよいし、長くてもよく、ユーザによって適宜設定されてもよいし、コンテンツ毎に自動で設定されてもよい。
　図４９は、コンテンツ再生制御アプリケーションが持つテーブルの一例を示す。
　例えば、コンテンツ制御部１６１は、曲情報、プレイリスト情報、曲の何秒まで再生したかの情報をもとに、同一のプレイリストの最終再生コンテンツ「ＹＹＹＹ」及び再生時間の指定により、同一シーン時に前回再生していたプレイリストの再開が可能となる。
　ユーザが、予め、シーンに再生するプレイリストを指定してもよい。例えば、ユーザは、シーン（１）：プレイリストA、シーン（２）：プレイリストB、シーン（３）：無し、を設定する。
　指定されていない場合には、コンテンツ制御部１６１は、ユーザが再生しているものを記録する。コンテンツ制御部１６１は、シーン（３）としてプレイリストCを再生した場合、プレイリストCを記録する。コンテンツ制御部１６１は、シーン（３）でウェアラブルデバイス２００を装着した場合に、プレイリストCを再生する。
　ユーザが手動でプレイリストを変更しない場合は、コンテンツ制御部１６１は、シーンとプレイリストの変更は行わない。
　ユーザがシーン中にプレイリストを手動で変更した場合、コンテンツ制御部１６１は、シーン（１）でプレイリストAを再生、シーン（１）中にプレイリストDに変更する。コンテンツ制御部１６１は、シーン（１）を終了し、時間経過後に再びシーン（１）が来た場合には、プレイリストAを再生（提案）する。プレイリストAが拒否された場合には、コンテンツ制御部１６１は、プレイリストCを提案する（優先順位高く提案する）。GUI上でもよい。ユーザに変更を促して、ユーザが受け入れた場合も含む。
　コンテンツ制御部１６１は、ユーザがプレイリストを変更するためにGUIを表示した場合には、シーンに基づいておすすめを行ってもよい。
　コンテンツ制御部１６１は、動的に生成するプレイリストにシーンにおける楽曲の嗜好を反映させることができる。コンテンツ制御部１６１は、各シーンでのSkipやLikeを使って嗜好性を分析することで、各シーンで好まれるコンテンツや、各シーン向けに生成する動的なプレイリストに反映させることができる。
　コンテンツ制御部１６１は、複数の機器を跨いで同一シーンだった場合にはプレイリストを継続する。例えば、コンテンツ制御部１６１は、土曜日の夜の為のプレイリストをスマートフォンで聴いており、自宅について一旦音楽を止めて、食事後にオーディオ機器で音楽を再生開始した場合に、土曜日の夜の為のプレイリストを再開する。
　コンテンツ制御アプリケーション３００は、ユーザの行動やユーザに関連する情報、環境に基づいてシーンを定義する。行動は、歩いている、走っている、笑っている、電車に乗っている、家にいる、気分が良い、気分が良くない等である。ユーザに関連する情報は、会議中、事務にいる、買い物中、仕事中等である。環境は、天気、時間帯等である。シーンは、上記の情報を組み合わせて定義される（必ずすべてが含まれていなくてもよい）。シーンは、通勤中、会社にいる時、休日にランニング中等である。
　コンテンツ制御アプリケーション３００は、シーンに合わせてプレイリストを選択し再生する。具体的には、再生開始時点、再生中のシーンの変化点でプレイリストを選択し再生する。予めユーザがシーンとプレイリストの紐づけを行ってもよい。シーン中にプレイリストが変更された場合には置き換えてもよい（一旦再生が停止されたらあらかじめ設定したプレイリストに戻す）。例えば、通勤中は通勤中に合わせたプレイリスト、会社にいる時は集中できるプレイリストを選択し再生する。シーンの切り替えタイミングで再生中の曲を最後まで再生し、終了後現在のシーンに合わせたプレイリストを再生する。装着時のシーンに合わせて再生提案をする。再生しないという選択肢もある。
　コンテンツ制御アプリケーション３００は、シーンで選曲する際に、過去に同一のシーンで再生したプレイリストの続きを再生する。シーン中に再生を停止した場合その楽曲を記憶し、次回の同一のシーンになった場合には記憶した曲から再開することもできる。
　コンテンツ制御アプリケーション３００は、シーンの切り替え時に、変更してよいかを確認し、確認に対してユーザが拒否することが出来る。現在再生中の曲に通知音を重畳し、ユーザにプレイリストを変更することを通知する。ユーザは通知音による変更確認に対してキー操作や音声、ジェスチャ入力により拒否したり承認したりすることが出来る。
　１２．コンテクストをコンテンツに付与しコンテンツを検索する例
　コンテンツ制御部１６１は、音楽以外のコンテンツの提示やおすすめにも応用できる。コンテンツ制御部１６１は、音楽以外のコンテンツでも何を見るかをシーンに合わせて提供することは可能である。コンテンツ制御部１６１は、出社時の電車内では、経済ニュース動画のプレイリストを再生する。コンテンツ制御部１６１は、帰宅時の電車の中では、お気に入りのユーチューバーの動画をプレイリストで再生する。コンテンツ制御部１６１は、SNSのコンテンツなどもシーンに合わせて表示されるものを切り替えるなどもできる。コンテンツ制御部１６１は、出社時の電車内では経済に関するニュースを選択し、帰宅時の電車の中ではエンタメ系などを選択する。コンテンツ制御部１６１は、デバイス（のカテゴリ）ごとに、シーンに合わせて何を提示するかを定義することで検出したシーンに応じて提供するコンテンツを変化させることが出来る。
　図５０は、ユーザフロント性の概念を示す。
　ウェアラブルデバイス２００及びコンテンツ再生制御アプリケーション３００はユーザフロントであり、背後のクリエイターや各社のアプリケーションを提供するインタフェースとなる。
　図５１は、検索を例としてユーザフロント性を説明する。
　（１）検索キーというユーザ状態を取得し、検索語句を送信する。（２）検索語句を解析する。（３）クリエイターより提案される商品の中から、関連性が高い商品をマッチング（状態に合わせたコンテンツを選択）する。（４）商品情報を提供する。（５）オークションを実施する。（６）広告というコンテンツをユーザに提示する。これにより、コンテンツを届けたいクリエイターとユーザをつなぐことができる。
　図５２は、本実施形態のユーザフロント性を説明する。
　（１）センサ入力というユーザ状態を取得し、検索語句を送信する。（２）検索語句を解析する。（３）クリエイターより提要される商品の中から、関連性が高い商品をマッチング（状態に合わせたコンテンツを選択しオートプレイ）する。（４）商品情報を提供する。（５）オークションを実施する。（６）広告というコンテンツをユーザに提示、通知や音楽コンテンツを自動再生する。これにより、通知や音楽コンテンツ（情報）とユーザをつなぐことができる。
　図５３は、本実施形態のユーザフロント性を説明する。
　コンテンツ再生制御アプリケーション３００は、ユーザのコンテクストをコンテンツ提供アプリケーション４００に提供する。コンテンツ提供アプリケーション４００は、コンテンツ再生制御アプリケーション３００に、コンテンツ再生を申請する。コンテンツ再生制御アプリケーション３００は、コンテンツ提供アプリケーション４００に、コンテンツ再生を許可する。コンテンツ提供アプリケーション４００は、ウェアラブルデバイス２００にコンテンツを提供し再生する。
　図５４は、クリエイターによるプレイリスト指定を示す。
　クリエイターは、作成したプレイリストにコンテクストを付与することで、こんなシーンで聴いてほしいという意図をユーザ行動と結び付けることができる。コンテンツ再生制御アプリケーション３００は、ウェアラブルデバイス２００の装着時にコンテクストを送信し、タグをベースとしてプレイリストを選択する。
　これを実現するために、クリエイターにコンテクストリストを提供しておく。クリエイターはプレイリストを作り、聞いてほしいコンテクストを設定する。ユーザが特定のコンテクストになったときに、クリエイターが提供したプレイリストが選択される。
　図５５は、シーンと合わせたコンテンツの提供方法を示す。
　コンテンツ再生制御アプリケーション３００は、音楽コンテンツを聴いてもらうではなくて、こういうシーンで聴く、という体験を提供する。コンテンツ再生制御アプリケーション３００は、タイトルではわからないコンテンツをタグにより検索可能とする。タグは、ユーザやクリエイターが付けることができる。コンテンツ再生制御アプリケーション３００は、音楽コンテンツをコンテクスト（Ｒｕｎ、Ｎｉｇｈｔ＋Ｒｕｎ等）で検索可能とできる。コンテンツ再生制御アプリケーション３００は、ユーザの行動を検索キーとしてコンテクストを検索できる。
　図５６は、ユーザが聴きたいときに音楽コンテンツを再生する方法を示す。
　コンテンツ再生制御アプリケーション３００は、音楽コンテンツのLikeが押されたタイミングのコンテクストを取得し、再び同じコンテキスになったときに同じコンテンツを再生してユーザに提供する。例えば、コンテンツ再生制御アプリケーション３００は、Ｎｉｇｈｔ＋ＲｕｎのコンテクストとＬｉｋｅを検出すると、同じコンテクスト（Ｎｉｇｈｔ＋Ｒｕｎ）の状況が再び来たら、同じコンテンツを再生する。これにより、コンテンツ再生制御アプリケーション３００は、共通するタグが付いている曲や協調で検出された曲を合わせて再生する。
　図５７は、タグをもとに動的にコンテンツを変える例を示す。
　例えば、ランニング（タグ：Ｒｕｎ）をしている最中に、夜になるとする（タグ：Ｎｉｇｈｔ＋Ｒｕｎ）。コンテンツ再生制御アプリケーション３００は、タグの変化を検出し、動的に再生するコンテンツを変更する。
　本開示は、以下の各構成を有してもよい。
　（１）
　ユーザ状態を推定するユーザ状態推定部と、
　前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
　前記環境状態に基づき出力を制御する出力制御部と、
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　前記ユーザが装着したウェアラブルデバイスが有するセンサ部の検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
　前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
　をさらに具備し、
　前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定する
　情報処理装置。
　（３）
　上記（２）に記載の情報処理装置であって、
　前記ユーザ位置推定部は、ＰＤＲ（Pedestrian Dead Reckoning）を用いて前記ユーザ位置を推定する
　情報処理装置。
　（４）
　上記（２）又は（３）に記載の情報処理装置であって、
　前記環境推定部は、前記場所属性に基づき、前記環境状態を推定する
　情報処理装置。
　（５）
　上記（２）乃至（４）の何れか一つに記載の情報処理装置であって、
　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含む
　情報処理装置。
　（６）
　上記（３）乃至（５）の何れか一つに記載の情報処理装置であって、
　前記ユーザ位置推定部は、
　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、
　前記方位角を利用して前記ユーザ位置を推定するユーザ位置推定部と、
　を有する
　情報処理装置。
　（７）
　上記（３）乃至（６）の何れか一つに記載の情報処理装置であって、
　前記ユーザ位置推定部は、前記ユーザ位置の移動経路を推定し、
　前記場所属性推定部は、前記移動経路に基づき、移動後の前記場所属性を推定する
　情報処理装置。
　（８）
　上記（７）に記載の情報処理装置であって、
　前記場所属性推定部は、複数の移動経路を保持し、推定された前記移動経路を保持された前記複数の移動経路とマッチングすることにより、移動後の前記場所属性を推定する
　情報処理装置。
　（９）
　上記（８）に記載の情報処理装置であって、
　前記場所属性推定部は、マッチングが所定回数失敗すると、警告を出力する
　情報処理装置。
　（１０）
　上記（８）又は（９）に記載の情報処理装置であって、
　前記場所属性推定部は、前記マッチングをＤＴＷ(dynamic time warping、動的時間伸縮法)を用いて行う
　情報処理装置。
　（１１）
　上記（１）乃至（１０）の何れか一つに記載の情報処理装置であって、
　前記場所属性推定部は、前記ユーザがいる場所での前記ユーザの滞在時間を判断することにより、前記場所属性を推定する
　情報処理装置。
　（１２）
　上記（１）乃至（１１）の何れか一つに記載の情報処理装置であって、
　ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
　前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定する
　情報処理装置。
　（１３）
　上記（１２）に記載の情報処理装置であって、
　前記コンテクストは、前記ユーザの位置情報と前記情報処理装置の端末情報の少なくともいずれかを含む
　情報処理装置。
　（１４）
　上記（１）乃至（１３）の何れか一つに記載の情報処理装置であって、
　前記ユーザ状態推定部は、前記ウェアラブルデバイスが有する前記センサ部の前記検出値及び／又は前記場所属性に基づき、前記ユーザ状態を推定する
　情報処理装置。
　（１５）
　上記（１）乃至（１４）の何れか一つに記載の情報処理装置であって、
　前記ユーザ状態は、前記ユーザの複数の活動状態を示す
　情報処理装置。
　（１６）
　上記（１）乃至（１５）の何れか一つに記載の情報処理装置であって、
　前記出力制御部は、
　前記環境状態に基づき選択されたコンテンツを再生するコンテンツ制御部、及び／又は
　前記環境状態に基づき前記ユーザへの通知の回数を制御する通知制御部
　を有する
　情報処理装置。
　（１７）
　ユーザ状態を推定し、
　前記ユーザ状態に基づきユーザに提示する環境状態を推定し、
　前記環境状態に基づき出力を制御する、
　情報処理方法。
　（１８）
　情報処理装置のプロセッサを、
　ユーザ状態を推定するユーザ状態推定部と、
　前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
　前記環境状態に基づき出力を制御する出力制御部
　として動作させる情報処理プログラム。
　（１９）
　ウェアラブルデバイスと、
　前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
　前記環境状態に基づき出力を制御する出力制御部と、
　を有する情報処理装置と、
　を具備する情報処理システム。
　（２０）
　情報処理装置のプロセッサを、
　ユーザ状態を推定するユーザ状態推定部と、
　前記ユーザ状態に基づきユーザに提示する環境状態を推定する環境推定部と、
　前記環境状態に基づき出力を制御する出力制御部
　として動作させる情報処理プログラム
　を記録した非一過性のコンピュータ読み取り可能な記録媒体。
　さらに、本開示は、以下の各構成を有してもよい。
　（１）
　ウェアラブルデバイスと、
　　前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザの環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
　を有するコンテンツ再生制御アプリケーションと、
　を実行する制御回路を有する情報処理装置と、
　を具備するコンテンツ再生システム。
　（２）
　上記（１）に記載のコンテンツ再生システムであって、
　前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
　前記コンテンツ制御部は、前記環境状態に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択する
　コンテンツ再生システム。
　（３）
　上記（１）又は（２）に記載のコンテンツ再生システムであって、
　前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
　前記ウェアラブルデバイスは、入力装置を有し、
　前記コンテンツ制御部は、前記ウェアラブルデバイスにユーザが入力した異なる操作に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択する
　コンテンツ再生システム。
　（４）
　上記（１）乃至（３）の何れか一つに記載のコンテンツ再生システムであって、
　前記情報処理装置の前記制御回路は、複数の前記異なる操作を前記複数の異なるコンテンツ提供アプリケーションの選択に割り当てるプリセットアプリケーションを実行する
　コンテンツ再生システム。
　（５）
　上記（４）に記載のコンテンツ再生システムであって、
　前記プリセットアプリケーションは、前記コンテンツ再生制御アプリケーションに含まれる
　コンテンツ再生システム。
　（６）
　上記（１）乃至（５）の何れか一つに記載のコンテンツ再生システムであって、
　前記ウェアラブルデバイスは、センサ部を有し、
　前記コンテンツ再生制御アプリケーションは、
　　前記ユーザが装着したウェアラブルデバイスが有するセンサ部から入力された検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
　　前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
　をさらに有し、
　前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定する
　コンテンツ再生システム。
　（７）
　上記（６）に記載のコンテンツ再生システムであって、
　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含む
　コンテンツ再生システム。
　（８）
　上記（６）又は（７）に記載のコンテンツ再生システムであって、
　前記コンテンツ提供アプリケーションは、前記キューに基づきコンテンツの複数の候補を選択し、前記センサ部から入力された前記検出値に基づき前記複数の候補から再生すべきコンテンツを選択する
　コンテンツ再生システム。
　（９）
　上記（６）乃至（８）の何れか一つに記載のコンテンツ再生システムであって、
　前記コンテンツ提供アプリケーションは、コンテンツの再生中に、前記センサ部から入力された前記検出値に基づき、再生すべきコンテンツの属性を選択し、選択したコンテンツを再生する
　コンテンツ再生システム。
　（１０）
　上記（１）乃至（９）の何れか一つに記載のコンテンツ再生システムであって、
　前記コンテンツ制御部は、前記環境状態に基づき前記コンテンツ提供アプリケーションが前記コンテンツの再生を停止するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づき前記コンテンツの再生を停止させる
　コンテンツ再生システム。
　（１１）
　上記（１）乃至（１０）の何れか一つに記載のコンテンツ再生システムであって、
　前記コンテンツ再生制御アプリケーションは、
　ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
　前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定する
　コンテンツ再生システム。
　（１２）
　上記（６）に記載のコンテンツ再生システムであって、
　前記ユーザ位置推定部は、
　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、を有し、
　前記方位角を利用して前記ユーザ位置を推定する
　コンテンツ再生システム。
　（１３）
　上記（１２）に記載のコンテンツ再生システムであって、
　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサを含み、
　前記角度補正部は、
　　前記加速度センサの前記検出値としての前記ユーザがRoll方向を向いたときの重力加速度から、前記ユーザのPitch方向の傾き及び前記Roll方向の傾きを算出し、
　　前記加速度センサの前記検出値としての前記ユーザが前記Pitch方向を向いたときの重力加速度と、前記Pitch方向の傾き及び前記Roll方向の傾きとから、前記ユーザのYaw方向の傾きを算出し、
　　前記Pitch方向の傾き、前記Roll方向の傾き及び前記Yaw方向の傾きを、前記補正値とする
　コンテンツ再生システム。
　（１４）
　上記（１）乃至（１３）のいずれか一項に記載のコンテンツ再生システムであって、
　前記コンテンツ制御部は、同一の環境状態を跨いで連続的に関連するコンテンツを再生する
　コンテンツ再生システム。
　（１５）
　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
　を有するコンテンツ再生制御アプリケーションと、
　を実行する制御回路
　を具備する情報処理装置。
　（１６）
　情報処理装置の制御回路を、
　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部
　として動作させるコンテンツ再生制御アプリケーション。
　（１７）
　情報処理装置の制御回路を、
　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部
　として動作させるコンテンツ再生制御アプリケーション
　を記録した非一過性のコンピュータ読み取り可能な記録媒体。
　本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　１０　情報処理システム
　１００　情報処理装置
　１１０　コンテクスト取得部
　１１１　ＧＰＳセンサ
　１１２　ビーコン送受信機
　１１３　端末情報取得部
　１２０　ＰＤＲ部
　１２１　角度補正部
　１２２　角度推定部
　１２３　ユーザ位置推定部
　１３０　場所推定部
　１４０　ユーザ状態推定部
　１５０　環境推定部
　１６０　出力制御部
　１６１　コンテンツ制御部
　１６２　通知制御部
　２００　ウェアラブルデバイス
　２１０　センサ部
　２１１　加速度センサ
　２１２　ジャイロセンサ
　２１３　コンパス
　２１４　生体センサ

Claims (16)

  1. 　ウェアラブルデバイスと、
    　　前記ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
    　　前記ユーザ状態に基づき前記ユーザの環境状態を推定する環境推定部と、
    　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
    　を有するコンテンツ再生制御アプリケーションと、
    　を実行する制御回路を有する情報処理装置と、
    　を具備するコンテンツ再生システム。
  2. 　請求項１に記載のコンテンツ再生システムであって、
    　前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
    　前記コンテンツ制御部は、前記環境状態に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択する
    　コンテンツ再生システム。
  3. 　請求項１に記載のコンテンツ再生システムであって、
    　前記情報処理装置の前記制御回路は、複数の異なるコンテンツ提供アプリケーションを実行し、
    　前記ウェアラブルデバイスは、入力装置を有し、
    　前記コンテンツ制御部は、前記ウェアラブルデバイスにユーザが入力した異なる操作に基づき、前記コンテンツを再生させる所定のコンテンツ提供アプリケーションを選択する
    　コンテンツ再生システム。
  4. 　請求項１に記載のコンテンツ再生システムであって、
    　前記情報処理装置の前記制御回路は、複数の前記異なる操作を前記複数の異なるコンテンツ提供アプリケーションの選択に割り当てるプリセットアプリケーションを実行する
    　コンテンツ再生システム。
  5. 　請求項４に記載のコンテンツ再生システムであって、
    　前記プリセットアプリケーションは、前記コンテンツ再生制御アプリケーションに含まれる
    　コンテンツ再生システム。
  6. 　請求項１に記載のコンテンツ再生システムであって、
    　前記ウェアラブルデバイスは、センサ部を有し、
    　前記コンテンツ再生制御アプリケーションは、
    　　前記ユーザが装着したウェアラブルデバイスが有するセンサ部から入力された検出値に基づき、ユーザ位置を推定するユーザ位置推定部と、
    　　前記ユーザ位置に基づき、ユーザがいる場所の属性である場所属性を推定する場所属性推定部と、
    　をさらに有し、
    　前記ユーザ状態推定部は、前記場所属性に基づき、前記ユーザ状態を推定する
    　コンテンツ再生システム。
  7. 　請求項６に記載のコンテンツ再生システムであって、
    　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサ、ジャイロセンサ、コンパス、生体センサの内、少なくとも一つを含む
    　コンテンツ再生システム。
  8. 　請求項６に記載のコンテンツ再生システムであって、
    　前記コンテンツ提供アプリケーションは、前記キューに基づきコンテンツの複数の候補を選択し、前記センサ部から入力された前記検出値に基づき前記複数の候補から再生すべきコンテンツを選択する
    　コンテンツ再生システム。
  9. 　請求項６に記載のコンテンツ再生システムであって、
    　前記コンテンツ提供アプリケーションは、コンテンツの再生中に、前記センサ部から入力された前記検出値に基づき、再生すべきコンテンツの属性を選択し、選択したコンテンツを再生する
    　コンテンツ再生システム。
  10. 　請求項１に記載のコンテンツ再生システムであって、
    　前記コンテンツ制御部は、前記環境状態に基づき前記コンテンツ提供アプリケーションが前記コンテンツの再生を停止するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づき前記コンテンツの再生を停止させる
    　コンテンツ再生システム。
  11. 　請求項１に記載のコンテンツ再生システムであって、
    　前記コンテンツ再生制御アプリケーションは、
    　ユーザのコンテクストを取得するコンテクスト取得部をさらに具備し、
    　前記ユーザ状態推定部は、取得された前記コンテクストに基づき、前記ユーザ状態を推定する
    　コンテンツ再生システム。
  12. 　請求項６に記載のコンテンツ再生システムであって、
    　前記ユーザ位置推定部は、
    　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値に基づき、前記ユーザの方位角の補正値を算出する角度補正部と、
    　前記ユーザが装着した前記ウェアラブルデバイスが有する前記センサ部の前記検出値と、前記補正値とに基づき、前記ユーザの方位角を推定する角度推定部と、を有し、
    　前記方位角を利用して前記ユーザ位置を推定する
    　コンテンツ再生システム。
  13. 　請求項１２に記載のコンテンツ再生システムであって、
    　前記ウェアラブルデバイスが有する前記センサ部は、加速度センサを含み、
    　前記角度補正部は、
    　　前記加速度センサの前記検出値としての前記ユーザがRoll方向を向いたときの重力加速度から、前記ユーザのPitch方向の傾き及び前記Roll方向の傾きを算出し、
    　　前記加速度センサの前記検出値としての前記ユーザが前記Pitch方向を向いたときの重力加速度と、前記Pitch方向の傾き及び前記Roll方向の傾きとから、前記ユーザのYaw方向の傾きを算出し、
    　　前記Pitch方向の傾き、前記Roll方向の傾き及び前記Yaw方向の傾きを、前記補正値とする
    　コンテンツ再生システム。
  14. 　請求項１に記載のコンテンツ再生システムであって、
    　前記コンテンツ制御部は、同一の環境状態を跨いで連続的に関連するコンテンツを再生する
    　コンテンツ再生システム。
  15. 　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
    　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
    　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部と、
    　を有するコンテンツ再生制御アプリケーションと、
    　を実行する制御回路
    　を具備する情報処理装置。
  16. 　情報処理装置の制御回路を、
    　　ウェアラブルデバイスを装着したユーザのユーザ状態を推定するユーザ状態推定部と、
    　　前記ユーザ状態に基づき前記ユーザに提示する環境状態を推定する環境推定部と、
    　　前記環境状態に基づき、コンテンツを提供するコンテンツ提供アプリケーションがコンテンツを選択するためのキューを生成し、前記キューを前記コンテンツ提供アプリケーションに出力し、前記コンテンツ提供アプリケーションに前記キューに基づきコンテンツを選択させて前記コンテンツを再生させるコンテンツ制御部
    　として動作させるコンテンツ再生制御アプリケーション。
PCT/JP2022/007708 2021-03-30 2022-02-24 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション WO2022209474A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/013225 WO2022210113A1 (ja) 2021-03-30 2022-03-22 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
JP2023511341A JPWO2022210652A1 (ja) 2021-03-30 2022-03-29
PCT/JP2022/015307 WO2022210652A1 (ja) 2021-03-30 2022-03-29 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2021056342 2021-03-30
JP2021-056342 2021-03-30
JPPCT/JP2021/021261 2021-06-03
PCT/JP2021/021261 WO2022208906A1 (ja) 2021-03-30 2021-06-03 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
PCT/JP2021/043551 WO2022209000A1 (ja) 2021-03-30 2021-11-29 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
JPPCT/JP2021/043551 2021-11-29

Publications (1)

Publication Number Publication Date
WO2022209474A1 true WO2022209474A1 (ja) 2022-10-06

Family

ID=83458401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007708 WO2022209474A1 (ja) 2021-03-30 2022-02-24 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション

Country Status (1)

Country Link
WO (1) WO2022209474A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006008790A1 (ja) * 2004-07-15 2006-01-26 C & N Inc 携帯端末装置
JP2011141492A (ja) * 2010-01-08 2011-07-21 Nec Corp 音楽配信システム、音楽受信端末、音楽配信方法およびプログラム
JP2011259259A (ja) * 2010-06-10 2011-12-22 Alpine Electronics Inc 電子機器および操作キーの割当方法
JP2012212234A (ja) * 2011-03-30 2012-11-01 Kddi Corp 自律測位に用いる重力ベクトルを補正する携帯装置、プログラム及び方法
JP2015152559A (ja) * 2014-02-19 2015-08-24 株式会社リコー 慣性装置、制御方法及びプログラム
JP2018078398A (ja) * 2016-11-07 2018-05-17 株式会社ネイン 多機能イヤホンによる自律型アシスタントシステム
WO2018179644A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2019158933A (ja) * 2018-03-08 2019-09-19 シャープ株式会社 音声再生機器、制御装置および制御方法
WO2020208894A1 (ja) * 2019-04-12 2020-10-15 ソニー株式会社 情報処理装置、及び情報処理方法
JP2020201138A (ja) * 2019-06-11 2020-12-17 本田技研工業株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006008790A1 (ja) * 2004-07-15 2006-01-26 C & N Inc 携帯端末装置
JP2011141492A (ja) * 2010-01-08 2011-07-21 Nec Corp 音楽配信システム、音楽受信端末、音楽配信方法およびプログラム
JP2011259259A (ja) * 2010-06-10 2011-12-22 Alpine Electronics Inc 電子機器および操作キーの割当方法
JP2012212234A (ja) * 2011-03-30 2012-11-01 Kddi Corp 自律測位に用いる重力ベクトルを補正する携帯装置、プログラム及び方法
JP2015152559A (ja) * 2014-02-19 2015-08-24 株式会社リコー 慣性装置、制御方法及びプログラム
JP2018078398A (ja) * 2016-11-07 2018-05-17 株式会社ネイン 多機能イヤホンによる自律型アシスタントシステム
WO2018179644A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2019158933A (ja) * 2018-03-08 2019-09-19 シャープ株式会社 音声再生機器、制御装置および制御方法
WO2020208894A1 (ja) * 2019-04-12 2020-10-15 ソニー株式会社 情報処理装置、及び情報処理方法
JP2020201138A (ja) * 2019-06-11 2020-12-17 本田技研工業株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US10915291B2 (en) User-interfaces for audio-augmented-reality
US10972857B2 (en) Directional audio selection
US10798509B1 (en) Wearable electronic device displays a 3D zone from where binaural sound emanates
JP3834848B2 (ja) 音情報提供装置、及び音情報選択方法
US11343613B2 (en) Prioritizing delivery of location-based personal audio
US10869154B2 (en) Location-based personal audio
US10929099B2 (en) Spatialized virtual personal assistant
US9288594B1 (en) Auditory environment recognition
US11016723B2 (en) Multi-application control of augmented reality audio
CN110999327B (zh) 信息处理装置、信息处理方法以及程序
WO2019107145A1 (ja) 情報処理装置、及び情報処理方法
WO2012032714A1 (en) User device, server, and operating conditions setting system
JP7243639B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022209474A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022209473A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022210111A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022210113A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
US20200280814A1 (en) Augmented reality audio playback control
WO2022208906A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022208999A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022209000A1 (ja) コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
US10820132B2 (en) Voice providing device and voice providing method
US11936718B2 (en) Information processing device and information processing method
JPWO2019087779A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779699

Country of ref document: EP

Kind code of ref document: A1