WO2023033109A1 - 情報処理システム、情報処理方法および情報処理プログラム - Google Patents

情報処理システム、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2023033109A1
WO2023033109A1 PCT/JP2022/032957 JP2022032957W WO2023033109A1 WO 2023033109 A1 WO2023033109 A1 WO 2023033109A1 JP 2022032957 W JP2022032957 W JP 2022032957W WO 2023033109 A1 WO2023033109 A1 WO 2023033109A1
Authority
WO
WIPO (PCT)
Prior art keywords
anchor
information processing
sound source
space
reverberation
Prior art date
Application number
PCT/JP2022/032957
Other languages
English (en)
French (fr)
Inventor
俊一 竹下
来 佐藤
Original Assignee
株式会社Gatari
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Gatari filed Critical 株式会社Gatari
Publication of WO2023033109A1 publication Critical patent/WO2023033109A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/10—Arrangements for producing a reverberation or echo sound using time-delay networks comprising electromechanical or electro-acoustic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to an information processing system, an information processing method, and an information processing program.
  • Patent Document 1 discloses a technology for providing print data such as advertisements when a mobile client device has a GPS receiver and the mobile client device enters within a threshold distance of a geographical position defined by a geofence. is disclosed.
  • Patent Literature 2 discloses a technique related to an apparatus that arranges and reproduces an object registered in advance in a photographed image photographed by a camera.
  • Patent Document 2 it is necessary to install a plurality of sensors in order to detect the position of the user with high accuracy. In some cases, the cost of constructing the system is increased in order to achieve this.
  • the present invention has been made in view of the above circumstances, and makes it possible to execute contents arranged in space even in a situation where positioning by a positioning satellite is difficult, and to reduce the cost of providing a sound source corresponding to the space. , an information processing system, an information processing method, and an information processing program.
  • an information processing system for providing contents to a user, which is held by the user and scans a space to scan an object existing in the space.
  • a coordinate information calculation unit for calculating coordinate information in the space of the object based on the distance acquired by the acquisition unit; the coordinate information calculated by the coordinate information calculation unit;
  • Anchor detection unit for detecting anchors based on position information of anchors arranged in a matrix;
  • reverberation characteristics calculation unit for calculating reverberation characteristics in space; and a content control unit that controls provision of content related to the sound source adjusted by the sound source adjustment unit to the user when the anchor is detected by the anchor detection unit.
  • the space is scanned by a user to obtain the distance to an object existing in the space, and the space coordinate information of the object is obtained based on the obtained distance.
  • the anchor is detected, based on the calculated coordinate information, the reverberation characteristics in the space are calculated, and the calculation unit
  • FIG 4 is a flow chart showing a first example of the operation of the information processing system in the embodiment; 8 is a flow chart showing a second example of the operation of the information processing system in the embodiment; It is a figure which shows an example of the point cloud data of the measurement space in embodiment. It is a figure which shows an example of the hiss of the x-coordinate-axis of point cloud data in embodiment, and a gram. It is a figure which shows the calculation example at the time of carrying out curve fitting with respect to the positive value of the histogram in embodiment. It is a figure which shows an example which plotted the position of the user, and the position of the anchor with respect to the measurement space in embodiment.
  • FIG. 1 is a block diagram showing an example of the system configuration of an information processing system according to an embodiment.
  • the information processing system 1 includes an information processing terminal 10, an information processing terminal 20, an information processing device 30, and a content execution device 40.
  • the information processing terminal 10 is a terminal for setting content (sometimes referred to as an event) that is virtually placed in space and executed.
  • the information processing terminal 20 is a terminal that is held by a user and allows the user to receive provision of content that is virtually arranged in space.
  • the information processing device 30 is a device for storing content settings arranged in the information processing terminal 10 and providing content to the user holding the information processing terminal 20 based on the stored content settings.
  • the content execution device 40 is a device that provides content to the user.
  • the content in this current mode is information that is executed by moving the information processing terminal 20 and causes the device to operate in the information processing system 1 .
  • the device in the information processing system 1 is, for example, the information processing terminal 20 (or the information processing terminal 10), the content execution device 40, or the like.
  • the operation of the device in the information processing system 1 is, for example, reproduction of content, data communication, operation of an actuator, or the like.
  • Playback of content is, for example, playback of a sound source, display of an image (moving or still image), display of a 3D object, or the like.
  • Data communication is, for example, communication between the information processing terminal 20 and the information processing device 30 or communication between the information processing device 30 and the content execution device 40 .
  • terminal information of the information processing terminal 20 for example, device ID, position information, acceleration sensor measurement value, camera captured image, etc.
  • data communication from the information processing terminal 20 may control the content execution device 40 (for example, audio equipment or video equipment).
  • an actuator is the operation of an actuator such as a motor, an air cylinder, an air valve, etc.
  • an actuator such as a motor, an air cylinder, an air valve, etc.
  • the operation of moving an animal-shaped object or door driven by a motor or the like, or the operation of inflating a balloon that is inflated with air. is.
  • contents are provided to users by the operation of these devices.
  • reproduction of a sound source in the information processing terminal 20 and the content execution device 40 is exemplified as content execution.
  • execution of content in the information processing system 1 is not limited to this.
  • the information processing terminal 10 and the information processing terminal 20 are portable (portable) devices that are held by a user, and are, for example, smart phones, tablet PCs, or wearable devices such as head-mounted, glasses, or wristwatch types. be.
  • the information processing device 30 is a device that is communicably connected to the information processing terminal 10 and the information processing terminal 20 via the network 9, and is, for example, a server device.
  • the user in the present embodiment means the user of the information processing terminal 10, the information processing terminal 20, or the information processing device 30, and may be different users or the same user. good too. Also, the user may be a dedicated operator or a general user other than the dedicated operator.
  • the information processing terminal 10 has an acquisition section 11 , a display section 12 , an anchor placement section 13 , an anchor information provision section 14 , a content setting section 15 and a content information provision section 16 .
  • the information processing terminal 20 has an acquisition section 21 , a coordinate information calculation section 22 , a coordinate information provision section 23 and a content execution section 24 .
  • the information processing device 30 also has an anchor information storage unit 31 , an anchor detection unit 32 , an acoustic property storage unit 33 , a reverberation property calculation unit 34 , a sound source adjustment unit 35 and a content control unit 36 .
  • the content execution device 40 also has a content execution unit 41 .
  • Each of the functional units of the information processing system 1 according to this embodiment will be described as a functional module realized by the information processing program (software) according to this embodiment.
  • the acquisition unit 11 and the acquisition unit 21 acquire scan data scanned by a sensor that scans the space.
  • a sensor that scans space is a sensor that scans the shape of an object that exists in space, and is, for example, a ranging sensor that measures the distance to an object that exists in space.
  • a sensor using LiDAR Light Detection And Ranging
  • LiDAR Light Detection And Ranging
  • laser light is used.
  • LiDAR may use ultraviolet, infrared, or near-infrared.
  • LiDAR can three-dimensionally measure the shape of an object existing in space by measuring the distance from the sensor to the object (distance measurement).
  • Measuring the shape of an object three-dimensionally means expressing the shape of an object existing in space as coordinate information in the space.
  • Coordinate information in space is relative two-dimensional or three-dimensional coordinate values from a reference point (coordinates) in space.
  • the surface shape of an object existing in space can be expressed as a set of coordinate values (point cloud data).
  • a set of coordinate values may be represented, for example, as a line, plane, or solid.
  • Coordinate information is information indicating the surface shape of space, and is sometimes referred to as spatial information.
  • the scan data obtained by scanning the space may be, for example, images captured by a stereo camera (not shown) included in the information processing terminal 10 or the information processing terminal 20, or the like.
  • Scan data obtained by scanning the space may include information acquired by a position sensor or an acceleration sensor (not shown) of information processing terminal 10 or information processing terminal 20 .
  • the display unit 12 displays the captured image captured by the camera on a display (for example, a display such as a liquid crystal display).
  • the display unit 12 allows the user to check the photographed result by displaying, for example, a photographed image photographed by the camera of the smartphone on the display of the smartphone.
  • the display unit 12 may display the shape of the object based on the coordinate information calculated based on the scan data acquired by the acquisition unit 11 .
  • the anchor placement unit 13 provides the user with an operation (UI: User Interface) for placing virtual anchors in the captured image displayed on the display unit 12 based on the scan data acquired by the acquisition unit 11 .
  • a virtual anchor is a mark (marker) that is virtually installed (arranged) in space, and has position information (coordinate values) representing a specific position in space.
  • An anchor in this embodiment is, for example, a mark or the like indicating a position where content such as a sound source is arranged.
  • the shape of the mark may be, for example, a sphere, a cube, an icon image, or the like, as long as it is displayed on the display unit 12 and visible to the user.
  • the user can operate the UI provided by the anchor placement unit 13 to place anchors.
  • the anchor placement unit 13 of the information processing terminal 10 provides the UI for placing the anchor, but the information processing terminal 20 provides the UI for placing the anchor. You may do so. That is, the user of the information processing terminal 20 may be allowed to place anchors.
  • the anchor placement unit 13 displays the captured image on the display unit 12 and provides a UI that allows the user to place an anchor in the captured image, thereby allowing the user to place the anchor without being aware of the spatial coordinate values. It is possible to obtain the coordinate values of the The user can set the position to place the anchor while checking the captured image displayed on the display unit 12 .
  • the anchor arranging unit 13 further provides the user with an operation for correcting the anchor arranging position using the captured image displayed on the display unit 12 . Since the placement position of the anchor is determined while checking the two-dimensional captured image displayed on the display unit 12, the placement position may be unclear in the depth direction of the display screen. For example, the anchor arranging unit 13 can correct the anchor arranging position by moving the position of the once arranged anchor by a predetermined distance (for example, 1 m or 50 cm) in the depth direction. Become. By correcting the positions where the anchors are placed, it becomes possible to improve the efficiency of the anchor placement compared to the case of re-arranging the anchors.
  • a predetermined distance for example, 1 m or 50 cm
  • Anchor information related to the anchor includes, for example, coordinate information in space.
  • Coordinate information in space is coordinate information based on scan data obtained by scanning space, and is, for example, coordinate information indicating a relative position from an object having a large feature amount existing in space.
  • the spatial feature amount is, for example, the distribution (histogram) of color data existing in the space, the shape of an object, or vector data of color data.
  • the position of an object with a large feature amount has a large difference in the feature amount from its surroundings, it is possible to reduce the error of the position of the object in the coordinate information.
  • the position of an object with a small feature amount has a small difference in feature amount from its surroundings, the error in the position of the object in the coordinate information increases.
  • the relative position from an object with a large feature value in space is coordinate information based on scan data obtained by scanning the space, so it becomes relative position information from an object existing in the space.
  • coordinate information includes, for example, coordinate information calculated from the relative distance from a reference point (beacon) that emits radio waves, absolute coordinates consisting of longitude, latitude, and altitude calculated from radio waves acquired from positioning satellites. Information and the like may be included. For example, by using coordinate information based on two calculation methods, it is possible to double check the coordinate information, so that the reliability of the coordinate information can be improved.
  • providing may be push-type transmission or pull-type transmission.
  • acquisition may refer to either pull-type reception or push-type reception.
  • the content setting unit 15 provides the user with an operation screen (UI) for arranging content for the anchor information provided to the information processing device 30 .
  • the content setting unit 15 provides the user with an operation screen (UI) for the start condition setting operation for setting the start condition for starting the content arranged in the content arrangement operation.
  • the user can operate the UI provided by the content setting unit 15 to arrange the content.
  • the content setting unit 15 of the information processing terminal 10 provides a UI for content arrangement operation. may be provided. That is, the user of the information processing terminal 20 may be allowed to arrange the content.
  • a content placement operation is an operation that places content (events) executed for anchor information, and is, for example, an operation that assigns content to be played back to the placed anchor.
  • the assignment of content includes, for example, an operation of selecting and assigning (corresponding to) a playlist of sound sources created in advance or newly created.
  • a playlist is a set of sound sources to be reproduced using one or a plurality of sound source files, and by assigning a playlist name, the sound sources to be reproduced can be easily identified.
  • the content to be placed may be reproduction of content such as image reproduction, data communication, operation of an actuator, or the like.
  • content may be placed to operate an actuator that drives the object with respect to an anchor placed near an animal-shaped object.
  • the start condition for executing the content is a condition for executing the provision of the content in the information processing terminal 20 or the like. This is a condition for judging whether or not it has entered.
  • the geofence is, for example, the distance between the anchor and the information processing terminal 20, the shooting direction of the camera of the information processing terminal 20, the altitude of the information processing terminal 20 (the relative altitude difference from the anchor, or the absolute altitude with respect to the sea surface, etc.). ), display time of the anchor, stop time of the information processing terminal 20, or the like.
  • the geofence may also include conditions such as whether the distance between the anchor and the information processing terminal 20 is getting closer or farther.
  • the geofence may include that the anchor is photographed by a plurality of information processing terminals 20 .
  • the geofence may include the behavior of the user acquired from an acceleration sensor or the like (not shown).
  • the content setting unit 15 provides the user with a UI for adjusting the sound source when arranging the sound source as content. Adjustment of the sound source means adjusting (setting) the reproduction mode of the sound reproduced from the sound source according to the space.
  • the reproduction mode of the sound source is, for example, volume, frequency characteristics, or reverberation characteristics.
  • the volume (loudness) of sound emitted from a sound source in space and heard by a user is affected by the distance from the sound source to the user, reflection of sound by objects existing in the space, and the like. Therefore, when reproducing a sound source, it is necessary to adjust the sound source so that the sound volume becomes appropriate.
  • the content setting unit 15 provides a UI for setting an appropriate sound volume.
  • Frequency characteristic adjustment is to adjust the frequency distribution of sound emitted from a sound source.
  • Frequency-specific adjustments include, for example, shelving-type adjustments that collectively adjust the range above (or below) a specific frequency, or peak-dip adjustments that adjust the range around a specific frequency. is included.
  • the content setting unit 15 provides a UI for setting appropriate frequency characteristics.
  • the reverberation characteristics of sounds emitted from a sound source in a space and heard by a user differ depending on factors such as reflection of the sound by objects existing in the space. Therefore, when reproducing a sound source, it is necessary to adjust the sound source so that it has appropriate reverberation characteristics.
  • the content setting unit 15 provides a UI for setting appropriate reverberation characteristics. A specific method for adjusting reverberation characteristics will be described later.
  • the content setting unit 15 may be able to set the reproduction mode of the sound source other than the above.
  • the content setting unit 15 may set the playback time, playback speed, etc. of the sound source.
  • the content setting unit 15 may set the action range, action speed, or the like of the actuator.
  • the content execution mode includes the above-described distance between the anchor and the information processing terminal 20, the shooting direction of the camera of the information processing terminal 20, the altitude of the information processing terminal 20, the display time of the anchor, or the stopping of the information processing terminal 20. It may also include content whose execution mode changes depending on time or the like. By setting the playback conditions, it is possible to produce various effects using the sound source.
  • the content information providing unit 16 provides the information processing device 30 with arrangement information of the content for which the content arrangement operation has been performed in the content setting unit 15 and the start condition set in the start condition setting operation. By providing the information processing device 30 with the arrangement information and the start condition, it becomes possible for the information processing device 30 to store this information. By storing these pieces of information in the information processing device 30, it becomes possible to read and use the stored information.
  • placement of anchors or setting of content may be performed in a plurality of information processing terminals 10 . When anchor placement or the like is executed in a plurality of information processing terminals 10 , the execution result of anchor placement or the like in one information processing terminal 10 is saved in the information processing device 30 and reflected in the other information processing terminals 10 . be.
  • the coordinate information calculation unit 22 calculates coordinate information of the object in space based on the distance to the object acquired by the acquisition unit 21 .
  • the acquisition unit 21 scans the space as described above and acquires the distance to the object existing in the space.
  • the coordinate information calculator 22 can measure the shape of the object by calculating the coordinate information of the surface of the object from a plurality of distances to the surface of the object.
  • FIG. 11 shows point cloud data in the measurement space acquired by the acquisition unit 11 or acquisition unit 21 .
  • FIG. 11 illustrates a case where the measurement space is box-shaped (cubic).
  • a box-shaped measurement space is organized in six planes.
  • a surface in the measurement space can be calculated by calculating dense points in each coordinate axis in three dimensions of the point cloud data. Dense points on each coordinate axis can be calculated by obtaining the distribution of point cloud data on each coordinate axis.
  • FIG. 12 shows Hiss and Grams in the x coordinate axis of the point cloud data in FIG.
  • a histogram is the x-axis distribution of the point cloud data.
  • the x-axis coordinate point cloud data has peaks at approximately -4.5 and 3.3. That is, it indicates that there are two planes on the x-axis in the measurement space.
  • FIG. 13 is a calculation example when curve fitting is performed for positive values of the histogram of FIG.
  • the peak can be calculated as the wall in that coordinate axis.
  • FIG. 13 has a peak at approximately 3.3 and this point is calculated to be one plane (wall) on the x coordinate axis.
  • a smoothing spline technique is used for curve fitting.
  • a smoothing spline is a method of estimating a function from an observed value including noise using a spline curve while maintaining a balance with smoothness based on second order differentiation.
  • FIG. 13 is calculated using a three-dimensional spline curve. Note that FIG. 13 uses a smoothing spline method for curve fitting, but for example, a method using a Gaussian function may be used for curve fitting.
  • the coordinate information calculation unit 22 can calculate two planes on each coordinate axis by the method described above, and can calculate box-shaped coordinate information on six planes.
  • the coordinate information includes the position of the user who receives the content with respect to the coordinate information in the measurement space calculated by the coordinate information calculation unit 22, and the position information of the anchor detected by the anchor detection unit 32, which will be described later. may be FIG. 14 illustrates a plot of the user's position (Listener) and the anchor's position (Sound) against the measurement space.
  • the measurement space may have a complicated shape.
  • the measurement space may have a shape with pillars and beams in the room.
  • the measurement space may have a curved surface such as a domed ceiling.
  • the coordinate information providing unit 23 provides the information processing device 30 with the coordinate information calculated by the coordinate information calculating unit 22 .
  • the information processing device 30 which will be described later, can detect an anchor from the coordinate information of the object provided by the coordinate information providing unit 23 .
  • the content execution unit 24 provides content to the user when the information processing terminal 20 including the acquisition unit 21 enters the geofence.
  • the content executing unit 24 reproduces the sound source through a speaker (not shown) of the information processing terminal 20, for example.
  • the OSC (Open Sound Control) protocol may be used in providing the sound source.
  • the OSC protocol in the content execution unit 24, it is possible to provide the sound source in real time.
  • a sound source format for example, Ambisonics
  • a sound source format for realizing stereophonic sound may be used in providing the sound source.
  • a platform for game development may be used to provide the sound source.
  • a game development platform in the content execution unit 24, it is possible to easily provide events in the game.
  • the sound source in providing the sound source, the sound source may be reproduced using a head-related transfer function (HRTF).
  • HRTF head-related transfer function
  • a head-related transfer function is a transfer function that expresses changes in sound caused by peripheral objects including the ear shell, human head, and shoulders.
  • the content execution unit 24 it is possible to recognize the sense of direction of the sound source and the sense of distance to the sound source by quantifying the characteristics of changes in sound from the sound source to both ears using the head-related transfer function.
  • the result of adjustment can be represented as the above-described OSC or the like.
  • the anchor information storage unit 31 stores the anchor information related to the anchors placed by the anchor placement unit 13 in a readable manner.
  • the anchor information can include anchor position information and the like, as described above.
  • the anchor information storage unit 31 can store a plurality of pieces of anchor information. A plurality of pieces of anchor information stored in the anchor information storage unit 31 are read from the anchor detection unit 32 and used to detect a plurality of anchors arranged in space.
  • the anchor information stored in the anchor information storage unit 31 may be provided to the information processing terminal 20 .
  • the anchor detection unit 32 detects the anchor, but the information processing terminal 20 may detect the anchor.
  • the anchor detection unit 32 Based on the coordinate information provided by the coordinate information providing unit 23 and the position information of the anchors stored in the anchor information storage unit 31 and virtually arranged in advance in the space, the anchor detection unit 32 virtually places the anchor in the space. Detect placed anchors.
  • the coordinate information and position information are the coordinates of a point expressed in three dimensions or two dimensions in space.
  • the coordinate information and the position information may be the feature amounts of the space described above.
  • the spatial feature amount is the distribution (histogram) of color data existing in the space, the shape of an object, vector data of color data, or the like. Since the anchor detection unit 32 can detect the anchors virtually placed in space based on the spatial scan data, it is possible to detect the anchors placed in space even in situations where positioning by positioning satellites is difficult. can. As a result, it is possible to improve the accuracy of the provision condition of the content arranged in the space and to provide the content using the geofence set in three dimensions.
  • the anchor detection unit 32 compares the position information of the anchor stored in the anchor information storage unit 31 and the coordinate information provided from the coordinate information providing unit 23, and compares one point included in the coordinate information with the position information. is within a predetermined distance, the anchor may be detected.
  • the anchor detection unit 32 calculates a feature amount from the coordinate information provided by the coordinate information provision unit 23, and determines whether the anchor is similar to the feature amount at the time of anchor placement stored in the anchor information storage unit 31. You may make it detect.
  • the anchor detection unit 32 may sequentially refer to a plurality of pieces of anchor information stored in the anchor information storage unit 31 to detect anchors. By referencing a plurality of pieces of anchor information by the anchor detection unit 32, addition or deletion of placed anchors can be facilitated.
  • the anchor detection unit 32 may detect anchors based on an assumed anchor detection order. For example, when anchor B is expected to be detected next to anchor A, the anchor detection unit 32 preferentially detects anchor B after detecting anchor A, thereby reducing the load of anchor detection. Detection time can be shortened.
  • the anchor detection unit 32 excludes the already detected anchor from the detection target. good too. By excluding the already detected anchors from the detection target, it is possible to prevent redundant provision of the content associated with the anchors.
  • the anchor detection unit 32 may count the number of times of detection. By counting the number of detections, it is possible to change the content to be provided according to the number of detections. Provision of content can be controlled by a content control unit 36, which will be described later.
  • the anchor detection unit 32 may detect anchors further based on measurement values obtained from a GNSS (Global Navigation Satellite System) sensor or an acceleration sensor (not shown). Anchor detection accuracy can be improved by detecting the anchor in combination with the measured values of these sensors. For example, outdoors, the GNSS sensor may be able to accurately measure the current position. Also, by using an acceleration sensor, it may be possible to record the movement of the information processing terminal 20 and detect the accurate current position by comparing it with before the movement.
  • GNSS Global Navigation Satellite System
  • an acceleration sensor it may be possible to record the movement of the information processing terminal 20 and detect the accurate current position by comparing it with before the movement.
  • the acoustic characteristic storage unit 33 stores in advance acoustic characteristics related to the surfaces of objects existing in space.
  • the acoustic characteristics of the surface of the object are the acoustic characteristics (sometimes referred to as reflection characteristics) when the sound emitted from the sound source is reflected on the surface of the object.
  • the acoustic characteristics stored in the acoustic characteristic storage unit 33 are, for example, sound reflectance (also called sound absorption coefficient or attenuation coefficient).
  • sound reflectance also called sound absorption coefficient or attenuation coefficient
  • the acoustic characteristics stored in the acoustic characteristic storage unit 33 may include the surface shape of the object. Reflected sounds interfere with each other on an uneven surface, and the reflection characteristics of a specific frequency may change. Further, the acoustic characteristics stored in the acoustic characteristic storage unit 33 may include acoustic characteristics for each frequency. The reflectance of sound on the surface of an object differs for each sound frequency. For example, high frequency sounds are poorly reflective in porous materials, and low frequency sounds are highly reflective.
  • the sound emitted from the sound source is reflected on the surface of the object and reaches the user's position. It is possible to calculate the change in the sound of
  • the reverberation characteristic calculator 34 calculates the reverberation characteristics in the space based on the coordinate information calculated by the coordinate information calculator 22 .
  • a reverberation characteristic is a characteristic of sound emitted from a sound source, reflected on the surface of an object existing in space, and reaching a user with a time lag.
  • the reverberation characteristics calculated by the reverberation characteristics calculator 34 are exemplified below. Note that the reverberation characteristics shown below exemplify a change in sound (impulse response) that can be heard at the user's position with respect to an impulse sound source whose volume changes from a constant volume to 0 at a predetermined time.
  • the reverberation characteristic calculated by the characteristic calculation unit 34 is not limited to this.
  • Reverberation time is a characteristic that indicates the length of reverberation of sound in a space.
  • Reverberation time refers to the reproduction of a sound source to radiate sound into space, the sound source to stop after the sound volume reaches a steady state (impulse sound source), and the sound intensity to decay by 60 dB at the observation point (user's position). time (impulse response).
  • the reverberation time can be calculated by the following formula.
  • the above equation obtains an average reverberation decay waveform by integrating the impulse response by Schroeder's equation, and the reverberation time can be calculated from the decay slope of the waveform.
  • Sound pressure can be measured, for example, in sound pressure form.
  • the initial reverberation time is the reverberation time obtained from the attenuation slope of the initial 10 dB portion of the reverberation attenuation.
  • the initial reverberation time is a characteristic representing the feeling of reverberation felt by humans.
  • the decay waveform used for the initial reverberation time is the same as for the reverberation time.
  • the temporal center of gravity directly calculates the reverberation time, and is said to be a characteristic close to human senses.
  • FIG. 7 is a diagram illustrating an example of (A) an impulse sound source, (B) sound attenuation by the impulse sound source, and (C) an impulse response in the embodiment.
  • the x-axis represents the passage of time (t), and the y-axis represents the sound pressure (p) at the sound source.
  • the impulse sound source changes from sound pressure p1 in a steady state to sound pressure 0 (playback stopped) at time t0.
  • the y-axis represents the sound pressure (E) at the user's position (measurement position). Sound pressure E starts to be measured from time t0. The sound pressure E attenuates over time.
  • the y-axis is the ratio (logarithm) of the direct sound that reaches the measurement position directly from the sound source and the reverberation sound that reaches the measurement position after being reflected by the object, which is calculated by the following equation. , a characteristic called C80.
  • the ratio in the steady state is 0 dB. Clarity is used as a characteristic (intelligibility) of whether or not music can be heard clearly.
  • the direct sound total energy ratio is the energy ratio between the direct sound and the total (direct sound + reverberant sound) calculated by the following equation. Direct sound total energy ratio is mainly used as intelligibility in human voice.
  • the reverberation characteristics described above may be those actually measured in the space in which the sound source is reproduced, and the reverberation characteristics in another space having similar coordinate information in the space may be stored, and the object space , and the acoustic characteristics stored in the acoustic characteristic storage unit 33 may be used for calculation.
  • the reverberation characteristics of the type of space for example, a concert hall, a church, a room surrounded by concrete, a corridor, etc.
  • the reverberation characteristics are stored based on the coordinate information calculated by the coordinate information calculation unit. may be modified to calculate the reverberation characteristics in the space.
  • MI method Allen and Berkley's Mirror image method
  • the following parameters are used in the MI method. Sound velocity [m/s] Sampling rate [Hz] Anchor position coordinates (x, y, z) [m] User position coordinates (x, y, z) [m] room dimensions (x, y, z) [m] Room reverberation time [m], or reflection coefficient at each wall
  • the sampling rate uses the sampling rate used in the actual device.
  • the anchor position, user position, and room dimensions are calculated in the manner described above.
  • the reverberation time [m] of the room or the reflection coefficient on each wall can be calculated from the reverberation time calculated from a certain anchor position and user position.
  • the reverberation time can be calculated by measuring the impulse response and calculating the reverberation time based on the measured impulse response.
  • the impulse response is measured in the room (measurement space) whose shape is estimated by calculating the coordinate information.
  • the measurement of the impulse response is to measure the impulse response described above, and specifically, measurement using a TSP (Time Stretched Pulse) signal, measurement using pink noise, measurement using a balloon, or using hand clapping. It can be done by measurement etc.
  • TSP Time Stretched Pulse
  • the reverberation time is calculated from the impulse response obtained in the impulse response measurement.
  • the calculation method specified in ISO3382-2:2008 can be used.
  • the reverberation characteristic calculation unit 34 calculates the reverberation characteristic by the MI method based on the parameters obtained by the above method.
  • the reverberation characteristic calculator 34 may calculate the reverberation characteristic by a method other than the MI method.
  • the reverberation characteristic calculation unit 34 also uses the sensor information obtained by the acquisition unit 21 to estimate the material of each wall using image recognition technology based on deep learning, and uses information such as the material to calculate the reflection coefficient. You may make it In some cases, building materials can be identified by their appearance such as their shape.
  • the reverberation characteristic calculator 34 can estimate the reverberation characteristic by learning the correspondence between the sensor information and the reflection coefficient by deep learning.
  • the sound source adjustment unit 35 adjusts the sound source based on the reverberation characteristics calculated by the reverberation characteristics calculation unit 34 .
  • sound source adjustment includes volume adjustment, frequency characteristic adjustment, reverberation characteristic adjustment, and the like.
  • the sound source adjustment unit 35 can easily adjust the sound source to be provided according to reverberation characteristics and the like that differ depending on the shape of the space in which the sound source is reproduced.
  • the adjustment of the sound source by the sound source adjustment unit 35 may be set to be performed (enabled/disabled). For example, the sound source adjustment unit 35 automatically adjusts the sound source when the reverberation characteristics are calculated when enabled, and manually adjusts the sound source when disabled. adjustment may be performed.
  • the sound source for example, it is possible to reproduce the sound source with the reverberation or volume intended by the content provider. Also, by adjusting the sound source, for example, when reproducing the sound source in an event hall, it is possible to give the user a feeling of reverberation that makes the user feel as if he/she is in a church.
  • the content control unit 36 controls provision of content when the start condition is satisfied according to the arrangement information or the start condition.
  • the content control unit 36 may control provision of content in a predetermined mode of content execution according to a preset start condition.
  • the content control unit 36 uses identification information of the information processing terminal 20 (pre-registered user attribute information such as gender, age, language used, nationality or religion, or device information acquired from the information processing terminal 20). etc.), the content may be provided by changing the execution mode of the content such as the playback mode of the sound source.
  • the identification information may be acquired in association with the user's account information, for example.
  • the content execution unit 24 can execute various contents by executing the contents changed according to the identification information.
  • the content execution device 40 is a device different from the information processing terminal 20 that provides content to the user, and is, for example, a device that reproduces a sound source or operates an actuator.
  • the content execution unit 41 controls execution of content according to instructions from the content control unit 36 .
  • the content execution unit 41 may control provision of content in cooperation with the content execution unit 24, for example.
  • the above-described functional units of the information processing system 1 are examples of functions, and do not limit the functions of the information processing system 1 .
  • the information processing terminal 10, the information processing terminal 20, or the information processing device 30 does not need to have all the functional units described above, and may have some of the functional units.
  • the information processing system 1 may have functions other than those described above.
  • the functional units of the information processing terminal 10 may be implemented in the information processing device 30 .
  • the functional units included in information processing terminal 20 may be implemented in information processing device 30 .
  • the functional unit of information processing device 30 may be implemented in information processing terminal 10 or information processing terminal 20 .
  • the function of the anchor detection unit 32 may be implemented in the information processing terminal 20 .
  • each functional unit has been explained as being realized by software. However, at least one or more of the functional units may be realized by hardware.
  • any one of the above functional units may be implemented by dividing one functional unit into a plurality of functional units. Also, any two or more of the above functional units may be integrated into one functional unit for implementation.
  • FIG. 1 expresses the functions of the information processing system 1 using functional blocks, and does not indicate, for example, that each functional unit is composed of a separate program file or the like.
  • the information processing terminal 10, the information processing terminal 20, or the information processing device 30 is a system realized by a plurality of devices connected via a network or the like, even if it is a device realized by one housing.
  • the information processing terminal 10, the information processing terminal 20, or the information processing device 30 are realized by other virtual devices such as cloud services provided by a cloud computing system, in part or in whole. may That is, the information processing terminal 10, the information processing terminal 20, or the information processing device 30 may implement at least one or more of the above functional units in another device.
  • 2 to 5 are diagrams for explaining a method of installing an anchor in the embodiment.
  • a display screen 1000 is displayed on the display unit 12.
  • a display screen 1000 has an icon 1001 indicating an anchor setting screen, an anchor setting button 1002, an exit button 1003, a save button 1004, and a naming button 1005 for naming a playlist.
  • a display screen 1000 is a display screen displayed on the information processing terminal 10, and an image captured by the camera of the information processing terminal 10 is displayed.
  • An anchor setting button 1002 is a button for setting an anchor in one of the shooting ranges displayed on the display screen 1000 .
  • an anchor placement button 1002 By operating an anchor placement button 1002, an anchor can be placed at the center position of the display screen 1000 or at a cursor position (not shown) in the display screen 1000.
  • FIG. By operating the anchor placement button 1002, the user can transition to a screen for placing anchors, which will be described with reference to FIG.
  • An exit button 1003 is a button for ending the settings shown on the display screen 1000, and a save button 1004 is a button for saving the current settings.
  • a naming button 1005 is a button for naming a playlist. By operating the name button 1005, the user can input a name from a text box or the like.
  • a display screen 2000 is displayed on the display unit 12.
  • the display screen 2000 has a trial placement button 2001 .
  • a display screen 2000 is a photographed image enlarged by moving the photographing range displayed on the display screen 1000 .
  • a trial placement button 2001 is a button for trial placement of an anchor. The user can set an anchor substantially in the center of the display screen 2000 by operating the trial placement button 2001 . Note that trial placement means placement of the anchor before the placement position is fixed, and the user can experience the anchor placed by himself and the sound source set to the anchor on a trial basis.
  • FIG. 4 is a diagram showing a third display example of the display device used in the information processing terminal according to the embodiment.
  • FIG. 4 a display screen 1000 is displayed on the display unit 12.
  • FIG. The display screen 3000 has an anchor position correction button 3001 , an anchor position decision button 3002 and an anchor 3003 .
  • An anchor position correction button 3001 is a button for correcting the position of the anchor 3003 placed by the trial placement button 2001 .
  • the anchor position correction button 3001 By operating the anchor position correction button 3001, the user can correct the position of the installed anchor 3003 to the far side or the near side.
  • the size of the anchor 3003 is displayed in a smaller size
  • the position of the anchor 3003 is corrected to the front side
  • the size of the anchor 3003 is displayed in a larger size.
  • the display size of the anchor 3003 may be changed by a setting operation (not shown).
  • An anchor position determination button 3002 is a button for determining the installation position of the anchor 3003 . By operating the anchor position determination button 3002, the user can transition to a screen for ending the installation of the anchor, which will be described with reference to FIG.
  • a display screen 1000 is displayed on the display unit 12.
  • a display screen 4000 has an end button 4001 and an anchor 4002 . The user ends anchor installation by operating the end button 4001 .
  • FIG. 6 is a diagram illustrating an example of sound reflection in space in the embodiment.
  • Anchor position O is the position in space of the anchor placed in the procedure described above.
  • Acquisition unit 21 of information processing terminal 20 scans the space and acquires the distance to an object existing in the space.
  • the user position S is the position where the user hears the sound source, and is inside the geofence at the anchor position O.
  • the sound emitted from the sound source at the anchor position O is divided into direct sound that reaches the user position S directly and reflected sound (reverberant sound) that reaches the user position S after reflecting off the walls of the room R.
  • FIG. 6 illustrates the reverberant sound that is reflected once at the reflection point F and reaches the user position S, but there are a plurality of arrival paths of the reverberant sound depending on the diffusion direction of the sound from the sound source.
  • the direct sound reaches the user position S at a distance of L1.
  • the reverberant sound reaches the user position S at a distance of L2+L3. Therefore, the time difference to reach the user position S changes according to the distance to reach. Further, the reverberant sound reaching the user position S changes according to the acoustic characteristics inside the room R.
  • the reverberation characteristics in the room R can be measured by reproducing a pulse sound source at the anchor position O and measuring changes in sound (such as sound pressure) at the user position S using an acoustic analyzer or the like.
  • a dummy head in which microphones are arranged at the positions of the ears of a humanoid dummy can be used.
  • the dummy head for example, the acoustic characteristics perceived by humans in the measurement space can be measured.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of the information processing terminal 10 according to the embodiment. Note that the hardware configurations of the information processing terminal 20 and the information processing device 30 are assumed to conform to that of the information processing terminal 10, and description thereof will be omitted.
  • the information processing terminal 10 has a CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, an I/O device 104, and a communication I/F (Interface) 105.
  • the information processing terminal 10 is a device that executes the information processing program described with reference to FIG.
  • the CPU 101 controls the user terminal by executing an information processing program stored in the RAM 102 or ROM 103.
  • the information processing program is acquired, for example, from a recording medium recording the program or from a program distribution server via a network, installed in ROM 103, read out by CPU 101, and executed.
  • the I/O device 104 has an operation input function and a display function (operation display function).
  • the I/O device 104 is, for example, a touch panel.
  • the touch panel enables the user of the information processing terminal 10 to perform operation input using a fingertip, a touch pen, or the like.
  • the I/O device 104 in this embodiment uses a touch panel having an operation display function. may have.
  • the display screen of the touch panel can be implemented as the display screen of the display device, and the operation of the touch panel can be implemented as the operation of the operation input device.
  • the I/O device 104 may be implemented in various forms such as a head-mounted type, glasses type, wristwatch type display, and the like.
  • the communication I/F 105 is an I/F for communication.
  • the communication I/F 105 executes short-range wireless communication such as wireless LAN, wired LAN, and infrared.
  • short-range wireless communication such as wireless LAN, wired LAN, and infrared.
  • the information processing terminal 10 may have respective communication I/Fs in a plurality of communication methods.
  • FIG. 9 the operation of the information processing system 1 will be described with reference to FIGS. 9 and 10.
  • FIG. 9 is a flow chart showing a first example of the operation of the information processing system according to the embodiment.
  • the flowchart shown in the first example explains the operations related to placement of anchors and sound sources.
  • the information processing system 1 provides a UI for sound source settings from the display screen of the information processing terminal 10 (step S11). After executing the process of step S11, the information processing system 1 acquires scan data from a sensor that scans the space (step S12).
  • step S13 the information processing system 1 determines whether to place an anchor (step S13). Whether or not to place an anchor can be determined by, for example, whether or not the user has completed the anchor installation operation. If it is determined not to place the anchor (step S13: NO), the information processing system 1 repeats the processes of steps S12 and S13 and waits for the placement of the anchor.
  • step S14 determines whether to correct the position of the anchor.
  • step S15 the information processing system 1 corrects the position of the anchor.
  • step S16 After executing the process of step S15, or when it is determined not to correct the position of the anchor (step S14: NO), the information processing system 1 determines whether or not a content list has been selected (step S16). Selecting a content list also includes saving the selected content list. If there is no content list for the desired content, the information processing system 1 may provide a UI for acquiring new content and creating a content list. When determining that no content list has been selected (step S16: NO), the information processing system 1 repeats the process of step S16 and waits for a content list to be selected.
  • step S16 when determining that the content list has been selected (step S16: YES), the information processing system 1 provides a UI for inputting execution conditions for executing the content from the display screen of the information processing terminal 10 (step S17).
  • step S18 the information processing system 1 determines whether or not the input of the reproduction condition has been completed.
  • step S18: NO the information processing system 1 repeats the process of step S18 and waits for the input to be completed.
  • step S18 if it is determined that the input of the reproduction condition has been completed (step S18: YES), the information processing system 1 transmits the anchor information input in steps S13 to S15 from the information processing terminal 10 to the information processing device 30. provided (step S19).
  • the information processing system 1 After executing the process of step S19, the information processing system 1 provides the information processing terminal 10 to the information processing device 30 with information related to the sound source input in steps S16 to S18 (step S20).
  • step S20 the information processing system 1 causes the information processing device 30 to store the anchor information provided in step S19 (step S21).
  • the information processing system 1 stores the sound source information provided in step S20 in the information processing device 30 (step S22), and ends the process shown in the flowchart.
  • FIG. 10 is a flow chart showing a second example of the operation of the information processing system 1 according to the embodiment.
  • the flowchart shown in the second example explains the operation related to the reproduction of the sound source as content provision.
  • the information processing system 1 provides a UI for reproducing the sound source from the display screen of the information processing terminal 20 (step S31).
  • a UI for reproducing a sound source is, for example, an AR (Augmented Reality) application program for enjoying reproduction of a sound source arranged in space.
  • the information processing system 1 After executing the process of step S32, the information processing system 1 acquires scan data from the sensor that scans the space (step S32).
  • step S33 the information processing system 1 determines whether or not an anchor is detected. If it is determined that no anchor has been detected (step S33: NO), the information processing system 1 repeats the processes of steps S32 and S33 and waits for an anchor to be detected.
  • step S33 when determining that an anchor has been detected (step S33: YES), the information processing system 1 displays the detected anchor on the display screen of the information processing terminal 20 (step S34).
  • the information processing system 1 determines whether or not the reproduction condition is satisfied (step S35). Whether or not the reproduction condition is satisfied can be determined by, for example, whether or not the information processing terminal 20 has acquired the reproduction condition information from the information processing device 30 .
  • the playback condition can include whether or not the information processing terminal 20 is inside a geofence. The information processing system 1 can determine that the reproduction condition is satisfied when the information processing terminal 20 enters the geofence.
  • step S35 NO
  • the information processing system 1 repeats the processing of steps S32 to S35 and waits until the reproduction condition is satisfied.
  • step S35 YES
  • the information processing system 1 starts reproducing the sound source (step S36).
  • the sound source reproduction is, for example, impulse sound source reproduction.
  • step S37 the information processing system 1 calculates reverberation characteristics.
  • Reverberation characteristics can be calculated based on, for example, measurement of impulse responses in the space of the object, as described above.
  • step S38 the information processing system 1 adjusts the sound source and saves the content of the adjustment.
  • step S39 the information processing system 1 determines whether or not to end the reproduction. Whether or not to end the reproduction is, for example, when the terminal state no longer satisfies the reproduction condition, when the reproduction of the sound source prepared in advance is finished, or when the user explicitly stops the reproduction. If it is determined not to end the reproduction (step S39: NO), the information processing system 1 repeats the processes of steps S37 to S39 and waits for the reproduction to end. On the other hand, if it is determined to end the reproduction (step S39: YES), the information processing system 1 ends the operation shown in the flowchart.
  • a program for realizing the functions constituting the apparatus described in this embodiment may be recorded in a computer-readable recording medium, and the program recorded in the recording medium may be read into a computer system and executed. , the above-described various processes of the present embodiment may be performed.
  • the “computer system” referred to here may include hardware such as an OS and peripheral devices.
  • the "computer system” also includes the home page providing environment (or display environment) if the WWW system is used.
  • “computer-readable recording medium” means writable non-volatile memory such as flexible disk, magneto-optical disk, ROM, flash memory, etc., portable medium such as CD-ROM, hard disk built in computer system, etc. storage device.
  • “computer-readable recording medium” means a volatile memory (e.g., DRAM (Dynamic Random Access Memory)), which holds programs for a certain period of time.
  • the above program may be transmitted from a computer system storing this program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium.
  • the "transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing part of the functions described above.
  • a so-called difference file (difference program) which realizes the functions described above in combination with a program already recorded in the computer system, may be used.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

測位衛星による測位が困難な状況においても空間に配置されたコンテンツを実行できるとともに、空間に応じた音源の提供コストの低減を図る。 利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得し、取得された距離に基づき対象物の空間における座標情報を算出し、算出された座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、アンカーを検出し、空間における残響特性を算出し、算出部された残響特性に基づき、音源を調整し、アンカーが検出されたときに、調整された音源に係るコンテンツの利用者に対する提供を制御する。

Description

情報処理システム、情報処理方法および情報処理プログラム
　本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。
　従来、地理的な座標位置から所定の距離内にある範囲をジオフェンスとして設定し、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等の測位衛星によって位置情報を取得できるモバイル端末が設定されたジオフェンス内に入った場合にモバイル端末にコンテンツの提供等のイベントを開始する技術がある。例えば、特許文献１には、モバイルクライアント装置がＧＰＳ受信機を有し、ジオフェンスにより定義される地理的ポジションの閾値距離内にモバイルクライアント装置が入った場合に広告等の印刷データを提供する技術が開示されている。
　また、カメラ等により撮影された映像に画像を重畳させるＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）において空間に配置されたイベントを実行する技術があった。例えば、特許文献２には、カメラで撮影された撮影画像に予め登録されたオブジェクトを配置して再生する装置に関する技術が開示されている。
特開２０１７－２０８０７７号公報 特開２０１９－１８６９２１号公報
　しかし、特許文献１の技術においては、測位衛星からの電波の受信状態によって測位の精度が変化して、例えば、上空の見晴らしの悪い場所や屋内においては測位衛星による測位精度が低下し、あるいは測位不能となる場合があった。このため、測位衛星による測位結果に応じてイベントが実行されるシステムにおいては、端末がジオフェンスに入ったか否かの検出精度が低下して、イベント開始のタイミングがずれる等、イベント開始の精度が低下する場合があった。
　また、特許文献２においては、利用者の位置を精度良く検出するためには、複数のセンサを設置する必要があり、空間に仮想的に配置されたイベントが開始される開始条件の精度を向上させるためにはシステムを構築するコストが上昇してしまう場合があった。
　また、イベントとして実行される音源の再生においては、音源が再生される空間の形状等によって残響特性が異なるため、コンテンツを提供する提供者は、個別の空間の残響特性に応じてそれぞれの音源の調整をする必要があり、コンテンツを提供するためのコストが上昇してしまう場合があった。
　本発明は上記事情に鑑みてなされたものであり、測位衛星による測位が困難な状況においても空間に配置されたコンテンツを実行できるとともに、空間に応じた音源の提供コストの低減を図ることができる、情報処理システム、情報処理方法および情報処理プログラムを提供することを一つの目的とする。
　上記の課題を解決するため、情報処理システムは、利用者に対してコンテンツを提供するための情報処理システムであって、利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得部と、取得部において取得された距離に基づき対象物の空間における座標情報を算出する座標情報算出部と、座標情報算出部において算出された座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、アンカーを検出するアンカー検出部と、空間における残響特性を算出する残響特性算出部と、残響特性算出部において算出部された残響特性に基づき、音源を調整する音源調整部と、アンカー検出部においてアンカーが検出されたときに、音源調整部において調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御部とを備える。
　本発明の一つの実施形態によれば、利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得し、取得された距離に基づき対象物の空間における座標情報を算出し、算出された座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、アンカーを検出し、算出された座標情報に基づき、空間における残響特性を算出し、算出部された残響特性に基づき、音源を調整し、アンカーが検出されたときに、調整された音源に係るコンテンツの利用者に対する提供を制御することにより、測位衛星による測位が困難な状況においても空間に配置されたコンテンツを実行できるとともに、空間に応じた音源の提供コストの低減を図ることができる。
実施形態における情報処理システムのシステム構成の一例を示すブロック図である。 実施形態におけるアンカーの設置方法を説明する図である。 実施形態におけるアンカーの設置方法を説明する図である。 実施形態におけるアンカーの設置方法を説明する図である。 実施形態におけるアンカーの設置方法を説明する図である。 実施形態における空間における音の反射の一例を説明する図である。 実施形態における、（Ａ）インパルス音源、（Ｂ）インパルス音源による音の減衰、および（Ｃ）インパルス応答の一例を説明する図である。 実施形態における情報処理端末のハードウェア構成の一例を示すブロック図である。 実施形態における情報処理システムの動作の第１の例を示すフローチャートである。 実施形態における情報処理システムの動作の第２の例を示すフローチャートである。 実施形態における測定空間の点群データの一例を示す図である。 実施形態における点群データのｘ座標軸のヒスとグラムの一例を示す図である。 実施形態におけるヒストグラムの正の値に対して曲線当てはめを行った場合の算出例を示す図である。 実施形態における測定空間に対して利用者の位置とアンカーの位置をプロットした一例を示す図である。
　以下、図面を参照して本発明の一実施形態における情報処理システム、情報処理方法および情報処理プログラムについて詳細に説明する。
　先ず、図１を用いて、情報処理システムの構成を説明する。図１は、実施形態における情報処理システムのシステム構成の一例を示すブロック図である。
　図１において、情報処理システム１は、情報処理端末１０、情報処理端末２０、情報処理装置３０およびコンテンツ実行装置４０を有する。
　情報処理端末１０は、空間に仮想的に配置されて実行されるコンテンツ（イベントという場合がある。）を設定するための端末である。情報処理端末２０は、利用者に保持されて、空間に仮想的に配置されたコンテンツの提供を利用者が受けるための端末である。情報処理装置３０は、情報処理端末１０において配置されたコンテンツの設定を記憶し、記憶したコンテンツの設定に基づき、情報処理端末２０を保持する利用者に対してコンテンツを提供させるための装置である。また、コンテンツ実行装置４０は、利用者に対してコンテンツを提供する装置である。
　本実勢形態におけるコンテンツとは、情報処理端末２０の移動によって実行される、情報処理システム１において装置を動作させる情報である。情報処理システム１における装置とは、例えば、情報処理端末２０（または情報処理端末１０）、または、コンテンツ実行装置４０等である。
　情報処理システム１における装置の動作とは、例えば、コンテンツの再生、データ通信、またはアクチュエータの動作等である。コンテンツの再生とは、例えば、音源の再生、画像（動画または静止画）の表示、または３Ｄオブジェクトの表示等である。データ通信とは、例えば、情報処理端末２０と情報処理装置３０との通信、または情報処理装置３０とコンテンツ実行装置４０との通信である。データ通信においては、例えば、情報処理端末２０の端末情報（例えば、機器ＩＤ、位置情報、加速度センサ計測値またはカメラ撮影画像等）を情報処理装置３０に提供する。また、データ通信において、例えば、情報処理端末２０からのデータ通信によってコンテンツ実行装置４０（例えば、音響機器または映像機器等）を制御してもよい。また、アクチュエータの動作とは、モータまたはエアシリンダ、エアバルブ等のアクチュエータの動作であり、例えば、モータ等によって駆動される動物形状のオブジェクトもしくはドア等を動かしたり、空気によって膨らむバルーンを膨らませたりする動作である。情報処理システム１においては、これらの装置が動作することにより利用者にコンテンツが提供される。
　なお、以下の実施例においては、コンテンツの実行として、情報処理端末２０およびコンテンツ実行装置４０における音源の再生を例示する。しかし、情報処理システム１におけるコンテンツの実行はこれに限定されるものではない。
　情報処理端末１０および情報処理端末２０は、利用者によって保持されて可搬（携帯）される装置であって、例えば、スマートフォン、タブレットＰＣまたはヘッドマウント型、メガネ型もしくは腕時計型のウエアラブル装置等である。また、情報処理装置３０は、ネットワーク９を介して情報処理端末１０および情報処理端末２０と通信可能に接続される装置であって、例えば、サーバ装置である。なお、本実施形態における利用者とは、情報処理端末１０、情報処理端末２０または情報処理装置３０の利用者であって、それぞれ別の利用者であっても、あるいは同一の利用者であってもよい。また、利用者は専用のオペレータであっても、あるいは専用のオペレータ以外の一般の利用者であってもよい。
　情報処理端末１０は、取得部１１、表示部１２、アンカー配置部１３、アンカー情報提供部１４、コンテンツ設定部１５およびコンテンツ情報提供部１６を有する。情報処理端末２０は、取得部２１、座標情報算出部２２、座標情報提供部２３およびコンテンツ実行部２４を有する。また、情報処理装置３０は、アンカー情報記憶部３１、アンカー検出部３２、音響特性記憶部３３、残響特性算出部３４、音源調整部３５およびコンテンツ制御部３６を有する。また、コンテンツ実行装置４０は、コンテンツ実行部４１を有する。本実施形態における情報処理システム１の上記各機能部は、本実施形態における情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。
　取得部１１および取得部２１は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する。空間をスキャンするセンサとは、空間に存在する物体の形状をスキャンするセンサであり、例えば、空間に存在する物体までの距離を測距する測距センサである。測距センサとしては、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）技術を用いたセンサを用いることができる。ＬｉＤＡＲにおいては、例えば、レーザー光が用いられる。ＬｉＤＡＲは、紫外線、赤外線、または近赤外線を用いるものであってもよい。ＬｉＤＡＲは、センサから物体までの距離を計測（測距）することによって空間に存在する物体の形状を３次元で計測することができる。物体の形状を３次元で計測するとは、空間に存在する物体の形状を空間における座標情報として表現することである。空間における座標情報とは、空間における基準となる点（座標）からの相対的な２次元または３次元の座標値である。例えば、空間に存在する物体の表面形状は、座標値の集合（点群データ）として表現することができる。座標値の集合は、例えば、線、面または立体として表現されてもよい。座標情報は空間の表面形状を示す情報であり、空間情報という場合がある。
　なお、空間をスキャンしたスキャンデータは、例えば、情報処理端末１０または情報処理端末２０が有する図示しないステレオカメラで撮影された撮影画像等であってもよい。また、空間をスキャンしたスキャンデータは、情報処理端末１０または情報処理端末２０が有する図示しない位置センサまたは加速度センサによって取得される情報を含んでいてもよい。
　表示部１２は、カメラにおいて撮影された撮影画像を表示器（例えば、液晶等のディスプレイ）に表示させる。表示部１２は、例えば、スマートフォンのカメラにおいて撮影された撮影画像をスマートフォンのディスプレイに表示させることにより、利用者が撮影結果を確認出来るようにする。また、表示部１２は、取得部１１において取得されたスキャンデータに基づき算出された座標情報に基づく物体の形状を表示するようにしてもよい。
　アンカー配置部１３は、取得部１１において取得されたスキャンデータに基づき、表示部１２において表示された撮影画像に仮想的なアンカーを配置する操作（ＵＩ：Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を利用者に提供する。仮想的なアンカーとは、空間に仮想的に設置（配置）されたマーク（目印）であり、空間内の特定の位置を表す位置情報（座標値）を有する。本実施形態におけるアンカーは、例えば、音源等のコンテンツを配置する位置を示すマーク等である。マークの形状は、例えば、球体、立方体、またはアイコン画像等であり、表示部１２において表示されて、利用者が目視できるものであればよい。利用者は、アンカー配置部１３から提供されたＵＩを操作してアンカーを配置することができる。なお、本実施形態においては、情報処理端末１０のアンカー配置部１３がアンカーを配置するためのＵＩを提供する場合を例示したが、アンカーを配置するためのＵＩは、情報処理端末２０において提供するようにしてもよい。すなわち、情報処理端末２０の利用者がアンカーを配置できるようにしてもよい。
　空間に存在する物体は、カメラにおいて撮影されるとともに取得部１１において取得されたスキャンデータに基づきその形状が取得される。したがって、表示部１２に表示された撮影画像に含まれる物体は、その形状を示す座標情報が特定されている。アンカー配置部１３は、撮影画像を表示部１２に表示して、利用者が撮影画像にアンカーを配置できるＵＩを提供することにより、利用者が空間の座標値を意識することなく、アンカーが設置された座標値を取得することができる。利用者は、表示部１２に表示された撮影画像を確認しながら、アンカーを配置する位置を設定することが可能となる。
　アンカー配置部１３は、表示部１２において表示された撮影画像を用いてアンカーを配置する位置を修正する操作を利用者にさらに提供する。アンカーの配置位置は表示部１２に表示される２次元の撮影画像を確認しながら決定されるため、表示画面の奥行き方向においては、配置位置が不明瞭となる場合がある。例えば、アンカー配置部１３は、一度配置されたアンカーの位置を、奥行き方向に予め定められた距離（例えば、１ｍまたは５０ｃｍ等）移動させることにより、アンカーを配置する位置を修正することが可能となる。アンカーを配置する位置を修正することにより、再度アンカーを配置し直す場合に比べてアンカー配置の効率化を図ることが可能となる。
　アンカー情報提供部１４は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を情報処理装置３０に提供する。アンカーに係るアンカー情報には、例えば、空間における座標情報が含まれる。空間における座標情報とは、空間をスキャンしたスキャンデータに基づく座標情報であり、例えば、空間に存在する特徴量の大きい物体からの相対的な位置を示す座標情報である。空間の特徴量とは、例えば、空間に存在する色データの分布（ヒストグラム）、物体の形状または色データのベクトルデータである。空間を認識する場合において、特徴量が近似している場所は、同一の場所であると認識することができる。特徴量が大きい物体の位置は周辺との特徴量の差異が大きくなるため、座標情報における物体の位置の誤差を小さくすることができる。一方、特徴量の少ない物体の位置は周辺との特徴量の差異が小さくなるため、座標情報における物体の位置の誤差が大きくなる。空間に存在する特徴量の大きい物体からの相対的な位置を座標情報とすることにより、例えば、特徴量の小さい物体の位置にアンカーを配置する場合においても座標情報における物体の位置の誤差を小さくすることが可能となる。なお、上述した座標情報は、空間をスキャンしたスキャンデータに基づく座標情報であるため、空間に存在する物体からの相対的な位置情報となる。しかし、座標情報には、例えば、電波を発する基準点（ビーコン）からの相対距離から算出される座標情報、測位衛星から取得される電波から算出される経度、緯度および高度からなる絶対的な座標情報等が含まれていてもよい。例えば、２つの算出方法に基づく座標情報を用いることにより、座標情報を二重にチェックすることができるので座標情報の信頼性を向上させることができる。
　なお、本実施形態において、「提供」という場合、プッシュ型の送信であってもプル型の送信であってもよい。また、本実施形態において、「取得」という場合、プル型の受信であってもプッシュ型の受信であってもよい。
　コンテンツ設定部１５は、情報処理装置３０に提供されたアンカー情報に対してコンテンツを配置するコンテンツ配置操作の操作画面（ＵＩ）を利用者に提供する。また、コンテンツ設定部１５は、コンテンツ配置操作において配置されるコンテンツが開始されるための開始条件を設定する開始条件設定操作の操作画面（ＵＩ）を利用者に提供する。利用者は、コンテンツ設定部１５から提供されたＵＩを操作してコンテンツ配置操作をすることができる。なお、本実施形態においては、情報処理端末１０のコンテンツ設定部１５がコンテンツ配置操作をするためのＵＩを提供する場合を例示したが、コンテンツ配置操作をするためのＵＩは、情報処理端末２０において提供するようにしてもよい。すなわち、情報処理端末２０の利用者がコンテンツを配置できるようにしてもよい。
　コンテンツ配置操作とは、アンカー情報に対して実行されるコンテンツ（イベント）を配置する操作であって、例えば、配置されたアンカーに対して、再生するコンテンツを割り当てる操作である。コンテンツの割り当てには、例えば、予め作成されているまたは新たに作成された音源のプレイリストを選択して割り当てる（対応付ける）操作等が含まれる。プレイリストとは、１または複数の音源ファイルを用いて、再生される音源を決めておくことであり、プレイリスト名を付与しておくことにより再生される音源を識別しやすくすることができる。コンテンツ配置操作を利用者に提供することにより、例えば、アンカーに対するコンテンツの割り当てを変更するだけで実行されるコンテンツの内容を変更することが可能となり、コンテンツ配置の操作性を向上させることが可能となる。なお、配置するコンテンツは、上述の通り、画像の再生等のコンテンツの再生、データ通信、またはアクチュエータの動作等であってもよい。コンテンツ配置操作においては、例えば、動物形状のオブジェクトの近傍に配置されたアンカーに対して、オブジェクトを駆動するアクチュエータを動作させるコンテンツを配置してもよい。
　コンテンツが実行されるための開始条件とは、情報処理端末２０等においてコンテンツの提供が実行されるための条件であり、本実施形態においては、情報処理端末２０が設置されたアンカーのジオフェンスに入ったか否かを判断するための条件である。ジオフェンスは、例えば、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度（アンカーとの相対的な高度差、または海面を基準とする絶対高度等）、アンカーの表示時間、または情報処理端末２０の停止時間等によって設定することができる。また、ジオフェンスには、アンカーと情報処理端末２０の距離が近付いているのか、あるいは遠ざかっているのか等の条件が含まれていてもよい。また、ジオフェンスには、複数の情報処理端末２０においてアンカーが撮影されていることが含まれていてもよい。また、ジオフェンスには、図示しない加速度センサ等から取得される利用者の挙動が含まれていてもよい。
　コンテンツ設定部１５は、コンテンツとしての音源の配置に際して、音源の調整をするためのＵＩを利用者に提供する。音源の調整とは、音源から再生される音の再生態様を空間に応じて調整（設定）することをいう。音源の再生態様とは、例えば、音量、周波数特性、または残響特性である。
　＜ラウドネス調整＞
　空間において音源から発せられて利用者が聴覚する音の大きさ（ラウドネス）は、音源から利用者までの距離、または空間に存在する対象物による音の反射等に影響を受ける。したがって、音源の再生においては適切な音の大きさとなるように音源を調整する必要がある。コンテンツ設定部１５は、適切な音の大きさを設定するためのＵＩを提供する。
　＜周波数特性調整＞
　空間において音源から発せられて利用者が聴覚する音の周波数特性は、空間に存在する対象物による音の反射等によって変化する。したがって、より良い表現のためには適切な周波数特性となるように音源を調整することが望ましい。周波数特性調整とは、音源から発せられる音の周波数分布を調整することである。周波数特定調整には、例えば、特定の周波数を境より高い（または低い）音域をまとめて調整するシェルビング型の調整、または特定の周波数を中心としてその付近の音域を調整するピークディップ型の調整が含まれる。コンテンツ設定部１５は、適切な周波数特性を設定するためのＵＩを提供する。
　＜残響特性調整＞
　空間において音源から発せられて利用者が聴覚する音の残響特性は、空間に存在する対象物による音の反射等によって異なる。したがって、音源の再生においては適切な残響特性となるように音源を調整する必要がある。コンテンツ設定部１５は、適切な残響特性を設定するためのＵＩを提供する。なお、残響特性の具体的な調整方法は後述する。
　なお、コンテンツ設定部１５は、上記以外の音源の再生態様を設定出来るようにしてもよい。例えば、コンテンツ設定部１５は、音源の再生時間、再生速度等を設定出来るようにしてもよい。また、コンテンツがアクチュエータの動作である場合、コンテンツ設定部１５は、アクチュエータの動作範囲または動作速度等を設定出来るようにしてもよい。
　また、コンテンツの実行態様には、上述した、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度、アンカーの表示時間、または情報処理端末２０の停止時間等によってコンテンツの実行態様が変化するものが含まれていてもよい。再生条件を設定することにより、音源を用いて様々な演出をすることが可能となる。
　コンテンツ情報提供部１６は、コンテンツ設定部１５においてコンテンツの配置操作がされたコンテンツの配置情報と、開始条件設定操作において設定された開始条件とを情報処理装置３０に提供する。配置情報と開始条件を情報処理装置３０に提供することにより、情報処理装置３０においてこれらの情報を記憶しておくことが可能となる。情報処理装置３０においてこれらの情報を記憶しておくことにより、記憶された情報を読み出して利用することが可能となる。なお、アンカーの配置またはコンテンツの設定は複数の情報処理端末１０において実行されてもよい。複数の情報処理端末１０においてアンカーの配置等が実行された場合、一の情報処理端末１０におけるアンカーの配置等の実行結果は情報処理装置３０に保存されて他の情報処理端末１０にも反映される。
　座標情報算出部２２は、取得部２１において取得された対象物までの距離に基づき対象物の空間における座標情報を算出する。取得部２１は、上述のように空間をスキャンして空間に存在する対象物までの距離を取得する。座標情報算出部２２は、対象物の表面までの複数の距離から対象物の表面の座標情報を算出することにより、対象物の形状を測定することができる。
　ここで、座標情報算出部２２における座標情報の具体的な算出例を図１１～図１４を用いて説明する。図１１は、取得部１１または取得部２１において取得された測定空間における点群データを示している。図１１は、測定空間が箱形（立方体）である場合を例示している。箱形の測定空間は６つの面において構成される。測定空間における面は、点群データの三次元におけるそれぞれの座標軸において密集点を計算することにより算出することができる。それぞれの座標軸における密集点は、点群データのそれぞれの座標軸における分布を得ることにより算出することができる。
　＜ヒストグラムの算出＞
　図１２は、図１１における点群データのｘ座標軸におけるヒスとグラムを示している。ヒストグラムは点群データのｘ軸における分布である。図１２において、ｘ軸座標の点群データは、大凡－４．５と３．３においてピークを有している。すなわち、測定空間においてｘ軸に２つの面が存在していることを示している。
　＜曲線当てはめの算出＞
　図１３は、図１２のヒストグラムの正の値に対して曲線当てはめを行った場合の算出例である。ヒストグラムに対して曲線当てはめを行うことにより、そのピークをその座標軸における壁として算出することができる。図１３は、大凡３．３においてピークを有しており、この点がｘ座標軸における１つの面（壁）であることが算出される。図１３においては、曲線当てはめとして平滑化スプラインの手法を用いている。平滑化スプラインとは、ノイズを含んで観測した観測値から、２階微分に基づく平滑度とのバランスを取りながらスプライン曲線を使用して関数を推定する手法である。図１３は、３次元スプライン曲線を用いて算出している。なお、図１３は、曲線当てはめとして平滑化スプラインの手法を用いたが、例えば、曲線当てはめとしてガウス関数を使用した手法を用いてもよい。
　座標情報算出部２２は、上述した方法により、それぞれの座標軸において２つの面を算出して、６面における箱形の座標情報を算出することができる。座標情報には、座標情報算出部２２において算出された測定空間における座標情報に対する、コンテンツの提供を受ける利用者の位置と、後述するアンカー検出部３２において検出されたアンカーの位置情報とが含まれていてもよい。図１４は、測定空間に対して利用者の位置（Ｌｉｓｔｅｎｅｒ）とアンカーの位置（Ｓｏｕｎｄ）をプロットしたものを例示している。
　なお、図１１～図１４においては６面で構成される測定空間における座標情報を算出する場合を説明したが、測定空間はいり複雑な形状であってもよい。例えば、測定空間は、部屋の中に柱や梁を有する形状であってもよい。また、測定空間はドーム型天井等、曲面を有するものであってもよい。
　座標情報提供部２３は、座標情報算出部２２において算出された座標情報を情報処理装置３０に対して提供する。後述する情報処理装置３０は、座標情報提供部２３から提供された対象物の座標情報からアンカーを検出することができる。
　コンテンツ実行部２４は、ジオフェンスの中に、取得部２１を含む情報処理端末２０が入ったときに、利用者に対するコンテンツの提供を実行する。コンテンツ実行部２４は、例えば、情報処理端末２０の図示しないスピーカにおいて音源を再生する。
　なお、本実施形態では、音源の提供において、ＯＳＣ（Ｏｐｅｎ　Ｓｏｕｎｄ　Ｃｏｎｔｒｏｌ）のプロトコルを用いるようにしてもよい。コンテンツ実行部２４においてＯＳＣのプロトコルを用いることにより、音源の提供をリアルタイムで実行することが可能となる。例えば、音源がライブ音源である場合、ＯＳＣのプロトコルを用いることにより、複数の情報処理端末２０においてライブ音源をリアルタイムで共有することが可能となる。また、本実施形態では、音源の提供において、立体音響を実現するための音源フォーマット（例えば、Ａｍｂｉｓｏｎｉｃｓ）を用いてもよい。コンテンツ実行部２４において立体音響を実現するための音源フォーマットを用いることにより、容易に立体音響の音源を提供することが可能となる。また、本実施形態では、音源の提供において、ゲーム開発用のプラットフォーム（例えば、Ｗｗｉｓｅ等）を用いてもよい。コンテンツ実行部２４においてゲーム開発用のプラットフォームを用いることにより、ゲームにおけるイベントの提供を容易にすることができる。また、本実施形態では、音源の提供において、頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ　Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いた音源の再生を行ってもよい。頭部伝達関数とは、耳殻、人頭および肩までふくめた周辺物によって生じる音の変化を伝達関数として表現したものである。コンテンツ実行部２４において、頭部伝達関数を用いて音源から両耳までの音の変化の特性を数値化することにより、音源の方向感や音源までの距離感を認識することが可能となる。音源の調整においては、調整結果を上述したＯＳＣ等として表現することができる。
　アンカー情報記憶部３１は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を読み出し可能に記憶する。アンカー情報には、上述の通り、アンカーの位置情報等を含めることができる。また、アンカー情報記憶部３１は、複数のアンカー情報を記憶することができる。アンカー情報記憶部３１に記憶された複数のアンカー情報は、アンカー検出部３２から読み出されて、空間に配置された複数のアンカーの検出に利用される。なお、アンカー情報記憶部３１に記憶されたアンカー情報は、情報処理端末２０に提供されてもよい。本実施形態においては、アンカーの検出はアンカー検出部３２において行う場合を例示するが、アンカーの検出は情報処理端末２０で行うようにしてもよい。
　アンカー検出部３２は、座標情報提供部２３から提供された座標情報と、アンカー情報記憶部３１に記憶されて予め空間に仮想的に配置されたアンカーの位置情報とに基づき、空間に仮想的に配置されたアンカーを検出する。ここで、座標情報および位置情報は、空間において３次元または２次元で表される点の座標である。また、座標情報および位置情報は、上述した空間の特徴量であってもよい。空間の特徴量は、空間に存在する色データの分布（ヒストグラム）、物体の形状または色データのベクトルデータ等である。アンカー検出部３２は、空間のスキャンデータに基づき空間に仮想的に配置されたアンカーを検出することができるため、測位衛星による測位が困難な状況においても空間に配置されたアンカーを検出することができる。これにより、空間に配置されたコンテンツの提供条件の精度を向上させるとともに、３次元で設定されるジオフェンスを用いたコンテンツの提供が可能となる。
　＜座標距離によるアンカーの検出＞
　例えば、アンカー検出部３２は、アンカー情報記憶部３１に記憶されたアンカーの位置情報と座標情報提供部２３から提供された座標情報とを比較して、座標情報に含まれる１点と位置情報とが予め定められた距離以内であるか否かでアンカーを検出するようにしてもよい。
　＜特徴量によるアンカーの検出＞
　また、アンカー検出部３２は、座標情報提供部２３から提供された座標情報から特徴量を算出し、アンカー情報記憶部３１に記憶されたアンカー配置時における特徴量と近似するか否かでアンカーを検出するようにしてもよい。
　アンカー検出部３２は、アンカー情報記憶部３１に記憶された複数のアンカー情報を逐次参照してアンカーを検出するようにしてもよい。アンカー検出部３２が複数のアンカー情報を参照することにより、配置するアンカーの追加または削除を容易にすることができる。
　また、アンカー検出部３２は、予め想定されるアンカーの検出順序に基づいてアンカーを検出するようにしてもよい。例えば、アンカーＡの次にアンカーＢの検出が予想される場合、アンカー検出部３２は、アンカーＡを検出した後に、アンカーＢの検出を優先的に行うことにより、アンカー検出の負荷を軽減し、検出時間の短縮を図ることができる。
　また、アンカー検出部３２は、１人の利用者において既に検出されたアンカーであって、当該アンカーに対応したコンテンツが既に提供されている場合、既に検出されたアンカーを検出対象から外すようにしてもよい。既に検出されたアンカーを検出対象から外すことにより、アンカーに対応付けられたコンテンツの重複提供の防止することが可能となる。
　また、アンカー検出部３２は、１つのアンカーが１人の利用者または異なる利用者によって複数回検出された場合、検出回数を計数するようにしてもよい。検出回数を計数することにより、検出回数に応じて提供されるコンテンツを替えることが可能となる。なお、コンテンツの提供は、後述するコンテンツ制御部３６において制御することができる。
　また、アンカー検出部３２は、図示しないＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）センサまたは加速度センサから取得された計測値にさらに基づきアンカーを検出するようにしてもよい。これらのセンサの計測値との組合せでアンカーを検出することにより、アンカーの検出精度を向上させることができる。例えば、屋外においては、ＧＮＳＳセンサにおいて正確な現在位置を測位することが出来る場合がある。また、加速度センサを用いることにより、情報処理端末２０の移動を記録して、移動前との比較によって正確な現在位置を検出することが出来る場合がある。
　音響特性記憶部３３は、空間に存在する対象物の表面に係る音響特性を予め記憶する。対象物の表面に係る音響特性とは、音源から発せられた音が対象物の表面で反射するときの音響特性（反射特性という場合がある）である。音響特性記憶部３３において記憶される音響特性とは、例えば、音の反射率（吸音率または減衰率ともいう場合がある）である。例えば、金属等の硬い材料の表面においては材料の内部に透過する音が小さいため反射率が高く、多孔質等の材料の表面においては内部に透過する音が大きいため反射率が低い。また、音響特性記憶部３３において記憶される音響特性には、対象物の表面形状が含まれていてもよい。凹凸のある表面形状においては反射した音同士が干渉して特定の周波数の反射特性が変化する場合がある。また、音響特性記憶部３３において記憶される音響特性には、周波数毎の音響特性が含まれていてもよい。対象物表面における音の反射率は、音の周波数ごとに異なる。例えば、周波数が高い音は多孔質の材料において反射率が低く、周波数が低い音は反射率が高い。音響特性記憶部３３において、空間に存在する対象物の表面に係る音響特性を予め記憶しておくことにより、音源から発せられた音が対象物の表面において反射して利用者の位置に届くまでの音の変化を算出することが可能となる。
　残響特性算出部３４は、座標情報算出部２２において算出された座標情報に基づき、空間における残響特性を算出する。残響特性とは、音源から発せられて、空間に存在する対象物の表面において反射して時間差をもって利用者に到達する音の特性である。残響特性算出部３４において算出される残響特性を以下に例示する。なお、以下に示す残響特性は、一定の音量から所定時刻に音量が０に変化するインパルス音源に対して利用者の位置において聴覚することができる音の変化（インパルス応答）を例示するが、残響特性算出部３４において算出される残響特性はこれに限定されるものではない。
　＜残響時間＞
　残響時間とは、空間における音の響きの長さを示す特性である。残響時間とは、音源を再生して空間に音を放射させ、音量が定常状態に達した後音源を停止させ（インパルス音源）、観測地点（利用者の位置）において音の強さが６０ｄＢ減衰するまでの時間（インパルス応答）である。残響時間は次式により算出することができる。
Figure JPOXMLDOC01-appb-M000001
 　ただし、ｐ（ｔ）はｔ＝０において停止するインパルス音源によって利用者に到達する時間ｔにおける音圧である（以下同じ）。上記式はインパルス応答をＳｃｈｒｏｅｄｅｒの式で積分することで平均残響減衰波形を得るものであり、その波形の減衰傾斜から残響時間を算出することができる。音圧は例えば音圧形において測定することができる。
　＜初期残響時間＞
　初期残響時間とは、残響減衰の初期の１０ｄＢ部分の減衰傾斜から求めた残響時間である。初期残響時間は、人間が感じる残響感を表す特性である。初期残響時間に用いる減衰波形は残響時間と同様である。
　＜時間重心＞
　次式によって表される特性である。
Figure JPOXMLDOC01-appb-M000002
 　時間重心は、直接残響時間を算出するものであり、人間の感覚に近い特性といわれている。
　＜Ｃｌａｒｉｔｙ＞
　ここで、図７を用いて、Ｃｌａｒｉｔｙの算出方法を説明する。図７は、実施形態における、（Ａ）インパルス音源、（Ｂ）インパルス音源による音の減衰、および（Ｃ）インパルス応答の一例を説明する図である。
　図７（Ａ）において、ｘ軸は時間の経過（ｔ）、およびｙ軸は音源における音圧（ｐ）を表す。インパルス音源は、定常状態の音圧ｐ１から時刻ｔ０において音圧０（再生停止）に変化する。図７（Ｂ）において、ｙ軸は利用者の位置（測定位置）における音圧（Ｅ）を表す。音圧Ｅは時刻ｔ０から測定が開始される。音圧Ｅは時間の経過とともに減衰していく。
　図７（Ｃ）において、ｙ軸は、次式において算出される、音源から直接測定位置に到達する直接音と、対象物において反射してから測定位置に到達する残響音との比（対数）であり、Ｃ８０と呼ばれる特性である。
Figure JPOXMLDOC01-appb-M000003
 　図７（Ｃ）においては、定常状態における比を０ｄＢとしている。Ｃｌａｒｉｔｙは、音楽が明瞭に聞こえるか否かの特性（明瞭度）として用いられている。
　＜直接音全エネルギー比＞
　直接音全エネルギー比は、次式において算出される、直接音と全体（直接音＋残響音）のエネルギー比である。直接音全エネルギー比は、主に人の声における明瞭度として用いられる。
Figure JPOXMLDOC01-appb-M000004
　なお、上述した残響特性は、音源が再生される空間において実測されたものであってもよく、空間における座標情報が類似している他の空間における残響特性を記憶しておき、対象物の空間における形状と音響特性記憶部３３に記憶された音響特性から類推して算出するようにしてもよい。例えば、空間の種類（例えば、コンサートホール、教会、コンクリートに囲まれた部屋、廊下等）における残響特性を予め記憶しておき、座標情報算出部で算出された座標情報に基づき記憶された残響特性を修正することにより、空間における残響特性を算出するようにしてもよい。
　次に、残響特性算出部３４における残響特性算出の一例を説明する。残響特性の算出算出は、例えば、Ａｌｌｅｎ　ａｎｄ　ＢｅｒｋｌｅｙによるＭｉｒｒｏｒ　ｉｍａｇｅ　ｍｅｔｈｏｄ（以下、「ＭＩ法」と省略する場合がある）を用いることができる。ＭＩ法においては、以下のパラメータが用いられる。
　音速［ｍ／ｓ］
　サンプリングレート［Ｈｚ］
　アンカー位置の座標（ｘ，ｙ，ｚ）［ｍ］
　利用者位置の座標（ｘ，ｙ，ｚ）［ｍ］
　部屋の寸法（ｘ，ｙ，ｚ）［ｍ］
　部屋の残響時間［ｍ］、もしくは各壁における反射係数
　ここで、音速は計測した部屋の温度によって算出することができる。
　音速＝３３１．５＋０．６ｔ［ｍ／ｓ］（ｔ：摂氏、１気圧）
　また、サンプリングレートは実際のデバイス内で使用されているサンプリングレートを使用する。
　また、アンカー位置、利用者位置、および部屋の寸法は、上述した方法において算出される。
　部屋の残響時間［ｍ］、もしくは各壁における反射係数は、ある一点のアンカー位置、利用者位置から算出された残響時間から算出することができる。残響時間の算出は、インパルス応答の計測と、計測されたインパルス応答に基づく残響時間の算出によって行うことができる。
　＜インパルス応答の計測＞
　座標情報の算出により形状を推定した部屋内（測定空間）でインパルス応答の計測を行う。　インパルス応答の測定は、上述したインパルス応答を測定するものであり、具体的にはＴＳＰ（Ｔｉｍｅ　Ｓｔｒｅｔｃｈｅｄ　Ｐｕｌｓｅ）信号を使った測定、ピンクノイズを用いた測定、バルーンを用いた測定、または手拍子を用いた測定等で行うことができる。
　＜残響時間の算出＞
　インパルス応答の計測において得られたインパルス応答から、残響時間を算出する。 残響時間の算出には、例えば、ＩＳＯ３３８２－２：２００８において規定された算出方法を用いることができる。
　残響特性算出部３４は、上述の方法によって得られたパラメータに基づきＭＩ法において残響特性を算出する。なお、残響特性算出部３４は、ＭＩ法以外の方法において残響特性を算出するようにしてもよい。例えば、残響特性算出部３４は、取得部２１によって得られるセンサ情報も用いて、各壁の材質をディープラーニングによる画像認識技術を用いて推定し、その材質などの情報を用いて反射係数を計算するようにしてもよい。建築材料はその形状等の外見によって材質等が特定できる場合がある。残響特性算出部３４は、センサ情報と反射係数との対応をディープラーニングにより学習することにより、残響特性を推測することができる。
　音源調整部３５は、残響特性算出部３４において算出部された残響特性に基づき、音源を調整する。音源の調整とは、上述の通り、音量調整、周波数特性調整、または残響特性調整等である。音源調整部３５は、音源を調整することにより、音源が再生される空間の形状等により異なる残響特性等に応じて、提供する音源を容易に調整することが可能となる。なお、音源調整部３５による音源の調整は、実行するか否か（有効化／無効化）の設定をできるようにしてもよい。例えば、音源調整部３５は、有効化の設定がされている場合は、残響特性が算出されたときに自動的に音源を調整し、一方、無効化の設定がされている場合は手動で音源の調整を実行できるようにしてもよい。
　音源を調整することにより、例えば、コンテンツを提供する提供者が意図した残響感または音量において音源を再生することが可能となる。また、音源を調整することにより、例えば、イベントホールにおける音源の再生において、あたかも教会にいると思わせる残響感を利用者に与えることができる。
　コンテンツ制御部３６は、配置情報または開始条件に従い、開始条件が満たされたときにコンテンツの提供を制御する。コンテンツ制御部３６は、予め設定された開始条件に応じて、予め定められたコンテンツの実行態様においてコンテンツの提供を制御するようにしてもよい。例えば、コンテンツ制御部３６は、情報処理端末２０の識別情報（予め登録されている利用者の性別、年齢、使用言語、国籍もしくは宗教等の属性情報、または情報処理端末２０から取得される機器情報等）に応じて音源の再生態様等のコンテンツの実行態様を変更してコンテンツを提供するようにしてもよい。識別情報は、例えば利用者のアカウント情報に紐付けられて取得されてもよい。コンテンツ実行部２４は、識別情報に応じて変更されたコンテンツを実行することにより、多様なコンテンツを実行することが可能となる。
　コンテンツ実行装置４０は、利用者に対してコンテンツを提供する情報処理端末２０とは異なる装置であって、例えば、音源の再生、またはアクチュエータの動作等を行う装置である。コンテンツ実行部４１は、コンテンツ制御部３６からの指示により、コンテンツの実行を制御する。コンテンツ実行部４１は、例えば、コンテンツ実行部２４と連携してコンテンツの提供を制御するものであってもよい。
　なお、情報処理システム１が有する上述した各機能部は、機能の一例を示したものであり、情報処理システム１が有する機能を限定したものではない。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、情報処理システム１は、上記以外の他の機能を有していてもよい。
　例えば、情報処理端末１０が有する機能部は、情報処理装置３０において実現されてもよい。同様に、情報処理端末２０が有する機能部は、情報処理装置３０において実現されてもよい。また、情報処理装置３０が有する機能部は、情報処理端末１０または情報処理端末２０において実現されてもよい。例えば、アンカー検出部３２の機能は、情報処理端末２０において実現されるものであってもよい。
　また、上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし上記機能部の中で少なくとも１つ以上の機能部は、ハードウェアによって実現されるものであってもよい。
　また、上記何れかの機能部は、１つの機能部を複数の機能部に分割して実施してもよい。また、上記何れか２つ以上の機能部を１つの機能部に集約して実施してもよい。図１は、情報処理システム１が有する機能を機能ブロックで表現したものであり、例えば、各機能部がそれぞれ別個のプログラムファイル等で構成されていることを示すものではない。
　また、情報処理端末１０，情報処理端末２０または情報処理装置３０は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、他の仮想的な装置によって実現するものであってもよい。すなわち、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記各機能部のうち、少なくとも１以上の機能部を他の装置において実現するようにしてもよい。
　次に、図２～図５を用いて、アンカーの設置方法を説明する。図２～図５は、実施形態におけるアンカーの設置方法を説明する図である。
　図２において、表示画面１０００は、表示部１２において表示される。表示画面１０００は、アンカー設定画面を示すアイコン１００１、アンカー設置ボタン１００２、退出ボタン１００３、セーブボタン１００４、プレイリストに名前を付ける命名ボタン１００５を有する。
　表示画面１０００は、情報処理端末１０に表示される表示画面であり、情報処理端末１０のカメラで撮影された撮影画像が表示されている。アンカー設置ボタン１００２は、表示画面１０００で表示されている撮影範囲のいずれかにアンカーを設置するためのボタンである。例えば、アンカー設置ボタン１００２を操作することにより、表示画面１０００の中心位置、あるいは表示画面１０００の中で図示しないカーソル位置等にアンカーを設置することができる。利用者は、アンカー設置ボタン１００２を操作することにより、図３で説明するアンカーを配置のための画面に遷移させることができる。
　退出ボタン１００３は、表示画面１０００で示す設定を終了するボタンであり、セーブボタン１００４は、現在の設定を保存するボタンである。また、命名ボタン１００５は、プレイリストに名前を付けるためのボタンである。利用者は、命名ボタン１００５を操作することにより、テキストボックス等から名前を入力することが可能となる。
　図３において、表示画面２０００は、表示部１２において表示される。表示画面２０００は、試し置ボタン２００１を有する。表示画面２０００は、表示画面１０００に表示されている撮影範囲を移動させて、拡大した撮影画像である。試し置ボタン２００１は、アンカーを試し置きするためのボタンである。利用者は、試し置ボタン２００１を操作することにより、表示画面２０００の略中央にアンカーを設置することができる。なお、試し置とは、設置位置を確定する前のアンカーの設置を意味し、利用者は、自身で設置したアンカーとアンカーに設定した音源を試行的に体験することができる。
　図４は、実施形態における情報処理端末において用いられる表示装置の第３の表示例を示す図である。
　図４において、表示画面１０００は、表示部１２において表示される。表示画面３０００は、アンカー位置修正ボタン３００１、アンカー位置決定ボタン３００２およびアンカー３００３を有する。アンカー位置修正ボタン３００１は、試し置ボタン２００１で設置したアンカー３００３の位置を修正するためボタンである。利用者は、アンカー位置修正ボタン３００１を操作することにより、設置されたアンカー３００３の位置を、奥側または手前側に修正することができる。アンカー３００３の位置を奥側に修正した場合、アンカー３００３の大きさが小さくなって表示され、一方、アンカー３００３の位置を手前側に修正した場合、アンカー３００３の大きさが大きくなって表示される。なお、アンカー３００３の表示サイズは図示しない設定操作によって変更できるようにしてもよい。
　アンカー位置決定ボタン３００２は、アンカー３００３の設置位置を決定するためのボタンである。利用者は、アンカー位置決定ボタン３００２を操作することにより、図５で説明するアンカーの設置を終了するための画面に遷移させることができる。
　図５において、表示画面１０００は、表示部１２において表示される。表示画面４０００は、終了ボタン４００１およびアンカー４００２を有する。利用者は、終了ボタン４００１を操作することにより、アンカーの設置を終了する。
　次に、図６を用いて、空間における音の反射を説明する。図６は、実施形態における空間における音の反射の一例を説明する図である。
　図６において、音源は部屋Ｒの内部においてアンカー位置Ｏに配置されているものとする。アンカー位置Ｏは、は上述した手順において設置したアンカーの空間における位置である。情報処理端末２０の取得部２１は、空間をスキャンして空間に存在する対象物までの距離を取得する。利用者位置Ｓは利用者が音源を聴覚する位置であり、アンカー位置Ｏにおけるジオフェンスの内部である。
　アンカー位置Ｏの音源から発せられた音は、利用者位置Ｓに直接到達する直接音と、部屋Ｒの壁面に反射して利用者位置Ｓに到達する反射音（残響音）とに別れる。図６においては反射点Ｆにおいて１回反射して利用者位置Ｓに到達する残響音を例示しているが、残響音の到達経路は音源からの音の拡散方向に応じて複数存在する。
　直接音は、Ｌ１の距離において利用者位置Ｓに到達する。一方、残響音は、Ｌ２＋Ｌ３の距離において利用者位置Ｓに到達する。したがって、利用者位置Ｓに到達するまでの時間差は、到達するまでの距離に応じて変化する。また、利用者位置Ｓに到達する残響音は、部屋Ｒの内側の音響特性に応じて変化する。アンカー位置Ｏにおいてパルス音源を再生させて利用者位置Ｓにおいて音の変化（音圧等）をアコースティックアナライザ等により測定することにより、部屋Ｒにおける残響特性を測定することができる。なお、残響特性の測定においては、人型ダミーの耳の位置にマイクを配置したダミーヘッドを用いることができる。ダミーヘッドを用いることにより、例えば、測定空間において人間が知覚する音響特性を測定することができる。
　次に、図８を用いて、情報処理端末１０のハードウェア構成を説明する。図８は、実施形態における情報処理端末１０のハードウェア構成の一例を示すブロック図である。なお、情報処理端末２０および情報処理装置３０のハードウェア構成は、情報処理端末１０に準ずるものとして、説明を省略する。
　情報処理端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３、Ｉ／Ｏ機器１０４、および通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５を有する。情報処理端末１０は、図１で説明した情報処理プログラムを実行する装置である。
　ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された情報処理プログラムを実行することにより、利用者端末の制御を行う。情報処理プログラムは、例えば、プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。
　Ｉ／Ｏ機器１０４は、操作入力機能と表示機能（操作表示機能）を有する。Ｉ／Ｏ機器１０４は、例えばタッチパネルである。タッチパネルは、情報処理端末１０の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態におけるＩ／Ｏ機器１０４は、操作表示機能を有するタッチパネルを用いる場合を説明するが、Ｉ／Ｏ機器１０４は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネルの表示画面は表示装置の表示画面、タッチパネルの操作は操作入力装置の操作として実施することができる。なお、Ｉ／Ｏ機器１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。
　通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図は通信用のＩ／Ｆとして通信Ｉ／Ｆ１０５のみを図示するが、情報処理端末１０は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。
　次に、図９～図１０を用いて、情報処理システム１の動作を説明する。
　図９は、実施形態における情報処理システムの動作の第１の例を示すフローチャートである。第１の例で示すフローチャートは、アンカーおよび音源の配置に係る動作を説明している。
　図９において、情報処理システム１は、音源設定のためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１１）。ステップＳ１１の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ１２）。
　ステップＳ１２の処理を実行した後、情報処理システム１は、アンカーを配置するか否かを判断する（ステップＳ１３）。アンカーを配置するか否かの判断は、例えば、利用者がアンカー設置の操作を完了したか否かで判断することができる。アンカーを配置しないと判断した場合（ステップＳ１３：ＮＯ）、情報処理システム１は、ステップＳ１２～ステップＳ１３の処理を繰り返して、アンカーが配置されるのを待機する。
　アンカーを配置したと判断した場合（ステップＳ１３：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正するか否かを判断する（ステップＳ１４）。アンカーの位置を修正すると判断した場合（ステップＳ１４：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正する（ステップＳ１５）。
　ステップＳ１５の処理を実行した後、またはアンカーの位置を修正しないと判断した場合（ステップＳ１４：ＮＯ）、情報処理システム１は、コンテンツリストが選択されたか否かを判断する（ステップＳ１６）。コンテンツリストの選択には、選択されたコンテンツリストの保存も含まれる。なお、所望するコンテンツがコンテンツリストが存在しない場合、情報処理システム１は、新たにコンテンツを取得してコンテンツリストを制作するためのＵＩを提供するようにしてもよい。コンテンツリストが選択されていないと判断した場合（ステップＳ１６：ＮＯ）、情報処理システム１は、ステップＳ１６の処理を繰り返してコンテンツリストが選択されるのを待機する。
　一方、コンテンツリストが選択されたと判断した場合（ステップＳ１６：ＹＥＳ）、情報処理システム１は、コンテンツを実行するための実行条件を入力するためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１７）。
　ステップＳ１７の処理を実行した後、情報処理システム１は、再生条件の入力が完了したか否かを判断する（ステップＳ１８）。入力が完了していないと判断した場合（ステップＳ１８：ＮＯ）、情報処理システム１は、ステップＳ１８の処理を繰り返して、入力が完了するのを待機する。
　一方、再生条件の入力が完了したと判断した場合（ステップＳ１８：ＹＥＳ）、情報処理システム１は、ステップＳステップＳ１３～ステップＳ１５において入力されたアンカー情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ１９）。
　ステップＳ１９の処理を実行した後、情報処理システム１は、ステップＳ１６～ステップＳ１８において入力された音源に係る情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ２０）。
　ステップＳ２０の処理が終了したら、情報処理システム１は、ステップＳ１９において提供されたアンカー情報を情報処理装置３０に記憶させる（ステップＳ２１）。ステップＳ２１の処理が終了した後、情報処理システム１は、ステップＳ２０において提供された音源情報を情報処理装置３０に記憶して（ステップＳ２２）、フローチャートで示す処理を終了する。
　図１０は、実施形態における情報処理システム１の動作の第２の例を示すフローチャートである。第２の例で示すフローチャートは、コンテンツの提供として音源の再生に係る動作を説明している。
　図１０において、情報処理システム１は、音源を再生するためのＵＩを、情報処理端末２０の表示画面から提供する（ステップＳ３１）。音源を再生するためのＵＩとは、例えば、空間に配置された音源の再生を楽しむＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）アプリケーションプログラムである。
　ステップＳ３２の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ３２）。
　ステップＳ３２の処理を実行した後、情報処理システム１は、アンカーが検出されたか否かを判断する（ステップＳ３３）。アンカーが検出されていないと判断した場合（ステップＳ３３：ＮＯ）、情報処理システム１は、ステップＳ３２～ステップＳ３３の処理を繰り返して、アンカーが検出されるのを待機する。
　一方、アンカーが検出されたと判断した場合（ステップＳ３３：ＹＥＳ）、情報処理システム１は、検出したアンカーを情報処理端末２０の表示画面に表示させる（ステップＳ３４）。
　ステップＳ３４の処理を実行した後、情報処理システム１は、再生条件が満足されたか否かを判断する（ステップＳ３５）。再生条件が満足されたか否かは、例えば、情報処理端末２０が再生条件情報を情報処理装置３０から取得したか否かで判断することができる。再生条件には、情報処理端末２０がジオフェンスの中にあるか否かを含めることができる。情報処理システム１は、ジオフェンスの中に情報処理端末２０が入ったときに、再生条件が満足されたと判断することができる。
　再生条件が満足されていないと判断した場合（ステップＳ３５：ＮＯ）、情報処理システム１は、ステップＳ３２～ステップＳ３５の処理を繰り返して、再生条件が満足されるのを待機する。
　一方、再生条件が満足されたと判断した場合（ステップＳ３５：ＹＥＳ）、情報処理システム１は、音源の再生を開始する（ステップＳ３６）。音源の再生は、例えば、インパルス音源の再生である。
　ステップＳ３６の処理を実行した後、情報処理システム１は、残響特性を算出する（ステップＳ３７）。残響特性の算出は、上述の通り、対象物の空間におけるインパルス応答の測定等に基づき行うことができる。ステップＳ３６の処理を実行した後、情報処理システム１は、音源を調整して、調整した内容を保存する（ステップＳ３８）。残響特性を算出して音源を調整することにより、空間に応じた音源の調整を容易にして音源の提供コストの低減を図ることができる。
　ステップＳ３８の処理を実行した後、情報処理システム１は、再生を終了するか否かを判断する（ステップＳ３９）。再生を終了するか否かは、例えば、端末状態が再生条件を満足しなくなった場合、予め用意された音源の再生が終了した場合、または利用者による明示的な再生停止操作等である。再生を終了しないと判断した場合（ステップＳ３９：ＮＯ）、情報処理システム１は、ステップＳ３７～ステップＳ３９の処理を繰り返して、再生が終了するのを待機する。一方、再生を終了すると判断した場合（ステップＳ３９：ＹＥＳ）、情報処理システム１は、フローチャートに示した動作を終了する。
　なお、図示したフローチャートは、動作の一例を示したものであり、動作を限定するものではない。
　なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
　１　　　　情報処理システム
　１０　　　情報処理端末
　１１　　　取得部
　１２　　　表示部
　１３　　　アンカー配置部
　１４　　　アンカー情報提供部
　１５　　　コンテンツ設定部
　１６　　　コンテンツ情報提供部
　２０　　　情報処理端末
　２１　　　取得部
　２２　　　座標情報算出部
　２３　　　座標情報提供部
　２４　　　コンテンツ実行部
　３０　　　情報処理装置
　３１　　　アンカー情報記憶部
　３２　　　アンカー検出部
　３３　　　音響特性記憶部
　３４　　　残響特性算出部
　３５　　　音源調整部
　４０　　　コンテンツ実行装置
　４１　　　コンテンツ実行部
　１０１　ＣＰＵ
　１０２　ＲＡＭ
　１０３　ＲＯＭ
　１０４　Ｉ／Ｏ機器
　１０５　通信Ｉ／Ｆ
　１０００　表示画面
　１００１　アイコン
　１００２　アンカー設置ボタン
　１００３　退出ボタン
　１００４　セーブボタン
　１００５　命名ボタン１００５
　２０００　表示画面
　２００１　試し置ボタン
　３０００　表示画面
　３００１　アンカー位置修正ボタン
　３００２　アンカー位置決定ボタン
　３００３　アンカー
　４０００　表示画面
　４００１　終了ボタン

Claims (11)

  1. 　利用者に対して音源に係るコンテンツを提供するための情報処理システムであって、
    　利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得部と、
    　前記取得部において取得された前記距離に基づき前記対象物の空間における座標情報を算出する座標情報算出部と、
    　前記座標情報算出部において算出された前記座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、前記アンカーを検出するアンカー検出部と、
    　空間における残響特性を算出する残響特性算出部と、
    　前記残響特性算出部において算出された残響特性に基づき、音源を調整する音源調整部と、
    　前記アンカー検出部においてアンカーが検出されたときに、前記音源調整部において調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御部と
    　を備える、情報処理システム。
  2. 　残響特性算出部は、インパルス音源において利用者が知覚する音の強さが所定量まで減衰するまでの特性を前記残響特性として算出し、
    　前記音源調整部は、前記残響特性に基づき、音源自体の残響特性を調整する、請求項１に記載の情報処理システム。
  3. 　残響特性算出部は、前記座標情報に基づき算出された利用者の位置に対応して予め記録された前記残響特性を読み出すことにより前記残響特性を算出する、請求項１に記載の情報処理システム。
  4. 　残響特性算出部は、前記座標情報に基づき算出された利用者の位置において予め実測されたインパルス音源に対するインパルス応答の実測値に基づき前記残響特性を算出する、請求項１に記載の情報処理システム。
  5. 　前記対象物の表面に係る音響特性を予め記憶する音響特性記憶部をさらに備え、
    　残響特性算出部は、前記音響特性記憶部に記憶された音響特性にさらに基づき、空間における残響特性を算出する、請求項１に記載の情報処理システム。
  6. 　残響特性算出部は、時間重心を前記残響特性として算出する、請求項１に記載の情報処理システム。
  7. 　残響特性算出部は、音源から直接聞こえる直接音と、音源から対象物での反射により聞こえる残響音とのエネルギー比に基づき前記残響特性を算出する、請求項１に記載の情報処理システム。
  8. 　残響特性算出部は、音源から直接聞こえる直接音と、音源から対象物での反射により聞こえる残響音と前記直接音の総和である全音とのエネルギー比に基づき前記残響特性を算出する、請求項１に記載の情報処理システム。
  9. 　残響特性算出部は、左耳から聞こえる音圧と、右耳から聞こえる音圧との相互相関関数に基づき前記残響特性を算出する、請求項１に記載の情報処理システム。
  10. 　利用者に対して音源に係るコンテンツを提供するための情報処理方法であって、
    　利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得ステップと、
    　前記取得ステップにおいて取得された前記距離に基づき前記対象物の空間における座標情報を算出する座標情報算出ステップと、
    　前記座標情報算出ステップにおいて算出された前記座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、前記アンカーを検出するアンカー検出ステップと、
    　空間における残響特性を算出する残響特性算出ステップと、
    　前記残響特性算出ステップにおいて算出された残響特性に基づき、音源を調整する音源調整ステップと、
    　前記アンカー検出ステップにおいてアンカーが検出されたときに、前記音源調整ステップにおいて調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御ステップと
    　を含む、情報処理方法。
  11. 　コンピュータに、
    　利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得処理と、
    　前記取得処理において取得された前記距離に基づき前記対象物の空間における座標情報を算出する座標情報算出処理と、
    　前記座標情報算出処理において算出された前記座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、前記アンカーを検出するアンカー検出処理と、
    　空間における残響特性を算出する残響特性算出処理と、
    　前記残響特性算出処理において算出された残響特性に基づき、音源を調整する音源調整処理と、
    　前記アンカー検出処理においてアンカーが検出されたときに、前記音源調整処理において調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御処理と
    　を実行させるための情報処理プログラム。
PCT/JP2022/032957 2021-09-03 2022-09-01 情報処理システム、情報処理方法および情報処理プログラム WO2023033109A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-144316 2021-09-03
JP2021144316A JP2023037510A (ja) 2021-09-03 2021-09-03 情報処理システム、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2023033109A1 true WO2023033109A1 (ja) 2023-03-09

Family

ID=85412367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032957 WO2023033109A1 (ja) 2021-09-03 2022-09-01 情報処理システム、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
JP (1) JP2023037510A (ja)
WO (1) WO2023033109A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216414A1 (ja) * 2018-05-11 2019-11-14 国立大学法人東京工業大学 音響プログラム、音響装置、および音響システム
JP2020156108A (ja) * 2014-01-16 2020-09-24 ソニー株式会社 音声処理装置および方法、並びにプログラム
JP2020537849A (ja) * 2017-10-17 2020-12-24 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 複合現実空間オーディオ
JP2021136465A (ja) * 2020-02-21 2021-09-13 日本放送協会 受信装置、コンテンツ伝送システム、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020156108A (ja) * 2014-01-16 2020-09-24 ソニー株式会社 音声処理装置および方法、並びにプログラム
JP2020537849A (ja) * 2017-10-17 2020-12-24 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 複合現実空間オーディオ
WO2019216414A1 (ja) * 2018-05-11 2019-11-14 国立大学法人東京工業大学 音響プログラム、音響装置、および音響システム
JP2021136465A (ja) * 2020-02-21 2021-09-13 日本放送協会 受信装置、コンテンツ伝送システム、及びプログラム

Also Published As

Publication number Publication date
JP2023037510A (ja) 2023-03-15

Similar Documents

Publication Publication Date Title
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US9866986B2 (en) Audio speaker system with virtual music performance
EP3209029A1 (en) Distributed wireless speaker system
JP7482147B2 (ja) 人工現実環境のためのオーディオシステム
US20190306651A1 (en) Audio Content Modification for Playback Audio
US11651762B2 (en) Reverberation gain normalization
US10616684B2 (en) Environmental sensing for a unique portable speaker listening experience
US20220038836A1 (en) Using entertainment system remote commander for audio system calibration
WO2023033109A1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
US8644520B2 (en) Morphing of aural impulse response signatures to obtain intermediate aural impulse response signals
US11265668B1 (en) Virtual audio reproduction for enclosed physical space
WO2022131347A1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
CN110297543B (zh) 一种音频播放方法及终端设备
US12008982B2 (en) Reverberation gain normalization
US11277706B2 (en) Angular sensing for optimizing speaker listening experience
CN113556665B (zh) 用于虚拟现实（vr）、增强现实（ar）和混合现实（mr）系统的分布式音频捕获技术
KR20220122992A (ko) 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864691

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE