WO2022131347A1 - 情報処理システム、情報処理方法および情報処理プログラム - Google Patents

情報処理システム、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2022131347A1
WO2022131347A1 PCT/JP2021/046633 JP2021046633W WO2022131347A1 WO 2022131347 A1 WO2022131347 A1 WO 2022131347A1 JP 2021046633 W JP2021046633 W JP 2021046633W WO 2022131347 A1 WO2022131347 A1 WO 2022131347A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
anchor
information processing
unit
information
Prior art date
Application number
PCT/JP2021/046633
Other languages
English (en)
French (fr)
Inventor
俊一 竹下
Original Assignee
株式会社Gatari
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Gatari filed Critical 株式会社Gatari
Priority to CN202180085733.8A priority Critical patent/CN116635930A/zh
Publication of WO2022131347A1 publication Critical patent/WO2022131347A1/ja
Priority to US18/336,926 priority patent/US20230334799A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to an information processing system, an information processing method and an information processing program.
  • Patent Document 1 describes a technique for providing print data such as an advertisement when a mobile client device has a GPS receiver and the mobile client device enters within a threshold distance of a geographical position defined by a geofence. Is disclosed.
  • Patent Document 2 discloses a technique relating to a device for arranging and reproducing an object registered in advance in a photographed image captured by a camera.
  • Patent Document 2 in order to accurately detect the position of the user, it is necessary to install a plurality of sensors, and the accuracy of the start condition for starting the event virtually arranged in the space is improved. In order to make it happen, the cost of constructing the system may increase.
  • the present invention has been made in view of the above circumstances, and it is possible to execute an event arranged in space even in a situation where positioning by a positioning satellite is difficult, and the construction cost of a system with high accuracy of the start condition for starting the event.
  • One purpose is to provide an information processing system, an information processing method, and an information processing program that can reduce the number of information processing.
  • the information processing system has an acquisition unit that acquires the scan data scanned by the sensor that scans the space, a display unit that displays the captured image captured by the camera on the display unit, and an acquisition unit.
  • the anchor placement part Based on the scan data acquired in, the anchor placement part that provides the user with the operation of placing a virtual anchor on the captured image displayed on the display part, and the anchor information related to the anchor placed in the anchor placement part.
  • Anchor information storage unit to be stored, an event placement operation to place an event in association with the anchor information stored in the anchor information storage part, and a start condition for starting the placed event in the event placement operation are set.
  • An event setting unit that provides the start condition setting operation to the user, an event information storage unit that stores the arrangement information of the events arranged in the event arrangement operation, and the start condition set in the start condition setting operation.
  • An event storage unit that stores an event
  • an event provision unit that provides an event stored in the event storage unit when the start condition stored in the event information storage unit is satisfied.
  • the information processing terminal has an acquisition unit that acquires the scan data scanned by the sensor that scans the space, a display unit that displays the captured image captured by the camera on the display unit, and an acquisition unit. Based on the scan data acquired in, the anchor placement part that provides the user with the operation of placing a virtual anchor on the captured image displayed on the display part, and the anchor information related to the anchor placed in the anchor placement part.
  • Anchor information providing unit provided to the information processing device, an event placement operation to place an event in association with the anchor information provided to the information processing device, and a start to start the placed event in the event placement operation.
  • the information processing device receives the start condition setting operation for setting the condition, the event setting unit that provides the user with the event arrangement information arranged in the event arrangement operation, and the start condition set in the start condition setting operation. It is equipped with an event information providing department to provide.
  • the information processing terminal is virtually arranged in the space based on the acquisition unit that acquires the scan data scanned by the sensor that scans the space and the scan data acquired by the acquisition unit.
  • the detection unit that detects the anchor, the display unit that displays the anchor detected by the detection unit on the captured image captured by the camera, and the event that is arranged in association with the anchor detected by the detection unit are set.
  • An event execution unit that executes an event when the start condition for starting the event is satisfied.
  • the information processing system acquires the scan data scanned by the sensor that scans the space, displays the captured image captured by the camera on the display, and the acquired scan data.
  • the event placement operation to be performed and the start condition setting operation to set the start condition for starting the placed event in the event placement operation are provided to the user, and the placement information of the placed event and the start condition setting operation are provided.
  • FIG. 1 is a block diagram showing an example of a system configuration of an information processing system according to an embodiment.
  • the information processing system 100 includes an information processing terminal 10, an information processing terminal 20, and an information processing device 30.
  • the information processing terminal 10 is a terminal for setting an event that is virtually arranged in space and executed.
  • the information processing terminal 20 is a terminal for executing an event virtually arranged in space.
  • the information processing device 30 is a device that stores the setting of the event arranged in the information processing terminal 10 and executes the event in the information processing terminal 20 based on the stored event setting.
  • the event in this actual mode is the operation of the device in the information processing system 100, which is executed by the movement of the information processing terminal 20.
  • the device in the information processing system 100 is, for example, an information processing terminal 20 (or an information processing terminal 10), an acoustic system (not shown), a display system, an actuator, or the like.
  • the operation of the device is, for example, content reproduction, data communication, operation of an actuator, or the like.
  • Reproduction of content is, for example, reproduction of a sound source, display of an image (moving image or still image), display of a 3D object, or the like.
  • the data communication is, for example, communication between the information processing terminal 20 and the information processing device 30, and the terminal information of the information processing terminal 20 (for example, device ID, position information, acceleration sensor measurement value, camera captured image, etc.) is used. This is a communication provided to the information processing apparatus 30.
  • the data communication may include, for example, a device that controls an audio device, a video device, or the like by data communication from the information processing terminal 20.
  • the operation of the actuator is the operation of an actuator such as a motor, an air cylinder, or an air valve.
  • an actuator such as a motor, an air cylinder, or an air valve.
  • the reproduction of the sound source in the information processing terminal 20 is exemplified as the execution of the event, but the execution of the event in the information processing system 100 is not limited to this.
  • the information processing terminal 10 and the information processing terminal 20 are devices that can be carried by the user, such as a smartphone, a tablet PC, a head mount type, a glasses type, or a wristwatch type wearable device.
  • the information processing device 30 is a device that is communicably connected to the information processing terminal 10 and the information processing terminal 20 via the network 9, and is, for example, a server device.
  • the user in the present embodiment is a user of the information processing terminal 10, the information processing terminal 20, or the information processing device 30, and may be different users or the same user. May be good. Further, the user may be a dedicated operator or a general user other than the dedicated operator.
  • the information processing terminal 10 has an acquisition unit 11, a display unit 12, an anchor arrangement unit 13, an anchor information providing unit 14, an event setting unit 15, and an event information providing unit 16.
  • the information processing terminal 20 has an acquisition unit 21, a display unit 22, a detection unit 23, a scan data providing unit 24, an event information acquisition unit 25, and an event execution unit 26.
  • the information processing apparatus 30 has an anchor information storage unit 31, an event information storage unit 32, an event provision unit 33, and an event storage unit 34.
  • the acquisition unit 11 and the acquisition unit 21 acquire the scan data scanned by the sensor that scans the space.
  • the sensor that scans the space is a sensor that scans the shape of an object existing in the space, and is, for example, a distance measuring sensor that measures the distance to the object existing in the space.
  • a sensor using LiDAR Light Detection And Ringing
  • LiDAR for example, laser light is used.
  • LiDAR may use ultraviolet rays, infrared rays, or near infrared rays.
  • LiDAR can measure the shape of an object existing in space in three dimensions by measuring (distance measuring) the distance from the sensor to the object.
  • the scan data obtained by scanning the space may be, for example, an image taken by a stereo camera (not shown) included in the information processing terminal 10 or the information processing terminal 20. Further, the scan data obtained by scanning the space may include information acquired by a position sensor or an acceleration sensor (not shown) included in the information processing terminal 10 or the information processing terminal 20.
  • the display unit 12 and the display unit 22 display the captured image captured by the camera on the display unit.
  • the display unit 12 and the display unit 22 display, for example, a captured image captured by the camera of the smartphone on the display screen of the smartphone.
  • the anchor arranging unit 13 provides the user with an operation of arranging a virtual anchor on the captured image displayed on the display unit 12 based on the scan data acquired by the acquisition unit 11.
  • the virtual anchor is a mark (mark) virtually installed (arranged) in the space, and has a coordinate value representing a specific position in the space.
  • the anchor in this embodiment is a mark or the like indicating a position where a sound source is arranged.
  • the shape of the mark may be, for example, a sphere, a cube, an icon image, or the like, and may be displayed on the display unit 12 and visible to the user.
  • the anchor arranging unit 13 is a UI for clarifying the shape of an object in the space measured based on the scan data acquired by the acquisition unit 11 and arranging the anchor in the captured image displayed on the display unit 12. To the user. The user can confirm the position where the anchor is arranged while confirming the captured image displayed on the display unit 12.
  • the anchor arranging unit 13 further provides the user with an operation of correcting the position where the anchor is arranged by using the captured image displayed on the display unit 12. Since the anchor placement position is determined while checking the two-dimensional captured image displayed on the display unit 12, the placement position may be unclear in the depth direction of the display screen.
  • the anchor arranging unit 13 can correct the position where the anchor is arranged by moving the position of the anchor once arranged by a predetermined distance (for example, 1 m or 50 cm, etc.) in the depth direction. Become. By modifying the position where the anchor is arranged, it is possible to improve the efficiency of the anchor arrangement as compared with the case where the anchor is arranged again.
  • the anchor information providing unit 14 provides the information processing device 30 with anchor information related to the anchors arranged in the anchor arranging unit 13.
  • the anchor information related to the anchor includes, for example, coordinate information in space.
  • the coordinate information in space is coordinate information based on scan data obtained by scanning space, and is, for example, coordinate information indicating a relative position from an object having a large feature amount existing in space.
  • the feature amount of space is, for example, the distribution (histogram) of color data existing in space, the shape of an object, or vector data of color data.
  • the position of an object having a large feature amount has a large difference in the feature amount from the surroundings, it is possible to reduce the error in the position of the object in the coordinate information.
  • the difference in the feature amount from the periphery is small in the position of the object with a small feature amount, the error in the position of the object in the coordinate information becomes large.
  • the relative position from the object with a large feature amount existing in space for example, even when the anchor is placed at the position of the object with a small feature amount, the error in the position of the object in the coordinate information is reduced. It becomes possible to do.
  • the coordinate information is coordinate information based on scan data obtained by scanning the space, it is relative position information from an object existing in the space.
  • the coordinate information includes, for example, coordinate information calculated from the relative distance from a reference point (beacon) that emits radio waves, and absolute coordinates consisting of longitude, latitude, and altitude calculated from radio waves acquired from positioning satellites. Information and the like may be included.
  • the coordinate information can be double-checked, so that the reliability of the coordinate information can be improved.
  • the term “provided” may be either push-type transmission or pull-type transmission.
  • acquisition may be a pull-type reception or a push-type reception.
  • the event setting unit 15 provides the user with an event placement operation for arranging an event with respect to the anchor information provided to the information processing device 30. Further, the event setting unit 15 provides the user with a start condition setting operation for setting a start condition for starting the event arranged in the event arrangement operation.
  • the event placement operation is an operation of arranging an event with respect to the anchor information, for example, an operation of assigning the content to be played to the placed anchor.
  • the content allocation includes, for example, an operation of selecting and assigning (associating) a playlist of a previously created or newly created sound source.
  • the playlist is to determine the sound source to be played by using one or a plurality of sound source files, and by assigning a playlist name, it is possible to easily identify the sound source to be played.
  • the event to be arranged may be content reproduction such as image reproduction, data communication, actuator operation, or the like.
  • an event for operating an actuator for driving an object may be placed on an anchor placed in the vicinity of an animal-shaped object.
  • the start condition for executing the event is a condition for executing the event in the information processing terminal 20 or the like, for example, the distance between the anchor and the information processing terminal 20, the shooting direction of the camera of the information processing terminal 20, and the like.
  • the altitude of the information processing terminal 20 (relative altitude difference from the anchor, absolute altitude with respect to the sea surface, etc.), the display time of the anchor, the stop time of the information processing terminal 20, and the like.
  • the start condition may include a condition such as whether the distance between the anchor and the information processing terminal 20 is close to or far from each other.
  • the start condition may include that the anchors are photographed by the plurality of information processing terminals 20.
  • the start condition may include the behavior of the user acquired from an acceleration sensor or the like (not shown).
  • the start condition may include the execution mode of the event.
  • the execution mode is, for example, when the event is the reproduction of a sound source, the reproduction volume of the sound source, the reproduction time, the reproduction speed, the emphasis of the treble or the bass, or the mode of gradually increasing or decreasing the volume.
  • the execution mode includes the above-mentioned distance between the anchor and the information processing terminal 20, the shooting direction of the camera of the information processing terminal 20, the altitude of the information processing terminal 20, the display time of the anchor, the stop time of the information processing terminal 20, and the like. It may be included that changes the embodiment of the above. By setting the playback conditions, it is possible to perform various effects using the sound source.
  • the event information providing unit 16 provides the information processing apparatus 30 with the arrangement information of the event for which the event arrangement operation was performed in the event setting unit 15 and the start condition set in the start condition setting operation.
  • the information processing apparatus 30 can store such information. By storing these information in the information processing apparatus 30, it is possible to read and use the stored information.
  • the arrangement of anchors or the setting of events may be executed by a plurality of information processing terminals 10. When the arrangement of anchors is executed in a plurality of information processing terminals 10, the execution result of the arrangement of anchors in one information processing terminal 10 is stored in the information processing apparatus 30 and reflected in the other information processing terminals 10. To.
  • the detection unit 23 detects an anchor virtually arranged in the space based on the scan data acquired by the acquisition unit 21.
  • the detection unit 23 acquires anchor information related to the anchors arranged in the anchor arrangement unit 13 from the information processing apparatus 30.
  • Anchor information includes anchor position information and the like.
  • Anchor detection can be performed, for example, by whether or not the above-mentioned spatial features are close to each other.
  • the detection unit 23 can detect an anchor based on the scan data acquired by the acquisition unit 21 and the anchor information acquired from the information processing apparatus 30 based on whether or not the spatial features are close to each other.
  • the detection unit 23 can detect the anchor based on the three-dimensional scan data. However, the detection unit 23 may detect the anchor based on the two-dimensional scan data. Further, the detection unit 23 may further detect the anchor based on the measured value acquired from the GNSS (Global Navigation Satellite System) sensor or the acceleration sensor (not shown).
  • GNSS Global Navigation Satellite System
  • the geo-fence can be set three-dimensionally by detecting the anchor virtually arranged in the space based on the acquired scan data by the detection unit 23.
  • the range on the plane could be set as the geo-fence.
  • the anchor is detected based on the scan data.
  • the scan data differs depending on the three-dimensional position of the information processing terminal 10 (or the information processing terminal 20). For example, even if the information processing terminals 10 are at the same position on a plane, if the heights of the information processing terminals 10 are different, the scan data may be scanned toward the same point in space. Is different.
  • the detection unit 23 can obtain three-dimensionally different detection results, and can set the geo-fence in three dimensions.
  • the detection unit 23 detects an anchor virtually placed in the space based on the acquired scan data, thereby improving the accuracy of the start condition for starting the event placed in the space. It is possible to provide an event using a geo-fence set in three dimensions.
  • the scan data providing unit 24 provides the scan data acquired by the acquisition unit 21 to the information processing apparatus 30.
  • the information processing apparatus 30 can determine whether or not the terminal state estimated by the information processing apparatus 30 satisfies the start condition based on the scan data provided by the scan data providing unit 24.
  • the terminal state is, for example, the position of the information processing terminal 20, the shooting direction of the camera, the distance from the anchor, the vibration of the information processing terminal 20, the positional relationship with another information processing terminal 20, and the like.
  • the information processing device 30 can determine whether or not the terminal state satisfies the reproduction condition. Whether or not the terminal state satisfies the start condition can be determined, for example, by comparing the terminal state information acquired from the information processing terminal 20 with the start condition stored in the event information storage unit 32. ..
  • the information processing device 30 may detect the anchor.
  • the information processing device 30 can detect the anchor instead of the detection unit 23 or at the same time as the detection unit 23.
  • the event information acquisition unit 25 acquires start condition information from the information processing apparatus 30 indicating that the terminal state estimated by the information processing apparatus 30 satisfies the start condition based on the scan data provided by the scan data provision unit 24. ..
  • the event execution unit 26 executes the event when the start condition for starting the event placed on the anchor detected by the detection unit 23 is satisfied. Execution of the event is, for example, reproduction of a sound source as described above. The reproduction of the sound source is executed, for example, by outputting the sound source provided by the information processing apparatus 30 from the speaker, earphone, or other speaker attached to the information processing terminal 20. By executing an event such as playback of a sound source when the start condition is satisfied, it is possible to perform an effect using the event.
  • the OSC (Open Sound Control) protocol may be used in providing the sound source.
  • the OSC protocol in the event execution unit 26, it becomes possible to execute the provision of the sound source in real time.
  • the sound source is a live sound source
  • the live sound source can be shared in real time by a plurality of information processing terminals 20 by using the OSC protocol.
  • a sound source format for example, Ambisonics
  • a sound source format for realizing stereophonic sound may be used in providing the sound source.
  • the sound source format for realizing the stereophonic sound in the event execution unit 26 it is possible to easily provide the sound source of the stereophonic sound.
  • a platform for game development (for example, Wwise or the like) may be used in providing the sound source.
  • the sound source may be reproduced using a head related transfer function (HRTF: Head Related Transfer Function).
  • HRTF Head Related Transfer Function
  • the head-related transfer function expresses the change in sound caused by peripheral objects including the auricle, the human head, and the shoulder as a transfer function.
  • the anchor information storage unit 31 stores anchor information related to the anchors arranged in the anchor arrangement unit 13.
  • the anchor information storage unit 31 can provide the stored anchor information to the information processing terminal 20.
  • the event information storage unit 32 stores the arrangement information of the event for which the event arrangement operation was performed in the event setting unit 15 and the start condition set in the start condition setting operation.
  • the event information storage unit 32 stores the arrangement information or the start condition input by the user of the information processing apparatus 30.
  • the event information storage unit 32 can execute an event on the information processing terminal 20 or the like based on the stored arrangement information and start information.
  • the event providing unit 33 provides an event stored in the event storage unit 34 when the start condition stored in the event information storage unit 32 is satisfied.
  • the event providing unit 33 may provide an event in a predetermined event execution mode according to a preset start condition.
  • the event providing unit 33 may use identification information of the information processing terminal 20 (attribute information such as gender, age, language used, nationality or religion of a user registered in advance, or device information acquired from the information processing terminal 20. Etc.), the execution mode of the event may be changed to provide the event.
  • the identification information may be acquired in association with, for example, the user's account information.
  • the event execution unit 26 can execute various events by executing the event changed according to the identification information.
  • the event storage unit 34 may store an event list that lists a plurality of events. For example, if the event is a playback of a sound source, the event list is a plurality of sound sources or a pre-made playlist.
  • the event stored in the event storage unit 34 is provided to the information processing terminal 20 and can be reproduced by the event execution unit 26.
  • the event stored in the event storage unit 34 may be content data such as audio data or image data, or may be information indicating a storage destination or acquisition method of the content data.
  • the above-mentioned functional units of the information processing system 1 show an example of the functions, and do not limit the functions of the information processing system 1.
  • the information processing terminal 10, the information processing terminal 20, or the information processing apparatus 30 does not have to have all the above-mentioned functional parts, but may have some of the functional parts.
  • the information processing system 1 may have a function other than the above.
  • the functional unit of the information processing terminal 10 may be realized in the information processing device 30.
  • the functional unit of the information processing terminal 20 may be realized in the information processing apparatus 30.
  • the functional unit of the information processing apparatus 30 may be realized in the information processing terminal 10 or the information processing terminal 20.
  • the information processing terminal 10 and the information processing terminal 20 may be integrally formed.
  • each of the above functional parts has been described as being realized by software. However, at least one or more functional units in the above functional units may be realized by hardware.
  • any of the above functional units may be implemented by dividing one functional unit into a plurality of functional units. Further, any two or more of the above functional units may be integrated into one functional unit.
  • FIG. 1 shows the functions of the information processing system 1 as functional blocks, and does not show, for example, that each functional unit is composed of a separate program file or the like.
  • the information processing terminal 10, the information processing terminal 20, or the information processing device 30 is a system realized by a plurality of devices connected via a network or the like even if the device is realized by one housing. You may. For example, the information processing terminal 10, the information processing terminal 20, or the information processing device 30 realizes a part or all of its functions by another virtual device such as a cloud service provided by a cloud computing system. You may. That is, the information processing terminal 10, the information processing terminal 20, or the information processing device 30 may realize at least one or more of the above functional units in another device.
  • FIGS. 2 to 5 a display example of the display device of the information processing terminal 10 will be described with reference to FIGS. 2 to 5.
  • a case where a sound source is arranged on the anchor and an event for reproducing the sound source is executed in the information processing terminal 20 is illustrated.
  • FIG. 2 is a diagram showing a first display example of the display device used in the information processing terminal in the embodiment.
  • the display screen 1000 is displayed on the display unit 12.
  • the display screen 1000 has an icon 1001 indicating an anchor setting screen, an anchor installation button 1002, an exit button 1003, a save button 1004, and a naming button 1005 for naming a playlist.
  • the display screen 1000 is a display screen displayed on the information processing terminal 10, and a captured image taken by the camera of the information processing terminal 10 is displayed.
  • the anchor installation button 1002 is a button for installing an anchor in any of the shooting ranges displayed on the display screen 1000. For example, by operating the anchor installation button 1002, the anchor can be installed at the center position of the display screen 1000, or at a cursor position (not shown) in the display screen 1000. By operating the anchor installation button 1002, the user can transition the anchor described in FIG. 3 to the screen for placement.
  • the exit button 1003 is a button for ending the setting shown on the display screen 1000
  • the save button 1004 is a button for saving the current setting.
  • the naming button 1005 is a button for naming a playlist. By operating the naming button 1005, the user can input a name from a text box or the like.
  • FIG. 3 is a diagram showing a second display example of the display device used in the information processing terminal in the embodiment.
  • the display screen 2000 is displayed on the display unit 12.
  • the display screen 2000 has a trial setting button 2001.
  • the display screen 2000 is a photographed image enlarged by moving the photographing range displayed on the display screen 1000.
  • the trial placement button 2001 is a button for trial placement of the anchor.
  • the user can install the anchor in the substantially center of the display screen 2000 by operating the trial setting button 2001.
  • the trial placement means the installation of the anchor before the installation position is fixed, and the user can experience the anchor installed by himself / herself and the sound source set on the anchor on a trial basis.
  • FIG. 4 is a diagram showing a third display example of the display device used in the information processing terminal in the embodiment.
  • the display screen 1000 is displayed on the display unit 12.
  • the display screen 3000 has an anchor position correction button 3001, an anchor position determination button 3002, and an anchor 3003.
  • the anchor position correction button 3001 is a button for correcting the position of the anchor 3003 installed by the trial placement button 2001.
  • the user can correct the position of the installed anchor 3003 to the back side or the front side.
  • the size of the anchor 3003 is displayed smaller, while when the position of the anchor 3003 is corrected to the front side, the size of the anchor 3003 is displayed larger. ..
  • the display size of the anchor 3003 may be changed by a setting operation (not shown).
  • the anchor position determination button 3002 is a button for determining the installation position of the anchor 3003. By operating the anchor position determination button 3002, the user can transition to the screen for completing the installation of the anchor described with reference to FIG.
  • FIG. 5 is a diagram showing a fourth display example of the display device used in the information processing terminal 10 in the embodiment.
  • the display screen 1000 is displayed on the display unit 12.
  • the display screen 4000 has an end button 4001 and an anchor 4002. The user completes the installation of the anchor by operating the end button 4001.
  • FIG. 6 is a diagram showing a first example of the terminal state of the information processing terminal in the embodiment.
  • FIG. 6 describes a case where the reproduction mode is different when the distance and direction between the information processing terminal 20 and the anchor are in the terminal state.
  • the anchor position O is the position in the space of the anchor installed in the above procedure. It is assumed that the information processing terminal 20 at the position (A) in the figure is at a distance between the anchor position O and x and is photographing the anchor. On the other hand, it is assumed that the information processing terminal 20 at the position shown in the figure (B) is at a distance between the anchor positions O and y and is photographing the anchor.
  • the information processing terminal 20 detects the anchor in the sensor that scans the space, and sets the anchor position O in the reproduction mode of the volume and direction according to the distance x from the information processing terminal 20 and the direction of the anchor position O. Play the placed sound source. Similarly, the information processing terminal 20 detects the anchor in the sensor that scans the space, and at the anchor position O in the reproduction mode of the volume and direction according to the distance y from the information processing terminal 20 and the direction of the anchor position O. Play the placed sound source.
  • the reproduction condition of the sound source is that the distance between the information processing terminal 20 and the anchor position O is "within the distance x"
  • the information processing terminal 20 at the position (A) reproduces the sound source, but the information of (B).
  • the processing terminal 20 does not reproduce the sound source.
  • FIG. 7 is a diagram showing a second example of the terminal state of the information processing terminal in the embodiment.
  • FIG. 7 describes a reproduction mode in a terminal state when two information processing terminals 20 are present.
  • the terminal state of the information processing terminal 20 in FIG. 7 is a distance to the anchor of the information processing terminal 20, a direction from the information processing terminal 20 to the anchor, and a positional relationship with another information processing terminal 20.
  • the distance between the information processing terminal 20a and the information processing terminal 20b is z. That is, the information processing terminal 20a is in a terminal state in which the distance from the anchor position O is x and the distance from the information processing terminal 20b is z, and the information processing terminal 20b has the distance y from the anchor position O and information. It is assumed that the distance from the processing terminal 20a is in the terminal state of z.
  • the positional relationship between the information processing terminal 20a and the information processing terminal 20b is calculated by each information processing terminal 20 providing the positional relationship with the anchor position O to the information processing device 30.
  • FIG. 7 illustrates a case where the reproduction mode of the sound source in one information processing terminal is determined by the position of another information processing terminal. It is assumed that the information processing terminal 20a reproduces the sound source in which both the sound source at the anchor position O and the sound source in which the information processing terminal 20b is regarded as the sound source are reproduced. Similarly, it is assumed that the information processing terminal 20b reproduces the sound source in which both the sound source at the anchor position O and the sound source in which the information processing terminal 20a is regarded as the sound source are reproduced. That is, the reproduction mode of the sound source in the information processing terminal 20a is determined by the distance z from the information processing terminal 20b and the position of the information processing terminal 20b. Similarly, the reproduction mode of the sound source in the information processing terminal 20b is determined by the distance z from the information processing terminal 20a and the position of the information processing terminal 20a.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of the information processing terminal 10 in the embodiment.
  • the hardware configuration of the information processing terminal 20 and the information processing device 30 is assumed to be similar to the information processing terminal 10, and the description thereof will be omitted.
  • the information processing terminal 10 has a CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, an I / O device 104, and a communication I / F (Interface) 105.
  • the information processing terminal 10 is a device that executes the information processing program described with reference to FIG.
  • the CPU 101 controls the user terminal by executing the information processing program stored in the RAM 102 or the ROM 103.
  • the information processing program is acquired from, for example, a recording medium on which the program is recorded, a program distribution server via a network, or the like, installed in the ROM 103, read from the CPU 101, and executed.
  • the I / O device 104 has an operation input function and a display function (operation display function).
  • the I / O device 104 is, for example, a touch panel.
  • the touch panel enables the user of the information processing terminal 10 to input operations using a fingertip, a stylus, or the like.
  • the case where the I / O device 104 in the present embodiment uses a touch panel having an operation display function will be described, but the I / O device 104 separates the display device having the display function and the operation input device having the operation input function. It may have.
  • the display screen of the touch panel can be performed as the display screen of the display device, and the operation of the touch panel can be performed as the operation of the operation input device.
  • the I / O device 104 may be realized by various forms such as a head mount type, a glasses type, and a wristwatch type display.
  • Communication I / F 105 is an I / F for communication.
  • the communication I / F 105 executes short-range wireless communication such as a wireless LAN, a wired LAN, and infrared rays.
  • short-range wireless communication such as a wireless LAN, a wired LAN, and infrared rays.
  • the information processing terminal 10 may have an I / F for each communication in a plurality of communication methods.
  • FIG. 9 is a flowchart showing a first example of the operation of the information processing system in the embodiment.
  • the flowchart shown in the first example describes the operation related to the arrangement of the anchor and the sound source.
  • the information processing system 1 provides a UI for setting a sound source from the display screen of the information processing terminal 10 (step S11). After executing the process of step S11, the information processing system 1 acquires the scan data in the sensor that scans the space (step S12).
  • step S13 the information processing system 1 determines whether or not to arrange the anchor.
  • the determination of whether or not to arrange the anchor can be determined, for example, by whether or not the user has completed the operation of installing the anchor.
  • step S13: NO the information processing system 1 repeats the processes of steps S12 to S13 and waits for the anchor to be arranged.
  • step S13 When it is determined that the anchor is arranged (step S13: YES), the information processing system 1 determines whether or not to correct the position of the anchor (step S14). When it is determined that the position of the anchor is to be corrected (step S14: YES), the information processing system 1 corrects the position of the anchor (step S15).
  • step S16 the information processing system 1 determines whether or not the playlist is selected (step S16). Playlist selection also includes saving the selected playlist. If the desired playlist does not exist, the information processing system 1 may provide a UI for creating a new playlist. When it is determined that the playlist is not selected (step S16: NO), the information processing system 1 repeats the process of step S16 and waits for the playlist to be selected.
  • step S16 when it is determined that the playlist is selected (step S16: YES), the information processing system 1 provides a UI for inputting playback conditions from the display screen of the information processing terminal 10 (step S17). After executing the process of step S17, the information processing system 1 determines whether or not the input of the reproduction condition is completed (step S18). When it is determined that the input is not completed (step S18: NO), the information processing system 1 repeats the process of step S18 and waits for the input to be completed.
  • step S18 when it is determined that the input of the reproduction condition is completed (step S18: YES), the information processing system 1 transfers the anchor information input in steps S13 to S15 from the information processing terminal 10 to the information processing apparatus 30. Provided (step S19).
  • the information processing system 1 After executing the process of step S19, the information processing system 1 provides the information related to the sound source input in steps S16 to S18 from the information processing terminal 10 to the information processing apparatus 30 (step S20).
  • step S20 When the processing of step S20 is completed, the information processing system 1 stores the anchor information provided in step S19 in the information processing device 30 (step S21). After the processing of step S21 is completed, the information processing system 1 stores the sound source information provided in step S20 in the information processing apparatus 30 (step S22), and ends the processing shown in the flowchart.
  • FIG. 10 is a flowchart showing a second example of the operation of the information processing system 1 in the embodiment.
  • the flowchart shown in the second example explains the operation related to the reproduction of the sound source.
  • the information processing system 1 provides a UI for reproducing a sound source from the display screen of the information processing terminal 20 (step S31).
  • the UI for playing a sound source is, for example, an AR (Augmented Reality) application program that enjoys playing a sound source arranged in a space.
  • the information processing system 1 After executing the process of step S32, the information processing system 1 acquires the scan data in the sensor that scans the space (step S32).
  • step S33 the information processing system 1 determines whether or not the anchor has been detected. When it is determined that the anchor has not been detected (step S33: NO), the information processing system 1 repeats the processes of steps S32 to S33 and waits for the anchor to be detected.
  • step S33 when it is determined that the anchor has been detected (step S33: YES), the information processing system 1 displays the detected anchor on the display screen of the information processing terminal 20 (step S34).
  • step S35 the information processing system 1 determines whether or not the reproduction conditions are satisfied. Whether or not the reproduction condition is satisfied can be determined, for example, by whether or not the information processing terminal 20 has acquired the reproduction condition information from the information processing apparatus 30. When it is determined that the reproduction condition is not satisfied (step S35: NO), the information processing system 1 repeats the processes of steps S32 to S35 and waits for the reproduction condition to be satisfied.
  • step S35 when it is determined that the reproduction conditions are satisfied (step S35: YES), the information processing system 1 starts reproduction of the sound source (step S36).
  • the reproduction of the sound source can be executed by the information processing terminal 20 reproducing the sound source acquired from the information processing apparatus 30.
  • the information processing system 1 After executing the process of step S36, the information processing system 1 confirms the terminal state (step S37). As described above, the terminal state is the position of the information processing terminal 20, the shooting range of the information processing terminal 20, and the like. After executing the process of step S36, the information processing system 1 changes the reproduction mode (step S38). For example, when the information processing terminal 20 is close to the anchor, the information processing system 1 changes the reproduction mode so as to raise the reproduction volume of the sound source.
  • the reproduction mode according to the terminal state can be set in advance. Further, the reproduction mode according to the terminal state may be changed at random.
  • step S39 determines whether or not to end the reproduction. Whether or not to end the reproduction is, for example, when the terminal state does not satisfy the reproduction conditions, the reproduction of the sound source prepared in advance is completed, or the user explicitly stops the reproduction.
  • step S39: NO the information processing system 1 repeats the processes of steps S37 to S39 and waits for the reproduction to end.
  • step S39: YES the information processing system 1 ends the operation shown in the flowchart.
  • the program for realizing the function constituting the apparatus described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed. Therefore, the above-mentioned various processes of the present embodiment may be performed.
  • the “computer system” here may include hardware such as an OS and peripheral devices. Further, the “computer system” includes the homepage providing environment (or display environment) if the WWW system is used.
  • the "computer-readable recording medium” includes a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, and the like. It refers to the storage device of.
  • the "computer-readable recording medium” is a volatile memory inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line (for example, DRAM (Dynamic)). It also includes those that hold the program for a certain period of time, such as Random Access Memory)). Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • a network such as the Internet or a communication line such as a telephone line (for example, DRAM (Dynamic)). It also includes those that hold the program for a certain period of time, such as Random Access Memory)).
  • the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the "transmission medium” for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the above program may be for realizing a part of the above-mentioned functions.
  • a so-called difference file difference program
  • difference program difference program
  • Information processing system 10 Information processing terminal 11 Acquisition unit 12 Display unit 13 Anchor placement unit 14 Anchor information providing unit 15 Event setting unit 16 Event information providing unit 20 Information processing terminal 20a Information processing terminal 20b Information processing terminal 21 Acquisition unit 22 Display unit 23 Detection unit 24 Scan data provision unit 25 Event information acquisition unit 26 Event execution unit 30 Information processing device 31 Anchor information storage unit 32 Event information storage unit 33 Event provision unit 34 Event storage unit 101 CPU 102 RAM 103 ROM 104 I / O equipment 105 Communication I / F 1000 Display screen 1001 Icon 1002 Anchor installation button 1003 Exit button 1004 Save button 1005 Naming button 1005 2000 Display screen 2001 Trial installation button 3000 Display screen 3001 Anchor position correction button 3002 Anchor position determination button 3003 Anchor 4000 Display screen 4001 End button

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

測位衛星による測位が困難な状況においても空間に配置されたイベントを実行できるとともに、イベントが開始される開始条件の精度が高いシステムの構築コストを低減させる。空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得し、カメラにおいて撮影された撮影画像を表示器に表示し、取得されたスキャンデータに基づき、表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供し、配置されたアンカーに係るアンカー情報を記憶し、記憶されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供し、配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶し、イベントを記憶し、記憶された開始条件が満たされたときに記憶されたイベントを実行させる。

Description

情報処理システム、情報処理方法および情報処理プログラム
　本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。
　従来、地理的な座標位置から所定の距離内にある範囲をジオフェンスとして設定し、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等の測位衛星によって位置情報を取得できるモバイル端末が設定されたジオフェンス内に入った場合にモバイル端末にコンテンツの提供等のイベントを開始する技術がある。例えば、特許文献１には、モバイルクライアント装置がＧＰＳ受信機を有し、ジオフェンスにより定義される地理的ポジションの閾値距離内にモバイルクライアント装置が入った場合に広告等の印刷データを提供する技術が開示されている。
　また、カメラ等により撮影された映像に画像を重畳させるＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）において空間に配置されたイベントを実行する技術があった。例えば、特許文献２には、カメラで撮影された撮影画像に予め登録されたオブジェクトを配置して再生する装置に関する技術が開示されている。
特開２０１７－２０８０７７号公報 特開２０１９－１８６９２１号公報
　しかし、特許文献１の技術においては、測位衛星からの電波の受信状態によって測位の精度が変化して、例えば、上空の見晴らしの悪い場所や屋内においては測位衛星による測位精度が低下し、あるいは測位不能となる場合があった。このため、測位衛星による測位結果に応じてイベントが実行されるシステムにおいては、端末がジオフェンスに入ったか否かの検出精度が低下して、イベント開始のタイミングがずれる等、イベント開始の精度が低下する場合があった。
　また、特許文献２においては、利用者の位置を精度良く検出するためには、複数のセンサを設置する必要があり、空間に仮想的に配置されたイベントが開始される開始条件の精度を向上させるためにはシステムを構築するコストが上昇してしまう場合があった。
　本発明は上記事情に鑑みてなされたものであり、測位衛星による測位が困難な状況においても空間に配置されたイベントを実行できるとともに、イベントが開始される開始条件の精度が高いシステムの構築コストを低減させることができる、情報処理システム、情報処理方法および情報処理プログラムを提供することを一つの目的とする。
　上記の課題を解決するため、情報処理システムは、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、カメラにおいて撮影された撮影画像を表示器に表示する表示部と、取得部において取得されたスキャンデータに基づき、表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、アンカー配置部において配置されたアンカーに係るアンカー情報を記憶するアンカー情報記憶部と、アンカー情報記憶部に記憶されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、イベント配置操作において配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶部と、イベントを記憶するイベント記憶部と、イベント情報記憶部に記憶された開始条件が満たされたときにイベント記憶部に記憶されたイベントを提供するイベント提供部と、を備える。
　上記の課題を解決するため、情報処理端末は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、カメラにおいて撮影された撮影画像を表示器に表示する表示部と、取得部において取得されたスキャンデータに基づき、表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、アンカー配置部において配置されたアンカーに係るアンカー情報を情報処理装置に提供するアンカー情報提供部と、情報処理装置に提供されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、イベント配置操作において配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを情報処理装置に提供するイベント情報提供部と、を備える。
　上記の課題を解決するため、情報処理端末は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、取得部において取得されたスキャンデータに基づき、空間に仮想的に配置されたアンカーを検出する検出部と、検出部において検出されたアンカーを、カメラにおいて撮影された撮影画像に表示させる表示部と、検出部において検出されたアンカーに対応付けて配置されたイベントに設定された、イベントを開始させるための開始条件が満足される場合に、イベントを実行するイベント実行部と、を備える。
　本発明の一つの実施形態によれば、情報処理システムは、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得し、カメラにおいて撮影された撮影画像を表示器に表示し、取得されたスキャンデータに基づき、表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供し、配置されたアンカーに係るアンカー情報を記憶し、記憶されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供し、配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶し、イベントを記憶し、記憶された開始条件が満たされたときに記憶されたイベントを実行させることにより、測位衛星による測位が困難な状況においても空間に配置されたイベントを実行できるとともに、イベントが開始される開始条件の精度が高いシステムの構築コストを低減させることができる。
実施形態における情報処理システムのシステム構成の一例を示すブロック図である。 実施形態における情報処理端末において用いられる表示装置の第１の表示例を示す図である。 実施形態における情報処理端末において用いられる表示装置の第２の表示例を示す図である。 実施形態における情報処理端末において用いられる表示装置の第３の表示例を示す図である。 実施形態における情報処理端末において用いられる表示装置の第４の表示例を示す図である。 実施形態における情報処理端末の端末状態の第１の例を示す図である。 実施形態における情報処理端末の端末状態の第２の例を示す図である。 実施形態における情報処理端末のハードウェア構成の一例を示すブロック図である。 実施形態における情報処理システムの動作の第１の例を示すフローチャートである。 実施形態における情報処理システムの動作の第２の例を示すフローチャートである。
　以下、図面を参照して本発明の一実施形態における情報処理システム、情報処理方法および情報処理プログラムについて詳細に説明する。
　先ず、図１を用いて、情報処理システムの構成を説明する。図１は、実施形態における情報処理システムのシステム構成の一例を示すブロック図である。
　図１において、情報処理システム１００は、情報処理端末１０、情報処理端末２０および情報処理装置３０を有する。
　情報処理端末１０は、空間に仮想的に配置されて実行されるイベントを設定するための端末である。情報処理端末２０は、空間に仮想的に配置されたイベントを実行するための端末である。また、情報処理装置３０は、情報処理端末１０において配置されたイベントの設定を記憶し、記憶したイベントの設定に基づき、情報処理端末２０においてイベントを実行させる装置である。
　本実勢形態におけるイベントとは、情報処理端末２０の移動によって実行される、情報処理システム１００における装置の動作である。情報処理システム１００における装置とは、例えば、情報処理端末２０（または情報処理端末１０）、または、図示しない音響システム、表示システムもしくはアクチュエータ等である。
　装置の動作とは、例えば、コンテンツの再生、データ通信、またはアクチュエータの動作等である。コンテンツの再生とは、例えば、音源の再生、画像（動画または静止画）の表示、または３Ｄオブジェクトの表示等である。データ通信とは、例えば、情報処理端末２０と情報処理装置３０との通信であって、情報処理端末２０の端末情報（例えば、機器ＩＤ、位置情報、加速度センサ計測値またはカメラ撮影画像等）を情報処理装置３０に提供する通信である。データ通信には、例えば、情報処理端末２０からのデータ通信によって音響機器または映像機器等を制御するものが含まれていてもよい。また、アクチュエータの動作とは、モータまたはエアシリンダ、エアバルブ等のアクチュエータの動作であり、例えば、モータ等によって駆動される動物形状のオブジェクトもしくはドア等を動かしたり、空気によって膨らむバルーンを膨らませたりする動作である。
　なお、以下の実施例においては、イベントの実行として、情報処理端末２０における音源の再生を例示するが、情報処理システム１００におけるイベントの実行はこれに限定されるものではない。
　情報処理端末１０および情報処理端末２０は、利用者によって可搬される装置であって、例えばスマートフォン、タブレットＰＣまたはヘッドマウント型、メガネ型もしくは腕時計型のウエアラブル装置等である。また、情報処理装置３０は、ネットワーク９を介して情報処理端末１０および情報処理端末２０と通信可能に接続される装置であって、例えば、サーバ装置である。なお、本実施形態における利用者とは、情報処理端末１０、情報処理端末２０または情報処理装置３０の利用者であって、それぞれ別の利用者であっても、あるいは同一の利用者であってもよい。また、利用者は専用のオペレータであっても、あるいは専用のオペレータ以外の一般の利用者であってもよい。
　情報処理端末１０は、取得部１１、表示部１２、アンカー配置部１３、アンカー情報提供部１４、イベント設定部１５およびイベント情報提供部１６を有する。情報処理端末２０は、取得部２１、表示部２２、検出部２３、スキャンデータ提供部２４、イベント情報取得部２５およびイベント実行部２６を有する。また、情報処理装置３０は、アンカー情報記憶部３１、イベント情報記憶部３２、イベント提供部３３およびイベント記憶部３４を有する。本実施形態における情報処理システム１の上記各機能部は、本実施形態における情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。
　取得部１１および取得部２１は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する。空間をスキャンするセンサとは、空間に存在する物体の形状をスキャンするセンサであり、例えば、空間に存在する物体までの距離を測距する測距センサである。測距センサとしては、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）技術を用いたセンサを用いることができる。ＬｉＤＡＲにおいては、例えば、レーザー光が用いられる。ＬｉＤＡＲは、紫外線、赤外線、または近赤外線を用いるものであってもよい。ＬｉＤＡＲは、センサから物体までの距離を計測（測距）することによって空間に存在する物体の形状を３次元で計測することができる。なお、空間をスキャンしたスキャンデータは、例えば、情報処理端末１０または情報処理端末２０が有する図示しないステレオカメラで撮影された撮影画像等であってもよい。また、空間をスキャンしたスキャンデータは、情報処理端末１０または情報処理端末２０が有する図示しない位置センサまたは加速度センサによって取得される情報を含んでいてもよい。
　表示部１２および表示部２２は、カメラにおいて撮影された撮影画像を表示器に表示する。表示部１２および表示部２２は、例えば、スマートフォンのカメラにおいて撮影された撮影画像をスマートフォンの表示画面に表示する。
　アンカー配置部１３は、取得部１１において取得されたスキャンデータに基づき、表示部１２において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供する。仮想的なアンカーとは、空間に仮想的に設置（配置）されたマーク（目印）であり、空間内の特定の位置を表す座標値を有する。本実施形態におけるアンカーは、音源を配置する位置を示すマーク等である。マークの形状は、例えば、球体、立方体、またはアイコン画像等であり、表示部１２において表示されて、利用者が目視できるものであればよい。アンカー配置部１３は、取得部１１において取得されたスキャンデータに基づき計測された空間における物体の形状を明らかにして、表示部１２に表示された撮影画像においてアンカーを配置する操作をするためのＵＩを利用者に提供する。利用者は、表示部１２に表示された撮影画像を確認しながら、アンカーを配置する位置を確認することが可能となる。
　アンカー配置部１３は、表示部１２において表示された撮影画像を用いてアンカーを配置する位置を修正する操作を利用者にさらに提供する。アンカーの配置位置は表示部１２に表示される２次元の撮影画像を確認しながら決定されるため、表示画面の奥行き方向においては、配置位置が不明瞭となる場合がある。例えば、アンカー配置部１３は、一度配置されたアンカーの位置を、奥行き方向に予め定められた距離（例えば、１ｍまたは５０ｃｍ等）移動させることにより、アンカーを配置する位置を修正することが可能となる。アンカーを配置する位置を修正することにより、再度アンカーを配置し直す場合に比べてアンカー配置の効率化を図ることが可能となる。
　アンカー情報提供部１４は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を情報処理装置３０に提供する。アンカーに係るアンカー情報には、例えば、空間における座標情報が含まれる。空間における座標情報とは、空間をスキャンしたスキャンデータに基づく座標情報であり、例えば、空間に存在する特徴量の大きい物体からの相対的な位置を示す座標情報である。空間の特徴量とは、例えば、空間に存在する色データの分布（ヒストグラム）、物体の形状または色データのベクトルデータである。空間を認識する場合において、特徴量が近似している場所は、同一の場所であると認識することができる。特徴量が大きい物体の位置は周辺との特徴量の差異が大きくなるため、座標情報における物体の位置の誤差を小さくすることができる。一方、特徴量の少ない物体の位置は周辺との特徴量の差異が小さくなるため、座標情報における物体の位置の誤差が大きくなる。空間に存在する特徴量の大きい物体からの相対的な位置を座標情報とすることにより、例えば、特徴量の小さい物体の位置にアンカーを配置する場合においても座標情報における物体の位置の誤差を小さくすることが可能となる。なお、上述した座標情報は、空間をスキャンしたスキャンデータに基づく座標情報であるため、空間に存在する物体からの相対的な位置情報となる。しかし、座標情報には、例えば、電波を発する基準点（ビーコン）からの相対距離から算出される座標情報、測位衛星から取得される電波から算出される経度、緯度および高度からなる絶対的な座標情報等が含まれていてもよい。例えば、２つの算出方法に基づく座標情報を用いることにより、座標情報を二重にチェックすることができるので座標情報の信頼性を向上させることができる。
　なお、本実施形態において、「提供」という場合、プッシュ型の送信であってもプル型の送信であってもよい。また、本実施形態において、「取得」という場合、プル型の受信であってもプッシュ型の受信であってもよい。
　イベント設定部１５は、情報処理装置３０に提供されたアンカー情報に対してイベントを配置するイベント配置操作を利用者に提供する。また、イベント設定部１５は、イベント配置操作において配置されるイベントが開始されるための開始条件を設定する開始条件設定操作を利用者に提供する。
　イベント配置操作とは、アンカー情報に対してイベントを配置する操作であって、例えば、配置されたアンカーに対して、再生するコンテンツを割り当てる操作である。コンテンツの割り当てには、例えば、予め作成されているまたは新たに作成された音源のプレイリストを選択して割り当てる（対応付ける）操作等が含まれる。プレイリストとは、１または複数の音源ファイルを用いて、再生される音源を決めておくことであり、プレイリスト名を付与しておくことにより再生される音源を識別しやすくすることができる。イベント配置操作を利用者に提供することにより、例えば、アンカーに対するイベントの割り当てを変更するだけで実行されるイベントを変更することが可能となり、イベント配置の操作性を向上させることが可能となる。なお、配置するイベントは、上述の通り、画像の再生等のコンテンツの再生、データ通信、またはアクチュエータの動作等であってもよい。イベント配置操作においては、例えば、動物形状のオブジェクトの近傍に配置されたアンカーに対して、オブジェクトを駆動するアクチュエータを動作させるイベントを配置してもよい。
　イベントが実行されるための開始条件とは、情報処理端末２０等においてイベントが実行されるための条件であり、例えば、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度（アンカーとの相対的な高度差、または海面を基準とする絶対高度等）、アンカーの表示時間、または情報処理端末２０の停止時間等である。また、開始条件には、アンカーと情報処理端末２０の距離が近付いているのか、あるいは遠ざかっているのか等の条件が含まれていてもよい。また、開始条件には、複数の情報処理端末２０においてアンカーが撮影されていることが含まれていてもよい。また、開始条件には、図示しない加速度センサ等から取得される利用者の挙動が含まれていてもよい。
　また、開始条件には、イベントの実行態様が含まれていてもよい。実行態様とは、例えば、イベントが音源の再生である場合、音源の再生音量、再生時間、再生速度、高音または低音の強調、または、音量を徐々に上げるもしくは下げる等の態様である。実行態様には、上述した、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度、アンカーの表示時間、または情報処理端末２０の停止時間等によってイベントの実行態様が変化するものが含まれていてもよい。再生条件を設定することにより、音源を用いて様々な演出をすることが可能となる。
　イベント情報提供部１６は、イベント設定部１５においてイベント配置操作がされたイベントの配置情報と、開始条件設定操作において設定された開始条件とを情報処理装置３０に提供する。配置情報と開始条件を情報処理装置３０に提供することにより、情報処理装置３０においてこれらの情報を記憶しておくことが可能となる。情報処理装置３０においてこれらの情報を記憶しておくことにより、記憶された情報を読み出して利用することが可能となる。なお、アンカーの配置またはイベントの設定は複数の情報処理端末１０において実行されてもよい。複数の情報処理端末１０においてアンカーの配置等が実行された場合、一の情報処理端末１０におけるアンカーの配置等の実行結果は情報処理装置３０に保存されて他の情報処理端末１０にも反映される。
　検出部２３は、取得部２１において取得されたスキャンデータに基づき、空間に仮想的に配置されたアンカーを検出する。検出部２３は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を情報処理装置３０から取得する。アンカー情報には、アンカーの位置情報等が含まれる。アンカーの検出は、例えば上述の空間の特徴量が近似するか否かで行うことができる。検出部２３は、取得部２１により取得されたスキャンデータと、情報処理装置３０から取得したアンカー情報とに基づいて、空間の特徴量が近似するか否かでアンカーを検出することができる。検出部２３は、３次元のスキャンデータに基づきアンカーを検出することができる。しかし、検出部２３は、２次元のスキャンデータに基づきアンカーを検出するようにしてもよい。また、検出部２３は、図示しないＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）センサまたは加速度センサから取得された計測値にさらに基づきアンカーを検出するようにしてもよい。
　本実施形態においては、検出部２３が取得されたスキャンデータに基づき空間に仮想的に配置されたアンカーを検出することにより、ジオフェンスを３次元で設定することが可能となる。従来のジオフェンスにおいては平面上の範囲をジオフェンスとして設定することができた。一方、本実施形態においてはスキャンデータに基づきアンカーを検出するものである。スキャンデータは情報処理端末１０（または情報処理端末２０）の３次元的な位置によって異なる。例えば、情報処理端末１０が平面上の同じ位置にある場合であっても、情報処理端末１０の高さが異なる場合には空間中の同じ１点を向いてスキャンした場合であってもスキャンデータが異なる。検出部２３は、異なるスキャンデータに基づきそれぞれアンカーを検出することにより、３次元的に異なる検出結果を得ることが可能となり、ジオフェンスを３次元で設定することが可能となる。本実施形態においては、検出部２３が取得されたスキャンデータに基づき空間に仮想的に配置されたアンカーを検出することにより、空間に配置されたイベントが開始される開始条件の精度を向上させるとともに、３次元で設定されるジオフェンスを用いたイベントの提供を可能としている。
　スキャンデータ提供部２４は、取得部２１において取得されたスキャンデータを情報処理装置３０に提供する。情報処理装置３０は、スキャンデータ提供部２４において提供されたスキャンデータに基づき、情報処理装置３０において推定される端末状態が開始条件を満足するか否かを判断することができる。端末状態とは、例えば、情報処理端末２０の位置、カメラの撮影方向、アンカーとの距離、情報処理端末２０の振動、または、他の情報処理端末２０との位置関係等である。情報処理装置３０は、端末状態が再生条件を満たすか否かを判断することができる。端末状態が開始条件を満たすか否かは、例えば、情報処理端末２０から取得した端末状態の情報と、イベント情報記憶部３２に記憶されている開始条件とを比較することで判断することができる。
　なお、本実施形態においては、検出部２３においてアンカーを検出する場合を例示したが、アンカーの検出は情報処理装置３０において実施するようにしてもよい。スキャンデータを情報処理装置３０に提供することにより、検出部２３の代わりにまたは検出部２３と同時に、情報処理装置３０においてアンカーの検出を行うことが可能となる。
　イベント情報取得部２５は、スキャンデータ提供部２４において提供されたスキャンデータに基づき情報処理装置３０において推定される端末状態が開始条件を満足させることを示す開始条件情報を情報処理装置３０から取得する。
　イベント実行部２６は、検出部２３において検出されたアンカーに配置されたイベントが開始されるための開始条件が満足される場合に、イベントを実行する。イベントの実行は上述の通り、例えば音源の再生である。音源の再生は、例えば、情報処理装置３０から提供された音源を、情報処理端末２０に附属するスピーカ、イヤホン、または他のスピーカから出力することによって実行される。開始条件が満足される場合に音源の再生等のイベントを実行することにより、イベントを用いた演出を行うことが可能となる。
　なお、本実施形態では、音源の提供において、ＯＳＣ（Ｏｐｅｎ　Ｓｏｕｎｄ　Ｃｏｎｔｒｏｌ）のプロトコルを用いるようにしてもよい。イベント実行部２６においてＯＳＣのプロトコルを用いることにより、音源の提供をリアルタイムで実行することが可能となる。例えば、音源がライブ音源である場合、ＯＳＣのプロトコルを用いることにより、複数の情報処理端末２０においてライブ音源をリアルタイムで共有することが可能となる。また、本実施形態では、音源の提供において、立体音響を実現するための音源フォーマット（例えば、Ａｍｂｉｓｏｎｉｃｓ）を用いてもよい。イベント実行部２６において立体音響を実現するための音源フォーマットを用いることにより、容易に立体音響の音源を提供することが可能となる。また、本実施形態では、音源の提供において、ゲーム開発用のプラットフォーム（例えば、Ｗｗｉｓｅ等）を用いてもよい。イベント実行部２６においてゲーム開発用のプラットフォームを用いることにより、ゲームにおけるイベントの提供を容易にすることができる。また、本実施形態では、音源の提供において、頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ　Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いた音源の再生を行ってもよい。頭部伝達関数とは、耳殻、人頭および肩までふくめた周辺物によって生じる音の変化を伝達関数として表現したものである。イベント実行部２６において、頭部伝達関数を用いて音源から両耳までの音の変化の特性を数値化することにより、音源の方向感や音源までの距離感を認識することが可能となる。
　アンカー情報記憶部３１は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を記憶する。アンカー情報記憶部３１は、記憶したアンカー情報を情報処理端末２０に提供することができる。
　イベント情報記憶部３２は、イベント設定部１５においてイベント配置操作されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶する。イベント情報記憶部３２は、情報処理装置３０の利用者が入力した配置情報または開始条件を記憶する。イベント情報記憶部３２は、記憶した配置情報および開始情報に基づき、情報処理端末２０等においてイベントを実行させることができる。
　イベント提供部３３は、イベント情報記憶部３２に記憶された開始条件が満たされたときにイベント記憶部３４に記憶されたイベントを提供する。イベント提供部３３は、予め設定された開始条件に応じて、予め定められたイベントの実行態様においてイベントを提供するようにしてもよい。例えば、イベント提供部３３は、情報処理端末２０の識別情報（予め登録されている利用者の性別、年齢、使用言語、国籍もしくは宗教等の属性情報、または情報処理端末２０から取得される機器情報等）に応じてイベントの実行態様を変更してイベントを提供するようにしてもよい。識別情報は、例えば利用者のアカウント情報に紐付けられて取得されてもよい。イベント実行部２６は、識別情報に応じて変更されたイベントを実行することにより、多様なイベントを実行することが可能となる。
　イベント記憶部３４は、複数のイベントをリスト化したイベントリストを記憶してもよい。例えば、イベントが音源の再生である場合、イベントリストは、複数の音源または予め作成されたプレイリストである。イベント記憶部３４に記憶されたイベントは、情報処理端末２０に提供されてイベント実行部２６において再生することができる。なお、イベント記憶部３４に記憶されるイベントとは、音声データまたは画像データ等のコンテンツデータであってもよく、また、コンテンツデータの保存先または取得方法を示す情報等であってもよい。
　なお、情報処理システム１が有する上述した各機能部は、機能の一例を示したものであり、情報処理システム１が有する機能を限定したものではない。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、情報処理システム１は、上記以外の他の機能を有していてもよい。
　例えば、情報処理端末１０が有する機能部は、情報処理装置３０において実現されてもよい。同様に、情報処理端末２０が有する機能部は、情報処理装置３０において実現されてもよい。また、情報処理装置３０が有する機能部は、情報処理端末１０または情報処理端末２０において実現されてもよい。また、情報処理端末１０と情報処理端末２０は一体に形成されてもよい。
　また、上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし上記機能部の中で少なくとも１つ以上の機能部は、ハードウェアによって実現されるものであってもよい。
　また、上記何れかの機能部は、１つの機能部を複数の機能部に分割して実施してもよい。また、上記何れか２つ以上の機能部を１つの機能部に集約して実施してもよい。図１は、情報処理システム１が有する機能を機能ブロックで表現したものであり、例えば、各機能部がそれぞれ別個のプログラムファイル等で構成されていることを示すものではない。
　また、情報処理端末１０，情報処理端末２０または情報処理装置３０は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、他の仮想的な装置によって実現するものであってもよい。すなわち、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記各機能部のうち、少なくとも１以上の機能部を他の装置において実現するようにしてもよい。
　次に、図２～図５を用いて、情報処理端末１０の表示装置の表示例を説明する。以下の実施例においては、アンカーに音源を配置して、情報処理端末２０において音源を再生するイベントを実行する場合を例示する。
　図２は、実施形態における情報処理端末において用いられる表示装置の第１の表示例を示す図である。
　図２において、表示画面１０００は、表示部１２において表示される。表示画面１０００は、アンカー設定画面を示すアイコン１００１、アンカー設置ボタン１００２、退出ボタン１００３、セーブボタン１００４、プレイリストに名前を付ける命名ボタン１００５を有する。
　表示画面１０００は、情報処理端末１０に表示される表示画面であり、情報処理端末１０のカメラで撮影された撮影画像が表示されている。アンカー設置ボタン１００２は、表示画面１０００で表示されている撮影範囲のいずれかにアンカーを設置するためのボタンである。例えば、アンカー設置ボタン１００２を操作することにより、表示画面１０００の中心位置、あるいは表示画面１０００の中で図示しないカーソル位置等にアンカーを設置することができる。利用者は、アンカー設置ボタン１００２を操作することにより、図３で説明するアンカーを配置のための画面に遷移させることができる。
　退出ボタン１００３は、表示画面１０００で示す設定を終了するボタンであり、セーブボタン１００４は、現在の設定を保存するボタンである。また、命名ボタン１００５は、プレイリストに名前を付けるためのボタンである。利用者は、命名ボタン１００５を操作することにより、テキストボックス等から名前を入力することが可能となる。
　図３は、実施形態における情報処理端末において用いられる表示装置の第２の表示例を示す図である。
　図３において、表示画面２０００は、表示部１２において表示される。表示画面２０００は、試し置ボタン２００１を有する。表示画面２０００は、表示画面１０００に表示されている撮影範囲を移動させて、拡大した撮影画像である。試し置ボタン２００１は、アンカーを試し置きするためのボタンである。利用者は、試し置ボタン２００１を操作することにより、表示画面２０００の略中央にアンカーを設置することができる。なお、試し置とは、設置位置を確定する前のアンカーの設置を意味し、利用者は、自身で設置したアンカーとアンカーに設定した音源を試行的に体験することができる。
　図４は、実施形態における情報処理端末において用いられる表示装置の第３の表示例を示す図である。
　図４において、表示画面１０００は、表示部１２において表示される。表示画面３０００は、アンカー位置修正ボタン３００１、アンカー位置決定ボタン３００２およびアンカー３００３を有する。アンカー位置修正ボタン３００１は、試し置ボタン２００１で設置したアンカー３００３の位置を修正するためボタンである。利用者は、アンカー位置修正ボタン３００１を操作することにより、設置されたアンカー３００３の位置を、奥側または手前側に修正することができる。アンカー３００３の位置を奥側に修正した場合、アンカー３００３の大きさが小さくなって表示され、一方、アンカー３００３の位置を手前側に修正した場合、アンカー３００３の大きさが大きくなって表示される。なお、アンカー３００３の表示サイズは図示しない設定操作によって変更できるようにしてもよい。
　アンカー位置決定ボタン３００２は、アンカー３００３の設置位置を決定するためのボタンである。利用者は、アンカー位置決定ボタン３００２を操作することにより、図５で説明するアンカーの設置を終了するための画面に遷移させることができる。
　図５は、実施形態における情報処理端末１０において用いられる表示装置の第４の表示例を示す図である。
　図５において、表示画面１０００は、表示部１２において表示される。表示画面４０００は、終了ボタン４００１およびアンカー４００２を有する。利用者は、終了ボタン４００１を操作することにより、アンカーの設置を終了する。
　次に、図６～図７を用いて、情報処理端末２０の端末状態について説明する。
　図６は、実施形態における情報処理端末の端末状態の第１の例を示す図である。図６は、情報処理端末２０とアンカーの距離および方向が端末状態となる場合において再生態様が異なる場合を説明する。
　図６において、アンカー位置Ｏは上述した手順において設置したアンカーの空間における位置である。図示（Ａ）の位置の情報処理端末２０は、アンカー位置Ｏとｘの距離にあり、アンカーを撮影しているものとする。一方、図示（Ｂ）の位置の情報処理端末２０は、アンカー位置Ｏとｙの距離にあり、アンカーを撮影しているものとする。
　ここで、情報処理端末２０は、空間をスキャンするセンサにおいて、アンカーを検出して、情報処理端末２０との距離ｘとアンカー位置Ｏの方向に応じた音量と方向の再生態様においてアンカー位置Ｏに配置された音源を再生する。同様に、情報処理端末２０は、空間をスキャンするセンサにおいて、アンカーを検出して、情報処理端末２０との距離ｙとアンカー位置Ｏの方向に応じた音量と方向の再生態様においてアンカー位置Ｏに配置された音源を再生する。
　例えば、音源の再生条件が情報処理端末２０とアンカー位置Ｏの距離が「距離ｘ以内」であったとすると、（Ａ）の位置の情報処理端末２０は音源を再生するが、（Ｂ）の情報処理端末２０は音源を再生しない。
　図７は、実施形態における情報処理端末の端末状態の第２の例を示す図である。図７は、情報処理端末２０が２台存在する場合の端末状態における再生態様を説明する。図７における情報処理端末２０の端末状態は、情報処理端末２０のアンカーまでの距離および情報処理端末２０からアンカーまでの方向、ならびに、他の情報処理端末２０との位置関係である。
　図７において、情報処理端末２０ａと情報処理端末２０ｂの距離はｚである。すなわち、情報処理端末２０ａは、アンカー位置Ｏとの距離がｘ、および情報処理端末２０ｂとの距離がｚの端末状態にあり、情報処理端末２０ｂは、アンカー位置Ｏとの距離がｙ、および情報処理端末２０ａとの距離がｚの端末状態にあるものとする。情報処理端末２０ａと情報処理端末２０ｂの位置関係は、それぞれの情報処理端末２０がアンカー位置Ｏとの位置関係を情報処理装置３０に提供することにより算出される。
　図７においては、一の情報処理端末における音源の再生態様が、他の情報処理端末の位置によって決められる場合を例示している。情報処理端末２０ａは、アンカー位置Ｏの音源と、情報処理端末２０ｂを音源とみなした音源の両方を再生態様とした音源の再生が行われるものとする。同様に、情報処理端末２０ｂは、アンカー位置Ｏの音源と、情報処理端末２０ａを音源とみなした音源の両方を再生態様とした音源の再生が行われるものとする。すなわち、情報処理端末２０ａにおける音源の再生態様は、情報処理端末２０ｂとの距離ｚ、および情報処理端末２０ｂの位置によって決定される。同様に、情報処理端末２０ｂにおける音源の再生態様は、情報処理端末２０ａとの距離ｚ、および情報処理端末２０ａの位置によって決定される。
　次に、図８を用いて、情報処理端末１０のハードウェア構成を説明する。図８は、実施形態における情報処理端末１０のハードウェア構成の一例を示すブロック図である。なお、情報処理端末２０および情報処理装置３０のハードウェア構成は、情報処理端末１０に準ずるものとして、説明を省略する。
　情報処理端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３、Ｉ／Ｏ機器１０４、および通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５を有する。情報処理端末１０は、図１で説明した情報処理プログラムを実行する装置である。
　ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された情報処理プログラムを実行することにより、利用者端末の制御を行う。情報処理プログラムは、例えば、プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。
　Ｉ／Ｏ機器１０４は、操作入力機能と表示機能（操作表示機能）を有する。Ｉ／Ｏ機器１０４は、例えばタッチパネルである。タッチパネルは、情報処理端末１０の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態におけるＩ／Ｏ機器１０４は、操作表示機能を有するタッチパネルを用いる場合を説明するが、Ｉ／Ｏ機器１０４は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネルの表示画面は表示装置の表示画面、タッチパネルの操作は操作入力装置の操作として実施することができる。なお、Ｉ／Ｏ機器１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。
　通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図は通信用のＩ／Ｆとして通信Ｉ／Ｆ１０５のみを図示するが、情報処理端末１０は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。
　次に、図９～図１０を用いて、情報処理システム１の動作を説明する。
　図９は、実施形態における情報処理システムの動作の第１の例を示すフローチャートである。第１の例で示すフローチャートは、アンカーおよび音源の配置に係る動作を説明している。
　図９において、情報処理システム１は、音源設定のためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１１）。ステップＳ１１の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ１２）。
　ステップＳ１２の処理を実行した後、情報処理システム１は、アンカーを配置するか否かを判断する（ステップＳ１３）。アンカーを配置するか否かの判断は、例えば、利用者がアンカー設置の操作を完了したか否かで判断することができる。アンカーを配置しないと判断した場合（ステップＳ１３：ＮＯ）、情報処理システム１は、ステップＳ１２～ステップＳ１３の処理を繰り返して、アンカーが配置されるのを待機する。
　アンカーを配置したと判断した場合（ステップＳ１３：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正するか否かを判断する（ステップＳ１４）。アンカーの位置を修正すると判断した場合（ステップＳ１４：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正する（ステップＳ１５）。
　ステップＳ１５の処理を実行した後、またはアンカーの位置を修正しないと判断した場合（ステップＳ１４：ＮＯ）、情報処理システム１は、プレイリストが選択されたか否かを判断する（ステップＳ１６）。プレイリストの選択には、選択されたプレイリストの保存も含まれる。なお、所望するプレイリストが存在しない場合、情報処理システム１は、新たにプレイリストを制作するためのＵＩを提供するようにしてもよい。プレイリストが選択されていないと判断した場合（ステップＳ１６：ＮＯ）、情報処理システム１は、ステップＳ１６の処理を繰り返してプレイリストが選択されるのを待機する。
　一方、プレイリストが選択されたと判断した場合（ステップＳ１６：ＹＥＳ）、情報処理システム１は、再生条件を入力するためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１７）。ステップＳ１７の処理を実行した後、情報処理システム１は、再生条件の入力が完了したか否かを判断する（ステップＳ１８）。入力が完了していないと判断した場合（ステップＳ１８：ＮＯ）、情報処理システム１は、ステップＳ１８の処理を繰り返して、入力が完了するのを待機する。
　一方、再生条件の入力が完了したと判断した場合（ステップＳ１８：ＹＥＳ）、情報処理システム１は、ステップＳステップＳ１３～ステップＳ１５において入力されたアンカー情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ１９）。
　ステップＳ１９の処理を実行した後、情報処理システム１は、ステップＳ１６～ステップＳ１８において入力された音源に係る情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ２０）。
　ステップＳ２０の処理が終了したら、情報処理システム１は、ステップＳ１９において提供されたアンカー情報を情報処理装置３０に記憶させる（ステップＳ２１）。ステップＳ２１の処理が終了した後、情報処理システム１は、ステップＳ２０において提供された音源情報を情報処理装置３０に記憶して（ステップＳ２２）、フローチャートで示す処理を終了する。
　図１０は、実施形態における情報処理システム１の動作の第２の例を示すフローチャートである。第２の例で示すフローチャートは、音源の再生に係る動作を説明している。
　図１０において、情報処理システム１は、音源を再生するためのＵＩを、情報処理端末２０の表示画面から提供する（ステップＳ３１）。音源を再生するためのＵＩとは、例えば、空間に配置された音源の再生を楽しむＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）アプリケーションプログラムである。
　ステップＳ３２の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ３２）。
　ステップＳ３２の処理を実行した後、情報処理システム１は、アンカーが検出されたか否かを判断する（ステップＳ３３）。アンカーが検出されていないと判断した場合（ステップＳ３３：ＮＯ）、情報処理システム１は、ステップＳ３２～ステップＳ３３の処理を繰り返して、アンカーが検出されるのを待機する。
　一方、アンカーが検出されたと判断した場合（ステップＳ３３：ＹＥＳ）、情報処理システム１は、検出したアンカーを情報処理端末２０の表示画面に表示させる（ステップＳ３４）。
　ステップＳ３４の処理を実行した後、情報処理システム１は、再生条件が満足されたか否かを判断する（ステップＳ３５）。再生条件が満足されたか否かは、例えば、情報処理端末２０が再生条件情報を情報処理装置３０から取得したか否かで判断することができる。再生条件が満足されていないと判断した場合（ステップＳ３５：ＮＯ）、情報処理システム１は、ステップＳ３２～ステップＳ３５の処理を繰り返して、再生条件が満足されるのを待機する。
　一方、再生条件が満足されたと判断した場合（ステップＳ３５：ＹＥＳ）、情報処理システム１は、音源の再生を開始する（ステップＳ３６）。音源の再生は、情報処理端末２０が、情報処理装置３０から取得した音源を再生することにより実行することができる。
　ステップＳ３６の処理を実行した後、情報処理システム１は、端末状態を確認する（ステップＳ３７）。端末状態は、上述の通り、情報処理端末２０の位置、情報処理端末２０の撮影範囲等である。ステップＳ３６の処理を実行した後、情報処理システム１は、再生態様を変化させる（ステップＳ３８）。例えば、情報処理システム１は、情報処理端末２０がアンカーに近付いている場合、音源の再生音量を上げるように再生態様を変化させる。端末状態に応じた再生態様は、予め設定しておくことができる。また、端末状態に応じた再生態様は、ランダムに変更するようにしてもよい。
　ステップＳ３８の処理を実行した後、情報処理システム１は、再生を終了するか否かを判断する（ステップＳ３９）。再生を終了するか否かは、例えば、端末状態が再生条件を満足しなくなった場合、予め用意された音源の再生が終了した場合、または利用者による明示的な再生停止操作等である。再生を終了しないと判断した場合（ステップＳ３９：ＮＯ）、情報処理システム１は、ステップＳ３７～ステップＳ３９の処理を繰り返して、再生が終了するのを待機する。一方、再生を終了すると判断した場合（ステップＳ３９：ＹＥＳ）、情報処理システム１は、フローチャートに示した動作を終了する。
　なお、図示したフローチャートは、動作の一例を示したものであり、動作を限定するものではない。
　なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
　１　　　　情報処理システム
　１０　　　情報処理端末
　１１　　　取得部
　１２　　　表示部
　１３　　　アンカー配置部
　１４　　　アンカー情報提供部
　１５　　　イベント設定部
　１６　　　イベント情報提供部
　２０　　　情報処理端末
　２０ａ　　情報処理端末
　２０ｂ　　情報処理端末
　２１　　　取得部
　２２　　　表示部
　２３　　　検出部
　２４　　　スキャンデータ提供部
　２５　　　イベント情報取得部
　２６　　　イベント実行部
　３０　　　情報処理装置
　３１　　　アンカー情報記憶部
　３２　　　イベント情報記憶部
　３３　　　イベント提供部
　３４　　　イベント記憶部
　１０１　ＣＰＵ
　１０２　ＲＡＭ
　１０３　ＲＯＭ
　１０４　Ｉ／Ｏ機器
　１０５　通信Ｉ／Ｆ
　１０００　表示画面
　１００１　アイコン
　１００２　アンカー設置ボタン
　１００３　退出ボタン
　１００４　セーブボタン
　１００５　命名ボタン１００５
　２０００　表示画面
　２００１　試し置ボタン
　３０００　表示画面
　３００１　アンカー位置修正ボタン
　３００２　アンカー位置決定ボタン
　３００３　アンカー
　４０００　表示画面
　４００１　終了ボタン

Claims (17)

  1. 　空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、
    　カメラにおいて撮影された撮影画像を表示器に表示する表示部と、
    　前記取得部において取得されたスキャンデータに基づき、前記表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、
    　前記アンカー配置部において配置された前記アンカーに係るアンカー情報を記憶するアンカー情報記憶部と、
    　前記アンカー情報記憶部に記憶された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、
    　前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶部と、
    　イベントを記憶するイベント記憶部と、
    　前記イベント情報記憶部に記憶された開始条件が満たされたときに前記イベント記憶部に記憶されたイベントを提供するイベント提供部と
    　を備える、情報処理システム。
  2. 　前記イベント設定部は、前記アンカー情報に対して音源を対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置された音源の再生を開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供し、
    　前記イベント記憶部は、音源を記憶し、
    　前記イベント提供部は、前記開始条件が満たされたときに前記イベント記憶部に記憶された音源を提供する、請求項１に記載の情報処理システム。
  3. 　前記アンカー配置部は、前記アンカーを配置する位置を前記表示部において表示された前記撮影画像を用いて修正する操作を利用者にさらに提供する、請求項１または２に記載の情報処理システム。
  4. 　前記イベント設定部は、イベントが実行される端末と前記アンカーまでの距離を前記開始条件として設定する操作を利用者に提供する、請求項１から３のいずれか一項に記載の情報処理システム。
  5. 　前記取得部は、空間をスキャンするセンサにおいて測距された測距データを取得する、請求項１から４のいずれか一項に記載の情報処理システム。
  6. 　前記取得部は、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）技術を用いたセンサにおいて測距された測距データを取得する、請求項５に記載の情報処理システム。
  7. 　空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、
    　カメラにおいて撮影された撮影画像を表示器に表示する表示部と、
    　前記取得部において取得されたスキャンデータに基づき、前記表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、
    　前記アンカー配置部において配置された前記アンカーに係るアンカー情報を情報処理装置に提供するアンカー情報提供部と、
    　前記情報処理装置に提供された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、
    　前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを前記情報処理装置に提供するイベント情報提供部と、
    　を備える、情報処理端末。
  8. 　空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、
    　前記取得部において取得されたスキャンデータに基づき、空間に仮想的に配置されたアンカーを検出する検出部と、
    　前記検出部において検出されたアンカーを、カメラにおいて撮影された撮影画像に表示させる表示部と、
    　前記検出部において検出されたアンカーに対応付けて配置されたイベントに設定された、イベントを開始させるための開始条件が満足される場合に、イベントを実行するイベント実行部と
    　を備える、情報処理端末。
  9. 　前記イベント実行部は、前記取得部において取得されたスキャンデータに基づき推定される情報処理端末の端末状態が前記開始条件を満足させる場合にイベントを実行する、請求項８に記載の情報処理端末。
  10. 　前記取得部において取得されたスキャンデータを情報処理装置に提供するスキャンデータ提供部と、
    　前記スキャンデータ提供部において提供されたスキャンデータに基づき前記情報処理装置において推定される前記端末状態が前記開始条件を満足させることを示す開始条件情報を前記情報処理装置から取得する開始情報取得部と、をさらに備え、
    　前記イベント実行部は、前記開始情報取得部において取得された開始条件情報が前記開始条件を満足させる場合に、イベントを実行する、請求項９に記載の情報処理端末。
  11. 　前記イベント実行部は、前記取得部において取得されたスキャンデータに基づき推定される情報処理端末の位置および方向と、前記検出部において検出されたアンカーの位置とが前記開始条件を満足させる場合に音源を再生する、請求項８から１０のいずれか一項に記載の情報処理端末。
  12. 　前記イベント実行部は、前記取得部において取得されたスキャンデータに基づき、イベントの実行態様を変化させる、請求項８から１１のいずれか一項に記載の情報処理端末。
  13. 　前記イベント実行部は、前記実行態様としてイベントで再生される音量を変化させる、請求項１２に記載の情報処理端末。
  14. 　前記イベント実行部は、他の情報処理端末の端末状態に基づき、イベントの実行態様を変化させる、請求項８から１３のいずれか一項に記載の情報処理端末。
  15. 　前記イベント実行部は、前記表示部において表示された撮影画像に基づき、イベントの実行態様を変化させる、請求項８から１４のいずれか一項に記載の情報処理端末。
  16. 　空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得ステップと、
    　カメラにおいて撮影された撮影画像を表示器に表示する表示ステップと、
    　前記取得ステップにおいて取得されたスキャンデータに基づき、前記表示ステップにおいて表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置ステップと、
    　前記アンカー配置ステップにおいて配置された前記アンカーに係るアンカー情報を記憶するアンカー情報記憶ステップと、
    　前記アンカー情報記憶ステップにおいて記憶された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定ステップと、
    　前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶ステップと、
    　イベントを記憶するイベント記憶ステップと、
    　前記イベント情報記憶ステップにおいて記憶された開始条件が満たされたときに前記イベント記憶ステップにおいて記憶されたイベントを提供するイベント提供ステップと
    　を含む、情報処理方法。
  17. 　コンピュータに、
    　空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得処理と、
    　カメラにおいて撮影された撮影画像を表示器に表示する表示処理と、
    　前記取得処理において取得されたスキャンデータに基づき、前記表示処理において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置処理と、
    　前記アンカー配置処理において配置された前記アンカーに係るアンカー情報を記憶するアンカー情報記憶処理と、
    　前記アンカー情報記憶処理において記憶された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定処理と、
    　前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶処理と、
    　イベントを記憶するイベント記憶処理と、
    　前記イベント情報記憶処理において記憶された開始条件が満たされたときに前記イベント記憶処理において記憶されたイベントを提供するイベント提供処理と
    　を実行させるための、情報処理プログラム。
PCT/JP2021/046633 2020-12-18 2021-12-16 情報処理システム、情報処理方法および情報処理プログラム WO2022131347A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180085733.8A CN116635930A (zh) 2020-12-18 2021-12-16 信息处理系统、信息处理方法以及信息处理程序
US18/336,926 US20230334799A1 (en) 2020-12-18 2023-06-16 Information processing system, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020210740A JP6975489B1 (ja) 2020-12-18 2020-12-18 情報処理システム、情報処理方法および情報処理プログラム
JP2020-210740 2020-12-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/336,926 Continuation US20230334799A1 (en) 2020-12-18 2023-06-16 Information processing system, information processing method, and information processing program

Publications (1)

Publication Number Publication Date
WO2022131347A1 true WO2022131347A1 (ja) 2022-06-23

Family

ID=78766830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046633 WO2022131347A1 (ja) 2020-12-18 2021-12-16 情報処理システム、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US20230334799A1 (ja)
JP (2) JP6975489B1 (ja)
CN (1) CN116635930A (ja)
WO (1) WO2022131347A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2019044104A1 (ja) * 2017-08-31 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2019111465A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
WO2019161312A1 (en) * 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
JP2020520000A (ja) * 2017-05-05 2020-07-02 ユニティ アイピーアール エイピーエスＵｎｉｔｙ Ｉｐｒ Ａｐｓ 混合現実環境でのコンテキストアプリケーション
JP2020144574A (ja) * 2019-03-06 2020-09-10 Kddi株式会社 画像に応じて音オブジェクトを混合するプログラム、装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2020520000A (ja) * 2017-05-05 2020-07-02 ユニティ アイピーアール エイピーエスＵｎｉｔｙ Ｉｐｒ Ａｐｓ 混合現実環境でのコンテキストアプリケーション
WO2019044104A1 (ja) * 2017-08-31 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2019111465A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
WO2019161312A1 (en) * 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
JP2020144574A (ja) * 2019-03-06 2020-09-10 Kddi株式会社 画像に応じて音オブジェクトを混合するプログラム、装置及び方法

Also Published As

Publication number Publication date
JP2022097263A (ja) 2022-06-30
US20230334799A1 (en) 2023-10-19
JP2022097382A (ja) 2022-06-30
JP6975489B1 (ja) 2021-12-01
CN116635930A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
US9774978B2 (en) Position determination apparatus, audio apparatus, position determination method, and program
US9392248B2 (en) Dynamic POV composite 3D video system
KR20120017293A (ko) 증강 현실 제공 장치 및 방법
CN113692604A (zh) 用于使用增强现实来显示周围信息的方法和装置
CN113806036A (zh) 虚拟内容的输出
CN113936699B (zh) 音频处理方法、装置、设备及存储介质
WO2022115743A1 (en) Real world beacons indicating virtual locations
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
JP6975489B1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
CN113269877A (zh) 获取房间布局平面图的方法和电子设备
CN112788443B (zh) 基于光通信装置的交互方法和系统
JP6792666B2 (ja) 端末装置、端末装置の制御方法、コンピュータプログラム
JP7370461B2 (ja) メディアデータを再生する方法、装置、システム、デバイス、および記憶媒体
KR20140132452A (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
KR20180055764A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
JP6178578B2 (ja) 情報処理装置
CN109981893B (zh) 歌词显示方法及装置
KR101964466B1 (ko) 3d 영상 제공 장치
JP2010165081A (ja) 表示装置、立体コンテンツ生成システム、立体コンテンツ生成装置、及び、立体コンテンツ生成方法
KR20230164491A (ko) 음향 기반 가상현실 서비스 제공 시스템 및 이를 이용한 가상현실 서비스 제공 방법
KR20220122992A (ko) 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램
KR20210138357A (ko) 현실 인식을 이용한 콘텐츠 재생 방법과 시스템
KR20190006584A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906707

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180085733.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906707

Country of ref document: EP

Kind code of ref document: A1