WO2021153302A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2021153302A1
WO2021153302A1 PCT/JP2021/001417 JP2021001417W WO2021153302A1 WO 2021153302 A1 WO2021153302 A1 WO 2021153302A1 JP 2021001417 W JP2021001417 W JP 2021001417W WO 2021153302 A1 WO2021153302 A1 WO 2021153302A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
guide
exhibit
information processing
control unit
Prior art date
Application number
PCT/JP2021/001417
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
邦仁 澤井
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021153302A1 publication Critical patent/WO2021153302A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising

Definitions

  • the present technology relates to an information processing device and an information processing method, and more particularly to an information processing device and an information processing method capable of improving user satisfaction.
  • Patent Document 1 analyzes the tastes of viewers, including the viewing time of which works in museums and museums, and recommends works among the works that could not be viewed from the analysis results.
  • the technology for notifying visitors of recommended works by e-mail after deciding and leaving the museum is disclosed.
  • This technology was made in view of such a situation, and makes it possible to improve user satisfaction.
  • the information processing device of one aspect of the present technology analyzes an event related to the user in the space where the object exists and the object based on the analysis target data, and based on the analysis result of the event, the information processing device for the user It is an information processing device including a control unit that controls the presentation of a guide of an object.
  • the information processing device analyzes an event related to the user in the space where the object exists and the object based on the analysis target data, and based on the analysis result of the event. , Is an information processing method that controls the presentation of a guide for the object to the user.
  • the user in the space where the object exists and the event related to the object are analyzed based on the analysis target data, and based on the analysis result of the event. Therefore, the presentation of the guide of the object to the user is controlled.
  • the information processing device on one aspect of the present technology may be an independent device or an internal block constituting one device.
  • FIG. 1 shows an example of appreciation using an audio guide in a facility such as a museum.
  • the user is listening to the audio guide reproduced on the user terminal 10 by using earphones while watching the painting.
  • this audio guide matters related to the painting that the user is watching, the background of the times, and the like are reproduced, so that the user can enjoy the experience of viewing the painting that is being watched at the same time.
  • the user terminal 10 is a device dedicated to a guide, or a device such as a smartphone or tablet terminal on which a guide application is installed, a glasses-type wearable device, or the like.
  • the user terminal 10 may have a function of displaying a moving image, a still image, an animation, or the like on the screen in addition to the function of reproducing the voice guide.
  • FIG. 2 shows a configuration example of the presentation system 1 as an embodiment of an information processing system to which the present technology is applied.
  • the presentation system 1 is composed of a user terminal 10 and a server 20.
  • the user terminal 10 and the server 20 are connected to each other via a network.
  • This network includes communication networks such as the Internet, intranets, and mobile phone networks.
  • the user terminal 10 is configured as, for example, a guide-dedicated device, a smartphone, a tablet terminal, a glasses-type wearable device, a PC (Personal Computer), or the like.
  • a guide application downloaded via a network is installed.
  • the user terminal 10 has an input unit 101 and a presentation unit 102.
  • the input unit 101 acquires various data such as sensor data obtained by various sensing and input data according to the user's utterance and operation, and outputs the data as analysis target data.
  • the input unit 101 includes a position detection unit 111, a state detection unit 112, and an interactive input unit 113.
  • the position detection unit 111 senses spatial information, time information, etc., and outputs sensor data related to the user's position obtained as a result of the sensing.
  • the position detection unit 111 includes sensors such as a BLE sensor and an infrared sensor, as well as a camera, a microphone, and the like.
  • the BLE sensor is a sensor that uses BLE (Bluetooth Low Energy), which is a short-range wireless communication technology.
  • An infrared sensor is a sensor that receives infrared rays, converts them into electric signals, and extracts and uses necessary information.
  • the camera outputs the captured image data obtained by performing signal processing by photoelectric conversion of the light from the subject as sensor data.
  • the microphone receives sound as vibration of air and outputs sound data as its electric signal as sensor data.
  • the state detection unit 112 senses spatial information, time information, and the like, and outputs sensor data related to the user's state obtained as a result of the sensing.
  • the state detection unit 112 includes various sensors for acquiring the user's line of sight, movement, and biological information, as well as a camera and the like.
  • Various sensors include, for example, an acceleration sensor that measures acceleration in three directions of the XYZ axes, a gyro sensor that measures the angular velocity of the three axes of the XYZ axes, and a living body that measures information such as the heart rate, body temperature, or posture of the organism.
  • Various sensors such as sensors, proximity sensors that measure proximity, and magnetic sensors that measure the magnitude and direction of a magnetic field (magnetic field) can be included. The same camera can be used in the position detection unit 111 and the state detection unit 112.
  • the dialogue input unit 113 is a user interface for performing a dialogue with the user, and outputs input data such as voice data and text data according to the dialogue.
  • the dialogue input unit 113 includes a microphone, a touch panel, physical buttons, and the like. The same microphone can be used in the position detection unit 111 and the dialogue input unit 113.
  • the analysis target data output from the input unit 101 is transmitted to the server 20 via the network.
  • the presentation unit 102 presents a guide of an object (exhibit in a museum, etc.) so that the user can perceive it by at least one sensory function among the user's visual, auditory, and tactile senses.
  • the presentation unit 102 has an audio output unit 121 and an image output unit 122.
  • the presentation unit 102 may have one of the audio output unit 121 and the image output unit 122.
  • the audio output unit 121 outputs sound according to the sound data supplied to the audio output unit 121.
  • the audio output unit 121 may be configured as a speaker, or may output sound from earphones or headphones connected wirelessly or by wire.
  • the image output unit 122 displays an image according to the image data supplied to the image output unit 122.
  • the image output unit 122 is configured as a display, a projector, or the like.
  • the server 20 is composed of a dedicated server or the like.
  • the server 20 has a control unit 200 including a state analysis unit 211, a content control unit 212, and a presentation control unit 213. Further, the server 20 has a database such as a user DB 221 and a content DB 222.
  • the server 20 receives the analysis target data transmitted from the user terminal 10 via the network and supplies it to the state analysis unit 211.
  • the state analysis unit 211 executes the state analysis process based on the analysis target data, and supplies the analysis result to the content control unit 212. Further, the state analysis unit 211 can refer to the information stored in the database such as the user DB 221 or the content DB 222 as needed when executing the state analysis process.
  • this event includes an event related to the user's movement, an event related to the user's walking speed, an event related to the user's gaze on the exhibit, an event related to the time required for the guide requested by the user, and the like, the details of which will be described later. do.
  • the content control unit 212 processes the content such as the guide recorded in the content DB 222 based on the analysis result supplied from the state analysis unit 211, and supplies the content to the presentation control unit 213.
  • the presentation control unit 213 controls to present the content such as the guide supplied from the content control unit 212 to the presentation unit 102 of the user terminal 10 via the network.
  • the user DB 221 records information (preference information, history information, etc.) about each user for each user.
  • the content DB 222 records content such as a guide. Further, the tables of FIGS. 5, 7, 9, and 10 described later are recorded in the content DB 222.
  • FIG. 2 shows the minimum configuration of the user terminal 10 and the server 20, and other functions may be included.
  • an auxiliary storage device such as a semiconductor memory, a communication module compatible with wireless communication or wired communication such as cellular communication (for example, 5G) or wireless LAN (Local Area Network), or a physical button. It may be configured to include an operation unit such as a touch panel or a touch panel.
  • FIG. 2 illustrates one user terminal 10, each user in the space of a facility such as a museum can possess the user terminal 10.
  • the server 20 may be composed of a plurality of servers, or may be provided by a separate server as a service for each function.
  • the service for each function may be provided not only by the same business operator but also by a different business operator for each service.
  • the presentation system 1 is configured as described above.
  • Fig. 3 assumes that a large number of viewers are viewing exhibits such as paintings installed in each area in the museum.
  • the viewer to be processed is also referred to as a user.
  • the exhibits installed in the museum the exhibits that the user can appreciate are also called the target exhibits.
  • step S11 the state analysis unit 211 performs state analysis processing based on the analysis target data, and detects the walking speed of the user moving in the museum.
  • step S12 the state analysis unit 211 performs a state analysis process based on the analysis target data and the analysis result of the user's walking, and detects the stop position of the user in the museum.
  • step S13 the state analysis unit 211 performs the state analysis process based on the analysis target data and the user's stop position, and the target exhibit installed in the vicinity of the stop position has already been presented to the user as a guide. Judge whether it is an exhibit of.
  • step S13 If it is determined in the determination process of step S13 that the target exhibit is not an exhibit for which the guide has been presented, the process proceeds to step S14.
  • step S14 the state analysis unit 211 determines whether the distance is close or far by performing a threshold value determination regarding the distance of the user's stop position with respect to the installation position of the target exhibit.
  • step S15 If the value indicating the distance is less than a certain value in the determination process of step S14 and it is determined that the user's distance to the target exhibit is short, the process proceeds to step S15.
  • step S15 the presentation control unit 213 presents the technique guide of the target exhibit to the presentation unit 102 of the user terminal 10 possessed by the user in accordance with the control from the content control unit 212.
  • This technique guide is a guide including an explanation about the detailed features of the object exhibit, and may be output as audio from the audio output unit 121, or may be displayed as an image by the image output unit 122.
  • step S14 when the value indicating the distance becomes a certain value or more and it is determined that the user's distance to the target exhibit is long, the process proceeds to step S16.
  • step S16 the presentation control unit 213 presents the entire / background guide of the target exhibit to the presentation unit 102 of the user terminal 10 possessed by the user in accordance with the control from the content control unit 212.
  • This whole / background guide is a guide including an explanation about the whole and the background of the target exhibit, and is presented as a sound by the sound output unit 121 or an image by the image output unit 122.
  • the width of the painting corresponds to the width of the painting as the area in the space for the painting which is the exhibit a-1. It is assumed that a semicircular near area A11 having a diameter and a semicircular far area A12 having a diameter larger than the width of the painting are assumed.
  • the technique guide is presented to the presentation unit 102.
  • the presentation unit 102 presents the whole / background guide.
  • FIG. 5 shows an example of a guide according to the position of the user with respect to the exhibit.
  • a detailed guide presented according to the position of the user is prepared for each exhibit (painting) identified by the exhibit ID.
  • three types of guides, technique, production background, and historical background, are illustrated as detailed guides for each exhibit, but two or less or four or more types of detailed guides may be prepared.
  • the guide for the exhibit with exhibit ID 001 includes a technique guide that says “especially a scratching touch " and a production that says “the author at this time is with his family " as a detailed guide.
  • a background guide and an era background guide that says “freely cross the border " are prepared in advance.
  • a technique guide, a production background guide, and an era background guide are prepared in the same way as the guide for the exhibit with exhibit ID 001, and the user can use the nearby area. If you are in A11, you will be presented with a technique guide for each exhibit, and if you are in the distant area A12, you will be presented with a production background guide and a historical background guide for each exhibit.
  • step S17 the state analysis unit 211 determines whether or not the user has finished viewing based on the analysis target data.
  • step S17 If it is determined in the determination process of step S17 that the user has not finished viewing, the process returns to step S11, and the above-mentioned process is repeated.
  • step S13 determines that the target exhibit is an exhibit whose guide has already been presented. If the determination process in step S13 determines that the target exhibit is an exhibit whose guide has already been presented, the process proceeds to step S18.
  • step S18 the state analysis unit 211 determines whether or not a certain time has passed based on the analysis target data.
  • step S18 the state analysis unit 211 determines whether or not there is a user request based on the analysis target data.
  • step S19 If it is determined in the determination process of step S19 that there is a user request, the process proceeds to step S14, and the processes after step S14 described above are executed. That is, in this case, a technique guide or an overall / background guide is presented according to the user's distance to the target exhibit.
  • step S19 determines whether there is no user request. If it is determined in the determination process of step S19 that there is no user request, the process returns to step S12, and the processes after step S12 described above are executed. That is, in this case, instead of presenting the guide immediately, the stop position is detected again, and the presentation of the guide according to the stop position is controlled.
  • step S18 If it is determined in the determination process of step S18 that a certain period of time has passed, the process proceeds to step S20.
  • step S20 the presentation control unit 213 presents an unpresented guide regarding the target exhibit to the presentation unit 102 of the user terminal 10 possessed by the user in accordance with the control from the content control unit 212.
  • step S20 the process proceeds to step S17.
  • step S17 if it is determined that the user's viewing has not been completed, the process is returned to step S11. On the other hand, if it is determined in the determination process of step S17 that the user's viewing is completed, the process proceeds to step S21.
  • step S21 the presentation control unit 213 ends the guide presented to the presentation unit 102 of the user terminal 10.
  • the guide presentation process is completed.
  • the guide amount or the speaking speed can be controlled according to the walking speed of the user moving in the museum.
  • the guide amount is a quantitative representation of the guides that can be presented within a certain period of time.
  • the threshold value of the walking speed of a user moving in the museum is determined, and the guide amount and the speaking speed can be controlled in three stages of a slow walking speed, a medium walking speed, and a fast walking speed.
  • the guide amount is presented so as to be larger than the standard at the standard speaking speed. Control and control the presentation so that when the guide amount is standard, the speaking speed is slower (slower) than the standard.
  • the standard means a state in which a general-purpose setting value (setting value for a general user) is set on the side of the guide creator.
  • the presentation is controlled so as to be the standard guide amount.
  • the presentation is controlled so that the guide amount is smaller than the standard at the standard speaking speed, and the guide amount is standard. At the time of, the presentation is controlled so that the speaking speed becomes faster.
  • the walking speed is not limited to the speed in the exhibition space of the current area, and the walking state of the user before entering the exhibition space such as the current area or the previous area may be detected and used.
  • (B) Guide presentation control according to the viewer's gaze point For example, a technique guide that detects the gaze point from the user's face or line of sight and explains the technique related to the part of the exhibit that the user is watching.
  • the presentation can be controlled.
  • the gazing point represents the position where the user's point of view stays.
  • the longer the user is watching the exhibit the more a technique guide can be presented that explains the details of the technique. Specifically, when a line of sight that moves the featured part of the exhibit is detected as the line of sight of the user, a detailed explanation of the technique of the featured part will be continued.
  • the characteristic portion A as a characteristic portion drawn on the painting which is the exhibit a-2
  • B and C are drawn
  • the gazing point of the user U can be detected and a technique guide regarding the feature portion viewed by the user U can be presented.
  • a guide for explaining the technique of the feature portion A according to the gazing point is presented. Further, when the user U has a gaze point on the feature portion B of the exhibit a-2, a guide explaining the technique of the feature portion B is presented, and the feature portion C of the exhibit a-2 is presented with a guide. If there is a gaze point for user U, a guide explaining the technique of feature portion C is presented.
  • FIG. 6 for convenience of explanation, it is described that the user U moves laterally along the drawing surface of the painting which is the exhibit a-2, but the user U does not necessarily have to move. Instead, the feature portion to be watched may be changed by moving the head, the line of sight, or the like while the user U is stopped at a certain position. Also in FIG. 6, when the user U moves from the near area A11 to the far area A12, the whole / background guide is presented.
  • FIG. 7 is a diagram showing an example of a guide according to the user's gaze point on the exhibit.
  • a technique guide presented according to the user's gaze point is prepared.
  • a technique guide for each exhibit a guide for explaining the feature portions A, B, and C is illustrated.
  • the guide for the exhibit with exhibit ID 001 includes an explanation about the feature part A, which is "the flower in the vase has a touch ", and a feature, which is "the color of the paper knife ".
  • two-dimensional exhibits such as paintings are illustrated as exhibits a-1 and a-2, but three-dimensional exhibits such as sculptures and objects are used as exhibits in museums. There are also works, and in the case of such a three-dimensional exhibit, the user can appreciate the surface of the three-dimensional image from various directions.
  • FIG. 8 when the exhibit a-3 having a three-dimensional shape such as a sculpture installed in a museum is viewed from the side surface, the position of the user U who is viewing the exhibit a-3 is detected. Then, a technique guide regarding the feature portion that the user U is viewing can be presented.
  • arrows G11 to G13 of the alternate long and short dash line represent the line of sight of the user U at each position.
  • the exhibit a-3 has a columnar shape, but when the user U is in the front area A31 on the front side of the side surface, a technique guide regarding the technique on the front side is presented, and the technique guide on the back side is presented. If there is a user U in the back area A32, a technique guide on the technique on the back side is presented.
  • the presentation of the technique guide is controlled according to the position of the user U, but it is possible to detect the gazing point of the user U and present the technique guide regarding the feature portion that the user is watching. Is as described above.
  • the gaze point of the user U is not limited to a specific object, that is, when the viewpoint is constantly moved to view the entire object, a guide for explaining the background of the exhibit and the like. May be presented. Furthermore, when presenting a guide for explaining the background of the exhibit, images and music expressing the atmosphere of the time may be presented.
  • the guide presentation may be controlled according to the route of the user moving in the museum.
  • the user's movement route is a route in which the value indicating the user's distance to the exhibit changes from a certain value or more to less than a certain value, that is, when the user approaches the exhibit while looking at it from a distance.
  • the user's movement route is a route in which the value indicating the distance of the user to the exhibit changes from less than a certain value to more than a certain value, that is, the user sees the exhibit in close proximity.
  • the route of exhibits is decided in a museum or the like and the user skips the order of the exhibits and watches, the exhibits actually seen, that is, the characteristics common to the selected exhibits. It is possible to control the presentation of an explanation guide including.
  • FIG. 9 shows an example of the features of the exhibit.
  • each exhibit (painting, sculpture, etc.) identified by the exhibit ID has features such as religion, landscape, upper class, worker, excitement, scratching, repetition, pointillism, geometry, imitation, and shading. Is prepared, and each exhibit has the features marked with a circle ( ⁇ ).
  • the exhibit with Exhibit ID 001 has the characteristics of religion, upper class, repetition, and geometry.
  • the exhibit with exhibit ID 002 has characteristics such as landscape and upper class
  • the exhibit with exhibit ID 003 has characteristics such as religion and landscape
  • the exhibit with exhibit ID 004 has characteristics such as landscape and landscape. It has characteristics such as landscape and workers.
  • the amount of knowledge of the user may be acquired by registering a questionnaire in advance, viewing history of other events, etc., and by voice dialogue with the agent on the spot. As the appreciation of each user progresses, the amount of information stored in the user DB 221 also increases, and a more personalized guide can be presented.
  • the amount of knowledge of the user can be acquired.
  • the user's answer is obtained by, for example, detecting an action such as a voice dialogue with an agent, a touch operation for the answer on the screen presented to the presentation unit 102 of the user terminal 10, or a user's nod.
  • the plurality of stimuli can include a question by voice, a visual presentation to a user terminal, a sound (including a sound effect), music, and the like.
  • the explanation of the same area can be presented in detail in another area. If the explanation time becomes long due to this presentation, the explanation of the area of relatively little interest may be deleted.
  • the user's preference and behavior history in the space inside the museum such as an art museum may be analyzed, and the content of the guide regarding the exhibits exhibited in the museum may be changed based on the analysis result.
  • a guide with a more detailed explanation of the exhibits that are presumed to be of interest is presented.
  • the contents of the guide can be changed according to the behavior in the hall after the user starts viewing.
  • (E) Guide presentation control corresponding to congestion in the facility By estimating the route and walking speed of the user, it may be determined whether the influence of the congestion situation in the museum or the like or the influence of the individual user.
  • FIG. 10 shows an example of the time required for the guide.
  • the time required for the general guide and the detailed guide is registered for each exhibit identified by the exhibit ID.
  • the detailed guide provides detailed explanations step by step according to the depth of explanation, such as detail 1, detail 2, detail 3, ... Detail N (an integer of N: 1 or more).
  • the time required for the general guide is 30 seconds
  • the time required for details 1, details 2, and details 3 of the detailed guide is 60 seconds, 30 seconds, and 90 seconds, respectively.
  • the exhibits with exhibit IDs 002,003,004 have the same required time of 30 seconds for the general guide, but the required times of detail 1, detail 2, and detail 3 of the detailed guide are 40 seconds, 50 seconds, and 80 seconds, respectively. It differs between 45 seconds, 70 seconds, and 85 seconds, and 35 seconds, 20 seconds, and 90 seconds.
  • the required time is defined by, for example, the following equation (1).
  • Time required guide time + travel time + viewing time without guide ... (1)
  • the required time is not limited to the guide time for presenting the guide, but the average travel time of the user and the viewing time without the guide can be taken into consideration.
  • the travel time and the viewing time may be set by the organizer holding the exhibition at the museum, or may be set by the user by operating the user terminal 10 or the like.
  • the shortest time is presented only by the general guide, and details 1 to N are added as appropriate according to the requested required time.
  • the presented guide is a combination of explanations prepared in advance.
  • the exhibit with exhibit ID 001 For example, if 300 seconds is requested as the time required for the exhibit with exhibit ID 001, the travel time is 30 seconds, and the unguided viewing time is 150 seconds, the exhibit with exhibit ID 001 will be displayed. Since the time required for the general guide is 30 seconds, the remaining time of the guide time is 90 seconds. For the exhibit with exhibit ID 001, the total time required for detail 1 and detail 2 is 90 seconds.
  • the walking speed of the user and the viewing time without a guide are detected in advance, and the detected walking speed and viewing time are detected. May be reflected in the calculation of the required time performed thereafter.
  • the depth of explanation of the guide may be changed for each individual exhibition in the museum by using information such as pre-registration and past history managed by the user DB 221 or the like. That is, it is possible to present a guide suitable for the required time based on information on at least one of the user's pre-registration or past history.
  • the depth of the guide's explanation for the subsequent exhibits may be changed according to the viewing speed of the exhibits by the user.
  • the guide's explanation for the subsequent exhibits may be lengthened (deep).
  • the same guide may be presented to the users who are watching together, but when each user's gaze point to the exhibit such as a painting is different, the note of at least one user in the group A guide according to the viewpoint can be presented in common.
  • the user terminal 10 is a device (AR device) compatible with augmented reality (AR) and visual expression using AR technology is possible, it is via a display. Then, the AR information may be used to indicate the gaze part of the exhibit such as a painting by lighting or blinking, or to surround the area.
  • AR device augmented reality
  • AR augmented reality
  • a pair of transmissive displays for the left eye and the right eye are arranged at the position of the lens attached to the frame in ordinary eyeglasses, and the eyeglass-type wearable device worn around the user's eye ( AR glasses) can be used.
  • AR glasses eyeglass-type wearable device worn around the user's eye
  • AR information can be displayed in the field of view without separating the user's field of view from the real space, so other users can watch the highlighted gaze while watching the exhibits such as paintings. You can check the part.
  • the presentation of the highlight ends.
  • the user terminal 10 is a device that supports only voice
  • the line of sight of another user may be guided by a voice output such as "xxx on the left side".
  • the gaze portion that the most users are gazing at may be preferentially selected. ..
  • the front swing part of the guide was presented to the users who were already gazing at the gazing point, and all the members of the group watched the gazing point. At that point, the presentation of the main body of the guide may be started.
  • FIGS. 11 and 12 show an example of presenting a guide when viewing in a group of a plurality of people.
  • FIGS. 11 and 12 it is assumed that a group of three users, user U1, user U2, and user U3, is acting together and watching the exhibit a-4 in the museum.
  • the painting on exhibit a-4 is a landscape painting depicting mountains, forests, and lakes.
  • the dashed arrows G1 to G3 represent the line of sight of each user.
  • the lake part is surrounded by highlight H by the AR information through the transmissive display.
  • the line of sight of the user U1 can be guided from the forest to the lake.
  • the user terminal 10 is not an AR glass but a device that supports only voice, the line of sight of the user U1 may be guided toward the lake by voice output such as "Lake on the right side".
  • the exhibit a- The front swing part of the guide of 4 is presented.
  • the voice output of "I will explain the lake” is performed.
  • the user U1 moves his / her gaze to the lake, which is the gaze portion to be explained, by the highlight H or the guidance of words.
  • the presentation of the main body part of the guide of the exhibit a-4 is started.
  • a guide that can be established without a forward swing part such as a voice output of "The color of the lake is " is presented.
  • the gaze part in the landscape painting is specified by the user's line of sight, but other specific methods may be used as long as the gaze part can be specified, for example, the movement of pointing by the user. I do not care.
  • those orientations are estimated by analyzing sensor data from a sensor device installed in the space inside the facility. be able to. However, if the estimation accuracy of body orientation or face orientation is low, it can be applied only to rough exhibits. Further, regarding the action of pointing by the user, the target of pointing can be estimated by analyzing the sensor data from the sensor device.
  • Music may be set for each of the exhibits installed in facilities such as museums, and the music may be played from the user terminal 10 according to the position and line of sight of the user with respect to each exhibit.
  • music can be set for the exhibit based on the user's music viewing history and the like. For example, by analyzing information such as the age, background, and mood (light color tone, dark theme title, etc.) of the exhibit, and selecting the music that matches the exhibit from the music that can be viewed by the user, The selected music can be played as BGM or the like.
  • the required time expected for the route obtained from a travel plan or schedule is obtained, and the content of the guide is changed according to the required time. Can be done.
  • the contents of the guide can be changed according to the estimation result.
  • the guide also focused on those who visited at another time (students, etc.). May be presented.
  • the guide may be presented with priority to the students who have seen the object.
  • the contents of the guide may be changed according to the intention of the organizer.
  • an organizer such as a travel agency that organizes a sightseeing tour gives a priority to the guide in advance, so that only the participants of the sightseeing tour can change the guide amount of the guide to be presented according to the priority. Can be done.
  • control unit 200 is provided on the server 20 connected to a network such as the Internet, but all or part of the functions of the control unit 200 are provided in a facility such as a museum. It may be realized in other devices such as a server.
  • FIG. 13 shows another configuration example of an embodiment of an information processing system to which the present technology is applied.
  • an in-facility server 13 provided in a facility such as a museum and an external server 21 are connected via a network 30.
  • the network 30 is configured to include a communication network such as the Internet, an intranet, or a mobile phone network, and enables interconnection between devices using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol). ..
  • a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • control unit 130 of the in-facility server 13 and the control unit 210 of the external server 21 are each provided with a configuration of all or a part of the control unit 200 described with reference to FIG.
  • the function of the control unit 200 (FIG. 2) is not limited to the configuration provided by the server on the cloud, and the configuration provided by the local server may be used.
  • the database 220 is composed of the user DB 221 and the content DB 222 shown in FIG. That is, the external server 21 may be configured as a DB server that manages the database 220.
  • the user terminal 10 has a sensor unit such as a position detection unit 111 and a state detection unit 112, but instead of the sensor unit, the user terminal 10 is installed in a space in a facility such as a museum.
  • the sensor data detected by the sensor device 12 may be used.
  • one or more sensor devices 12 are installed corresponding to each area of the space in the facility.
  • a user terminal 11 is provided instead of the user terminal 10 shown in FIG.
  • the user terminal 11 has a control unit 110 and a presentation unit 120.
  • the control unit 110 controls the operation of each unit of the user terminal 11.
  • a sensor unit may be provided in the user terminal 11, and the sensor data from the sensor unit and the sensor data from the sensor device 12 may be used respectively.
  • a presentation device may be provided in a facility such as a museum, and the presentation device may present information instead of the presentation unit 120 of the user terminal 11.
  • control unit 110 is provided with a part of the control unit 200, and the remaining part of the control unit 200 is controlled by the control unit 130 of the in-facility server 13 or the external server 21. It may be provided in the part 210. Further, each of the user terminals 10 and 11, the in-facility server 13, the server 20, and the external server 21 can be regarded as information processing devices constituting the information processing system.
  • the series of processes of the device such as the user terminal 10 or the server 20 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • FIG. 14 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU1001) can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • the program may be transferred to a distant computer for execution.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • each step of the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An information processing device including a control unit that controls the presentation of a guide for the object to the user based on the analysis result of the event.
  • the control unit The event corresponding to the action of the user is detected, and the event is detected.
  • the information processing device according to (1) above which controls the presentation of a guide regarding an exhibit installed in the space in response to the detected event.
  • the control unit Detects an event related to the user's distance to the exhibit and The information processing device according to (2) above, wherein the content of the explanation of the guide regarding the exhibit is changed according to the detected event.
  • the control unit If the value indicating the distance is less than a certain value, a guide including an explanation about the detailed features of the exhibit is presented.
  • the control unit When the user's movement route is a route in which the value indicating the distance changes from a certain value or more to less than a certain value, the description of the entire exhibit is followed by the explanation of the detailed features of the exhibit.
  • the explanation regarding the detailed features of the exhibit is followed by the explanation regarding the entire exhibit.
  • the information processing apparatus according to (3) above which presents a guide for such an explanation.
  • the control unit Detecting an event related to the walking speed of the user in the space, The information processing device according to (2) above, wherein the content and speed of the description of the guide regarding the exhibit are changed according to the detected event.
  • the control unit When the value indicating the walking speed is less than a certain value, the guide regarding the exhibit is presented at a standard speaking speed and a guide amount larger than the standard, or the guide amount is standard and standard.
  • the guide related to the exhibit is presented at a standard speaking speed and a smaller guide amount than the standard, or the guide amount is standard and standard.
  • the information processing device according to (6) above which is presented at a faster speaking speed.
  • the control unit Analyzing the gaze point of the exhibit for the exhibit installed in the space by the user, The information processing apparatus according to (1) above, which controls the presentation of a guide regarding the exhibit according to the analyzed viewpoint. (9) The information processing device according to (8) above, wherein the control unit presents a guide including a detailed explanation of a feature portion according to the gazing point.
  • control unit changes the content of the guide description regarding the exhibit installed in the space according to the required time of the guide requested by the user.
  • (11) The information processing device according to (10) above, wherein the control unit combines a plurality of explanations prepared in advance and presents a guide suitable for the required time.
  • the required time includes the explanation time of the guide, the travel time of the user, and the viewing time of the exhibit without the guide.
  • the control unit uses the set values set by the user or the organizer of the exhibition as the travel time and the viewing time, or is based on the analysis target data regarding the viewing of the exhibit at a time point earlier than the present time.
  • the information processing apparatus according to (10) or (11) above, which uses analytical values.
  • the control unit When a plurality of users are acting together in the space to view an exhibit installed in the space, the control unit includes a specific user including at least one user among the plurality of users.
  • the information processing apparatus according to (1) above which presents a guide according to the gazing point of the exhibit.
  • the control unit When there are multiple gazing points, the gazing point that the most users are gazing at is selected as the definite gazing point from the plurality of gazing points. 13.
  • the control unit While guiding the line of sight of the other user, the front swing portion of the guide is presented to the specific user.
  • the information processing device according to (14) or (15), wherein the main body portion of the guide is presented to all users after the guidance of the line of sight of the other user is completed.
  • the control unit Analyzing the amount of knowledge that the user has about the exhibits installed in the space, The information processing apparatus according to (1) above, wherein the content of the explanation of the guide regarding the exhibit is changed according to the amount of knowledge analyzed.
  • the control unit Analyzing at least one of the user's preferences and behavior history in the space
  • the information processing apparatus according to (1), wherein the content of the guide regarding the exhibit installed in the space is changed according to at least one of the analyzed preference and the behavior history.
  • the information processing device according to any one of (1) to (18) above, wherein the analysis target data includes sensor data detected by a device owned by the user or a device installed in the space.
  • Information processing device Based on the analysis target data, the user in the space where the object exists and the event related to the object are analyzed, and the event is analyzed. An information processing method that controls the presentation of a guide for the object to the user based on the analysis result of the event.

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、ユーザの満足度を向上させることができるようにする情報処理装置、及び情報処理方法に関する。 分析対象データに基づいて、対象物が存在する空間にいるユーザと対象物に関するイベントを分析し、イベントの分析結果に基づいて、ユーザに対する対象物のガイドの提示を制御する制御部を備える情報処理装置が提供される。例えば、本技術は、美術館などの施設で提供されるガイド用の端末に適用可能である。

Description

情報処理装置、及び情報処理方法
 本技術は、情報処理装置、及び情報処理方法に関し、特に、ユーザの満足度を向上させることができるようにした情報処理装置、及び情報処理方法に関する。
 美術館や博物館等では、音声ガイドを利用することで、鑑賞者は、展示物に関する詳細な情報を得ることができる。この種の音声ガイドでは、あらかじめ用意された説明を再生するため、鑑賞者ごとの個人差や、館内での状況による差に対応することができない。
 これに対し、特許文献1には、美術館や博物館の館内のどの作品を鑑賞したかの鑑賞時間を含めて鑑賞者の嗜好を分析し、その分析結果から鑑賞できなかった作品の中でお薦め作品を決定し、退館した後にお薦め作品を見学者に電子メールで通知する技術が開示されている。
特開2005-10870号公報
 しかしながら、従来の技術であると、嗜好の分析が一括して行われるため、リアルタイムでの鑑賞者や館内の変化に追従することができない。そのため、鑑賞者に対するガイドの提示に際しては、リアルタイムでの鑑賞者や館内の変化にも対応して、ユーザの満足度を向上させることが求められていた。
 本技術はこのような状況に鑑みてなされたものであり、ユーザの満足度を向上させることができるようにするものである。
 本技術の一側面の情報処理装置は、分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントを分析し、前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示を制御する制御部を備える情報処理装置である。
 本技術の一側面の情報処理方法は、情報処理装置が、分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントを分析し、前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示を制御する情報処理方法である。
 本技術の一側面の情報処理装置、及び情報処理方法においては、分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントが分析され、前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示が制御される。
 本技術の一側面の情報処理装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
美術館等の施設における音声ガイドを利用した鑑賞の例を示した図である。 本技術を適用した情報処理システムの一実施の形態の構成例を示す図である。 ガイド提示処理の流れを説明するフローチャートである。 ユーザに対する展示物のガイド提示の第1の例を示す図である。 展示物に対するユーザの位置に応じたガイドの例を示す図である。 ユーザに対する展示物のガイド提示の第2の例を示す図である。 展示物に対するユーザの注視点に応じたガイドの例を示す図である。 ユーザに対する展示物のガイド提示の第3の例を示す図である。 展示物の特徴の例を示す図である。 ガイドの所要時間の例を示す図である。 複数人のグループでの鑑賞時におけるガイドの提示の例を示す図である。 複数人のグループでの鑑賞時におけるガイドの提示の例を示す図である。 本技術を適用した情報処理システムの一実施の形態の他の構成例を示す図である。 コンピュータの構成例を示す図である。
<1.本技術の実施の形態>
(音声ガイドの利用例)
 図1は、美術館等の施設における音声ガイドを利用した鑑賞の例を示している。
 美術館や博物館、観光施設等の施設では、音声ガイドを利用することで、鑑賞者は、絵画や彫刻等の展示物の見所や、より深い鑑賞のために知っておきたい事柄、時代背景、物語などの音声を聴きながら、同時に展示物をじっくり観ることができる。
 図1において、ユーザは、絵画を観ながら、ユーザ端末10で再生される音声ガイドを、イヤホンを利用して聴いている。この音声ガイドでは、ユーザが観ている絵画に関する事柄や時代背景などが再生されるため、ユーザは、同時に観ている絵画の鑑賞体験をより味わい深いものとすることができる。
 ユーザ端末10は、ガイド専用の機器、又はガイド用のアプリケーションをインストールしたスマートフォンやタブレット端末、眼鏡型のウェアラブル機器等の機器である。ユーザ端末10は、音声ガイドを再生する機能のほか、動画や静止画、アニメーション等を画面に表示する機能を有していても構わない。
 ところで、美術館等の施設における展示物の鑑賞は、現状、音声ガイドによるものが主流であり、ユーザの個人差やその場の状況による差などに対応することができなかった。
 それに対し、美術館の館内のどの作品を鑑賞したかの鑑賞時間を含めて鑑賞者の嗜好を分析し、その分析結果から鑑賞できなかった作品の中でお薦め作品を決定し、退館した後にお薦め作品を見学者に電子メールで通知する方法がある。
 しかしながら、この方法であると、嗜好の分析が一括して行われるため、リアルタイムでの鑑賞者や館内の変化に追従することができない。その結果として、美術館等の施設において、鑑賞者に対してガイドを提示するに際し、リアルタイムでの鑑賞者や館内の変化に対応することができずに、その施設に対する満足度が低下する恐れがある。
 そこで、本技術では、美術館等の施設において、ユーザに対し、イベントに応じた個別のガイドを提示することで、リアルタイムでの鑑賞者や館内の変化にも対応できるようにして、その施設に対するユーザの満足度を向上させるようにする。以下、図面を参照しながら、本技術の実施の形態について説明する。
(システム構成)
 図2は、本技術を適用した情報処理システムの一実施の形態として、提示システム1の構成例を示している。
 提示システム1は、ユーザ端末10、及びサーバ20から構成される。提示システム1において、ユーザ端末10とサーバ20とは、ネットワークを介して相互に接続される。このネットワークには、インターネット、イントラネット、携帯電話網等の通信網を含む。
 ユーザ端末10は、例えば、ガイド専用の機器、スマートフォン、タブレット端末、眼鏡型のウェアラブル機器、PC(Personal Computer)などとして構成される。ユーザ端末10が、スマートフォン等の機器として構成される場合には、ネットワークを介してダウンロードされたガイド用のアプリケーションが、インストールされる。
 ユーザ端末10は、入力部101、及び提示部102を有する。
 入力部101は、各種のセンシングで得られるセンサデータや、ユーザの発話や操作に応じた入力データなどの各種のデータを取得し、分析対象データとして出力する。入力部101は、位置検出部111、状態検出部112、及び対話入力部113を有する。
 位置検出部111は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるユーザの位置に関するセンサデータを出力する。位置検出部111は、BLEセンサや赤外線センサ等のセンサのほか、カメラ、マイクロフォンなどを含む。
 BLEセンサは、近距離無線通信技術であるBLE(Bluetooth Low Energy)を利用したセンサである。赤外線センサは、赤外線を受光し電気信号に変換して必要な情報を取り出して利用するセンサである。
 カメラは、被写体からの光を光電変換して信号処理を行うことで得られる撮影画像データを、センサデータとして出力する。マイクロフォンは、空気の振動としての音を受け付け、その電気信号としての音データを、センサデータとして出力する。
 状態検出部112は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるユーザの状態に関するセンサデータを出力する。状態検出部112は、ユーザの視線や動作、生体情報を取得するための各種のセンサのほか、カメラなどを含む。
 各種のセンサとしては、例えば、XYZ軸の3方向の加速度を測定する加速度センサ、XYZ軸の3軸の角速度を測定するジャイロセンサ、生物の持つ心拍数、体温、又は姿勢といった情報を測定する生体センサ、近接するものを測定する近接センサ、磁場(磁界)の大きさや方向を測定する磁気センサなどの各種のセンサを含めることができる。なお、位置検出部111と状態検出部112では、同一のカメラを用いることができる。
 対話入力部113は、ユーザとの対話を行うためのユーザインターフェースであり、対話に応じた音声データやテキストデータ等の入力データを出力する。対話入力部113は、マイクロフォンや、タッチパネル、物理的なボタンなどを含む。なお、位置検出部111と対話入力部113では、同一のマイクロフォンを用いることができる。
 ユーザ端末10では、入力部101から出力される分析対象データが、ネットワークを介してサーバ20に送信される。
 提示部102は、ユーザの視覚、聴覚、及び触覚のうち、少なくとも1つの感覚機能により、ユーザに感知されるように対象物(美術館の展示物等)のガイドを提示する。提示部102は、音声出力部121、及び画像出力部122を有する。なお、提示部102では、音声出力部121、及び画像出力部122のうち、いずれか一方を有する構成としても構わない。
 音声出力部121は、そこに供給される音データに応じた音を出力する。音声出力部121は、スピーカとして構成されるか、あるいは無線又は有線で接続されるイヤホンやヘッドホンから音を出力してもよい。
 画像出力部122は、そこに供給される画像データに応じた画像を表示する。画像出力部122は、ディスプレイやプロジェクタ等として構成される。
 サーバ20は、専用のサーバなどから構成される。サーバ20は、状態分析部211、コンテンツ制御部212、及び提示制御部213を含む制御部200を有する。また、サーバ20は、ユーザDB221、及びコンテンツDB222などのデータベースを有する。
 サーバ20では、ネットワークを介してユーザ端末10から送信されてくる分析対象データが受信され、状態分析部211に供給される。
 状態分析部211は、分析対象データに基づいて、状態分析処理を実行し、その分析結果を、コンテンツ制御部212に供給する。また、状態分析部211は、状態分析処理の実行に際して、必要に応じてユーザDB221又はコンテンツDB222等のデータベースに格納された情報を参照することができる。
 この状態分析処理では、センサデータや入力データ等の分析対象データに基づき、ユーザ(鑑賞者)と対象物(美術館の展示物等)に関するイベントが分析される。例えば、このイベントとしては、ユーザの動作に関するイベント、ユーザの歩行速度に関するイベント、ユーザによる展示物に対する注視点に関するイベント、ユーザから要求されるガイドの所要時間に関するイベントなどを含むが、その詳細は後述する。
 コンテンツ制御部212は、状態分析部211から供給される分析結果に基づいて、コンテンツDB222に記録されたガイド等のコンテンツを処理し、提示制御部213に供給する。
 提示制御部213は、コンテンツ制御部212から供給されるガイド等のコンテンツを、ネットワークを介してユーザ端末10の提示部102に提示するための制御を行う。
 ユーザDB221は、ユーザごとに、各ユーザに関する情報(嗜好情報や履歴情報等)を記録する。コンテンツDB222は、ガイド等のコンテンツを記録する。また、後述する図5,図7,図9,図10のテーブルは、コンテンツDB222に記録される。
 なお、図2においては、ユーザ端末10とサーバ20の最小の構成を示しており、他の機能が含まれても構わない。
 例えば、ユーザ端末10では、半導体メモリ等の補助記憶装置、セルラー方式の通信(例えば5G等)や無線LAN(Local Area Network)などの無線通信若しくは有線通信に対応した通信モジュール、又は物理的なボタンやタッチパネル等の操作部などを含む構成としてもよい。また、図2では、1台のユーザ端末10を例示しているが、美術館等の施設の空間にいるユーザのそれぞれが、ユーザ端末10を所持することができる。
 また、サーバ20は、複数のサーバから構成されるようにしてもよく、機能ごとにサービスとして、別個のサーバが提供してもよい。機能ごとのサービスは、同一の事業者が提供することは勿論、サービスごとに異なる事業者が提供してもよい。
 提示システム1は、以上のように構成される。
(ガイド提示処理の流れ)
 次に、図3のフローチャートを参照して、提示システム1を構成する各装置で実行されるガイド提示処理の流れを説明する。
 図3の説明では、美術館において、各エリアに設置された絵画等の展示物を、多数の鑑賞者が鑑賞している場合を想定している。また、鑑賞者のうち、処理の対象となる鑑賞者を、ユーザともいう。美術館の館内に設置された展示物のうち、ユーザの鑑賞の対象となる展示物を、対象展示物ともいう。
 ステップS11において、状態分析部211は、分析対象データに基づいて、状態分析処理を行い、美術館の館内を移動するユーザの歩行速度を検知する。
 ステップS12において、状態分析部211は、分析対象データとユーザの歩行の分析結果に基づいて、状態分析処理を行い、美術館の館内におけるユーザの立ち止まり位置を検知する。
 ステップS13において、状態分析部211は、分析対象データとユーザの立ち止まり位置に基づいて、状態分析処理を行い、当該立ち止まり位置の近傍に設置された対象展示物が、ユーザに対し、既にガイド提示済みの展示物であるかどうかを判定する。
 ステップS13の判定処理で、対象展示物が、ガイド提示済みの展示物ではないと判定された場合、処理は、ステップS14に進められる。
 ステップS14において、状態分析部211は、対象展示物の設置位置に対するユーザの立ち止まり位置の距離に関する閾値判定を行うことで、当該距離が近いか、遠いかを判定する。
 ステップS14の判定処理で、距離を示す値が一定値未満となり、対象展示物に対するユーザの距離が近いと判定された場合、処理は、ステップS15に進められる。
 ステップS15において、提示制御部213は、コンテンツ制御部212からの制御に従い、対象展示物の技法ガイドを、ユーザが所持したユーザ端末10の提示部102に提示する。この技法ガイドは、対象展示物の細部の特徴に関する説明を含むガイドであり、音声出力部121から音声として出力されてもよいし、画像出力部122により画像として表示してもよい。
 一方で、ステップS14の判定処理で、距離を示す値が一定値以上となり、対象展示物に対するユーザの距離が遠いと判定された場合、処理は、ステップS16に進められる。
 ステップS16において、提示制御部213は、コンテンツ制御部212からの制御に従い、対象展示物の全体・背景ガイドを、ユーザが所持したユーザ端末10の提示部102に提示する。この全体・背景ガイドは、対象展示物の全体と背景に関する説明を含むガイドであり、音声出力部121による音声、又は画像出力部122による画像として提示される。
 例えば、図4に示すように、美術館に設置された展示物a-1を天井側から見た場合において、展示物a-1である絵画に対する空間内の領域として、その絵画の横幅に対応した直径からなる半円状の近エリアA11と、その絵画の横幅よりも大きな直径からなる半円状の遠エリアA12を想定する。
 このとき、ユーザUが、展示物a-1に対してより近い領域となる近エリアA11にいる場合、提示部102には、技法ガイドが提示される。一方で、ユーザUが、展示物a-1に対してより遠い領域となる遠エリアA12にいる場合、提示部102には、全体・背景ガイドが提示される。
 図5は、展示物に対するユーザの位置に応じたガイドの例を示している。
 図5においては、展示物IDにより識別される展示物(絵画)ごとに、一般ガイドのほか、ユーザの位置に応じて提示される詳細ガイドが用意されている。この例では、各展示物の詳細ガイドとして、技法、制作背景、時代背景の3種類のガイドを例示しているが、2種類以下又は4種類以上の詳細ガイドを用意しても構わない。
 展示物ID 001の展示物に対するガイドには、詳細ガイドとして、「特にひっかくようなタッチが・・・」である技法ガイドと、「この時期の作者は、家族との・・・」である制作背景ガイドと、「自由に国境を行き来する・・・」である時代背景ガイドがあらかじめ用意されている。
 ユーザが近エリアA11にいる場合に、「特にひっかくようなタッチが・・・」である説明が提示され、遠エリアA12にいる場合には、「この時期の作者は、家族との・・・」と「自由に国境を行き来する・・・」である説明がそれぞれ提示される。なお、一般ガイドは、ユーザが遠エリアA12にいる場合などに提示可能である。
 また、展示物ID 002,003,004の展示物に対するガイドとしては、展示物ID 001の展示物のガイドと同様に、技法ガイドと、制作背景ガイドと、時代背景ガイドがそれぞれ用意されており、ユーザが近エリアA11にいる場合に、各展示物に応じた技法ガイドが提示され、遠エリアA12にいる場合には、各展示物に応じた制作背景ガイドと時代背景ガイドが提示される。
 図3に戻り、ステップS15,又はS16の処理が終了すると、処理は、ステップS17に進められる。ステップS17において、状態分析部211は、分析対象データに基づいて、ユーザが鑑賞を終了したかどうかを判定する。
 ステップS17の判定処理で、ユーザが鑑賞を終了していないと判定された場合、処理は、ステップS11に戻り、上述した処理が繰り返される。
 また、ステップS13の判定処理で、対象展示物が、ガイド提示済みの展示物であると判定された場合、処理は、ステップS18に進められる。ステップS18において、状態分析部211は、分析対象データに基づいて、一定時間を経過したかどうかを判定する。
 ステップS18の判定処理で、一定時間を経過していないと判定された場合、処理は、ステップS19に進められる。ステップS19において、状態分析部211は、分析対象データに基づいて、ユーザのリクエストがあったかどうかを判定する。
 ステップS19の判定処理で、ユーザリクエストがあったと判定された場合、処理は、ステップS14に進められ、上述したステップS14以降の処理が実行される。すなわち、この場合には、対象展示物に対するユーザの距離に応じて、技法ガイド又は全体・背景ガイドが提示される。
 一方で、ステップS19の判定処理で、ユーザリクエストがないと判定された場合、処理は、ステップS12に戻り、上述したステップS12以降の処理が実行される。すなわち、この場合には、直ちにガイドを提示するのではなく、再度立ち止まり位置が検知され、その立ち止まり位置に応じたガイドの提示が制御される。
 また、ステップS18の判定処理で、一定時間を経過したと判定された場合、処理は、ステップS20に進められる。ステップS20において、提示制御部213は、コンテンツ制御部212からの制御に従い、対象展示物に関する未提示のガイドを、ユーザが所持したユーザ端末10の提示部102に提示する。
 ここでは、以前に、対象展示物のガイドを提示した際に、提示されなかった詳細な情報に関するガイド等が提示される。ステップS20の処理が終了すると、処理は、ステップS17に進められる。
 ステップS17の判定処理では、ユーザの鑑賞が終了していないと判定された場合、処理は、ステップS11に戻される。一方で、ステップS17の判定処理で、ユーザの鑑賞が終了したと判定された場合、処理は、ステップS21に進められる。
 ステップS21において、提示制御部213は、ユーザ端末10の提示部102に提示していたガイドを終了する。ステップS21の処理が終了すると、ガイド提示処理は終了する。
 以上、ガイド提示処理の流れを説明した。このガイド提示処理では、美術館の館内で展示物を鑑賞している対象ユーザと対象展示物に関するイベントとして、対象展示物の設置位置に対する対象ユーザの立ち止まり位置の距離に関するイベントが検知された場合に、その距離に応じて技法ガイド又は全体・背景ガイドが提示される。これにより、ユーザに対し、イベントに応じた個別のガイドが提示されるため、リアルタイムでのユーザの動作の変化等にも対応できるようになって、その施設に対するユーザの満足度を向上させることができる。
(ガイド提示制御の詳細)
 上述した説明では、ユーザが展示物に近づいたときに、対象展示物の技法等の細部に関する説明の技法ガイドを提示し、展示物から離れたときには、対象展示物の時代背景や作者に関する説明の全体・背景ガイドを提示する制御を示したが、他のガイド提示制御が行われても構わない。以下、ガイド提示制御の詳細について、下記の(a)乃至(h)を参照しながら説明する。
(a)鑑賞者の歩行速度に応じたガイド提示制御
 美術館の館内を移動するユーザの歩行速度に応じて、ガイド量又は話速を制御することができる。ガイド量は、一定時間内に提示可能なガイドを定量的に表したものである。
 例えば、美術館内を移動するユーザの歩行速度の閾値判定を行い、歩行速度が、遅い場合と、中程度の場合と、速い場合の3段階で、ガイド量と話速を制御することができる。
 具体的には、ユーザの歩行速度を示す値が一定値未満で、当該歩行速度が遅いと判定された場合には、標準の話速のときはガイド量が標準よりも多くなるように提示を制御し、ガイド量が標準のときは話速が標準よりも遅く(ゆっくりに)なるように提示を制御する。なお、標準とは、ガイドの制作者側で汎用的な設定値(一般的なユーザ向けの設定値)を設定した状態を意味する。
 また、ユーザの歩行速度を示す値が、遅い歩行速度と速い歩行速度との間の値となる中程度である場合には、標準のガイド量となるように提示を制御する。
 また、ユーザの歩行速度が一定値以上で、当該歩行速度が速いと判定された場合には、標準の話速のときにはガイド量が標準よりも少なくなるように提示を制御し、ガイド量が標準のときには話速が速くなるように提示を制御する。なお、歩行速度は、現エリアの展示スペースでの速度に限らず、現エリアや前のエリア等の展示スペースに入る前のユーザの歩行状態を検知して、それを利用しても構わない。
(b)鑑賞者の注視点に応じたガイドの提示制御
 例えば、ユーザの顔向きや視線等から注視点を検知して、当該ユーザが観ている展示物の部分に関する技法を説明する技法ガイドの提示を制御することができる。ここで、注視点は、ユーザの視点が滞留した位置を表している。
 具体的には、展示物として絵画が展示されている場合に、ユーザが、描かれた部分のうち、人物が着ている服を観ているとき、その服にまつわるタッチの説明などが提示されるようにする。また、ユーザが展示物のタイトルを観ている場合には、そのタイトルの由来の詳しい説明が提示されるようにする。
 また、例えば、ユーザが展示物を観ている時間が長くなるほど、その技法についての詳細を説明する技法ガイドを提示することができる。具体的には、展示物の特徴部分を移動するような視線が、ユーザの視線として検知された場合には、その特徴部分の技法に関する詳細な説明を継続する。
 例えば、図6に示すように、美術館に設置された展示物a-2を天井側から見た場合において、展示物a-2である絵画に描かれた特徴的な部分として、特徴部分A,B,Cが描かれているとき、ユーザUの注視点を検知して、当該ユーザUが観ている特徴部分に関する技法ガイドを提示することができる。
 すなわち、展示物a-2における特徴部分Aに対し、ユーザUの顔が向いている場合、又はユーザUの視線がある場合には、その注視点に応じた特徴部分Aの技法を説明するガイドが提示される。また、展示物a-2の特徴部分Bに対し、ユーザUの注視点がある場合には、特徴部分Bの技法を説明するガイドが提示され、展示物a-2の特徴部分Cに対し、ユーザUの注視点がある場合には、特徴部分Cの技法を説明するガイドが提示される。
 なお、図6では、説明の都合上、展示物a-2である絵画の描画面に沿って、ユーザUが横方向に移動するような記載になっているが、必ずしもユーザUは移動する必要はなく、ユーザUがある位置に立ち止まっている状態で、頭部や視線などを動かして、注視する特徴部分を変更しても構わない。また、図6においても、ユーザUが、近エリアA11から遠エリアA12に移動した場合には、全体・背景ガイドが提示される。
 図7は、展示物に対するユーザの注視点に応じたガイドの例を示す図である。
 図7においては、展示物IDにより識別される展示物(絵画)ごとに、タイトルに関する説明のほか、ユーザの注視点に応じて提示される技法ガイドが用意されている。この例では、各展示物の技法ガイドとして、特徴部分A,B,Cに関する説明のガイドを例示している。
 展示物ID 001の展示物に対するガイドには、技法ガイドとして、「花瓶の花は、タッチが・・・」である特徴部分Aに関する説明と、「ペーパーナイフの色の・・・」である特徴部分Bに関する説明と、「左の本は、フランス語で書かれた・・・」である特徴部分Cに関する説明があらかじめ用意されている。
 ユーザが近エリアA11にいる場合において、その注視点が、特徴部分Aにあるときには、「花瓶の花は、タッチが・・・」である説明、特徴部分Bにあるときには、「ペーパーナイフの色の・・・」である説明、特徴部分Cにあるときには、「左の本は、フランス語で書かれた・・・」である説明が、それぞれ技法ガイドとして提示される。
 また、展示物ID 002,003,004の展示物に対するガイドとしては、展示物ID 001の展示物のガイドと同様に、技法ガイドとして、特徴部分A,B,Cに関する説明がそれぞれ用意されており、ユーザによる各展示物の注視点に応じて、その展示物の特徴部分A,B,Cの技法ガイドが提示される。
 上述した図4,図6の説明では、展示物a-1,a-2として、絵画等の平面的な展示物を例示したが、美術館の展示物としては、彫刻やオブジェ等の立体的な作品もあり、そのような立体的な展示物の場合、ユーザは、立体的な像の表面を、様々な方向から鑑賞することが可能となる。
 例えば、図8に示すように、美術館に設置された彫刻等の立体形状を有する展示物a-3を側面側から見た場合において、展示物a-3を観ているユーザUの位置を検知して、当該ユーザUが観ている特徴部分に関する技法ガイドを提示することができる。図8において、一点鎖線の矢印G11乃至G13は、各位置におけるユーザUの視線を表している。
 すなわち、展示物a-3は、円柱状の形状を有するが、その側面のうち、正面側の正面エリアA31にユーザUがいる場合、その正面側の技法に関する技法ガイドが提示され、裏面側の裏面エリアA32にユーザUがいる場合、その裏面側の技法に関する技法ガイドが提示される。
 また、展示物a-3に対し、その円柱状の形状の上面側の上面エリアA33に、ユーザUがいる場合、その上面側の技法に関する技法ガイドが提示される。
 なお、図8では、ユーザUの位置に応じて、技法ガイドの提示を制御したが、ユーザUの注視点を検知して、当該ユーザが観ている特徴部分に関する技法ガイドを提示することができることは、先に述べた通りである。
 また、上述した説明において、ユーザUの注視点が特定の対象にとどまらない場合、すなわち、視点を絶えず移動させて対象物の全体を観ている場合には、展示物の背景などの説明のガイドを提示しても構わない。さらに、展示物の背景の説明のガイドを提示する場合には、その時代の雰囲気を表現する映像や音楽を提示してもよい。
(c)鑑賞者の経路の取り方に応じたガイド提示制御
 美術館内を移動するユーザの経路の取り方に応じて、ガイドの提示制御を行ってもよい。
 例えば、ユーザの移動経路として、展示物に対するユーザの距離を示す値が一定値以上から一定値未満に変化する経路となった場合、すなわち、当該展示物に対し、ユーザが遠くから観ながら近づく場合には、当該展示物の全体の特徴に関する説明から、細部の特徴に関する説明へと流れるような説明のガイドの提示を制御する。
 その反対に、ユーザの移動経路として、展示物に対するユーザの距離を示す値が一定値未満から一定値以上に変化する経路となった場合、すなわち、当該展示物に対し、ユーザが近くで観てから遠ざかる場合には、当該展示物の細部の特徴に関する説明から、全体の特徴に関する説明へと流れるような説明のガイドの提示を制御する。
 なお、美術館等において展示物の順路が決められている場合に、ユーザが、展示物の順番を飛ばして観ているときには、実際に観た展示物、つまり、選ばれた展示物に共通の特徴を含む説明のガイドの提示を制御することができる。
 図9は、展示物の特徴の例を示している。
 図9においては、展示物IDにより識別される展示物(絵画や彫刻等)ごとに、宗教、風景、上流階級、労働者、盛り上げ、ひっかき、繰り返し、点描、幾何学、模倣、陰影などの特徴が用意されており、各展示物は、丸印(〇)が記された特徴を有している。
 展示物ID 001の展示物は、宗教、上流階級、繰り返し、及び幾何学である特徴を有している。また、展示物ID 002の展示物は、風景や上流階級等の特徴を有し、展示物ID 003の展示物は、宗教や風景等の特徴を有し、展示物ID 004の展示物は、風景や労働者等の特徴を有する。
 ここで、例えば、ユーザが、展示物ID 001の展示物を遠くから観ながら近づく場合、宗教や上流階級等の当該展示物の全体の特徴の説明から、繰り返しや幾何学等の細部の特徴の説明に流れるようなガイドが提示されるようにする。一方で、ユーザが、展示物ID 001の展示物を近くで観てから遠ざかる場合には、繰り返しや幾何学等の当該展示物の細部の特徴の説明から、宗教や上流階級等の全体の特徴の説明に流れるようなガイドが提示されるようにする。
(d)鑑賞者ごとに個人化したガイドの提示制御
 ユーザごとに個人化したガイドが提示されるようにしてもよい。絵画等の展示物への知識量は、ユーザごとに異なるため、展示物の知識が多いユーザには、一般的な説明を簡略化して、詳しい説明を重点的したガイドを提示することができる。
 ユーザの知識量に関しては、事前のアンケート登録や、他のイベントの鑑賞履歴などに加え、その場でのエージェントとの音声対話により取得しても構わない。ユーザごとの鑑賞が進むに従い、ユーザDB221に蓄積される情報量も多くなり、より個人化したガイドを提示可能となる。
 例えば、「印象派の代表作を知っていますか?」や、「この作品の時代背景をご存じですか?」などの質問に対し、「知っている」又は「知らない」などの回答を得ることで、ユーザの知識量を取得することができる。ユーザの回答は、例えば、エージェントとの間の音声対話、ユーザ端末10の提示部102に提示された画面の回答に対するタッチ操作、ユーザの頷きなどの動作の検出により得られる。
 また、一般的な説明の簡略化に際しては、例えば、説明文を複数用意しておき、その中から簡略化された説明を選択したり、あるいは、簡易的な説明を動的に生成したりすることができる。
 なお、ユーザに対して複数の刺激を提示して、特に、ユーザの行動に変化が見られた提示方法を用いることができる。例えば、複数の刺激には、音声での問いかけや、ユーザ端末への視覚提示、音(効果音を含む)、音楽などを含めることができる。
 ユーザが音声で質問した領域(技法や背景等)に対しては、別エリアでも同じ領域の説明を詳細に提示することができる。この提示によって説明時間が長くなる場合には、相対的に興味の薄い領域の説明を削除すればよい。
 また、美術館や博物館等の館内の空間におけるユーザの嗜好や行動履歴を分析し、その分析結果に基づき、館内に展示された展示物に関するガイドの内容を変更してもよい。
 例えば、興味のある展示物だけを観ているユーザに対しては、その先に展示されている展示物のうち、興味を持つことが推定される展示物について、より詳細な説明のガイドが提示されるようにするなど、当該ユーザが鑑賞を開始してからの館内での行動に応じて、ガイドの内容を変更することができる。
 さらに、美術大学や美術系専門学校の学生の実習などの特定の意図を持って、美術館等の館内に入館している集団(グループ)に対しては、技法などの特定の種類のガイド量を増やしたガイドを提示してもよい。
(e)施設内の混雑に対応したガイド提示制御
 ユーザの順路や歩行速度を推定することで、美術館等の館内の混雑状況の影響か、ユーザ個人の影響かを判別してもよい。
 例えば、美術館等の館内が混雑していない状況であれば、ユーザの個人差として機械学習を行う一方で、館内が混雑している状況であれば、混雑に影響されていると推定して、ユーザを混雑していないエリアに誘導することができる。
 この誘導に際しては、例えば、「X番が空いています」などの提示を行えばよい。また、ユーザの誘導を行った場合に、当該ユーザが鑑賞できていない展示物については、後からリマインドを行うことができる。これにより、ユーザは、その時に鑑賞できなかった展示物を、確実に後から鑑賞することができる。
(f)リクエストに応じたガイドのカスタマイズ
 ユーザが、ユーザ端末10を操作して、ガイドの所要時間をリクエストしたとき、その所要時間に応じて、展示物の説明の詳細さの程度を決定して、提示されるガイドの説明の深さを制御してもよい。
 図10は、ガイドの所要時間の例を示している。
 図10においては、展示物IDにより識別される展示物ごとに、一般ガイドと詳細ガイドの所要時間が登録されている。詳細ガイドは、詳細1,詳細2,詳細3,・・・詳細N(N:1以上の整数)のように、説明の深さに応じて段階的に詳細な説明が用意されている。
 展示物ID 001の展示物は、一般ガイドが所要時間30秒で、詳細ガイドの詳細1,詳細2,詳細3の所要時間がそれぞれ、60秒、30秒、90秒である。また、展示物ID 002,003,004の展示物は、一般ガイドが所要時間30秒で共通するが、詳細ガイドの詳細1,詳細2,詳細3の所要時間がそれぞれ、40秒、50秒、80秒と、45秒、70秒、85秒と、35秒、20秒、90秒とで異なっている。
 ここで、例えば、ユーザによりユーザ端末10が操作され、展示物ID 001の展示物の所要時間がリクエストされた場合、当該所要時間に応じた説明の深さのガイドが提示されるようにする。所要時間は、例えば、下記の式(1)により定義される。
 所要時間=ガイド時間+移動時間+ガイド無し鑑賞時間    ・・・(1)
 すなわち、所要時間としては、ガイドを提示するガイド時間に限らず、ユーザの平均的な移動時間や、ガイド無しでの鑑賞時間を加味することができる。なお、移動時間と鑑賞時間は、美術館での展示を開催する主催者側で設定してもよいし、ユーザが、ユーザ端末10等を操作して設定してもよい。
 ガイド時間として、最短の時間は、一般ガイドだけの提示であり、リクエストされた所要時間に合わせて、詳細1乃至詳細Nが適宜追加される。このように、提示されるガイドは、あらかじめ用意された説明の組み合わせとなる。
 例えば、展示物ID 001の展示物の所要時間として300秒がリクエストされた場合に、移動時間が30秒で、ガイド無し鑑賞時間が150秒であったとき、展示物ID 001の展示物は、一般ガイドの所要時間が30秒であるため、ガイド時間の残り時間は90秒である。また、展示物ID 001の展示物は、詳細1と詳細2の所要時間の合計が90秒である。
 そのため、この例では、当該リクエストに応じて、一般ガイドに、詳細1と詳細2を加えたガイドを、ユーザ端末10に提示することになる。
 なお、美術館において、最初の数点の展示から、ユーザが展示物の鑑賞を行う際に、ユーザの歩行速度や、ガイド無しでの鑑賞時間をあらかじめ検知しておき、検知した歩行速度や鑑賞時間を、それ以降で行われる所要時間の計算に反映させてもよい。
 また、ユーザDB221等で管理される、事前の登録や過去の履歴などの情報を用い、美術館における個別の展示ごとに、ガイドの説明の深さを変更してもよい。すなわち、ユーザに関する事前の登録又は過去の履歴の少なくとも一方に関する情報に基づき、所要時間に適合したガイドを提示することができる。
 さらには、ユーザによる展示物の鑑賞速度に応じて、それ以降の展示物に対するガイドの説明の深さを変更してもよい。また、鑑賞しない展示物がある場合には、それ以降の展示物に対するガイドの説明を長く(深く)してもよい。
(g)複数人グループでの鑑賞時のガイド提示制御
 美術館等の施設の空間では、単独で行動するユーザだけでなく、複数人で来場して、グループになって一緒に行動するユーザも存在している。グループで一緒に行動している各ユーザは、ユーザ端末10をそれぞれ所持している。
 このとき、一緒に鑑賞しているユーザに対しては、同一のガイドを提示する場合があるが、絵画等の展示物に対する各ユーザの注視点が異なるときには、グループ内の少なくとも一人のユーザの注視点に応じたガイドを共通に提示することができる。
 グループ内のあるユーザの注視点に応じたガイドを共通に提示する際には、その注視点に応じた注視部分をハイライト等で表すことで、当該注視部分に対してグループ内の他のユーザの視線を誘導することができる。
 このハイライト方法としては、例えば、ユーザ端末10が、拡張現実(AR:Augmented Reality)に対応した機器(ARデバイス)であり、AR技術を用いた視覚表現が可能な場合には、ディスプレイを介して、AR情報により、絵画等の展示物における注視部分を点灯や点滅で示したり、その領域を囲んだりすればよい。
 ARデバイスとしては、通常の眼鏡においてフレームに取り付けられるレンズの位置に、左眼用と右眼用の一対の透過型ディスプレイが配置され、ユーザの目の周辺に装着される眼鏡型のウェアラブル機器(ARグラス)を用いることができる。このARグラスを用いることで、ユーザの視界を実空間から切り離すことなく、AR情報を視界内に表示可能となるため、他のユーザは、絵画等の展示物を観ながら、ハイライトされた注視部分を確認することができる。
 ARデバイスでは、ハイライトにより他のユーザの視線が誘導され、あるユーザの注視点に応じたガイド(技法ガイド等)の提示が開始された時点で、ハイライトの提示を終了する。なお、ユーザ端末10が、音声のみに対応した機器である場合には、「左側のxxx」などの音声出力により、他のユーザの視線を誘導すればよい。
 また、複数のユーザが絵画等の展示物を観ている場合に、注視部分が複数存在するときには、最も多くのユーザが注視している注視部分が、優先的に選択されるようにすればよい。
 さらに、グループ内の他のユーザに対する視線の誘導を行っている間は、既に注視点を注視しているユーザに対し、ガイドの前振り部分を提示しておき、グループ全員が注視点を観た時点で、ガイドの本体部分の提示が開始されるようにすればよい。
 図11、図12は、複数人のグループでの鑑賞時におけるガイドの提示の例を示している。
 図11、図12においては、美術館の館内で、ユーザU1と、ユーザU2と、ユーザU3の3人のグループが一緒に行動し、展示物a-4を観ている場面を想定している。展示物a-4である絵画は、山や林、湖が描かれた風景画である。破線の矢印G1乃至G3は、各ユーザの視線を表している。
 時刻t1において、図11の一点鎖線の枠内で示すように、3人のユーザのうち、ユーザU2とユーザU3は、湖を観ている一方で、ユーザU1は、林を観ている。このとき、より多くのユーザが観ている湖を、注視部分(確定注視点)として選択し、風景画における湖の部分がハイライトで表されるようにする。
 例えば、ユーザU1がARグラスをかけている場合には、その透過型ディスプレイ越しに、AR情報によって、湖の部分がハイライトHで囲まれる。これにより、ユーザU1の視線を、林から湖の方向に誘導することができる。なお、ユーザ端末10が、ARグラスではなく、音声のみに対応した機器である場合には、「右側の湖は」などの音声出力により、ユーザU1の視線を湖の方向に誘導すればよい。
 その後の時刻t2において、図12の一点鎖線で示すように、ユーザU1の視線を湖の方向に誘導中に、既に湖を注視しているユーザU2とユーザU3に対しては、展示物a-4のガイドの前振り部分が提示されるようにする。例えば、ガイドの前振り部分としては、「湖の説明をします」の音声出力などが行われる。この前振り部分の提示中に、ユーザU1が、ハイライトHや言葉の誘導で、説明をしたい注視部分である湖に視線を動かすことが想定される。
 そして、ユーザU1と、ユーザU2と、ユーザU3の3人の視線が、注視部分である湖に揃ったタイミングで、展示物a-4のガイドの本体部分の提示が開始されるようにする。例えば、ガイドの本体部分としては、「湖の色彩は、・・・」の音声出力など、前振り部分がなくても成立するガイドが提示される。
 なお、この例では、風景画における注視部分を、ユーザの視線により特定したが、例えば、ユーザによる指差しの動作など、注視部分を特定可能な方法であれば、他の特定方法を用いても構わない。
(h)その他
 美術館等の施設に設置された展示物に対するユーザの注視点の特定方法であるが、ユーザ端末10として、ARグラスが用いられる場合には、入力部101として設けられたカメラにより、ユーザの眼球を撮影し、その撮影画像データを分析した分析結果に基づき、当該ユーザの注視点を推定することができる。
 また、注視点の推定に際しては、ユーザが所持するユーザ端末10の機能に限らず、例えば、施設内の空間に設置されたカメラでユーザの眼球を撮影することで、撮影画像データを取得しても構わない。なお、施設内の空間に、カメラ等のセンサ装置を設置した構成については、図13を参照して後述する。
 なお、ユーザの身体の向きや顔の向きの推定に関しても、ユーザ端末10の機能を用いるほか、施設内の空間に設置されたセンサ装置からのセンサデータの分析などにより、それらの向きを推定することができる。ただし、身体の向きや顔の向きの推定精度が低い場合には、大まかな展示物にのみ適用することも可能である。また、ユーザによる指差しの動作についても、センサ装置からのセンサデータの分析などにより、指差しの対象を推定可能である。
 美術館等の施設に設置された展示物に対して音楽をそれぞれ設定し、個々の展示物に対するユーザの位置や視線等に応じて、ユーザ端末10から音楽が再生されるようにしてもよい。個々の展示物に対する音楽の設定に際しては、ユーザの音楽視聴履歴などに基づき、展示物に対して音楽を設定することができる。例えば、展示物の年代や背景、ムード(明るい色調、暗いテーマのタイトル等)等の情報を分析し、ユーザが視聴可能な音楽の中から、当該展示物に適合する音楽を選択することで、選択した音楽をBGM等として再生することができる。
<2.変形例>
(他の空間の例)
 上述した説明では、美術館における展示物の鑑賞を中心に説明したが、例えば、博物館や観光施設、屋外など、所定の空間を有するものであれば、本技術を適用することが可能である。例えば、観光施設における建造物の鑑賞に対して適用する場合には、図4等に示した美術館の館内が、観光施設の敷地に相当するとして、「展示物」を「建造物」に読み替えればよい。「展示物」と「建造物」は、対象物の一例である。
 また、例えば、観光施設においてその施設のガイドを提示する際に、旅行プランやスケジュール表などから取得したルートで想定される所要時間を取得し、その所要時間に応じてガイドの内容を変更することができる。また、観光を開始してからその時点までの観光ルートにより、対象物への興味を推定(例えば、寺院の滞在時間が長いことや、景勝地の滞在時間が短いことなどを分析)して、その推定結果に応じてガイドの内容を変更することができる。
 あるいは、ガイドの説明を行う説明者(授業等の実施者)が重点的に下見をした対象物に関しては、別の時間帯に訪れた者(生徒等)に対しても、重点的にガイドが提示されてもよい。例えば、授業等の実施者が、学習意図に応じて重点的に説明を行う対象物に関しては、その対象物を観た生徒に対しても重点的にガイドを提示すればよい。
 なお、主催者側の意図に応じて、ガイドの内容を変更しても構わない。例えば、観光ツアーを主催する旅行会社などの主催者が、あらかじめプライオリティをガイドに付与しておくことで、当該観光ツアーの参加者にだけ、そのプライオリティに従い、提示するガイドのガイド量を変更することができる。
(システムの他の構成)
 図2の説明において、制御部200が、インターネット等のネットワークに接続されたサーバ20に設けられるものとしたが、制御部200の全部又は一部の機能については、美術館等の施設内に設けられたサーバ等の他の機器において実現されるようにしてもよい。
 図13は、本技術を適用した情報処理システムの一実施の形態の他の構成例を示している。
 図13に示した提示システム2は、美術館等の施設内に設けられた施設内サーバ13と、外部サーバ21とが、ネットワーク30を介して接続されている。
 ネットワーク30は、インターネット、イントラネット、又は携帯電話網などの通信網を含んで構成され、TCP/IP(Transmission Control Protocol / Internet Protocol)等の通信プロトコルを用いた機器間の相互接続を可能にしている。
 施設内サーバ13の制御部130と、外部サーバ21の制御部210には、図2を参照して説明した制御部200の全部又は一部の構成がそれぞれ設けられる。このように、制御部200(図2)の機能は、クラウド上のサーバにより提供される構成に限らず、ローカルのサーバにより提供される構成を用いても構わない。
 外部サーバ21において、データベース220は、図2に示したユーザDB221、及びコンテンツDB222から構成される。すなわち、外部サーバ21は、データベース220を管理するDBサーバとして構成されるようにしてもよい。
 また、図2の説明において、ユーザ端末10が位置検出部111や状態検出部112等のセンサ部を有するとして説明したが、当該センサ部の代わりに、美術館等の施設内の空間に設置されたセンサ装置12により検出されたセンサデータを用いてもよい。例えば、センサ装置12は、施設内の空間の各エリアに対応して1又は複数設置される。
 図13では、図2に示したユーザ端末10の代わりに、ユーザ端末11が設けられている。ユーザ端末11は、及び制御部110及び提示部120を有する。制御部110は、ユーザ端末11の各部の動作を制御する。なお、ユーザ端末11にセンサ部を設けて、当該センサ部からのセンサデータと、センサ装置12からのセンサデータをそれぞれ用いても構わない。さらに、美術館等の施設内に提示装置を設けて、当該提示装置が、ユーザ端末11の提示部120の代わりに、情報の提示を行っても構わない。
 なお、ユーザ端末11において、制御部110に、制御部200の一部の構成を設けて、制御部200の残り一部の構成を、施設内サーバ13の制御部130、又は外部サーバ21の制御部210に設けても構わない。また、ユーザ端末10,11と、施設内サーバ13と、サーバ20と、外部サーバ21のそれぞれは、情報処理システムを構成する情報処理装置であると捉えることもできる。
<3.コンピュータの構成>
 上述したユーザ端末10又はサーバ20等の機器の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
 図14は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 コンピュータにおいて、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
 入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
 以上のように構成されるコンピュータでは、CPU1001が、ROM1002や記憶部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
 ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
 また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものでもよいし、複数のコンピュータによって分散処理されるものでもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
 さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートの各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 なお、本技術は、以下のような構成をとることができる。
(1)
 分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントを分析し、
 前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示を制御する
 制御部を備える
 情報処理装置。
(2)
 前記制御部は、
  前記ユーザの動作に応じた前記イベントを検知し、
  検知した前記イベントに応じて、前記空間に設置される展示物に関するガイドの提示を制御する
 前記(1)に記載の情報処理装置。
(3)
 前記制御部は、
  前記展示物に対する前記ユーザの距離に関するイベントを検知し、
  検知した前記イベントに応じて、前記展示物に関するガイドの説明の内容を変更する
 前記(2)に記載の情報処理装置。
(4)
 前記制御部は、
  前記距離を示す値が一定値未満となる場合、前記展示物の細部の特徴に関する説明を含むガイドを提示し、
  前記距離を示す値が一定値以上となる場合、前記展示物の全体と背景に関する説明を含むガイドを提示する
 前記(3)に記載の情報処理装置。
(5)
 前記制御部は、
  前記ユーザの移動経路として、前記距離を示す値が一定値以上から一定値未満に変化する経路となった場合、前記展示物の全体に関する説明から、前記展示物の細部の特徴に関する説明へと流れるような説明のガイドを提示し、
  前記ユーザの移動経路として、前記距離を示す値が一定値未満から一定値以上に変化する経路となった場合、前記展示物の細部の特徴に関する説明から、前記展示物の全体に関する説明へと流れるような説明のガイドを提示する
 前記(3)に記載の情報処理装置。
(6)
 前記制御部は、
  前記空間における前記ユーザの歩行速度に関するイベントを検知し、
  検知した前記イベントに応じて、前記展示物に関するガイドの説明の内容と速度を変更する
 前記(2)に記載の情報処理装置。
(7)
 前記制御部は、
  前記歩行速度を示す値が一定値未満となる場合、前記展示物に関するガイドを、標準の話速で、かつ、標準よりも多いガイド量で提示するか、又はガイド量を標準で、かつ、標準よりも遅い話速で提示し、
  前記歩行速度を示す値が一定値以上となる場合、前記展示物に関するガイドを、標準の話速で、かつ、標準よりも少ないガイド量で提示するか、又はガイド量を標準で、かつ、標準よりも速い話速で提示する
 前記(6)に記載の情報処理装置。
(8)
 前記制御部は、
  前記ユーザによる前記空間に設置される展示物に対する注視点を分析し、
  分析した前記注視点に応じて、前記展示物に関するガイドの提示を制御する
 前記(1)に記載の情報処理装置。
(9)
 前記制御部は、前記注視点に応じた特徴部分の詳細な説明を含むガイドを提示する
 前記(8)に記載の情報処理装置。
(10)
 前記制御部は、前記ユーザから要求されるガイドの所要時間に応じて、前記空間に設置される展示物に関するガイドの説明の内容を変更する
 前記(1)に記載の情報処理装置。
(11)
 前記制御部は、あらかじめ用意されている複数の説明を組み合わせて、前記所要時間に適合したガイドを提示する
 前記(10)に記載の情報処理装置。
(12)
 前記所要時間は、前記ガイドの説明時間と、前記ユーザの移動時間と、ガイド無しでの前記展示物の鑑賞時間とを含み、
 前記制御部は、前記移動時間と前記鑑賞時間として、前記ユーザ若しくは展示の主催者により設定された設定値を用いるか、又は現時点よりも前の時点における展示物の鑑賞に関する分析対象データに基づいた分析値を用いる
 前記(10)又は(11)に記載の情報処理装置。
(13)
 前記制御部は、前記空間内で、複数のユーザが前記空間に設置される展示物を鑑賞するために一緒に行動している場合、当該複数のユーザの中の少なくとも一人のユーザを含む特定ユーザによる前記展示物に対する注視点に応じたガイドを提示する
 前記(1)に記載の情報処理装置。
(14)
 前記制御部は、前記特定ユーザを除いた他のユーザの視線を、前記注視点に誘導するための情報の提示を制御する
 前記(13)に記載の情報処理装置。
(15)
 前記制御部は、
  複数の注視点が存在する場合、前記複数の注視点のうち、最も多くのユーザが注視している注視点を確定注視点として選択し、
  前記特定ユーザとしての前記確定注視点を注視しているユーザを除いた他のユーザの視線を、前記確定注視点に誘導するための情報の提示を制御する
 前記(13)又は(14)に記載の情報処理装置。
(16)
 前記制御部は、
  前記他のユーザの視線の誘導中に、前記特定ユーザに対し、ガイドの前振り部分を提示し、
  前記他のユーザの視線の誘導が完了した後に、全てのユーザに対し、ガイドの本体部分を提示する
 前記(14)又は(15)に記載の情報処理装置。
(17)
 前記制御部は、
  前記ユーザによる前記空間に設置される展示物に関する知識量を分析し、
  分析した前記知識量に応じて、前記展示物に関するガイドの説明の内容を変更する
 前記(1)に記載の情報処理装置。
(18)
 前記制御部は、
  前記空間における前記ユーザの嗜好及び行動履歴の少なくとも一方を分析し、
  分析した前記嗜好及び前記行動履歴の少なくとも一方に応じて、前記空間に設置される展示物に関するガイドの説明の内容を変更する
 前記(1)に記載の情報処理装置。
(19)
 前記分析対象データは、前記ユーザが持っている機器、又は前記空間内に設置された装置により検出されたセンサデータを含む
 前記(1)乃至(18)のいずれかに記載の情報処理装置。
(20)
 情報処理装置が、
 分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントを分析し、
 前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示を制御する
 情報処理方法。
 1,2 提示システム, 10 ユーザ端末, 11 ユーザ端末, 12 センサ装置, 13 施設内サーバ, 20 サーバ, 21 外部サーバ, 30 ネットワーク, 101 入力部, 102 提示部, 110 制御部, 111 位置検出部, 112 状態検出部, 113 対話入力部, 120 提示部, 121 音声出力部, 122 画像出力部, 200 制御部, 210 制御部, 211 状態分析部, 212 コンテンツ制御部, 213 提示制御部, 220 データベース, 221 ユーザDB, 222 コンテンツDB, 1001 CPU

Claims (20)

  1.  分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントを分析し、
     前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示を制御する
     制御部を備える
     情報処理装置。
  2.  前記制御部は、
      前記ユーザの動作に応じた前記イベントを検知し、
      検知した前記イベントに応じて、前記空間に設置される展示物に関するガイドの提示を制御する
     請求項1に記載の情報処理装置。
  3.  前記制御部は、
      前記展示物に対する前記ユーザの距離に関するイベントを検知し、
      検知した前記イベントに応じて、前記展示物に関するガイドの説明の内容を変更する
     請求項2に記載の情報処理装置。
  4.  前記制御部は、
      前記距離を示す値が一定値未満となる場合、前記展示物の細部の特徴に関する説明を含むガイドを提示し、
      前記距離を示す値が一定値以上となる場合、前記展示物の全体と背景に関する説明を含むガイドを提示する
     請求項3に記載の情報処理装置。
  5.  前記制御部は、
      前記ユーザの移動経路として、前記距離を示す値が一定値以上から一定値未満に変化する経路となった場合、前記展示物の全体に関する説明から、前記展示物の細部の特徴に関する説明へと流れるような説明のガイドを提示し、
      前記ユーザの移動経路として、前記距離を示す値が一定値未満から一定値以上に変化する経路となった場合、前記展示物の細部の特徴に関する説明から、前記展示物の全体に関する説明へと流れるような説明のガイドを提示する
     請求項3に記載の情報処理装置。
  6.  前記制御部は、
      前記空間における前記ユーザの歩行速度に関するイベントを検知し、
      検知した前記イベントに応じて、前記展示物に関するガイドの説明の内容と速度を変更する
     請求項2に記載の情報処理装置。
  7.  前記制御部は、
      前記歩行速度を示す値が一定値未満となる場合、前記展示物に関するガイドを、標準の話速で、かつ、標準よりも多いガイド量で提示するか、又はガイド量を標準で、かつ、標準よりも遅い話速で提示し、
      前記歩行速度を示す値が一定値以上となる場合、前記展示物に関するガイドを、標準の話速で、かつ、標準よりも少ないガイド量で提示するか、又はガイド量を標準で、かつ、標準よりも速い話速で提示する
     請求項6に記載の情報処理装置。
  8.  前記制御部は、
      前記ユーザによる前記空間に設置される展示物に対する注視点を分析し、
      分析した前記注視点に応じて、前記展示物に関するガイドの提示を制御する
     請求項1に記載の情報処理装置。
  9.  前記制御部は、前記注視点に応じた特徴部分の詳細な説明を含むガイドを提示する
     請求項8に記載の情報処理装置。
  10.  前記制御部は、前記ユーザから要求されるガイドの所要時間に応じて、前記空間に設置される展示物に関するガイドの説明の内容を変更する
     請求項1に記載の情報処理装置。
  11.  前記制御部は、あらかじめ用意されている複数の説明を組み合わせて、前記所要時間に適合したガイドを提示する
     請求項10に記載の情報処理装置。
  12.  前記所要時間は、前記ガイドの説明時間と、前記ユーザの移動時間と、ガイド無しでの前記展示物の鑑賞時間とを含み、
     前記制御部は、前記移動時間と前記鑑賞時間として、前記ユーザ若しくは展示の主催者により設定された設定値を用いるか、又は現時点よりも前の時点における展示物の鑑賞に関する分析対象データに基づいた分析値を用いる
     請求項11に記載の情報処理装置。
  13.  前記制御部は、前記空間内で、複数のユーザが前記空間に設置される展示物を鑑賞するために一緒に行動している場合、当該複数のユーザの中の少なくとも一人のユーザを含む特定ユーザによる前記展示物に対する注視点に応じたガイドを提示する
     請求項1に記載の情報処理装置。
  14.  前記制御部は、前記特定ユーザを除いた他のユーザの視線を、前記注視点に誘導するための情報の提示を制御する
     請求項13に記載の情報処理装置。
  15.  前記制御部は、
      複数の注視点が存在する場合、前記複数の注視点のうち、最も多くのユーザが注視している注視点を確定注視点として選択し、
      前記特定ユーザとしての前記確定注視点を注視しているユーザを除いた他のユーザの視線を、前記確定注視点に誘導するための情報の提示を制御する
     請求項14に記載の情報処理装置。
  16.  前記制御部は、
      前記他のユーザの視線の誘導中に、前記特定ユーザに対し、ガイドの前振り部分を提示し、
      前記他のユーザの視線の誘導が完了した後に、全てのユーザに対し、ガイドの本体部分を提示する
     請求項15に記載の情報処理装置。
  17.  前記制御部は、
      前記ユーザによる前記空間に設置される展示物に関する知識量を分析し、
      分析した前記知識量に応じて、前記展示物に関するガイドの説明の内容を変更する
     請求項1に記載の情報処理装置。
  18.  前記制御部は、
      前記空間における前記ユーザの嗜好及び行動履歴の少なくとも一方を分析し、
      分析した前記嗜好及び前記行動履歴の少なくとも一方に応じて、前記空間に設置される展示物に関するガイドの説明の内容を変更する
     請求項1に記載の情報処理装置。
  19.  前記分析対象データは、前記ユーザが持っている機器、又は前記空間内に設置された装置により検出されたセンサデータを含む
     請求項1に記載の情報処理装置。
  20.  情報処理装置が、
     分析対象データに基づいて、対象物が存在する空間にいるユーザと前記対象物に関するイベントを分析し、
     前記イベントの分析結果に基づいて、前記ユーザに対する前記対象物のガイドの提示を制御する
     情報処理方法。
PCT/JP2021/001417 2020-01-31 2021-01-18 情報処理装置、及び情報処理方法 WO2021153302A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-015036 2020-01-31
JP2020015036A JP2021121912A (ja) 2020-01-31 2020-01-31 情報処理装置、及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2021153302A1 true WO2021153302A1 (ja) 2021-08-05

Family

ID=77078352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001417 WO2021153302A1 (ja) 2020-01-31 2021-01-18 情報処理装置、及び情報処理方法

Country Status (2)

Country Link
JP (1) JP2021121912A (ja)
WO (1) WO2021153302A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290879A (ja) * 2001-03-27 2002-10-04 Denon Ltd 情報再生装置及び情報再生システム
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム
JP2006215883A (ja) * 2005-02-04 2006-08-17 Matsushita Electric Ind Co Ltd 展示施設ガイドシステム
JP2013156705A (ja) * 2012-01-26 2013-08-15 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
JP2016040653A (ja) * 2014-08-12 2016-03-24 日本電信電話株式会社 サーバ装置、音声コンテンツ提供方法、プログラム
WO2018079557A1 (ja) * 2016-10-31 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018093503A (ja) * 2018-01-09 2018-06-14 株式会社ネイン 音声コンテンツ再生イヤホン、方法、および、プログラム
JP2019121273A (ja) * 2018-01-10 2019-07-22 富士ゼロックス株式会社 情報伝達装置、情報伝達システム及びプログラム
WO2019142926A1 (ja) * 2018-01-18 2019-07-25 株式会社電通ライブ 音声情報提供システム、音声情報提供装置、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290879A (ja) * 2001-03-27 2002-10-04 Denon Ltd 情報再生装置及び情報再生システム
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム
JP2006215883A (ja) * 2005-02-04 2006-08-17 Matsushita Electric Ind Co Ltd 展示施設ガイドシステム
JP2013156705A (ja) * 2012-01-26 2013-08-15 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
JP2016040653A (ja) * 2014-08-12 2016-03-24 日本電信電話株式会社 サーバ装置、音声コンテンツ提供方法、プログラム
WO2018079557A1 (ja) * 2016-10-31 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018093503A (ja) * 2018-01-09 2018-06-14 株式会社ネイン 音声コンテンツ再生イヤホン、方法、および、プログラム
JP2019121273A (ja) * 2018-01-10 2019-07-22 富士ゼロックス株式会社 情報伝達装置、情報伝達システム及びプログラム
WO2019142926A1 (ja) * 2018-01-18 2019-07-25 株式会社電通ライブ 音声情報提供システム、音声情報提供装置、及びプログラム

Also Published As

Publication number Publication date
JP2021121912A (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
US9949056B2 (en) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
KR20190038900A (ko) 단어 흐름 주석
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2013166365A1 (en) Intelligent translations in personal see through display
KR20160145719A (ko) 대화 감지
US10841534B2 (en) Real-world awareness for virtual reality
JP2019532569A (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
CN111654715A (zh) 直播的视频处理方法、装置、电子设备及存储介质
Sodnik et al. Spatial auditory human-computer interfaces
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
Rummukainen et al. Audio quality evaluation in virtual reality: multiple stimulus ranking with behavior tracking
US11164341B2 (en) Identifying objects of interest in augmented reality
Tsepapadakis et al. Are you talking to me? An Audio Augmented Reality conversational guide for cultural heritage
WO2022169668A1 (en) Integrating artificial reality and other computing devices
WO2021153302A1 (ja) 情報処理装置、及び情報処理方法
WO2021153303A1 (ja) 情報処理装置、及び情報処理方法
WO2016157678A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11647260B2 (en) Content event mapping
US20220291743A1 (en) Proactive Actions Based on Audio and Body Movement
WO2021153263A1 (ja) 情報処理装置、及び情報処理方法
Dierker et al. An augmented-reality-based scenario for the collaborative construction of an interactive museum
WO2022049774A1 (ja) 仮想旅行提供方法
Vainstein Requirements and Design Considerations for a Head-Worn Display Museum Guide
US20230072623A1 (en) Artificial Reality Device Capture Control and Sharing
US20240103705A1 (en) Convergence During 3D Gesture-Based User Interface Element Movement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747916

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21747916

Country of ref document: EP

Kind code of ref document: A1