WO2022176541A1 - 情報処理方法および情報処理装置 - Google Patents

情報処理方法および情報処理装置 Download PDF

Info

Publication number
WO2022176541A1
WO2022176541A1 PCT/JP2022/002807 JP2022002807W WO2022176541A1 WO 2022176541 A1 WO2022176541 A1 WO 2022176541A1 JP 2022002807 W JP2022002807 W JP 2022002807W WO 2022176541 A1 WO2022176541 A1 WO 2022176541A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
exhibit
information processing
observation target
information
Prior art date
Application number
PCT/JP2022/002807
Other languages
English (en)
French (fr)
Inventor
真里 齋藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023500672A priority Critical patent/JPWO2022176541A1/ja
Publication of WO2022176541A1 publication Critical patent/WO2022176541A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Definitions

  • the present disclosure relates to an information processing method and an information processing device.
  • audio guides that reproduce audio data to present information about exhibits have been known in museums and the like. By using the audio guide, the user can gain a deeper understanding of the exhibit being viewed.
  • Patent Document 1 In order to solve this problem, the technique described in Patent Document 1 is applied to the audio guide to perform control according to the direction of the user's line of sight, and information is provided in accordance with the user's observation state. can be considered.
  • the audio guide even if the commentary is controlled according to the user's point of view, the user's condition, the surrounding environment of the user and the exhibit, etc. may cause the exhibit to appear to the user as expected in the audio guide. Not necessarily. Therefore, in the conventional information presentation method, there is a possibility that sufficient information regarding the exhibit being observed may not be presented to the user.
  • An object of the present disclosure is to provide an information processing method and an information processing apparatus capable of presenting information to the user according to the situation regarding the exhibit being observed.
  • the information processing method includes an estimation step of estimating a viewing state by the user of an observation target being observed by the user, which is executed by a processor, and an explanation for explaining the observation target to be presented to the user. and a setting step of setting the granularity of information according to the viewing state.
  • the information processing device includes an estimation unit that estimates the user's visual recognition state of an observation target that the user is observing, and a granularity of commentary information for explaining the observation target to be presented to the user. and a setting unit for setting according to the state.
  • FIG. 2 is a schematic diagram showing an example of a user viewing (observing) an exhibit in an exhibition room of an art museum;
  • FIG. 10 is a schematic diagram for explaining changes in observation content according to the distance between the user and the exhibit;
  • 1 is a functional block diagram of an example for explaining functions of an information processing system for realizing an audio guide according to an embodiment;
  • FIG. 1 is a schematic diagram showing a first example of a configuration of an information processing system applicable to an embodiment;
  • FIG. 2 is a block diagram showing an example hardware configuration of headphones applicable to the embodiment;
  • FIG. FIG. 4 is a schematic diagram showing a second example of the configuration of an information processing system applicable to the embodiment; It is a block diagram which shows the hardware constitutions of an example of the terminal device applicable to embodiment.
  • FIG. 1 is a schematic diagram showing a first example of a configuration of an information processing system applicable to an embodiment
  • FIG. 2 is a block diagram showing an example hardware configuration of headphones applicable to the embodiment
  • FIG. 4 is a schematic diagram
  • FIG. 7 is a schematic diagram showing a third example of the configuration of an information processing system applicable to the embodiment.
  • 2 is a block diagram showing a hardware configuration of an example of a glasses-type device applicable to the embodiment;
  • FIG. 6 is a flow chart showing an example of processing in the information processing system according to the embodiment; It is a schematic diagram which shows the example of the data stored in guide DB which concerns on embodiment.
  • FIG. 4 is a schematic diagram for explaining a viewing angle;
  • FIG. 4 is a schematic diagram showing an example of object recognition for objects included in exhibits applicable to the embodiment;
  • FIG. 2 is a diagram for explaining the definition of visual acuity based on Landolt's ring; It is a figure which shows the example of the relationship between visual acuity and illuminance.
  • FIG. 4 is a diagram for explaining a case where a shield exists between a user and an exhibit;
  • FIG. 10 is a diagram showing an example of an object for visual acuity measurement that can be applied to the first modified example of the embodiment;
  • FIG. 11 is a schematic diagram showing an example of an input screen for a user to input the visibility of each part, which is applicable to the first modified example of the embodiment;
  • FIG. 11 is a schematic diagram showing a first example of a method of displaying a virtual exhibit according to a second modified example of the embodiment;
  • FIG. 11 is a schematic diagram showing a second example of a method of displaying a virtual exhibit according to a second modified example of the embodiment;
  • FIG. 11 is a schematic diagram showing a third example of a method of displaying a virtual exhibit according to a second modified example of the embodiment;
  • Embodiment 2-0-1 Configuration applicable to embodiment 2-0-2. Processing According to Embodiment 2-1. First modification of embodiment 2-2. Second Modification of Embodiment 2-3. Third modification of embodiment 2-4. Another modification of the embodiment
  • the present disclosure relates to a so-called audio guide that uses audio information to explain exhibits to users (viewers) in art museums, museums, exhibition halls, and the like.
  • an audio guide is used to present, to a user observing (appreciating) an exhibit, detailed commentary according to how the user sees the object being observed.
  • the observation target refers to an object that the user pays attention to and observes in the exhibit, and may be the entire exhibit or a part of the exhibit.
  • FIG. 1 is a schematic diagram showing an example in which a user appreciates (observes) exhibits in an exhibition room of an art museum.
  • an exhibition room A has a wall surface 250 on which a plurality of exhibits 20, for example, paintings, are displayed.
  • an exhibit 21 such as a three-dimensional object such as a sculpture is displayed, and a relatively small exhibit 23 is displayed in a showcase 22 .
  • an exhibition room B is provided next to the exhibition room A, and it is possible to move from the exhibition room A to the exhibition room B.
  • FIG. 2 is a schematic diagram for explaining changes in observation content according to the distance between the user 10 and the exhibit 20.
  • the user 10 is observing the exhibit 20 from a position at a distance D with respect to the exhibit 20 while directing the line of sight to the viewpoint position 30 of the exhibit 20 .
  • the shorter the distance D the more the user 10 can observe the details of the exhibit 20.
  • the longer the distance D the more difficult it becomes to observe the details, but the more the user 10 can observe the exhibit 20 as a whole. .
  • the granularity of the commentary presented by the audio guide is set according to how the user 10 views the exhibit 20, that is, the visual recognition state of the exhibit 20 by the user 10, and a different commentary is provided for each granularity. is presented to the user 10 .
  • the visual recognition state of the exhibit 20 by the user 10 is not limited to the distance D to the exhibit 20, but also the visual acuity of the user 10, the brightness of the exhibit 20, the surrounding environment (such as lighting) of the exhibit 20, and the line of sight of the user 10. It differs depending on various conditions such as the angle with respect to the exhibit 20 . In the present disclosure, the granularity of explanation is set according to these conditions that affect the viewing state.
  • Granularity of commentary indicates the extent to which the commentary refers to the physical details of the object to be observed.
  • the object of observation is a painting
  • the commentary on the painting itself such as the background in which the painting was created
  • the explanation on objects that can be seen at first glance in the painting such as large objects and conspicuous objects.
  • It may be of low granularity.
  • the granularity of the commentary may be set at medium level for the detailed or inconspicuous object included in the painting compared to the object in question.
  • the finer granularity of the commentary may be considered for detailed descriptions of objects, brush strokes, techniques, and the like.
  • the granularity of the commentary presented to the user 10 is set according to the visual recognition state of the exhibit 20 that is the observation target of the user 10 . In the present disclosure, this allows the user 10 to be presented with contextual information regarding the exhibit 20 being observed.
  • FIG. 3 is a functional block diagram of an example for explaining the functions of the information processing system for realizing the audio guide according to the embodiment.
  • the information processing system 1 includes a sensor 100, a user position detection unit 110, an environment recognition unit 111, a guide control unit 112, a presentation control unit 113, a guide DB (database) 120, an exhibition It includes an object DB 121 , a user DB 122 , a speaker 130 , a display 131 and a situation recognition section 140 .
  • the display 131 and the situation recognition unit 140 can be omitted.
  • the information processing system 1 is configured as a terminal device held and used by the user 10, except for at least the situation recognition unit 140.
  • the situation recognition unit 140 is configured on a server 141 connected to the terminal device via, for example, a network.
  • the guide DB 120 stores audio data of guide information (commentary) of each exhibit 20, 21 and 23 for each granularity of the commentary.
  • the audio data of the guide information of each exhibit 20, 21 and 23 for each granularity is stored in the guide DB 120 with a granularity attribute indicating granularity for each granularity added.
  • each piece of audio data may be stored in the guide DB 120 as one audio data file as a whole piece of guide information.
  • one piece of guide information may be divided into sentences, etc., and granularity attributes may be added to each of the divided audio data, and each audio data file may be stored in the guide DB 120 .
  • the guide information may be stored in the guide DB 120 as text information, and the text information may be read out by a read-aloud program to generate voice guide information.
  • the exhibit DB 121 stores information on each exhibit 20, 21, and 23 that is the target of the audio guide.
  • the exhibit DB 121 stores position information indicating the exhibit position of each exhibit 20 , 21 and 23 in association with each exhibit 20 , 21 and 23 .
  • the exhibit DB 121 may also store information indicating other exhibits or content related to each of the exhibits 20, 21 and 23.
  • FIG. The exhibit DB 121 can also store the content itself.
  • the user DB 122 stores information about the user 10.
  • the user DB 122 stores identification information identifying the user 10 and information indicating personal attributes of the user 10 in association with each other.
  • the personal attributes of the user 10 may include information indicating the user's 10 eyesight, for example.
  • the personal attributes of the user 10 may further include information indicating physical characteristics of the user 10, for example.
  • the physical characteristics of the user 10 may include, for example, the height of the user 10 or the height of the line of sight when the user 10 faces the horizontal direction.
  • the user DB 122 may store the past observation history of the user 10 .
  • the sensor 100 includes at least a position sensor for detecting the position of the user 10 and a camera for capturing images.
  • a position sensor a receiver of beacons for autonomous navigation by mobile devices can be applied.
  • a gyro can also be applied as a position sensor. Also, by using a gyro, it is possible to estimate the orientation of the user 10 .
  • Sensor 100 is not limited to this, and may further include an illuminance (luminance) measuring device instead of a camera.
  • the sensor 100 may include an inward camera for detecting the line of sight of the user wearing the glasses-type device.
  • the user position detection unit 110 detects the position of the user 10 holding the terminal device information based on the output of the position sensor in the sensor 100 .
  • the positions of the exhibits 20, 21, and 23 in the exhibition room A are known. You can get which exhibit you are near.
  • the exhibits 20, 21, and 23 in FIG. 1 are represented by the exhibit 20 unless otherwise specified.
  • the environment recognition unit 111 detects the brightness of the exhibit 20 and the illuminance around the exhibit 20 that the user 10 observes based on the output of the camera of the sensor 100, and recognizes the environment for the exhibit 20. do.
  • the guide control unit 112 estimates the recognition state of the observation target by the user 10 based on the output of the environment recognition unit 111 and information indicating, for example, eyesight of the user 10 stored in the user DB 122 . Then, the guide control unit 112 sets the granularity of the commentary to be presented to the user 10 based on the estimated recognition state. The guide control unit 112 identifies an audio data file for reproducing an audio guide (commentary) to be presented to the user 10 based on the output of the user position detection unit 110 and the set granularity of the commentary.
  • the guide control unit 112 functions as an estimation unit that estimates the viewing state by the user of the observation target being observed by the user 10 .
  • the guide control unit 112 also functions as a setting unit that sets the granularity of commentary information for explaining the observation target to be presented to the user 10 according to the viewing state.
  • the presentation control unit 113 acquires the audio data file specified by the guide control unit 112 from the guide DB 120 via the guide control unit 112, for example.
  • the presentation control unit 113 drives the speaker 130 based on the audio data stored in the acquired audio data file, and reproduces the commentary as audio. Note that the speaker 130 is actually a headphone (or an earphone) worn by the user 10 .
  • the presentation control unit 113 can cause the display 131 to display an image corresponding to the commentary.
  • the display 131 of the glasses-type device can display an image in virtual space superimposed on an image in real space.
  • the presentation control unit 113 acquires image information of other exhibits and contents related to the observation target from the exhibit DB 121, and converts an image based on the acquired image information into a virtual space image of the observation target in the real space. It can be superimposed on the image and presented.
  • the situation recognition unit 140 acquires user position information indicating the position of each user 10 from a plurality of terminal devices, and can recognize, for example, the congestion situation in exhibition room A, group behavior of a plurality of users 10, and the like.
  • the guide control unit 112 may set the granularity of commentary information, etc., in consideration of the situation recognition results of the plurality of users 10 by the situation recognition unit 140 .
  • the situation recognition unit 140 in the configuration of FIG. 3 is placed outside the terminal device, for example, on the server 141, but it is not limited to this example.
  • the guide DB 120 , exhibit DB 121 and user DB 122 may be placed on the server 140 .
  • all or part of the user position detection unit 110 , the environment recognition unit 111 , the guide control unit 112 and the presentation control unit 113 can be placed on the server 140 .
  • the information processing system can take several forms. A first example, a second example, and a third example of the system configuration will be described below.
  • FIG. 4A is a schematic diagram showing a first example of the configuration of the information processing system 1 applicable to the embodiment. 4A, the information processing system 1a includes headphones 130a worn on the head by the user 10, and a server 141 connected to the network 2.
  • FIG. The headphone 130a corresponds to the speaker 130 in FIG. 3, and has an antenna 131 as a wireless communication means. can.
  • the network 2 may be a closed network in a facility such as an art museum, or may be the Internet.
  • FIG. 4B is a block diagram showing an example hardware configuration of the headphones 130a applicable to the embodiment.
  • the headphone 130a includes a CPU (Central Processing Unit) 1300, a ROM (Read Only Memory) 1301, a RAM (Random Access Memory) 1302, a communication I/F 1304, an audio signal processing section 1305, and a storage device. 1306 , an operation unit 1307 , and the sensor 100 , and these units are communicably connected to each other via a bus 1310 .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • 1306 an operation unit 1307
  • the sensor 100 and these units are communicably connected to each other via a bus 1310 .
  • the CPU 1300 uses the RAM 1302 as a work memory according to programs stored in the ROM 1301 and the storage device 1306 to control the overall operation of the headphone 130a.
  • a communication I/F 1304 performs wireless communication using the antenna 131 under the control of the CPU 1300 .
  • the audio signal processing unit 1305 includes an audio signal processing circuit such as an equalizer, a DA (Digital to Analog) converter, and an amplifier. drives the left and right drivers 130L and 130R provided to reproduce sound.
  • the storage device 1306 is, for example, a non-volatile semiconductor memory such as flash memory.
  • An operation unit 1307 includes operators for receiving user operations, and passes control signals corresponding to user operations to the CPU 1300 .
  • the headphone 130a can include a configuration other than the display 131 and the situation recognition section 140 in FIG.
  • the guide DB 120, exhibit DB 121, and user DB 122 are stored in the storage device 1306.
  • FIG. The user position detection unit 110, the environment recognition unit 111, the guide control unit 112, and the presentation control unit 113 operate on the main storage area of the RAM 1302 by executing an information processing program stored in the ROM 1301 or the storage device 1306 by the CPU 1300, for example. , each configured as a module, for example.
  • the information processing program executed by the CPU 1300 is acquired from the server 141 via the network 2 by the communication I/F 1304, for example, and installed in the headphones 130a. Also, the guide DB 120 and the exhibit DB 121 may be obtained from the server 141 when the information processing program is installed.
  • the headphone 130a can be used without connecting to the server 141 if the information processing program is installed and the guide DB 120, the exhibit DB 121, and the user DB 122 are acquired. , can operate alone.
  • FIG. 5A is a schematic diagram showing a second example of the configuration of the information processing system 1 applicable to the embodiment.
  • the information processing system 1b includes headphones 130b that the user 10 wears on the head, and a terminal device 160 that the user 10 can easily carry.
  • the terminal device 160 may be a smart phone or a tablet computer, or may be a device dedicated to audio guides.
  • the headphone 130b is connected to the terminal device 160 by wire, and reproduces sound based on the audio signal supplied from the terminal device 160.
  • the headphone 130b may communicate with the terminal device 160 by wireless communication such as Bluetooth (registered trademark) to acquire an audio signal (in this case, audio data).
  • FIG. 5B is a block diagram showing an example hardware configuration of the terminal device 160 applicable to the embodiment.
  • terminal device 160 includes CPU 1600, ROM 1601, RAM 1602, communication I/F 1604, audio signal processing unit 1605, storage device 1606, input device 1607, display device 1608, sensor 100, , which are communicatively connected to each other by a bus 1610 .
  • the CPU 1600 controls the overall operation of the terminal device 160 according to programs stored in the ROM 1601 and storage device 1606, using the RAM 1602 as a work memory.
  • a communication I/F 1604 performs wireless communication using an antenna (not shown) under the control of the CPU 1600 .
  • the audio signal processing unit 1605 includes an audio signal processing circuit such as an equalizer, a DA (Digital to Analog) converter, and an amplifier.
  • supply to The storage device 1606 is, for example, non-volatile semiconductor memory such as flash memory.
  • the input device 1607 accepts a user's operation and passes a control signal according to the user's operation to the CPU 1600 .
  • a display device 1608 displays a screen according to the display control signal generated by the CPU 1600 .
  • the input device 1607 and display device 1608 can be integrally formed to form a so-called touch panel 1620 .
  • the terminal device 160 can include a configuration other than the situation recognition section 140 in FIG.
  • the guide DB 120, exhibit DB 121 and user DB 122 are stored in the storage device 1606.
  • FIG. The user position detection unit 110, the environment recognition unit 111, the guide control unit 112, and the presentation control unit 116 operate on the main storage area of the RAM 1602 by executing an information processing program stored in the ROM 1601 or the storage device 1606 by the CPU 1600, for example. , each configured as a module, for example.
  • the information processing program executed by the CPU 1600 is acquired from the outside (for example, the server 141) through the communication I/F 1604 and installed in the terminal device 160, for example. Also, the guide DB 120 and the exhibit DB 121 may be obtained from outside (for example, the server 141) at the time of installation of this information processing program.
  • FIG. 6A is a schematic diagram showing a third example of the configuration of the information processing system 1 applicable to the embodiment.
  • the information processing system 1c includes headphones 130c worn on the head by the user 10, a glasses-type device 170 worn on the head by the user 10, and a server 141 connected to the network 2.
  • the glasses-type device 170 corresponds to the display 131 in FIG. 3, has an antenna 171 as a wireless communication means, connects to the network 2 via the access point (AP) 150 by wireless communication, and communicates with the server 141. be able to.
  • the headphones 130 c reproduce sound based on the audio signal or audio data supplied from the glasses-type device 170 .
  • FIG. 6B is a block diagram showing an example hardware configuration of the glasses-type device 170 applicable to the embodiment.
  • the glasses-type device 170 includes a CPU 1700, a ROM 1701, a RAM 1702, a communication I/F 1704, an audio signal processing unit 1705, a storage device 1706, an operation unit 1707, a display device 1708, and a sensor 100a. , which are communicatively connected to each other by a bus 1710 .
  • the sensor 100a includes a position sensor 1011 that acquires the current position, an outward camera 1010a, and an inward camera 1010b.
  • the outward camera 1010a is a camera that captures an image of the outside of the spectacles-type device 170, that is, the direction in which the user 10 wearing the spectacles-type device 170 faces.
  • the inward facing camera 1010b is a camera that captures the inside of the glasses-type device 170 , that is, the direction of the face of the user 10 wearing the glasses-type device 170 .
  • the CPU 1700 uses the RAM 1702 as a work memory to control the overall operation of the glasses-type device 170 according to programs stored in the ROM 1701 and the storage device 1706 .
  • a communication I/F 1704 performs wireless communication using the antenna 171 under the control of the CPU 1700 .
  • the audio signal processing unit 1705 includes an audio signal processing circuit such as an equalizer, a DA (Digital to Analog) converter, and an amplifier.
  • supply to The storage device 1706 is, for example, a non-volatile semiconductor memory such as flash memory.
  • the operation unit 1707 accepts user operations and passes control signals corresponding to the user operations to the CPU 1700 .
  • a display device 1708 displays an image according to the display control signal generated by the CPU 1700 .
  • the display device 1708 includes a display element for displaying an image, and an optical system for projecting the image displayed by the display element onto the lens surfaces of the glasses-type device 170 .
  • the spectacles-type device 170 can superimpose the image displayed by the display element on the image of the real space seen by the eyes of the user 10 through the lens surface.
  • AR Augmented Reality
  • the glasses-type device 170 can include a configuration other than the speaker 130 and the situation recognition section 140 in FIG. Without being limited to this, the glasses-type device 170 may include the speaker 130 (specifically, earphones or headphones).
  • the guide DB 120 , exhibit DB 121 and user DB 122 are stored in the storage device 1706 .
  • the user position detection unit 110, the environment recognition unit 111, the guide control unit 112, and the presentation control unit 117 operate on the main storage area of the RAM 1702 by executing an information processing program stored in the ROM 1701 or the storage device 1706 by the CPU 1700, for example. , each configured as a module, for example.
  • the information processing program executed by the CPU 1700 is acquired from the server 141 via the network 2 by, for example, the communication I/F 1704 and installed in the glasses-type device 170 . Also, the guide DB 120 and the exhibit DB 121 may be obtained from the server 141 when the information processing program is installed.
  • the glasses-type device 170 is connected to the server 141 when the information processing program is installed and the guide DB 120, exhibit DB 121, and user DB 122 are acquired. It is possible to operate alone without
  • FIG. 7 is a flowchart showing an example of processing in the information processing system 1 according to the embodiment.
  • the information processing system 1 acquires information indicating the visual acuity of the user 10 by a method described later.
  • the information processing system 1 stores the acquired information indicating the visual acuity of the user 10 in the user DB 122 .
  • step S10 When the processing of step S10 ends, the information processing system 1 shifts the processing to steps S11 and S12.
  • the processing after step S11 and step S12 is, for example, processing after the user 10 moves to the vicinity of the exhibit 20 to be observed.
  • step S ⁇ b>11 the information processing system 1 acquires the current position of the user 10 based on the output of the sensor 100 using the user position detection unit 110 .
  • step S13 the information processing system 1 uses the user position detection unit 110 to obtain the distance D from the current position of the user 10 obtained in step S11 to the exhibit 20 near the user 10.
  • step S12 the information processing system 1 uses the environment recognition unit 111 to detect the environment that affects the viewing state of the exhibit 20, such as the brightness of the exhibit 20 near the user 10 and the lighting for the exhibit 20. information is acquired based on the output of the sensor 100, for example.
  • step S14 the information processing system 1 uses the guide control unit 112 to provide a commentary ( guide) granularity.
  • the information processing system 1 causes the presentation control unit 113 to acquire from the guide DB 120 the voice data of the commentary corresponding to the granularity set in step S14 for the exhibit 20, and presents it to the user 10. .
  • FIG. 8 is a schematic diagram showing an example of data stored in the guide DB 120 according to the embodiment.
  • an exhibit A indicates an exhibit as an entity in real space.
  • exhibit B indicates an exhibit (referred to as a virtual exhibit) as a virtual object in the virtual space.
  • the exhibit B is applied to the information processing system 1c using the glasses-type device 170 described with reference to FIGS. 6A and 6B, for example.
  • the type, related works, and granularity of commentary are defined for each exhibit.
  • the type of exhibit A is “exhibit” (exhibit as a real object in real space), and that there are works B, D, and K as “related works”.
  • exhibit B has a type of "virtual exhibit” (displayed as a virtual exhibit in a virtual space) and works A and L as "related works”.
  • FIG. 9 is a schematic diagram for explaining the viewing angle.
  • the visual angle to the object when this object is viewed with the eye 50 is the angle ⁇ obtained by looking at the height h from the eye 50 .
  • the angle ⁇ varies depending on the distance D between the eye 50 and the object.
  • the granularity of commentary is "low" for observation targets with a visual angle of 5.1 degrees or more when viewed from a predetermined distance.
  • the granularity of the commentary for the observation target whose viewing angle is in the range of 0.58 deg to 5.0 deg is set to "medium”.
  • the granularity of commentary for an observation target with a viewing angle of 0.57 degrees or less is set to "high”.
  • a description of "low” granularity refers to, for example, an exhibit as a whole.
  • “medium” granularity for example, references are made to objects contained in exhibits.
  • "high” granularity for example, finer objects included in the exhibits and techniques used in creating the exhibits are mentioned.
  • the granularity of the commentary can also be given by analyzing how detailed the target of the commentary is. For example, if the target of the commentary is an object included in the exhibit, the object name and size of the object are specified by general object recognition technology, and the commentary that matches the object name according to the specified size is displayed. You can set the granularity of
  • FIG. 10 is a schematic diagram showing an example of object recognition for objects included in exhibits applicable to the embodiment.
  • an exhibit 20, which is a painting includes an object 200 depicting a building and an object 201 depicting a tree.
  • the exhibit 20 is imaged using a camera included in the sensor 100, and the captured image obtained by the imaging is analyzed to recognize the object 200 or the object 201 as an object. This allows the generic object name of the object to be recognized.
  • an object 200 representing a building is recognized and its size (height ⁇ width) is specified.
  • the granularity of commentary for this object 200 is set according to this specified size.
  • similar processing can be performed not only for the object 200 but also for the object 201, and the granularity of explanation corresponding to the recognized object name can be set.
  • the content of the commentary on the observation target is controlled according to the viewing angle with respect to the observation target. More specifically, in the embodiment, the granularity of the commentary on the observation target is set according to the viewing angle with respect to the observation target, and the content of the commentary according to the granularity is presented to the user 10 . Therefore, it is possible to provide the user 10 with information on the exhibit being observed according to the situation.
  • a first modification of the embodiment estimates the viewing state of the observation target by the user 10 based on personal attributes, which are attributes specific to the user 10, in addition to the distance from the user 10 to the observation target. Further, this is an example in which the granularity of the commentary on the observation target to be presented to the user 10 is set based on the estimated visual recognition state.
  • the visual acuity of the user 10 is applied as an example of the personal attribute of the user 10 .
  • FIG. 11 is a diagram for explaining the definition of visual acuity based on the Landolt ring.
  • the Landolt ring 60 is a figure composed of a partially open ring, and the ratio of the diameter of the entire ring, the width of the arc, and the width of the open ring is 5:1:1. It is said that In the example of FIG. 11, the Landolt ring 60 has a circular ring diameter of 7.5 [mm], and a circular arc width and a circular ring open portion (opening) width of 1.5 [mm], respectively. It is shown.
  • the visual angle of the opening viewed from the eye 50 is 1° (1 deg).
  • Visual acuity is 1.0 or more when the opening can be recognized from a position 5 [m] away from the Landolt's ring 60 .
  • the user 10 in order to explain the texture of the observation target with a resolution of 1.5 [mm] to the user 10 whose visual acuity is 1.0, the user 10 must be at a position within 5 [m] from the observation target. need to be
  • the information processing system 1 estimates the degree of recognition of the observation target by the user 10 based on the visual acuity of the user 10 and the distance from the user 10 to the observation target, and calculates the estimated recognition Information according to the degree may be presented to the user 10 .
  • the exhibit related to the observation target is a real object, and the visual acuity of the user 10 is worse than expected, and it is difficult for the user 10 to identify the content of the detailed explanation according to the distance from the current position of the user 10 to the observation target.
  • the information processing system 1 may reset the granularity of the commentary in consideration of the visual acuity of the user 10 .
  • the information processing system 1 may lower the granularity of the commentary set according to the distance from the user 10 to the observation target by one level (from "high” granularity to "medium” granularity, etc.).
  • the information processing system 1 may present a commentary on the observation target when the user 10 approaches the observation target in the above case.
  • the information processing system 1, before presenting the commentary on the observation target may be presented with a message prompting the user to approach the observation target.
  • the information processing system 1 may present an enlarged image of the virtual exhibit to the user 10 .
  • the information processing system 1 (information processing system 1c) dynamically changes the size and resolution of the image of the virtual exhibit according to changes in the position of the user 10 with respect to the virtual exhibit. You may In this case, when it is estimated that the user 10 is observing the virtual exhibit based on the state of the gaze point of the user 10, the information processing system 1 determines the size of the image of the virtual exhibit, Do not dynamically change the resolution.
  • a group to which a plurality of users belong may observe the same exhibit.
  • the information processing system 1 associates each of a plurality of users belonging to a group with the group and registers them in the user DB 122 .
  • a plurality of users belonging to a group may share the output of any user's speaker 130 (headphones), for example, with each user's speaker 130 .
  • the information processing system 1 can control each terminal device of each user, the commentary voice data reproduced in each terminal device may be synchronized.
  • the information processing system 1 selects an explanation with a granularity that matches the user who is assumed to have the lowest degree of awareness of the exhibit among the users belonging to the group, for example, the user with the lowest visual acuity, It is preferable to present it to the group concerned. More specifically, the information processing system 1 may set the granularity of the commentary to be presented to the group to which the user belongs, based on the distance from the user to the exhibit and the visual acuity of the user. In addition, the information processing system 1 presents a commentary on the behavior of the user by regarding the behavior of the group to which the user belongs, with the user as the representative of the group. By doing so, it is possible to prevent inconsistencies in viewing and listening commentary between users included in the group.
  • the visual field range that the user 10 can recognize is limited depending on conditions with respect to the direction of the user's 10 face (line-of-sight direction). For example, the limits of the recognizable visual field range are generally about 50° to 55° upward, about 70° to 80° downward, and about 90° horizontally with respect to the line of sight of the user 10. It is known. The range in which the user 10 can distinguish colors is even narrower than this recognizable visual field range. ° to 60°. Also, it is known that the range in which the user 10 can recognize character information is even narrower.
  • the information processing system 1 can, for example, display detailed representations (texture resolution, material texture, technique, etc.) of exhibits, character information, A commentary on color information can be presented in a state in which the exhibit is included in a field of view effective for recognizing the information.
  • the effective field of view refers to a field of view within which the user 10 can recognize the above-described information included in the observation target.
  • FIG. 12 is a diagram showing an example of the relationship between visual acuity and illuminance. As shown in FIG. 12, visual acuity worsens with lower illuminance and improves with higher illuminance. It should be noted that the improvement in visual acuity at an illuminance of 5000 [lx (lux)] or more and the deterioration of visual acuity at an illuminance of 0.1 [lx] or less are slight. This tendency is considered to be the same for the brightness of the observation target.
  • the information processing system 1 considers the visual acuity deterioration of the user 10 observing the observation target according to at least one of the illuminance around the observation target and the brightness of the observation target.
  • the reference viewing angle may be changed. For example, the information processing system 1 widens the reference visual angle when the illuminance and/or luminance of the observation target is less than or equal to a predetermined value, and widens the reference visual angle when the illuminance and/or luminance is greater than or equal to a predetermined value. You can narrow it down.
  • the adaptation characteristic to changes in illuminance is known. That is, when the illuminance changes to a different state, the human eye takes some time to adapt to the illuminance after the transition. Adaptation when transitioning from a high illuminance state to a low illuminance state is called dark adaptation, and adaptation when transitioning from a low illuminance state to a high illuminance state is called photoadaptation.
  • exhibition room B adjacent to exhibition room A has lower illuminance than exhibition room A.
  • a delay occurs until the exhibits displayed in the exhibition room B become recognizable in the same way as the exhibits in the exhibition room A due to dark adaptation.
  • the exhibits in the exhibition room A can be recognized in the same way as the exhibits in the exhibition room B after a delay due to light adaptation.
  • the information processing system 1 considers the delay in recognition due to dark adaptation or light adaptation that accompanies the user 10 moving to a place with different illuminance, and determines the time until the explanation is presented. can be adjusted.
  • the information processing system 1 delays the commentary on the exhibit (observation target) that the user 10 first observes after moving from the exhibition room A to the exhibition room B by the time assumed to be required for dark adaptation. to start.
  • the information processing system 1 may set the granularity of the commentary by estimating the visual acuity to be low according to the movement to a place with different illuminance.
  • the information processing system 1 provides explanations other than direct explanations of the exhibits 20, such as historical backgrounds related to the production of the exhibits 20. You can also provide a commentary about the author.
  • FIG. 13 is a diagram for explaining a case where a shield exists between the user 10 and the exhibit 20. As shown in FIG. FIG. 13 shows another user 11 on the line of sight of the user 10 toward the exhibit 20 . The other user 11 functions as a shield that shields the line-of-sight direction of the user 10 toward the exhibit 20 . That is, the user 10 is blocked from viewing the exhibit 20 by the other user 11 and cannot observe the exhibit 20 .
  • the information processing system 1 determines a shield ( The presence of other users 11) can be detected. Not limited to this, in the information processing system 1c using the glasses-type device 170 described with reference to FIGS. It is possible.
  • the information processing system 1 when there is a shield between the user 10 and the observation target, gives priority to the exhibit 20 that is not shielded from the user 10. You can provide a descriptive explanation. For example, the information processing system 1 may present the user 10 with an explanation of the exhibit 20 closest to the exhibit 20 that is not shielded from the user 10 . The information processing system 1 may present a commentary on the observation target when the original observation target is no longer shielded.
  • the observation target when there is a shielding object between the user 10 and the observation target that is the target of the commentary, the observation target is not shielded.
  • a position may be specified, and presentation may be made to prompt the user 10 to move to that position.
  • a painting is assumed to be an object for visual acuity measurement, and the visual recognition state of objects included in the painting is registered in the information processing system 1.
  • the object for visual acuity measurement is not limited to a painting, and may be a three-dimensional object such as a sculpture, or an object with characters such as a book.
  • FIG. 14A is a diagram showing an example of an object for visual acuity measurement applicable to the first modified example of the embodiment.
  • This visual acuity measurement picture 70 is posted, for example, at the entrance before the user 10 enters an exhibition room (for example, exhibition room A) where exhibits are actually exhibited.
  • exhibition room for example, exhibition room A
  • the painting 70 includes multiple objects 700-707.
  • Object 700 is a building, and object 701 is a window provided in object 700 .
  • Object 702 is a curtain hung over a window, and object 703 shows the polka dot pattern on the curtain.
  • Objects 704 are tiles on the inner wall that can be seen from the window, and objects 705 indicate scratches on the outer wall made of bricks. Further, object 706 is the woman seen through the window, and object 707 is the woman's barrette.
  • FIG. 14B is a schematic diagram showing an example of an input screen for the user 10 to input the visual recognition state (appearance) of each part, which is applicable to the first modified example of the embodiment.
  • the input screen 80 includes a message display 800 for prompting the user 10 to input, an input area 801 and a button 802 .
  • the input area 801 includes check boxes for each of the objects 700-707 for inputting whether each object 700-707 shown in FIG. 14A can be seen (whether it can be recognized).
  • a button 802 accepts an operation for registering information input to the input area 801 in the information processing system 1 .
  • the input screen 80 may be displayed on the display device 1608 of the terminal device 160 in the example using the terminal device 160 described with reference to FIGS. 5A and 5B. Alternatively, the input screen 80 may be displayed on a dedicated terminal device.
  • the user 10 can recognize the objects 700 to 704 of buildings, windows, curtains, polka dots, and tiles among the objects 700 to 707.
  • Each item to be checked is checked.
  • the user 10 cannot recognize the brick damage, the woman, and the barrette objects 705 to 707, so the items corresponding to the objects 705 to 707 are not checked. It is blank.
  • the information input in the input area 801 is passed to the guide control unit 112, for example.
  • the guide control unit 112 estimates the visual acuity of the user 10 based on the passed input information.
  • the guide control unit 112 registers information indicating the estimated visual acuity in the user DB 122 in association with identification information for identifying the user 10 .
  • the method of registering the visual acuity of the user 10 is not limited to this example.
  • the user 10 may directly input information indicating visual acuity using a predetermined input means and register it in the information processing system 1 .
  • the user 10 may verbally report information indicating the visual acuity to a service provider of an audio guide provided by the information processing system 1 .
  • information indicating the visual acuity of the user 10 is registered in the user DB 122 by the service provider.
  • the information processing system 1 may correct the registered visual acuity.
  • the commentary on the observation target is controlled based on the personal attributes of the user 10 and the environment information on the observation target, in addition to the visual angle of the observation target. Therefore, it is possible to more flexibly present information to the user 10 according to the situation regarding the exhibit being observed.
  • a second modification of the embodiment is an example in which an image of a virtual exhibit displayed in a virtual space is superimposed on an image of the exhibit 20 displayed as a physical object in the real space to realize AR.
  • the second modification of this embodiment assumes the use of the information processing system 1c using the glasses-type device 170 described with reference to FIGS. 6A and 6B, for example.
  • FIG. 15 is a schematic diagram showing a first example of a method for displaying a virtual exhibit according to a second modification of the embodiment.
  • FIGS. 16 and 17, which will be described later, show an example in which the user 10 looks at the wall surface 250 (exhibit 20) in the real space through the spectacles-type device 170.
  • FIG. 15 and FIGS. 16 and 17, which will be described later, show an example in which the user 10 looks at the wall surface 250 (exhibit 20) in the real space through the spectacles-type device 170.
  • virtual exhibits 210 to 213 are arranged and displayed around an exhibit 20 as a real object displayed on a wall surface 250 .
  • each virtual exhibit 210 to 213 is a work related to the exhibit 20 .
  • virtual exhibits 210, 211, 212, and 213 each include a representative work, an early work, a work produced contemporaneously with exhibit 20, and the same material as exhibit 20, by the artist of exhibit 20. It is conceivable that it is a work that was handled.
  • the virtual exhibits 210 to 213 are arranged and displayed one by one on the top, bottom, left, and right of the exhibit 20, but this is an example, and the placement of each of the virtual exhibits 210 to 213 is different from this. Examples are not limiting.
  • These virtual exhibits 210 to 213 are, for example, virtualized (data) exhibits displayed in an area (for example, exhibition room B) different from the area where the exhibit 20 is displayed (for example, exhibition room A).
  • the virtual exhibits 210 to 213 are, for example, virtualized exhibits displayed at a facility (art museum D) different from the facility (art museum C) where the exhibit 20 is exhibited. you can
  • the user 10 can receive a commentary on the exhibit 20 that is difficult to achieve with only voice information. can be presented.
  • a second example of the display method of the virtual exhibit is an example in which the layout of the exhibit 20 and the virtual exhibit is determined according to personal attributes and environmental conditions.
  • the layout of the exhibit 20 and each related virtual exhibit is determined based on constraints on a two-dimensional plane, such as the number and size of the exhibit 20 and each virtual exhibit.
  • the placement of the exhibit 20 and the placement of virtual exhibits related to the exhibit 20 are determined by the personal attributes of the user 10 and the environment. Determined according to conditions.
  • FIG. 16 is a schematic diagram showing a second example of the display method of the virtual exhibit according to the second modified example of the embodiment.
  • the maximum number of virtual exhibits that can be exhibited in relation to exhibit 20 is six, and a predetermined exhibit area is provided for exhibit 20 and related virtual exhibits.
  • the magnification of the virtual exhibit is 4 times when the user 10, whose eyesight is lower than the predetermined one, views the exhibit 20 at a distance of 5 [m].
  • FIG. 16 six virtual exhibits 220a to 220e and 230 related to the exhibit 20 of the real object are displayed.
  • the virtual exhibit 230 is assumed to be an exhibit (original) based on a physical object that is very small compared to the exhibit 20 .
  • a user 10 with vision below a predetermined level may have difficulty recognizing the original as well as the exhibit 20 if the original is viewed from the same distance as the exhibit 20 is observed.
  • the virtual exhibit 230 based on the original may be enlarged and displayed so that the user 10 can easily recognize it.
  • each exhibit 20 it is preferable to determine the display layout of each exhibit 20 in the real space in consideration of such a case where the virtual exhibit 230 related to the exhibit 20 is enlarged and displayed.
  • the display position of the enlarged virtual exhibit 230 is on the left side of the exhibit 20 . Therefore, the space between the exhibit 20 and another exhibit 20 (not shown) displayed on the left side of the exhibit 20 becomes a further exhibit 20 (not shown) exhibited on the right side of the exhibit 20. shown) is wide enough for the space between the exhibit 20 and another exhibit 20 (not shown) displayed on the left side of the exhibit 20 becomes a further exhibit 20 (not shown) exhibited on the right side of the exhibit 20. shown) is wide enough for the space between
  • the size of the space (for example, the width of the space) to be secured for the virtual exhibit 230 to be enlarged and displayed is determined based on the result of predicting the stopping position of each user 10 with respect to the virtual exhibit 230. good.
  • the stopping position of each user 10 can be predicted according to, for example, the average visual acuity value, the size of the target exhibit (original), and the fineness of the expression technique used for the exhibit. That is, based on the fineness (resolution) of the representation technique of the original, the visual acuity and distance for recognizing representation by the original can be calculated. Also, from the calculation result, the size of the space to be secured in front of the original can be predicted. Based on this predicted space size, the amount of space to reserve for the original virtual exhibit 230 can be determined.
  • a third example of the display method of the virtual exhibit according to the second modified example of the embodiment will be described.
  • a third example of the display method of the virtual exhibits is an example in which the arrangement position of each virtual exhibit related to the exhibit 20 is determined according to the line-of-sight position of the user 10 with respect to the exhibit 20. .
  • FIG. 17 is a schematic diagram showing a third example of the display method of the virtual exhibit according to the second modified example of the embodiment.
  • the user 10 stands in front of the exhibit 20 and looks at the viewpoint position 30 near the left end of the exhibit 20 to observe the exhibit 20 .
  • the range in which the user 10 can distinguish colors is, for example, about 30 degrees upward, about 40 degrees downward, and about 30 to 60 degrees left and right with respect to the line of sight of the user 10 . Therefore, the effective visual field range of the user 10 in this case is estimated to be, for example, an elliptical range 31 centered on the viewpoint position 30 .
  • the information processing system 1c displays virtual exhibits 210, 211, and virtual exhibits 210, 211 and 213 may be determined.
  • the information processing system 1c arranges the virtual exhibits 210, 211 and 213 on the left side of the exhibit 20. are placed. With such an arrangement, the viewpoint position 30 of the user 10 can be naturally guided from the exhibit 20 to each of the virtual exhibits 210 , 211 and 213 .
  • the information processing system 1c can also arrange the virtual exhibits 210, 211, and 213 in the order that the user 10 wants them to see. Of the virtual exhibits 210, 211 and 213, if it is desired to provide a commentary on the virtual exhibit 211 next to the exhibit 20, as illustrated in FIG. Then, the virtual exhibit 211 may be arranged to the left of the exhibit 20 . In this case, the information processing system 1c may arrange the virtual exhibits 210, 211, and 213 in order from the part closest to the line of sight of the user 10, and display them continuously one after another.
  • the information processing system 1c can avoid arranging the virtual exhibits 210, 211 and 213 in that direction.
  • the information processing system 1c displays, at the location where the user 10 is located, a virtual exhibit based on an exhibit exhibited at a location other than the location where the user 10 is present, and allows the user 10 to move from the current location. You may guide to the place where the original of the said virtual exhibit is exhibited.
  • the information processing system 1c displays a virtual exhibit based on, for example, one of the exhibits displayed in the exhibition room B in the vicinity of the exhibit 20 in the exhibition room A.
  • a message prompting the user to move to exhibition room B is embedded in the commentary for the virtual exhibit.
  • a fourth example of the display method of the virtual exhibit according to the second modified example of the embodiment will be described.
  • a fourth example of the display method of the virtual exhibits is an example in which the arrangement position of each virtual exhibit is determined according to the height of the line of sight of the user 10 .
  • the height of the line of sight of the user 10 when looking in the horizontal direction may differ from the height of the line of sight of an average adult by a predetermined amount or more.
  • the height of the line of sight is lower than a predetermined level compared to the height of the line of sight of an average adult.
  • the height of the line of sight is higher than a predetermined height as compared to the height of the line of sight of an average adult.
  • the information processing system 1c estimates the height of the line of sight of the user 10 when viewed in the horizontal direction.
  • the information processing system 1c may determine the height of the arrangement of the virtual exhibit with respect to the exhibit 20 according to the estimated height of the line of sight. By doing so, it is possible to appropriately present the virtual exhibit to each user 10 having various physical characteristics, and to present the commentary with appropriate granularity to each user 10. It becomes possible.
  • the image of the virtual exhibit is presented to the user 10 using the glasses-type device 170, but this is not limited to this example.
  • an image of the virtual exhibit may be presented to the user 10 by projecting it onto the wall surface 250 using a projector.
  • a third modification of the embodiment is to personalize the presentation of information to the user 10 before and after the user 10 observes the exhibit 20 .
  • the information processing system 1c using the spectacles-type device 170 which has been described with reference to FIGS. 6A and 6B, for example, is used.
  • the information processing system 1c accumulates the past usage history of the user 10 in the user DB 122.
  • the user 10 may register past usage history, information on the works he or she has referred to, and the like in the information processing system 1c.
  • the information processing system 1c may specify the work corresponding to the image information by performing image recognition processing on the image information.
  • the information processing system 1c may specify the work based on the metadata.
  • the information processing system 1c provides information related to the exhibit 20 among the information registered in the user DB 122 to the user 10 as a commentary on the exhibit 20. can be presented. If the information to be presented is image information, the information processing system 1c may superimpose an image based on the image information on the image of the exhibit 20 as relevant information for the exhibit 20 and display it.
  • the information processing system 1c may register and accumulate observation history of the exhibits 20 and virtual exhibits by the user 10 in the user DB 122, for example. After the user 10 finishes observing the exhibit 20, the information processing system 1c uses books and the Internet related to the exhibit 20 based on the information stored in the user DB 122 in response to a request from the user 10. The image of the virtual exhibit based on the exhibit 20 may be superimposed and displayed.
  • the user 10 can access the information from a place such as his/her home that is different from the exhibition place of the exhibit 20.
  • a processing system 1c is available.
  • the user 10 can view a display in which a work referred to using a book or the Internet related to the exhibit 20 and an image of a virtual exhibit based on the exhibit 20 are superimposed. It becomes possible.
  • the information processing system 1c obtains related information of the exhibits 20 observed by the user 10 based on the history of past observations by the user 10 and the information referred to. , can be presented to the user 10 . Therefore, the user 10 can obtain deeper knowledge about the exhibit 20, for example.
  • the information processing system 1 transmits text information to the user 10 using AR. may be presented and explained. Even in this case, the information processing system 1 (information processing system 1c) may perform control to set the granularity of the commentary according to the visual acuity and position of the user 10 .
  • the information processing system 1 may control the granularity of the commentary according to the standing position of the user 10 when the situation recognition unit 140 determines that the surroundings of the observation target of the user 10 are free. At this time, when it is predicted that the positions and flow lines of the user 10 and other users will overlap, the information processing system 1 instructs the user 10 about the standing position, and then gives an explanation with the corresponding granularity. can be presented. In addition, the information processing system 1 uses the situation recognition unit 140 to estimate the congestion status of the exhibition room based on the location information of each user 10, etc., and dynamically changes the granularity of the commentary according to the estimated congestion status. good.
  • the information processing system 1 obtains or predicts in advance the congestion situation in the destination exhibition room by the situation recognition unit 140, and the prediction result is , the granularity of the commentary for the user 10 may be set.
  • the information processing system 1 assigns importance to the commentary, and when controlling the granularity of the commentary according to the position of the user 10, considers both the granularity and the importance of the commentary. You can control the order of Thus, taking into account the importance of the commentary prevents the user 10 from missing the most important part of the commentary. It is also conceivable that the user 10 passes through the exhibit 20 without listening to the important part of the commentary and returns to the position of the exhibit 20 again. In such a case, the information processing system 1 may specify the observation position for the user 10 and then present the user 10 with a commentary on the exhibit 20 at a predetermined granularity.
  • the lighting may be dimmed to protect the work or for certain effects.
  • the information processing system 1 information processing system 1c
  • the information processing system 1 is a virtual exhibit in which the brightness of the part to be explained in the exhibit 20 is increased. and present the generated virtual exhibit to the user 10 .
  • the information processing system 1 removes one or more exhibits 20 that were difficult to recognize due to at least one of the illumination and the visual acuity of the user 10 after observing the other exhibits 20 of the user 10. , may be presented to the user 10 as a virtual exhibit.
  • the exhibit 20 may be displayed outdoors. Examples of such an exhibit include a case where the exhibit 20 is a sightseeing spot or a historical building, or a sculpture that is exhibited outdoors. Outdoors, the degree of recognition of the exhibit 20 changes depending on the weather.
  • the information processing system 1 may change the standing position of the user 10 when presenting guidance according to the weather, and notify the user 10 of the change. For example, if it is currently cloudy, the illuminance on the exhibit 20 is lower than when it is sunny, and it is estimated that the exhibit 20 is difficult to see. In such a case, the information processing system 1 may designate a position closer to the exhibit 20 as the standing position of the user 10 than when the weather is fine.
  • observation of the exhibit 20 from a distance and observation from near the exhibit 20 may be separated in terms of time.
  • the information processing system 1 may present the commentary to the user 10 with the granularity of each place, and may also present the view from a virtual different place.
  • the information processing system 1 may continuously present explanations of different granularity to the user 10, or may determine the order of the explanations to be presented based on the route traveled by the user 10. .
  • the information processing system 1 (information processing system 1c), when presenting an explanation of the same granularity as the exhibit 20 in another exhibit related to the exhibit 20, A virtual exhibit based on the object 20 may be presented to the user 10 as a related piece of that other exhibit. Without being limited to this, the information processing system 1 may add commentary that could not be presented until the end using only the audio information.
  • the information processing system 1 aggregates the granularity of the presented commentary for each exhibit 20, and manages the statistical information of the position of each user 10 according to which granularity of commentary is presented more often to reduce congestion. can be predicted.
  • the information processing system 1 sends information such as the texture when touched to the finger of the user 10 or a display at a location different from the exhibit 20. can be presented virtually.
  • the information processing system 1 displays an image of the exhibit 20 on the display of the spectacles-type device 170 worn by the user 10 when presenting an explanation by showing a portion of the exhibit 20, and points the pointer to the exhibit. It may be displayed at the corresponding position of the image of the exhibit 20 . Not limited to this, the information processing system 1 (information processing system 1c) may identify the corresponding portion on the image by object recognition of the image of the exhibit 20, and highlight the identified portion.
  • the information processing system 1 displays a virtual exhibit based on the exhibit 20, increases the brightness of the image of the virtual exhibit, or enlarges the image of the virtual exhibit. and may be presented to the user 10.
  • the information processing system 1 provides the user 10 with explanations of all granularities when the surroundings of the exhibits 20 are crowded or when it is assumed that the user 10 is observing each exhibit 20 in a hurry. Instead of presenting, the commentary presented may be limited. For example, the information processing system 1 may limit the content of the commentary and present it to the user 10 based on the importance and display position of the exhibit 20 and the preference of the user 10 estimated from the observation history of the user 10. .
  • the information processing system 1 displays the Granular commentary may not be presented to the user 10 .
  • the information processing system 1 may change the voice quality of the commentary presented to the user 10, the speaker who provides the commentary, the gender of the speaker, etc., according to the granularity of the commentary. By doing so, the user 10 can easily grasp which part of the explanation is presented.
  • the information processing system 1 gives priority to the granularity of the previous commentary and the corresponding granularity when the user 10 moves between the exhibits 20. and may be presented to the user 10.
  • the present technology can also take the following configuration. (1) executed by a processor, an estimation step of estimating a viewing state by the user of an observation target being observed by the user; a setting step of setting the granularity of commentary information for explaining the observation target to be presented to the user according to the viewing state; having Information processing methods. (2) an estimating unit for estimating a viewing state by the user of an observation target being observed by the user; a setting unit that sets granularity of commentary information for explaining the observation target to be presented to the user according to the viewing state; comprising Information processing equipment. (3) The estimation unit estimating the viewing state based on the user's visual acuity; The information processing device according to (2) above.
  • the registration unit An input unit for the user to input information indicating whether or not a predetermined part can be visually recognized, which is included in the observation target for visual acuity estimation prepared in advance, The estimation unit estimating the visual recognition state based on the information input to the input unit; The information processing device according to (4) above.
  • the registration unit A value indicative of the visual acuity is directly registered, The information processing device according to (4) above.
  • the estimation unit estimating the viewing state according to the distance from the user to the observation target; The information processing apparatus according to any one of (2) to (7) above. (9) The estimation unit estimating the viewing state according to the viewing angle of the user with respect to the observation target; The information processing apparatus according to any one of (2) to (8). (10) The observation target is a predetermined area obtained by object recognition of the exhibit, The information processing device according to (9) above. (11) The observation target is the state of the surface of the exhibit, The estimation unit estimating the viewing state according to the viewing angle corresponding to the resolution according to the surface state; The information processing device according to (9) above. (12) The estimation unit estimating the viewing state according to the direction of the user's line of sight; The information processing apparatus according to any one of (2) to (11).
  • the estimation unit estimating the visual recognition state according to the type of the observation target; The information processing apparatus according to any one of (2) to (12).
  • the setting unit When a plurality of users observe one observation target, the granularity is set according to the viewing state of the user whose estimated viewing state is the worst among the plurality of users; The information processing apparatus according to any one of (2) to (13) above.
  • a presentation unit that presents the commentary information to the user according to the granularity; further comprising The information processing apparatus according to any one of (2) to (14).
  • (16) The presentation unit presenting the different commentary information according to the granularity to the observation target; The information processing device according to (15) above.
  • the presentation unit presenting the commentary information using audio information; The information processing apparatus according to (15) or (16).
  • the presentation unit presenting an image of a virtual exhibit, which is an exhibit in a virtual space related to the observation target, superimposed on the image of the real space including the observation target, in the vicinity of the observation target;
  • the information processing apparatus according to any one of (15) to (17).
  • (19) The presentation unit presenting an image of the virtual exhibit at a position according to the direction of the user's line of sight;
  • the information processing device according to (18) above.
  • (20) The presentation unit presenting the image of the virtual exhibit at a position corresponding to the height of the line of sight of the user when looking in the horizontal direction;
  • the information processing apparatus according to (18) or (19).
  • the presentation unit presenting an image of the virtual exhibit based on an exhibit related to the observation target displayed in an area different from the area where the observation target is exhibited, superimposed near the image of the observation target;
  • the information processing apparatus according to any one of (18) to (20).
  • the presentation unit When there is a shield between the user and the observation target, a presentation is provided to guide the user to an observation target different from the observation target;
  • the information processing apparatus according to any one of (15) to (21).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示に係る情報処理方法は、プロセッサにより実行される、ユーザが観察中の観察対象のユーザによる視認状態を推定する推定ステップ（Ｓ１０）と、ユーザに対して提示するための観察対象について解説するための解説情報の粒度を、視認状態に応じて設定する設定ステップ（Ｓ１４）と、を有する。

Description

情報処理方法および情報処理装置
　本開示は、情報処理方法および情報処理装置に関する。
　従来から、美術館などにおいて、展示物に関する情報提示を音声データを再生して行うオーディオガイドが知られている。ユーザは、オーディオガイドを利用することで、観察中の展示物について、より深い理解を得ることが可能となる。
　従来のオーディオガイドによる情報提示方法では、ユーザが対象の展示物のどの部分を観察しているかに関わらず、観察対象の全体に対して説明がなされていた。そのため、ユーザの観察状態に合わせた情報提供を行うことが難しかった。この問題点を解消するために、このオーディオガイドに対して、特許文献１に記載されるような、ユーザの視線方向に応じた制御を行う技術を適用し、ユーザの観察状態に合わせた情報提供を行うことが考えられる。
国際公開第２０１９／１８７４８７号
　しかしながら、オーディオガイドにおいて、ユーザの視点に合わせて解説を制御したとしても、ユーザの状態や、ユーザおよび展示物の周囲の環境などにより、展示物がオーディオガイドにおいて想定されるようにユーザに見えているとは限らない。そのため、従来の情報提示方法では、ユーザに対して観察中の展示物に関する十分な情報提示が行われない事態が生じるおそれがあった。
　本開示は、ユーザに対して、観察中の展示物に関する、状況に応じた情報の提示が可能な情報処理方法および情報処理装置を提供することを目的とする。
　本開示に係る情報処理方法は、プロセッサにより実行される、ユーザが観察中の観察対象のユーザによる視認状態を推定する推定ステップと、ユーザに対して提示するための観察対象について解説するための解説情報の粒度を、視認状態に応じて設定する設定ステップと、を有する。
　本開示に係る情報処理装置は、ユーザが観察中の観察対象のユーザによる視認状態を推定する推定部と、ユーザに対して提示するための観察対象について解説するための解説情報の粒度を、視認状態に応じて設定する設定部と、を備える。
美術館の展示室においてユーザが展示品を鑑賞（観察）する例を示す模式図である。 ユーザと展示物との距離に応じた観察内容の変化を説明するための模式図である。 実施形態に係るオーディオガイドを実現するための情報処理システムの機能を説明するための一例の機能ブロック図である。 実施形態に適用可能な情報処理システムの構成の第１の例を示す模式図である。 実施形態に適用可能なヘッドホンの一例のハードウェア構成を示すブロック図である。 実施形態に適用可能な情報処理システムの構成の第２の例を示す模式図である。 実施形態に適用可能な端末装置の一例のハードウェア構成を示すブロック図である。 実施形態に適用可能な情報処理システムの構成の第３の例を示す模式図である。 実施形態に適用可能なメガネ型デバイスの一例のハードウェア構成を示すブロック図である。 実施形態に係る情報処理システムにおける一例の処理を示すフローチャートである。 実施形態に係るガイドＤＢに格納されるデータの例を示す模式図である。 視角について説明するための模式図である。 実施形態に適用可能な、展示物に含まれるオブジェクトに対する物体認識の例を示す模式図である。 ランドルト環に基づく視力の定義を説明するための図である。 視力と照度との関係の例を示す図である。 ユーザと展示物との間に遮蔽物が存在する場合について説明するための図である。 実施形態の第１の変形例に適用可能な、視力測定用としてのオブジェクトの例を示す図である。 実施形態の第１の変形例に適用可能な、ユーザが各部の見え具合を入力するための入力画面の例を示す模式図である。 実施形態の第２の変形例に係る仮想展示物の展示方法の第１の例を示す模式図である。 実施形態の第２の変形例に係る仮想展示物の展示方法の第２の例を示す模式図である。 実施形態の第２の変形例に係る仮想展示物の展示方法の第３の例を示す模式図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の概要
２．実施形態
　　２－０－１．実施形態に適用可能な構成
　　２－０－２．実施形態に係る処理
　２－１．実施形態の第１の変形例
　２－２．実施形態の第２の変形例
　２－３．実施形態の第３の変形例
　２－４．実施形態の他の変形例
［１．本開示の概要］
　本開示は、美術館や博物館、展示会場などにおいて、ユーザ（鑑賞者）に対して音声情報を用いて展示物の解説を行う所謂オーディオガイドに関する。本開示では、展示物を観察（鑑賞）しているユーザに対して、オーディオガイドにより、当該ユーザによる観察対象の見え方に応じた粒度の解説を提示するようにしている。なお、観察対象とは、展示物においてユーザが注目して観察する対象を指し、展示物の全体であってもよいし、展示物の一部分であってもよい。
　図１は、美術館の展示室においてユーザが展示品を鑑賞（観察）する例を示す模式図である。図１において、展示室Ａは、壁面２５０に対してそれぞれ例えば絵画である複数の展示物２０が展示されている。また、展示室Ａは、彫刻などの立体物による展示物２１が展示され、さらに、ショーケース２２内には、比較的小型の展示物２３が展示されている。また、展示室Ａの隣には展示室Ｂが設けられ、展示室Ａから展示室Ｂに移動することが可能となっている。
　観察者（鑑賞者）であるユーザ１０は、例えば図中に矢印Ｃで示される経路で各展示物２０、２１および２３を観察（鑑賞）する。このとき、ユーザ１０は、オーディオガイドを利用することで、各展示物２０、２１および２３のうち観察中の展示物に関する解説を聞くことができる。
　ここで、例えば複数の展示物２０のうち展示室Ｂに最も近い位置の展示物２０を観察対象としたとき、ユーザ１０は、当該展示物２０に近付くほど、当該展示物２０についてより詳細に観察することができる。図２は、ユーザ１０と展示物２０との距離に応じた観察内容の変化を説明するための模式図である。図２において、ユーザ１０は、展示物２０に対する距離Ｄの位置から、展示物２０の視点位置３０に視線を向けて展示物２０を観察している。距離Ｄが短い程、ユーザ１０は展示物２０の細部を観察することができ、距離Ｄが長くなると、細部の観察が難しくなる一方で、展示物２０を全体的に観察することが可能となる。
　この場合において、本開示では、ユーザ１０による展示物２０の見え方、すなわちユーザ１０による展示物２０の視認状態に応じて、オーディオガイドにより提示される解説の粒度を設定し、粒度毎に異なる解説をユーザ１０に提示する。
　ユーザ１０による展示物２０の視認状態は、展示物２０までの距離Ｄに限らず、ユーザ１０の視力、展示物２０の輝度、展示物２０の周辺の環境（照明など）、ユーザ１０の視線の展示物２０に対する角度など、様々な条件に応じて異なる。本開示では、これらの、視認状態に影響を与える条件に応じて解説の粒度を設定する。
（解説の粒度について）
　本開示に係る解説の粒度について説明する。解説の粒度とは、解説の粒度とは、その解説が観察対象に対してどの程度の物理的な細かさに言及しているかの度合いを示す。
　解説の粒度として、対して高、中、低の３段階の粒度を定義する場合について考える。粒度の低い解説は、観察対象を全体として大まかに観察できる場合に対応する解説とされ、粒度が高い解説は、観察対象を詳細に観察できる場合に対応する解説であるとされる。また、粒度の中程度の解説は、粒度の低い解説と、粒度の高い解説との中間程度の観察が可能な場合に対応する解説とされる。
　一例として、観察対象が絵画であれば、その絵画が制作された背景といったその絵画そのものに対する解説や、大きなオブジェクト、目立つオブジェクトといった、その絵画に一見して含まれると分かるオブジェクトに対する解説は、解説の粒度が低いとしてよい。また、その絵画に含まれる、当該オブジェクトと比較して細かい、あるいは、目立たないオブジェクトに対する解説は、解説の粒度が中程度としてよい。さらに、その絵画における、解説の粒度が中程度の場合に対してさらに細かいオブジェクト、筆致や技法などに対する解説は、解説の粒度が高いとしてよい。
　このように、本開示では、ユーザ１０の観察対象である展示物２０に対する視認状態に応じて、ユーザ１０に提示する解説の粒度を設定している。本開示では、これによりユーザ１０に対して、観察中の展示物２０に関する、状況に応じた情報の提示が可能となる。
［２．実施形態］
　次に、本開示の実施形態について説明する。
（２－０－１．実施形態に適用可能な構成）
（情報処理システムの構成例）
　先ず、実施形態に適用可能な構成について説明する。図３は、実施形態に係るオーディオガイドを実現するための情報処理システムの機能を説明するための一例の機能ブロック図である。
　図３の例では、情報処理システム１は、センサ１００と、ユーザ位置検出部１１０と、環境認識部１１１と、ガイド制御部１１２と、提示制御部１１３と、ガイドＤＢ（データベース）１２０と、展示物ＤＢ１２１と、ユーザＤＢ１２２と、スピーカ１３０と、ディスプレイ１３１と、状況認識部１４０と、を含む。これらのうち、ディスプレイ１３１および状況認識部１４０は、省略可能である。また、情報処理システム１は、少なくとも状況認識部１４０を除き、ユーザ１０が保持して利用する端末装置として構成される。状況認識部１４０は、当該端末装置と例えばネットワークを介して接続されるサーバ１４１上の構成とされる。
　図３において、ガイドＤＢ１２０は、各展示物２０、２１および２３のガイド情報（解説）の音声データが、解説の粒度毎に格納される。例えば、粒度毎の各展示物２０、２１および２３のガイド情報の音声データは、粒度毎に粒度を示す粒度属性を付加されて、ガイドＤＢ１２０に格納される。このとき、各音声データは、１つのガイド情報の全体で１つの音声データファイルとしてガイドＤＢ１２０に格納してよい。これに限らず、１つのガイド情報をセンテンスなどに分割し、分割されたそれぞれの音声データに粒度属性を付加して、それぞれ音声データファイルとしてガイドＤＢ１２０に格納してよい。また、ガイド情報をテキスト情報としてガイドＤＢ１２０に格納し、読み上げプログラムによりテキスト情報を読み上げることで、音声によるガイド情報を生成してもよい。
　展示物ＤＢ１２１は、オーディオガイドの対象となる各展示物２０、２１および２３の情報が格納される。例えば、展示物ＤＢ１２１は、各展示物２０、２１および２３の展示位置を示す位置情報が、各展示物２０、２１および２３に関連付けて格納される。また、展示物ＤＢ１２１は、各展示物２０、２１および２３に関連する他の展示物あるいはコンテンツを示す情報を格納してよい。展示物ＤＢ１２１は、当該コンテンツそのものを格納することもできる。
　ユーザＤＢ１２２は、ユーザ１０に関する情報が格納される。例えば、ユーザＤＢ１２２は、ユーザ１０を識別する識別情報と、当該ユーザ１０の個人属性を示す情報とが関連付けられて格納される。ユーザ１０の個人属性は、例えば当該ユーザ１０の視力を示す情報を含めてよい。また、ユーザ１０の個人属性は、例えばユーザ１０の身体的特徴を示す情報をさらに含めてよい。この場合、ユーザ１０の身体的特徴は、例えば、ユーザ１０の身長、あるいは、ユーザ１０が水平方向を向いた場合の視線の高さを含んでよい。さらに、ユーザＤＢ１２２は、当該ユーザ１０の過去の観察履歴を格納してよい。
　センサ１００は、少なくともユーザ１０の位置を検出するための位置センサと、撮像を行うカメラと、を含む。位置センサとしては、モバイルデバイスによる自律航行のためのビーコンの受信機を適用することができる。位置センサとして、ジャイロを適用することもできる。また、ジャイロを用いることで、ユーザ１０の向きを推定することが可能となる。センサ１００は、これに限らず、カメラの代わりに照度（輝度）測定器をさらに含んでよい。また、後述するメガネ型デバイスを用いる場合、センサ１００は、当該メガネ型デバイスを装着するユーザの視線を検出するための内向きカメラを含んでよい。
　ユーザ位置検出部１１０は、センサ１００における位置センサの出力に基づき、当該端末装置情を保持するユーザ１０の位置を検出する。ここで、例えば各展示物２０、２１および２３は、展示室Ａにおける位置が既知なので、ユーザ位置検出部１１０により検出されたユーザ１０の位置に基づき、ユーザ１０が各展示物２０、２１および２３のうちどの展示物の近くにいるかを取得することができる。
　なお、以下では、特に記載の無い限り、図１における各展示物２０、２１および２３を展示物２０で代表させて説明を行う。
　環境認識部１１１は、センサ１００におけるカメラの出力に基づき、ユーザ１０が観察対象とする展示物２０について、展示物２０の輝度および展示物２０周辺の照度を検出し、展示物２０に対する環境を認識する。
　ガイド制御部１１２は、環境認識部１１１の出力と、ユーザＤＢ１２２に格納されるユーザ１０の例えば視力を示す情報と、に基づき、ユーザ１０による観察対象の認識状態を推定する。そして、ガイド制御部１１２は、推定された認識状態に基づき、ユーザ１０に提示する解説の粒度を設定する。ガイド制御部１１２は、ユーザ位置検出部１１０の出力と、設定された解説の粒度とに基づき、当該ユーザ１０に提示するためのオーディオガイド（解説）を再生するための音声データファイルを特定する。
　このように、ガイド制御部１１２は、ユーザ１０が観察中の観察対象のユーザによる視認状態を推定する推定部として機能する。それと共に、ガイド制御部１１２は、ユーザ１０に対して提示するための観察対象について解説するための解説情報の粒度を、視認状態に応じて設定する設定部としても機能する。
　提示制御部１１３は、ガイド制御部１１２により特定された音声データファイルを、例えばガイド制御部１１２を介してガイドＤＢ１２０から取得する。提示制御部１１３は、取得した音声データファイルに格納される音声データに基づきスピーカ１３０を駆動し、解説を音声として再生する。なお、スピーカ１３０は、実際には、ユーザ１０が装着するヘッドホン（あるいはイヤホン）である。
　また、提示制御部１１３は、解説に対応する画像をディスプレイ１３１に表示させることができる。一例として、ユーザ１０が透過型のディスプレイ１３１を含むメガネ型デバイスを用いる場合、このメガネ型デバイスが有するディスプレイ１３１に、仮想空間における像を実空間の像に重畳して表示させることができる。例えば、提示制御部１１３は、観察対象に関連する他の展示物やコンテンツの画像情報を展示物ＤＢ１２１から取得し、取得した画像情報に基づく画像を、仮想空間の像として実空間の観察対象の像に対して重畳して提示することができる。
　状況認識部１４０は、複数の端末装置から各ユーザ１０の位置を示すユーザ位置情報を取得し、例えば展示室Ａにおける混雑状況や、複数のユーザ１０によるグループ行動などを認識することができる。ガイド制御部１１２は、状況認識部１４０による複数のユーザ１０に係る状況認識結果を加味して、解説情報の粒度の設定などを実行してよい。
　なお、上述では、図３の構成における状況認識部１４０が端末装置の外部、例えばサーバ１４１上に置かれるように説明したが、これはこの例に限定されない。例えば、ガイドＤＢ１２０、展示物ＤＢ１２１およびユーザＤＢ１２２は、サーバ１４０上に置いてもよい。また例えば、ユーザ位置検出部１１０、環境認識部１１１、ガイド制御部１１２および提示制御部１１３の全部または一部をサーバ１４０上に置くこともできる。
（システム構成）
　次に、実施形態に適用可能な情報処理システムについて説明する。当該情報処理システムは、幾つかの形態を取ることができる。以下では、システム構成の第１の例、第２の例、第３の例について説明する。
（システム構成の第１の例）
　図４Ａは、実施形態に適用可能な情報処理システム１の構成の第１の例を示す模式図である。図４Ａにおいて、情報処理システム１ａは、ユーザ１０が頭部に装着するヘッドホン１３０ａと、ネットワーク２に接続されるサーバ１４１と、を含む。ヘッドホン１３０ａは、図３におけるスピーカ１３０に対応するもので、無線通信手段としてアンテナ１３１を備え、無線通信によりアクセスポイント（ＡＰ）１５０を介してネットワーク２に接続してサーバ１４１と通信を行うことができる。ネットワーク２は、美術館などの施設において閉じたネットワークでもよいし、インターネットなどでもよい。
　図４Ｂは、実施形態に適用可能なヘッドホン１３０ａの一例のハードウェア構成を示すブロック図である。図４Ｂにおいて、ヘッドホン１３０ａは、ＣＰＵ(Central　Processing　Unit)１３００と、ＲＯＭ(Read　Only　Memory)１３０１と、ＲＡＭ(Random　Access　Memory)１３０２と、通信Ｉ／Ｆ１３０４と、音声信号処理部１３０５と、ストレージ装置１３０６と、操作部１３０７と、センサ１００と、を含み、これら各部がバス１３１０により互いに通信可能に接続される。
　ＣＰＵ１３００は、ＲＯＭ１３０１やストレージ装置１３０６に記憶されるプログラムに従い、ＲＡＭ１３０２をワークメモリとして用いて、このヘッドホン１３０ａの全体の動作を制御する。通信Ｉ／Ｆ１３０４は、ＣＰＵ１３００の制御に従い、アンテナ１３１を用いて無線通信を行う。音声信号処理部１３０５は、イコライザなどの音声信号処理回路と、ＤＡ(Digital　to　Analog)変換器と、アンプとを含み、音声データをアナログ方式の音声信号に変換してアンプで増幅し、ヘッドホン１３０ａが備える左右のドライバ１３０Ｌおよび１３０Ｒを駆動して音声を再生する。ストレージ装置１３０６は、例えばフラッシュメモリなどの不揮発性の半導体メモリである。操作部１３０７は、ユーザ操作を受け付ける操作子を含み、ユーザ操作に応じた制御信号をＣＰＵ１３００に渡す。
　このような構成において、ヘッドホン１３０ａは、図３におけるディスプレイ１３１および状況認識部１４０を除く構成を含むことができる。例えば、ガイドＤＢ１２０、展示物ＤＢ１２１およびユーザＤＢ１２２は、ストレージ装置１３０６に格納される。ユーザ位置検出部１１０、環境認識部１１１、ガイド制御部１１２および提示制御部１１３は、例えばＲＯＭ１３０１やストレージ装置１３０６に記憶される情報処理プログラムがＣＰＵ１３００で実行されることにより、ＲＡＭ１３０２における主記憶領域上に、それぞれ例えばモジュールとして構成される。
　ＣＰＵ１３００により実行される情報処理プログラムは、例えば、通信Ｉ／Ｆ１３０４により、ネットワーク２を介してサーバ１４１から取得され、このヘッドホン１３０ａにインストールされる。また、ガイドＤＢ１２０および展示物ＤＢ１２１も、この情報処理プログラムのインストール時にサーバ１４１から取得してよい。
　なお、状況認識部１４０による機能を利用しない場合、ヘッドホン１３０ａは、情報処理プログラムがインストールされ、ガイドＤＢ１２０、展示物ＤＢ１２１およびユーザＤＢ１２２が取得された状態であれば、サーバ１４１と接続すること無しに、単体で動作することが可能である。
（システム構成の第２の例）
　図５Ａは、実施形態に適用可能な情報処理システム１の構成の第２の例を示す模式図である。図５Ａにおいて、情報処理システム１ｂは、ユーザ１０が頭部に装着するヘッドホン１３０ｂと、ユーザ１０が携帯容易な端末装置１６０と、を含む。端末装置１６０は、スマートフォンやタブレット型コンピュータでもよいし、オーディオガイドに専用の装置であってもよい。
　図５Ａの構成では、ヘッドホン１３０ｂは、端末装置１６０と有線により接続され、端末装置１６０から供給される音声信号に基づく音声を再生する。これに限らず、ヘッドホン１３０ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により端末装置１６０と通信を行い、音声信号（この場合音声データ）を取得してもよい。
　図５Ｂは、実施形態に適用可能な端末装置１６０の一例のハードウェア構成を示すブロック図である。図５Ｂにおいて、端末装置１６０は、ＣＰＵ１６００と、ＲＯＭ１６０１と、ＲＡＭ１６０２と、通信Ｉ／Ｆ１６０４と、音声信号処理部１６０５と、ストレージ装置１６０６と、入力デバイス１６０７と、表示デバイス１６０８と、センサ１００と、を含み、これら各部がバス１６１０により互いに通信可能に接続される。
　ＣＰＵ１６００は、ＲＯＭ１６０１やストレージ装置１６０６に記憶されるプログラムに従い、ＲＡＭ１６０２をワークメモリとして用いて、この端末装置１６０の全体の動作を制御する。通信Ｉ／Ｆ１６０４は、ＣＰＵ１６００の制御に従い、図示されないアンテナを用いて無線通信を行う。音声信号処理部１６０５は、イコライザなどの音声信号処理回路と、ＤＡ(Digital　to　Analog)変換器と、アンプとを含み、音声データをアナログ方式の音声信号に変換してアンプで増幅し、ヘッドホン１３０ｂに供給する。ストレージ装置１６０６は、例えばフラッシュメモリなどの不揮発性の半導体メモリである。入力デバイス１６０７は、ユーザ操作を受け付け、ユーザ操作に応じた制御信号をＣＰＵ１６００に渡す。表示デバイス１６０８は、ＣＰＵ１６００により生成された表示制御信号に応じた画面を表示する。入力デバイス１６０７と表示デバイス１６０８は、一体的に形成して所謂タッチパネル１６２０を構成することができる。
　このような構成において、端末装置１６０は、図３における状況認識部１４０を除く構成を含むことができる。例えば、ガイドＤＢ１２０、展示物ＤＢ１２１およびユーザＤＢ１２２は、ストレージ装置１６０６に格納される。ユーザ位置検出部１１０、環境認識部１１１、ガイド制御部１１２および提示制御部１１６は、例えばＲＯＭ１６０１やストレージ装置１６０６に記憶される情報処理プログラムがＣＰＵ１６００で実行されることにより、ＲＡＭ１６０２における主記憶領域上に、それぞれ例えばモジュールとして構成される。
　ＣＰＵ１６００により実行される情報処理プログラムは、例えば、通信Ｉ／Ｆ１６０４により外部（例えばサーバ１４１）から取得され、この端末装置１６０にインストールされる。また、ガイドＤＢ１２０および展示物ＤＢ１２１も、この情報処理プログラムのインストール時に外部（例えばサーバ１４１）から取得してよい。
（システム構成の第３の例）
　図６Ａは、実施形態に適用可能な情報処理システム１の構成の第３の例を示す模式図である。図６Ａにおいて、情報処理システム１ｃは、ユーザ１０が頭部に装着するヘッドホン１３０ｃと、ユーザ１０が頭部に装着するメガネ型デバイス１７０と、ネットワーク２に接続されるサーバ１４１と、を含む。メガネ型デバイス１７０は、図３におけるディスプレイ１３１に対応するもので、無線通信手段としてアンテナ１７１を備え、無線通信によりアクセスポイント（ＡＰ）１５０を介してネットワーク２に接続してサーバ１４１と通信を行うことができる。ヘッドホン１３０ｃは、メガネ型デバイス１７０から供給される音声信号あるいは音声データに基づき音声を再生する。
　図６Ｂは、実施形態に適用可能なメガネ型デバイス１７０の一例のハードウェア構成を示すブロック図である。図６Ｂにおいて、メガネ型デバイス１７０は、ＣＰＵ１７００と、ＲＯＭ１７０１と、ＲＡＭ１７０２と、通信Ｉ／Ｆ１７０４と、音声信号処理部１７０５と、ストレージ装置１７０６と、操作部１７０７と、表示デバイス１７０８と、センサ１００ａと、を含み、これら各部がバス１７１０により互いに通信可能に接続される。
　センサ１００ａは、現在位置を取得する位置センサ１０１１と、外向きカメラ１０１０ａと、内向きカメラ１０１０ｂと、を含む。外向きカメラ１０１０ａは、メガネ型デバイス１７０の外側、すなわち、当該メガネ型デバイス１７０を装着するユーザ１０が向く方向を撮像するカメラである。また、内向きカメラ１０１０ｂは。メガネ型デバイス１７０の内側、すなわち、当該メガネ型デバイス１７０を装着するユーザ１０の顔の方向を撮像するカメラである。内向きカメラ１０１０ｂにより、当該メガネ型デバイス１７０を装着するユーザ１０の眼を撮像し、その撮像画像を解析することで、ユーザ１０の視線方向を検出することが可能である。
　ＣＰＵ１７００は、ＲＯＭ１７０１やストレージ装置１７０６に記憶されるプログラムに従い、ＲＡＭ１７０２をワークメモリとして用いて、このメガネ型デバイス１７０の全体の動作を制御する。通信Ｉ／Ｆ１７０４は、ＣＰＵ１７００の制御に従い、アンテナ１７１を用いて無線通信を行う。音声信号処理部１７０５は、イコライザなどの音声信号処理回路と、ＤＡ(Digital　to　Analog)変換器と、アンプとを含み、音声データをアナログ方式の音声信号に変換してアンプで増幅し、ヘッドホン１３０ｃに供給する。ストレージ装置１７０６は、例えばフラッシュメモリなどの不揮発性の半導体メモリである。操作部１７０７は、ユーザ操作を受け付け、ユーザ操作に応じた制御信号をＣＰＵ１７００に渡す。
　表示デバイス１７０８は、ＣＰＵ１７００により生成された表示制御信号に応じた画像を表示する。ここで、表示デバイス１７０８は、画像を表示するための表示素子と、表示素子により表示された画像をメガネ型デバイス１７０のレンズ面に投影する光学系と、を含む。メガネ型デバイス１７０は、この構成により、レンズ面を介してユーザ１０の眼に映る実空間の像に対して、表示素子により表示された画像を重畳して表示させることができる。表示素子により表示される画像が３次元情報を有する画像である場合、表示素子により表示される仮想空間における像を実空間の像に重畳することで、ＡＲ(Augmented　Reality)を実現することが可能である。
　このような構成において、メガネ型デバイス１７０は、図３におけるスピーカ１３０および状況認識部１４０を除く構成を含むことができる。これに限らず、メガネ型デバイス１７０がスピーカ１３０（具体的にはイヤホンあるいはヘッドホン）を含んでいてもよい。例えば、ガイドＤＢ１２０、展示物ＤＢ１２１およびユーザＤＢ１２２は、ストレージ装置１７０６に格納される。ユーザ位置検出部１１０、環境認識部１１１、ガイド制御部１１２および提示制御部１１７は、例えばＲＯＭ１７０１やストレージ装置１７０６に記憶される情報処理プログラムがＣＰＵ１７００で実行されることにより、ＲＡＭ１７０２における主記憶領域上に、それぞれ例えばモジュールとして構成される。
　ＣＰＵ１７００により実行される情報処理プログラムは、例えば、通信Ｉ／Ｆ１７０４により、ネットワーク２を介してサーバ１４１から取得され、このメガネ型デバイス１７０にインストールされる。また、ガイドＤＢ１２０および展示物ＤＢ１２１も、この情報処理プログラムのインストール時にサーバ１４１から取得してよい。
　なお、状況認識部１４０による機能を利用しない場合、メガネ型デバイス１７０は、情報処理プログラムがインストールされ、ガイドＤＢ１２０、展示物ＤＢ１２１およびユーザＤＢ１２２が取得された状態であれば、サーバ１４１と接続すること無しに、単体で動作することが可能である。
（２－０－２．実施形態に係る処理）
　次に、実施形態に係る処理について説明する。図７は、実施形態に係る情報処理システム１における一例の処理を示すフローチャートである。
　図７において、ステップＳ１０で、情報処理システム１は、後述する方法により、ユーザ１０の視力を示す情報を取得する。情報処理システム１は、取得したユーザ１０の視力を示す情報を、ユーザＤＢ１２２に格納する。
　情報処理システム１は、ステップＳ１０の処理が終了すると、処理をステップＳ１１およびステップＳ１２に移行させる。ステップＳ１１およびステップＳ１２以降の処理は、例えば、ユーザ１０が観察対象の展示物２０の近傍に移動してからの処理となる。
　ステップＳ１１で、情報処理システム１は、ユーザ位置検出部１１０により、センサ１００の出力に基づきユーザ１０の現在位置を取得する。次のステップＳ１３で、情報処理システム１は、ユーザ位置検出部１１０により、ステップＳ１１で取得されたユーザ１０の現在位置から、ユーザ１０の近傍にある展示物２０までの距離Ｄを取得する。
　一方、情報処理システム１は、ステップＳ１２で、環境認識部１１１により、ユーザ１０の近傍にある展示物２０の輝度や、当該展示物２０に対する照明といった、展示物２０の視認状態に影響を与える環境の情報を、例えばセンサ１００の出力に基づき取得する。
　ステップＳ１４で、情報処理システム１は、ガイド制御部１１２により、ステップＳ１３で取得された距離Ｄと、ステップＳ１２で取得された環境情報とに基づき、後述する方法により、当該展示物２０に対する解説（ガイド）の粒度を設定する。次のステップＳ１５で、情報処理システム１は、提示制御部１１３により、当該展示物２０に対する、ステップＳ１４で設定された粒度に応じた解説の音声データをガイドＤＢ１２０から取得し、ユーザ１０に提示する。
　図８は、実施形態に係るガイドＤＢ１２０に格納されるデータの例を示す模式図である。図８において、展示物Ａは、実空間内の実体物としての展示物を示している。一方、展示物Ｂは、仮想空間内の仮想物体としての展示物（仮想展示物と呼ぶ）を示している。展示物Ｂは、例えば図６Ａおよび図６Ｂを用いて説明した、メガネ型デバイス１７０を用いた情報処理システム１ｃに適用される。
　図８の例では、各展示物に対して、種類、関連作品、解説の粒度（高、中、低）がそれぞれ定義されている。例えば、展示物Ａは、種類が「展示物」（実空間内の実物体としての展示物）であり、「関連作品」として作品Ｂ、作品Ｄ、作品Ｋがあることが示されている。同様に、展示物Ｂは、種類が「仮想展示」（仮想空間内に仮想展示物として展示される）、「関連作品」として作品Ａ、作品Ｌがあることが示されている。
　図８の例では、解説の粒度は、所定の距離から展示物（観察対象）を見た場合の、当該展示物に対する視角に応じて設定されている。図９は、視角について説明するための模式図である。図９において、たとえば高さｈのオブジェクトを考えた場合、眼５０によりこのオブジェクトを見た場合のオブジェクトに対する視角は、眼５０から高さｈを見込んだ角度αとなる。高さｈに対して、角度αは、眼５０とオブジェクトまでの距離Ｄに応じて変化する。
　図８の例では、所定の距離から見た場合の視角が５．１ｄｅｇ以上の観察対象に対する解説の粒度が「低」とされている。当該視角が０．５８ｄｅｇから５．０ｄｅｇの範囲の観察対象に対する解説の粒度が「中」とされている。また、当該視角が０．５７ｄｅｇ以下の観察対象に対する解説の粒度が「高」とされている。図８の例では、解説の粒度が「低」、「中」、「高」となるに連れ、展示物に含まれる、解説の対象となる観察対象が細かくなっていくことが分かる。例えば、粒度「低」の解説では、例えば展示物の全体に関して言及されている。粒度「中」の解説では、例えば展示物に含まれるオブジェクトに関して言及されている。また、粒度「高」の解説では、例えば展示物に含まれるより細かいオブジェクトや、展示物を創作する際に用いられた技法について言及されている。
　上述の例に限らず、解説の粒度は、解説の対象がどの程度の細かさを有しているかを分析して付与することもできる。例えば、解説の対象が展示物に含まれるオブジェクトである場合、一般的な物体認識技術により、オブジェクトの物体名と大きさとを特定し、特定された大きさに応じて、物体名と合致する解説の粒度を設定することができる。
　図１０は、実施形態に適用可能な、展示物に含まれるオブジェクトに対する物体認識の例を示す模式図である。図１０において、絵画である展示物２０には、建物を描いたオブジェクト２００と、樹木を描いたオブジェクト２０１とが含まれている。この展示物２０をセンサ１００に含まれるカメラを用いて撮像し、撮像で得られた撮像画像を解析して、オブジェクト２００あるいはオブジェクト２０１を物体認識する。これにより、オブジェクトの一般物体名が認識される。図１０の例では、建物を描いたオブジェクト２００が物体認識され、その大きさ（高さｈｅｉｇｈｔ×幅ｗｉｄｔｈ）が特定される。この特定された大きさに応じて、このオブジェクト２００に対する解説の粒度を設定する。このとき、オブジェクト２００のみではなく、オブジェクト２０１に対しても、同様の処理を行い、認識された物体名に対応する解説の粒度を設定することができる。
　また、展示物２０のテクスチャや材質についての解説の場合、テクスチャの構成要素の間隔や、材質における肌理などの解像度を測定し、測定された解像度に応じて解説の粒度を設定することができる。
　このように、実施形態では、観察対象に対する視角に応じて、当該観察対象に関する解説の内容を制御している。より具体的には、実施形態では、観察対象に対する視角に応じて、当該観察対象に関する解説の粒度を設定し、粒度に応じた内容の解説をユーザ１０に提示する。そのため、ユーザ１０に対して、観察中の展示物に関する、状況に応じた情報の提示が可能となる。
［２－１．実施形態の第１の変形例］
　次に、実施形態の第１の変形例について説明する。実施形態の第１の変形例は、ユーザ１０から観察対象までの距離に加え、ユーザ１０に固有の属性である個人属性に基づき当該ユーザ１０による観察対象の視認状態を推定する。そして、当該ユーザ１０に提示するための、当該観察対象に関する解説の粒度を、推定した視認状態に基づき設定するようにした例である。ここでは、ユーザ１０の個人属性の例として、ユーザ１０の視力を適用する。
　視力は、例えば、ランドルト環を用いて測定することができる。図１１は、ランドルト環に基づく視力の定義を説明するための図である。ランドルト環６０は、一部が開いた円環により構成される図形であって、円環全体の直径と、円弧の幅と、円環の開いている幅と、の比が５：１：１とされる。図１１の例では、円環の直径が７．５［ｍｍ］、円弧の幅および円環の開いている部分（開口部）の幅がそれぞれ１．５［ｍｍ］とされたランドルト環６０が示されている。眼５０からこのランドルト環６０までの距離が５［ｍ］であるとき、眼５０から見た開口部の視角が１°（１ｄｅｇ）となる。このランドルト環６０から５［ｍ］離れた位置から開口部を認識できる場合に、視力が１．０以上とされる。
　例えば、視力１．０のユーザ１０に、観察対象における解像度が１．５［ｍｍ］の肌理を説明するためには、当該ユーザ１０は、当該観察対象から距離が５［ｍ］以内の位置にいる必要がある。
　実施形態の第１の変形例では、情報処理システム１は、ユーザ１０の視力と、ユーザ１０から観察対象までの距離と、に基づき、ユーザ１０による観察対象に対する認識度合いを推定し、推定した認識度合いに応じた情報をユーザ１０に提示するようにしてよい。
　観察対象に係る展示物が実体物であって、ユーザ１０の視力が想定よりも悪く、ユーザ１０の現在位置から当該観察対象までの距離に応じた粒度の解説の内容が、ユーザ１０にとって識別困難であると推定される場合について考える。この場合、情報処理システム１は、解説の粒度を、ユーザ１０の視力を加味して再設定してよい。例えば、情報処理システム１は、ユーザ１０から観察対象までの距離に応じて設定された解説の粒度を１段階下げてよい（粒度「高」から粒度「中」、など）。
　これに限らず、情報処理システム１は、上述の場合において、ユーザ１０が当該観察対象に接近した際に、当該観察対象に関する解説を提示してよい。また、上述の場合であって、且つ、各展示物の提示順序が変えられないなどの制約がある場合には、情報処理システム１は、当該観察対象に関する解説を提示する前に、当該ユーザ１０に対して、当該観察対象への接近を促すメッセージを提示してよい。
　一方、観察対象に係る展示物が仮想展示物でありＡＲなどによりユーザ１０に提示する場合であって、当該ユーザ１０が当該仮想展示物までの仮想的な距離に応じた粒度の解説の内容が、ユーザ１０にとって識別困難であると推定される場合について考える。この場合、情報処理システム１（情報処理システム１ｃ）は、当該ユーザ１０に対して、当該仮想展示物の像を拡大して提示してよい。
　さらに、仮想展示物の場合、情報処理システム１（情報処理システム１ｃ）は、ユーザ１０の当該仮想展示物に対する位置の変化に応じて、当該仮想展示物の像の大きさや解像度を動的に変更してもよい。この場合において、情報処理システム１は、当該ユーザ１０の注視点などの状態により、当該ユーザ１０が当該仮想展示物を観察中であると推定される場合は、当該仮想展示物の像の大きさや解像度の動的な変更を行わないようにしてよい。
（複数ユーザが所属するグループについて）
　また、複数のユーザが所属するグループで、同一の展示物を観察する場合が考えられる。例えば、情報処理システム１は、グループに所属する複数のユーザそれぞれをグループに関連付けてユーザＤＢ１２２に登録する。また、グループに所属する複数のユーザは、例えば何れかのユーザのスピーカ１３０（ヘッドホン）の出力を、それぞれのユーザのスピーカ１３０で共有してよい。これに限らず、情報処理システム１が各ユーザの端末装置それぞれを制御可能であれば、各端末装置において再生される解説の音声データを同期させてよい。
　このような場合、情報処理システム１は、グループに所属するユーザのうち、展示物に対する認識度合いが最も低いと想定されるユーザ、例えば最も視力の低いユーザに合わせた粒度の解説を選択して、当該グループに提示することが好ましい。より具体的には、情報処理システム１は、当該ユーザから展示物までの距離と、当該ユーザの視力とに基づき、当該ユーザが所属するグループに提示する解説の粒度を設定してよい。また、情報処理システム１は、当該ユーザを当該グループの代表として、当該ユーザの行動を、当該ユーザが所属するグループの行動を見做して解説を提示する。こうすることで、グループに含まれるユーザ間で、視聴済みの解説に対する不整合が発生することが防がれる。
（ユーザの認識可能な視野範囲について）
　ユーザ１０が認識可能な視野範囲は、ユーザ１０の顔の向き（視線方向）に対して、条件に応じて制限が存在する。例えば、認識可能の視野範囲の限界は、一般的には、ユーザ１０の視線に対して上方向が５０°～５５°、下方向が７０°～８０°程度、左右方向に９０°程度であることが知られている。ユーザ１０が色を弁別可能な範囲は、この認識可能な視野範囲に対してさらに狭くなり、例えばユーザ１０の視線に対して上方向が３０°程度、下方向に４０°程度、左右方向が３０°～６０°程度であることが知られている。また、ユーザ１０が文字情報を認識可能な範囲は、さらに狭いものとなることが知られている。
　情報処理システム１は、ユーザ１０の顔の向きなどから視線方向を判別可能な場合には、例えば、展示物の例えば細かな表現（テクスチャの解像度、材質の肌理、技法など）や、文字情報、色情報に関する解説を、それらの情報の認識に対して有効な視野に当該展示物が含まれている状態において、提示するようにできる。なお、有効な視野とは、上述したユーザ１０が認識可能な視野範囲のうち、観察対象に含まれる上述の各情報を認識可能な視野範囲をいう。
（環境に応じた制御ついて）
　実施形態の第１の変形例に係る、展示物に対する環境に応じた解説の提示の制御について説明する。観察対象に対する人の視力は、当該観察対象の周囲の照度に応じて変化することが知られている。
　図１２は、視力と照度との関係の例を示す図である。図１２に示されるように、視力は、照度が低いほど悪くなり、照度が高いほど良くなる。なお、照度が５０００［ｌｘ（ルクス）］以上での視力の向上、および、照度が０．１［ｌｘ］以下での視力の劣化は僅かとなっている。この傾向は、観察対象の輝度についても同様であると考えられる。
　実施形態の第１の変形例に係る情報処理システム１は、観察対象を観察するユーザ１０の、当該観察対象の周囲の照度および観察対象の輝度のうち少なくとも一方に応じた視力低下を考慮して、基準となる視角を変更してもよい。例えば、情報処理システム１は、観察対象の照度および／または輝度が所定以下の場合には、基準となる視角を広げ、当該照度および／または輝度が所定以上の場合には、基準となる視角を狭めてよい。
　また、視力の照度に関する特性として、照度変化に対する順応特性が知られている。すなわち、人の眼は、照度が異なる状態に遷移した場合、遷移後の照度に順応するまで若干の時間を要する。照度の高い状態から低い状態に遷移した場合の順応を暗順応と呼び、照度の低い状態から高い状態に遷移した場合の順応を明順応と呼ぶ。
　図１を例にとって説明すると、展示室Ａに隣接する展示室Ｂは、展示室Ａと比較して照度が低いものとする。ユーザ１０が展示室Ａから展示室Ｂに移動した場合、暗順応により、展示室Ｂに展示される展示物が展示室Ａの展示物と同等に認識可能となるまでの遅延が発生する。ユーザ１０が展示室Ｂから展示室Ａに移動する場合についても、明順応による遅延後に展示室Ａの展示物が展示室Ｂの展示物と同等に認識可能となる。
　実施形態の第１の変形例に係る情報処理システム１は、ユーザ１０が照度の異なる場所に移動することに伴う暗順応あるいは明順応による認識の遅延を考慮して、解説を提示するまでの時間を調整してよい。上述の例では、情報処理システム１は、ユーザ１０が展示室Ａから展示室Ｂに移動して最初に観察する展示物（観察対象）に対する解説を、暗順応に要すると想定される時間だけ遅延させて開始させる。これに限らず、情報処理システム１は、照度の異なる場所への移動に応じて、視力を低く見積もって解説の粒度を設定してもよい。また、情報処理システム１は、ユーザ１０が暗順応や明順応するまでの時間を有効に利用するために、展示物２０の直接的な解説以外の解説、例えば展示物２０の制作に関する時代背景や作者に関する解説などを行ってもよい。
　ユーザ１０と展示物との間に存在する遮蔽物も、展示物に関する環境の一種として考えることができる。図１３は、ユーザ１０と展示物２０との間に遮蔽物が存在する場合について説明するための図である。図１３において、ユーザ１０が展示物２０に向けた視線上に、他のユーザ１１が存在する様子が示されている。他のユーザ１１は、ユーザ１０の展示物２０に向けた視線方向を遮蔽する遮蔽物として機能している。すなわち、ユーザ１０は、他のユーザ１１により展示物２０に対する視線を遮蔽され、展示物２０を観察することができない。
　なお、ユーザ１０の展示物２０に向けた視線に対する遮蔽物は、例えば美術館であれば、他のユーザ１１であることが多い。
　情報処理システム１は、例えば、ユーザ１０と、ユーザ１０が観察対象とする展示物２０と、他のユーザ１１との位置関係に基づき、当該ユーザ１０と当該展示物２０との間の遮蔽物（他のユーザ１１）の存在を検知できる。これに限らず、図６Ａおよび図６Ｂを用いて説明した、メガネ型デバイス１７０を用いる情報処理システム１ｃにおいては、外向きカメラ１０１０ａにより撮像された撮像画像に基づき遮蔽物の存在を検知することが可能である。
　このように、ユーザ１０と観察対象との間に遮蔽物が存在する場合、実施形態の第１の変形例に係る情報処理システム１は、ユーザ１０から遮蔽されていない展示物２０に対して優先的に解説を提示してよい。例えば、情報処理システム１は、ユーザ１０に対して、当該ユーザ１０から遮蔽されていない展示物２０のうち最も近くにある展示物２０の解説を当該ユーザ１０に提示することが考えられる。情報処理システム１は、当初の観察対象に対する遮蔽が解消された場合、当該観察対象に関する解説を提示してよい。
　これに限らず、実施形態の第１の変形例に係る情報処理システム１は、ユーザ１０と解説の対象である観察対象との間に遮蔽物が存在する場合、当該観察対象に対する遮蔽が発生しない位置を指示し、当該ユーザ１０に対してその位置に移動するよう促す提示を行ってもよい。
（視力の登録方法について）
　次に、情報処理システム１に対するユーザ１０の視力の登録方法の例について説明する。登録方法の一例として、視力測定用として予め用意されたオブジェクトをユーザ１０に提示し、ユーザ１０がそのオブジェクトの視認状態（見え方）を情報処理システム１に登録する方法が考えられる。
　以下では、視力測定用の対象として絵画を想定し、当該絵画に含まれるオブジェクトの視認状態を情報処理システム１に登録するものとして説明を行う。なお、視力測定用の対象は、絵画に限られず、彫刻などの立体物でもよいし、書物など文字が掲載されたものでもよい。
　図１４Ａは、実施形態の第１の変形例に適用可能な、視力測定用としてのオブジェクトの例を示す図である。この視力測定用の絵画７０は、例えばユーザ１０が実際に展示物が展示される展示室（例えば展示室Ａ）に入室する前のエントランスなどに掲示される。
　図１４Ａの例では、絵画７０は、複数のオブジェクト７００～７０７を含んでいる。オブジェクト７００は、建物であり、オブジェクト７０１は、オブジェクト７００に設けられた窓である。オブジェクト７０２は、窓に掛けられたカーテンであり、オブジェクト７０３は、カーテンの水玉模様を示している。また、オブジェクト７０４は、窓から見える内壁のタイルであり、オブジェクト７０５は、レンガ造りの外壁が有する傷を示している。さらに、オブジェクト７０６は、窓から見える女性であり、オブジェクト７０７は、女性の髪留めである。
　この絵画７０に対応して、情報処理システム１は、ユーザ１０に対して、各部の視認状態（見え具合）を入力するための入力画面を提示する。図１４Ｂは、実施形態の第１の変形例に適用可能な、ユーザ１０が各部の視認状態（見え方）を入力するための入力画面の例を示す模式図である。図１４Ｂにおいて、入力画面８０は、ユーザ１０に入力を促すためのメッセージ表示８００と、入力領域８０１と、ボタン８０２とを含む。入力領域８０１は、図１４Ａに示した各オブジェクト７００～７０７が見えるか否か（認識できるか否か）を入力するための、オブジェクト７００～７０７毎のチェックボックスを含む。ボタン８０２は、入力領域８０１に対して入力された情報を情報処理システム１に登録するための操作を受け付ける。
　入力画面８０は、図５Ａおよび図５Ｂを用いて説明した、端末装置１６０を用いる例では、端末装置１６０の表示デバイス１６０８に表示させてよい。これに限らず、入力画面８０を専用の端末装置に表示させてもよい。
　図１４Ｂの例では、ユーザ１０は、オブジェクト７００～７０７のうち、建物、窓、カーテン、水玉模様、タイルの各オブジェクト７００～７０４を認識できたため、入力領域８０１において、各オブジェクト７００～７０４に対応する項目それぞれにチェックが付されている。一方、ユーザ１０は、オブジェクト７００～７０７のうち、レンガの傷、女性および髪留めの各オブジェクト７０５～７０７を認識できなかったため、各オブジェクト７０５～７０７に対応する項目それぞれは、チェックが付されず空白となっている。
　ボタン８０２が操作されることで、入力領域８０１の入力された情報が、例えばガイド制御部１１２に渡される。ガイド制御部１１２は、渡された入力情報に基づき当該ユーザ１０の視力を推定する。ガイド制御部１１２は、推定した視力を示す情報を、当該ユーザ１０を識別する識別情報と関連付けて、ユーザＤＢ１２２に登録する。
　なお、ユーザ１０の視力の登録方法は、この例に限定されない。例えば、ユーザ１０は、視力を示す情報を、所定の入力手段を用いて直接的に入力して情報処理システム１に登録してもよい。また例えば、ユーザ１０は、当該情報処理システム１によるオーディオガイドのサービス提供者などに対して口頭で視力を示す情報を報告してもよい。この場合には、ユーザ１０の視力を示す情報は、当該サービス提供者によりユーザＤＢ１２２に登録される。
　また、展示物２０に対する解説中に、ユーザ１０による、想定よりも近い距離あるいは遠い距離への移動があった場合に、当該展示物２０を観察に適切な視力が、登録された視力より悪い視力で十分である場合や、登録された視力より良い視力が必要である場合が想定される。そのため、情報処理システム１は、登録された視力を修正してよい。
　このように、実施形態の第１の変形例によれば、観察対象に対する視角に加えて、ユーザ１０の個人属性と、観察対象に関する環境情報と、に基づき観察対象に対する解説を制御している。そのため、ユーザ１０に対して、観察中の展示物に関する状況に応じた情報の提示を、より柔軟に実行することが可能となる。
［２－２．実施形態の第２の変形例］
　次に、実施形態の第２の変形例について説明する。実施形態の第２の変形例は、実空間に実体物として展示される展示物２０の像に対して、仮想空間に展示される仮想展示物の像を重畳させ、ＡＲを実現させる例である。この実施形態の第２の変形例は、例えば図６Ａおよび図６Ｂを用いて説明した、メガネ型デバイス１７０を用いた情報処理システム１ｃの利用を想定している。
（仮想展示物の展示方法の第１の例）
　先ず、実施形態の第２の変形例に係る仮想展示物の展示方法の第１の例について説明する。図１５は、実施形態の第２の変形例に係る仮想展示物の展示方法の第１の例を示す模式図である。なお、この図１５と、後述する図１６および図１７は、ユーザ１０がメガネ型デバイス１７０を通して実空間の壁面２５０（展示物２０）を見た例を示している。
　なお、以下では、実空間内の実物体をメガネ型デバイス１７０を通して見る場合と、仮想空間内の仮想物体がメガネ型デバイス１７０のレンズ部に投影された像を見る場合とを、それぞれ実物体を見る、仮想物体を見る、などのように記述する。同様に、実空間内の実物体の像がメガネ型デバイス１７０を通して見えることと、仮想空間内の仮想物体の像がメガネ型デバイス１７０のレンズ部に投影されることで見えることとを、それぞれ実物体が表示される、仮想物体が表示される、などのように記述する。また、仮想展示物は、実空間とスケールが対応する仮想空間内に、ユーザ１０からの仮想的な距離が実物体に対する距離と同等になるように配置される。
　図１５の例では、壁面２５０に展示される、実物体としての展示物２０の周囲に、仮想展示物２１０～２１３が配置され表示されている。ここで、各仮想展示物２１０～２１３は、展示物２０と関連性のある作品とされている。例えば、仮想展示物２１０、２１１、２１２および２１３は、それぞれ、展示物２０の作家の代表作、最初の作品、展示物２０と同時代に製作された作品、および、展示物２０と同一の素材を扱った作品、とすることが考えられる。
　なお、図１５では、仮想展示物２１０～２１３が展示物２０の上下左右に１つずつ配置されて表示されているが、これは一例であり、各仮想展示物２１０～２１３の配置は、この例に限定されるものではない。
　これら仮想展示物２１０～２１３は、例えば当該展示物２０が展示されるエリア（例えば展示室Ａ）とは異なるエリア（例えば展示室Ｂ）に展示される展示物を仮想化（データ化）したものであってよい。これに限らず、仮想展示物２１０～２１３は、例えば当該展示物２０が展示される施設（美術館Ｃとする）とは異なる施設（美術館Ｄ）に展示される展示物を仮想化したものであってよい。
　このように、展示物２０の近傍に、展示物２０に関連する仮想展示物２１０～２１３を表示させることで、ユーザ１０に対して、当該展示物２０に対する、音声情報だけでは実現が困難な解説を提示することが可能となる。
（仮想展示物の展示方法の第２の例）
　次に、実施形態の第２の変形例に係る仮想展示物の展示方法の第２の例について説明する。仮想展示物の展示方法の第２の例は、展示物２０と仮想展示物との配置を、個人属性や環境条件に応じて決定するようにした例である。
　展示物２０と、関連する各仮想展示物の配置は、展示物２０および各仮想展示物の数および大きさなどの、２次元平面上での制約条件に基づき決定される。この仮想展示物の展示方法の第２の例では、これらの条件に加えて、展示物２０の配置、および、当該展示物２０に関連する仮想展示物の配置を、ユーザ１０の個人属性や環境条件に応じて決定する。
　図１６は、実施形態の第２の変形例に係る仮想展示物の展示方法の第２の例を示す模式図である。一例として、展示物２０に対して、展示物２０に関連して展示可能な仮想展示物の最大数が６とされ、展示物２０および関連の仮想展示物に対して所定の展示領域が与えられる場合について考える。また、このとき、視力が所定より低いユーザ１０が、展示物２０から５［ｍ］の距離で見た場合の、仮想展示物の拡大率が４倍であるものとする。
　図１６において、実物体による展示物２０に対して、当該展示物２０に関連する６つの仮想展示物２２０ａ～２２０ｅおよび２３０が表示されている。ここで、仮想展示物２３０は、その元となる実体物による展示物（オリジナル）が展示物２０と比較して非常に小さいものとする。所定以下の視力のユーザ１０は、展示物２０を観察する際と同じ距離から当該オリジナルを見た場合、展示物２０と同様にオリジナルを認識することが難しい可能性がある。この場合、図１６に示すように、当該オリジナルに基づく仮想展示物２３０を、ユーザ１０が認識容易なように拡大して表示させてよい。
　このような、展示物２０に関連する仮想展示物２３０を拡大して表示する場合を考慮して、実空間における各展示物２０の展示レイアウトを決定すると、好ましい。図１６の例では、展示物２０の向かって左側が、拡大した仮想展示物２３０の展示位置とされている。そのため、当該展示物２０の向かって左側に展示される他の展示物２０（不図示）との間のスペースが、当該展示物２０の向かって右側に展示されるさらに他の展示物２０（不図示）との間のスペースに対して広く確保されている。
　ここで、拡大表示する仮想展示物２３０のために確保するスペースの大きさ（例えばスペースの幅）は、当該仮想展示物２３０に対する各ユーザ１０の停留位置を予測し、その予測結果に基づき決めてよい。各ユーザ１０の停留位置は、例えば、視力の平均値と、対象となる展示物（オリジナル）の大きさと、当該展示物に用いられる表現技法の細かさに応じて予測できる。すなわち、オリジナルの表現技法の細かさ（解像度）に基づき、当該オリジナルによる表現を認識するための視力および距離が計算できる。また、その計算結果から、当該オリジナルの手前に確保すべき空間のサイズを予測できる。この予測された空間のサイズに基づき、当該オリジナルによる仮想展示物２３０のために確保すべきスペースの大きさを決定することができる。
（仮想展示物の展示方法の第３の例）
　次に、実施形態の第２の変形例に係る仮想展示物の展示方法の第３の例について説明する。仮想展示物の展示方法の第３の例は、展示物２０に関連する各仮想展示物の配置位置を、当該展示物２０に対するユーザ１０の視線位置に応じて、決定するようにした例である。
　図１７は、実施形態の第２の変形例に係る仮想展示物の展示方法の第３の例を示す模式図である。図１７において、ユーザ１０は、展示物２０の正面に立ち、展示物２０の左端付近の視点位置３０に視線を向けて、展示物２０を観察している。上述したように、ユーザ１０が色を弁別可能な範囲は、例えばユーザ１０の視線に対して上方向が３０°程度、下方向に４０°程度、左右方向が３０°～６０°程度である。そのため、この場合のユーザ１０の有効な視野範囲は、例えば、視点位置３０を中心とした楕円状の範囲３１となると推定される。
　この場合において、情報処理システム１ｃ（情報処理システム１ｃ）は、ユーザ１０による展示物２０に対する視点位置３０および範囲３１に基づき、当該展示物２０に関連して表示される仮想展示物２１０、２１１および２１３の配置を決定してよい。図１７の例では、ユーザ１０の視点位置３０および範囲３１が展示物２０の左側に寄っているため、情報処理システム１ｃは、展示物２０の左側に、各仮想展示物２１０、２１１および２１３を配置している。このような配置とすることで、ユーザ１０の視点位置３０を、展示物２０から各仮想展示物２１０、２１１および２１３に、自然に誘導することができる。
　また、情報処理システム１ｃは、各仮想展示物２１０、２１１および２１３を、ユーザ１０に見せたい順序で配置することも可能である。各仮想展示物２１０、２１１および２１３のうち、展示物２０の次に仮想展示物２１１に対する解説を行いたい場合、図１７に例示されるように、展示物２０に対するユーザ１０の視点位置３０に応じて、当該仮想展示物２１１を展示物２０の左隣に配置してよい。この場合において、情報処理システム１ｃは、各仮想展示物２１０、２１１および２１３を、ユーザ１０の視線に近い部分から順に配置し、連続的に次々に表示させてよい。
　一方、情報処理システム１ｃは、ユーザ１０の視点位置３０の方向に混雑が予測される場合、その方向には仮想展示物２１０、２１１および２１３を配置しないようにできる。
　さらにまた、情報処理システム１ｃは、ユーザ１０がいる場所とは別の場所に展示されている展示物に基づく仮想展示物を、ユーザ１０がいる場所に表示させ、ユーザ１０を、今いる場所から当該仮想展示物のオリジナルが展示される場所に誘導してもよい。
　一例として、展示物２０が例えば図１の展示室Ａに展示され、当該展示物２０に関連する他の複数の展示物が、展示室とは異なる展示室Ｂに展示されているものとする。この場合において、情報処理システム１ｃは、展示室Ｂに展示される複数の展示物のうち例えば１つの展示物に基づく仮想展示物を、展示室Ａの当該展示物２０の近傍に表示させる。また、当該仮想展示物に対する解説に、展示室Ｂへの移動を促すメッセージを埋め込んでおく。こうすることで、ユーザ１０は、当該仮想展示物に対して提示される解説に埋め込まれたメッセージにより、展示室Ｂへの移動が促され、展示室Ｂに展示される、展示物２０に関連する他の展示物を観察することが可能となる。
（仮想展示物の展示方法の第４の例）
　次に、実施形態の第２の変形例に係る仮想展示物の展示方法の第４の例について説明する。仮想展示物の展示方法の第４の例は、各仮想展示物の配置位置を、ユーザ１０の視線の高さに応じて決定するようにした例である。
　すなわち、ユーザ１０の水平方向を見たときの視線の高さが、平均的な成人の視線の高さに対して所定以上に異なる場合がある。例えば、ユーザ１０が車椅子利用者や年少者の場合、その視線の高さが、平均的な成人の視線の高さに対して所定以上に低いことが推測される。同様に、ユーザ１０が極端に長身の場合についても、その視線の高さが、平均的な成人の視線の高さに対して所定以上に高いことが推測される。
　情報処理システム１ｃ（情報処理システム１ｃ）は、ユーザＤＢ１２２に格納されるユーザ１０の個人属性に基づき、当該ユーザ１０の水平方向を見たときの視線の高さを推測する。情報処理システム１ｃは、推測された視線の高さに応じて、展示物２０に対する仮想展示物の配置の高さを決定してよい。このようにすることで、様々な身体的特徴を有する各ユーザ１０に対して、適切に仮想展示物を提示することができ、各ユーザ１０に対して、適切な粒度で解説を提示することが可能となる。
　なお、上述では、仮想展示物の像をメガネ型デバイス１７０を用いてユーザ１０に提示しているが、これはこの例に限定されない。例えば、仮想展示物の像を、プロジェクタを用いて壁面２５０に投影することで、ユーザ１０に提示してもよい。
［２－３．実施形態の第３の変形例］
　次に、実施形態の第３の変形例について説明する。実施形態の第３の変形例は、ユーザ１０が展示物２０を観察する前後における、当該ユーザ１０に対する情報提示の個人化を行うものである。この実施形態の第３の変形例では、例えば図６Ａおよび図６Ｂを用いて説明した、メガネ型デバイス１７０を用いた情報処理システム１ｃの利用を想定している。
　例えば、情報処理システム１ｃは、ユーザ１０の過去の利用履歴をユーザＤＢ１２２に蓄積しておく。これに限らず、ユーザ１０が、過去の利用履歴や、自身が参照した作品の情報などを、情報処理システム１ｃに登録してもよい。情報処理システム１ｃは、登録された情報が画像情報であれば、当該画像情報に対する画像認識処理により当該画像情報に対応する作品を特定してよい。情報処理システム１ｃは、登録された情報が作品のメタデータを含んでいる場合、そのメタデータに基づき作品を特定してよい。
　例えば、ユーザ１０による展示物２０の観察中などにおいて、情報処理システム１ｃは、ユーザＤＢ１２２に登録された情報のうち、当該展示物２０に関連する情報を、当該展示物２０に対する解説としてユーザ１０に提示してよい。提示する情報が画像情報であれば、情報処理システム１ｃは、その画像情報に基づく画像を、展示物２０に対する関連情報として、当該展示物２０の像に重畳させて表示させてよい。
　情報処理システム１ｃは、ユーザ１０による展示物２０や仮想展示物の観察履歴を、例えばユーザＤＢ１２２に登録し、蓄積してよい。そして、情報処理システム１ｃは、ユーザ１０による展示物２０の観察の終了後に、ユーザ１０の要求に応じて、ユーザＤＢ１２２に格納される情報に基づき、当該展示物２０に関連する書籍やインターネットを利用して参照した作品と、当該展示物２０に基づく仮想展示物の像とを、重畳させて表示させてよい。
　このとき、例えば図６Ａに示したネットワーク２がインターネットであり、情報処理システム１ｃがサーバ１４１上に構成されていれば、ユーザ１０は、自宅など展示物２０の展示場所とは異なる場所から、情報処理システム１ｃを利用することができる。この場合、ユーザ１０は、自宅などにおいて、当該展示物２０に関連する書籍やインターネットを利用して参照した作品と、当該展示物２０に基づく仮想展示物の像とが重畳された表示の閲覧が可能となる。
　このように、実施形態の第３の変形例によれば、情報処理システム１ｃは、ユーザ１０が過去に観察した履歴や、参照した情報に基づき、ユーザ１０が観察した展示物２０の関連情報を、ユーザ１０に提示することができる。そのため、ユーザ１０は、例えば当該展示物２０に関するより深い知見を得ることが可能となる。
［２－４．実施形態の他の変形例］
　次に、実施形態の他の変形例について説明する。なお、以下において、上述した情報処理システム１ａ、１ｂおよび１ｃを特に区別する必要のない場合には、これらを情報処理システム１として説明を行う。
　例えば、情報処理システム１（情報処理システム１ｃ）は、ユーザ１０がヘッドホンからの音が聞こえにくい環境にいる場合、あるいは、ユーザ１０が聴覚障碍を有している場合、ＡＲにより文字情報をユーザ１０に提示して解説を行ってもよい。情報処理システム１（情報処理システム１ｃ）は、この場合であっても、ユーザ１０の視力や位置により、解説の粒度を設定する制御してよい。
　情報処理システム１は、状況認識部１４０によりユーザ１０の観察対象の周辺が空いているとされた場合は、ユーザ１０の立ち位置に応じて解説の粒度を制御してよい。このとき、情報処理システム１は、ユーザ１０と他のユーザとの間で位置や動線の重なりが予測される場合は、ユーザ１０に対して立ち位置を指示してから、対応する粒度で解説を提示してよい。また、情報処理システム１は、状況認識部１４０により各ユーザ１０の位置情報などに基づき展示室の混雑状況を推測し、推測された混雑状況に応じて、解説の粒度を動的に変更してよい。例えば、あるユーザ１０が展示室Ａから展示室Ｂに移動するような場合、情報処理システム１は、状況認識部１４０により移動先の展示室場合の混雑状況を事前に取得あるいは予測し、予測結果に応じて、当該ユーザ１０に対する解説の粒度を設定してよい。
　情報処理システム１は、例えば解説に対して重要度を付与しておき、ユーザ１０の位置に応じて解説の粒度を制御する際に、解説の粒度と重要度との両方を考慮して、解説の順番を制御してよい。このように、解説の重要度を考慮に入れることで、ユーザ１０が解説の最も重要な部分を聞き逃してしまうことが防がれる。また、ユーザ１０が解説の重要な部分を聞かずに展示物２０を通過し、再び当該展示物２０の位置に戻ってくることも考えられる。このような場合、情報処理システム１は、ユーザ１０に対して観察を行う位置を指定した上で、当該展示物２０に対する解説を、所定の粒度でユーザ１０に提示してよい。
　展示物２０によっては、作品保護やある種の効果のために、照明が暗くされている場合がある。例えば情報処理システム１（情報処理システム１ｃ）は、このような展示物２０に対して粒度の高い解説が必要な場合、当該展示物２０における解説の対象となる部分の明度を上げた仮想展示物を生成し、生成した仮想展示物をユーザ１０に提示してよい。また、情報処理システム１（情報処理システム１ｃ）は、照明と、ユーザ１０の視力とのうち少なくとも一方により認識が難しかった１以上の展示物２０を、ユーザ１０の他の展示物２０の観察後に、仮想展示物として当該ユーザ１０に提示してよい。
　展示物２０は、屋外に展示される場合も有り得る。このような例として、展示物２０が観光地の各名所や歴史的建造物である場合や、屋外に展示される彫刻である場合などが挙げられる。屋外の場合、天候により展示物２０の認識度合いが変わる。情報処理システム１は、案内を提示する際のユーザ１０の立ち位置を天候に応じて変更し、ユーザ１０に通知してよい。例えば、現在が曇りであれば、展示物２０に対する照度が晴れの場合と比較して低く、展示物２０が見えにくいことが推測される。このような場合、情報処理システム１は、天候が晴れの場合と比較して展示物２０に近い位置をユーザ１０の立ち位置に指定してよい。
　順路により、展示物２０の遠くからの観察と、展示物２０の近くからの観察が時間的に分離してしまうことが起こり得る。このような場合、情報処理システム１は、それぞれの場所での粒度で解説をユーザ１０に提示し、仮想的に別の場所からの見え方も提示できるようにしてよい。
　ユーザ１０が、解説の粒度の中間地点、すなわち、異なる粒度の何れの解説も提示可能な位置にいる場合も有り得る。このような場合、情報処理システム１は、異なる粒度の解説を連続的にユーザ１０に提示してもよいし、ユーザ１０が通ってきた移動経路に基づき、提示する解説の順番を決めてもよい。
　ユーザ１０が、展示物２０に対する解説が終了しないうちに移動を開始する場合も起こり得る。このような場合には、情報処理システム１（情報処理システム１ｃ）は、当該展示物２０と関連性のある他の展示物において当該展示物２０と同じ粒度の解説を提示する際に、当該展示物２０に基づく仮想展示物を、当該他の展示物の関連作品として、ユーザ１０に提示してよい。これに限らず、情報処理システム１は、音声情報のみを用いて、終了まで提示できなかった解説を追加してもよい。
　情報処理システム１は、各展示物２０について、提示された解説の粒度を集計し、どの粒度の解説が多く提示されているかに応じて、各ユーザ１０がいる位置の統計情報を管理し、混雑を予測してよい。
　情報処理システム１は、展示物２０におけるタッチなどの細かい粒度の解説の場合は、触れた時のテクスチャなどの情報を、ユーザ１０の手指や当該展示物２０とは異なる別の場所にあるディスプレイに仮想的に提示してよい。
　情報処理システム１（情報処理システム１ｃ）は、展示物２０の部分を示して解説を提示する場合、ユーザ１０が装着するメガネ型デバイス１７０ディスプレイに当該展示物２０の像を表示させ、ポインタを当該展示物２０の像の該当位置に表示させてよい。これに限らず、情報処理システム１（情報処理システム１ｃ）は、当該展示物２０の像に対する物体認識などにより、画像上で該当部分を特定し、特定された部分を強調表示してもよい。
　展示物２０に対する照明や、当該展示物２０における表現などにより、解説通りのタッチや質感が認識困難な場合が有り得る。このような場合、情報処理システム１（情報処理システム１ｃ）は、当該展示物２０に基づく仮想展示物を表示させ、この仮想展示物の像の輝度を上げる、あるいは、仮想展示物の像を拡大して、ユーザ１０に提示してよい。
　情報処理システム１は、展示物２０の周囲が混雑している場合や、ユーザ１０が急いで各展示物２０を観察していると推測される場合などにおいて、全ての粒度の解説をユーザ１０に提示するのではなく、提示する解説を限定してよい。例えば、情報処理システム１は、展示物２０の重要度および展示位置や、ユーザ１０の観察履歴から推測されるユーザ１０の嗜好などに基づき、解説の内容を限定してユーザ１０に提示してよい。
　情報処理システム１は、ユーザ１０に対して距離に応じた粒度で展示物２０の解説を提示した後に、当該ユーザ１０が再び当該展示物２０に対して同じ距離に戻ってきた場合には、当該粒度での解説をユーザ１０に提示しないようにしてよい。
　情報処理システム１は、解説の粒度に応じて、ユーザ１０に提示する解説の声質や解説を行う話者、話者の性別などを変えてよい。こうすることで、ユーザ１０は、どの部分の解説が提示されているかを容易に把握することが可能となる。
　情報処理システム１は、互いに関連する展示物２０が隣接して展示されている場合、ユーザ１０がこれらの展示物２０間を移動した際に、直前の解説の粒度と対応する粒度の解説を優先して当該ユーザ１０に提示してよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　プロセッサにより実行される、
　ユーザが観察中の観察対象の前記ユーザによる視認状態を推定する推定ステップと、
　前記ユーザに対して提示するための前記観察対象について解説するための解説情報の粒度を、前記視認状態に応じて設定する設定ステップと、
を有する、
情報処理方法。
（２）
　ユーザが観察中の観察対象の前記ユーザによる視認状態を推定する推定部と、
　前記ユーザに対して提示するための前記観察対象について解説するための解説情報の粒度を、前記視認状態に応じて設定する設定部と、
を備える、
情報処理装置。
（３）
　前記推定部は、
　前記ユーザの視力に基づき前記視認状態を推定する、
前記（２）に記載の情報処理装置。
（４）
　前記視力を示す情報を前記ユーザが登録するための登録部、
をさらに備える、
前記（３）に記載の情報処理装置。
（５）
　前記登録部は、
　予め用意された視力推定用観察対象に含まれる、所定の部位に対する視認の可否を示す情報を前記ユーザが入力するための入力部を含み、
　前記推定部は、
　前記入力部に入力された情報に基づき前記視認状態を推定する、
前記（４）に記載の情報処理装置。
（６）
　前記登録部は、
　前記視力を示す値が直接的に登録される、
前記（４）に記載の情報処理装置。
（７）
　前記推定部は、
　前記観察対象における輝度に基づき前記視認状態を推定する、
前記（２）乃至（６）の何れかに記載の情報処理装置。
（８）
　前記推定部は、
　前記ユーザから前記観察対象までの距離に応じて前記視認状態を推定する、
前記（２）乃至（７）の何れかに記載の情報処理装置。
（９）
　前記推定部は、
　前記観察対象に対する前記ユーザの視角に応じて前記視認状態を推定する、
前記（２）乃至（８）の何れかに記載の情報処理装置。
（１０）
　前記観察対象は、展示物に対する物体認識により得られた所定領域である、
前記（９）に記載の情報処理装置。
（１１）
　前記観察対象は、展示物の表面の状態であり、
　前記推定部は、
　前記表面の状態に応じた解像度に対応する前記視角に応じて前記視認状態を推定する、
前記（９）に記載の情報処理装置。
（１２）
　前記推定部は、
　前記ユーザの視線の方向に応じて前記視認状態を推定する、
前記（２）乃至（１１）の何れかに記載の情報処理装置。
（１３）
　前記推定部は、
　前記観察対象の種類に応じて前記視認状態を推定する、
前記（２）乃至（１２）の何れかに記載の情報処理装置。
（１４）
　前記設定部は、
　１つの前記観察対象を複数のユーザが観察する場合に、前記粒度を、前記複数のユーザのうち推定された前記視認状態が最も悪いユーザの前記視認状態に応じて設定する、
前記（２）乃至（１３）の何れかに記載の情報処理装置。
（１５）
　前記解説情報を、前記粒度に応じて前記ユーザに提示する提示部、
をさらに備える、
前記（２）乃至（１４）の何れかに記載の情報処理装置。
（１６）
　前記提示部は、
　前記観察対象に対して、前記粒度に応じて異なる前記解説情報を提示する、
前記（１５）に記載の情報処理装置。
（１７）
　前記提示部は、
　音声情報を用いて前記解説情報を提示する、
前記（１５）または（１６）に記載の情報処理装置。
（１８）
　前記提示部は、
　前記観察対象を含む実空間の像に対して、前記観察対象に関連する、仮想空間の展示物である仮想展示物の像を、前記観察対象の近傍に重畳して提示する、
前記（１５）乃至（１７）の何れかに記載の情報処理装置。
（１９）
　前記提示部は、
　前記ユーザの視線の方向に応じた位置に前記仮想展示物の像を提示する、
前記（１８）に記載の情報処理装置。
（２０）
　前記提示部は、
　前記ユーザが水平方向を見た場合の視線の高さに応じた位置に前記仮想展示物の像を提示する、
前記（１８）または（１９）に記載の情報処理装置。
（２１）
　前記提示部は、
　前記観察対象が展示されるエリアと異なるエリアに展示される、前記観察対象に関連する展示物に基づく前記仮想展示物の像を、前記観察対象の像の近傍に重畳して提示する、
前記（１８）乃至（２０）の何れかに記載の情報処理装置。
（２２）
　前記提示部は、
　前記ユーザと前記観察対象との間に遮蔽物が存在する場合には、前記観察対象とは異なる観察対象に前記ユーザを誘導するための提示を行う、
前記（１５）乃至（２１）の何れかに記載の情報処理装置。
１，１ａ，１ｂ，１ｃ　情報処理システム
２　ネットワーク
１０　ユーザ
２０，２１，２３　展示物
３０　視点位置
５０　眼
７０　絵画
８０　入力画面
１００　センサ
１１０　ユーザ位置検出部
１１１　環境認識部
１１２　ガイド制御部
１１３　提示制御部
１２０　ガイドＤＢ
１２１　展示物ＤＢ
１２２　ユーザＤＢ
１３０　スピーカ
１３０ａ，１３０ｂ，１３０ｃ　ヘッドホン
１３１　ディスプレイ
１４０　状況認識部
１４１　サーバ
１６０　端末装置
１７０　メガネ型デバイス
２１０，２１１，２１２，２１３，２２０ａ，２２０ｂ，２２０ｃ，２２０ｄ，２２０ｅ，２３０　仮想展示物
２５０　壁面
８０１　入力領域
１０１０ａ　外向きカメラ
１０１０ｂ　内向きカメラ
１０１１　位置センサ

Claims (20)

  1. 　プロセッサにより実行される、
    　ユーザが観察中の観察対象の前記ユーザによる視認状態を推定する推定ステップと、
    　前記ユーザに対して提示するための前記観察対象について解説するための解説情報の粒度を、前記視認状態に応じて設定する設定ステップと、
    を有する、
    情報処理方法。
  2. 　ユーザが観察中の観察対象の前記ユーザによる視認状態を推定する推定部と、
    　前記ユーザに対して提示するための前記観察対象について解説するための解説情報の粒度を、前記視認状態に応じて設定する設定部と、
    を備える、
    情報処理装置。
  3. 　前記推定部は、
    　前記ユーザの視力に基づき前記視認状態を推定する、
    請求項２に記載の情報処理装置。
  4. 　予め用意された視力推定用観察対象に含まれる、所定の部位に対する視認の可否を示す情報を前記ユーザが入力するための入力部、
    をさらに備え、
    　前記推定部は、
    　前記入力部に入力された情報に基づき前記視認状態を推定する、
    請求項３に記載の情報処理装置。
  5. 　前記推定部は、
    　前記観察対象における輝度に基づき前記視認状態を推定する、
    請求項２に記載の情報処理装置。
  6. 　前記推定部は、
    　前記ユーザから前記観察対象までの距離に応じて前記視認状態を推定する、
    請求項２に記載の情報処理装置。
  7. 　前記推定部は、
    　前記観察対象に対する前記ユーザの視角に応じて前記視認状態を推定する、
    請求項２に記載の情報処理装置。
  8. 　前記観察対象は、展示物に対する物体認識により得られた所定領域である、
    請求項７に記載の情報処理装置。
  9. 　前記観察対象は、展示物の表面の状態であり、
    　前記推定部は、
    　前記表面の状態に応じた解像度に対応する前記視角に応じて前記視認状態を推定する、
    請求項７に記載の情報処理装置。
  10. 　前記推定部は、
    　前記ユーザの視線の方向に応じて前記視認状態を推定する、
    請求項２に記載の情報処理装置。
  11. 　前記推定部は、
    　前記観察対象の種類に応じて前記視認状態を推定する、
    請求項２に記載の情報処理装置。
  12. 　前記設定部は、
    　１つの前記観察対象を複数のユーザが観察する場合に、前記粒度を、前記複数のユーザのうち推定された前記視認状態が最も悪いユーザの前記視認状態に応じて設定する、
    請求項２に記載の情報処理装置。
  13. 　前記解説情報を、前記粒度に応じて前記ユーザに提示する提示部、
    をさらに備える、
    請求項２に記載の情報処理装置。
  14. 　前記提示部は、
    　前記観察対象に対して、前記粒度に応じて異なる前記解説情報を提示する、
    請求項１３に記載の情報処理装置。
  15. 　前記提示部は、
    　音声情報を用いて前記解説情報を提示する、
    請求項１３に記載の情報処理装置。
  16. 　前記提示部は、
    　前記観察対象を含む実空間の像に対して、前記観察対象に関連する、仮想空間の展示物である仮想展示物の像を、前記観察対象の近傍に重畳して提示する、
    請求項１３に記載の情報処理装置。
  17. 　前記提示部は、
    　前記ユーザの視線の方向に応じた位置に前記仮想展示物の像を提示する、
    請求項１６に記載の情報処理装置。
  18. 　前記提示部は、
    　前記ユーザが水平方向を見た場合の視線の高さに応じた位置に前記仮想展示物の像を提示する、
    請求項１６に記載の情報処理装置。
  19. 　前記提示部は、
    　前記観察対象が展示されるエリアと異なるエリアに展示される、前記観察対象に関連する展示物に基づく前記仮想展示物の像を、前記観察対象の像の近傍に重畳して提示する、
    請求項１６に記載の情報処理装置。
  20. 　前記提示部は、
    　前記ユーザと前記観察対象との間に遮蔽物が存在する場合には、前記観察対象とは異なる観察対象に前記ユーザを誘導するための提示を行う、
    請求項１３に記載の情報処理装置。
PCT/JP2022/002807 2021-02-19 2022-01-26 情報処理方法および情報処理装置 WO2022176541A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023500672A JPWO2022176541A1 (ja) 2021-02-19 2022-01-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021025109 2021-02-19
JP2021-025109 2021-02-19

Publications (1)

Publication Number Publication Date
WO2022176541A1 true WO2022176541A1 (ja) 2022-08-25

Family

ID=82931603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002807 WO2022176541A1 (ja) 2021-02-19 2022-01-26 情報処理方法および情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2022176541A1 (ja)
WO (1) WO2022176541A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269298A (ja) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd 展示物解説システム
JP2005242461A (ja) * 2004-02-24 2005-09-08 Nec Corp 施設案内サービス支援システム、施設案内サービス支援サーバ、及び施設案内サービス支援方法
JP2006148628A (ja) * 2004-11-22 2006-06-08 Sharp Corp ユーザ別切替え装置
JP2006285157A (ja) * 2005-03-11 2006-10-19 Brother Ind Ltd 情報出力装置
JP2019061088A (ja) * 2017-09-27 2019-04-18 株式会社Ｊｖｃケンウッド 虚像表示装置、虚像表示方法および虚像表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269298A (ja) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd 展示物解説システム
JP2005242461A (ja) * 2004-02-24 2005-09-08 Nec Corp 施設案内サービス支援システム、施設案内サービス支援サーバ、及び施設案内サービス支援方法
JP2006148628A (ja) * 2004-11-22 2006-06-08 Sharp Corp ユーザ別切替え装置
JP2006285157A (ja) * 2005-03-11 2006-10-19 Brother Ind Ltd 情報出力装置
JP2019061088A (ja) * 2017-09-27 2019-04-18 株式会社Ｊｖｃケンウッド 虚像表示装置、虚像表示方法および虚像表示プログラム

Also Published As

Publication number Publication date
JPWO2022176541A1 (ja) 2022-08-25

Similar Documents

Publication Publication Date Title
US11670267B2 (en) Computer vision and mapping for audio applications
US11995774B2 (en) Augmented reality experiences using speech and text captions
CN107683497B (zh) 信息处理设备、信息处理方法及程序
US20190179411A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
WO2013133664A1 (ko) 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US11854147B2 (en) Augmented reality guidance that generates guidance markers
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US11689877B2 (en) Immersive augmented reality experiences using spatial audio
US11741679B2 (en) Augmented reality environment enhancement
US11605396B2 (en) Image processing system and method
KR20200043371A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2019114078A (ja) 情報処理装置、情報処理方法及びプログラム
WO2022176541A1 (ja) 情報処理方法および情報処理装置
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US10818086B2 (en) Augmented reality content characteristic adjustment
WO2023205362A1 (en) Obstructed objects in a three-dimensional environment
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
KR20090090980A (ko) 영상을 이용한 포인팅 장치
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022123750A1 (ja) 表示装置および表示方法
US20230367889A1 (en) Virtual privacy creation system
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
CN109313823A (zh) 信息处理装置、信息处理方法和程序
KR20170096082A (ko) 2차원 비디오 생성 장치 및 그 생성 방법
WO2020162035A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755865

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023500672

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22755865

Country of ref document: EP

Kind code of ref document: A1