WO2015119092A1 - 拡張現実提供システム、記録媒体および拡張現実提供方法 - Google Patents

拡張現実提供システム、記録媒体および拡張現実提供方法 Download PDF

Info

Publication number
WO2015119092A1
WO2015119092A1 PCT/JP2015/052916 JP2015052916W WO2015119092A1 WO 2015119092 A1 WO2015119092 A1 WO 2015119092A1 JP 2015052916 W JP2015052916 W JP 2015052916W WO 2015119092 A1 WO2015119092 A1 WO 2015119092A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
augmented reality
state
user
unit
Prior art date
Application number
PCT/JP2015/052916
Other languages
English (en)
French (fr)
Inventor
裕介 佐々木
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Publication of WO2015119092A1 publication Critical patent/WO2015119092A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the present invention relates to a technology for enriching variations of augmented reality when providing augmented reality in which the real environment is augmented.
  • Augmented Reality is a technique for realizing augmented reality (AR: Augmented Reality) that extends a real environment by adding information created by a computer or the like to information in a real environment (or a real landscape)
  • AR Augmented Reality
  • Augmented reality is a technique for determining the content of a virtual object to be displayed and the display position in a real environment based on position information, and combining and displaying real visual information and the virtual object.
  • Patent Document 1 describes a technique using GPS (Global Positioning System) as a technique for grasping the position.
  • GPS Global Positioning System
  • the technology described in Patent Document 1 realizes the synthesis of the real environment and the virtual object by acquiring the surrounding feature information from the position information acquired from the GPS and drawing the virtual object on the transmissive display. To do.
  • Augmented reality technology using captured images is also known.
  • Augmented reality technology using captured images is known as a method of placing an image (marker) having dedicated identification information in real space and drawing a virtual object on the marker if the marker exists in the captured image. Yes.
  • a method of recognizing a specific figure (such as a human body) in an image and drawing a virtual object at a predetermined position is also known.
  • Patent Document 2 describes a technique that enables a virtual object to be superimposed and displayed using a marker that exists in a real environment.
  • Patent Document 3 describes a technique that enables a virtual object to be displayed by identifying a known real space arrangement without using a marker as a real object in the real environment.
  • Patent Documents 1 to 3 have a problem that a virtual object is displayed even when the user is not looking at the screen. Further, the output contents are fixed depending on the marker, the installation object, and the current position (particularly, the viewpoint position), and there is a problem that a more effective augmented reality according to other factors (situations) cannot be provided.
  • the invention of claim 1 is an augmented reality providing system that provides augmented reality to a user, and a storage device that stores content information and a current terminal device carried by the user.
  • An augmented reality is configured from the content information according to the position information and the state information, a position acquisition unit that acquires position information indicating the position, a state acquisition unit that acquires state information indicating the state of the terminal device
  • An information selection unit that selects fictional information and an output unit that expresses the augmented reality by outputting the selected fictitious information.
  • the invention according to claim 2 is the augmented reality providing system according to claim 1, further comprising an environment acquisition unit that acquires environment information around the terminal device, wherein the information selection unit includes the environment acquisition According to the environment information detected by the unit, the fictitious information constituting the augmented reality is selected from the content information stored in the storage unit.
  • the invention according to claim 3 is the augmented reality providing system according to claim 1, further comprising a time acquisition unit that acquires time information, wherein the information selection unit is acquired by the time acquisition unit. According to the time information, the fictitious information constituting the augmented reality is selected from the content information stored in the storage unit.
  • the invention of claim 4 is the extended solid system according to claim 1, wherein the state acquisition unit acquires the state information based on the position information acquired by the position acquisition unit.
  • the invention according to claim 5 is the augmented reality providing system according to claim 1, further comprising a motion detection unit that acquires inertial information related to the motion of the terminal device.
  • the invention according to claim 6 is the augmented reality providing system according to claim 5, wherein the state acquisition unit acquires the state information based on inertia information acquired by the motion detection unit.
  • the invention according to claim 7 is the augmented reality providing system according to claim 5, wherein the position acquisition unit specifies the position information based on inertia information acquired by the motion detection unit.
  • the invention according to claim 8 is the augmented reality providing system according to claim 1, wherein the output unit includes a display for displaying image information, and the information selection unit is acquired by the state acquisition unit. In the status information, the augmented reality providing system prohibits selection of image information as the fictitious information according to a viewing status of the user carrying the terminal device with respect to the display.
  • a recording medium storing a computer-readable program carried by a user, and storing the content information in the computer by causing the computer to execute the program.
  • a position acquisition step for specifying position information indicating the current position of the computer
  • a state acquisition step for acquiring state information indicating the state of the computer
  • the specified position information and the acquired state information are provided.
  • the information selection step of selecting the fictitious information constituting the augmented reality from the stored content information, and the output step of expressing the augmented reality by outputting the selected fictitious information Medium.
  • the invention of claim 10 is an augmented reality providing method for providing augmented reality to a user, the step of storing content information in a storage unit, and a position indicating a current position of a terminal device carried by the user From the content information stored in the storage unit according to the step of specifying information, the step of acquiring state information indicating the state of the terminal device, and the specified position information and the acquired state information Selecting the fictitious information constituting the augmented reality, and expressing the augmented reality by outputting the selected fictitious information.
  • the position information indicating the current position of the terminal device carried by the user is acquired, the state information indicating the state of the terminal device is acquired, and according to the position information and the state information.
  • the augmented reality is expressed by selecting the imaginary information constituting the augmented reality from the stored content information and outputting the selected imaginary information. Thereby, suitable fictitious information can be selected from abundant content information. Therefore, augmented reality can be expressed more realistically. Alternatively, the range of augmented reality that can be provided widens.
  • FIG. 1 It is a figure which shows the example of a display in an augmented reality provision system when the user is facing down in the position in FIG. It is a figure which shows the example of a display in an augmented reality provision system when the user is facing up in the position in FIG. It is a figure which shows the example of a display update in the application of a haunted house. It is a figure which shows the example of a display update in the application of a haunted house. It is a figure which shows notionally a mode that the user is experiencing the application which provides the "treasure hunt game" as augmented reality in an augmented reality space.
  • FIG. 20 is a diagram conceptually illustrating a state where the user has moved to the position illustrated in FIG. 19 in a state where the state information is rewritten as “handle operation completed”.
  • FIG. 1 is a diagram showing an augmented reality providing system 1.
  • the augmented reality space 9 shown in FIG. 1 conceptually illustrates an area where augmented reality is provided to the user by the augmented reality providing system 1.
  • the augmented reality providing system 1 includes a reference position providing device 10 configured as a stationary device fixed at a known absolute position, a database server 11, and a portable terminal device 2. Note that the numbers of the reference position providing device 10, the database server 11, and the mobile terminal device 2 are not limited to the numbers shown in FIG. Further, the known absolute position is measured before the operation of the augmented reality system 1 is started, and the position information is given to the augmented reality system 1.
  • the reference position providing device 10 and the database server 11 are assumed to be devices provided and installed by the system operator.
  • the portable terminal device 2 is assumed to be a device possessed by a user who visits an area where the system operator wants to provide augmented reality, such as a personally owned mobile phone, smartphone, or PDA terminal. Is applicable.
  • the mobile terminal device 2 may be lent to the user by a system operator or the like.
  • FIG. 2 is a block diagram of the mobile terminal device 2, the reference position providing device 10, and the database server 11.
  • the mobile terminal device 2 includes a CPU 20, a storage device 21, an operation unit 22, a display unit 23, a sensor group 24, an imaging unit 25, a non-contact IC card unit 26, a communication unit 27, and a speaker 28.
  • the mobile terminal device 2 is a device that is carried by a user, and is configured as a device that moves with the user as an object (a device whose position is variable).
  • the sensor group 24 is also attached to the user as an object when the mobile terminal device 2 is carried by the user.
  • the CPU 20 reads and executes the program 210 stored in the storage device 21, and performs various data calculations, control signal generation, and the like. Thereby, CPU20 has a function which calculates and produces various data while controlling each structure with which the portable terminal device 2 is provided. That is, the mobile terminal device 2 is configured as a general computer.
  • the storage device 21 provides a function of storing various data in the mobile terminal device 2.
  • the storage device 21 illustrated in FIG. 2 stores a program 210, reference information 103, owner information 211, collection information 212, captured image information 213, position information 215, state information 216, and content information 112 (fictional information 217). Used for.
  • the information stored in the storage device 21 is not limited to those listed here.
  • a RAM or buffer used as a temporary working area of the CPU 20 a read-only ROM, a non-volatile memory (such as a NAND memory), a hard disk for storing a relatively large amount of data, a dedicated memory
  • a portable storage medium (such as a PC card, an SD card, or a USB memory) mounted on the reading device is applicable.
  • the storage device 21 is illustrated as if it were one structure. However, the storage device 21 is usually composed of a plurality of types of devices that are employed as necessary among the various devices (or media) exemplified above. That is, the storage device 21 is a generic term for a group of devices having a function of storing data (the same applies to storage devices 101 and 110 described later).
  • the actual CPU 20 is an electronic circuit having a RAM that can be accessed at high speed.
  • the storage device included in the CPU 20 is also included in the storage device 21 for convenience of explanation. That is, here, description will be made assuming that the storage device 21 also stores data temporarily stored in the CPU 20 itself.
  • the owner information 211 stored in the storage device 21 is information regarding the user input by the user when the operation unit 22 is operated, and more specifically is information regarding the characteristics of the user. Specifically, the age, gender, occupation, address, hobbies, preferences, behavior (purchasing) history, medical history (whether or not allergies), marital status, family composition, possession (car) of the user who owns the mobile terminal device 2 Personal information such as home. These pieces of information are not limited to information directly input from the operation unit 22, and may be automatically collected and used by other applications.
  • the reference information 103, the collection information 212, the captured image information 213, the position information 215, the state information 216, and the content information 112 will be described later as appropriate.
  • the operation unit 22 is hardware that is operated by the user to input an instruction to the mobile terminal device 2 (augmented reality providing system 1). Examples of the operation unit 22 include various keys and buttons, a touch panel, a pointing device, or a jog dial.
  • the display unit 23 is hardware having a function of visually outputting the data by displaying various data.
  • the display unit 23 includes a liquid crystal display that displays an image on a screen, and has a function of expressing augmented reality by outputting fictitious information 217. That is, the display unit 23 corresponds to an output unit in the augmented reality providing system 1.
  • the display part 23 is not limited to a liquid crystal display, For example, you may further provide a lamp
  • FIG. 3 is a diagram illustrating a configuration included in the sensor group 24.
  • FIG. 4 is a diagram showing information included in the collection information 212.
  • the sensor group 24 includes an acceleration sensor 240, a gyro sensor 241, a time acquisition unit 242, a magnetic sensor 243, a microphone 244, a temperature sensor 245, an illuminance sensor 246, a humidity sensor 247, and an atmospheric pressure sensor 248.
  • the collected information 212 includes acceleration information 2120, angular velocity information 2121, time information 2122, magnetic information 2123, audio information 2124, temperature information 2125, illuminance information 2126, humidity information 2127, and atmospheric pressure information 2128.
  • the acceleration sensor 240 detects acceleration in the mobile terminal device 2 and acquires acceleration information 2120.
  • the acceleration sensor 240 creates an output value expressed according to a coordinate system (for example, a triaxial coordinate system) defined for the mobile terminal device 2 as the acceleration information 2120.
  • the gyro sensor 241 obtains angular velocity information 2121 by measuring the angular velocity in the mobile terminal device 2.
  • the gyro sensor 241 is configured as a so-called three-axis gyro sensor, measures angular velocities around three mutually perpendicular axes (for example, X, Y, and Z axes), and outputs the measured values as angular velocity information 2121. To do.
  • the acceleration information 2120 acquired by the acceleration sensor 240 and the angular velocity information 2121 acquired by the gyro sensor 241 are inertia information 2129 related to the movement of the mobile terminal device 2. That is, the acceleration sensor 240 and the gyro sensor 241 correspond to a motion detection unit in the augmented reality providing system 1.
  • the inertia information 2129 is information related to the movement of the mobile terminal device 2. Therefore, strictly speaking, the motion state obtained by analyzing the inertia information 2129 is the motion state of the mobile terminal device 2.
  • the sensor group 24 (the acceleration sensor 240 and the gyro sensor 241) is given to the user as the object. It becomes an accompanying state.
  • the acceleration sensor 240 and the gyro sensor 241 measure information reflecting the movement of the user. That is, the acceleration sensor 240 and the gyro sensor 241 indirectly observe the state of the user's operation.
  • the time acquisition unit 242 is a so-called timer and has a function of measuring the passage of time.
  • the mobile terminal device 2 based on the reference time and calendar information stored in advance and the elapsed time from the reference time measured by the time acquisition unit 242, the current date, season, day of the week, time, etc. Can be obtained (calculated).
  • the acquired information is recorded as time information 2122.
  • the magnetic sensor 243 has a function of measuring the surrounding magnetism and acquiring the magnetic information 2123. By analyzing the magnetism (magnetic force) measured by the magnetic sensor 243 with reference to the magnetic information 2123, it is possible to detect the geomagnetism at the current position and obtain the azimuth.
  • the microphone 244 acquires sound information 2124 by recording sound by converting sound around the mobile terminal device 2 into an electric signal.
  • the temperature sensor 245 measures the temperature around the mobile terminal device 2 and acquires temperature information 2125.
  • the illuminance sensor 246 measures the illuminance (brightness) around the mobile terminal device 2 and acquires the illuminance information 2126.
  • the humidity sensor 247 acquires the humidity information 2127 by measuring the humidity around the mobile terminal device 2.
  • the atmospheric pressure sensor 248 measures the atmospheric pressure around the mobile terminal device 2 and acquires the atmospheric pressure information 2128.
  • Information collected by the magnetic sensor 243, the microphone 244, the temperature sensor 245, the illuminance sensor 246, the humidity sensor 247 and the atmospheric pressure sensor 248 is information indicating the environment around the mobile terminal device 2 (hereinafter referred to as “environment information”). Is sometimes referred to as “.”. That is, the collection information 212 includes environment information. Therefore, the magnetic sensor 243, the microphone 244, the temperature sensor 245, the illuminance sensor 246, the humidity sensor 247, and the atmospheric pressure sensor 248 correspond to an environment acquisition unit.
  • the sensors (detection devices) included in the sensor group 24 are not limited to the examples shown above. Further, the augmented reality providing system 1 does not have to include all the detection devices shown here. That is, these devices may be appropriately selected according to the contents of augmented reality to be provided, device costs, and the like.
  • the imaging unit 25 includes an optical element such as a lens and a photoelectric conversion element such as a CCD, and captures an image of a subject within the imaging range and expresses the actual appearance of the subject. It has a function of acquiring information 213. That is, the imaging unit 25 has a configuration and a function as a general digital camera. In the following description, unless otherwise specified, the captured image information 213 is a color moving image composed of a plurality of frame images.
  • the display unit 23 synthesizes and displays captured image information 213 that represents the actual appearance of a subject that actually exists in the surroundings and fictitious information 217 that represents things that do not exist in the surroundings.
  • the fictitious information 217 is information selected from the content information 112. Further, the fictitious information 217 is not limited to information representing an object, and may include character information and the like. Further, in the augmented reality provided by the mobile terminal device 2, not all the information included in the captured image information 213 needs to be reproduced. For example, a part of an actual imaged image may be expressed as if it does not exist in the augmented reality.
  • the non-contact IC card unit 26 has the configuration and functions of a general non-contact IC card. Thereby, the mobile terminal device 2 can perform close proximity wireless communication with the non-contact IC card reader unit 100 of the reference position providing device 10. It should be noted that conventional techniques (such as various standards) can be appropriately employed as the circuit configuration and functions of the non-contact IC card unit 26. Therefore, a detailed description of the circuit configuration and functions of the non-contact IC card unit 26 is omitted.
  • the mobile terminal device 2 since the mobile terminal device 2 includes the non-contact IC card unit 26, the user holds the mobile terminal device 2 close to the non-contact IC card reader unit 100 of the reference position providing device 10, Necessary information can be acquired from the reference position providing device 10 to the non-contact IC card unit 26 side. In particular, the mobile terminal device 2 acquires the reference information 103 and the content information 112 from the reference position providing device 10. In the following description, a series of operations in which the user holds the portable terminal device 2 close to the non-contact IC card reader unit 100 is referred to as “communication enabling operation”.
  • the communication unit 27 realizes wireless communication between the mobile terminal device 2 and an external device.
  • the communication provided by the communication unit 27 is not limited to data communication, and may be a call.
  • Speaker 28 is a device that reproduces audio information (mainly information included in fictitious information 217) and outputs audio. Thereby, the user can listen to the sound reproduced by the speaker 28.
  • the reference position providing device 10 is configured as a device that is fixedly installed at a specific position. And as already demonstrated, the position which installs the reference
  • the reference position providing device 10 includes a non-contact IC card reader unit 100 and a storage device 101.
  • the detailed configuration of the reference position providing device 10 is not shown, but the reference position providing device 10 includes a CPU, an operation unit, a display unit, a communication unit, and the like. It is configured as a computer.
  • the non-contact IC card reader unit 100 can perform close proximity wireless communication with a general non-contact IC card, and can read various information stored in the non-contact IC card. It is also possible to transmit various information to the contact IC card. As such a non-contact IC card reader unit 100, since a conventional technique can be applied, detailed description is omitted.
  • the non-contact IC card reader unit 100 performs close proximity wireless communication with the non-contact IC card unit 26 included in the mobile terminal device 2.
  • the casing constituting the outer surface of the reference position providing device 10 has an outer surface shape suitable for the user to perform the communication enabling operation, as shown in FIG. That is, when the user performs the communication enabling operation using the mobile terminal device 2, the outer surface shape clearly defines the position and orientation of the mobile terminal device 2 (sensor group 24). Specifically, at the position of the non-contact IC card reader unit 100, the outer surface of the housing has a planar shape inclined with respect to the horizontal plane, and the color of the outer surface is different from the other parts. It has been designed. As a result, the user can accurately execute the communication enabling operation without being confused.
  • the position and posture of the mobile terminal device 2 when the user is performing the communication enabling operation are defined by the casing of the reference position providing device 10 as described above. Further, since the absolute position of the reference position providing device 10 is known and the reference position providing device 10 is an installation type device, the absolute position does not easily change. Therefore, when the non-contact IC card reader unit 100 of the reference position providing device 10 and the non-contact IC card unit 26 of the mobile terminal device 2 perform data communication with each other, the mobile terminal device 2 (sensor group 24). The position and orientation of can be regarded as known.
  • the augmented reality providing system 1 includes a portable terminal device 2 (sensor) when the non-contact IC card reader unit 100 of the reference position providing device 10 and the non-contact IC card unit 26 of the portable terminal device 2 perform data communication with each other.
  • the position of the group 24) is a “reference position”, and the posture (orientation) of the sensor group 24 at the reference position is a “reference posture”.
  • Both the reference position and the reference posture can be measured in advance for each reference position providing device 10 when the reference position providing device 10 is installed, and stored as reference information 103. That is, the reference information 103 corresponds to individual information of the reference position providing device 10, and the position of the sensor group 24 when the non-contact IC card reader unit 100 and the non-contact IC card unit 26 perform data communication with each other. This is information indicating a posture (orientation).
  • the reference position in the preferred embodiment includes not only information on the position (for example, latitude and longitude) in the horizontal plane but also information on the height position (for example, above sea level).
  • the storage device 101 is a generic name for devices having a function of storing information in the reference position providing device 10.
  • the storage device 101 includes a program 102 executed by a CPU (not shown) of the reference position providing device 10, reference information 103 as individual information of the reference position providing device 10, and content information 112 acquired from the database server 11. Used to remember.
  • the reference position providing device 10 transmits the reference information 103 and the content information 112 to the mobile terminal device 2 (non-contact IC card unit) via the non-contact IC card reader unit 100 when the user performs the communication enabling operation. 26).
  • the database server 11 includes a storage device 110 as shown in FIG. In FIG. 2, the detailed configuration of the database server 11 is not shown, but the database server 11 includes a CPU, an operation unit, a display unit, a communication unit, and the like, and is configured as a general computer. ing.
  • the database server 11 is connected to the reference position providing apparatus 10 via a network such as a LAN, the Internet, or a public network, and transmits content information 112 to the reference position providing apparatus 10 as necessary.
  • a network such as a LAN, the Internet, or a public network
  • the reference information 103 of the reference position providing device 10 acquired by measurement or the like may be input to the database server 11 and transmitted from the database server 11 toward the reference position providing device 10. That is, the information transmitted from the database server 11 toward the reference position providing device 10 is not limited to the content information 112.
  • the storage device 110 is a generic name for devices having a function of storing information in the database server 11.
  • the storage device 110 is used to store a program 111 executed by a CPU (not shown) of the database server 11 and content information 112.
  • the content information 112 is created by an operator, a designer, a programmer, or the like of the database server 11 and stored in the storage device 110.
  • the content information 112 is a generic name for information necessary for providing and expressing augmented reality.
  • the content information 112 includes information output to express augmented reality (output candidate information), information referenced to select information to be actually output from the output candidate information (search information), Is included.
  • the output candidate information includes, for example, graphic information of a virtual object and audio information output to express augmented reality, but is not limited to completely virtual information, and abstracts reality. Information is also included.
  • the search information is information indicating a condition when outputting each virtual object, and is, for example, position, posture, state, time, season, weather, temperature, illuminance, humidity, atmospheric pressure, and the like.
  • the content information 112 is generally different information for each augmented reality provided.
  • the content information 112 is transmitted from the database server 11 for each reference position providing device 10 according to the augmented reality provided by the reference position providing device 10. Further, when changing the contents of the augmented reality being provided, the content information 112 is updated in the database server 11 and uploaded to the reference position providing apparatus 10.
  • the content information 112 is transmitted to and stored in the mobile terminal device 2 via the reference position providing device 10.
  • the content information 112 may be transmitted and stored in the mobile terminal device 2 by communication between the database server 11 and the mobile terminal device 2. That is, the user may access the database server 11 in advance and download the content information 112 before attempting to receive the augmented reality.
  • Communication between the mobile terminal device 2 and the reference position providing device 10 is close proximity wireless communication and is not suitable for transferring a large amount of information. Further, if the communication enabling operation is forced for a relatively long time immediately before receiving the augmented reality, the user's motivation may be reduced. Therefore, by configuring so as to acquire the content information 112 from the database server 11 in advance, the amount of communication between the mobile terminal device 2 and the reference position providing device 10 can be suppressed, and communication enabling operations are compared. It can be completed in a short time.
  • FIG. 5 is a diagram illustrating functional blocks included in the mobile terminal device 2 together with a data flow.
  • the card control unit 200, the position state acquisition unit 201, and the augmented reality configuration unit 202 illustrated in FIG. 5 are functional blocks realized by the CPU 20 operating according to the program 210.
  • the card control unit 200 has a function of controlling the proximity wireless communication with the reference position providing device 10 by controlling the non-contact IC card unit 26. That is, the card control unit 200 constitutes an interface with the non-contact IC card unit 26, transfers the reference information 103 and the content information 112 received by the non-contact IC card unit 26 to the storage device 21, and stores them.
  • FIG. 5 it is not shown that some information is read from the storage device 21 and transmitted from the non-contact IC card unit 26, but such information may exist. That is, the card control unit 200 may not be dedicated to writing information to the storage device 21. As information read from the storage device 21 by the card control unit 200 and transmitted from the non-contact IC card unit 26, for example, an authentication password is assumed.
  • close proximity wireless communication is started between the non-contact IC card unit 26 and the non-contact IC card reader unit 100 of the reference position providing device 10 when the user performs a communication enabling operation. .
  • the mobile terminal device 2 (sensor group 24) is in a state of being close to the non-contact IC card reader unit 100 of the reference position providing device 10 whose position is fixed (known). Therefore, the position of the portable terminal device 2 when the communication enabling operation is performed can be accurately specified. That is, the time when the card control unit 200 recognizes that the reference information 103 has been received is when the mobile terminal device 2 (sensor group 24) is present at the reference position (the position indicated by the reference information 103).
  • the posture of the mobile terminal device 2 when the user performs the communication enabling operation is defined as a predetermined posture by the shape of the housing of the reference position providing device 10. Therefore, the attitude (reference attitude) of the mobile terminal device 2 (sensor group 24) when the card control unit 200 recognizes that the reference information 103 has been received is known. As already described, the information indicating the reference posture is included in the reference information 103.
  • the position state acquisition unit 201 acquires the posture information 214 and the position information 215 by executing a predetermined calculation with reference to the reference information 103 and the collection information 212.
  • the attitude information 214 is information indicating the attitude of the mobile terminal device 2.
  • the location information 215 is information indicating the location of the mobile terminal device 2 (user).
  • the position information 215 includes not only information indicating a position in a horizontal plane but also information indicating a position related to altitude.
  • the position state acquisition unit 201 mainly obtains the posture information 214 and the position information 215 using the time information 2122, the magnetic information 2123, and the inertia information 2129 (acceleration information 2120 and angular velocity information 2121) in the collected information 212.
  • the augmented reality providing system 1 considers that the mobile terminal device 2 exists in the reference position at the reference position when the communication enabling operation is performed. Accordingly, the position state acquisition unit 201 calculates the relative change (change in posture and change in position) from when the communication enabling operation is performed based on the inertia information 2129, thereby calculating the posture information 214 and the position information. 215 is obtained.
  • the position state acquisition unit 201 has a function of acquiring the posture information 214 and the position information 215 based on the inertia information 2129 acquired by the acceleration sensor 240 and the gyro sensor 241.
  • the technique for obtaining the posture information 214 and the position information 215 can appropriately employ conventional techniques, detailed description thereof is omitted here.
  • the posture information 214 and the position information 215 are not limited to current posture and position information. For example, past information may be recorded as route information or the like.
  • the position state acquisition unit 201 can improve the accuracy of the posture information 214 and the position information 215 using information other than the inertia information 2129.
  • the posture and movement direction can be corrected by the magnetic information 2123.
  • the posture and position may be corrected by superimposing the route (estimated route) on which the user is moving and the map information (content information 112).
  • the height position can be specified according to the amount of change from the reference position with reference to the atmospheric pressure information 2128.
  • the position state acquisition unit 201 determines the state while referring to the reference information 103, the collection information 212, the posture information 214, and the position information 215, and generates the state information 216, thereby acquiring the state information 216. To do.
  • the “state” shown in the state information 216 is assumed to be a user state, a state of the mobile terminal device 2, a state of the surrounding environment, a history state, or the like.
  • the user's state is a user's action state, and is, for example, distinction such as a walking state, a boarding state, or a stationary state. Even in the walking state, the state may be classified into a plurality of states depending on a walking speed, a stray state (a state in which the traveling direction is frequently switched), or the like.
  • the boarding state is a state where the vehicle is on some device (escalator or elevator), a vehicle (car or train), or the like.
  • Whether or not the user carrying the mobile terminal device 2 is in a walking state can be determined mainly based on the inertia information 2129 obtained from the acceleration sensor 240 and the gyro sensor 241. Since the human walking motion is an exercise in which the left and right feet are alternately stepped on, by analyzing the inertia information 2129, for example, a periodic motion in the vertical direction is detected.
  • Whether or not the user is in the boarding state can be detected by the movement of the position in the position information 215 (particularly the position in the horizontal plane) even though the user is not in the walking state. Further, when boarding while walking on an escalator, it is possible to detect from the fact that the moving speed is faster than the walking speed determined from the cycle of the walking motion. Alternatively, if the position of the escalator is known, it can be detected by referring to the position information 215 and the map information (content information 112).
  • the user's action state is indirectly acquired depending on what exercise state the mobile terminal device 2 is in.
  • many of the detected user behavior states are states estimated from the (exercise) state of the mobile terminal device 2. That is, the state of the mobile terminal device 2 in a broad sense includes the state of the user.
  • the user status is not limited to the example shown here.
  • the user's position does not move, such as a state where the user is stepping on, but a state in which some operation is being performed may be included in the user's state. That is, the user state is information acquired by the position state acquisition unit 201 estimating the user behavior. Since a conventional technique can be applied to a method for estimating various behavior states of a person based on inertia information 2129, detailed description thereof is omitted here.
  • the state of the mobile terminal device 2 is a mobile state indicating how the mobile terminal device 2 is carried by the user.
  • Specific examples include a hand shaking state, a hand-held state (there are a browsing state and a non-browsing state), a wearing state, and the like.
  • the hand shaking state is a state in which the user is walking or the like while holding the mobile terminal device 2 in his / her hand and shaking his / her hand back and forth.
  • the hand-held state means that the user holds the mobile terminal device 2 in his hand, the hand is generally fixed to his / her face, and the display unit 23 of the mobile terminal device 2 is maintained in a state where the user can browse at any time. State.
  • the browsing state in the handheld state is a state in which the user is browsing some information while gazing at the display unit 23 of the mobile terminal device 2.
  • the non-browsing state in the hand-held state is a state in which the display unit 23 is not watched although it is a hand-held state.
  • the wearing state is a state in which the user inserts the mobile terminal device 2 into a pocket or is fixed to a waist holder or the like, and the mobile terminal device 2 is substantially fixed to the user's body. is there.
  • the hand shaking state can be detected by, for example, observing a movement caused by a hand movement of the user while walking (a movement of shaking the hand back and forth).
  • the hand-held state is, for example, that the screen of the display unit 23 faces the user's face (especially the eyes), and the relative positional relationship between the mobile terminal device 2 and the user's body changes to the hand-wasting state. It can be detected by the fact that it is less than that.
  • the distinction between the browsing state in the hand-held state and the non-browsing state can be determined by a change in the relative positional relationship with the user's body.
  • people are paying attention to the things they have in their hands, it is known that they move their hands unconsciously so as to continue to maintain the relative positional relationship between the objects and their eyes. . That is, when such a correction operation by the user's hand is observed in the movement of the mobile terminal device 2, it can be determined as the browsing state.
  • the wearing state can be detected, for example, when the relative positional relationship with the user's body is substantially fixed.
  • the mobile terminal device 2 in the mounted state is less changed in relative positional relationship with the user's body than in the handheld state.
  • the state of the mobile terminal device 2 is not limited to the example shown here. In addition to this, there is a state where the user is carrying the portable terminal device 2 in a bag (stored state). Although it is not very likely that the user who wants to receive the augmented reality will place the mobile terminal device 2 in the storage state, it is a matter of course that such a state may be assumed and detected.
  • the surrounding environmental conditions include, for example, the season, weather, humidity, temperature, sound condition, day / night distinction, indoor / outdoor distinction, and the like.
  • the position state acquisition unit 201 determines the state of the surrounding environment based on the collected information 212 (particularly, the time information 2122, the sound information 2124, the temperature information 2125, the illuminance information 2126, the humidity information 2127, and the atmospheric pressure information 2128). Record in information 216.
  • the history status is a history status related to user behavior and the like. For example, whether a specific route has been passed, whether a predetermined item is possessed, whether a predetermined operation has been executed, or the like.
  • the history state is not limited to events that are intentionally executed by the user, but events that are not intended by the user are also recorded.
  • states other than those listed here may be further defined as “states” detected by the position state acquisition unit 201.
  • what kind of collected information 212 is determined by the position state acquisition unit 201 may be different depending on the application to be used.
  • the augmented reality configuration unit 202 selects the fictitious information 217 constituting the augmented reality from the content information 112 according to the owner information 211, the collected information 212, the captured image information 213, the posture information 214, the position information 215, and the state information 216. It has a function.
  • the fictitious information 217 includes information displayed on the screen of the liquid crystal display in the display unit 23, and corresponds to information for extending reality in the provided augmented reality.
  • the display unit 23 displays the augmented reality on the screen by superimposing (combining) or adding the fictitious information 217 to the captured image information 213 and displaying it.
  • the fictitious information 217 selected from the content information 112 includes audio information.
  • the fictitious information 217 as audio information is reproduced by the speaker 28 and corresponds to information for extending reality in the provided augmented reality.
  • the fictitious information 217 may be processed by the augmented reality configuration unit 202 when selected from the content information 112. That is, information regarding such a processing procedure may also be included in the content information 112.
  • 6 and 7 are flowcharts showing the augmented reality providing method. Note that it is assumed that the portable terminal device 2 is activated, a predetermined initial setting is completed, and the owner information 211 is stored in the storage device 21 before each process shown in FIG. 6 is started. Further, it is assumed that the content information 112 is already stored in the storage device 101 of the reference position providing device 10. 6 and 7 show each process for one user for convenience of explanation, the augmented reality providing system 1 simultaneously performs augmented reality for a plurality of users (plural mobile terminal devices 2). Can be provided.
  • step S1 When the user arrives in the vicinity of the augmented reality space 9 (step S1), the user communicates with the reference position providing device 10 installed near the entrance of the augmented reality space 9 using the portable terminal device 2 that he / she brought. An enabling operation is performed (step S2).
  • the mobile terminal device 2 cannot acquire the reference information 103 and the content information 112. In that case, it is difficult for the augmented reality providing system 1 to provide augmented reality to the user. Therefore, it is preferable to provide a mechanism that allows the user to reliably execute the communication enabling operation. For example, a method of determining whether or not the communication enabling operation has been performed and configuring the gate for entering the augmented reality space 9 to open may be considered.
  • step S2 By performing the communication enabling operation (step S2) by the user, a communication link is established between the non-contact IC card unit 26 of the mobile terminal device 2 and the non-contact IC card reader unit 100 of the reference position providing device 10. Once established, close proximity wireless communication is started.
  • step S2 When step S2 is executed and close proximity wireless communication is started, the CPU 20 (card control unit 200) of the mobile terminal device 2 determines Yes in step S3. That is, the card control unit 200 determines that the mobile terminal device 2 (sensor group 24) is present at the reference position in the reference posture when it is determined Yes in step S3.
  • the mobile terminal device 2 acquires the reference information 103 and the content information 112 from the reference position providing device 10 (step S4).
  • the reference information 103 and the content information 112 are stored in the storage device 21.
  • an application corresponding to the augmented reality provided in the augmented reality space 9 is activated according to the content information 112 acquired in step S4.
  • step S5 the imaging unit 25 starts imaging of the surroundings (in the augmented reality space 9) (step S5). Thereby, thereafter, the captured image information 213 is obtained according to the imaging cycle.
  • the process of step S5 is automatically started as a series of steps after the communication enabling operation.
  • the process is configured to start by a user instruction (user operation on the operation unit 22). May be.
  • step S6 the sensor group 24 starts measurement (step S6).
  • the collection information 212 is updated in accordance with the measurement cycle of the sensor group 24 thereafter.
  • the time information 2122 is usually measured by the time acquisition unit 242 regardless of step S6 in order for the mobile terminal device 2 to provide a clock function.
  • step S ⁇ b> 6 the CPU 20 does not necessarily have to activate all the detection devices included in the sensor group 24. Depending on the contents of the augmented reality provided, measurement may be started only for the detection device that needs to collect information.
  • the position state acquisition unit 201 specifies the current position and current posture of the mobile terminal device 2 (Step S11), and creates posture information 214 and position information 215. At this time, the position state acquisition unit 201 specifies the posture and position based on the reference information 103 (information on the starting point of the movement route) and the collection information 212. However, as already described, the content information 112 and the owner information 211 may be referred to.
  • the position state acquisition unit 201 determines the current state and creates state information 216 (step S12).
  • the position state acquisition unit 201 specifies (estimates) the current state from a plurality of states that are assumed in advance, and sets the state information 216.
  • the type (identifier) of “state” stored in the state information 216 is not limited to one. For example, it is assumed that “walking state” is stored as the user's state and “hand shaking state” is stored as the state of the mobile terminal device 2.
  • step S12 When step S12 is executed and the state information 216 is created (updated), the augmented reality configuration unit 202 determines whether or not display by the display unit 23 should be prohibited (step S13).
  • the augmented reality configuration unit 202 determines Yes in step S13. judge.
  • the non-browsing state is a state estimated that the user is not browsing the screen of the display unit 23. However, this state can be said to be a preparation state for viewing the display unit 23 for the user. Therefore, if display by the display unit 23 is prohibited in the non-browsing state, the display unit 23 disappears when the user moves to the display unit 23. In this case, the user who wants to browse is forced to perform some operation, which increases the burden on the user.
  • the augmented reality providing system 1 determines that the display by the display unit 23 should not be prohibited if the handheld state is in the non-browsing state.
  • the non-browsing state may be regarded as a state where display by the display unit 23 should be prohibited.
  • step S13 the CPU 20 controls the display unit 23 to turn off the screen.
  • the display unit 23 erases the screen display (step S14). Therefore, useless display can be suppressed, and power saving and improvement in calculation speed (speed of position calculation and posture calculation) are achieved.
  • the augmented reality configuration unit 202 uses the state information 216 acquired by the position state acquisition unit 201 as an image as the fictitious information 217 depending on the viewing state of the display unit 23 of the user carrying the mobile terminal device 2. Prohibit selection of information. Therefore, useless display can be suppressed, and power saving and calculation speed can be improved.
  • step S15 the CPU 20 stops the imaging by the imaging unit 25 (step S15). This is because, when step S14 is executed, the augmented reality is not represented on the display unit 23, and thus it is not necessary to acquire the captured image information 213. As a result, useless imaging can be suppressed, and power saving and improvement in calculation speed are achieved.
  • the augmented reality configuration unit 202 selects the imaginary information 217 from the content information 112 excluding the image information (information to be displayed on the display unit 23) (step S16). Thereby, in the augmented reality providing system 1, selection of image information as the fictitious information 217 is prohibited.
  • the augmented reality configuration unit 202 uses the state information 216 acquired by the position state acquisition unit 201 as an image as the fictitious information 217 depending on the viewing state of the display unit 23 of the user carrying the mobile terminal device 2. Prohibit selection of information. Therefore, useless display can be suppressed, and power saving and calculation speed can be improved.
  • the fictitious information 217 selected in step S16 is limited to voice information.
  • step S13 the augmented reality composing unit 202 selects the fictitious information 217 from all the content information 112 including the image information (step S17).
  • step S17 the augmented reality composing unit 202 selects the fictitious information 217 from all the content information 112 including the image information.
  • CPU20 attaches the screen of the display part 23 (it restarts a display). ) Processing and processing for resuming imaging by the imaging unit 25 are executed.
  • the selection of the fictitious information 217 can be performed based on various conditions.
  • the position information 215 can be selected as in the conventional technique.
  • the augmented reality configuration unit 202 in the augmented reality providing system 1 does not select the imaginary information 217 based only on the position information 215 but selects the imaginary information 217 using other information in a superimposed manner.
  • the augmented reality configuration unit 202 extracts a plurality of pieces of candidate information to be the fictitious information 217 from the position information 215, and then refers to other information to thereby select one of the plurality of pieces of candidate information. This is squeezed into fictitious information 217. That is, a plurality of pieces of information (candidate information) that can be selected as the fictitious information 217 at the same position are prepared in the content information 112, and the fictitious information is narrowed down to the fictitious information according to other conditions. It is selected as information 217.
  • the content information 112 may include fictitious information 217 selected only by the position information 215. Details of selecting the fictitious information 217 will be described later using a specific example.
  • the augmented reality configuration unit 202 determines the absolute position and orientation in the augmented reality space 9 according to the orientation information 214 and the position information 215, and determines the viewpoint and line-of-sight direction in the augmented reality.
  • the field of view in the augmented reality space 9 can be determined.
  • the size, shape, and the like of an object to be virtually displayed are determined according to the field of view.
  • the augmented reality configuration unit 202 can display the fictitious information 217 on the display unit 23.
  • the position state acquisition unit 201 preferably creates the position information 215 in consideration of this point (the position and orientation of the imaging unit 25 in the mobile terminal device 2).
  • the augmented reality configuration unit 202 sets the volume (output according to the distance to the sound source felt by the user) and the left and right strengths (sound source felt by the user) for the fictitious information 217 as audio information to be reproduced by the speaker 28 Determine the output according to the direction.
  • the imaginary information 217 is output to the display unit 23 and the speaker 28, and the augmented reality is expressed (step S18).
  • the process of determining the viewpoint and line-of-sight direction in augmented reality in step S18 is unnecessary.
  • steps S11 to S19 are repeated until there is an instruction to end.
  • an instruction to end the provision of augmented reality is input by the user operating the operation unit 22.
  • the method for obtaining an instruction to end the provision of augmented reality is not limited to such a method.
  • the CPU 20 detects that the user has left the augmented reality space 9 based on the position information 215, and the CPU 20 interprets this as an end instruction so that the end instruction is automatically acquired. Good.
  • the augmented reality providing system 1 can end providing augmented reality without making the user particularly conscious.
  • state estimation acquisition of state information 216 by the position state acquisition unit 201 and selection of the fictional information 217 by the augmented reality configuration unit 202 will be described using a specific example.
  • FIG. 8 is a display example in an application that provides a haunted house as an augmented reality in the augmented reality space 9.
  • captured image information 213 a is an image representing a real part captured by the imaging unit 25.
  • a tree image 217 a and a monster image 217 b are fictitious information 217 selected from the content information 112 by the augmented reality configuration unit 202.
  • FIG. 8 is a diagram illustrating a display example when it is determined that the mobile terminal device 2 is in the “handheld state” and the user is facing forward. Whether or not the user is facing forward can be determined by, for example, the inclination of the mobile terminal device 2 being browsed (the screen of the display unit 23) with respect to the horizontal plane.
  • a tree image 217a representing a virtual scene object and a monster image 217b representing a virtual thing to surprise the user are combined with the captured image information 213a representing the real part. Is displayed.
  • FIG. 9 is a diagram showing a display example when the user is facing down at the position in FIG.
  • the imaging region is changed as compared with the case illustrated in FIG. 8, and the captured image information 213 b is displayed as the captured image information 213. Further, since the user's field of view (display target area: captured image information 213b) has changed from the case shown in FIG. 8, a part of the tree image 217a and the monster image 217b are cut off from the screen.
  • the tree image 217a as the scene object is not so much expressed in this way.
  • the display position of the tree image 217 a is changed so that the entire tree image 217 a can be visually recognized, the user feels that the tree image 217 a has moved and the user feels that in the augmented reality space 9. Reality decreases.
  • the reality is also improved when the monster image 217b is displayed as shown in FIG.
  • the monster image 217b is displayed as shown in FIG.
  • the “monster” lies on the ground (sticks) to the user. It feels like this, and the realism deteriorates.
  • FIG. 10 is a diagram showing a display example in the augmented reality providing system 1 when the user is facing down at the position in FIG.
  • the augmented reality providing system 1 determines that the user is facing down
  • the augmented reality providing system 1 selects the insect image 217c instead of the monster image 217b as the fictitious information 217.
  • the insect image 217c expressing the “insect” crawling on the ground is selected and displayed on the display unit 23.
  • the augmented reality composing unit 202 selects another image (thing suitable for winter) without selecting the insect image 217c. May be selected.
  • the augmented reality providing system 1 can effectively surprise the user according to the state without deteriorating the reality.
  • the sound of the insects roaring may be selected as the imaginary information 217 and reproduced by the speaker 28.
  • FIG. 11 is a diagram showing a display example in the augmented reality providing system 1 when the user is facing up at the position in FIG. When the user is facing upward, the imaging region changes compared to the case illustrated in FIG. 8, and the captured image information 213 c as the captured image information 213 is displayed as representing the real part.
  • the bat group image 217d is used as the fictitious information 217 instead of the monster image 217b and the insect image 217c. select.
  • the augmented reality composing unit 202 selects the bat group image 217d representing the “bat” flying in the sky as the fictitious information 217 when the user is facing upward. Therefore, the bat group image 217 d and the captured image information 213 c are combined and displayed on the display unit 23.
  • the augmented reality providing system 1 can effectively surprise the user without deteriorating the reality.
  • “sound when a bat flaps” may be selected as the fictitious information 217 and reproduced by the speaker 28.
  • 12 and 13 are diagrams showing display update examples in the haunted house application. 12 and 13, the captured image information 213 representing the real part is captured image information 213 a similar to that in FIG. 8.
  • the noise image 217e shown in FIG. 12 is the fictitious information 217 selected by the augmented reality configuration unit 202.
  • the augmented reality composing unit 202 refers to the state information 216, displays the noise image 217e when the user is in a walking state and is browsing the display unit 23, and makes it difficult to see the screen once. To alert the user.
  • the augmented reality configuration unit 202 assumes that the user is gazing at the display unit 23, selects the monster image 217b instead of the noise image 217e, and updates the screen. Are displayed (FIG. 13).
  • the augmented reality providing system 1 it is possible to display the effective fictitious information 217 after the user's attention is drawn (when the user can be considered to be in a gaze state). That is, instead of simply displaying an image determined based on the position information 215, various expressions can be made for the display timing.
  • FIG. 14 and FIG. 15 are diagrams conceptually showing a user experiencing an application that provides a “treasure hunting game” as an augmented reality in the augmented reality space 9.
  • the “treasure chest” shown in FIG. 14 and FIG. 15 is not actually placed in the place, but is defined in the application (content information 112) as a virtual thing.
  • the wall forming the maze is a wall as a real object.
  • FIG. 14 shows a state in which the distance between the user and the “treasure box” (strictly, the position where the “treasure box” is defined) is relatively long.
  • FIG. 15 shows a state in which the distance between the user and the “treasure box” is relatively short.
  • the augmented reality providing system 1 does not select the content information 112 representing the “treasure chest” as the fictitious information 217 when the user and the “treasure chest” are separated from each other. Even if the user is browsing the display unit 23, only the captured image information 213 is displayed. On the other hand, as shown in FIG. 15, when the user and the “treasure chest” are close, the augmented reality providing system 1 selects the imaginary information 217 according to the user's action state and provides augmented reality.
  • the augmented reality configuration selects audio information as the fictitious information 217 and reproduces it from the speaker 28. Thereby, it is possible to notify the user of the approach of the “treasure chest”, and the user is assumed to browse the screen of the display unit 23 of the mobile terminal device 2.
  • the augmented reality providing system 1 prohibits display on the display unit 23 (see FIG. 7: step S14).
  • FIG. 16 and 17 are diagrams showing display examples when the user and the “treasure chest” are close and the user is browsing the screen. That is, FIG. 16 and FIG. 17 are examples of screens displayed when the user is present at the position shown in FIG.
  • FIG. 16 is a display example when the mobile terminal device 2 is facing down.
  • the position state acquisition unit 201 can detect a state in which the mobile terminal device 2 is facing down by analyzing the posture information 214 of the mobile terminal device 2. In this case, the position state acquisition unit 201 records “downward state” in the state information 216.
  • the augmented reality configuration unit 202 determines that the mobile terminal device 2 is not directed forward by referring to the state information 216, for example, the radar image 217 f and the treasure box image 217 g as the aerial information 217. select. As a result, as shown in FIG. 16, the radar image 217f and the treasure chest image 217h are combined and displayed on the captured floor image 213d (image representing the real part), and the augmented reality is represented.
  • FIG. 17 shows a display example when the mobile terminal device 2 is facing forward (a state facing the interior of the room).
  • captured image information 213e obtained by capturing an image of the interior of the room is displayed as an image representing a real part.
  • a treasure box image 217h is selected as the fictitious information 217, and is synthesized and displayed on the captured image information 213e.
  • an image in which the “treasure chest” is placed inside the room is displayed on the screen of the display unit 23, and the augmented reality is expressed.
  • the augmented reality providing system 1 even if the position where the user exists is the same, the state where the user is not browsing the screen, the state where the user is browsing but facing down, or while browsing
  • the augmented reality to be provided can be changed according to the state of observing the front. Therefore, compared to the conventional technology, realistic and rich expression can be realized in augmented reality.
  • FIG. 18 and FIG. 19 are diagrams conceptually showing a user experiencing a treasure hunt game.
  • “treasure chest” is defined as a virtual thing.
  • “Wall” is defined near the entrance of the room where “treasure chest” is defined.
  • the content information 112 representing “wall” is selected as the fictitious information 217 by the augmented reality component 202 only when the history state in the state information 216 is “handle not operated (initial value)”.
  • the augmented reality configuration unit 202 does not select the treasure box image 217 h as the imaginary information 217.
  • the “handle” is defined at a location slightly away from the “treasure chest”.
  • FIG. 19 conceptually shows a state where the user has moved to a position where a “handle” is defined.
  • FIG. 20 is a diagram showing an image displayed on the screen when the user is present at the position shown in FIG. That is, when the user arrives at the position shown in FIG. 19, the handle image 217i and the message image 217j as the fictitious information 217 are synthesized and displayed on the captured image information 213f obtained by imaging the wall that actually exists.
  • the position state acquisition unit 201 analyzes the posture information 214 and the position information 215 so that the user has performed a predetermined operation (an operation for rotating the mobile terminal device 2) at a predetermined position (the position illustrated in FIG. 19). , And the history state of the state information 216 is rewritten as “handle operation completed”.
  • FIG. 21 is a diagram conceptually showing a state where the user has moved to the position shown in FIG. 19 in a state where the state information 216 has been rewritten as “handle operation completed”.
  • the augmented reality configuration unit 202 displays “wall” as the fictitious information 217.
  • the treasure box image 217h is selected without selecting the image. As a result, the same display as in FIG. 17 is displayed, and the user can find the “treasure chest”.
  • the augmented reality providing system 1 can perform more flexible expression by selecting the fictitious information 217 according to the history state. Since the “wall” displayed as the fictitious information 217 does not actually exist, the user can ignore the “wall” and enter the real room without operating the “handle” as a virtual thing. Is possible. In such a case, it is preferable to select another image (for example, a junk image) instead of the treasure box image 217h or display nothing.
  • the augmented reality configuration unit 202 can detect that the user who has illegally intruded is in the “handle not operated” state by referring to the state information 216. Therefore, in such a case, the treasure box image 217h can be configured not to be displayed.
  • Supplied as augmented reality provided by the augmented reality providing system 1 is an application for performing route guidance (store guidance) in a shopping mall or underground mall.
  • the height position (which floor is present) of the user is also important position information 215.
  • the augmented reality providing system 1 can correct the atmospheric pressure sensor 248 based on the height position (reference information 103) where the reference position providing device 10 is installed. Therefore, based on the atmospheric pressure information 2128 acquired after the correction, the floor where the user is present can be detected and stored in the state information 216. Thereby, the sales floor guidance according to the floor where a user exists can also be displayed as an image.
  • the sales floor guidance on the third floor can be displayed in advance.
  • a user who is on the escalator is less likely to be looking at the product, and is more likely to be watching the screen of the display unit 23. Therefore, by detecting such a user state and displaying the fictitious information 217, it is possible to provide more effective augmented reality without missing effective timing.
  • time information 2122 and the state information 216 it is possible to detect a user who has not yet entered the restaurant at lunch time from the history state and guide the user to the restaurant. Further, fictitious information 217 representing a recommended restaurant may be selected and displayed according to the season (time information 2122), weather (state of surrounding environment), preference (owner information 211), and the like.
  • the augmented reality providing system 1 acquires the storage device 21 that stores the content information 112 and the position information 215 that indicates the current position of the mobile terminal device 2 that is carried by the user.
  • a position state acquisition unit 201 that acquires state information 216 indicating a state, and an extension that selects fictitious information 217 constituting augmented reality from the content information 112 stored in the storage device 21 according to the position information 215 and the state information 216
  • the reality composing unit 202 and the display unit 23 and the speaker 28 that express the augmented reality by outputting the selected fictitious information 217 are provided.
  • appropriate fictitious information 217 can be selected from abundant content information 112. Therefore, augmented reality can be expressed more realistically, and the range of augmented reality that can be provided widens.
  • the augmented reality providing system 1 obtains environmental information (magnetic information 2123, audio information 2124, temperature information 2125, illuminance information 2126, humidity information 2127, and atmospheric pressure information 2128) around the mobile terminal device 2 to construct an augmented reality configuration.
  • the unit 202 selects the fictional information 217 constituting the augmented reality from the content information 112 stored in the storage device 21 according to the environment information. Thereby, more appropriate fictitious information 217 can be selected. Therefore, augmented reality can be expressed more realistically.
  • the augmented reality providing system 1 further includes a time acquisition unit 242 that acquires time information 2122, and the augmented reality configuration unit 202 stores the information in the storage device 21 according to the time information 2122 acquired by the time acquisition unit 242.
  • the fictitious information 217 constituting the augmented reality is selected from the content information 112 thus obtained. This also makes it possible to select more appropriate fictitious information 217. Therefore, augmented reality can be expressed more realistically.
  • the position state acquisition unit 201 acquires state information 216 based on the acquired position information 215. Thereby, for example, the movement state can be detected by changing the position. Moreover, if it exists in the position of an escalator, it can also detect that it is a boarding state on an escalator. Therefore, since the variation of the state which can be detected increases, a variety of augmented reality can be provided.
  • an acceleration sensor 240 and a gyro sensor 241 that acquire inertia information 2129 related to the movement of the mobile terminal device 2 are further provided, and the position state acquisition unit 201 acquires the state information 216 based on the acquired inertia information 2129. This also increases the number of variations in the detectable state, thereby providing a variety of augmented reality.
  • the position state acquisition unit 201 specifies the position information 215 based on the acquired inertia information 2129.
  • the self-contained sensor can be used for position acquisition, and the position accuracy is improved.
  • the augmented reality composing unit 202 uses the state information 216 acquired by the position state acquiring unit 201 in accordance with the browsing state of the user carrying the mobile terminal device 2 on the display unit 23 of the image information as the fictitious information 217. Prohibit selection. Thereby, useless display can be suppressed, and power saving and improvement in calculation speed are achieved.
  • the steps shown in the preferred embodiment are merely examples, and are not limited to the order and contents shown above. That is, as long as the same effect can be obtained, the order and contents may be changed as appropriate.
  • the step (step S5) in which the imaging unit 25 starts imaging and the step (step S6) in which the sensor group 24 starts measurement may be interchanged.
  • the functional blocks (the card control unit 200, the position state acquisition unit 201, the augmented reality configuration unit 202, and the like) shown in the above-described preferred embodiment are realized by software as the CPU 20 operates according to the program 210. explained. However, some or all of these functional blocks may be configured by a dedicated logic circuit and realized in hardware.
  • the user state in the preferred embodiment is information acquired by the position state acquisition unit 201 estimating the user's behavior.
  • the sensor group 24 may include a biosensor (such as a body temperature sensor, a pulse sensor, a sweat sensor, and a respiration rate sensor), and the state of the user may be determined according to information obtained from the biosensor.
  • the state of the user based on the information obtained from the biosensor is not limited to the behavioral state, and for example, a state that is greatly surprised, a calm state, a fatigued state, or the like can be considered.
  • the configuration for specifying the position is not limited to position estimation by inertial navigation using the acceleration sensor 240 and the gyro sensor 241.
  • a configuration GPS receiver
  • GPS Global Positioning System
  • the present invention is highly compatible with the configuration for estimating the position by inertial navigation.
  • the fictitious information 217 is not limited to image information displayed on the display unit 23 and audio information reproduced from the speaker 28.
  • an expression that the mobile terminal device 2 is vibrated by a vibrator (not shown) is also possible.
  • the mobile terminal device 2 can also be configured as an HMD (Head-Mounted Display) type device.
  • the HMD type device is a device that moves along with the user when the user wears the head. In this case, it is not necessary to display an image representing the real part (captured image information 213), and augmented reality can be provided only by displaying the fictitious information 217.
  • the object serving as an index is not limited to an apparatus such as the reference position providing apparatus 10, and may be a bar code representing information on the reference position and the reference posture.
  • a barcode that is read in a specific posture at the reference position may be provided in the vicinity of the augmented reality space 9, and this may be configured to be imaged and read by the imaging unit 25.
  • the example in which the sensor group 24 and the output unit (the display unit 23 and the speaker 28) are provided in the same device has been described. However, they may be present in another device.
  • a sensor group 24 to a pet (target object), releasing it into the augmented reality space 9, and displaying a virtual object on an output unit provided in a device carried by the user according to the movement of the pet.
  • Augmented reality may be provided.
  • a ball (object) containing the sensor group 24 is thrown by the user in the augmented reality space 9, and the trajectory of the ball is calculated according to the position and acceleration at the moment of being thrown, and a virtual corresponding to the ball is calculated.
  • An application that displays the trajectory of an object for example, a fireball by a spear or magic
  • the state of an enemy who is a target on a device (output unit) at hand of the user is also assumed.
  • the fictitious information 217 may be information defining a predetermined effect (processing effect). For example, a selected effect may be applied to a part or all of the captured image information 213 representing the reality and displayed as a virtual thing. As such an effect, an effect (deformation) in which an actual object is gradually distorted or an effect (discoloration) in which a color is lost can be considered. In other words, augmented reality may be expressed by virtually changing the captured image information 213 that represents the real part.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　拡張現実提供システムに、コンテンツ情報を記憶する記憶装置と、ユーザにより携帯される携帯端末装置の現在位置を示す位置情報を取得するとともに、携帯端末装置の状態を示す状態情報を取得する位置状態取得部と、取得された位置情報および取得された状態情報に応じて、記憶装置に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する拡張現実構成部と、選択された架空情報を出力することにより、拡張現実を表現する表示部とを設ける。

Description

拡張現実提供システム、記録媒体および拡張現実提供方法
　本発明は、現実環境を拡張した拡張現実を提供するに際して、当該拡張現実のバリエーションを豊かにする技術に関する。
　従来より、現実の環境における情報（あるいは現実の風景）に、コンピュータ等で作成した情報を付与することで、現実環境を拡張する拡張現実（ＡＲ：Augmented Reality）を実現する技術が知られている。拡張現実は、位置情報に基づいて、表示する仮想物体の内容や、現実環境における表示位置を決定し、現実の視覚情報と仮想物体とを合成表示する技術である。
　拡張現実においては位置を把握することが必要になるが、例えば、特許文献１には、位置を把握する技術として、ＧＰＳ（Global Positioning System）を利用する技術が記載されている。特許文献１に記載された技術では、ＧＰＳより取得した位置情報から周囲の地物情報をデータベースより取得して、透過型ディスプレイに仮想物体を描画することで現実環境と仮想物体との合成を実現する。
　また、例えば、撮影画像を利用した拡張現実技術も知られている。撮影画像を利用した拡張現実技術は、現実空間に専用の識別情報を有する画像（マーカ）を設置して、撮影画像内にマーカが存在すればマーカ上に仮想物体を描画する方法が知られている。また、画像内の特定の図形（人体など）を認識して、所定の位置に仮想物体を描画する方法なども知られている。例えば、特許文献２には、現実環境に存在するマーカを利用して仮想物体の重畳表示を可能とする技術が記載されている。
　さらに、例えば、特許文献３には、現実環境に実物体としてのマーカを用いることなく、既知である現実空間の配置物を識別して仮想物体の表示を可能とする技術が記載されている。
特開２０１２－０６８４８１号公報 特開２０１２－１４１７７９号公報 特開２００３－２５６８７６号公報
　ところが、特許文献１ないし３に記載された技術では、ユーザが画面を見ていないときにも仮想物体を表示してしまうという問題があった。また、マーカや設置物体、現在位置（特に、視点位置）によって出力内容が固定されてしまい、他の要因（状況）に応じた、より効果的な拡張現実を提供できないという問題があった。
　上記の課題を解決するため、請求項１の発明は、ユーザに対して拡張現実を提供する拡張現実提供システムであって、コンテンツ情報を記憶する記憶装置と、ユーザにより携帯される端末装置の現在位置を示す位置情報を取得する位置取得部と、前記端末装置の状態を示す状態情報を取得する状態取得部と、前記位置情報および前記状態情報に応じて、前記コンテンツ情報から拡張現実を構成する架空情報を選択する情報選択部と、選択された前記架空情報を出力することにより、前記拡張現実を表現する出力部とを備える。
　また、請求項２の発明は、請求項１に記載の拡張現実提供システムであって、前記端末装置の周辺の環境情報を取得する環境取得部をさらに備え、前記情報選択部は、前記環境取得部により検出された前記環境情報に応じて、前記記憶部に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する。
　また、請求項３の発明は、請求項１に記載の拡張現実提供システムであって、時間情報を取得する時間取得部をさらに備え、前記情報選択部は、前記時間取得部により取得された前記時間情報に応じて、前記記憶部に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する。
　また、請求項４の発明は、請求項１に記載の拡張堅実システムであって、前記状態取得部は、前記位置取得部により取得された位置情報に基づいて、前記状態情報を取得する。
　また、請求項５の発明は、請求項１に記載の拡張現実提供システムであって、前記端末装置の運動に関する慣性情報を取得する運動検出部をさらに備える。
　また、請求項６の発明は、請求項５に記載の拡張現実提供システムであって、前記状態取得部は、前記運動検出部により取得された慣性情報に基づいて、前記状態情報を取得する。
　また、請求項７の発明は、請求項５に記載の拡張現実提供システムであって、前記位置取得部は、前記運動検出部により取得された慣性情報に基づいて、前記位置情報を特定する。
　また、請求項８の発明は、請求項１に記載の拡張現実提供システムであって、前記出力部は、画像情報を表示するディスプレイを備え、前記情報選択部は、前記状態取得部により取得された前記状態情報において、前記端末装置を携帯するユーザの前記ディスプレイに対する閲覧状態に応じて、前記架空情報としての画像情報の選択を禁止する拡張現実提供システム。
　また、請求項９の発明は、ユーザにより携帯されるコンピュータによる読み取り可能なプログラムを記録した記録媒体であって、前記プログラムを前記コンピュータに実行させることにより、前記コンピュータに、コンテンツ情報を記憶する記憶工程と、前記コンピュータの現在位置を示す位置情報を特定する位置取得工程と、前記コンピュータの状態を示す状態情報を取得する状態取得工程と、特定された前記位置情報および取得された前記状態情報に応じて、記憶された前記コンテンツ情報から拡張現実を構成する架空情報を選択する情報選択工程と、選択された前記架空情報を出力することにより、前記拡張現実を表現する出力工程とを実行させる記録媒体。
　請求項１０の発明は、ユーザに対して拡張現実を提供するための拡張現実提供方法であって、コンテンツ情報を記憶部に記憶する工程と、ユーザにより携帯される端末装置の現在位置を示す位置情報を特定する工程と、前記端末装置の状態を示す状態情報を取得する工程と、特定された前記位置情報および取得された前記状態情報に応じて、前記記憶部に記憶された前記コンテンツ情報から前記拡張現実を構成する架空情報を選択する工程と、選択された前記架空情報を出力することにより、前記拡張現実を表現する工程とを有する。
　請求項１ないし１０に記載の発明は、ユーザにより携帯される端末装置の現在位置を示す位置情報を取得するとともに、端末装置の状態を示す状態情報を取得し、位置情報および状態情報に応じて、記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択して、選択された架空情報を出力することにより、拡張現実を表現する。これにより、豊富なコンテンツ情報から適切な架空情報を選択することができる。したがって、よりリアルに拡張現実を表現することができる。あるいは、提供可能な拡張現実の幅が広がる。
拡張現実提供システムを示す図である。 携帯端末装置、基準位置提供装置およびデータベースサーバのブロック図である。 センサ群に含まれる構成を示す図である。 収集情報に含まれる情報を示す図である。 携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 拡張現実提供方法を示す流れ図である。 拡張現実提供方法を示す流れ図である。 拡張現実空間において拡張現実としてのお化け屋敷を提供するアプリケーションにおける表示例を示す図である。 図８における位置において、ユーザが下を向いているときの表示例を示す図である。 図８における位置において、ユーザが下を向いているときの拡張現実提供システムにおける表示例を示す図である。 図８における位置において、ユーザが上を向いているときの拡張現実提供システムにおける表示例を示す図である。 お化け屋敷のアプリケーションにおける表示更新例を示す図である。 お化け屋敷のアプリケーションにおける表示更新例を示す図である。 拡張現実空間において拡張現実として「宝探しゲーム」を提供するアプリケーションをユーザが体験している様子を概念的に示す図である。 拡張現実空間において拡張現実として「宝探しゲーム」を提供するアプリケーションをユーザが体験している様子を概念的に示す図である。 ユーザと「宝箱」とが近く、かつ、ユーザが画面を閲覧しているときの表示例を示す図である。 ユーザと「宝箱」とが近く、かつ、ユーザが画面を閲覧しているときの表示例を示す図である。 宝探しゲームをユーザが体験している様子を概念的に示す図である。 宝探しゲームをユーザが体験している様子を概念的に示す図である。 図１９に示す位置にユーザが存在しているときに画面に表示される画像を示す図である。 状態情報が「ハンドル操作済み」と書き換えられた状態で、ユーザが図１９に示す位置に移動した状態を概念的に示す図である。
　１　拡張現実提供システム
　１０　基準位置提供装置
　１００　非接触ＩＣカードリーダー部
　１０１，１１０，２１　記憶装置
　１０２，１１１，２１０　プログラム
　１０３　基準情報
　１１　データベースサーバ
　１１２　コンテンツ情報
　１１２　候補情報
　２　携帯端末装置
　２０　ＣＰＵ
　２００　カード制御部
　２０１　位置状態取得部
　２０２　拡張現実構成部
　２１１　オーナー情報
　２１２　収集情報
　２１２０　加速度情報
　２１２１　角速度情報
　２１２２　時間情報
　２１２３　磁気情報
　２１２４　音声情報
　２１２５　温度情報
　２１２６　照度情報
　２１２７　湿度情報
　２１２８　気圧情報
　２１２９　慣性情報
　２１３，２１３ａ，２１３ｂ，２１３ｃ，２１３ｅ，２１３ｆ　撮像画像情報
　２１３ｄ　床画像
　２１４　姿勢情報
　２１５　位置情報
　２１６　状態情報
　２１７　架空情報
　２１７ａ　樹木画像
　２１７ｂ　怪物画像
　２１７ｃ　虫画像
　２１７ｄ　コウモリ群画像
　２１７ｅ　ノイズ画像
　２１７ｆ　レーダー画像
　２１７ｇ，２１７ｈ　宝箱画像
　２１７ｉ　ハンドル画像
　２１７ｊ　メッセージ画像
　２２　操作部
　２３　表示部
　２４　センサ群
　２４０　加速度センサ
　２４１　ジャイロセンサ
　２４２　時間取得部
　２４３　磁気センサ
　２４４　マイク
　２４５　温度センサ
　２４６　照度センサ
　２４７　湿度センサ
　２４８　気圧センサ
　２５　撮像部
　２６　非接触ＩＣカード部
　２７　通信部
　２８　スピーカ
　９　拡張現実空間
　以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
　また、本出願では、２０１４年２月１０日に日本国に出願された特許出願番号２０１４－０２２９４９の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
　図１は、拡張現実提供システム１を示す図である。図１に示す拡張現実空間９は、拡張現実提供システム１によって、ユーザに対して拡張現実が提供されるエリアを概念的に図示したものである。
　拡張現実提供システム１は、既知の絶対位置に固定される設置型の装置として構成される基準位置提供装置１０と、データベースサーバ１１と、携帯端末装置２とを備えている。なお、基準位置提供装置１０、データベースサーバ１１、および、携帯端末装置２の数は、いずれも図１に示す数に限定されるものではない。また、既知の絶対位置は、拡張現実システム１の運用が開始されるまでに、計測され、その位置情報が拡張現実システム１に与えられるものとする。
　拡張現実提供システム１において、基準位置提供装置１０およびデータベースサーバ１１は、システム運営者によって提供され設置される装置を想定している。一方で、携帯端末装置２としては、システム運営者が拡張現実を提供しようとするエリアを訪れたユーザによって所持される装置を想定しており、個人所有の携帯電話、スマートフォン、あるいは、ＰＤＡ端末などが該当する。なお、携帯端末装置２は、システム運営者等により、ユーザに対して貸与されてもよい。
　図２は、携帯端末装置２、基準位置提供装置１０およびデータベースサーバ１１のブロック図である。
　携帯端末装置２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、センサ群２４、撮像部２５、非接触ＩＣカード部２６、通信部２７およびスピーカ２８を備えている。携帯端末装置２は、ユーザによって携帯される装置であり、対象物としてのユーザに付随して移動する装置（位置が可変の装置）として構成されている。また、携帯端末装置２がセンサ群２４を備えていることにより、携帯端末装置２がユーザに携帯されている状態において、当該センサ群２４も対象物としてのユーザに付随した状態となる。
　ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、携帯端末装置２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、携帯端末装置２は、一般的なコンピュータとして構成されている。
　記憶装置２１は、携帯端末装置２において各種データを記憶する機能を提供する。特に、図２に示す記憶装置２１は、プログラム２１０、基準情報１０３、オーナー情報２１１、収集情報２１２、撮像画像情報２１３、位置情報２１５、状態情報２１６およびコンテンツ情報１１２（架空情報２１７）を記憶するために使用される。ただし、記憶装置２１が記憶する情報は、ここに挙げるものに限定されるものではない。
　記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である（後述する記憶装置１０１，１１０についても同様。）。
　また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、ここでは、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。
　記憶装置２１に格納されるオーナー情報２１１とは、操作部２２が操作されることによりユーザによって入力される当該ユーザに関する情報であって、より詳細にはユーザの特性に関する情報である。具体的には、携帯端末装置２を所有するユーザの年齢、性別、職業、住所、趣味、趣向、行動（購買）履歴、病歴（アレルギーの有無など）、婚姻状況、家族構成、所有物（車、家など）といった個人情報である。これらの情報は、操作部２２から直接入力される情報に限定されるものではなく、他のアプリケーションによって自動的に収集され、流用されてもよい。
　なお、基準情報１０３、収集情報２１２、撮像画像情報２１３、位置情報２１５、状態情報２１６およびコンテンツ情報１１２（架空情報２１７）については、適宜、後述する。
　操作部２２は、ユーザが携帯端末装置２（拡張現実提供システム１）に対して指示を入力するために操作されるハードウエアである。操作部２２としては、例えば、各種キーやボタン類、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
　表示部２３は、各種データを表示することにより、当該データを視覚的に出力する機能を有するハードウェアである。表示部２３は、画像を画面に表示する液晶ディスプレイを備えており、架空情報２１７を出力することにより拡張現実を表現する機能を有している。すなわち、表示部２３は、拡張現実提供システム１における出力部に相当する。なお、表示部２３は、液晶ディスプレイに限定されるものではなく、例えば、ランプやＬＥＤ、液晶パネル、有機ＥＬディスプレイなどをさらに備えていてもよい。
　図３は、センサ群２４に含まれる構成を示す図である。また、図４は、収集情報２１２に含まれる情報を示す図である。
　図３に示すように、センサ群２４は、加速度センサ２４０、ジャイロセンサ２４１、時間取得部２４２、磁気センサ２４３、マイク２４４、温度センサ２４５、照度センサ２４６、湿度センサ２４７および気圧センサ２４８を備えている。また、収集情報２１２には、加速度情報２１２０、角速度情報２１２１、時間情報２１２２、磁気情報２１２３、音声情報２１２４、温度情報２１２５、照度情報２１２６、湿度情報２１２７および気圧情報２１２８を含んでいる。
　加速度センサ２４０は、携帯端末装置２における加速度を検出して、加速度情報２１２０を取得する。なお、加速度センサ２４０は、携帯端末装置２について定義された座標系（例えば、３軸座標系）に従って表現された出力値を加速度情報２１２０として作成する。
　ジャイロセンサ２４１は、携帯端末装置２における角速度を測定して角速度情報２１２１を取得する。ジャイロセンサ２４１は、いわゆる３軸のジャイロセンサとして構成されており、互いに垂直な３つの軸（例えば、Ｘ，Ｙ，Ｚ軸）方向回りの角速度を測定し、当該測定値を角速度情報２１２１として出力する。
　加速度センサ２４０により取得される加速度情報２１２０およびジャイロセンサ２４１により取得される角速度情報２１２１は、携帯端末装置２の運動に関する慣性情報２１２９である。すなわち、加速度センサ２４０およびジャイロセンサ２４１は、拡張現実提供システム１における運動検出部に相当する。
　厳密に言えば、慣性情報２１２９は、携帯端末装置２の運動に関する情報である。したがって、厳密に言えば、慣性情報２１２９を解析して得られる運動状態は、携帯端末装置２の運動状態である。しかし、一方で、すでに説明したように、拡張現実提供システム１においては、ユーザが携帯端末装置２を携帯することにより、センサ群２４（加速度センサ２４０およびジャイロセンサ２４１）が対象物としてのユーザに付随した状態となる。これにより、加速度センサ２４０およびジャイロセンサ２４１は、ユーザの動きを反映した情報を測定することになる。すなわち、加速度センサ２４０およびジャイロセンサ２４１は、間接的に、ユーザの動作の状態を観測するものである。
　時間取得部２４２は、いわゆるタイマであり、時間の経過を計測する機能を有している。携帯端末装置２においては、予め記憶されている基準時およびカレンダー情報と、時間取得部２４２により計測される基準時からの経過時間とに基づいて、現在の年月日や季節、曜日、時間等を取得する（演算する）ことが可能である。これら取得された情報は、時間情報２１２２として記録される。
　磁気センサ２４３は、周辺の磁気を測定して、磁気情報２１２３を取得する機能を有している。磁気情報２１２３を参照して、磁気センサ２４３によって測定される磁気（磁力）を解析することにより、現在位置における地磁気を検出することが可能であり、方位を得ることができる。
　マイク２４４は、携帯端末装置２の周辺の音声を電気信号に変換することにより録音して、音声情報２１２４を取得する。
　温度センサ２４５は、携帯端末装置２の周辺の温度を測定して、温度情報２１２５を取得する。
　照度センサ２４６は、携帯端末装置２の周辺の照度（明るさ）を測定して、照度情報２１２６を取得する。
　湿度センサ２４７は、携帯端末装置２の周辺の湿度を測定して、湿度情報２１２７を取得する。
　さらに、気圧センサ２４８は、携帯端末装置２の周辺の気圧を測定して、気圧情報２１２８を取得する。
　磁気センサ２４３、マイク２４４、温度センサ２４５、照度センサ２４６、湿度センサ２４７および気圧センサ２４８によって収集される情報は、携帯端末装置２の周辺の環境を示す情報（以下、これらの情報を「環境情報」と称する場合がある。）である。すなわち、収集情報２１２には、環境情報が含まれている。したがって、磁気センサ２４３、マイク２４４、温度センサ２４５、照度センサ２４６、湿度センサ２４７および気圧センサ２４８は、環境取得部に相当する。
　なお、センサ群２４に含まれるセンサ（検出装置）は、上記に示した例に限定されるものではない。また、拡張現実提供システム１は、ここに示した全ての検出装置を備えていなければならないわけでもない。すなわち、提供される拡張現実の内容や装置コスト等に応じて、これらの装置が適宜、取捨選択されてもよい。
　図２に戻って、撮像部２５は、レンズなどの光学素子と、ＣＣＤなどの光電変換素子とを備え、撮像範囲内にある被写体を撮像して、当該被写体の現実の外観を表現した撮像画像情報２１３を取得する機能を有している。すなわち、撮像部２５は、一般的なデジタルカメラとしての構成および機能を有している。なお、以下の説明では、特に断らない限り、撮像画像情報２１３は、複数のフレーム画像から構成されるカラーの動画像とする。
　詳細は後述するが、表示部２３は、周囲に現実に存在する被写体の現実の外観を表現した撮像画像情報２１３と、周囲に存在しない事物を表現した架空情報２１７とを合成して表示することにより、画面に拡張現実を表現する。なお、架空情報２１７は、コンテンツ情報１１２から選択される情報である。また、架空情報２１７は、物体を表現した情報に限定されるものではなく、文字情報などを含んでいてもよい。また、携帯端末装置２が提供する拡張現実においては、撮像画像情報２１３に含まれる情報が全て再現されなくてもよい。例えば、撮像された現実に存在する事物の一部が当該拡張現実においては、あたかも存在しないかのように表現されてもよい。
　非接触ＩＣカード部２６は、一般的な非接触ＩＣカードの構成および機能を有している。これにより、携帯端末装置２は、基準位置提供装置１０の非接触ＩＣカードリーダー部１００との間で、近接無線通信を行うことが可能とされている。なお、非接触ＩＣカード部２６の回路構成および機能等は、従来技術（各種標準規格等）を適宜採用可能である。したがって、非接触ＩＣカード部２６の回路構成および機能についての詳細な説明は、省略する。
　このように、携帯端末装置２が非接触ＩＣカード部２６を備えているため、ユーザは、携帯端末装置２を基準位置提供装置１０の非接触ＩＣカードリーダー部１００に近接させてかざすことにより、基準位置提供装置１０から必要な情報を、非接触ＩＣカード部２６側に取得することができる。特に、携帯端末装置２は、基準情報１０３およびコンテンツ情報１１２を、基準位置提供装置１０から取得する。なお、以下の説明では、ユーザが、携帯端末装置２を非接触ＩＣカードリーダー部１００に近接させてかざす一連の動作を「通信可能化動作」と称する。
　通信部２７は、携帯端末装置２と、外部の装置との間の無線による通信を実現する。ただし、通信部２７が提供する通信は、データ通信に限定されるものではなく、通話であってもよい。
　スピーカ２８は、音声情報（主に架空情報２１７に含まれる情報）を再生して、音声を出力する装置である。これにより、ユーザは、スピーカ２８によって再生される音声を聴くことができる。
　基準位置提供装置１０は、特定の位置に固定して設置される装置として構成されている。そして、すでに説明したように、基準位置提供装置１０を設置する位置は、予め測定され、絶対位置として既知となっている。基準位置提供装置１０は、拡張現実を提供するエリアの近傍に設置することが好ましい。
　図２に示すように、基準位置提供装置１０は、非接触ＩＣカードリーダー部１００および記憶装置１０１を備えている。なお、図２では、基準位置提供装置１０の詳細な構成の図示を省略しているが、基準位置提供装置１０は、ＣＰＵや操作部、表示部および通信部などを備えており、一般的なコンピュータとして構成されている。
　非接触ＩＣカードリーダー部１００は、一般的な非接触ＩＣカードとの間で近接無線通信を行い、当該非接触ＩＣカードに記憶されている様々な情報を読み取ることが可能であるとともに、当該非接触ＩＣカードに様々な情報を送信することも可能である。このような非接触ＩＣカードリーダー部１００としては、従来の技術を適用できるため、詳細な説明は省略する。非接触ＩＣカードリーダー部１００は、携帯端末装置２が備える非接触ＩＣカード部２６との間で近接無線通信を行う。
　基準位置提供装置１０の外表面を構成する筐体は、図１に示すように、ユーザが通信可能化動作を行うために適した外面形状となっている。すなわち、ユーザが携帯端末装置２を用いて通信可能化動作を実行するときにおいては、当該携帯端末装置２（センサ群２４）の位置および姿勢とが明確に規定される外面形状となっている。具体的には、非接触ＩＣカードリーダー部１００の位置において、筐体の外表面が水平面に対して傾斜した平面形状となっており、かつ、当該外表面の色彩が他の部分と異なるように図案化されている。これにより、ユーザは、混乱することなく、かつ、正確に通信可能化動作を実行することができる。
　ユーザが通信可能化動作を実行しているときの携帯端末装置２の位置および姿勢は、先述のように、基準位置提供装置１０の筐体によって規定される。また、基準位置提供装置１０の絶対位置は既知であり、かつ、基準位置提供装置１０が設置型の装置であることから当該絶対位置は容易に変化することはない。したがって、基準位置提供装置１０の非接触ＩＣカードリーダー部１００と、携帯端末装置２の非接触ＩＣカード部２６とが、互いにデータ通信を行っているときにおいて、携帯端末装置２（センサ群２４）の位置および姿勢は既知とみなせる。
　拡張現実提供システム１は、基準位置提供装置１０の非接触ＩＣカードリーダー部１００と、携帯端末装置２の非接触ＩＣカード部２６とが互いにデータ通信を行っているときの携帯端末装置２（センサ群２４）の位置を「基準位置」とし、当該基準位置におけるセンサ群２４の姿勢（向き）を「基準姿勢」とする。
　基準位置および基準姿勢は、いずれも基準位置提供装置１０を設置する際に各基準位置提供装置１０ごとに予め測定し、基準情報１０３として記憶しておくことができる。すなわち、基準情報１０３は、基準位置提供装置１０の個別情報に相当し、非接触ＩＣカードリーダー部１００と非接触ＩＣカード部２６とが互いにデータ通信を行っているときのセンサ群２４の位置および姿勢（向き）を示す情報である。また、好ましい実施の形態における基準位置には、水平面内における位置（例えば、緯度および経度）に関する情報だけでなく、高さ位置（例えば、海抜）に関する情報も含まれている。
　記憶装置１０１は、基準位置提供装置１０において情報を記憶する機能を有する装置の総称である。記憶装置１０１は、基準位置提供装置１０のＣＰＵ（図示せず）によって実行されるプログラム１０２、基準位置提供装置１０の個別情報としての基準情報１０３、および、データベースサーバ１１から取得されるコンテンツ情報１１２を記憶するために使用される。
　基準位置提供装置１０は、ユーザが通信可能化動作を行っているときに、基準情報１０３およびコンテンツ情報１１２を、非接触ＩＣカードリーダー部１００を介して、携帯端末装置２（非接触ＩＣカード部２６）に送信する。
　データベースサーバ１１は、図２に示すように、記憶装置１１０を備えている。なお、図２では、データベースサーバ１１の詳細な構成の図示を省略しているが、データベースサーバ１１は、ＣＰＵや操作部、表示部および通信部などを備えており、一般的なコンピュータとして構成されている。
　データベースサーバ１１の設置場所としては、例えばシステム運営者のセンターやバックヤードなどが想定される。データベースサーバ１１は、ＬＡＮやインターネット、公衆網などのネットワークを介して基準位置提供装置１０と接続されており、必要に応じてコンテンツ情報１１２を基準位置提供装置１０に送信する。なお、計測等により取得される基準位置提供装置１０の基準情報１０３を、データベースサーバ１１に入力し、データベースサーバ１１から基準位置提供装置１０に向けて送信してもよい。すなわち、データベースサーバ１１から基準位置提供装置１０に向けて送信される情報は、コンテンツ情報１１２に限定されるものではない。
　記憶装置１１０は、データベースサーバ１１において情報を記憶する機能を有する装置の総称である。記憶装置１１０は、データベースサーバ１１のＣＰＵ（図示せず）によって実行されるプログラム１１１、および、コンテンツ情報１１２を記憶するために使用される。
　コンテンツ情報１１２は、データベースサーバ１１のオペレータやデザイナ、プログラマ等により作成され、記憶装置１１０に格納される。コンテンツ情報１１２は、拡張現実を提供し、表現するために必要となる情報の総称である。
　コンテンツ情報１１２には、拡張現実を表現するために出力される情報（出力候補情報）と、出力候補情報の中から実際に出力する情報を選択するために参照される情報（検索用情報）とが含まれる。出力候補情報としては、例えば、仮想物体のグラフィック情報や拡張現実を表現するために出力される音声情報などが該当するが、完全に仮想的な情報に限定されるものではなく、現実を抽象化した情報なども含まれる。検索用情報は、各仮想物体を出力するときの条件を示す情報であり、例えば、位置や姿勢、状態、時間、季節、天気、温度、照度、湿度、気圧などである。
　コンテンツ情報１１２は、一般には、提供される拡張現実ごとに異なる情報である。コンテンツ情報１１２は、それぞれの基準位置提供装置１０ごとに、当該基準位置提供装置１０によって提供される拡張現実に応じて、データベースサーバ１１から送信される。また、提供中の拡張現実の内容を変更するときには、データベースサーバ１１においてコンテンツ情報１１２が更新され、基準位置提供装置１０に向けてアップロードされる。
　この好ましい実施の形態では、コンテンツ情報１１２は、基準位置提供装置１０を経由して、携帯端末装置２に送信され記憶される。しかし、データベースサーバ１１と携帯端末装置２との間の通信により、コンテンツ情報１１２が携帯端末装置２に送信され記憶されてもよい。すなわち、ユーザは、拡張現実の提供を受けようとする前に、予め、データベースサーバ１１にアクセスして、コンテンツ情報１１２をダウンロードしておくように構成してもよい。
　携帯端末装置２と基準位置提供装置１０との間の通信は、近接無線通信であり、大容量の情報を転送することに不向きである。また、拡張現実の提供を受ける直前に、比較的長時間にわたって通信可能化動作を強いられると、ユーザのモチベーションが低下するおそれもある。したがって、事前にデータベースサーバ１１からコンテンツ情報１１２を取得するように構成することによって、携帯端末装置２と基準位置提供装置１０との間の通信量を抑制することができ、通信可能化動作を比較的短時間で完了することができる。
　図５は、携帯端末装置２が備える機能ブロックをデータの流れとともに示す図である。図５に示すカード制御部２００、位置状態取得部２０１および拡張現実構成部２０２は、ＣＰＵ２０がプログラム２１０に従って動作することにより実現される機能ブロックである。
　カード制御部２００は、非接触ＩＣカード部２６を制御することにより、基準位置提供装置１０との間の近接無線通信を制御する機能を有している。すなわち、カード制御部２００は、非接触ＩＣカード部２６との間のインタフェースを構成しており、非接触ＩＣカード部２６が受信した基準情報１０３およびコンテンツ情報１１２を記憶装置２１に転送し、記憶させる。
　なお、図５では、記憶装置２１から何らかの情報が読み出されて非接触ＩＣカード部２６から送信されることについては図示していないが、そのような情報が存在していてもよい。すなわち、カード制御部２００は、記憶装置２１に対して、情報の書き込み専用でなくてもよい。記憶装置２１からカード制御部２００によって読み出され、非接触ＩＣカード部２６から送信される情報としては、例えば、認証用のパスワードなどが想定される。
　好ましい実施の形態では、ユーザが通信可能化動作を行ったときに、非接触ＩＣカード部２６と、基準位置提供装置１０の非接触ＩＣカードリーダー部１００との間で近接無線通信が開始される。その時点で、携帯端末装置２（センサ群２４）は、位置が固定（既知）された基準位置提供装置１０の非接触ＩＣカードリーダー部１００に近接した状態である。したがって、通信可能化動作が行われたときの携帯端末装置２の位置は、正確に特定することができる。すなわち、基準情報１０３を受信したとカード制御部２００が認識したときが、携帯端末装置２（センサ群２４）が基準位置（基準情報１０３に示される位置）に存在するときである。
　また、ユーザが通信可能化動作を行ったときの携帯端末装置２の姿勢は、基準位置提供装置１０の筐体の形状により、所定の姿勢に規定される。したがって、基準情報１０３を受信したとカード制御部２００が認識したときの携帯端末装置２（センサ群２４）の姿勢（基準姿勢）は、既知となる。すでに説明したように、基準姿勢を示す情報は、基準情報１０３に含まれている。
　位置状態取得部２０１は、基準情報１０３および収集情報２１２を参照して、所定の演算を実行することにより、姿勢情報２１４および位置情報２１５を取得する。
　姿勢情報２１４とは、携帯端末装置２の姿勢を示す情報である。
　位置情報２１５とは、携帯端末装置２（ユーザ）の位置を示す情報である。好ましい実施の形態においては、位置情報２１５は、水平面内の位置を示す情報のみならず、高度に関する位置を示す情報も含んでいる。
　位置状態取得部２０１は、主に、収集情報２１２のうちの時間情報２１２２、磁気情報２１２３および慣性情報２１２９（加速度情報２１２０および角速度情報２１２１）を用いて、姿勢情報２１４および位置情報２１５を求める。
　すでに説明したように、拡張現実提供システム１は、通信可能化動作が行われたときに、携帯端末装置２が基準位置に基準姿勢で存在しているものとみなす。したがって、位置状態取得部２０１は、通信可能化動作が実行されたときからの相対的な変化（姿勢の変化および位置の変化）を慣性情報２１２９に基づいて演算することによって姿勢情報２１４および位置情報２１５を求める。
　すなわち、位置状態取得部２０１は、加速度センサ２４０およびジャイロセンサ２４１により取得された慣性情報２１２９に基づいて、姿勢情報２１４および位置情報２１５を取得する機能を有している。このようにして、姿勢情報２１４および位置情報２１５を求める手法は、従来の技術を、適宜、採用することができるため、ここでは詳細な説明を省略する。なお、姿勢情報２１４や位置情報２１５は、現在の姿勢や位置の情報に限定されるものではない。過去の情報を、例えば、経路情報等として記録しておいてもよい。
　位置状態取得部２０１は、慣性情報２１２９以外の情報を用いて、姿勢情報２１４および位置情報２１５の精度を高めることも可能とされている。例えば、磁気情報２１２３により、姿勢や移動方向を補正することができる。また、ユーザの移動中の経路（推定された経路）と、地図情報（コンテンツ情報１１２）とを重畳させることにより、姿勢や位置を補正してもよい。また、高さ位置に関しては、気圧情報２１２８を参照し、基準位置からの変化量に応じて特定することができる。さらに、オーナー情報２１１に記録されているユーザ固有の情報（歩幅や歩行速度など）を用いても、姿勢情報２１４および位置情報２１５の精度を高めることが可能である。
　また、位置状態取得部２０１は、基準情報１０３、収集情報２１２、姿勢情報２１４および位置情報２１５を参照しつつ、状態を判定して、状態情報２１６を生成することにより、当該状態情報２１６を取得する。
　ここで、状態情報２１６に示される「状態」とは、ユーザの状態、携帯端末装置２の状態、周辺の環境の状態、あるいは、履歴状態などが想定される。
　ユーザの状態とは、ユーザの行動状態であって、例えば、歩行状態、搭乗状態あるいは静止状態などの区別である。歩行状態においても、歩行速度や迷走状態（進行方向の切り替わり頻度が多い状態）等によって状態を複数に分類してもよい。搭乗状態とは、何らかの装置（エスカレータやエレベータ）や乗り物（車や電車）等に乗っている状態である。
　携帯端末装置２を携帯しているユーザが歩行状態か否かは、主に、加速度センサ２４０およびジャイロセンサ２４１から得られる慣性情報２１２９に基づいて判定することが可能である。人の歩行動作は、左右の足を交互に踏み出す運動であるため、慣性情報２１２９を解析することにより、例えば、上下方向に周期的な動きが検出される。
　ユーザが搭乗状態であるか否かは、歩行状態でないにもかかわらず位置情報２１５における位置（特に水平面内の位置）が移動していることにより検出することができる。また、エスカレータ上で歩行しながら搭乗している場合には、歩行運動の周期等から求められる歩行速度よりも移動速度が速いことなどから検出することができる。あるいは、エスカレータの位置が既知であれば、位置情報２１５と地図情報（コンテンツ情報１１２）とを参照することにより、検出することも可能である。
　なお、ユーザの行動状態は、厳密には携帯端末装置２がどのような運動状態にあるかによって間接的に取得される。言い換えれば、検出されるユーザの行動状態の多くは、携帯端末装置２の（運動）状態から推定される状態である。すなわち、広い意味の携帯端末装置２の状態には、ユーザの状態が含まれる。
　また、ユーザの状態とは、ここに示した例に限定されるものではない。例えば、あまり想定されないが、ユーザが足踏みしている状態など、ユーザの位置は移動しないが、何らかの動作を実行している状態をユーザの状態に含めてもよい。すなわち、ユーザの状態とは、位置状態取得部２０１がユーザの行動を推定することにより取得される情報である。　慣性情報２１２９に基づいて人の様々な行動状態を推定する手法は、従来の技術を適用することが可能であるため、ここではこれ以上詳しい説明を省略する。
　また、携帯端末装置２の状態とは、携帯端末装置２がユーザによってどのように携帯されているかを示す携帯状態である。具体例を挙げるとすれば、手振り状態、手持ち状態（閲覧状態と非閲覧状態とがある。）、装着状態等である。手振り状態とは、ユーザが携帯端末装置２を手に所持しつつ、所持した当該手を前後に振って歩行等をしている状態である。手持ち状態とは、ユーザが携帯端末装置２を手に所持しつつ、当該手を自身の顔に対して概ね固定し、いつでも携帯端末装置２の表示部２３を閲覧可能な状態に維持している状態である。手持ち状態における閲覧状態とは、ユーザが携帯端末装置２の表示部２３を注視して、何らかの情報を閲覧している状態である。手持ち状態における非閲覧状態とは、手持ち状態であるが、表示部２３を注視していない状態である。装着状態とは、ユーザが携帯端末装置２をポケットに挿入したり、腰のホルダー等に固定したりしている状態であって、携帯端末装置２がユーザの体にほぼ固定されている状態である。
　手振り状態は、例えば、ユーザの歩行中の手の動き（手を前後に振る動き）による運動が観測されることにより検出することが可能である。
　手持ち状態は、例えば、表示部２３の画面がユーザの顔（特に、目）の方向に向いており、かつ、携帯端末装置２とユーザの体との相対的な位置関係の変化が手振り状態に比べて少ないことにより検出することができる。
　手持ち状態における閲覧状態と、非閲覧状態との区別は、ユーザの体との相対的な位置関係の変化により判定することができる。人は、自身の手に所持した物に注目している場合には、当該物と自分の目との相対的な位置関係を維持しつづけるように、無意識に手を動かすことが知られている。すなわち、携帯端末装置２の動きにおいて、ユーザの手によるこのような補正動作が観測されたとき、閲覧状態と判定することができる。
　装着状態は、例えば、ユーザの体との相対的な位置関係がほぼ固定されていることにより検出することができる。装着状態にある携帯端末装置２は、手持ち状態に比べても、ユーザの体との相対的な位置関係の変化は少ない。
　なお、携帯端末装置２の状態とは、ここに示した例に限定されるものではない。この他にも、ユーザが携帯端末装置２を、鞄などに収納しつつ携帯している状態（格納状態）なども存在する。拡張現実の提供を受けようとするユーザが携帯端末装置２を格納状態におくことはあまり想定できないが、もちろん、このような状態を想定し、検出するように構成してもよい。
　周辺の環境の状態とは、例えば、季節、天気、湿度、温度、音の状態、昼夜の区別、屋内か野外かの区別などである。位置状態取得部２０１は、収集情報２１２（特に、時間情報２１２２、音声情報２１２４、温度情報２１２５、照度情報２１２６、湿度情報２１２７および気圧情報２１２８）に基づいて周辺の環境の状態を判定し、状態情報２１６に記録する。
　履歴状態とは、ユーザの行動等に関する履歴の状態である。例えば、特定の経路を通過したか否かや、所定のアイテムを所持しているか否か、あるいは、所定の操作を実行したかなどである。履歴状態には、ユーザが意図して実行した事象に限定されるわけではなく、ユーザが意図しない事象についても記録される。
　なお、位置状態取得部２０１が検出する「状態」として、ここに挙げた状態以外の状態をさらに定義してもよい。また、位置状態取得部２０１が、どのような収集情報２１２が得られた場合に、どのような状態であると判定するかについては、利用するアプリケーションによって異なってもよい。
　拡張現実構成部２０２は、オーナー情報２１１、収集情報２１２、撮像画像情報２１３、姿勢情報２１４、位置情報２１５および状態情報２１６に応じて、コンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する機能を有している。
　架空情報２１７は、表示部２３において、液晶ディスプレイの画面に表示される情報を含んでおり、提供される拡張現実において現実を拡張するための情報に相当する。表示部２３は、架空情報２１７を撮像画像情報２１３に重ねて（合成して）あるいは追加して表示することにより、当該画面に拡張現実を表現する。
　また、図５において図示を省略しているが、コンテンツ情報１１２から選択される架空情報２１７は、音声情報を含んでいる。音声情報としての架空情報２１７は、スピーカ２８によって再生され、提供される拡張現実において現実を拡張するための情報に相当する。
　なお、架空情報２１７は、コンテンツ情報１１２から選択されるときに、拡張現実構成部２０２によって加工されてもよい。すなわち、そのような加工手順に関する情報も、コンテンツ情報１１２に含まれていてもよい。
　以上が拡張現実提供システム１の構成および機能の説明である。次に、拡張現実提供システム１を用いて、ユーザに対して、拡張現実を提供する方法について具体的に説明する。
　図６および図７は、拡張現実提供方法を示す流れ図である。なお、図６に示す各工程が開始されるまでに、携帯端末装置２が起動され、所定の初期設定が完了し、記憶装置２１にオーナー情報２１１が記憶されているものとする。また、基準位置提供装置１０の記憶装置１０１に、コンテンツ情報１１２がすでに記憶されているものとする。また、図６および図７では、説明の都合上、１人のユーザに対する各工程を示しているが、拡張現実提供システム１は同時に複数のユーザ（複数の携帯端末装置２）に対して拡張現実を提供することが可能である。
　ユーザは、拡張現実空間９の近傍に到着する（ステップＳ１）と、持参した携帯端末装置２を用いて、当該拡張現実空間９の入り口付近に設置されている基準位置提供装置１０に対して通信可能化動作を行う（ステップＳ２）。
　ユーザが通信可能化動作を行わなければ、携帯端末装置２が基準情報１０３およびコンテンツ情報１１２を取得することはできない。その場合、拡張現実提供システム１は、当該ユーザに対して拡張現実を提供することは困難である。したがって、ユーザに通信可能化動作を確実に実行させる仕組みを設けておくことが好ましい。例えば、通信可能化動作を行ったか否かを判定して、拡張現実空間９に入場するためのゲートが開くように構成するといった手法が考えられる。
　ユーザにより通信可能化動作（ステップＳ２）が実行されることで、携帯端末装置２の非接触ＩＣカード部２６と、基準位置提供装置１０の非接触ＩＣカードリーダー部１００との間で通信リンクが確立され、近接無線通信が開始される。
　ステップＳ２が実行され、近接無線通信が開始されることにより、携帯端末装置２のＣＰＵ２０（カード制御部２００）は、ステップＳ３においてＹｅｓと判定する。すなわち、カード制御部２００は、ステップＳ３においてＹｅｓと判定した時点で、携帯端末装置２（センサ群２４）が基準位置に基準姿勢で存在すると判定する。
　近接無線通信が開始されると、携帯端末装置２は、基準位置提供装置１０から基準情報１０３およびコンテンツ情報１１２を取得する（ステップＳ４）。
　これにより、記憶装置２１に基準情報１０３およびコンテンツ情報１１２が格納される。また、ステップＳ４において取得されたコンテンツ情報１１２に応じて、拡張現実空間９において提供される拡張現実に応じたアプリケーションが起動される。
　次に、撮像部２５が、周囲（拡張現実空間９内）の撮像を開始する（ステップＳ５）。これにより、以後、撮像周期に応じて撮像画像情報２１３が取得される状態となる。なお、好ましい実施の形態ではステップＳ５の処理は、通信可能化動作後の一連の工程として自動的に開始されるが、もちろん、ユーザの指示（操作部２２に対するユーザ操作）により開始するように構成してもよい。
　ステップＳ５の処理と並行して、センサ群２４が測定を開始する（ステップＳ６）。これにより、以後、センサ群２４の測定周期に応じて収集情報２１２が更新される状態となる。なお、時間情報２１２２については、携帯端末装置２が時計機能を提供するために、通常、ステップＳ６に関係なく、時間取得部２４２による計測が行われている。また、ステップＳ６において、ＣＰＵ２０は、必ずしもセンサ群２４に含まれる全ての検出装置を起動させる必要はない。提供される拡張現実の内容に応じて、情報の収集が必要な検出装置のみ、測定を開始するようにしてもよい。
　ステップＳ４ないしＳ６が実行されると、位置状態取得部２０１は、携帯端末装置２の現在位置および現在の姿勢を特定し（ステップＳ１１）、姿勢情報２１４および位置情報２１５を作成する。このとき、位置状態取得部２０１は、基準情報１０３（移動経路の始点に関する情報）、および、収集情報２１２に基づいて、姿勢および位置を特定する。ただし、すでに説明したように、コンテンツ情報１１２やオーナー情報２１１を参照してもよい。
　次に、位置状態取得部２０１は、現在の状態を判定し、状態情報２１６を作成する（ステップＳ１２）。位置状態取得部２０１は、予め想定されている複数の状態の中から、現在の状態を特定（推定）し、状態情報２１６とする。なお、状態情報２１６に格納される「状態」の種別（識別子）は、１つに限られるものではない。例えば、ユーザの状態として「歩行状態」が格納されるとともに、携帯端末装置２の状態として「手振り状態」が格納されるといったことも想定される。
　ステップＳ１２が実行されて、状態情報２１６が作成（更新）されると、拡張現実構成部２０２は、表示部２３による表示を禁止すべき状態か否かを判定する（ステップＳ１３）。
　好ましい実施の形態では、状態情報２１６において、携帯端末装置２の状態が「手持ち状態（閲覧状態のみならず非閲覧状態を含む。）」でないときに、拡張現実構成部２０２はステップＳ１３においてＹｅｓと判定する。非閲覧状態は、ユーザが表示部２３の画面を閲覧していないと推定される状態である。しかし、この状態は、ユーザにとって表示部２３を閲覧するための準備状態といえる。したがって、非閲覧状態において表示部２３による表示を禁止すると、ユーザが表示部２３に目を移したときには表示部２３が消えていることになる。この場合、閲覧したいと所望するユーザに、何らかの操作を強いることとなり、ユーザの負担が増大する。したがって、拡張現実提供システム１では、非閲覧状態であっても、手持ち状態であれば、表示部２３による表示を禁止すべき状態ではないと判定する。ただし、非閲覧状態を、表示部２３による表示を禁止すべき状態とみなしてもよい。
　ステップＳ１３においてＹｅｓと判定されたとき、ＣＰＵ２０は、画面を消すように表示部２３を制御する。これに応じて、表示部２３は、画面の表示を消す（ステップＳ１４）。したがって、無駄な表示を抑制することができ、省電力および演算速度（位置演算および姿勢演算の速度）の向上が達成される。
　このように、拡張現実構成部２０２は、位置状態取得部２０１により取得された状態情報２１６において、携帯端末装置２を携帯するユーザの表示部２３に対する閲覧状態に応じて、架空情報２１７としての画像情報の選択を禁止する。したがって、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。
　ステップＳ１４の処理と並行して、ＣＰＵ２０は、撮像部２５による撮像を停止させる（ステップＳ１５）。ステップＳ１４が実行されると、拡張現実が表示部２３に表現されることはなくなるので、撮像画像情報２１３の取得も不要になるからである。これにより、無駄な撮像を抑制することができ、省電力および演算速度の向上が達成される。
　次に、拡張現実構成部２０２は、画像情報（表示部２３に表示すべき情報）を除いたコンテンツ情報１１２から架空情報２１７を選択する（ステップＳ１６）。これにより、拡張現実提供システム１において、架空情報２１７としての画像情報の選択が禁止される。
　このように、拡張現実構成部２０２は、位置状態取得部２０１により取得された状態情報２１６において、携帯端末装置２を携帯するユーザの表示部２３に対する閲覧状態に応じて、架空情報２１７としての画像情報の選択を禁止する。したがって、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。
　なお、好ましい実施の形態においては、ステップＳ１６において選択される架空情報２１７は、音声情報に限定されることとなる。
　一方、表示部２３における表示を禁止する状態でない場合（ステップＳ１３においてＮｏ。）、拡張現実構成部２０２は、画像情報を含む全てのコンテンツ情報１１２から架空情報２１７を選択する（ステップＳ１７）。なお、ステップＳ１３においてＮｏと判定されたときにおいて、すでにステップＳ１４，Ｓ１５が実行されていた場合には、ステップＳ１７を実行する前に、ＣＰＵ２０は、表示部２３の画面を付ける（表示を再開させる）処理と、撮像部２５による撮像を再開させる処理とを実行する。
　架空情報２１７の選択は、様々な条件に基づいて行うことが可能である。まず、従来の技術と同様に位置情報２１５により選択することができる。ただし、拡張現実提供システム１における拡張現実構成部２０２は、位置情報２１５のみによって架空情報２１７を選択するのではなく、他の情報を重畳的に用いて、架空情報２１７を選択する。
　例えば、拡張現実構成部２０２は、位置情報２１５によって架空情報２１７となる候補の情報を複数抽出してから、さらに他の情報を参照することにより、これら複数の候補の情報の中から１つに絞って、これを架空情報２１７とする。すなわち、コンテンツ情報１１２には、同じ位置において架空情報２１７として選択されうる情報（候補の情報）が複数用意されており、他の条件によりこれら複数の情報の中から適切なものが絞り込まれて架空情報２１７として選択されるのである。
　ただし、コンテンツ情報１１２には、位置情報２１５のみで選択される架空情報２１７が含まれていてもよい。また、架空情報２１７を選択するときの詳細については、具体例を用いて後述する。
　次に、拡張現実構成部２０２は、姿勢情報２１４および位置情報２１５に応じて、拡張現実空間９における絶対位置と姿勢とを決定し、当該拡張現実における視点および視線方向を決定する。
　視点および視線方向が決まれば、拡張現実空間９における視野を決定することができる。そして、拡張現実空間９における視野が決まれば、当該視野に対応して仮想的に表示させるべき事物の大きさや形状などが決まる。このようにして拡張現実構成部２０２は、架空情報２１７を表示部２３に表示させることができる。
　拡張現実構成部２０２が決定する「視点および視線方向」が、撮像部２５による「撮像点（撮像範囲の中心点）および撮像方向」と一致するほど、架空情報２１７と撮像画像情報２１３とを合成表示したときのユーザの違和感が抑制される。したがって、位置状態取得部２０１は、この点（携帯端末装置２における撮像部２５の位置や向き）を考慮して、位置情報２１５を作成することが好ましい。
　また、拡張現実構成部２０２は、スピーカ２８に再生させる音声情報としての架空情報２１７について、ボリューム（ユーザに感じられる音源までの距離に応じた出力。）や、左右の強弱（ユーザに感じられる音源方向に応じた出力。）を決定して出力させる。
　このように、拡張現実構成部２０２の制御により、表示部２３およびスピーカ２８に架空情報２１７が出力されて、拡張現実が表現される（ステップＳ１８）。ただし、ステップＳ１６が実行されているときには、架空情報２１７が表示部２３に表示されることはないので、ステップＳ１８において拡張現実における視点および視線方向を決定する処理は不要である。
　以後、拡張現実の提供を終了させるか否かを判定しつつ（ステップＳ１９）、終了させる指示があるまでステップＳ１１ないしＳ１９の処理を繰り返す。
　なお、拡張現実の提供を終了させる指示は、ユーザが操作部２２を操作することにより入力する。ただし、拡張現実の提供を終了させる指示を取得する手法は、このような手法に限定されるものではない。例えば、ユーザが拡張現実空間９から退出したことを位置情報２１５に基づいてＣＰＵ２０により検出し、これをＣＰＵ２０が終了指示と解釈することにより、終了指示を自動的に取得するように構成してもよい。このように構成することにより、拡張現実提供システム１は、ユーザに特に意識させることなく、拡張現実の提供を終了することができる。
　次に、具体例を用いて、位置状態取得部２０１による状態推定（状態情報２１６の取得）、および、拡張現実構成部２０２による架空情報２１７の選択について説明する。
　図８は、拡張現実空間９において拡張現実としてのお化け屋敷を提供するアプリケーションにおける表示例である。図８において、撮像画像情報２１３ａは、撮像部２５により撮像された現実部分を表現した画像である。また、図８において、樹木画像２１７ａおよび怪物画像２１７ｂは、拡張現実構成部２０２によってコンテンツ情報１１２から選択された架空情報２１７である。
　図８は、携帯端末装置２が「手持ち状態」であり、かつ、ユーザが前方に向いていると判定したときの表示例を示す図である。ユーザが前方に向いているか否かは、例えば、閲覧されている携帯端末装置２（表示部２３の画面）の水平面に対する傾きにより判定することができる。
　図８に示す例では、現実部分を表現した撮像画像情報２１３ａに、仮想的な情景物体を表現した樹木画像２１７ａと、ユーザを驚かすための仮想的な事物を表現した怪物画像２１７ｂとが合成されて表示されている。
　図９は、図８における位置において、ユーザが下を向いているときの表示例を示す図である。ユーザが下を向いていることにより、図８に示した場合と比べて撮像領域が変化し、撮像画像情報２１３として撮像画像情報２１３ｂが表示されている。また、ユーザの視野（表示対象領域：撮像画像情報２１３ｂ）が図８に示す場合と変化したことにより、樹木画像２１７ａおよび怪物画像２１７ｂの一部が画面から切れてしまっている。
　ここに示すアプリケーションの例において、情景物体としての樹木画像２１７ａについては、このように表現されることにあまり問題はない。逆に、図９に示す場合において、樹木画像２１７ａの全体が視認できるように、樹木画像２１７ａの表示位置を変更すると、ユーザには樹木画像２１７ａが移動したように感じられて拡張現実空間９における現実味が低下する。
　一方で、怪物画像２１７ｂについても、図９に示すように表示された方が現実味は向上する。しかしながら、ユーザを驚かせるという目的からすれば、怪物画像２１７ｂの一部しか表示されない状態は好ましいとは言えない。かといって、例えば、怪物画像２１７ｂをその全体が表示領域に含まれるように画面内における表示位置を変更すると、ユーザにとっては「怪物」が地面に寝そべっている（張り付いている）かのように感じられ、現実味が低下する。
　図１０は、図８における位置において、ユーザが下を向いているときの拡張現実提供システム１における表示例を示す図である。
　拡張現実提供システム１（拡張現実構成部２０２）は、ユーザが下を向いている状態であると判定した場合には、怪物画像２１７ｂではなく、虫画像２１７ｃを架空情報２１７として選択する。このように、ユーザが下を向いている状態のときには、地面を這う「虫」を表現した虫画像２１７ｃを選択することにより、表示部２３に表示する。さらに、拡張現実構成部２０２は、状態情報２１６における周辺の環境の状態に基づいて、季節が「冬」であれば、虫画像２１７ｃを選択せずに、他の画像（冬に適した事物）を選択するように構成してもよい。
　これにより、拡張現実提供システム１は、現実味を低下させることなく、状態に応じて、効果的にユーザを驚かせることができる。なお、図１０に示す例において、虫が這いずり回る音を架空情報２１７として選択し、スピーカ２８によって再生してもよい。
　図１１は、図８における位置において、ユーザが上を向いているときの拡張現実提供システム１における表示例を示す図である。ユーザが上を向いていることにより、図８に示した場合と比べて撮像領域が変化し、現実部分を表現するものとして、撮像画像情報２１３としての撮像画像情報２１３ｃが表示されている。
　拡張現実提供システム１（拡張現実構成部２０２）は、ユーザが上を向いている状態であると判定した場合には、怪物画像２１７ｂや虫画像２１７ｃではなく、コウモリ群画像２１７ｄを架空情報２１７として選択する。このように、拡張現実構成部２０２は、ユーザが上を向いている状態のときには、空を飛ぶ「コウモリ」を表現したコウモリ群画像２１７ｄを架空情報２１７として選択する。したがって、コウモリ群画像２１７ｄと撮像画像情報２１３ｃとが合成されて表示部２３に表示される。
　これにより、拡張現実提供システム１は、現実味を低下させることなく、効果的にユーザを驚かせることができる。なお、図１１に示す例において、「コウモリが羽ばたくときの音」を架空情報２１７として選択し、スピーカ２８によって再生してもよい。
　図１２および図１３は、お化け屋敷のアプリケーションにおける表示更新例を示す図である。図１２および図１３において、現実部分を表現する撮像画像情報２１３は、図８と同様の撮像画像情報２１３ａである。
　図１２に示すノイズ画像２１７ｅは、拡張現実構成部２０２により選択された架空情報２１７である。拡張現実構成部２０２は、状態情報２１６を参照し、ユーザが歩行状態であり、かつ、表示部２３を閲覧している状態である場合に、ノイズ画像２１７ｅを表示させ、一旦、画面を見づらくすることによってユーザの注意を喚起する。
　このような場合、ユーザは、画面を注視するために歩行を止めて静止状態になるか、あるいは、画面を鮮明にするために携帯端末装置２の操作部２２を操作したりすると予想される。このようなユーザ状態を検出すると、拡張現実構成部２０２は、ユーザが表示部２３に注視している状態であるとみなして、ノイズ画像２１７ｅの代わりに、怪物画像２１７ｂを選択し、画面を更新して表示させる（図１３）。
　このように、拡張現実提供システム１では、ユーザの注意を引いた後に（ユーザが注視状態であるとみなせるときに）、効果的な架空情報２１７を表示させることも可能である。すなわち、単に、位置情報２１５に基づいて決まった画像を表示するのではなく、表示するタイミングについても様々な表現が可能となる。
　図１４および図１５は、拡張現実空間９において拡張現実として「宝探しゲーム」を提供するアプリケーションをユーザが体験している様子を概念的に示す図である。図１４および図１５に示されている「宝箱」は、現実にその場所に置かれているものではなく、仮想的な事物としてアプリケーション（コンテンツ情報１１２）内で定義されているものである。また、図１４および図１５において、迷路を形成している壁は、現実物体としての壁である。さらに、図１４は、ユーザと「宝箱」（厳密には「宝箱」が定義されている位置）との距離が比較的遠い状態を示している。また、図１５は、ユーザと「宝箱」との距離が比較的近い状態を示している。
　拡張現実提供システム１は、図１４に示すように、ユーザと「宝箱」とが離れている状態のときには、「宝箱」を表現したコンテンツ情報１１２を架空情報２１７として選択することはなく、例え、ユーザが表示部２３を閲覧していたとしても表示されるのは撮像画像情報２１３のみである。一方で、図１５に示すように、ユーザと「宝箱」とが近いとき、拡張現実提供システム１は、ユーザの行動状態に応じて、架空情報２１７を選択して、拡張現実を提供する。
　例えば、図１５に示すように、ユーザと宝箱とが近いときにおいて、ユーザが携帯端末装置２（表示部２３の画面）を閲覧していない状態（例えば、手振り状態）であれば、拡張現実構成部２０２は、架空情報２１７として、音声情報を選択し、スピーカ２８から再生する。これにより、ユーザに「宝箱」の接近を報知することができ、ユーザは携帯端末装置２の表示部２３の画面を閲覧すると想定される。なお、すでに説明したように、ユーザが携帯端末装置２を閲覧していない状態のとき、拡張現実提供システム１は表示部２３への表示を禁止する（図７：ステップＳ１４参照）。
　図１６および図１７は、ユーザと「宝箱」とが近く、かつ、ユーザが画面を閲覧しているときの表示例を示す図である。すなわち、図１６および図１７は、ユーザが図１５に示す位置に存在しているときに表示する画面の例である。
　図１６は、携帯端末装置２が下を向いている状態のときの表示例である。位置状態取得部２０１は、携帯端末装置２の姿勢情報２１４を解析することにより、携帯端末装置２が下を向いている状態を検出することが可能である。その場合、位置状態取得部２０１は、状態情報２１６に「下向き状態」を記録する。拡張現実構成部２０２は、当該状態情報２１６を参照することにより、携帯端末装置２が前方に向けられているのではないと判定して、例えば、レーダー画像２１７ｆおよび宝箱画像２１７ｇを架空情報２１７として選択する。これにより、図１６に示すように、撮像された床画像２１３ｄ（現実部分を表現した画像）に、レーダー画像２１７ｆおよび宝箱画像２１７ｈが合成されて表示され、拡張現実が表現される。
　図１７は、携帯端末装置２が前方を向いている状態（部屋の内部に向けられている状態）のときの表示例である。図１７では、部屋の内部の様子が撮像された撮像画像情報２１３ｅが現実部分を表現する画像として表示されている。さらに、宝箱画像２１７ｈが架空情報２１７として選択され、撮像画像情報２１３ｅに合成され表示されている。これにより、部屋の内部に「宝箱」が置かれた画像が表示部２３の画面に表示され、拡張現実が表現されている。
　このように、拡張現実提供システム１では、ユーザの存在する位置が同一であっても、ユーザが画面を閲覧していない状態、閲覧しているが下を向いている状態、あるいは、閲覧しながら前方を観察している状態に応じて、提供する拡張現実を変更することができる。したがって、従来の技術に比べて、拡張現実において、現実味のある、バラエティー豊かな表現が可能となる。
　図１８および図１９は、宝探しゲームをユーザが体験している様子を概念的に示す図である。図１８および図１９に示す例においても、図１４および図１５に示した例と同様に「宝箱」が仮想的な事物として定義されている。
　しかし、ここに示す例では、「宝箱」に加えて、「壁」と「ハンドル」とが定義されている。「壁」は、「宝箱」が定義されている部屋の入り口付近に定義されている。また、「壁」を表現するコンテンツ情報１１２は、状態情報２１６における履歴状態が「ハンドル未操作（初期値）」のときにのみ拡張現実構成部２０２によって架空情報２１７として選択される。一方で、状態情報２１６における履歴状態が「ハンドル未操作（初期値）」のとき、拡張現実構成部２０２は、架空情報２１７として宝箱画像２１７ｈを選択しない。さらに、「ハンドル」は、「宝箱」から少し離れた場所に定義されている。
　ユーザが図１８に示す位置（図１５に示す位置と同じ位置）に到着したとしても、状態情報２１６が「ハンドル未操作」のままであれば、「壁」の画像が架空情報２１７として選択され、入り口を塞ぐように表示される。すなわち、図１７に示すような画像は表示されず、ユーザは「宝箱」を発見することはできない。
　図１９は、ユーザが「ハンドル」が定義されている位置に移動した状態を概念的に示している。図２０は、図１９に示す位置にユーザが存在しているときに画面に表示される画像を示す図である。すなわち、ユーザが図１９に示す位置に到着すると、現実に存在する壁を撮像した撮像画像情報２１３ｆに、架空情報２１７としてのハンドル画像２１７ｉおよびメッセージ画像２１７ｊが合成され、表示される。
　図２０に示す表示を見たユーザは、メッセージ画像２１７ｊの指示に従って、携帯端末装置２を回転させる。位置状態取得部２０１は、姿勢情報２１４および位置情報２１５を解析することにより、ユーザが所定の操作（携帯端末装置２を回転させる操作）を所定の位置（図１９に示す位置）において実行したことを検出し、状態情報２１６の履歴状態を「ハンドル操作済み」と書き換える。
　図２１は、状態情報２１６が「ハンドル操作済み」と書き換えられた状態で、ユーザが図１９に示す位置に移動した状態を概念的に示す図である。状態情報２１６に「ハンドル操作済み」と記録された状態でユーザが図２１に示す位置（図１８に示す位置と同じ。）に移動すると、拡張現実構成部２０２は、架空情報２１７として「壁」の画像を選択せずに、宝箱画像２１７ｈを選択する。これにより、図１７と同様の表示がされることになり、ユーザは「宝箱」を発見することができる。
　このように、拡張現実提供システム１は、履歴状態に応じて、架空情報２１７を選択することにより、さらに、柔軟な表現が可能となる。なお、架空情報２１７として表示される「壁」は実在しないため、ユーザは当該「壁」を無視して、仮想的な事物としての「ハンドル」を操作することなく、現実の部屋に入ることは可能である。このような場合には、宝箱画像２１７ｈの代わりに他の画像（例えば、ガラクタの画像）を選択したり、あるいは、何も表示しないことが好ましい。拡張現実構成部２０２は、不正に侵入したユーザについては、状態情報２１６を参照することにより、「ハンドル未操作」状態であることを検出することができる。したがって、そのような場合に、宝箱画像２１７ｈを表示しないように構成することもできる。
　拡張現実提供システム１が提供する拡張現実としては、ショッピングモールや地下街において、道案内（店舗案内）を行うアプリケーションも考えられる。
　このようなアプリケーションでは、ユーザの高さ位置（どの階に存在しているか。）も重要な位置情報２１５となる。拡張現実提供システム１では、基準位置提供装置１０が設置されている高さ位置（基準情報１０３）に基づいて、気圧センサ２４８を補正することができる。したがって、補正後に取得される気圧情報２１２８に基づいて、ユーザの居る階を検出し、状態情報２１６に格納することもできる。これにより、ユーザの居る階に応じた売り場案内を画像として表示することもできる。
　また、コンテンツ情報１１２内の地図情報と、位置情報２１５とを照合することにより、エスカレータに搭乗状態のユーザを検出することもできる。したがって、例えば、２階から３階に移動しているユーザに対しては、予め３階の売り場案内を表示させることもできる。エスカレータに搭乗状態となっているユーザは、商品を見ている可能性は低く、表示部２３の画面を注視している可能性が高い。したがって、このようなユーザ状態を検出して架空情報２１７を表示することにより、効果的なタイミングを逃さず、より有効な拡張現実を提供することができる。
　また、時間情報２１２２と状態情報２１６を用いれば、昼食時に未だレストランに入場していないユーザを履歴状態から検出して、当該ユーザをレストランに導くように案内することもできる。また、季節（時間情報２１２２）や天気（周辺の環境の状態）、好み（オーナー情報２１１）等により、おすすめのレストランを表現した架空情報２１７を選択して表示させてもよい。
　以上のように、拡張現実提供システム１は、コンテンツ情報１１２を記憶する記憶装置２１と、ユーザにより携帯される携帯端末装置２の現在位置を示す位置情報２１５を取得するとともに、携帯端末装置２の状態を示す状態情報２１６を取得する位置状態取得部２０１と、位置情報２１５および状態情報２１６に応じて、記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する拡張現実構成部２０２と、選択された架空情報２１７を出力することにより、拡張現実を表現する表示部２３およびスピーカ２８とを備える。これにより、豊富なコンテンツ情報１１２から適切な架空情報２１７を選択することができる。したがって、よりリアルに拡張現実を表現することができるとともに、提供可能な拡張現実の幅が広がる。
　また、拡張現実提供システム１は、携帯端末装置２の周辺の環境情報（磁気情報２１２３、音声情報２１２４、温度情報２１２５、照度情報２１２６、湿度情報２１２７および気圧情報２１２８）を取得し、拡張現実構成部２０２は、当該環境情報に応じて、前記記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する。これにより、さらに適切な架空情報２１７を選択することができる。したがって、よりリアルに拡張現実を表現することができる。
　また、拡張現実提供システム１は、時間情報２１２２を取得する時間取得部２４２をさらに備え、拡張現実構成部２０２は、時間取得部２４２により取得された時間情報２１２２に応じて、記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する。これによっても、さらに適切な架空情報２１７を選択することができる。したがって、よりリアルに拡張現実を表現することができる。
　位置状態取得部２０１は、取得された位置情報２１５に基づいて、状態情報２１６を取得する。これにより、例えば、位置が変化していることにより、移動状態を検出できる。また、エスカレータの位置に存在していれば、エスカレータに搭乗状態であることも検出できる。したがって、検出可能な状態のバリエーションが増えるため、さらにバラエティー豊かな拡張現実を提供することができる。
　また、携帯端末装置２の運動に関する慣性情報２１２９を取得する加速度センサ２４０およびジャイロセンサ２４１をさらに備え、位置状態取得部２０１は、取得された慣性情報２１２９に基づいて、状態情報２１６を取得する。これによっても、検出可能な状態のバリエーションが増えるため、さらにバラエティー豊かな拡張現実を提供することができる。
　また、位置状態取得部２０１は、取得された慣性情報２１２９に基づいて、位置情報２１５を特定する。自蔵センサを位置取得に流用することができ、位置精度が向上する。
　さらに、拡張現実構成部２０２は、位置状態取得部２０１により取得された状態情報２１６において、携帯端末装置２を携帯するユーザの表示部２３に対する閲覧状態に応じて、架空情報２１７としての画像情報の選択を禁止する。これにより、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。
　以上、好ましい実施の形態について説明してきたが、本発明は上記の好ましい実施の形態に限定されるものではなく様々な変形が可能である。
　例えば、上記好ましい実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。例えば、撮像部２５が撮像を開始する工程（ステップＳ５）と、センサ群２４が測定を開始する工程（ステップＳ６）とを入れ替えてもよい。
　また、上記好ましい実施の形態に示した機能ブロック（カード制御部２００や位置状態取得部２０１、拡張現実構成部２０２など）は、ＣＰＵ２０がプログラム２１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
　また、上記好ましい実施の形態におけるユーザの状態とは、位置状態取得部２０１がユーザの行動を推定することにより取得される情報であると説明した。しかし、例えば、センサ群２４に生体センサ（体温センサや脈拍センサ、発汗センサ、呼吸数計測センサなど）を含め、生体センサから得られる情報に応じてユーザの状態を判定してもよい。生体センサから得られる情報によるユーザの状態とは、行動状態に限定されるものではなく、例えば、大きく驚いている状態や、平静状態、あるいは、疲労状態等も考えられる。
　また、位置を特定する構成としては、加速度センサ２４０およびジャイロセンサ２４１を用いた慣性航行による位置推定に限定されるものではない。例えば、慣性航行による位置推定の代わりに、ＧＰＳ（Global Positioning System）による測位を採用する構成（ＧＰＳ受信装置）としてもよい。また、ＧＰＳ測位と、慣性航行による位置推定とを併用してもよい。ただし、ユーザや携帯端末装置２の様々な状態を検出するためには、加速度センサ２４０およびジャイロセンサ２４１によって慣性情報２１２９を取得することが好ましい。したがって、本発明は、慣性航行による位置推定を行う構成との親和性が高いと言える。
　また、架空情報２１７は、表示部２３に表示される画像情報やスピーカ２８から再生される音声情報に限定されるものではない。例えば、携帯端末装置２をバイブレータ（図示せず）により振動させるといった表現も可能である。
　また、携帯端末装置２は、ＨＭＤ（Head Mounted Display）型の装置として構成することも可能である。ＨＭＤ型の装置は、ユーザが頭部に装着することにより、当該ユーザに付随して移動する装置である。この場合、現実部分を表現した画像（撮像画像情報２１３）を表示する必要はなく、架空情報２１７の表示のみで拡張現実を提供することができる。
　また、指標となる物体は、基準位置提供装置１０のような装置に限定されるものではなく、基準位置や基準姿勢に関する情報を表現したバーコードでもよい。例えば、基準位置において特定の姿勢で読み取るバーコードを拡張現実空間９の近傍に設け、これを撮像部２５で撮像し読み取るように構成してもよい。
　また、上記実施の形態では、センサ群２４と出力部（表示部２３およびスピーカ２８）とが同一の装置に設けられている例について説明した。しかし、これらは別の装置に存在してもよい。例えば、ペット（対象物）にセンサ群２４を取り付けて、拡張現実空間９内に放し、当該ペットの動きに応じて、ユーザが携帯する装置に設けられた出力部に仮想物体を表示することにより拡張現実を提供してもよい。あるいは、センサ群２４を内蔵したボール（対象物）を拡張現実空間９内でユーザが投げ、投げられた瞬間の位置および加速度に応じて、当該ボールの軌道を計算し、当該ボールに対応した仮想物体（例えば、槍や魔法による火の玉など）の軌道や標的となった敵の様子をユーザの手元の装置（出力部）に表示するといったアプリケーションも想定される。
　また、架空情報２１７としては、所定のエフェクト（処理効果）を定義した情報でもよい。例えば、現実を表現する撮像画像情報２１３の一部または全部に、選択されたエフェクトを施して、仮想事物として表示してもよい。このようなエフェクトとしては、現実の物体が徐々に歪んでいく演出（変形）や、色彩が失われていく演出（変色）などが考えられる。すなわち、本来であれば現実部分を表現する撮像画像情報２１３を仮想的に変化させて、拡張現実を表現してもよい。

Claims (10)

  1. 　ユーザに対して拡張現実を提供する拡張現実提供システムであって、
    　コンテンツ情報を記憶する記憶装置と、
    　ユーザにより携帯される端末装置の現在位置を示す位置情報を取得する位置取得部と、
    　前記端末装置の状態を示す状態情報を取得する状態取得部と、
    　前記位置情報および前記状態情報に応じて、前記コンテンツ情報から拡張現実を構成する架空情報を選択する情報選択部と、
    　選択された前記架空情報を出力することにより、前記拡張現実を表現する出力部と、
    を備える拡張現実提供システム。
  2. 　請求項１に記載の拡張現実提供システムであって、
    　前記端末装置の周辺の環境情報を取得する環境取得部をさらに備え、
    　前記情報選択部は、前記環境取得部により検出された前記環境情報に応じて、前記記憶部に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する拡張現実提供システム。
  3. 　請求項１に記載の拡張現実提供システムであって、
    　時間情報を取得する時間取得部をさらに備え、
    　前記情報選択部は、前記時間取得部により取得された前記時間情報に応じて、前記記憶部に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する拡張現実提供システム。
  4. 　請求項１に記載の拡張堅実システムであって、
    　前記状態取得部は、前記位置取得部により取得された位置情報に基づいて、前記状態情報を取得する拡張現実提供システム。
  5. 　請求項１に記載の拡張現実提供システムであって、
    　前記端末装置の運動に関する慣性情報を取得する運動検出部をさらに備える拡張現実提供システム。
  6. 　請求項５に記載の拡張現実提供システムであって、
    　前記状態取得部は、前記運動検出部により取得された慣性情報に基づいて、前記状態情報を取得する拡張現実提供システム。
  7. 　請求項５に記載の拡張現実提供システムであって、
    　前記位置取得部は、前記運動検出部により取得された慣性情報に基づいて、前記位置情報を特定する拡張現実提供システム。
  8. 　請求項１に記載の拡張現実提供システムであって、
    　前記出力部は、画像情報を表示するディスプレイを備え、
    　前記情報選択部は、前記状態取得部により取得された前記状態情報において、前記端末装置を携帯するユーザの前記ディスプレイに対する閲覧状態に応じて、前記架空情報としての画像情報の選択を禁止する拡張現実提供システム。
  9. 　ユーザにより携帯されるコンピュータによる読み取り可能なプログラムを記録した記録媒体であって、前記プログラムを前記コンピュータに実行させることにより、前記コンピュータに、
    　コンテンツ情報を記憶する記憶工程と、
    　前記コンピュータの現在位置を示す位置情報を特定する位置取得工程と、
    　前記コンピュータの状態を示す状態情報を取得する状態取得工程と、
    　特定された前記位置情報および取得された前記状態情報に応じて、記憶された前記コンテンツ情報から拡張現実を構成する架空情報を選択する情報選択工程と、
    　選択された前記架空情報を出力することにより、前記拡張現実を表現する出力工程と、
    を実行させる記録媒体。
  10. 　ユーザに対して拡張現実を提供するための拡張現実提供方法であって、
    　コンテンツ情報を記憶部に記憶する工程と、
    　ユーザにより携帯される端末装置の現在位置を示す位置情報を特定する工程と、
    　前記端末装置の状態を示す状態情報を取得する工程と、
    　特定された前記位置情報および取得された前記状態情報に応じて、前記記憶部に記憶された前記コンテンツ情報から前記拡張現実を構成する架空情報を選択する工程と、
    　選択された前記架空情報を出力することにより、前記拡張現実を表現する工程と、
    を有する拡張現実提供方法。
PCT/JP2015/052916 2014-02-10 2015-02-03 拡張現実提供システム、記録媒体および拡張現実提供方法 WO2015119092A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014022949A JP2015149032A (ja) 2014-02-10 2014-02-10 拡張現実提供システム、プログラムおよび拡張現実提供方法
JP2014-022949 2014-02-10

Publications (1)

Publication Number Publication Date
WO2015119092A1 true WO2015119092A1 (ja) 2015-08-13

Family

ID=53777897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/052916 WO2015119092A1 (ja) 2014-02-10 2015-02-03 拡張現実提供システム、記録媒体および拡張現実提供方法

Country Status (2)

Country Link
JP (1) JP2015149032A (ja)
WO (1) WO2015119092A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179501A1 (ja) * 2017-03-30 2018-10-04 株式会社村田製作所 ゲーム用のプログラムおよび携帯端末
CN109804412A (zh) * 2016-10-14 2019-05-24 尤尼克费伊德股份公司 用于生成增强图像的系统
CN113918014A (zh) * 2021-09-28 2022-01-11 深圳市慧鲤科技有限公司 虚拟物体控制方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6213752B1 (ja) * 2016-09-26 2017-10-18 株式会社Pfu 誘導システム、誘導方法、及びプログラム
JP6717994B2 (ja) * 2019-02-28 2020-07-08 合同会社ユー・エス・ジェイ 仮想現実装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005066133A (ja) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
WO2012070595A1 (ja) * 2010-11-23 2012-05-31 日本電気株式会社 位置情報提供装置、位置情報提供システム、位置情報提供方法、プログラム及び記録媒体
JP2013059573A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体およびゲーム装置
WO2013128510A1 (ja) * 2012-03-02 2013-09-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 起動用ｕｉを提示可能な機器、その提示方法および提示プログラムを格納した非一時的なコンピュータ可読媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005066133A (ja) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
WO2012070595A1 (ja) * 2010-11-23 2012-05-31 日本電気株式会社 位置情報提供装置、位置情報提供システム、位置情報提供方法、プログラム及び記録媒体
JP2013059573A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体およびゲーム装置
WO2013128510A1 (ja) * 2012-03-02 2013-09-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 起動用ｕｉを提示可能な機器、その提示方法および提示プログラムを格納した非一時的なコンピュータ可読媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109804412A (zh) * 2016-10-14 2019-05-24 尤尼克费伊德股份公司 用于生成增强图像的系统
CN109804412B (zh) * 2016-10-14 2023-03-10 尤尼克费伊德股份公司 用于生成增强图像的系统
WO2018179501A1 (ja) * 2017-03-30 2018-10-04 株式会社村田製作所 ゲーム用のプログラムおよび携帯端末
CN113918014A (zh) * 2021-09-28 2022-01-11 深圳市慧鲤科技有限公司 虚拟物体控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2015149032A (ja) 2015-08-20

Similar Documents

Publication Publication Date Title
WO2014136700A1 (ja) 拡張現実提供システム、記録媒体および拡張現実提供方法
US10169923B2 (en) Wearable display system that displays a workout guide
WO2015119092A1 (ja) 拡張現実提供システム、記録媒体および拡張現実提供方法
US20200376398A1 (en) Interactive plush character system
CN105278670B (zh) 眼佩戴型终端及控制眼佩戴型终端的方法
CN109844454A (zh) 用于在全球定位系统（gps）拒止环境中进行导航的方法、系统和软件
CN105381588A (zh) 使用移动装置来监控健身
KR101790592B1 (ko) 관광드론을 이용한 증강현실 관광 시스템 및 방법
CN105306084A (zh) 眼镜型终端及其控制方法
CN102388406A (zh) 使用便携式电子设备记录产生三维模型
US11289084B2 (en) Sensor based semantic object generation
JP2009192448A (ja) 情報表示装置及び情報提供システム
WO2016002284A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102578119B1 (ko) 모바일 디바이스와 연동하는 스마트 안경 작동 방법
JP2003134510A (ja) 画像情報配信システム
JP2010039256A (ja) 表示システム、表示方法，及び移動体
JP6475776B2 (ja) 拡張現実システムおよび拡張現実提供方法
JP2015019936A (ja) ネットワークシステム、端末、サーバー、プログラム、並びにトレーニング支援方法
JP2019075126A (ja) 情報処理装置及びプログラム
WO2018008096A1 (ja) 情報表示装置およびプログラム
US20150358782A1 (en) Catch the screen
EP2917847B1 (en) Method and digital device for displaying a path in a map with a thickness corresponding to a distance within a section
CN111344776B (zh) 信息处理装置、信息处理方法和程序
JP6754893B2 (ja) 画像生成装置及び画像生成方法
WO2024090065A1 (ja) 情報処理装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15746027

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15746027

Country of ref document: EP

Kind code of ref document: A1