WO2015194269A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2015194269A1
WO2015194269A1 PCT/JP2015/063034 JP2015063034W WO2015194269A1 WO 2015194269 A1 WO2015194269 A1 WO 2015194269A1 JP 2015063034 W JP2015063034 W JP 2015063034W WO 2015194269 A1 WO2015194269 A1 WO 2015194269A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
position information
series
action
processing apparatus
Prior art date
Application number
PCT/JP2015/063034
Other languages
English (en)
French (fr)
Inventor
由幸 小林
倉田 雅友
呂尚 高岡
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2015194269A1 publication Critical patent/WO2015194269A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/14Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by recording the course traversed by the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a behavior recognition technology for recognizing a user's behavior using a detection value of an acceleration sensor or the like mounted on a mobile device or a wearable device carried or worn by the user has been developed.
  • An example of such behavior recognition technology and information provided to the user using information obtained by the behavior recognition technology can be found in Patent Document 1, for example.
  • action recognition is performed using position information of a user acquired using GPS (Global Positioning System) together with a detection value of an acceleration sensor or the like.
  • the position information is used, for example, to specify the location where the user's action has occurred, the moving speed of the user, and the like. No more effective utilization of the position information acquired in the action recognition technology has been made in Patent Document 1 or the like.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of more effectively using position information and action recognition information included in the action log.
  • an action log acquisition function for acquiring an action log including a relative position information series and a user action recognition information associated with the position information series, and the action recognition information
  • a processing circuit is provided that identifies a reference position included in the position information series and implements a position information correction function that corrects the position information series included in the plurality of action logs based on the reference position.
  • An information processing apparatus is provided.
  • an action log including a relative position information series and user action recognition information associated with the position information series is acquired, and the processing circuit includes the action recognition information.
  • An information processing method comprising: identifying a reference position included in the position information series based on the position information, and correcting the position information series included in the plurality of action logs based on the reference position is provided. Is done.
  • an action log acquisition function for acquiring an action log including a relative position information series and a user action recognition information associated with the position information series, and the action recognition information Based on the reference position, the position information correction function for correcting the position information series included in the plurality of action logs based on the reference position is realized in the processing circuit.
  • a program is provided.
  • position information and action recognition information included in an action log can be used more effectively.
  • FIG. 2 is a block diagram illustrating an example of an overall configuration of an embodiment of the present disclosure.
  • FIG. It is a block diagram which shows another example of the whole structure of one Embodiment of this indication. It is a block diagram which shows another example of the whole structure of one Embodiment of this indication.
  • 3 is a schematic block diagram illustrating a first example of functional configurations of an input unit, a processing unit, and an output unit according to an embodiment of the present disclosure.
  • FIG. 12 is a schematic block diagram illustrating a second example of functional configurations of an input unit, a processing unit, and an output unit according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing a first stage of position information correction according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing a second stage of position information correction according to an embodiment of the present disclosure.
  • FIG. FIG. 10 is a diagram for describing third and fourth stages of position information correction according to an embodiment of the present disclosure. It is a figure for demonstrating the effect of position information correction in one embodiment of this indication. It is a figure for demonstrating the model learning function in one Embodiment of this indication. It is a figure for demonstrating the model learning function in one Embodiment of this indication. It is a figure for demonstrating estimation of the place attribute based on the model of the state in one Embodiment of this indication. It is a figure for demonstrating estimation of the place attribute based on the model of the state in one Embodiment of this indication.
  • FIG. 5 is a diagram for describing an example of use of a location attribute according to an embodiment of the present disclosure.
  • FIG. It is a figure for demonstrating correction
  • 5 is a diagram for describing a first stage of map division according to an embodiment of the present disclosure.
  • FIG. FIG. 6 is a diagram for describing a second stage of map division according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing a third stage of map division according to an embodiment of the present disclosure. It is a figure which shows the result of the division
  • FIG. 5 is a flowchart illustrating an example of processing for detecting an action related to a staircase in an embodiment of the present disclosure.
  • 2 is a block diagram illustrating a first example of a system configuration according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a second example of a system configuration according to an embodiment of the present disclosure.
  • FIG. 10 is a block diagram illustrating a third example of a system configuration according to an embodiment of the present disclosure.
  • FIG. 9 is a block diagram illustrating a fourth example of a system configuration according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram illustrating an example of the overall configuration of an embodiment of the present disclosure.
  • the system 10 includes an input unit 100, a processing unit 200, and an output unit 300.
  • the input unit 100, the processing unit 200, and the output unit 300 are realized by one or a plurality of information processing apparatuses, as shown in a configuration example of the system 10 described later.
  • the input unit 100 includes, for example, an operation input device, a sensor, or software that acquires information from an external service, and receives input of various information from the user, the surrounding environment, or other services.
  • the operation input device includes, for example, hardware buttons, a keyboard, a mouse, a touch panel, a touch sensor, a proximity sensor, an acceleration sensor, a gyro sensor, a temperature sensor, and the like, and receives an operation input by a user.
  • the operation input device may include a camera (imaging device), a microphone, or the like that receives an operation input expressed by a user's gesture or voice.
  • the input unit 100 may include a processor or a processing circuit that converts a signal or data acquired by the operation input device into an operation command.
  • the input unit 100 may output a signal or data acquired by the operation input device to the interface 150 without converting it into an operation command.
  • the signal or data acquired by the operation input device is converted into an operation command by the processing unit 200, for example.
  • the sensor includes an acceleration sensor, a gyro sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, and the like, and detects acceleration, angular velocity, azimuth, illuminance, temperature, atmospheric pressure, and the like applied to the apparatus.
  • the various sensors described above can detect various information as information related to the user, for example, information indicating the user's movement and orientation.
  • the sensor may include a sensor that detects user's biological information such as pulse, sweat, brain wave, touch, smell, and taste.
  • the input unit 100 includes a processing circuit that acquires information indicating the emotion of the user by analyzing information detected by these sensors and / or image or sound data detected by a camera or microphone, which will be described later. May be. Alternatively, the above information and / or data may be output to the interface 150 without being analyzed, and the analysis may be executed in the processing unit 200, for example.
  • the sensor may acquire an image or sound near the user or the device as data using a camera, a microphone, the various sensors described above, or the like.
  • the sensor may include position detection means for detecting an indoor or outdoor position.
  • the position detection means may include a GNSS (Global Navigation Satellite System) receiver and / or a communication device.
  • the GNSS can include, for example, GPS (Global Positioning System), GLONASS (Global Navigation Satellite System), BDS (BeiDou Navigation Satellite System), QZSS (Quasi-Zenith Satellite Systems), or Galileo.
  • GPS Global Positioning System
  • GLONASS Global Navigation Satellite System
  • BDS BeiDou Navigation Satellite System
  • QZSS Quadasi-Zenith Satellite Systems
  • Galileo Galileo
  • Communication devices include, for example, Wi-fi, MIMO (Multi-Input Multi-Output), cellular communication (for example, position detection using a mobile base station, femtocell), or short-range wireless communication (for example, BLE (Bluetooth Low Energy), The position is detected using a technique such as Bluetooth (registered trademark).
  • MIMO Multi-Input Multi-Output
  • cellular communication for example, position detection using a mobile base station, femtocell
  • short-range wireless communication for example, BLE (Bluetooth Low Energy)
  • BLE Bluetooth Low Energy
  • the device including the sensor When the sensor as described above detects a user's position and situation (including biological information), the device including the sensor is carried or worn by the user, for example. Alternatively, even when a device including a sensor is installed in the user's living environment, it may be possible to detect the user's position and situation (including biological information). For example, the user's pulse can be detected by analyzing an image including the user's face acquired by a camera fixed in a room or the like.
  • the input unit 100 includes a processor or a process for converting a signal or data acquired by the sensor into a predetermined format (for example, converting an analog signal into a digital signal or encoding image or audio data).
  • a circuit may be included.
  • the input unit 100 may output the acquired signal or data to the interface 150 without converting it into a predetermined format. In that case, the signal or data acquired by the sensor is converted into an operation command by the processing unit 200.
  • Software that obtains information from an external service obtains various types of information provided by the external service using, for example, an API (Application Program Interface) of the external service.
  • the software may acquire information from an external service server, or may acquire information from application software of a service executed on the client device.
  • information such as text and images posted by users or other users to external services such as social media can be acquired.
  • the acquired information does not necessarily have to be intentionally posted by the user or other users, and may be, for example, a log of operations performed by the user or other users.
  • the acquired information is not limited to the personal information of the user or other users. For example, an unspecified number of people such as news, weather forecast, traffic information, POI (Point Of Interest), or advertisements. It may be information distributed to the user.
  • the information acquired from the external service includes information acquired by the various sensors described above, such as acceleration, angular velocity, azimuth, illuminance, temperature, atmospheric pressure, pulse, sweating, brain waves, tactile sensation, olfaction, taste, and other living organisms.
  • Information, emotion, position information, and the like may be detected by a sensor included in another system that cooperates with the external service, and information generated by posting to the external service may be included.
  • the interface 150 is an interface between the input unit 100 and the processing unit 200.
  • the interface 150 may include a wired or wireless communication interface.
  • the Internet may be interposed between the input unit 100 and the processing unit 200.
  • wired or wireless communication interfaces include cellular communication such as 3G / LTE, Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), and HDMI (registered trademark). (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc.
  • the interface 150 may include a bus in the device, data reference in a program module, and the like (hereinafter referred to as these). Also referred to as the interface within the device). Further, when the input unit 100 is realized by being distributed to a plurality of devices, the interface 150 may include different types of interfaces for the respective devices. For example, the interface 150 may include both a communication interface and an interface within the device.
  • the processing unit 200 executes various processes based on information acquired by the input unit 100. More specifically, for example, the processing unit 200 is a processor or processing circuit such as a central processing unit (CPU), a digital signal processor (DSP), an application specific integrated circuit (ASIC), or a field-programmable gate array (FPGA). including.
  • the processing unit 200 may include a memory or a storage device that temporarily or permanently stores a program executed in the processor or the processing circuit and data read / written in the processing.
  • the processing unit 200 may be realized by a single processor or processing circuit in a single device, or may be realized by being distributed to a plurality of devices or a plurality of processors or processing circuits in the same device. May be.
  • an interface 250 is interposed between the divided portions of the processing unit 200 as in the example illustrated in FIGS. 2A and 2B.
  • the interface 250 may include a communication interface or an interface in the apparatus, similar to the interface 150 described above.
  • individual functional blocks constituting the processing unit 200 are illustrated, but the interface 250 may be interposed between arbitrary functional blocks. That is, when the processing unit 200 is realized by being distributed to a plurality of devices, or a plurality of processors or processing circuits, how to distribute the functional blocks to each device, each processor, or each processing circuit is described separately. It is optional unless otherwise specified.
  • the output unit 300 outputs the information provided from the processing unit 200 to a user (may be the same user as the user of the input unit 100 or a different user), an external device, or another service. To do.
  • the output unit 300 may include an output device, a control device, or software that provides information to an external service.
  • the output device uses the information provided from the processing unit 200 as visual, auditory, tactile, olfactory, taste, etc. of the user (may be the same user as the user of the input unit 100 or a different user). Output in a form perceived by the sense of
  • the output device is a display and outputs information as an image.
  • the display is not limited to a reflective or self-luminous display such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, and an image is displayed on the user's eye as used in a wearable device.
  • a combination of a light guide member that guides light and a light source is also included.
  • the output device may include a speaker and output information by voice.
  • the output device may include a projector, a vibrator, and the like.
  • the control device controls the device based on the information provided from the processing unit 200.
  • the controlled device may be included in a device that implements the output unit 300 or may be an external device. More specifically, for example, the control device includes a processor or a processing circuit that generates a control command.
  • the output unit 300 may further include a communication device that transmits a control command to the external device.
  • the control device controls a printer that outputs information provided from the processing unit 200 as a printed matter.
  • the control device may include a driver that controls writing of information provided from the processing unit 200 to a storage device or a removable recording medium.
  • the control device may control a device other than the device that outputs or records the information provided from the processing unit 200.
  • the control device controls the lighting device to turn on the illumination, controls the television to erase the image, controls the audio device to adjust the volume, controls the robot to control its movement, etc. You may do it.
  • the software that provides information to the external service provides the information provided from the processing unit 200 to the external service by using, for example, an API of the external service.
  • the software may provide information to a server of an external service, or may provide information to application software of a service executed on the client device.
  • the provided information does not necessarily have to be immediately reflected in the external service, and may be provided as a candidate for a user to post or transmit to the external service, for example.
  • the software may provide text used as a candidate for a search keyword or URL (Uniform Resource Locator) input by the user in browser software executed on the client device.
  • the software may post text, images, videos, sounds, and the like on an external service such as social media on behalf of the user.
  • the interface 350 is an interface between the processing unit 200 and the output unit 300.
  • the interface 350 may include a wired or wireless communication interface.
  • the interface 350 may include an interface in the above-described device.
  • the interface 350 may include different types of interfaces for the respective devices.
  • interface 350 may include both a communication interface and an interface within the device.
  • FIG. 3 is a schematic block diagram illustrating a first example of functional configurations of the input unit, the processing unit, and the output unit according to an embodiment of the present disclosure.
  • a first functional configuration example of the input unit 100, the processing unit 200, and the output unit 300 included in the system 10 according to the present embodiment will be described with reference to FIG.
  • the input unit 100 may include an acceleration sensor 101, a gyro sensor 103, a geomagnetic sensor 105, an atmospheric pressure sensor 107, and an operation input device 109.
  • the acceleration sensor 101, the gyro sensor 103, the geomagnetic sensor 105, and the atmospheric pressure sensor 107 are mounted on, for example, a terminal device that is carried or worn by the user. With these sensors, it is possible to detect acceleration or angular velocity applied to the user, changes in the orientation of the user, and atmospheric pressure around the user.
  • the input unit 100 may include other sensors that provide sensor data that can be used for autonomous positioning and action recognition described later.
  • the operation input device 109 is mounted on the same terminal device as each of the sensors described above or a different terminal device.
  • the operation input device 109 acquires an operation input indicating a user instruction regarding information generation based on position information and action recognition information described later.
  • the input unit 100 may further include a processor or a processing circuit for converting or analyzing data acquired by these sensors and the operation input device.
  • the processing unit 200 can include an autonomous positioning unit 201, an action recognition unit 203, an integrated analysis unit 205, and an information generation unit 207.
  • These functional configurations are realized by, for example, a server processor or a processing circuit that communicates with a terminal device. Further, some of these functional configurations may be realized by a processor or processing circuit of the same terminal device as the sensor or operation input device included in the input unit 100. A specific example of such a configuration will be described later. Hereinafter, each functional configuration will be further described.
  • the autonomous positioning unit 201 performs autonomous positioning based on detection values of the acceleration sensor 101, the gyro sensor 103, the geomagnetic sensor 105 (hereinafter, these sensors are also collectively referred to as motion sensors), and the pressure sensor 107. Get relative position information.
  • This position information may be position information of a user who carries or wears a terminal on which a sensor is mounted.
  • the autonomous positioning unit 201 acquires a series of position information. Since the autonomous positioning method is already well known, detailed description thereof is omitted.
  • the autonomous positioning unit 201 can employ any configuration of known autonomous positioning technology.
  • the position information acquired by the autonomous positioning unit 201 may include reliability information corresponding to, for example, an error range of the detection value of the sensor.
  • the behavior recognition unit 203 acquires behavior recognition information by performing behavior recognition based on detection values of the acceleration sensor 101, the gyro sensor 103, the geomagnetic sensor 105 (motion sensor), and the atmospheric pressure sensor 107.
  • the action recognition recognizes the type of user action such as stay, walk, run, jump, stairs, elevator, escalator, bicycle, bus, train, car, ship, or airplane. Since the action recognition method is described in many documents such as Japanese Patent Application Laid-Open No. 2012-8771, for example, detailed description thereof is omitted.
  • the action recognition unit 203 can employ any configuration of a known action recognition technique.
  • the behavior recognition information may include reliability information corresponding to, for example, an error range of the detection value of the sensor or a score calculated for the type of behavior.
  • the autonomous positioning unit 201 and the action recognition unit 203 both acquire position information and action recognition information by analyzing detection values of sensors including motion sensors.
  • the position information and the action recognition information are associated with each other based on, for example, the time stamp of the detection value of the original sensor.
  • information including position information and user action recognition information associated with each other is also referred to as a user action log.
  • an action log acquisition function is realized by the autonomous positioning unit 201 and the action recognition unit 203.
  • the position information or the action recognition information in the device that realizes the integrated analysis unit 205 may be realized by a communication device that receives at least one of the above.
  • the integrated analysis unit 205 analyzes the position information and the action recognition information included in the action log in an integrated manner. More specifically, for example, the integrated analysis unit 205 identifies the reference position included in the position information series based on the action recognition information, and uses the position information included in the plurality of action logs based on the reference position. Either or both of a position information correction function for correcting the series and a model learning function for learning a model of the user's behavior at the position indicated by the position information based on the position information and the action recognition information are realized. In addition, the integrated analysis unit 205 may realize a map generation function that generates a map for arranging information based on the action recognition information based on the position information and the action recognition information. Details of these functions will be described later.
  • the information generation unit 207 generates information to be output from the output unit 300 to the user based on the information provided from the integrated analysis unit 205. More specifically, for example, the information generation unit 207 generates information based on the model learned by the model learning function realized by the integrated analysis unit 205. The information generation unit 207 may generate information in which information based on action recognition information is arranged on a map generated based on position information. Information generated by the information generation unit 207 can be output from the output unit 300 via the interface 350. A more specific example of information generated by the information generation unit 207 will be described later.
  • the output unit 300 can include a display 301, a speaker 303, and a vibrator 305.
  • the display 301, the speaker 303, and the vibrator 305 are mounted on, for example, a terminal device that is carried or worn by the user.
  • the display 301 outputs information as an image
  • the speaker 303 outputs information as sound
  • the vibrator 305 outputs information as vibration.
  • the output information may include information generated by the information generation unit 207.
  • the display 301, the speaker 303, or the vibrator 305 may be mounted on the same terminal device as the sensor of the input unit 100. Further, the display 301, the speaker 303, or the vibrator 305 may be mounted on the same terminal device as the operation input device 109 of the input unit 100.
  • the display 301, the speaker 303, or the vibrator 305 may be mounted on a terminal device that is different from the components of the input unit 100.
  • a terminal device that is different from the components of the input unit 100.
  • a more specific configuration example of the terminal device and the server that realizes the input unit 100, the processing unit 200, and the output unit 300 will be described later.
  • FIG. 4 is a schematic block diagram illustrating a second example of the functional configurations of the input unit, the processing unit, and the output unit according to an embodiment of the present disclosure.
  • a second functional configuration example of the input unit 100, the processing unit 200, and the output unit 300 included in the system 10 according to the present embodiment will be described with reference to FIG. Note that the configuration of the output unit 300 is the same as that in the first example described above, and a duplicate description is omitted.
  • the input unit 100 may include a GPS receiver 111, an acceleration sensor 101, a gyro sensor 103, a geomagnetic sensor 105, an atmospheric pressure sensor 107, and an operation input device 109.
  • the input unit 100 may include a GPS receiver 111 in addition to the sensor and the operation input device. Therefore, the input unit 100 can perform positioning using GPS and acquire absolute position information.
  • the other parts are the same as those in the first example, and a duplicate description is omitted.
  • the processing unit 200 may include a position information acquisition unit 211, an action recognition unit 203, an integrated analysis unit 205, and an information generation unit 207.
  • the processing unit 200 includes a position information acquisition unit 211 instead of the autonomous positioning unit 201.
  • the position information acquisition unit 211 receives position information transmitted via the interface 150 from the GPS receiver 111 included in the input unit 100. That is, in the second example illustrated in FIG. 4, the action information acquisition function is realized by the position information acquisition unit 211 and the action recognition unit 203.
  • the integrated analysis unit 205 does not necessarily have to realize the position information correction function.
  • the input unit 100 may include a GPS receiver 111 in addition to the sensor and the operation input device, and the processing unit 200 may include both the autonomous positioning unit 201 and the position information acquisition unit 211.
  • the second example can be adopted when positioning by the GPS receiver 111 is possible. That is, the position information acquisition unit 211 receives the position information transmitted from the GPS receiver 111, and the integrated analysis unit 205 does not realize the position information correction function.
  • the first example can be adopted when positioning by the GPS receiver 111 is difficult. That is, the autonomous positioning unit 201 performs autonomous positioning based on the detection value of the sensor, and the integrated analysis unit 205 realizes position information correction silk.
  • the position information correction function that can be realized in the present embodiment will be further described. As described above, the position information correction function can be realized by the integrated analysis unit 205 included in the processing unit 200.
  • FIG. 5 is a diagram for describing a first stage of position information correction according to an embodiment of the present disclosure.
  • FIG. 5 shows a user's movement trajectory T constituted by a series of relative position information acquired by the autonomous positioning unit 201.
  • the integrated analysis unit 205 identifies a reference position included in the position information series based on user action recognition information associated with the position information.
  • the integrated analysis unit 205 specifies the reference positions P1 to P4 on the movement trajectory T.
  • the reference positions P1 and P4 are the start point and end point of the series of position information indicated by the movement trajectory T.
  • the reference positions P2 and P3 are division points of the position information series, as will be described later.
  • the reference positions P1 and P4 are positions where the action recognition information indicates that the action related to the building facility has occurred.
  • Building facilities may include, for example, lift facilities such as stairs, elevators, or escalators, or gateway facilities such as doors.
  • the action recognition information indicates that “elevation to / from the elevator” has occurred at the reference position P1.
  • the action recognition information indicates that “step up / down” occurs at the reference position P4.
  • Such behavior recognition information can be acquired, for example, when the behavior recognition unit 203 analyzes detection values of the acceleration sensor 101 and the atmospheric pressure sensor 107 included in the input unit 100.
  • the reference position P2 is a position where a terminal device equipped with a sensor has successfully communicated with the beacon B by a separately installed communication device.
  • the terminal device performs short-range wireless communication with the beacon B, such as Bluetooth (registered trademark).
  • the terminal device transmits information indicating that the communication is successful, together with a time stamp, to a device (for example, a server) that implements the processing unit 200.
  • the integrated analysis unit 205 can associate the communication result between the terminal device and the beacon B with the position information using the time stamp.
  • the beacon B is a fixed facility on a floor of a building, for example, even if the position information of the beacon B itself is not known, the terminal devices that succeeded in communication with the beacon B are the same or close to each other.
  • the integrated analysis unit 205 may specify, as the reference position, a position where the terminal device on which the sensor is mounted successfully acquires absolute position information by GPS or the like. Also in this case, the terminal devices that have acquired common absolute position information are likely to be in the same or close positions.
  • the reference position P3 is a position where the user's stay for a predetermined time or more is indicated by the position information.
  • the integrated analysis unit 205 may specify a singular point that appears in the series of position information as the reference position. As other singular points, there may be other points where the user's traveling direction and moving speed are remarkably changed. Similar singular points may be specified based on action recognition information instead of a series of position information. In addition, the integrated analysis unit 205 may specify a singular point by analyzing a combination of the position information series and the action recognition information.
  • FIG. 6 is a diagram for describing a second stage of position information correction according to an embodiment of the present disclosure.
  • FIG. 6 shows sections S1 to S3 that divide the user's movement trajectory T on the basis of the reference positions P1 to P4.
  • the integrated analysis unit 205 divides the position information series into a plurality of sections based on the reference position, and averages the divided position information series among the plurality of action logs. The position information series is corrected.
  • FIG. 7 is a diagram for describing the third and fourth stages of position information correction according to an embodiment of the present disclosure.
  • the analysis unit 205 performs the first and second stage processes for each of the plurality of action logs.
  • a large number of position information series hereinafter also referred to as segments
  • segments a large number of position information series divided into a plurality of sections based on the reference position are generated.
  • the integrated analysis unit 205 clusters segments (sequences of divided position information). By this clustering, segments whose features are similar to each other are classified into the same cluster.
  • the feature of the segment is indicated by, for example, the type of action corresponding to the reference position before and after the section (indicated by action recognition information), the position information of the reference position before and after the section, or a series of position information included in the segment. Includes travel distance or travel time. For example, in the example of the movement trajectory T shown in FIG. 5 and FIG.
  • the corresponding segment may be classified into the same cluster as the segment corresponding to the section S1 in which the movement trajectory T is divided.
  • these segments do not have to be classified into the same cluster.
  • the integrated analysis unit 205 performs averaging of the position information series between the segments classified into the same cluster.
  • translational movement, rotational movement, enlargement, or reduction are performed so that the movement trajectory portions T1, T2, and T3 corresponding to the segments respectively included in the three different action logs are closer to the central coordinate series T_AVE.
  • T_AVE central coordinate series
  • the central coordinate series T_AVE is calculated, for example, by arithmetically averaging the coordinates indicated by the series of position information included in each of the plurality of action logs for each position.
  • the coordinates indicated by each series may be arithmetically averaged by weighting according to the reliability of the position information. In this case, the coordinates indicated by the position information with higher reliability greatly affect the central coordinate series T_AVE.
  • FIG. 8 is a diagram for describing the effect of position information correction according to an embodiment of the present disclosure.
  • the movement trajectory T ′ indicated by the series of user position information obtained by autonomous positioning is corrected to the movement trajectory T. Since the series of position information constituting the movement trajectory T ′ is relatively obtained by autonomous positioning, the setting values of the speed and direction at the starting point are not appropriate, or errors included in the detection values of the sensor are accumulated. By doing so, there is a possibility of deviation from the actual position.
  • the setting value of the orientation of the user at the start point is not appropriate, so that the movement track T ′ deviates from the original movement track in a form that rotates around the start point.
  • the reference position for correcting the position information series is specified based on the action recognition information acquired in association with the position information.
  • the action recognition information can be acquired indoors or outdoors as long as the user carries or wears a terminal device equipped with a sensor, for example, so that an arbitrary number of reference positions can be selected from the positions included in the position information series. Can be specified.
  • the reference position is set as the start point, end point, and division point of the position information series, and averaging is performed for each of the position information series divided into a plurality of sections with reference to the reference position. This simplifies the shape of the movement trajectory to be corrected, for example, as in the example shown in FIG. 3, and facilitates calculation of an average movement trajectory and correction by translation, rotation, enlargement, or reduction. .
  • the position information series included in each of the plurality of action logs does not necessarily include only the series generated by regular movement in the same course. For example, even if the course is partially the same, it may become a different course (for example, when a different user enters the office and then heads to their desk), or the user's irregular movement is included (for example, The user may stop unexpectedly or take a detour). If the sequence of position information generated in such a case is used for averaging, there is a possibility that the position information is not corrected correctly because it becomes noise for the sequence generated by regular movement. Therefore, in this embodiment, when the position information series is divided into a plurality of sections with reference to the reference position, and the features of the divided position information series are similar to each other, Perform averaging at.
  • model learning function (4. Model learning function) Next, the model learning function that can be realized in the present embodiment will be further described. As described above, the model learning function can be realized in the integrated analysis unit 205 included in the processing unit 200.
  • FIG. 9 and 10 are diagrams for describing a model learning function according to an embodiment of the present disclosure.
  • FIG. 9 shows a user state ST defined by position information and action recognition information.
  • the model of the user's behavior learned by the integrated analysis unit 205 is, for example, based on the state ST, the position observation probability and the behavior observation probability in the state ST, and the transition probability between states as in the illustrated example. It may be a defined probability model.
  • FIG. 9 also shows the user's movement trajectory T.
  • the model learning function can be realized independently of the position information correction function. That is, the position information acquired by the autonomous positioning unit 201 in the first example of the functional configuration described above is realized by the integrated analysis unit 205, for example, as indicated by the movement trajectory T in FIG. It may be provided by being corrected by the position information correction function. In addition, the position information of the user may be provided by correcting the position information acquired by the autonomous positioning unit 201 by a method different from the above-described position information correction function. It may be itself. Alternatively, the user position information may be GPS position information acquired by the position information acquisition unit 211 in the second example of the functional configuration described above.
  • a probability model such as HMM (Hidden Markov Model) is used for behavior model learning.
  • the HMM is a model composed of a state, an observation probability, and a transition probability.
  • the observation probability expresses, as a probability, where the coordinates (position) are and what action is occurring for each state.
  • the transition probability indicates a probability that a certain state transitions to another state or self-transitions.
  • the integrated analysis unit 205 includes position information and action recognition associated with the position information included in a plurality of action logs provided by different users or provided at different times (may be provided by the same user).
  • a state is defined based on a pair with information. Since a state is not defined only by position information, a plurality of different states may be defined at overlapping positions.
  • FIG. 10 shows the extracted three states ST1 to ST3 in the portion surrounded by the broken line in FIG.
  • the observation probability P OB includes the average and standard deviation ( ⁇ ) of the coordinates (latitude and longitude) and the observation probability of the action recognition result.
  • the observation probability P OB may include observation probabilities of incidental attributes such as time, day of the week, season, facility, or user attribute in addition to the items in the illustrated example. That is, in the present embodiment, the probability model may be further defined by the observation probability of incidental attributes in each state.
  • the state ST2 the transition probability P T is 22% to the state ST1, 27% to the state ST3, 24 percent to the state of the lower, not shown, that self-transition probability P ST is 27% indicates Has been.
  • FIG. 11 and FIG. 12 are diagrams for describing location attribute estimation based on a state model according to an embodiment of the present disclosure.
  • the information generation unit 207 included in the processing unit 200 can generate information based on the model learned by the integrated analysis unit 205. For example, the information generation unit 207 generates information indicating the location attribute of the position indicated by the position information included in the action log.
  • FIG. 11 shows a state in which the state ST shown in FIG. 9 is classified into a state ST_P corresponding to the location attribute of the passage and a state ST_E corresponding to the location attribute of the elevator.
  • the state ST, the position and behavior observation probability in the state ST, and the transition probability between the states ST are defined by the behavior model learning process described above with reference to FIGS. 9 and 10. ing.
  • the features extracted from the observation probability and transition probability of the state ST are input, and the score of each place attribute is calculated using an identification function.
  • the state ST in the illustrated example corresponds to the place attribute of the passage.
  • State ST_P and state ST_E corresponding to the location attribute of the elevator.
  • the characteristics of the state ST include, for example, the behavior observation probability, the behavior observation probability in the transition destination state, the entropy of the transition probability, the number of users corresponding to the state ST (the number of users per day, unique users) Number, total number of users, etc.).
  • FIG. 12 shows an example of score calculation for each location attribute using an identification function.
  • SVM Serial Vector Machine
  • AdaBoost Upport Vector Machine
  • FIG. 12 shows an example of score calculation for each location attribute using an identification function.
  • FIG. 13 is a diagram for describing an example of use of a location attribute according to an embodiment of the present disclosure.
  • the location attributes of the conference room, the desk, and the passage are estimated on the floor of the building.
  • the information generation unit 207 is based on the action log including the position information and the action recognition information associated with the position information, and the place attribute estimated as a result of the model learning of the user action based on the action log.
  • Information indicating a recognized action may be generated.
  • the action recognition unit 203 performs action recognition using the detection value of the sensor.
  • the user's higher-order actions such as work, shopping, and meals can be performed with high accuracy. It is difficult to recognize. Therefore, by performing further behavior recognition by combining the results of model learning of the user's behavior and location attribute estimation as described above, it becomes possible to recognize the higher-order behavior of the user with high accuracy.
  • the information generation unit 207 may generate information based on a behavior score for each position calculated based on a position observation probability and a behavior observation probability in the model. This score is calculated, for example, by adding the observation probability of the action in each state according to the average and variance of the positions.
  • the information generation unit 207 may generate information indicating the action representing the position specified based on the score.
  • the behavior representing the position may be the behavior with the highest score.
  • the information generation unit 207 may generate information indicating the frequency distribution of actions at positions based on the score. The frequency distribution can be generated according to the score of each action.
  • FIG. 14 is a diagram for describing correction of an action recognition result using an action score according to an embodiment of the present disclosure.
  • the action recognition information included in the action log includes information indicating the user's moving means (train, bus, car).
  • the position information included in the action log indicates the movement trajectory T.
  • a model including an observation probability of each moving means (train, bus, car) is learned based on an action log acquired in the past.
  • the score of the moving means (train, bus, car) for each position can be calculated based on the position and behavior observation probability in the model. By expressing this score on the map on the basis of the observation probability of the position in each state, a map showing the tendency of the moving means (train, bus, car) recognized at each position can be generated.
  • regions having high scores for the respective moving means are indicated as R_train, R_Bus, and R_Car, respectively.
  • Each area is expressed by uniform hatching for the convenience of printing, but in reality, the level of the score can be expressed for each position in the area. That is, the regions R_train, R_Bus, and R_Car may include regions where the score of each moving unit is higher and regions that are not. Moreover, the score of several moving means may be expressed for every position.
  • the action recognition information associated with the movement locus T indicates that the moving means is a train even though the movement locus T of the user passes through the region R_Car where the score of the automobile is mainly high. If it is, the information generation unit 207 may correct the action recognition result from the train to the car. Such processing is possible even when, for example, a track or road region is given in advance on the map, but it is not easy to acquire such information for the entire map and update it as needed.
  • a map showing the tendency of behavior recognized for each position can be generated by model learning of the state as described above, so that the behavior recognition result is easily corrected based on the position information. be able to.
  • the information generation unit 207 indicates the behavior score indicated by the behavior recognition information acquired by the behavior recognition unit 203 and the probability model learned by the integrated analysis unit 205.
  • Information indicating an action recognized based on a score calculated by weighting and adding the scores of actions to be generated may be generated.
  • FIGS. 15 to 17 are diagrams for describing presentation of information using an action score according to an embodiment of the present disclosure.
  • a screen 1100 described with reference to FIGS. 15 to 17 is displayed as an image on the display 301 included in the output unit 300, for example.
  • the user behavior model learned by the integrated analysis unit 205 includes the user state, the position observation probability and the action observation probability in the state, and the transition probability between states.
  • the probability model can be further defined by the observation probabilities of incidental attributes in each state.
  • the information generation unit 207 can generate information by filtering the behavior observation probability according to these incidental attributes.
  • the regions R_train, R_Bus, and R_Car are expressed by uniform hatching for the sake of printing, but in reality, the level of the score can be expressed for each position in the region.
  • the level of the score can be expressed by, for example, a heat map or a contour map (contour map).
  • the action having the highest score among the areas R_train, R_Bus, and R_Car can be selected.
  • FIG. 17 shows another example of the input unit such as the action type input 1103, the day of the week input 1105, and the time zone input 1107 in the examples of FIGS. 15 and 16 described above.
  • the age input 1109, gender input 1111 or occupation input 1113 may be displayed on the screen 1100 together with or instead of the input unit shown in FIG. .
  • the information generation unit 207 filters the observation probability of the behavior according to these attributes, and the information Can also be generated.
  • the presentation of information like the screen 1100 described above with reference to FIGS. 15 to 17 is possible even when the integrated analysis unit 205 does not learn the user's behavior model.
  • the integrated analysis unit 205 includes a plurality of behavior logs.
  • a score corresponding to the frequency of action indicated by action recognition information associated with position information indicating the same position or a close position may be calculated.
  • the information generation unit 207 realizes the presentation of information like the screen 1100 described with reference to FIGS. 15 to 17 by handling the calculated score in the same manner as the action score in the above example. Is possible.
  • action recognition information included in a plurality of action logs can be combined via position information associated with each action recognition information.
  • the location attribute of the position indicated by the location information included in the behavior log is estimated, or the accuracy of the behavior recognition information is improved by using the estimated location attribute.
  • map generation function Next, a map generation function that can be realized in the present embodiment will be further described. As described above, the map generation function can be realized by the integrated analysis unit 205 included in the processing unit 200.
  • the integrated analysis unit 205 that realizes the map generation function generates a map for arranging information based on the action recognition information based on at least the position information included in the action log.
  • the information generation unit 207 can generate information in which information based on action recognition information is arranged on an existing map. By such processing, for example, information such as the screen 1100 described above with reference to FIGS. 15 to 17 can be generated.
  • the map generation function can be realized independently of the model learning function and the information generation function described above. For example, when the position information included in the action log is not associated with an existing map (including a case where no existing map exists), the integrated analysis unit 205 that realizes the map generation function is based on the position information. Create a new map.
  • the integrated analysis unit 205 that realizes the map generation function may generate a map based on a user's movement trajectory configured by a series of position information, for example, as shown in FIG.
  • the map generation function can be realized independently of the position information correction function. That is, the integrated analysis unit 205 corrects the position information acquired by the autonomous positioning unit 201 in the first example of the above functional configuration by using the position information correction function, and then uses it for the map generation function described below. Alternatively, the position information may be corrected by a method different from the position information correction function described above and used for the map generation function. Alternatively, the integrated analysis unit 205 may use the position information acquired by the autonomous positioning unit 201 as it is for the map generation function. Further, the integrated analysis unit 205 may use the GPS position information acquired by the position information acquisition unit 211 in the second example of the above functional configuration for the map generation function (for example, more than the existing map). For example, to generate a detailed map).
  • the integrated analysis unit 205 that realizes the map generation function may generate a map divided for each series of position information when the position information includes position information of a plurality of series having different altitudes.
  • location information may include latitude, longitude, and elevation information (these numbers may be global or local), but provided by different users,
  • the position information included in a plurality of action logs provided at different times includes position information of a plurality of series having different altitudes (beyond the error range).
  • the integrated analysis unit 205 may divide the map so as to correspond to each of these pieces of position information.
  • the map can be divided when the action log includes a series of position information acquired on different floors of a building.
  • the integrated analysis unit 205 that realizes the map generation function may generate a map based further on the action recognition information included in the action log.
  • An example (map division) in that case will be further described below.
  • FIG. 18 is a diagram for describing a first stage of map division according to an embodiment of the present disclosure.
  • FIG. 18 shows a state ST defined by behavioral model learning as described above with reference to FIGS. 9 and 10, for example, and a link L that connects the state ST in a transitional relationship with each other. Yes.
  • the graph structure configured by connecting the states ST to each other by the link L is divided by the geofence GF. More specifically, a link L that crosses the geofence GF is set as a dividing point.
  • the geofence GF may be given information that indicates a geographical boundary, such as the extent of a building in the map.
  • the graph structure is divided by setting the link L that crosses the altitude corresponding to the boundary of each floor as the division point.
  • the behavior map is divided based on given information such as available external map information or information manually designated by the user.
  • FIG. 19 is a diagram for describing a second stage of map division according to an embodiment of the present disclosure.
  • a region outside the region geofence GF divided in the first stage is shown as a region R1.
  • the graph structure of the state ST in the remaining region is further divided at a position where it is indicated that an action related to the building facility has occurred.
  • Building facilities may include, for example, lift facilities such as stairs, elevators, or escalators, or gateway facilities such as doors.
  • the link L connected to the state ST_DOOR is set as a dividing point.
  • the state ST_DOOR is a state in which the action “open / close door” is recognized in action recognition.
  • the graph structure of the state ST may be further divided at the position of the state indicating the specific action recognition result.
  • FIG. 20 is a diagram for describing a third stage of map division according to an embodiment of the present disclosure.
  • the areas divided in the first and second stages are indicated as areas R1 and R2.
  • the graph structure of the state ST in the remaining region is further divided based on the similarity between the states.
  • the link L between the states in which the similarity is determined to be lower than a predetermined threshold (not similar) is set as a dividing point, and two maps are provided. It is divided into areas. That is, a map is divided
  • a method for generating a similarity function for determining whether or not states are similar by learning position information and action recognition information will be further described.
  • a label is given to the state ST defined in a certain range.
  • the labels given here can be, for example, “living room”, “conference room”, “corridor”, and the like. Note that this process is similar to the process of providing the location attribute label described with reference to FIG. 12 in that a label is given to the state ST, but the contents of the label may differ from the example of FIG.
  • the labels given in the example of FIG. 12 are used for action recognition, whereas the labels given here are used for action map segmentation. Therefore, for example, in the example of FIG.
  • the label of “room” can be given in a state where the label of “desk” is given (to divide the map in units of the whole room with a desk, not individual desks).
  • the similarity function is created, for example, as a distance function D that increases the similarity score when two states having the same label are input and decreases the similarity score when two states having different labels are input. More specifically, when the feature amounts x1 and x2 of the two states ST1 and ST2 are input, for example, Distance is set so that the score calculated by the distance function D (x1, x2) becomes the above similarity score.
  • a distance function D is created using a technique such as Metric Learning.
  • FIG. 21 is a diagram showing the result of map division in the first to third stages.
  • the region R1 is a region defined by dividing the behavior map by the geofence GF in the first stage. This area corresponds to, for example, the outside of a building.
  • the region R2 is a region defined by dividing the behavior map at the position of the state ST_DOOR indicating the characteristic behavior recognition result (door opening / closing) in the second stage. This region corresponds to, for example, a region of a passage in a building.
  • Regions R3 and R4 are regions defined by dividing the behavior map based on the similarity between states in the third stage. These areas correspond to, for example, different rooms (such as a living room and a meeting room) in a building. According to the processing including the above first to third steps, an action map including areas with various attributes such as areas R1 to R4 can be appropriately divided.
  • all the areas included in the behavior map may be inside the building or all outside the building.
  • all the regions divided in the first stage may be further divided in the second stage.
  • all of the regions divided in the first stage or the second stage may be further divided in the third stage.
  • FIG. 22 is a diagram for describing the effect of action map division according to an embodiment of the present disclosure.
  • FIG. 22 shows an example of an action map before division (MAP_A) and an example of an action map after division (MAP_B).
  • MAP_A action map before division
  • MAP_B action map after division
  • illustration of the state is omitted, and only a link (movement trajectory) by transition is shown.
  • the behavior map in the illustrated example includes two buildings (building A and building B) and the outside outside.
  • the outdoor area and the respective buildings are processed by the above-described first to third processing.
  • Divided into floor areas By dividing the behavior map in this way, for example, when a two-dimensional behavior map overlooking the floor in the building is displayed, it is easy to browse the desired range of the behavior map.
  • By separating the behavior maps inside and outside the building it becomes possible to analyze using behaviors and place attributes specific to each.
  • the integrated analysis unit 205 included in the processing unit 200 may realize an association processing function for associating building equipment with position information based on behavior recognition information.
  • the autonomous positioning unit 201 or the position information acquisition unit 211 realizes a position information acquisition function for acquiring user position information.
  • the behavior recognition unit 203 realizes a behavior recognition information acquisition function that acquires behavior recognition information indicating that a user behavior related to a building facility has occurred.
  • the association processing function can be realized by the integrated analysis unit 205 independently of the position information correction function and the map generation function described above.
  • an association processing function will be described, and an example of a method for recognizing a user's action related to a building facility will be described.
  • Such a method can be used not only when the association processing function is realized independently, but also when the association processing function is realized together with the position information correction function and the map generation function.
  • the autonomous positioning unit 201 can realize a position information acquisition function for acquiring user position information. As described above, the autonomous positioning unit 201 performs autonomous positioning based on user sensing information including detection values of the acceleration sensor 101, the gyro sensor 103, and the geomagnetic sensor 105 (motion sensor) included in the input unit 100. To obtain position information. Alternatively, the position information acquisition unit 211 may realize a position information acquisition function. The position information acquisition unit 211 acquires position information provided by the GPS receiver 111 included in the input unit 100.
  • the action recognition unit 203 acquires action recognition information that is generated based on user sensing information associated with position information and indicates that a user action related to a building facility has occurred.
  • a recognition information acquisition function can be realized.
  • the sensing information input to the action recognition unit 203 may be common to the sensing information input to the autonomous positioning unit 201. It can be said that sensing information is associated.
  • sensing information can be associated with the position information by a time stamp or the like.
  • the action recognition unit 203 acquires action recognition information by performing action recognition based on detection values of the acceleration sensor 101, the gyro sensor 103, the geomagnetic sensor 105 (motion sensor), and the atmospheric pressure sensor 107.
  • the behavior recognition method any known configuration can be adopted.
  • the behavior recognition unit 203 refers to an operation model corresponding to a user behavior related to a building facility and detects a sensor.
  • the action recognition information may be acquired by performing value pattern recognition or the like.
  • the device that realizes the integrated analysis unit 205 recognizes the behavior by the communication device that receives the behavior recognition information. An information acquisition function is realized.
  • FIG. 23 is a diagram for describing behavior detection related to an elevator according to an embodiment of the present disclosure.
  • FIG. 23 shows the triaxial accelerations a x , a y , and a z provided by the acceleration sensor 101 and the gravity direction component a g of the triaxial acceleration.
  • the behavior recognition information acquired by the behavior recognition unit 203 can indicate that the user's behavior related to the elevator has occurred.
  • the action recognition information may indicate the occurrence of an action “moving by an elevator” throughout the section Ev, “get on the elevator” at the start point of the section Ev, and “elevator” at the end point of the section Ev.
  • Each of the occurrences of an action “getting off” may be indicated.
  • FIG. 24 is a flowchart illustrating an example of processing for detecting an action related to an elevator according to an embodiment of the present disclosure.
  • the action recognition unit 203 first calculates the average avg and the variance var in the detection values of the acceleration sensor (S101).
  • the variance var is smaller than the predetermined threshold V and the average avg is within the predetermined range (A1 to A2) (YES in S103)
  • the action recognition unit 203 further extracts the acceleration change in the gravitational direction.
  • the acceleration change in the gravitational direction is calculated based on the detection value of the acceleration sensor 101.
  • the behavior recognition unit 203 detects a behavior related to the elevator (S109), and generates behavior recognition information indicating the behavior.
  • FIG. 25 is a diagram for describing detection of behaviors related to stairs in an embodiment of the present disclosure.
  • the detection value P a of pressure provided by the pressure sensor 107, the up / down segment C (up / down) which is recognized on the basis of the detection value Pa, based on the value detected by the acceleration sensor 101
  • the walking / still section C (walk / still) recognized and the stairs rising / falling section C (stairs) determined based on the section C (up / down) and the section C (walk / still) It is shown.
  • the user is walking in section C (walk / still), and that the user is moving in the direction of gravity in section C (up / down).
  • the user's behavior associated with the stairs is detected when it is up (down or down).
  • a section meeting such a condition is shown as section St in the figure.
  • the action recognition information acquired by the action recognition unit 203 can indicate that the user's action related to the stairs has occurred.
  • the action recognition information may indicate the occurrence of an action “up and down the stairs” over the entire section St, “starting to go up / down the stairs” at the start point of the section St, and the end point of the section St. May indicate the occurrence of an action “going up / down the stairs”.
  • FIG. 26 is a flowchart illustrating an example of processing for detecting an action related to a staircase according to an embodiment of the present disclosure.
  • the action recognition unit 203 first executes a process of detecting a user's walking based on the detection value of the acceleration sensor 101 (S201).
  • Various known techniques can be used for the process of detecting the direction of the user.
  • the action recognition part 203 performs the process which detects a user's movement to the gravity direction based on the detected value of the atmospheric
  • step S203 air pressure sensor 107
  • the movement of the user in the direction of gravity can be determined by the amount or rate of increase or decrease in the detection value (atmospheric pressure) of the atmospheric pressure sensor 107.
  • the behavior recognition unit 203 detects a behavior related to the stairs (S209), and generates behavior recognition information indicating the behavior.
  • the association processing function for associating building equipment with position information can be realized independently of other functions such as a position information correction function and a map generation function.
  • the association processing function may associate the building facility.
  • the association processing function directly associates the building equipment with the position information acquired by the position information acquisition function. May be. For example, by associating building equipment with location information and information indicating other actions of the user without generating a map, the user can easily understand a series of actions corresponding to the actual environment.
  • the system 10 includes the input unit 100, the processing unit 200, and the output unit 300, and these components are realized by one or a plurality of information processing apparatuses.
  • achieves the system 10 is demonstrated with a more specific example.
  • FIG. 27 is a block diagram illustrating a first example of a system configuration according to an embodiment of the present disclosure.
  • the system 10 includes information processing apparatuses 11 and 13.
  • the input unit 100 and the output unit 300 are realized in the information processing apparatus 11.
  • the processing unit 200 is realized in the information processing apparatus 13.
  • the information processing apparatus 11 and the information processing apparatus 13 communicate via a network in order to realize the function according to the embodiment of the present disclosure.
  • the interface 150b between the input unit 100 and the processing unit 200 and the interface 350b between the processing unit 200 and the output unit 300 can both be communication interfaces between apparatuses.
  • the information processing apparatus 11 may be a terminal device, for example.
  • the input unit 100 may include an input device, a sensor, software that acquires information from an external service, and the like.
  • software that acquires information from an external service acquires data from application software of a service that is executed in the terminal device.
  • the output unit 300 may include an output device, a control device, software that provides information to an external service, and the like.
  • the software that provides information to an external service can provide information to application software of a service that is executed by a terminal device, for example.
  • the information processing apparatus 13 can be a server.
  • the processing unit 200 is realized by a processor or a processing circuit included in the information processing device 13 operating according to a program stored in a memory or a storage device.
  • the information processing device 13 may be a device dedicated as a server, for example. In this case, the information processing apparatus 13 may be installed in a data center or the like, or may be installed in a home. Alternatively, the information processing device 13 can be used as a terminal device for other functions, but may be a device that does not realize the input unit 100 and the output unit 300 for the functions according to the embodiment of the present disclosure.
  • FIG. 28 is a block diagram illustrating a second example of the system configuration according to the embodiment of the present disclosure.
  • the system 10 includes information processing apparatuses 11a, 11b, and 13.
  • the input unit 100 is realized by being divided into input units 100a and 100b.
  • the input unit 100a is realized in the information processing apparatus 11a.
  • the input unit 100a can include, for example, the acceleration sensor 101, the gyro sensor 103, the geomagnetic sensor 105, the atmospheric pressure sensor 107, and / or the GPS receiver 111 described above.
  • the input unit 100b and the output unit 300 are realized in the information processing apparatus 11b.
  • the input unit 100b can include, for example, the operation input device 109 described above.
  • the processing unit 200 is realized in the information processing apparatus 13.
  • the information processing apparatuses 11a and 11b and the information processing apparatus 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • the interfaces 150b1 and 150b2 between the input unit 100 and the processing unit 200 and the interface 350b between the processing unit 200 and the output unit 300 can be communication interfaces between apparatuses.
  • the interface 150b1, the interface 150b2, and the interface 350b can include different types of interfaces.
  • the information processing devices 11a and 11b may be terminal devices, for example.
  • the information processing apparatus 11a is carried or worn by a user and senses the user.
  • the information processing device 11b outputs information generated in the information processing device 13 based on the sensing result to the user.
  • the information processing apparatus 11b receives a user operation input regarding the output information. Therefore, the information processing apparatus 11b does not necessarily have to be carried or worn by the user.
  • the information processing apparatus 13 can be a server or a terminal device, as in the first example.
  • the processing unit 200 is realized by a processor or a processing circuit included in the information processing device 13 operating according to a program stored in a memory or a storage device.
  • FIG. 29 is a block diagram illustrating a third example of the system configuration according to the embodiment of the present disclosure.
  • the system 10 includes information processing apparatuses 11 and 13.
  • the input unit 100 and the output unit 300 are realized in the information processing apparatus 11.
  • the processing unit 200 is realized by being distributed to the information processing apparatus 11 and the information processing apparatus 13.
  • the information processing apparatus 11 and the information processing apparatus 13 communicate via a network in order to realize the function according to the embodiment of the present disclosure.
  • the processing unit 200 is realized by being distributed between the information processing apparatus 11 and the information processing apparatus 13. More specifically, the processing unit 200 includes processing units 200 a and 200 c realized by the information processing apparatus 11 and a processing unit 200 b realized by the information processing apparatus 13.
  • the processing unit 200a executes processing based on information provided from the input unit 100 via the interface 150a, and provides the processing result to the processing unit 200b.
  • the processing unit 200a can include, for example, the autonomous positioning unit 201 and the action recognition unit 203 described above.
  • the processing unit 200c executes processing based on the information provided from the processing unit 200b, and provides the processing result to the output unit 300 via the interface 350a.
  • the processing unit 200c can include, for example, the information generation unit 207 described above.
  • both the processing unit 200a and the processing unit 200c are shown, but only one of them may actually exist. That is, the information processing apparatus 11 implements the processing unit 200a, but does not implement the processing unit 200c, and the information provided from the processing unit 200b may be provided to the output unit 300 as it is. Similarly, the information processing apparatus 11 implements the processing unit 200c, but may not implement the processing unit 200a.
  • An interface 250b is interposed between the processing unit 200a and the processing unit 200b and between the processing unit 200b and the processing unit 200c.
  • the interface 250b is a communication interface between apparatuses.
  • the interface 150a is an interface in the apparatus.
  • the interface 350a is an interface in the apparatus.
  • the processing unit 200c includes the information generation unit 207 as described above, a part of information from the input unit 100, for example, information from the operation input device 109 is directly provided to the processing unit 200c via the interface 150a.
  • the third example described above is the first example described above except that one or both of the processing unit 200a and the processing unit 200c is realized by a processor or a processing circuit included in the information processing apparatus 11. It is the same. That is, the information processing apparatus 11 can be a terminal device. Further, the information processing apparatus 13 can be a server.
  • FIG. 30 is a block diagram illustrating a fourth example of the system configuration according to the embodiment of the present disclosure.
  • the system 10 includes information processing apparatuses 11a, 11b, and 13.
  • the input unit 100 is realized by being divided into input units 100a and 100b.
  • the input unit 100a is realized in the information processing apparatus 11a.
  • the input unit 100a can include, for example, the acceleration sensor 101, the gyro sensor 103, the geomagnetic sensor 105, the atmospheric pressure sensor 107, and / or the GPS receiver 111 described above.
  • the input unit 100b and the output unit 300 are realized in the information processing apparatus 11b.
  • the input unit 100b can include, for example, the operation input device 109 described above.
  • the processing unit 200 is realized by being distributed to the information processing apparatuses 11 a and 11 b and the information processing apparatus 13.
  • the information processing apparatuses 11a and 11b and the information processing apparatus 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • the processing unit 200 is realized by being distributed between the information processing apparatuses 11a and 11b and the information processing apparatus 13. More specifically, the processing unit 200 includes a processing unit 200a realized by the information processing device 11a, a processing unit 200b realized by the information processing device 13, and a processing unit 200c realized by the information processing device 11b. Including. Such distribution of the processing unit 200 is the same as in the third example. However, in the fourth example, since the information processing device 11a and the information processing device 11b are separate devices, the interfaces 250b1 and 250b2 can include different types of interfaces. As described above, when the processing unit 200c includes the information generation unit 207, information from the input unit 100b, for example, information from the operation input device 109 is directly provided to the processing unit 200c via the interface 150a2.
  • the fourth example is the same as that described above except that one or both of the processing unit 200a and the processing unit 200c is realized by a processor or a processing circuit included in the information processing device 11a or the information processing device 11b.
  • the information processing devices 11a and 11b can be terminal devices.
  • the information processing apparatus 13 can be a server.
  • FIG. 31 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • an information processing apparatus for example, an information processing apparatus, a system, an information processing method executed by the information processing apparatus or system, a program for causing the information processing apparatus to function, and a program are recorded It may include tangible media that is not temporary.
  • an action log acquisition function for acquiring an action log including a relative position information series and user action recognition information associated with the position information series;
  • a position information correction function that specifies a reference position included in the position information series based on the action recognition information, and corrects the position information series included in the plurality of action logs based on the reference position;
  • An information processing apparatus comprising a processing circuit for realizing the above.
  • Correcting the position information series includes dividing the position information series into a plurality of sections based on the reference position, and dividing the divided position information series between the plurality of action logs.
  • the information processing apparatus further including averaging.
  • the information processing apparatus according to (3), wherein the divided series of position information is averaged when the features are similar to each other.
  • a feature of the divided series of position information is a type of action indicated by the action recognition information corresponding to the reference position before and after the section, position information of the reference position before and after the section, or
  • the information processing apparatus including a movement distance or a movement time indicated by the divided position information series.
  • correcting the position information series includes averaging the position information series among the plurality of action logs.
  • Averaging the sequence of position information includes translating, rotating, enlarging or reducing a trajectory formed by the sequence of position information, any of (3) to (6)
  • Averaging the position information series translates a trajectory formed by the position information series so as to approach a central coordinate series of the position information series included in each of the plurality of action logs.
  • the information processing apparatus according to (7) including moving, rotating, enlarging, or reducing.
  • the central coordinate series is calculated by weighting the series of the position information included in each of the plurality of action logs according to the reliability of each action log and performing arithmetic averaging.
  • the information processing apparatus according to (8) is
  • the information processing apparatus includes a position where the action recognition information indicates that an action related to a building facility has occurred.
  • the building facility includes an elevating facility or a gateway facility.
  • the position information correction function specifies the reference position based further on a result of communication with a fixed facility associated with the position information series or absolute position information, (1) to (11) The information processing apparatus according to any one of the above.
  • the position information correction function further specifies the reference position based on a singular point appearing in the position information series.
  • the information processing apparatus according to any one of (1) to (13), wherein the series of position information is acquired by analyzing a detection value of a sensor including a motion sensor.
  • the action recognition information is acquired by analyzing a detection value of a sensor including a motion sensor.
  • a processing circuit identifies a reference position included in the series of position information based on the action recognition information, and corrects the series of position information included in the plurality of action logs based on the reference position.
  • an action log acquisition function for acquiring an action log including a relative position information series and user action recognition information associated with the position information series;
  • a position information correction function that specifies a reference position included in the position information series based on the action recognition information, and corrects the position information series included in the plurality of action logs based on the reference position;

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Strategic Management (AREA)
  • Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

行動ログに含まれる位置情報と行動認識情報とをさらに有効に活用するため、相対的な位置情報の系列と、上記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、上記行動認識情報に基づいて上記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の上記行動ログに含まれる上記位置情報の系列を補正する位置情報補正機能とを実現する処理回路を備える情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
 本開示は、情報処理装置、情報処理方法およびプログラムに関する。
 ユーザが携帯または装着するモバイル装置またはウェアラブル装置に搭載された加速度センサなどの検出値を利用して、ユーザの行動を認識する行動認識技術が開発されている。こうした行動認識技術、および行動認識技術によって得られる情報を利用してユーザに提供される情報の例は、例えば特許文献1に見ることができる。
特開2013-003643号公報
 特許文献1に記載されたような技術では、加速度センサなどの検出値とともに、GPS(Global Positioning System)を利用して取得されたユーザの位置情報を用いて行動認識が実施される。位置情報は、例えば、ユーザの行動が発生した場所や、ユーザの移動速度などを特定するために用いられる。行動認識技術の中で取得される位置情報について、それ以上の有効な活用は、特許文献1などにおいてはなされていなかった。
 そこで、本開示では、行動ログに含まれる位置情報と行動認識情報とをさらに有効に活用することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
 本開示によれば、相対的な位置情報の系列と、上記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、上記行動認識情報に基づいて上記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の上記行動ログに含まれる上記位置情報の系列を補正する位置情報補正機能とを実現する処理回路を備える情報処理装置が提供される。
 また、本開示によれば、相対的な位置情報の系列と、上記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得することと、処理回路が、上記行動認識情報に基づいて上記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の上記行動ログに含まれる上記位置情報の系列を補正することとを含む情報処理方法が提供される。
 また、本開示によれば、相対的な位置情報の系列と、上記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、上記行動認識情報に基づいて上記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の上記行動ログに含まれる上記位置情報の系列を補正する位置情報補正機能とを処理回路に実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、行動ログに含まれる位置情報と行動認識情報とをさらに有効に活用することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態の全体的な構成の例を示すブロック図である。 本開示の一実施形態の全体的な構成の別の例を示すブロック図である。 本開示の一実施形態の全体的な構成の別の例を示すブロック図である。 本開示の一実施形態における入力部、処理部、および出力部の機能構成の第1の例を示す概略的なブロック図である。 本開示の一実施形態における入力部、処理部、および出力部の機能構成の第2の例を示す概略的なブロック図である。 本開示の一実施形態における位置情報補正の第1の段階について説明するための図である。 本開示の一実施形態における位置情報補正の第2の段階について説明するための図である。 本開示の一実施形態における位置情報補正の第3および第4の段階について説明するための図である。 本開示の一実施形態における位置情報補正の効果について説明するための図である。 本開示の一実施形態におけるモデル学習機能について説明するための図である。 本開示の一実施形態におけるモデル学習機能について説明するための図である。 本開示の一実施形態における状態のモデルに基づく場所属性の推定について説明するための図である。 本開示の一実施形態における状態のモデルに基づく場所属性の推定について説明するための図である。 本開示の一実施形態における場所属性の利用の例について説明するための図である。 本開示の一実施形態における行動のスコアを利用した行動認識結果の補正について説明するための図である。 本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。 本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。 本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。 本開示の一実施形態におけるマップの分割の第1の段階について説明するための図である。 本開示の一実施形態におけるマップの分割の第2の段階について説明するための図である。 本開示の一実施形態におけるマップの分割の第3の段階について説明するための図である。 本開示の一実施形態におけるマップの分割の結果を示す図である。 本開示の一実施形態における行動マップの分割の効果について説明するための図である。 本開示の一実施形態におけるエレベータに関連する行動の検出について説明するための図である。 本開示の一実施形態においてエレベータに関連する行動を検出する処理の例を示すフローチャートである。 本開示の一実施形態における階段に関連する行動の検出について説明するための図である。 本開示の一実施形態において階段に関連する行動を検出する処理の例を示フローチャートである。 本開示の実施形態に係るシステム構成の第1の例を示すブロック図である。 本開示の実施形態に係るシステム構成の第2の例を示すブロック図である。 本開示の実施形態に係るシステム構成の第3の例を示すブロック図である。 本開示の実施形態に係るシステム構成の第4の例を示すブロック図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.全体的な構成
  1-1.入力部
  1-2.処理部
  1-3.出力部
 2.機能構成例
  2-1.第1の例
  2-2.第2の例
 3.位置情報補正機能
 4.モデル学習機能
 5.マップ生成機能
 6.位置情報と建物設備との関連付け処理機能
 7.システム構成
 8.ハードウェア構成
 9.補足
 (1.全体的な構成)
 図1は、本開示の一実施形態の全体的な構成の例を示すブロック図である。図1を参照すると、システム10は、入力部100と、処理部200と、出力部300とを含む。入力部100、処理部200、および出力部300は、後述するシステム10の構成例に示されるように、1または複数の情報処理装置によって実現される。
 (1-1.入力部)
 入力部100は、例えば、操作入力装置、センサ、または外部サービスから情報を取得するソフトウェアなどを含み、ユーザ、周辺環境、または他のサービスから、さまざまな情報の入力を受け付ける。
 操作入力装置は、例えば、ハードウェアボタン、キーボード、マウス、タッチパネル、タッチセンサ、近接センサ、加速度センサ、ジャイロセンサ、温度センサなどを含み、ユーザによる操作入力を受け付ける。また、操作入力装置は、ユーザのジェスチャまたは音声によって表現される操作入力を受け付ける、カメラ(撮像素子)またはマイクロフォンなどを含んでもよい。
 なお、入力部100には、操作入力装置によって取得される信号またはデータを操作コマンドに変換するプロセッサまたは処理回路が含まれてもよい。あるいは、入力部100は、操作入力装置が取得した信号またはデータを、操作コマンドに変換することなくインターフェース150に出力してもよい。その場合、操作入力装置が取得した信号またはデータは、例えば処理部200で操作コマンドに変換される。
 センサは、加速度センサ、ジャイロセンサ、地磁気センサ、照度センサ、温度センサ、または気圧センサなどを含み、装置にかかる加速度や角速度、方位、照度、温度、気圧などを検出する。上記の各種センサは、例えばセンサを含む装置がユーザによって携帯または装着されている場合に、各種情報をユーザに関する情報、例えばユーザの運動や向きなどを示す情報として検出することができる。また、センサは、他にも、脈拍、発汗、脳波、触覚、嗅覚、味覚など、ユーザの生体情報を検出するセンサを含んでもよい。入力部100には、これらのセンサによって検出された情報、および/または後述するカメラやマイクによって検出された画像または音声のデータを解析することによってユーザの感情を示す情報を取得する処理回路が含まれてもよい。あるいは、上記の情報および/またはデータは解析を経ずにインターフェース150に出力され、例えば処理部200において解析が実行されてもよい。
 さらに、センサは、カメラ、マイク、上述した各種センサなどにより、ユーザまたは装置の近傍の画像または音声をデータとして取得してもよい。また、センサは、屋内または屋外の位置を検出する位置検出手段を含んでもよい。位置検出手段は、具体的には、GNSS(Global Navigation Satellite System)受信機、および/または通信装置などを含みうる。GNSSは、例えばGPS(Global Positioning System)、GLONASS(Global Navigation Satellite System)、BDS(BeiDou Navigation Satellite System)、QZSS(Quasi-Zenith Satellites System)、またはGalileoなどを含みうる。以下の説明では、例としてGPSが利用される場合について説明するが、同様に他のGNSSが利用されてもよい。通信装置は、例えばWi-fi、MIMO(Multi-Input Multi-Output)、セルラー通信(例えば携帯基地局を使った位置検出、フェムトセル)、または近距離無線通信(例えばBLE(Bluetooth Low Energy)、Bluetooth(登録商標))などの技術を利用して位置を検出する。
 上記のようなセンサがユーザの位置や状況(生体情報を含む)を検出する場合、センサを含む装置は、例えばユーザによって携帯または装着されている。あるいは、センサを含む装置がユーザの生活環境に設置されているような場合にも、ユーザの位置や状況(生体情報を含む)を検出することが可能でありうる。例えば、室内などに固定して設置されたカメラによって取得されたユーザの顔を含む画像を解析することによって、ユーザの脈拍を検出することができる。
 なお、入力部100には、センサによって取得される信号またはデータを所定の形式に変換する(例えば、アナログ信号をデジタル信号に変換したり、画像または音声のデータをエンコードしたりする)プロセッサまたは処理回路が含まれてもよい。あるいは、入力部100は、取得された信号またはデータを、所定の形式に変換することなくインターフェース150に出力してもよい。その場合、センサが取得した信号またはデータは、処理部200で操作コマンドに変換される。
 外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのAPI(Application Program Interface)を利用して、外部サービスによって提供される各種の情報を取得する。ソフトウェアは、例えば外部サービスのサーバから情報を取得してもよいし、クライアント装置で実行されているサービスのアプリケーションソフトウェアから情報を取得してもよい。ソフトウェアによって、例えば、ユーザまたは他のユーザがソーシャルメディアなどの外部サービスに投稿したテキストや画像などの情報が取得されうる。取得される情報は、必ずしもユーザまたは他のユーザによって意図的に投稿されたものでなくてもよく、例えばユーザまたは他のユーザが実行した操作のログなどであってもよい。また、取得される情報は、ユーザまたは他のユーザの個人的な情報には限らず、例えばニュース、天気予報、交通情報、POI(Point Of Interest)、または広告などのように、不特定多数のユーザに向けて配信される情報であってもよい。
 また、外部サービスから取得される情報には、上述した各種センサによって取得された情報、例えば加速度、角速度、方位、照度、温度、気圧、脈拍、発汗、脳波、触覚、嗅覚、味覚、その他の生体情報、感情、位置情報などが、外部サービスと連携する他のシステムに含まれるセンサによって検出され、外部サービスに投稿されることによって生成された情報が含まれてもよい。
 インターフェース150は、入力部100と処理部200との間のインターフェースである。例えば、入力部100と処理部200とが別個の装置で実現される場合、インターフェース150は、有線または無線の通信インターフェースを含みうる。また、インターネットが入力部100と処理部200の間に介在することもありうる。より具体的には、有線または無線の通信インターフェースは、3G/LTEなどのセルラー通信、Wi-Fi、Bluetooth(登録商標)、NFC(Near Field Communication)、イーサネット(登録商標)、HDMI(登録商標)(High-Definition Multimedia Interface)、USB(Universal Serial Bus)などを含みうる。また、入力部100と処理部200の少なくとも一部とが同一の装置で実現される場合、インターフェース150は、装置内のバスや、プログラムモジュール内でのデータ参照などを含みうる(以下、これらを装置内のインターフェースともいう)。また、入力部100が複数の装置に分散して実現される場合、インターフェース150は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース150は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
 (1-2.処理部)
 処理部200は、入力部100によって取得された情報に基づいてさまざまな処理を実行する。より具体的には、例えば、処理部200は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などのプロセッサまたは処理回路を含む。また、処理部200は、プロセッサまたは処理回路において実行されるプログラム、および処理において読み書きされるデータを一時的または永続的に格納するメモリまたはストレージ装置を含んでもよい。
 なお、処理部200は、単一の装置内の単一のプロセッサまたは処理回路によって実現されてもよいし、複数の装置、または同一の装置内の複数のプロセッサもしくは処理回路に分散して実現されてもよい。処理部200が分散して実現される場合、図2Aおよび図2Bに示す例のように、処理部200の分割された部分の間にはインターフェース250が介在する。インターフェース250は、上記のインターフェース150と同様に、通信インターフェース、または装置内のインターフェースを含みうる。なお、後述する処理部200の詳細な説明では、処理部200を構成する個々の機能ブロックを例示するが、インターフェース250は、任意の機能ブロックの間に介在しうる。つまり、処理部200が複数の装置、または複数のプロセッサもしくは処理回路に分散して実現される場合、機能ブロックをどのように各装置、各プロセッサまたは各処理回路に振り分けるかは、別途の記載がない限り任意である。
 (1-3.出力部)
 出力部300は、処理部200から提供された情報を、ユーザ(入力部100のユーザと同じユーザであってもよいし、異なるユーザであってもよい)、外部装置、または他のサービスに出力する。例えば、出力部300は、出力装置、制御装置、または外部サービスに情報を提供するソフトウェアなどを含みうる。
 出力装置は、処理部200から提供された情報を、ユーザ(入力部100のユーザと同じユーザであってもよいし、異なるユーザであってもよい)の視覚や聴覚、触覚、嗅覚、味覚などの感覚によって知覚される形式で出力する。例えば、出力装置はディスプレイであり、情報を画像によって出力する。なお、ディスプレイは、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどの反射型または自発光型のディスプレイには限らず、ウェアラブル装置などで用いられるような、ユーザの眼に画像表示光を導光する導光部材と光源との組み合わせをも含む。また、出力装置はスピーカを含み、情報を音声によって出力してもよい。その他にも、出力装置は、プロジェクタやバイブレータなどを含んでもよい。
 制御装置は、処理部200から提供された情報に基づいて装置を制御する。制御される装置は、出力部300を実現する装置に含まれてもよいし、外部装置であってもよい。より具体的には、例えば、制御装置は制御コマンドを生成するプロセッサまたは処理回路を含む。外部装置が制御される場合、出力部300は、さらに、制御コマンドを外部装置に送信する通信装置を含みうる。制御装置は、例えば、処理部200から提供された情報を印刷物として出力するプリンタを制御する。制御装置は、処理部200から提供された情報の、ストレージ装置またはリムーバブル記録媒体への書き込みを制御するドライバを含んでもよい。あるいは、制御装置は、処理部200から提供された情報を出力または記録する装置以外の装置を制御してもよい。例えば、制御装置は、照明装置を制御して照明を点灯させたり、テレビを制御して画像を消したり、オーディオ装置を制御して音量を調節したり、ロボットを制御してその動き等を制御したりしてもよい。
 外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのAPIを利用して、処理部200から提供された情報を外部サービスに提供する。ソフトウェアは、例えば外部サービスのサーバに情報を提供してもよいし、クライアント装置で実行されているサービスのアプリケーションソフトウェアに情報を提供してもよい。提供される情報は、必ずしもすぐに外部サービスに反映されるものでなくてよく、例えばユーザが外部サービスに投稿または送信するための候補として提供されてもよい。より具体的には、例えば、ソフトウェアは、クライアント装置で実行されているブラウザソフトウェアにおいて、ユーザが入力する検索キーワードやURL(Uniform Resource Locator)の候補として用いられるテキストを提供してもよい。また、例えば、ソフトウェアは、ユーザに代わって、ソーシャルメディアなどの外部サービスに、テキスト、画像、動画、音声などを投稿してもよい。
 インターフェース350は、処理部200と出力部300との間のインターフェースである。例えば、処理部200と出力部300とが別個の装置で実現される場合、インターフェース350は、有線または無線の通信インターフェースを含みうる。また、処理部200の少なくとも一部と出力部300とが同一の装置で実現される場合、インターフェース350は、上述した装置内のインターフェースを含みうる。また、出力部300が複数の装置に分散して実現される場合、インターフェース350は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース350は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
 (2.機能構成例)
 (2-1.第1の例)
 図3は、本開示の一実施形態における入力部、処理部、および出力部の機能構成の第1の例を示す概略的なブロック図である。以下、図3を参照して、本実施形態に係るシステム10に含まれる入力部100、処理部200、および出力部300の第1の機能構成例について説明する。
 入力部100は、加速度センサ101と、ジャイロセンサ103と、地磁気センサ105と、気圧センサ107と、操作入力装置109とを含みうる。加速度センサ101、ジャイロセンサ103、地磁気センサ105、および気圧センサ107は、例えば、ユーザによって携帯または装着される端末装置に搭載される。これらのセンサによって、ユーザにかかる加速度または角速度や、ユーザの向きの変化、ユーザの周辺の気圧を検出することができる。入力部100には、後述する自律測位や行動認識に利用可能なセンサデータを提供する他のセンサが含まれてもよい。操作入力装置109は、上記の各センサと同じ端末装置、またはこれとは異なる端末装置に搭載される。操作入力装置109は、例えば、後述する位置情報および行動認識情報に基づく情報生成に関するユーザの指示を示す操作入力を取得する。上述の通り、入力部100は、これらのセンサおよび操作入力装置によって取得されたデータを変換または解析するためのプロセッサまたは処理回路をさらに含んでもよい。
 処理部200は、自律測位部201と、行動認識部203と、統合解析部205と、情報生成部207とを含みうる。これらの機能構成は、例えば端末装置と通信するサーバのプロセッサまたは処理回路によって実現される。また、これらの機能構成のうちの一部は、入力部100に含まれるセンサまたは操作入力装置と同じ端末装置のプロセッサまたは処理回路によって実現されてもよい。なお、そのような構成の具体的な例については後述する。以下、それぞれの機能構成について、さらに説明する。
 自律測位部201は、加速度センサ101、ジャイロセンサ103、および地磁気センサ105(以下、これらのセンサを総称してモーションセンサともいう)、ならびに気圧センサ107の検出値に基づく自律測位を実施することによって相対的な位置情報を取得する。この位置情報は、センサが搭載された端末を携帯または装着しているユーザの位置情報でありうる。センサの検出値が時間的に連続して提供される場合、自律測位部201は位置情報の系列を取得する。なお、自律測位の手法については既によく知られているため、詳細な説明は省略する。本実施形態において、自律測位部201は、公知の自律測位技術の任意の構成を採用することが可能である。自律測位部201によって取得される位置情報は、例えばセンサの検出値の誤差範囲などに対応する信頼度の情報を含んでもよい。
 行動認識部203は、加速度センサ101、ジャイロセンサ103、および地磁気センサ105(モーションセンサ)、ならびに気圧センサ107の検出値に基づく行動認識を実施することによって行動認識情報を取得する。行動認識によって、例えば、滞在、徒歩、走り、ジャンプ、階段、エレベータ、エスカレータ、自転車、バス、列車、自動車、船、または飛行機といったユーザの行動の種類が認識される。なお、行動認識の手法については、例えば特開2012-8771号公報など多くの文献に記載されているため、詳細な説明は省略する。本実施形態において、行動認識部203は、公知の行動認識技術の任意の構成を採用することが可能である。行動認識情報は、例えばセンサの検出値の誤差範囲や行動の種類について算出されるスコアなどに対応する信頼度の情報を含んでもよい。
 ここで、本実施形態において自律測位部201および行動認識部203は、いずれも、モーションセンサを含むセンサの検出値を解析することによって、位置情報および行動認識情報をそれぞれ取得する。位置情報と行動認識情報とは、例えば元のセンサの検出値のタイムスタンプに基づいて、互いに関連付けられる。以下、互いに関連付けられた位置情報およびユーザの行動認識情報を含む情報を、ユーザの行動ログともいう。図3に示された第1の例では、自律測位部201および行動認識部203によって、行動ログ取得機能が実現されている。他の例で、自律測位部201または行動認識部203の少なくともいずれかと、統合解析部205とが異なる装置において実現される場合には、統合解析部205を実現する装置において位置情報または行動認識情報の少なくともいずれかを受信する通信装置によって行動ログ取得機能が実現されてもよい。
 統合解析部205は、行動ログに含まれる位置情報と行動認識情報とを統合的に解析する。より具体的には、例えば、統合解析部205は、行動認識情報に基づいて位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして複数の行動ログに含まれる位置情報の系列を補正する位置情報補正機能、または、位置情報および行動認識情報に基づいて、位置情報によって示される位置におけるユーザの行動のモデルを学習するモデル学習機能のいずれかまたは両方を実現する。また、統合解析部205は、位置情報および行動認識情報に基づいて、行動認識情報に基づく情報を配置するためのマップを生成するマップ生成機能を実現してもよい。なお、これらの機能の詳細については後述する。
 情報生成部207は、統合解析部205から提供される情報に基づいて、出力部300からユーザに出力するための情報を生成する。より具体的には、例えば、情報生成部207は、統合解析部205によって実現されるモデル学習機能によって学習されたモデルに基づく情報を生成する。また、情報生成部207は、位置情報に基づいて生成されたマップ上に、行動認識情報に基づく情報を配置した情報を生成してもよい。情報生成部207によって生成された情報は、インターフェース350を介して出力部300において出力されうる。なお、情報生成部207によって生成される情報のより具体的な例については後述する。
 出力部300は、ディスプレイ301と、スピーカ303と、バイブレータ305とを含みうる。ディスプレイ301、スピーカ303、およびバイブレータ305は、例えば、ユーザによって携帯または装着される端末装置に搭載される。ディスプレイ301は情報を画像として出力し、スピーカ303は情報を音声として出力し、バイブレータ305は情報を振動として出力する。出力される情報は、情報生成部207によって生成された情報を含みうる。ディスプレイ301、スピーカ303、またはバイブレータ305は、入力部100のセンサと同じ端末装置に搭載されてもよい。また、ディスプレイ301、スピーカ303、またはバイブレータ305は、入力部100の操作入力装置109と同じ端末装置に搭載されてもよい。あるいは、ディスプレイ301、スピーカ303、またはバイブレータ305は、入力部100の構成要素とは異なる端末装置に搭載されてもよい。なお、入力部100、処理部200、および出力部300を実現する端末装置およびサーバのより具体的な構成例については後述する。
 (2-2.第2の例)
 図4は、本開示の一実施形態における入力部、処理部、および出力部の機能構成の第2の例を示す概略的なブロック図である。以下、図4を参照して、本実施形態に係るシステム10に含まれる入力部100、処理部200、および出力部300の第2の機能構成例について説明する。なお、出力部300の構成については、上記の第1の例と同様であるため、重複した説明は省略する。
 入力部100は、GPS受信機111と、加速度センサ101と、ジャイロセンサ103と、地磁気センサ105と、気圧センサ107と、操作入力装置109とを含みうる。上記の第1の例との違いとして、第2の例では、入力部100が、センサおよび操作入力装置に加えてGPS受信機111を含みうる。従って、入力部100では、GPSを利用した測位を実施し、絶対的な位置情報を取得することが可能である。それ以外の部分については、上記の第1の例と同様であるため、重複した説明は省略する。
 処理部200は、位置情報取得部211と、行動認識部203と、統合解析部205と、情報生成部207とを含みうる。上記の第1の例との違いとして、第2の例では、処理部200が、自律測位部201に代えて位置情報取得部211を含む。位置情報取得部211は、入力部100に含まれるGPS受信機111から、インターフェース150を介して送信される位置情報を受信する。つまり、図4に示された第2の例では、位置情報取得部211および行動認識部203によって、行動ログ取得機能が実現されている。位置情報取得部211によって取得される、GPSによって取得された位置情報の信頼度が十分に高いような場合、統合解析部205は、必ずしも位置情報補正機能を実現しなくてもよい。
 なお、上記の第1の例と第2の例とは、重畳的に採用されうる。つまり、入力部100は、センサおよび操作入力装置に加えてGPS受信機111を含み、処理部200は、自律測位部201と位置情報取得部211との両方を含んでもよい。この場合、GPS受信機111による測位が可能な場合には第2の例が採用されうる。つまり、位置情報取得部211がGPS受信機111から送信される位置情報を受信し、統合解析部205が位置情報補正機能を実現しない。一方、上記の場合、GPS受信機111による測位が困難な場合には第1の例が採用されうる。つまり、自律測位部201がセンサの検出値に基づく自律測位を実施し、統合解析部205が位置情報補正絹を実現する。
 (3.位置情報補正機能)
 次に、本実施形態において実現されうる位置情報補正機能について、さらに説明する。上記のように、位置情報補正機能は、処理部200に含まれる統合解析部205において実現されうる。
 図5は、本開示の一実施形態における位置情報補正の第1の段階について説明するための図である。図5には、自律測位部201が取得する相対的な位置情報の系列によって構成されるユーザの移動軌跡Tが示されている。まず、統合解析部205は、位置情報に関連付けられたユーザの行動認識情報などに基づいて、位置情報の系列に含まれる基準位置を特定する。図示された例において、統合解析部205は、移動軌跡T上の基準位置P1~P4を特定している。基準位置P1,P4は、移動軌跡Tによって示される位置情報の系列の始点および終点である。また、基準位置P2,P3は、後述するように、位置情報の系列の分割点である。
 基準位置P1,P4は、行動認識情報によって、建物設備に関連する行動が発生したことが示される位置である。建物設備は、例えば、階段、エレベータ、またはエスカレータのような昇降設備、またはドアのようなゲートウェイ設備を含みうる。図示された例では、基準位置P1において、「エレベータへの乗降」が発生したことが、行動認識情報によって示されている。また、基準位置P4において、「階段の昇降」が発生したことが、行動認識情報によって示されている。このような行動認識情報は、例えば、行動認識部203が、入力部100に含まれる加速度センサ101や気圧センサ107などの検出値を解析することによって取得されうる。
 基準位置P2は、センサを搭載した端末装置が、別途搭載している通信装置によってビーコンBとの通信に成功した位置である。端末装置は、ビーコンBとの間で、例えばBluetooth(登録商標)などの近距離無線通信を実行する。端末装置は、通信が成功したことを示す情報を、タイムスタンプとともに、処理部200を実現する装置(例えばサーバ)に送信する。この場合、統合解析部205は、タイムスタンプを用いて、端末装置とビーコンBとの通信結果を位置情報に対応付けることができる。ここで、ビーコンBは、例えば建物のフロアなどにおける固定設備であるため、ビーコンB自体の位置情報が知られていなくても、ビーコンBとの通信に成功した端末装置は、同じ、または近接した位置にある可能性が高い。同様の理由で、統合解析部205は、センサを搭載した端末装置が、GPSなどによる絶対的な位置情報を取得することに成功した位置を、基準位置として特定してもよい。この場合も、共通の絶対的な位置情報を取得した端末装置は、同じ、または近接した位置にある可能性が高い。
 基準位置P3は、位置情報によって、ユーザの所定時間以上の滞在が示される位置である。このように、統合解析部205は、位置情報の系列に現れる特異点を、基準位置として特定してもよい。特異点として、他には、ユーザの進行方向や移動速度が顕著に転換する点などがありうる。なお、同様の特異点は、位置情報の系列ではなく、行動認識情報に基づいて特定されてもよい。また、統合解析部205は、位置情報の系列と行動認識情報を組み合わせて解析することによって、特異点を特定してもよい。
 図6は、本開示の一実施形態における位置情報補正の第2の段階について説明するための図である。図6には、基準位置P1~P4を基準にしてユーザの移動軌跡Tを分割する区間S1~S3が示されている。本実施形態において、統合解析部205は、基準位置を基準にして位置情報の系列を複数の区間に分割し、該分割された位置情報の系列を複数の行動ログの間で平均化することによって、位置情報の系列を補正する。
 図7は、本開示の一実施形態における位置情報補正の第3および第4の段階について説明するための図である。自律測位部201および行動認識部203によって取得される行動ログが、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログを含む場合、統合解析部205は、複数の行動ログのそれぞれについて上記の第1および第2の段階の処理を実施する。これによって、基準位置を基準にして複数の区間に分割された位置情報の系列(以下、セグメントともいう)が多数生成される。
 ここで、第3の段階として、統合解析部205は、セグメント(分割された位置情報の系列)をクラスタリングする。このクラスタリングによって、その特徴が互いに類似するセグメントが同じクラスタに分類される。セグメントの特徴は、例えば、区間の前後の基準位置に対応する行動の種類(行動認識情報によって示される)、区間の前後の基準位置の位置情報、またはセグメントに含まれる位置情報の系列によって示される移動距離もしくは移動時間を含む。例えば、図5および図6に示された移動軌跡Tの例において、他のユーザの行動ログに含まれる位置情報の系列も基準位置P1から基準P2までの区間に分割される場合、この区間に対応するセグメントは、移動軌跡Tが分割された区間S1に対応するセグメントと同じクラスタに分類される可能性がある。ただし、位置情報の系列によって示される移動距離または移動時間が大きく異なる場合には、これらのセグメントは同じクラスタに分類されなくてもよい。特徴が互いに類似するセグメントを同じクラスタに分類し、同じクラスタに分類されたセグメントについて後述する平均化を実施することによって、実際には異なる位置における移動を示すセグメントが誤って平均化されたり、ユーザの不規則な動きを含むセグメントが平均化に用いられることによって平均化の結果にノイズが混入したりすることを防止できる。
 続いて、図7に示されているように、統合解析部205は、同じクラスタに分類されたセグメントの間で、位置情報系列の平均化を実施する。図示された例では、3つの異なる行動ログにそれぞれ含まれるセグメントに対応する移動軌跡の部分T1,T2,T3が、中央座標系列T_AVEに近づくように、並進移動、回転移動、拡大または縮小されている。このような操作によって、例えば、各セグメントに対応する位置情報の系列の始点における速度や向きの初期値における誤差や、センサの感度の差によって生じる誤差の累積を補正することができる。中央座標系列T_AVEは、例えば、複数の行動ログにそれぞれ含まれる位置情報の系列によって示される座標を位置ごとに相加平均することによって算出される。このとき、それぞれの系列によって示される座標は、位置情報の信頼度に応じて重みづけして相加平均されてもよい。この場合、信頼度がより高い位置情報によって示される座標が、中央座標系列T_AVEにより大きく影響する。
 図8は、本開示の一実施形態における位置情報補正の効果について説明するための図である。図示された例では、自律測位によって得られるユーザの位置情報の系列によって示される移動軌跡T’が、移動軌跡Tへと補正されている。移動軌跡T’を構成する位置情報の系列は、自律測位によって相対的に求められるため、始点での速度や向きの設定値が適切でなかったり、センサの検出値に含まれる誤差が累積したりすることによって、実際の位置から乖離する可能性がある。図示された例では、始点におけるユーザの向きの設定値が適切でなかったことによって、移動軌跡T’が、始点を中心にして回転するような形で本来の移動軌跡から乖離している。
 このような自律測位結果における誤差を補正するためには、例えば、GPSなどによる絶対的な測位を2点以上で実施し、それらの点を基準にして位置情報の系列を補正する方法が考えられる。しかしながら、例えばGPSなどによる絶対的な測位を利用困難な屋内などの環境では、そのような方法を採用することは容易ではない。そこで、本実施形態では、位置情報の系列を補正するための基準位置を、位置情報に関連付けて取得される行動認識情報に基づいて特定する。行動認識情報は、例えばユーザがセンサを搭載した端末装置を携帯または装着している限りにおいて、屋内でも屋外でも取得できるため、位置情報の系列に含まれる位置の中から、任意の数の基準位置を特定することができる。
 ここで、例えば、基準位置を2点だけ特定した場合、その間の位置情報の系列について、複数の行動ログの間での平均化による補正を実施することも可能である。しかしながら、例えば位置情報の系列が、比較的広い領域での位置情報を含む場合、位置情報の系列によって構成される軌跡の形状が複雑になり、例えば単純な並進移動、回転移動、拡大または縮小などによって位置情報の系列を補正することが困難である。それゆえ、本実施形態では、基準位置を位置情報系列の始点、終点、および分割点とし、基準位置を基準にして複数の区間に分割された位置情報の系列のそれぞれについて平均化を実施する。これによって、例えば、図3に示した例のように補正対象の移動軌跡の形状が単純になり、平均的な移動軌跡の算出や、並進移動、回転移動、拡大または縮小による補正が容易になる。
 また、複数の行動ログにそれぞれ含まれる位置情報の系列の中には、同じコースでの規則的な移動によって生成された系列だけが含まれるとは限らない。例えば、部分的に同じコースでも途中から別のコースになったり(例えば、異なるユーザがオフィスに入ってからそれぞれのデスクに向かった場合など)、ユーザの不規則な動きが含まれたり(例えば、ユーザが不意に立ち止まったり、寄り道をした場合など)する可能性がある。このような場合に生成される位置情報の系列が平均化に用いられると、規則的な移動によって生成された系列に対するノイズになってしまい、位置情報が正しく補正されない可能性がある。それゆえ、本実施形態では、基準位置を基準にして位置情報の系列を複数の区間に分割し、分割された位置情報の系列の特徴が互いに類似する場合に、それらの位置情報の系列の間で平均化を実施する。
 (4.モデル学習機能)
 次に、本実施形態において実現されうるモデル学習機能について、さらに説明する。上記のように、モデル学習機能は、処理部200に含まれる統合解析部205において実現されうる。
 図9および図10は、本開示の一実施形態におけるモデル学習機能について説明するための図である。図9には、位置情報および行動認識情報によって定義されるユーザの状態STが示されている。統合解析部205によって学習されるユーザの行動のモデルは、例えば、図示された例のように、状態STと、状態STにおける位置の観測確率および行動の観測確率と、状態間の遷移確率とによって定義される確率モデルであってもよい。状態STとユーザの位置情報との関連性を示すために、図9には、ユーザの移動軌跡Tも示されている。
 なお、本実施形態において、モデル学習機能は、上記の位置情報補正機能とは独立して実現されうる。つまり、図9において移動軌跡Tによって示されているようなユーザの位置情報は、例えば上記の機能構成の第1の例において自律測位部201が取得する位置情報が、統合解析部205が実現する位置情報補正機能によって補正されることによって提供されてもよい。また、ユーザの位置情報は、自律測位部201が取得する位置情報が、上記の位置情報補正機能とは異なる方法によって補正されることによって提供されてもよく、自律測位部201が取得した位置情報そのものであってもよい。あるいは、ユーザの位置情報は、上記の機能構成の第2の例において位置情報取得部211が取得する、GPSによる位置情報であってもよい。
 本実施形態では、行動のモデル学習のために、例えばHMM(Hidden Markov Model)のような確率モデルが利用される。HMMは、状態、観測確率、および遷移確率からなるモデルである。観測確率は、それぞれの状態について、座標(位置)がどのあたりであり、どのような行動が発生しているかを、確率として表現する。遷移確率は、ある状態が別の状態に遷移する、または自己遷移する確率を示す。統合解析部205は、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログに含まれる、位置情報と該位置情報に関連付けられた行動認識情報との組に基づいて状態を定義する。状態は位置情報のみによって定義されるわけではないため、重複した位置に複数の異なる状態が定義されることがありうる。
 図10には、図9において破線で囲んだ部分にある3つの状態ST1~ST3を抽出したものが図示されている。図10では、状態ST3について、観測確率POBは、座標(緯度および経度)のそれぞれの平均および標準偏差(σ)、および行動認識結果の観測確率を含む。なお、観測確率POBには、図示された例の項目以外にも、時刻、曜日、季節、施設、またはユーザ属性などのような付帯的な属性の観測確率が含まれてもよい。つまり、本実施形態において、確率モデルは、さらに、各状態における付帯的な属性の観測確率によって定義されてもよい。一方、図10では、状態ST2について、遷移確率Pが、状態ST1へ22%、状態ST3へ27%、図示しない下方の状態へ24%、自己遷移確率PSTが27%であることが示されている。
 図11および図12は、本開示の一実施形態における状態のモデルに基づく場所属性の推定について説明するための図である。本実施形態において、処理部200に含まれる情報生成部207は、統合解析部205が学習したモデルに基づく情報を生成しうる。例えば、情報生成部207は、行動ログに含まれる位置情報によって示される位置の場所属性を示す情報を生成する。
 図11には、上記の図9に示された状態STが、通路の場所属性に対応する状態ST_Pと、エレベータの場所属性に対応する状態ST_Eとに分類された状態が示されている。例えば、上記で図9および図10を参照して説明したような行動のモデル学習の処理によって、状態STと、状態STにおける位置および行動の観測確率と、状態ST間の遷移確率とが定義されている。ここで、状態STの観測確率および遷移確率から抽出される特徴を入力として、識別関数を用いて各場所属性のスコアを算出した結果、図示された例の状態STは、通路の場所属性に対応する状態ST_Pと、エレベータの場所属性に対応する状態ST_Eとに分類されている。なお、状態STの特徴は、例えば、行動の観測確率や、遷移先の状態における行動の観測確率、遷移確率のエントロピー、状態STに該当したユーザの数(1日あたりのユーザ数、ユニークなユーザ数、延べユーザ数、など)などを含みうる。
 図12には、識別関数を用いた各場所属性のスコア算出の例が示されている。例えば、ある範囲で定義された状態STについて、それぞれの状態の対応する場所属性ラベルPL1~PL3が所与である場合、これらの状態および場所属性ラベルに基づいてSVM(Support Vector Machine)やAdaBoostといった手法を用いた機械学習を実施することで、それぞれの場所属性についての識別関数C(x)を定義することができる。より具体的には、ある状態STの特徴量xを入力した場合に、当該状態STに対して所与の場所属性ラベルPLのスコアが最も高くなるように、学習によって識別関数C(x)を生成する。図示された例では、場所属性ラベル「エレベータ」を識別するための識別関数Celevator(x)や、場所属性ラベル「通路」を識別するための識別関数Cpathway(x)などが例示されている。
 図13は、本開示の一実施形態における場所属性の利用の例について説明するための図である。図13に示された例では、建物のフロアにおいて、会議室、デスク、および通路の場所属性が推定されている。このような状況において、例えば、デスクから会議室に向かう移動軌跡Tを伴うユーザの行動が検出された場合、ユーザがデスクで仕事をしている状態から、会議に参加するために会議室に移動したという行動を推定することができる。情報生成部207は、このように、位置情報および位置情報に関連付けられた行動認識情報を含む行動ログと、行動ログに基づくユーザの行動のモデル学習の結果として推定される場所属性とに基づいて認識される行動を示す情報を生成してもよい。上記の例において、行動認識部203は、センサの検出値を利用した行動認識を実施するが、この場合に、仕事中、買い物中、食事中といったようなユーザの高次の行動を高い精度で認識することは困難である。そこで、上記のようなユーザの行動のモデル学習および場所属性の推定の結果を組み合わせてさらなる行動認識を実施することによって、ユーザの高次の行動を高い精度で認識することが可能になる。
 また、他の例において、情報生成部207は、モデルにおける位置の観測確率および行動の観測確率に基づいて算出される位置ごとの行動のスコアに基づく情報を生成してもよい。このスコアは、例えば、それぞれの状態における行動の観測確率を、位置の平均および分散に応じて足し合わせることによって算出される。例えば、情報生成部207は、スコアに基づいて特定される、位置を代表する行動を示す情報を生成してもよい。位置を代表する行動は、最も高いスコアを有する行動でありうる。また、例えば、情報生成部207は、スコアに基づく位置における行動の度数分布を示す情報を生成してもよい。度数分布は、それぞれの行動のスコアに応じて生成されうる。
 図14は、本開示の一実施形態における行動のスコアを利用した行動認識結果の補正について説明するための図である。図14に示された例では、行動ログに含まれる行動認識情報が、ユーザの移動手段(列車、バス、自動車)を示す情報を含む。また、行動ログに含まれる位置情報が移動軌跡Tを示している。また、過去に取得された行動ログに基づいて、それぞれの移動手段(列車、バス、自動車)の観測確率を含むモデルが学習されている。この場合、モデルにおける位置および行動の観測確率に基づいて、位置ごとの移動手段(列車、バス、自動車)のスコアを算出することができる。このスコアを、各状態における位置の観測確率に基づいてマップ上に表現することによって、それぞれの位置において認識された移動手段(列車、バス、自動車)の傾向を示すマップを生成することができる。
 図示された例では、それぞれの移動手段のスコアが高い領域が、それぞれR_train、R_Bus、R_Carとして示されている。なお、それぞれの領域は、印刷の都合上均一なハッチングで表現されているが、実際には領域内で位置ごとにスコアの高低が表現されうる。つまり、領域R_train、R_Bus、R_Carの中には、それぞれの移動手段のスコアがより高い領域とそうではない領域とが含まれうる。また、位置ごとに複数の移動手段のスコアが表現されていてもよい。
 ここで、例えば、ユーザの移動軌跡Tが主に自動車のスコアが高い領域R_Carを通過しているにもかかわらず、移動軌跡Tに関連付けられた行動認識情報は移動手段が列車であることを示している場合、情報生成部207は、行動認識結果を列車から自動車に補正してもよい。このような処理は、例えば、マップ上で線路や道路の領域が予め与えられる場合にも可能であるが、そのような情報をマップの全体について取得し、さらに随時更新することは容易ではない。本実施形態では、上記のような状態のモデル学習によって、位置ごとに認識される行動の傾向を示すマップを生成することができるため、容易に位置情報に基づいた行動認識結果の補正を実施することができる。
 より具体的な行動認識結果の補正の方法として、例えば、情報生成部207は、行動認識部203が取得する行動認識情報によって示される行動のスコアと、統合解析部205が学習した確率モデルによって示される行動のスコアとを重みづけして足し合わせることによって算出されるスコアに基づいて認識される行動を示す情報を生成してもよい。例えば、図14に示された例において、行動認識情報によって示される行動のスコアが、「列車=0.5,自動車=0.25」であり、確率モデルによって示される行動のスコア(マップ上の移動軌跡T上の位置に対応するスコア)が「列車=0.25,自動車=0.75」であり、それぞれのスコアに0.5ずつの重みづけをして足し合わせる場合、列車のスコアは、0.5×0.5+0.25×0.5=0.375になる。また、自動車のスコアは、0.25×0.5+0.75×0.5=0.5になる。従って、行動認識結果は、列車から自動車に補正される。
 図15~図17は、本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。図15~図17を参照して説明される画面1100は、例えば出力部300に含まれるディスプレイ301によって画像として表示される。
 図15では、画面1100において、マップ1101と、行動種類入力1103と、曜日入力1105と、時間帯入力1107とが表示されている。上述のように、本実施形態において、統合解析部205によって学習されるユーザの行動のモデルは、ユーザの状態と、該状態における位置の観測確率および行動の観測確率と、状態間の遷移確率とによって定義される確率モデルでありうる。さらに、確率モデルは、さらに、各状態における付帯的な属性の観測確率によって定義されうる。この場合、情報生成部207は、これらの付帯的な属性に応じて行動の観測確率をフィルタすることによって情報を生成することが可能である。
 図16では、図15に示した画面1100において、行動種類入力1103で「自動車」、「バス」および「列車」が選択され、曜日入力1105で月曜日~金曜日が選択され、時間帯として6:00~10:00が選択されている。この場合、マップ1101では、選択された曜日および時間帯において、選択された行動の種類(列車、バス、自動車)のスコアが高い領域R_train、R_Bus、R_Carがオーバーレイ表示される。スコアは、上記の通り、例えば、それぞれの状態における行動の観測確率を、位置の平均および分散に応じて足し合わせることによって算出される。このとき、行動の観測確率は、選択された曜日および時間帯の観測確率に応じて重みづけした上で足し合わされる。
 なお、領域R_train、R_Bus、R_Carは、印刷の都合上均一なハッチングで表現されているが、実際には領域内で位置ごとにスコアの高低が表現されうる。スコアの高低は、例えばヒートマップやコンターマップ(等高線図)などによって表現されうる。また、それぞれの位置において複数の移動手段のスコアが算出されている場合、領域R_train、R_Bus、R_Carの表示にあたっては、そのうちで最も高いスコアを有する行動が選択されうる。
 図17には、上記の図15および図16の例における行動種類入力1103、曜日入力1105、および時間帯入力1107のような入力部の他の例が示されている。例えば、図示された例のように、年齢入力1109、性別入力1111、または職業入力1113が、上記の図15に示された入力部とともに、またはこれに代えて、画面1100に表示されてもよい。例えば、確率モデルが各状態における年齢、性別、職業を含む付帯的な属性の観測確率によって定義される場合には、情報生成部207がこれらの属性に応じて行動の観測確率をフィルタして情報を生成することも可能である。
 なお、上記で図15~図17を参照して説明した画面1100のような情報の提示は、統合解析部205がユーザの行動モデルを学習しない場合にも可能である。例えば、行動ログが、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログを含む場合に、統合解析部205は、複数の行動ログにおいて同じ位置または近接する位置を示す位置情報に関連付けられた行動認識情報によって示される行動の頻度に対応するスコアを算出してもよい。この場合も、情報生成部207は、算出されたスコアを上記の例における行動のスコアと同様に扱うことによって、図15~図17を参照して説明した画面1100のような情報の提示を実現することが可能である。
 以上で説明した例のように、位置情報および行動認識情報に基づいて、位置情報によって示される位置におけるユーザの行動のモデルを学習することによって、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログに含まれる行動認識情報を、それぞれの行動認識情報に関連付けられた位置情報を介して結合させることができる。このようなモデルが提供されることによって、例えば、行動ログに含まれる位置情報によって示される位置の場所属性を推定したり、推定された場所属性を利用することによって行動認識情報の精度を向上させたりすることができる。また、モデルにおける位置の観測確率および行動の観測確率に基づいて算出される位置ごとの行動のスコアに基づく情報を生成することもできる。
 (5.マップ生成機能)
 次に、本実施形態において実現されうるマップ生成機能について、さらに説明する。上記のように、マップ生成機能は、処理部200に含まれる統合解析部205において実現されうる。
 マップ生成機能を実現する統合解析部205は、少なくとも行動ログに含まれる位置情報に基づいて、行動認識情報に基づく情報を配置するためのマップを生成する。なお、位置情報が、GPSなどによる絶対的な測位の結果などに基づいて既存のマップに対応付けられているような場合には、マップ生成機能は実現されなくてもよい。この場合、情報生成部207は、既存のマップ上に、行動認識情報に基づく情報を配置した情報を生成しうる。このような処理によっても、例えば上記で図15~図17を参照して説明した画面1100のような情報は生成可能である。
 つまり、マップ生成機能は、上記のモデル学習機能や情報生成機能の例とは独立して実現されうる。マップ生成機能を実現する統合解析部205は、例えば、行動ログに含まれる位置情報が既存のマップに対応付けられていない場合(既存のマップが存在しない場合を含む)に、位置情報に基づいて新たにマップを生成する。
 単純な例として、マップ生成機能を実現する統合解析部205は、例えば図5に示したような、位置情報の系列によって構成されるユーザの移動軌跡に基づいてマップを生成してもよい。なお、マップ生成機能は、上記の位置情報補正機能とも独立して実現されうる。つまり、統合解析部205は、上記の機能構成の第1の例において自律測位部201が取得する位置情報を、位置情報補正機能によって補正した上で、以下で説明するマップ生成機能に利用してもよいし、上記の位置情報補正機能とは異なる方法によって位置情報を補正した上で、マップ生成機能に利用してもよい。あるいは、統合解析部205は、自律測位部201が取得した位置情報を、そのままマップ生成機能に利用してもよい。また、統合解析部205は、上記の機能構成の第2の例において位置情報取得部211が取得する、GPSによる位置情報を、マップ生成機能に利用してもよい(例えば、既存の地図よりも詳細なマップを生成する場合など)。
 ここで、例えば、マップ生成機能を実現する統合解析部205は、位置情報が標高の異なる複数の系列の位置情報を含む場合に、各系列の位置情報ごとに分割されたマップを生成してもよい。例えば、位置情報は、緯度、経度、および標高(これらの数値は、グローバルなものであってもよいしローカルなものであってもよい)の情報を含みうるが、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログに含まれる位置情報の中に、標高が(誤差の範囲を超えて)異なる複数の系列の位置情報が含まれる場合に、統合解析部205は、これらの位置情報のそれぞれに対応するようにマップを分割してもよい。具体的には、行動ログの中に、建物の異なるフロアで取得された位置情報の系列が含まれるような場合に、マップは分割されうる。
 また、マップ生成機能を実現する統合解析部205は、行動ログに含まれる行動認識情報にさらに基づいてマップを生成してもよい。その場合の例(マップの分割)について、以下でさらに説明する。
 図18は、本開示の一実施形態におけるマップの分割の第1の段階について説明するための図である。図18には、例えば上記で図9および図10を参照して説明したような行動のモデル学習によって定義された状態STと、互いに遷移関係にある状態STを接続するリンクLとが示されている。図示された例では、状態STがリンクLで互いに接続されることによって構成されるグラフ構造が、ジオフェンスGFによって分割されている。より具体的には、ジオフェンスGFをまたぐリンクLが分割点に設定されている。ジオフェンスGFは、例えばマップ内での建物の範囲のような地理的な境界を示す所与の情報でありうる。ジオフェンスGFと同様にマップ内での地理的境界を示す情報として、例えば、建物における各フロアの標高情報などが用いられてもよい。状態STの特徴量に標高が含まれる場合、各フロアの境界に相当する標高をまたぐリンクLが分割点に設定されることによって、グラフ構造が分割される。このように、第1の段階では、利用可能な外部の地図情報や、ユーザによって手動で指定された情報など、所与の情報に基づいて行動マップが分割される。
 図19は、本開示の一実施形態におけるマップの分割の第2の段階について説明するための図である。図19には、上記の第1の段階において分割された領域ジオフェンスGFの外側の領域が、領域R1として示されている。図示された例では、残りの領域における状態STのグラフ構造が、さらに、建物設備に関連する行動が発生したことが示される位置で分割される。建物設備は、例えば、階段、エレベータ、またはエスカレータのような昇降設備、またはドアのようなゲートウェイ設備を含みうる。図示された例では、状態ST_DOORに接続されたリンクLが分割点に設定されている。状態ST_DOORは、行動認識において「ドアの開閉」の行動が認識された状態である。例えば、建物内で部屋ごとに行動マップを分割しようとする場合、ドアに対応する位置でマップを分割することは適切である。なお、領域R1の中でも、同様に、特定の行動認識結果を示す状態の位置で状態STのグラフ構造がさらに分割されてもよい。
 図20は、本開示の一実施形態におけるマップの分割の第3の段階について説明するための図である。図20には、上記の第1および第2の段階において分割された領域が、領域R1,R2として示されている。図示された例では、残りの領域における状態STのグラフ構造が、さらに、状態間の類似度に基づいて分割される。図示された例では、残りの領域における状態STのグラフ構造において、類似度が所定の閾値よりも低い(類似しない)と判定された状態間のリンクLが分割点に設定され、マップが2つの領域に分割されている。つまり、マップは、位置ごとのユーザの行動を示す状態が類似しない位置の間で分割される。以下では、状態が類似するか否かを判定するための類似度関数を、位置情報および行動認識情報の学習によって生成する方法について、さらに説明する。
 図示された例では、類似度関数を作成するために、まず、ある範囲で定義された状態STにラベルを与える。ここで与えられるラベルは、例えば「居室」、「会議室」、「廊下」などといったものでありうる。なお、状態STにラベルを与えるという点では、この処理は図12を参照して説明した場所属性ラベルを与える処理に類似しているが、ラベルの内容は図12の例と異なりうる。図12の例で与えられたラベルが行動認識のために用いられるのに対して、ここで与えられるラベルは行動マップの分割のために用いられる。従って、例えば、図12の例では「デスク」のラベルが与えられた状態に、「居室」のラベルが与えられうる(個々のデスクではなくデスクがある居室全体を単位としてマップを分割するため)。類似度関数は、例えば、ラベルが同じ2つの状態を入力すると類似度スコアが高くなり、ラベルが異なる2つの状態を入力すると類似度スコアが低くなるような距離関数Dとして作成される。より具体的には、2つの状態ST1,ST2の特徴量x1,x2を入力した場合に、距離関数D(x1,x2)によって算出されるスコアが上記の類似度スコアになるように、例えばDistance Metric Learningのような手法を用いて距離関数Dが作成される。
 図21は、上記の第1~第3の段階によるマップの分割の結果を示す図である。領域R1は、第1の段階において、行動マップがジオフェンスGFによって分割されることによって定義された領域である。この領域は、例えば、建物の外側に対応する。領域R2は、第2の段階において、行動マップが特徴的な行動認識結果(ドアの開閉)を示す状態ST_DOORの位置で分割されることによって定義された領域である。この領域は、例えば、建物内の通路の領域に対応する。領域R3,R4は、第3の段階において、行動マップが状態間の類似度に基づいて分割されることによって定義された領域である。これらの領域は、例えば、建物内の用途の異なる部屋(居室と会議室など)に対応する。上記の第1~第3の段階を含む処理によれば、例えば領域R1~R4のような、さまざまな属性の領域を含む行動マップを、適切に分割することができる。
 なお、上記の領域の例は一例にすぎない。例えば、行動マップに含まれる領域がすべて建物内であってもよいし、すべて建物外であってもよい。また、上述のように、第1の段階で分割された領域のすべてが、第2の段階でさらに分割されてもよい。同様に、第1の段階または第2の段階で分割された領域の全てが、第3の段階でさらに分割されてもよい。
 図22は、本開示の一実施形態における行動マップの分割の効果について説明するための図である。図22には、分割前の行動マップの例(MAP_A)と、分割後の行動マップの例(MAP_B)とが示されている。なお、これらの行動マップでは、状態の図示は省略し、遷移によるリンク(移動軌跡)だけが示されている。
 図示された例の行動マップは、2つの建物(ビルA、ビルB)とその外側の屋外とを含むが、例えば上記の第1~第3の段階の処理によって屋外の領域と、それぞれの建物のフロアの領域とに分割される。このように行動マップが分割されることによって、例えば、建物内のフロアを俯瞰する2次元的な行動マップを表示する場合のように、行動マップの所望の範囲を限定した閲覧が容易になる。また、建物内と建物外との行動マップが分離されることによって、それぞれに特有の行動や場所属性を利用した解析が可能になる。
 (6.位置情報と建物設備との関連付け処理機能)
 本実施形態において、処理部200に含まれる統合解析部205は、行動認識情報に基づいて、位置情報に建物設備を関連付ける関連付け処理機能を実現してもよい。この場合、例えば、自律測位部201または位置情報取得部211が、ユーザの位置情報を取得する位置情報取得機能を実現する。また、例えば、行動認識部203が、建物設備に関連するユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能を実現する。
 例えば、既に説明した位置情報補正機能やマップ生成機能の中でも、行動認識情報によって建物設備に関連する行動が示される例が説明された。これらの例では、建物設備に関連する行動が発生したことが示される位置が、位置情報の系列を補正するための基準点として利用されたり、マップの分割位置として利用されたりした。これらの機能の中でも、上記の関連付け処理機能が実現されていたといえる。
 その一方で、本実施形態において、関連付け処理機能は、上述した位置情報補正機能やマップ生成機能とは独立して、統合解析部205によって実現されうる。以下では、そのような関連付け処理機能について説明するとともに、建物設備に関連するユーザの行動の認識手法の一例についても説明する。このような手法は、関連付け処理機能が独立して実現される場合だけではなく、位置情報補正機能やマップ生成機能とともに関連付け処理機能が実現される場合にも利用可能である。
 本実施形態において、自律測位部201は、ユーザの位置情報を取得する位置情報取得機能を実現しうる。上述のように、自律測位部201は、入力部100に含まれる加速度センサ101、ジャイロセンサ103、および地磁気センサ105(モーションセンサ)の検出値を含むユーザのセンシング情報に基づく自律測位を実施することによって位置情報を取得する。あるいは、位置情報取得部211が位置情報取得機能を実現してもよい。位置情報取得部211は、入力部100に含まれるGPS受信機111によって提供される位置情報を取得する。
 また、本実施形態において、行動認識部203は、位置情報に関連付けられたユーザのセンシング情報に基づいて生成され、建物設備に関連するユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能を実現しうる。例えば、自律測位部201によって位置情報取得機能が実現される場合、行動認識部203に入力されるセンシング情報は、自律測位部201に入力されるセンシング情報を共通でありうるため、位置情報にはセンシング情報が関連付けられているといえる。また、位置情報取得部211によって位置情報取得機能が実現される場合も、タイムスタンプなどによって位置情報にセンシング情報を関連付けることができる。
 上述の通り、行動認識部203は、加速度センサ101、ジャイロセンサ103、および地磁気センサ105(モーションセンサ)、ならびに気圧センサ107の検出値に基づく行動認識を実施することによって行動認識情報を取得する。行動認識の手法については公知の任意の構成を採用することが可能であるが、例えば、行動認識部203は、建物設備に関連するユーザの行動に対応する動作モデルを参照して、センサの検出値のパターン認識などを実行することによって、行動認識情報を取得してもよい。なお、他の例で、行動認識部203と統合解析部205とが異なる装置において実現されるような場合には、統合解析部205を実現する装置において行動認識情報を受信する通信装置によって行動認識情報取得機能が実現される。
 図23は、本開示の一実施形態におけるエレベータに関連する行動の検出について説明するための図である。図23には、加速度センサ101によって提供される3軸の加速度a,a,aと、3軸の加速度の重力方向成分aとが示されている。図示された例において、加速度の重力方向成分aは、3軸の加速度a,a,aを重力方向に投影し、さらに、重力加速度成分を除いたものである。ここで、ユーザがエレベータに乗っていた場合、3軸の加速度a,a,aにおける加速度値の分散が小さくなり、かつ、加速度の重力方向成分aに特定のパターンが現れる。この特定のパターンは、エレベータの加速および減速に対応して発生しうる。このような条件に合致する区間が、図では区間Evとして示されている。
 このような区間Evが観察された場合、行動認識部203が取得する行動認識情報は、エレベータに関するユーザの行動が発生したことを示しうる。例えば、行動認識情報は、区間Evの全体にわたって「エレベータで移動している」という行動の発生を示してもよいし、区間Evの始点で「エレベータに乗った」、区間Evの終点で「エレベータから降りた」という行動の発生をそれぞれ示してもよい。
 図24は、本開示の一実施形態においてエレベータに関連する行動を検出する処理の例を示すフローチャートである。図24を参照すると、行動認識部203は、まず、加速度センサの検出値における平均avgおよび分散varを算出する(S101)。ここで、分散varが所定の閾値Vよりも小さく、平均avgが所定の範囲(A1~A2)内にある場合(S103のYES)、さらに、行動認識部203は、重力方向の加速度変化を抽出する(S105)。上記のように、重力方向の加速度変化は、加速度センサ101の検出値に基づいて算出される。行動認識部203は、重力方向の加速度変化に特定のパターンが現れた場合(S107のYES)、エレベータに関連する行動を検出し(S109)、当該行動を示す行動認識情報を生成する。
 図25は、本開示の一実施形態における階段に関連する行動の検出について説明するための図である。図25には、気圧センサ107によって提供される気圧の検出値Pと、検出値Paに基づいて認識される上昇/下降の区分C(up/down)と、加速度センサ101の検出値に基づいて認識される歩行/静止の区分C(walk/still)と、区分C(up/down)および区分C(walk/still)に基づいて判定される階段上昇/階段下降の区分C(stairs)とが示されている。図示された例では、区分C(walk/still)においてユーザが歩行中であることが示され(walk)、かつ、区分C(up/down)においてユーザが重力方向に移動していることが示される(upまたはdown)場合に、階段に関連するユーザの行動が検出される。このような条件に合致する区間が、図では区間Stとして示されている。
 このような区間Stが観察された場合、行動認識部203が取得する行動認識情報は、階段に関するユーザの行動が発生したことを示しうる。例えば、行動認識情報は、区間Stの全体にわたって「階段を昇降している」という行動の発生を示してもよいし、区間Stの始点で「階段を昇り/降り始めた」、区間Stの終点で「階段を昇り/降り終えた」という行動の発生をそれぞれ示してもよい。
 図26は、本開示の一実施形態において階段に関連する行動を検出する処理の例を示フローチャートである。図26を参照すると、行動認識部203は、まず、加速度センサ101の検出値に基づいて、ユーザの歩行を検出する処理を実行する(S201)。なお、ユーザの方向を検出する処理には、公知の様々な技術を利用することが可能である。ここで、ユーザの歩行が検出された場合(S203のYES)、さらに、行動認識部203は、気圧センサ107の検出値に基づいて、ユーザの重力方向への移動を検出する処理を実行する(S205)。図25に示したように、ユーザの重力方向への移動は、気圧センサ107の検出値(気圧)の上昇または下降の量または割合によって判定されうる。行動認識部203は、ユーザの重力方向への移動が検出された場合(S207のYES)、階段に関連する行動を検出し(S209)、当該行動を示す行動認識情報を生成する。
 既に述べたように、位置情報に建物設備を関連付ける関連付け処理機能は、例えば位置情報補正機能やマップ生成機能のような他の機能とは独立して実現されうる。例えば、自律測位部201によって取得される位置情報が、上記の位置情報補正機能とは異なる方法によって補正されたものについて、関連付け処理機能が建物設備を関連付けてもよい。また、自律測位部201または位置情報取得部211によって取得される位置情報が既に十分な精度を有している場合、関連付け処理機能は位置情報取得機能によって取得された位置情報にそのまま建物設備を関連付けてもよい。例えば、マップを生成せずとも、位置情報にユーザの他の行動を示す情報とともに建物設備を関連付けることによって、ユーザが一連の行動を実際の環境に対応させて把握することが容易になる。
 (7.システム構成)
 以上、本開示の一実施形態について説明した。上述したように、本実施形態に係るシステム10は、入力部100と、処理部200と、出力部300とを含み、これらの構成要素は、1または複数の情報処理装置によって実現される。以下では、システム10を実現する情報処理装置の組み合わせの例について、より具体的な例とともに説明する。
 (第1の例)
 図27は、本開示の実施形態に係るシステム構成の第1の例を示すブロック図である。図27を参照すると、システム10は、情報処理装置11,13を含む。入力部100および出力部300は、情報処理装置11において実現される。一方、処理部200は、情報処理装置13において実現される。情報処理装置11と情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。入力部100と処理部200との間のインターフェース150bおよび処理部200と出力部300との間のインターフェース350bは、いずれも装置間の通信インターフェースでありうる。
 第1の例において、情報処理装置11は、例えば端末装置でありうる。この場合、入力部100は、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含みうる。外部サービスから情報を取得するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアからデータを取得する。出力部300は、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含みうる。外部サービスに情報を提供するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアに情報を提供しうる。
 また、第1の例において、情報処理装置13は、サーバでありうる。処理部200は、情報処理装置13が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。情報処理装置13は、例えばサーバとして専用される装置であってもよい。この場合、情報処理装置13は、データセンタなどに設置されてもよいし、家庭内に設置されてもよい。あるいは、情報処理装置13は、他の機能については端末装置として利用可能であるが、本開示の実施形態に係る機能に関しては入力部100および出力部300を実現しない装置であってもよい。
 (第2の例)
 図28は、本開示の実施形態に係るシステム構成の第2の例を示すブロック図である。図28を参照すると、システム10は、情報処理装置11a,11b,13を含む。入力部100は、入力部100a,100bに分かれて実現される。入力部100aは、情報処理装置11aにおいて実現される。入力部100aは、例えば、上記で説明された加速度センサ101、ジャイロセンサ103、地磁気センサ105、気圧センサ107、および/またはGPS受信機111を含みうる。
 入力部100bおよび出力部300は、情報処理装置11bにおいて実現される。入力部100bは、例えば、上記で説明された操作入力装置109を含みうる。また、処理部200は、情報処理装置13において実現される。情報処理装置11a,11bと情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。入力部100と処理部200との間のインターフェース150b1,150b2、および処理部200と出力部300との間のインターフェース350bは、いずれも装置間の通信インターフェースでありうる。ただし、第3の例では、情報処理装置11aと情報処理装置11bとが別個の装置であるために、インターフェース150b1と、インターフェース150b2およびインターフェース350bとは、それぞれ異なる種類のインターフェースを含みうる。
 第2の例において、情報処理装置11a,11bは、例えば端末装置でありうる。情報処理装置11aは、例えば、ユーザによって携帯または装着され、ユーザをセンシングする。一方、情報処理装置11bは、センシングの結果に基づいて情報処理装置13において生成された情報を、ユーザに向けて出力する。このとき、情報処理装置11bは、出力される情報に関するユーザの操作入力を受け付ける。従って、情報処理装置11bは、必ずしもユーザによって携帯または装着されていなくてもよい。また、情報処理装置13は、上記の第1の例と同様に、サーバまたは端末装置でありうる。処理部200は、情報処理装置13が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。
 (第3の例)
 図29は、本開示の実施形態に係るシステム構成の第3の例を示すブロック図である。図29を参照すると、システム10は、情報処理装置11,13を含む。第3の例において、入力部100および出力部300は、情報処理装置11において実現される。一方、処理部200は、情報処理装置11および情報処理装置13に分散して実現される。情報処理装置11と情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。
 上記のように、この第3の例では、処理部200が、情報処理装置11と情報処理装置13との間で分散して実現される。より具体的には、処理部200は、情報処理装置11で実現される処理部200a,200cと、情報処理装置13で実現される処理部200bとを含む。処理部200aは、入力部100からインターフェース150aを介して提供される情報に基づいて処理を実行し、処理の結果を処理部200bに提供する。処理部200aは、例えば、上記で説明された自律測位部201および行動認識部203を含みうる。一方、処理部200cは、処理部200bから提供される情報に基づいて処理を実行し、処理の結果をインターフェース350aを介して出力部300に提供する。処理部200cは、例えば、上記で説明された情報生成部207を含みうる。
 なお、図示された例では、処理部200aおよび処理部200cの両方が示されているが、実際にはこのうちのいずれか一方だけが存在してもよい。つまり、情報処理装置11は、処理部200aを実現するが、処理部200cを実現せず、処理部200bから提供される情報は、そのまま出力部300に提供されてもよい。同様に、情報処理装置11は、処理部200cを実現するが、処理部200aを実現しなくてもよい。
 処理部200aと処理部200bとの間、および処理部200bと処理部200cとの間には、それぞれインターフェース250bが介在する。インターフェース250bは、装置間の通信インターフェースである。一方、情報処理装置11が処理部200aを実現する場合、インターフェース150aは、装置内のインターフェースである。同様に、情報処理装置11が処理部200cを実現する場合、インターフェース350aは、装置内のインターフェースである。上記のように処理部200cが情報生成部207を含む場合、入力部100からの情報の一部、例えば操作入力装置109からの情報は、インターフェース150aを介して直接的に処理部200cに提供される。
 なお、上述した第3の例は、処理部200aまたは処理部200cのうちの一方または両方が情報処理装置11が備えるプロセッサまたは処理回路によって実現される点を除いては、上記の第1の例と同様である。つまり、情報処理装置11は、端末装置でありうる。また、情報処理装置13は、サーバでありうる。
 (第4の例)
 図30は、本開示の実施形態に係るシステム構成の第4の例を示すブロック図である。図30を参照すると、システム10は、情報処理装置11a,11b,13を含む。入力部100は、入力部100a,100bに分かれて実現される。入力部100aは、情報処理装置11aにおいて実現される。入力部100aは、例えば、上記で説明された加速度センサ101、ジャイロセンサ103、地磁気センサ105、気圧センサ107、および/またはGPS受信機111を含みうる。
 入力部100bおよび出力部300は、情報処理装置11bにおいて実現される。入力部100bは、例えば、上記で説明された操作入力装置109を含みうる。また、処理部200は、情報処理装置11a,11bおよび情報処理装置13に分散して実現される。情報処理装置11a,11bと情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
 図示されているように、この第4の例では、処理部200が、情報処理装置11a,11bと情報処理装置13との間で分散して実現される。より具体的には、処理部200は、情報処理装置11aで実現される処理部200aと、情報処理装置13で実現される処理部200bと、情報処理装置11bで実現される処理部200cとを含む。このような処理部200の分散については、上記の第3の例と同様である。ただし、この第4の例では、情報処理装置11aと情報処理装置11bとが別個の装置であるために、インターフェース250b1,250b2は、それぞれ異なる種類のインターフェースを含みうる。上記のように処理部200cが情報生成部207を含む場合、入力部100bからの情報、例えば操作入力装置109からの情報は、インターフェース150a2を介して直接的に処理部200cに提供される。
 なお、第4の例は、処理部200aまたは処理部200cのうちの一方または両方が情報処理装置11aまたは情報処理装置11bが備えるプロセッサまたは処理回路によって実現される点を除いては、上記の第2の例と同様である。つまり、情報処理装置11a,11bは、端末装置でありうる。また、情報処理装置13は、サーバでありうる。
 (8.ハードウェア構成)
 次に、図31を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図31は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
 情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
 出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
 ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
 接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
 通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
 撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
 センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
 以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 (9.補足)
 本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)相対的な位置情報の系列と、前記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、
 前記行動認識情報に基づいて前記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の前記行動ログに含まれる前記位置情報の系列を補正する位置情報補正機能と
 を実現する処理回路を備える情報処理装置。
(2)前記基準位置は、前記位置情報の系列の始点、終点、または分割点を含む、前記(1)に記載の情報処理装置。
(3)前記位置情報の系列を補正することは、前記基準位置を基準にして前記位置情報の系列を複数の区間に分割し、該分割された位置情報の系列を複数の前記行動ログの間で平均化することを含む、前記(2)に記載の情報処理装置。
(4)前記分割された位置情報の系列は、その特徴が類似する場合に互いに平均化される、前記(3)に記載の情報処理装置。
(5)前記分割された位置情報の系列の特徴は、前記区間の前後の前記基準位置に対応する前記行動認識情報によって示される行動の種類、前記区間の前後の前記基準位置の位置情報、または前記分割された位置情報の系列によって示される移動距離もしくは移動時間を含む、前記(4)に記載の情報処理装置。
(6)前記位置情報の系列を補正することは、前記位置情報の系列を複数の前記行動ログの間で平均化することを含む、前記(1)または(2)に記載の情報処理装置。
(7)前記位置情報の系列を平均化することは、前記位置情報の系列によって構成される軌跡を並進移動、回転移動、拡大または縮小することを含む、前記(3)~(6)のいずれか1項に記載の情報処理装置。
(8)前記位置情報の系列を平均化することは、前記位置情報の系列によって構成される軌跡を、複数の前記行動ログにそれぞれ含まれる前記位置情報の系列の中央座標系列に近づくように並進移動、回転移動、拡大または縮小することを含む、前記(7)に記載の情報処理装置。
(9)前記中央座標系列は、複数の前記行動ログにそれぞれ含まれる前記位置情報の系列を、前記各行動ログの信頼度に応じて重みづけして相加平均することによって算出される、前記(8)に記載の情報処理装置。
(10)前記基準位置は、前記行動認識情報によって建物設備に関連する行動が発生したことが示される位置を含む、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)前記建物設備は、昇降設備またはゲートウェイ設備を含む、前記(10)に記載の情報処理装置。
(12)前記位置情報補正機能は、前記位置情報の系列に関連付けられた固定設備との通信結果または絶対的な位置情報にさらに基づいて前記基準位置を特定する、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)前記位置情報補正機能は、前記位置情報の系列に現れる特異点にさらに基づいて前記基準位置を特定する、前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)前記位置情報の系列は、モーションセンサを含むセンサの検出値を解析することによって取得される、前記(1)~(13)のいずれか1項に記載の情報処理装置。
(15)前記行動認識情報は、モーションセンサを含むセンサの検出値を解析することによって取得される、前記(1)~(14)のいずれか1項に記載の情報処理装置。
(16)相対的な位置情報の系列と、前記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得することと、
 処理回路が、前記行動認識情報に基づいて前記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の前記行動ログに含まれる前記位置情報の系列を補正することと
 を含む情報処理方法。
(17)相対的な位置情報の系列と、前記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、
 前記行動認識情報に基づいて前記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の前記行動ログに含まれる前記位置情報の系列を補正する位置情報補正機能と
 を処理回路に実現させるためのプログラム。
 10  システム
 11,13  情報処理装置
 100  入力部
 101  加速度センサ
 103  ジャイロセンサ
 105  地磁気センサ
 107  気圧センサ
 109  操作入力装置
 111  GPS受信機
 150,250,350  インターフェース
 200  処理部
 201  自律測位部
 203  行動認識部
 205  統合解析部
 207  情報生成部
 211  位置情報取得部
 300  出力部
 301  ディスプレイ
 303  スピーカ
 305  バイブレータ

Claims (17)

  1.  相対的な位置情報の系列と、前記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、
     前記行動認識情報に基づいて前記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の前記行動ログに含まれる前記位置情報の系列を補正する位置情報補正機能と
     を実現する処理回路を備える情報処理装置。
  2.  前記基準位置は、前記位置情報の系列の始点、終点、または分割点を含む、請求項1に記載の情報処理装置。
  3.  前記位置情報の系列を補正することは、前記基準位置を基準にして前記位置情報の系列を複数の区間に分割し、該分割された位置情報の系列を複数の前記行動ログの間で平均化することを含む、請求項2に記載の情報処理装置。
  4.  前記分割された位置情報の系列は、その特徴が類似する場合に互いに平均化される、請求項3に記載の情報処理装置。
  5.  前記分割された位置情報の系列の特徴は、前記区間の前後の前記基準位置に対応する前記行動認識情報によって示される行動の種類、前記区間の前後の前記基準位置の位置情報、または前記分割された位置情報の系列によって示される移動距離もしくは移動時間を含む、請求項4に記載の情報処理装置。
  6.  前記位置情報の系列を補正することは、前記位置情報の系列を複数の前記行動ログの間で平均化することを含む、請求項1に記載の情報処理装置。
  7.  前記位置情報の系列を平均化することは、前記位置情報の系列によって構成される軌跡を並進移動、回転移動、拡大または縮小することを含む、請求項6に記載の情報処理装置。
  8.  前記位置情報の系列を平均化することは、前記位置情報の系列によって構成される軌跡を、複数の前記行動ログにそれぞれ含まれる前記位置情報の系列の中央座標系列に近づくように並進移動、回転移動、拡大または縮小することを含む、請求項7に記載の情報処理装置。
  9.  前記中央座標系列は、複数の前記行動ログにそれぞれ含まれる前記位置情報の系列を、前記各行動ログの信頼度に応じて重みづけして相加平均することによって算出される、請求項8に記載の情報処理装置。
  10.  前記基準位置は、前記行動認識情報によって建物設備に関連する行動が発生したことが示される位置を含む、請求項1に記載の情報処理装置。
  11.  前記建物設備は、昇降設備またはゲートウェイ設備を含む、請求項10に記載の情報処理装置。
  12.  前記位置情報補正機能は、前記位置情報の系列に関連付けられた固定設備との通信結果または絶対的な位置情報にさらに基づいて前記基準位置を特定する、請求項1に記載の情報処理装置。
  13.  前記位置情報補正機能は、前記位置情報の系列に現れる特異点にさらに基づいて前記基準位置を特定する、請求項1に記載の情報処理装置。
  14.  前記位置情報の系列は、モーションセンサを含むセンサの検出値を解析することによって取得される、請求項1に記載の情報処理装置。
  15.  前記行動認識情報は、モーションセンサを含むセンサの検出値を解析することによって取得される、請求項1に記載の情報処理装置。
  16.  相対的な位置情報の系列と、前記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得することと、
     処理回路が、前記行動認識情報に基づいて前記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の前記行動ログに含まれる前記位置情報の系列を補正することと
     を含む情報処理方法。
  17.  相対的な位置情報の系列と、前記位置情報の系列に関連付けられたユーザの行動認識情報とを含む行動ログを取得する行動ログ取得機能と、
     前記行動認識情報に基づいて前記位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして、複数の前記行動ログに含まれる前記位置情報の系列を補正する位置情報補正機能と
     を処理回路に実現させるためのプログラム。
PCT/JP2015/063034 2014-06-20 2015-04-30 情報処理装置、情報処理方法およびプログラム WO2015194269A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014127386 2014-06-20
JP2014-127386 2014-06-20

Publications (1)

Publication Number Publication Date
WO2015194269A1 true WO2015194269A1 (ja) 2015-12-23

Family

ID=54935264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/063034 WO2015194269A1 (ja) 2014-06-20 2015-04-30 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2015194269A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079608A (ja) * 2008-09-26 2010-04-08 Nec Corp 情報配信システム、情報配信サーバ、情報配信方法および情報配信プログラム
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2012022530A (ja) * 2010-07-14 2012-02-02 Nippon Telegr & Teleph Corp <Ntt> 行動予測装置、方法及びプログラム
US20130253817A1 (en) * 2012-03-22 2013-09-26 Nokia Corporation Method and apparatus for sensing based on route bias
WO2013157332A1 (ja) * 2012-04-17 2013-10-24 日本電気株式会社 行動識別装置、行動識別システム及び行動識別プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079608A (ja) * 2008-09-26 2010-04-08 Nec Corp 情報配信システム、情報配信サーバ、情報配信方法および情報配信プログラム
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2012022530A (ja) * 2010-07-14 2012-02-02 Nippon Telegr & Teleph Corp <Ntt> 行動予測装置、方法及びプログラム
US20130253817A1 (en) * 2012-03-22 2013-09-26 Nokia Corporation Method and apparatus for sensing based on route bias
WO2013157332A1 (ja) * 2012-04-17 2013-10-24 日本電気株式会社 行動識別装置、行動識別システム及び行動識別プログラム

Similar Documents

Publication Publication Date Title
US20190383620A1 (en) Information processing apparatus, information processing method, and program
JP6311478B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016098457A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10731992B2 (en) Information processing device, information processing method, and program
US20200042775A1 (en) Artificial intelligence server and method for de-identifying face area of unspecific person from image file
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
US10623897B1 (en) Augmented reality for data curation
US20110190008A1 (en) Systems, methods, and apparatuses for providing context-based navigation services
CN102456141A (zh) 用于识别用户背景的用户装置和方法
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11143507B2 (en) Information processing apparatus and information processing method
US11182922B2 (en) AI apparatus and method for determining location of user
JP6358247B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015194270A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11173931B2 (en) Information processing apparatus, information processing method, and program
KR20200083157A (ko) 사용자에게 현실 공간에 기반한 게임을 추천하는 방법 및 장치
WO2015194269A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017056774A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20210133561A1 (en) Artificial intelligence device and method of operating the same
WO2020031795A1 (ja) 情報処理装置、情報処理方法およびプログラム
Gong et al. Building smart transportation hubs with internet of things to improve services to people with disabilities
US11949808B2 (en) Context-sensitive home screens for use with wearable multimedia devices
KR20200085611A (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15810119

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15810119

Country of ref document: EP

Kind code of ref document: A1