WO2016189909A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2016189909A1
WO2016189909A1 PCT/JP2016/055417 JP2016055417W WO2016189909A1 WO 2016189909 A1 WO2016189909 A1 WO 2016189909A1 JP 2016055417 W JP2016055417 W JP 2016055417W WO 2016189909 A1 WO2016189909 A1 WO 2016189909A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
processing apparatus
terminal
information processing
user
Prior art date
Application number
PCT/JP2016/055417
Other languages
English (en)
French (fr)
Inventor
望月 大介
将佑 百谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/574,449 priority Critical patent/US10219127B2/en
Priority to EP16799618.0A priority patent/EP3306967B1/en
Publication of WO2016189909A1 publication Critical patent/WO2016189909A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/005Discovery of network devices, e.g. terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/18Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/18Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • H04W8/20Transfer of user or subscriber data
    • H04W8/205Transfer to or from user equipment or user record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • so-called information processing equipment has also diversified, and it is not limited to PCs (Personal Computers), but is carried by users like smartphones and tablet terminals. Devices that can be configured are also becoming popular.
  • a so-called wearable terminal has been proposed that is configured to be used while being carried by a user by wearing it on a part of the body.
  • Patent Literature 1 discloses an example of a technology that enables a terminal held by a user to recognize another user sharing the same place by communicating with another terminal existing within a predetermined range. Is disclosed.
  • Patent Document 1 it is assumed that a terminal held by each user can communicate with a terminal held by another user. Prior procedures such as setting and registration for a predetermined service are required. Under such circumstances, it may be assumed that the user who can recognize that the same place is shared is limited to the user who has performed the prior procedure. Therefore, there is a need for a mechanism that can recognize that a place has been shared for a wider range of users without taking complicated procedures such as prior procedures.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of recognizing a user who shares a place without going through complicated procedures.
  • a recognition unit that recognizes a terminal that is a transmission source of the signal
  • a recording unit for recording history information including a recognition result and information for determining whether or not the user holds the terminal detected by a predetermined detection unit for each first period; and Based on the history information recorded during a second period longer than the first period, a determination unit that determines whether the user holds the terminal, a recognition result of the terminal, and the determination result
  • an information processing apparatus including a processing unit that executes a predetermined process.
  • the processor recognizes the terminal that is the transmission source of the signal based on the detection result of the signal of the wireless communication for performing the direct communication between the terminals via the wireless propagation path.
  • Recording history information including a recognition result of the terminal and information for determining whether or not the user holds the terminal detected by a predetermined detection unit for each first period. And determining whether the user holds the terminal based on the history information recorded during a second period longer than the first period, a recognition result of the terminal,
  • An information processing method is provided that includes executing a predetermined process based on the determination result.
  • the computer recognizes the terminal that is the transmission source of the signal based on the detection result of the signal of the wireless communication for performing the direct communication between the terminals via the wireless propagation path.
  • Recording history information including a recognition result of the terminal and information for determining whether or not the user holds the terminal detected by a predetermined detection unit for each first period. And determining whether the user holds the terminal based on the history information recorded during a second period longer than the first period, a recognition result of the terminal, Based on the determination result, a program for executing a predetermined process is provided.
  • an information processing apparatus an information processing method, and a program capable of recognizing a user who shares a place without going through complicated procedures are provided.
  • FIG. 3 is an explanatory diagram for describing an example of a schematic system configuration of a system to which an information processing apparatus according to an embodiment of the present disclosure is applied. It is the block diagram which showed an example of the function structure of the information processing apparatus which concerns on the embodiment. It is explanatory drawing for demonstrating an example of a real graph.
  • 6 is an explanatory diagram for describing an example of an operation related to generation or update of a real graph by the information processing apparatus according to the embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of an operation related to generation or update of a real graph by the information processing apparatus according to the embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of an operation related to generation or update of a real graph by the information processing apparatus according to the embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of an operation related to generation or update of a real graph by the information processing apparatus according to the embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of an operation related to generation or update of a real graph by the information processing apparatus according to the embodiment.
  • FIG. 6 is an explanatory diagram for describing an example of an operation based on a real graph by the information processing apparatus according to the embodiment.
  • FIG. FIG. 10 is an explanatory diagram for explaining an information processing apparatus according to a first modification.
  • FIG. 10 is an explanatory diagram for explaining an information processing apparatus according to a first modification.
  • FIG. 10 is an explanatory diagram for explaining an information processing apparatus according to a first modification.
  • FIG. 10 is an explanatory diagram for explaining an information processing apparatus according to a first modification.
  • FIG. 10 is an explanatory diagram for explaining an information processing apparatus according to Modification 2.
  • FIG. 10 is an explanatory diagram for explaining an information processing apparatus according to Modification 2. It is explanatory drawing for demonstrating the information processing apparatus which concerns on the modification 3.
  • FIG. It is the figure which showed an example of the hardware constitutions of the information
  • FIG. 1 is an explanatory diagram for explaining an example of a schematic system configuration of a system to which the information processing apparatus according to the present embodiment is applied.
  • information processing apparatuses 10m and 10a indicate devices configured to be carried by the user, such as smartphones, tablet terminals, and wearable terminals.
  • the information processing apparatus 10m is an example of a device held by the user Um (that is, a device to be carried).
  • the information processing apparatus 10a shows an example of a device held by the user Ua.
  • the information processing apparatuses 10m and 10a may be simply referred to as “information processing apparatus 10” unless the information processing apparatuses held by each user are particularly distinguished.
  • the information processing apparatus 10 is configured to be able to detect a wireless communication signal in which a plurality of terminals perform direct communication via a wireless propagation path.
  • Examples of the wireless communication include wireless communication based on standards such as Bluetooth (registered trademark), BLE: Bluetooth Low Energy, Wi-Fi (registered trademark): WirelessWireFidelity.
  • Examples of wireless communication technology using BLE include iBeacon (registered trademark).
  • wireless communication when “wireless communication” is simply described, it indicates wireless communication in which a plurality of terminals perform direct communication via a wireless propagation path as described above.
  • reference numeral N1m indicates a communication range of the wireless communication of the information processing apparatus 10m.
  • reference symbol N1a indicates the communication range of the wireless communication of the information processing apparatus 10a.
  • the information processing apparatus 10 a sends a signal for wireless communication to other terminals (for example, other unspecified other information processing apparatuses 10) located within the communication range N1 a. Transmitting (for example, broadcasting).
  • the information processing apparatus 10m detects a wireless communication signal transmitted from the information processing apparatus 10a.
  • the information processing apparatus 10m extracts information related to the information processing apparatus 10a from the detected wireless signal from the information processing apparatus 10a, and recognizes the information processing apparatus 10a based on the extracted information.
  • the information processing device 10a detects a wireless communication signal transmitted from the information processing device 10m, and extracts information related to the information processing device 10m from the detected signal.
  • the information processing apparatus 10m may be recognized.
  • the information processing apparatus 10m records the recognition result of the information processing apparatus 10a as data, and by using the data recorded in the past, the own user Um and the user Ua of the information processing apparatus 10a Recognize that they share the same place.
  • the configuration of the information processing apparatus 10 will be described as an example of a mechanism for enabling the information processing apparatus 10m to recognize that the user Um of the information processing apparatus 10a and the user Ua of the information processing apparatus 10a share the same place. This will be described in detail together with an example.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10m held by the user Um recognizes the information processing apparatus 10a held by the user Ua.
  • the information processing apparatus 10a will be described as an external device.
  • the information processing apparatus 10 includes a wireless signal detection unit 101, a device recognition unit 103, a detection unit 105, a data recording unit 107, an analysis unit 109, a processing execution unit 111, and a notification unit. 113, an input unit 115, and a storage unit 31. Further, the information processing apparatus 10 may include a communication unit 117.
  • the communication unit 117 establishes communication via the network with each component in the information processing apparatus 10 via an external device (for example, a server), and transmits various types of information (various data) with the external device. This is a configuration for transmitting and receiving.
  • an external device for example, a server
  • information is transmitted / received via the communication unit 117 even if there is no particular description. Shall be performed.
  • the wireless signal detection unit 101 is configured to be able to detect a signal of the wireless communication like an antenna for wireless communication, for example. For example, when the wireless signal detection unit 101 detects a wireless signal transmitted from an external device, the wireless signal detection unit 101 outputs a detection result of the wireless signal to the device recognition unit 103.
  • the device recognition unit 103 acquires the detection result of the wireless signal from the wireless signal detection unit 101, and recognizes the external device that is the transmission source of the wireless signal based on the information included in the wireless signal.
  • the device recognition unit 103 includes an RF (Radio Frequency) circuit, a baseband processor, and the like, and demodulates the radio signal detected by the radio signal detection unit 101. Then, the device recognition unit 103 recognizes the external device by extracting information about the external device (for example, identification information of the external device) from the demodulation result of the radio signal. At this time, the device recognition unit 103 may recognize a plurality of external devices from which wireless signals are detected.
  • RF Radio Frequency
  • the device recognition unit 103 may acquire information indicating the signal strength of the wireless signal based on the detection result of the wireless signal as information indicating the recognition result of the external device that is the transmission source of the wireless signal.
  • the device recognition unit 103 outputs information indicating the recognition result of one or more external devices in which the wireless signal is detected to the data recording unit 107 described later. Further, the device recognition unit 103 may output information indicating the recognition result of the external device to the process execution unit 111 described later.
  • the detecting unit 105 acquires information on the situation when the external device is recognized (or information for recognizing the situation).
  • the detection unit 105 includes a device such as a GPS (Global Positioning System), and acquires the position information of the information processing apparatus 10 (and thus the position information of the user holding the information processing apparatus 10) by the device. Also good.
  • a device such as a GPS (Global Positioning System)
  • GPS Global Positioning System
  • the detection unit 105 may acquire various types of information on the external environment of the user (in other words, the external environment of the information processing apparatus 10).
  • the detection unit 105 includes an imaging device such as a camera, and acquires an image of the external environment of the information processing apparatus 10 captured by the imaging device (that is, an image around the user). Also good.
  • the detection unit 105 includes a sound collection device such as a microphone, and the sound (for example, voice or environmental sound) of the external environment of the information processing apparatus 10 collected by the sound collection device. You may get it.
  • the detection unit 105 may acquire various types of information indicating the state of the information processing apparatus 10 or the state of the user of the information processing apparatus 10.
  • the detection unit 105 includes a detection device such as an acceleration sensor or an angular velocity sensor, and may acquire information indicating a change in the position or orientation of the information processing apparatus 10 detected by the detection device. Good.
  • the detection unit 105 may acquire information indicating a change in the position or orientation of at least a part of the user's body of the information processing apparatus 10. In this case, for example, the detection unit 105 may acquire information indicating a change in the position or orientation of the part detected by the wearable device from the wearable device attached to the part of the user.
  • the detection unit 105 can acquire information regarding the situation when the external device is recognized, the type of the information, the acquisition method of the information, and the information
  • the configuration (device) for acquiring the device is not particularly limited.
  • the opportunity for the detection unit 105 to acquire information indicating the various situations described above is not particularly limited.
  • the detection unit 105 may monitor the various situations at every predetermined timing and acquire information related to the situations.
  • the detection unit 105 may acquire information on the various situations using a predetermined operation as a trigger.
  • the detection unit 105 may acquire information on the various situations triggered by the device recognition unit 103 described above recognizing an external device.
  • the detection unit 105 may acquire information on the situation after the change using the change detection as a trigger.
  • the detection unit 105 acquires information about a situation when an external device is recognized, and outputs the acquired information to the data recording unit 107.
  • the data recording unit 107 acquires information indicating the recognition result of one or more external devices from the device recognition unit 103. In addition, the data recording unit 107 acquires information about a situation when the external device is recognized from the detection unit 105. The data recording unit 107 stores information indicating the recognition result of the external device and information regarding the above situation as low-level data in association with time information (for example, date and time) when the external device is recognized. 31. The data recording unit 107 may acquire the time information from, for example, a predetermined time measuring unit (not shown).
  • the storage unit 31 is a storage area for temporarily or permanently storing various data for the information processing apparatus 10 to execute various processes.
  • the data recording part 107 produces
  • the data may be referred to as “real graph”.
  • FIG. 3 is an explanatory diagram for explaining an example of the real graph.
  • a node d11 indicating each recognized external device is associated with a node d10 indicating the information processing apparatus 10 by a link d13.
  • a status list d20 and attribute information d30 are associated with the node d11 corresponding to each external device.
  • status data d21 indicating a status when the external device indicated by the node d11 is recognized is recorded as a list for each timing when the external device is recognized.
  • the information included in the status data d21 includes, for example, the time when the external device is recognized, the position (or place) where the external device is recognized, whether the external device is moving, Information recorded with a low-level date may be included, such as information such as the external environment at the time of recognition.
  • the status data d21 includes information acquired by analyzing the low-level data, for example, the detection results of other users' faces and voices, the actions of users of external devices, and the content of conversations with the users. , Etc. may be included.
  • the situation data d21 corresponds to an example of “history information”, and information indicating various situations included in the history information may correspond to “first information”.
  • the attribute information d30 indicates information regarding the external device indicated by the node d11 or the user of the external device.
  • the information related to the external device recorded as the attribute information d30 may include, for example, information indicating whether or not a person holds the external device.
  • the user profile such as data and names indicating the user's face and voice candidates detected when the external device is recognized, the information processing apparatus 10 and the external device Information indicating the relationship and intimacy between the users may be included.
  • the attribute information d30 may correspond to an example of “second information”.
  • the data recording unit 107 converts at least a part of the various information recorded as the status data d21 and the attribute information d30 into the various information acquired as the low-level data and the status data d21. You may make it acquire or estimate based on.
  • the data recording unit 107 may update at least a part of the various information recorded as the attribute information d30 based on an instruction from the user via the input unit 115.
  • the data recording unit 107 acquires at least a part of various information recorded as the attribute information d30 from an external device such as a server, and sets the attribute information d30 of the corresponding external device based on the acquired information. It may be updated. Further, the data recording unit 107 may upload at least a part of the attribute information d30 acquired for each external device to an external device such as a server. The data recording unit 107 may upload the generated or updated real graph d1 itself to an external device such as a server. This operation will be described later in detail as a modification.
  • the data recording unit 107 stores the generated or updated real graph d1 in the storage unit 31.
  • the data recording unit 107 and the analysis unit 109 For more detailed contents of operations of the data recording unit 107 and the analysis unit 109 (particularly, processing related to generation or update of the real graph d1), a specific example of a method for acquiring various types of information recorded in the real graph d1 And will be described later separately.
  • the input unit 115 is an input interface for the user to input various information to the information processing apparatus 10.
  • the input unit 115 may include an input device for a user to input information, such as a button, a switch, and a touch panel. Further, the input unit 115 may include a sound collection device that collects sound spoken by the user as acoustic information, such as a so-called microphone.
  • the notification unit 113 is an output interface for the information processing apparatus 10 to present various information to the user.
  • the notification unit 113 may include a device that outputs image information such as a still image or a moving image, such as a so-called display.
  • reporting part 113 may also contain the acoustic device which outputs acoustic information like a speaker etc., for example.
  • the process execution part 111 is a structure for performing the various functions (for example, application) which the information processing apparatus 10 provides.
  • the process execution unit 111 may execute a predetermined process based on the attribute information d30 of the external device recorded in the past.
  • the process execution unit 111 when the external device is recognized, when the attribute information d30 has already been acquired for the external device (that is, when the external device has been recognized in the past), the process execution unit 111 notifies The unit 113 may be notified of predetermined information. As a result, the user of the information processing apparatus 10 can recognize that the user has shared the field with the user of the recognized external device in the past. Details of the operation of the process execution unit 111 will be described later together with a specific example of the process based on the real graph.
  • each configuration of the information processing apparatus 10 is not necessarily limited to the example illustrated in FIG. 2 as long as each function of the information processing apparatus 10 described above can be realized.
  • at least a part of each configuration of the information processing apparatus 10 is provided in an external device such as a server or another apparatus that operates in cooperation with the information processing apparatus 10. It may be done.
  • FIGS. 4 to 7 are explanatory diagrams for explaining an example of operations related to generation or update of a real graph by the information processing apparatus 10 according to the present embodiment. In this description, the description will be made along the flowchart shown in FIG.
  • Step S101 low-level data recording
  • the data recording unit 107 recognizes information indicating the recognition result of one or more external devices by the device recognizing unit 103 and information regarding the status detected by the detecting unit 105. It is recorded in the storage unit 31 as the low level data d40 in association with the time information. As a result, as shown in FIG. 5, the low level data d40 is accumulated in the storage unit 31 in time series.
  • Step S105 The accumulated data is classified for each device.
  • the data recording unit 107 extracts the low level data d40 accumulated during the first period from the storage unit 31, and the extracted low level data d40.
  • Various types of information are classified for each recognized external device (S105).
  • Step S107 Generation of status data
  • the data recording unit 107 acquires, for each external device recognized during the first period, information indicating a situation when the external device is recognized based on the information classified from the low-level data d40.
  • the data recording unit 107 is based on the information classified from the low-level data d40, the time when the external device is recognized, the position when the external device is recognized, or the time when the external device is recognized.
  • a detection result (video or sound) of the external environment is acquired as information indicating the situation.
  • the data recording unit 107 may cause the analysis unit 109 to acquire information indicating a more detailed situation based on the information classified from the low level data d40.
  • the analysis unit 109 determines whether the position of the external device is fluctuated based on a change in radio field intensity of a radio signal from the external device recorded in the low-level data d40 as a recognition result of the external device. presume. Then, the analysis unit 109 moves the external device based on the estimation result of whether or not the position of the external device is fluctuating and the change in the position information of the information processing apparatus 10 recorded as the low-level data d40. You may acquire the information which shows whether it is.
  • FIG. 6 is an explanatory diagram for explaining an example of a method for determining whether or not an external device is moving.
  • the analysis unit 109 when the information processing apparatus 10 (own device) is stationary and the position of the target external device (target device) has not changed, Recognize that the external device is not moving.
  • the analysis unit 109 moves the external device when the information processing apparatus 10 (self device) is stationary and the position of the target external device (target device) changes. Recognize that. In this case, it can be assumed that the external device is moved by being held by a person, or that the external device itself is configured to be movable.
  • the analysis unit 109 moves the external device when the information processing apparatus 10 (own device) is moving and the position of the target external device (target device) has not changed. Recognize that. In this case, it can be assumed that the external device is held by the user of the information processing apparatus 10 or held by another user who acts with the user.
  • the analysis unit 109 may recognize that it is unknown whether the external device is moving. Note that the analysis unit 109 recognizes that the external device is not moving when the change in the movement amount of the information processing apparatus 10 and the change in the signal strength of the wireless signal from the external device are linked. May be.
  • the analysis unit 109 acquires information indicating a place (for example, a company, a school, a live venue, etc.) where the external device is recognized as information indicating the above information based on the position information recorded as the low-level data d40. May be.
  • the method for associating each piece of position information with the information indicated by the position information is not particularly limited.
  • the user may associate information indicating a location corresponding to the position information with each position information.
  • the information processing apparatus 10 may estimate the location indicated by each position information based on the detected user's behavior history. In this case, for example, the information processing apparatus 10 may estimate the location indicated by the position information based on the relationship between the acquired position information and the time when the position information is acquired. More specifically, the information processing apparatus 10 may estimate that the position information acquired at the time when the user sleeps, such as midnight, indicates the “home” of the user. As another example, the information processing apparatus 10 may estimate that the position information acquired during the commuting time of the user indicates the “commuting route” of the user. Similarly, in the information processing apparatus 10, the position information indicating the arrival point of the commuting route or the position information acquired at the time when the user is engaged in duties such as daytime indicates the “company” of the user. It may be presumed that
  • the information processing apparatus 10 indicates a correspondence relationship between each position information (latitude and longitude information) and a place (for example, a spot such as a library or a live house) indicated by the position information from an external device such as a server. Information may be acquired and the information may be used.
  • the analysis unit 109 records information about other users who existed at that time (video and sound) from the detection result (video and sound) of the external environment when the external device is recognized, which is recorded as the low level data d40.
  • a face or voice may be acquired.
  • the analysis unit 109 may acquire information on the faces of other users who existed at that time by analyzing the acquired video based on the face recognition technology.
  • the analysis unit 109 detects a sound section by performing sound analysis on the acquired sound (for example, sound or environmental sound), and the sound information (that is, sound information) in the sound section is detected as the sound section. You may acquire as audio
  • the analysis unit 109 may identify the voice information of the user and the voice information of another user based on information indicating the characteristics of the voice of the user of the information processing apparatus 10 registered in advance. .
  • the analysis unit 109 may acquire the voice information of other users around and the acquisition result of the voice information of the user of the information processing apparatus 10 as information indicating conversation contents. At this time, the analysis unit 109 may convert the voice information into character information by performing an analysis based on a voice recognition technique, and acquire the character information as information indicating conversation contents.
  • the example shown above is only an example, and as long as it is information that can be acquired based on the information recorded as the low-level data d40, the type of information about the situation and the acquisition method of the information are not particularly limited. .
  • the data recording unit 107 acquires information indicating a situation when the external device is recognized for each external device recognized during the first period as illustrated in FIG. Based on the information, status data d21 is generated for each external device.
  • Step S109 Add situation data to the situation list
  • the data recording unit 107 adds the status data d21 generated for each external device to the status list d20 associated with the node d11 indicating the external device in the real graph.
  • the status list d20 information indicating the status when the target external device is recognized (that is, status data d21) is recorded in time series.
  • the data recording unit 107 for each of the first periods, for the external device recognized during the first period, based on the low level data d40 recorded during the first period, The status list d20 is updated.
  • Step S113 Update attribute information based on status list
  • the data recording unit 107 for each external device recorded in the real graph, the status list d20 corresponding to the external device. Is analyzed by the analysis unit 109. Then, the data recording unit 107 updates the attribute information d30 corresponding to the external device based on the analysis result of the status list d20 for each external device.
  • FIG. 7 is an explanatory diagram for describing an example of processing related to the update of the attribute information d30.
  • the analysis unit 109 holds the external device in a person based on the information recorded in each situation data d21 in the situation list d20 and indicating whether or not the target external device is moving. It is determined whether or not the device has been changed.
  • the analysis unit 109 determines whether the target external device is a target when the number of times or frequency determined to be a moving device exceeds a threshold based on each status data d21 accumulated in the status list d20. It is determined that the device is held by a person.
  • the threshold value when the number of times or the frequency determined that the device is a moving device is equal to or less than the threshold value (and consequently, when it is determined that the device does not always move), other information recorded in the status data d21 To determine whether the device is held by a person.
  • the analysis unit 109 may hold the determination at that time.
  • the analysis unit 109 may determine that the target external device is a device that is not held by a person.
  • the analysis unit 109 may identify a plurality of external devices having a high correlation from the correlation of information indicating a change in position information, a recognized time zone, or the like between the plurality of external devices. . In this case, the analysis unit 109 sets a plurality of external devices with higher correlation as external devices held by the same user or external devices installed in the same place. You may associate.
  • the analysis unit 109 also has an external device that has a higher correlation with the information processing apparatus 10 (for example, an external device that has a higher correlation over a predetermined period of the day) by the user of the information processing apparatus 10. May be determined.
  • an external device that has been determined not to be held by a person in the past may be determined to be a device held by a person based on the status data d21 added thereafter.
  • the analysis unit 109 The external device may be determined as a device held by a person.
  • the data recording unit 107 updates the attribute information d30 of the target external device based on the determination result of the analysis unit 109.
  • the analysis unit 109 determines that the external device is a human being. Whether it is held or not may be handled as undetermined.
  • the analysis unit 109 may narrow down information candidates related to users of the target external device based on information related to other users existing in the surroundings recorded in each status data d21 in the status list d20. As a specific example, the analysis unit 109 compares the recognition results of other users' faces recorded in the respective situation data d21 in the situation list d20 between the situation data d21, so that the target external device The user's face candidates may be narrowed down. Similarly, the analysis unit 109 compares the recognition results of the voices of other users recorded in the situation data d21 in the situation list d20 between the situation data d21, so that the user of the target external device Voice candidates may be narrowed down.
  • the analysis unit 109 also has a relationship between the user of the information processing apparatus 10 and the user of the target external device based on the information indicating the location or position recorded in each situation data d21 in the situation list d20. Information indicating sex may be acquired. As a specific example, the analysis unit 109 determines that the relationship with the user of the information processing apparatus 10 is “person related to the workplace” for the user of the external device whose frequency and frequency recognized by “company” exceed the threshold. You may recognize that it is. As another example, the analysis unit 109 may recognize that the relationship is “family” for a user of an external device whose frequency and frequency of recognition at “home” exceed a threshold. Similarly, the analysis unit 109 recognizes that the above relationship is “a person related to the child's school” for the user of the external device whose frequency and frequency recognized by the “child's school” exceed the threshold. Also good.
  • the analysis unit 109 may calculate the closeness between the user of the information processing apparatus 10 and the user of the target external device based on each situation data d21 in the situation list d20. As a specific example, the analysis unit 109 may calculate the familiarity according to the presence / absence of a conversation with the user of the target external device, the degree of matching of actions, and the like. Further, the analysis unit 109 may calculate the familiarity according to the state or situation when the place is shared (for example, a place where the external device is recognized). More specifically, the analysis unit 109 sets a higher intimacy of a user who shares a place where communication is easier, such as a restaurant, than a user who shares the place on a commuter road or train. Also good.
  • the data recording unit 107 may register the acquired information in the attribute information d30 when information about a profile such as a name of the user of the target external device can be acquired.
  • an external device such as a server or a network service (for example, SNS) manages information related to a user profile of the external device in association with the target external device.
  • SNS network service
  • the data recording unit 107 may acquire information related to the profile of the user of the target external device by accessing the external device or network service.
  • the data recording unit 107 may acquire information related to the profile of the user of the target external device from the input information to the function provided by the network service.
  • the data recording unit 107 selects the information as a target. It may be extracted as information related to the user profile of the external device.
  • the data recording unit 107 determines whether to register the information with the attribute information d30 via the notification unit 113 such as a display. You may contact us.
  • the data recording unit 107 may acquire information related to the user profile of the target external device based on the user input via the input unit 115. Note that the data recording unit 107 may prompt the user of the information processing apparatus 10 to input information related to the profile of the user of the external device recognized during the second period.
  • the data recording unit 107 presents a question such as “who did you have lunch today?” To the user, and based on the user information (for example, name) input as a response, It may be registered in the attribute information d30 of the external device recognized at noon on that day. As another example, the data recording unit 107 presents information about the recognized external device to the user of the information processing apparatus 10 via the notification unit 113 such as a display so that the user faces the user. You may notify that it is an external device which other users hold, and may ask for input of information about the profile of the other users concerned.
  • the data recording unit 107 performs the above-described operation for prompting the user of the information processing apparatus 10 to input information related to the profile of the user of the external device when the specific condition is satisfied (for example, when the familiarity is It may be executed only for a case where the threshold value is exceeded.
  • the data recording unit 107 updates the attribute information d30 corresponding to the external device for each external device recorded in the real graph based on the analysis result of the status list d20 for each second period. To do.
  • the information processing apparatus 10 records the low-level data d40, adds the status data d21 to the status list d20, and attribute information d30, unless the end of a series of processing is instructed (step S115, NO). Each process related to the update is appropriately executed. Then, when the user instructs the end of a series of processes (step S115, YES), the information processing apparatus 10 ends the execution of the various processes described above.
  • FIG. 8 is an explanatory diagram for explaining an example of an operation based on a real graph by the information processing apparatus 10 according to the present embodiment.
  • Step S201 Recognition of external device
  • the process execution unit 111 acquires the recognition result of the external device from the device recognition unit 103. Thereby, the process execution unit 111 can recognize an external device located around the information processing apparatus 10 (that is, an external device of another user who shares a field with the user of the information processing apparatus 10).
  • Step S203 Confirmation of attribute information of recognized external device
  • the process execution unit 111 refers to the real graph stored in the storage unit 31 and extracts attribute information d30 corresponding to the recognized external device.
  • Step S205 Execution of processing
  • the process execution unit 111 determines in advance according to the condition. Executes a predetermined process. At this time, the process execution unit 111 may execute the process only for an external device held by a person.
  • the processing execution unit 111 notifies the notification unit 113 of the notification information related to the external device or the user of the external device recorded in the attribute information d30. May be informed.
  • the process execution unit 111 may cause the notification unit 113 to notify the notification information according to the information recorded in the attribute information d30 and indicating the relationship with the user of the external device. More specifically, the process execution unit 111 may cause the notification unit 113 to notify the notification information when the closeness with the user of the external device exceeds a threshold value. Accordingly, when an external device existing in the vicinity is recognized, the user of the information processing apparatus 10 can recognize that the field has been shared with the user of the external device in the past.
  • the process execution unit 111 may present the information recorded in each status data d21 in the status list d20 to the user of the information processing apparatus 10 via the notification unit 113.
  • the process execution unit 111 extracts, from the situation data d21 in the situation list d20, information indicating the content of the conversation that the user of the information processing apparatus 10 exchanges with the user of the external device.
  • the extracted information may be presented to the user of the information processing apparatus 10 via the notification unit 113.
  • the process execution unit 111 may control the operation of a function (for example, an application) determined in advance according to the condition.
  • a function for example, an application
  • the process execution unit 111 recognizes that a place is shared with a close user, the process execution unit 111 communicates with another user different from the user, such as a voice call. The operation of the function may be suppressed.
  • the process execution unit 111 recognizes that a place is shared with a highly intimate user, information indicating that the processing is being performed is presented in a message function provided by a network service such as SNS. As such, the operation of the function may be controlled.
  • the process execution unit 111 when the process execution unit 111 recognizes another external device that is different from an external device highly correlated with the information processing apparatus 10 (that is, an external device held by the user of the information processing apparatus 10). In addition, it may be recognized that there are other users around. In such a case, for example, the process execution unit 111 may suppress output of sound from an acoustic device such as an open speaker.
  • the information processing apparatus 10 can execute a predetermined process according to information recorded in the real graph such as the attribute information d30. If there is, the content of the process and the timing at which the process is executed are not particularly limited.
  • the information processing apparatus 10 may visualize the generated real graph (see, for example, FIG. 3) as display information and present the display information to the user via the notification unit 113 such as a display. . Further, the information processing apparatus 10 may present information related to the user of the external device recognized on the day to the user based on the real graph. Thereby, the user of the information processing apparatus 10 recognizes other users who have shared the field, in particular, other users who have not recognized that the field has been shared (for example, unacquainted users). Is possible.
  • the information processing apparatus 10 may use information registered in the real graph as input information for executing other functions based on an instruction from the user.
  • the information processing apparatus 10 uses “when”, “with whom” as input information to a diary function or the like provided by a network service such as SNS based on information registered in the real graph.
  • An article (or a template of the article) on which information such as “what were you doing” may be automatically generated.
  • Modification 1 Determination Method Using Machine Learning
  • the information processing apparatus 10 receives information stored as low-level data, situation data, or the like as an input, based on machine learning
  • 9 to 12 are explanatory diagrams for explaining the information processing apparatus 10 according to the first modification. Note that in this description, an example will be described in which the information processing apparatus 10 determines whether a person holds a target external device based on machine learning. In this description, the subject of the determination may be referred to as a “recognition device”.
  • the analysis unit 109 described above corresponds to an example of a recognizer.
  • FIG. 9 shows an example of teacher data input to the recognizer.
  • Time-series data is information that indicates whether the person is holding the target external device, such as “acceleration”, “position”, “radio wave intensity”, etc. It is formed by being accumulated in time series. That is, the time series data indicates changes along the time series such as “acceleration”, “position”, and “radio wave intensity”. Note that information such as “acceleration”, “position”, and “radio wave intensity” accumulated as time-series data is used when the recognizer determines whether or not a person holds the target external device. It may correspond to input information to be used (for example, information detected by a predetermined detection unit).
  • Teacher data is generated by associating correct data indicating the determination result of whether or not a person is holding the external device when such time-series data is input to such time-series data.
  • the teacher data is input to the recognizer.
  • the recognizer learns what kind of information is input (that is, whether or not a person holds the information).
  • the teacher data described above may be generated in advance based on the results of past experiments or the like.
  • the recognizer may generate the teacher data based on time-series data acquired as input and its own determination result based on the time-series data.
  • the recognizer determines whether or not a person holds a target external device (for example, a recognized external device) based on a learning result with respect to time-series data acquired as an input Will be described.
  • a target external device for example, a recognized external device
  • the movement amount (that is, change in position and acceleration) of the information processing apparatus 10 (own device) acquired by the recognizer as time-series data and the change in radio field intensity of the radio signal from the external device.
  • the recognizer acquires time-series data when the external device is recognized as input information for each target external device. Then, the recognizer determines whether a person holds the target external device based on the acquired time-series data and the previous learning result (in other words, the teacher data accumulated in advance). .
  • FIG. 11 shows the amount of movement of the information processing apparatus 10 and the radio wave intensity of a signal from an external device based on teacher data (that is, a learning result) accumulated in advance, and whether a person holds the external device.
  • teacher data that is, a learning result
  • the relationship between the determination result of no is typically shown. That is, in the example illustrated in FIG. 11, particularly when the amount of movement of the information processing apparatus 10 is small (or not moving) and the change in radio wave intensity of the signal from the external device is large, the external device Indicates that people are more likely to be held.
  • FIG. 12 shows an example of time-series data input to the recognizer.
  • the time series data includes the amount of movement of the information processing apparatus 10 (own device) and the signal strength of the wireless signal from the recognized external device. It is schematically shown as a change along the time series. In the example illustrated in FIG. 12, the change in signal strength of the radio signal from the external device is shown for each of the external devices “AAA”, “BBB”, and “CCC”.
  • the recognizer collates the acquired time-series data related to the external device AAA with the accumulated teacher data, and from the tendency based on the teacher data (see, for example, FIG. 11), the external device AAA It is determined that the device is held by a person. More specifically, in the period T1, the recognizer does not move, while the wireless signal from the external device AAA is gradually attenuated.
  • the external device AAA may be recognized as moving gradually away from the device.
  • the recognizer may determine that the external devices BBB and CCC are devices that are not held by a person based on the tendency based on the accumulated teacher data (for example, see FIG. 11).
  • the recognizer generates new teacher data based on the time-series data acquired as input information and the determination result based on the time-series data and the previous learning result, and the learning result is You may accumulate.
  • the information processing apparatus 10 acquires more detailed information regarding the situation, the external device, the user of the external device, and the like based on machine learning. The example of was described.
  • FIGS. 13 and 14 are explanatory diagrams for explaining the information processing apparatus 10 according to the second modification.
  • FIG. 13 shows an example of a system to which the information processing apparatus 10 according to Modification 2 is applied.
  • each of the plurality of information processing apparatuses 10m, 10a, and 10b and the server 50 are connected via a network N2 so as to be able to transmit and receive information.
  • the network N2 for example, an electronic network that connects different devices such as the Internet, a dedicated line, a LAN (Local Area Network), or a WAN (Wide Area Network) can be assumed.
  • the information processing apparatus 10m may upload at least a part of the attribute information acquired for each external device to the server 50 via the network N2.
  • the information processing apparatus 10m may upload to the server 50 information indicating a determination result of whether or not a person holds the target external device acquired as attribute information. .
  • the information processing apparatus 10m may upload information related to the user profile of the target external device to the server 50.
  • the information processing apparatus 10 m may upload the generated or updated real graph itself to the server 50. In this case, the server 50 may integrate the real graph uploaded from each information processing apparatus 10.
  • the information processing apparatus 10m may update the real graph held by itself based on the information aggregated in the server 50. As a more specific example, when the information processing apparatus 10m recognizes a new external device that is not registered in the real graph, attribute information about the external device (for example, information about the user profile of the external device) is displayed. Or from the server 50. As another example, the information processing apparatus 10 m may acquire a real graph integrated by the server 50 from the server 50.
  • each information processing apparatus 10 can generate or update a real graph by using the information aggregated in the server 50. Become.
  • information of each external device acquired or recognized by each information processing apparatus 10 is collected in the server 50, even if an error is included in recognition by some information processing apparatuses 10, other information processing The error can be corrected in a self-cleaning manner based on the recognition result by the device 10.
  • Modification 2 referring to FIGS. 13 and 14, various information accumulated as a real graph is shared among a plurality of information processing apparatuses 10 by using an external device such as a server. An example has been described.
  • FIG. 15 is an explanatory diagram for explaining the information processing apparatus 10 according to the modification example 3, and shows a modification example of the real graph.
  • real graph d1 ′ when the real graph according to the modification 3 shown in FIG. 15 is distinguished from the real graph d1 described above with reference to FIG. 3, it may be referred to as “real graph d1 ′”. .
  • the real graph d1 ′ includes a link d15 for associating nodes d11 corresponding to a plurality of external devices, and attribute information d35 associated with the link d15, with reference to FIG. This is different from the real graph d1 described above.
  • the information processing apparatus 10 collates the status lists d20 corresponding to the external devices “AAA” and “BBB” recognized at the same time, so that the external devices “AAA” and “BBB”. Determine the correlation between them. More specifically, the information processing apparatus 10 has a high correlation between the external devices “AAA” and “BBB” when the number of simultaneous recognitions in the past and the frequency of simultaneous recognitions are equal to or greater than a threshold value. Judge that it is.
  • the information processing apparatus 10 determines that the correlation between the external devices “AAA” and “BBB” is high, the information processing apparatus 10 associates the nodes d11 corresponding to the external devices with each other based on the link d15. Further, the information processing apparatus 10 acquires information that can be related to both of the external devices based on the status data d21 included in the status list d20 of both the external devices. As a more specific example, the information processing apparatus 10 may acquire information indicating the relationship between the external devices “AAA” and “BBB” (for example, “family”, “person related to the workplace”, etc.). Good. As another example, the information processing apparatus 10 may acquire information indicating the content of the conversation acquired when recognizing the external devices “AAA” and “BBB”, or analyze the content of the conversation. Information corresponding to a topic may be acquired.
  • the information processing apparatus 10 generates attribute information d35 based on the acquired information, and associates the attribute information d35 with the link d15 that associates the external devices “AAA” and “BBB”. Note that, when the attribute information d35 is already associated with the link d15, the information processing apparatus 10 may update the attribute information d35 based on the acquired information.
  • the information processing apparatus 10 may visualize the real graph d1 ′ illustrated in FIG. 15 as display information and present the display information to its own user via the notification unit 113 such as a display. .
  • the user of the information processing apparatus 10 can recognize the relationship between the external devices “AAA” and “BBB” or between the users of the external devices “AAA” and “BBB”.
  • the example of the real graph d1 ′ illustrated in FIG. 15 is merely an example, and if it is possible to associate information that can be related to both the plurality of external devices with a plurality of highly correlated external devices,
  • the method and the data format of the real graph d1 ′ are not particularly limited.
  • the attribute information d35 may be associated with both the nodes d11 corresponding to the external devices “AAA” and “BBB”.
  • FIG. 16 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to an embodiment of the present disclosure.
  • the information processing apparatus 10 includes a processor 901, a memory 903, a storage 905, an operation device 907, a notification device 909, a detection device 911, a communication device 915, A sound collection device 917 and a bus 919 are included. Further, the information processing apparatus 10 may include an imaging device 913.
  • the processor 901 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on Chip), and executes various processes of the information processing apparatus 10.
  • the processor 901 can be configured by, for example, an electronic circuit for executing various arithmetic processes.
  • the device recognition unit 103, the data recording unit 107, the analysis unit 109, and the process execution unit 111 described above can be realized by the processor 901.
  • the memory 903 includes RAM (Random Access Memory) and ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 905 can include a storage medium such as a semiconductor memory or a hard disk.
  • the storage unit 31 described above can be realized by at least one of the memory 903 and the storage 905 or a combination of both.
  • the operation device 907 has a function of generating an input signal for a user to perform a desired operation.
  • the operation device 907 can be configured as a touch panel, for example.
  • the operation device 907 generates an input signal based on an input by the user, such as buttons, switches, and a keyboard, and an input for the user to input information, and supplies the input signal to the processor 901. It may be composed of a control circuit or the like. Note that at least a part of the configuration of the input unit 115 described above may be realized by the operation device 907.
  • the notification device 909 is an example of an output device, and may be a device such as a liquid crystal display (LCD) device or an organic EL (OLED: Organic Light Emitting Diode) display, for example. In this case, the notification device 909 can notify the user of predetermined information by displaying the screen. Further, the notification device 909 may be a device that notifies a user of predetermined information by outputting a predetermined acoustic signal, such as a speaker.
  • a predetermined acoustic signal such as a speaker.
  • the example of the notification device 909 described above is merely an example, and the aspect of the notification device 909 is not particularly limited as long as predetermined information can be notified to the user.
  • the notification device 909 may be a device that notifies the user of predetermined information using a lighting or blinking pattern, such as an LED (Light Emitting Diode).
  • the notification unit 113 described above can be realized by the notification device 909.
  • the detection device 911 is a device for detecting various states.
  • the detection device 911 may be configured by a sensor for detecting various states such as a touch sensor, a pressure sensor, an illuminance sensor, and a humidity sensor.
  • the detection device 911 may be configured by a sensor for detecting contact or proximity of a predetermined target, such as an electrostatic sensor.
  • the detection device 911 may be configured by a sensor for detecting a change in the position or orientation of a predetermined housing, such as an acceleration sensor or an angular velocity sensor.
  • the detection device 911 may be configured by a sensor for detecting a predetermined target, such as a so-called optical sensor. Note that at least a part of the configuration of the detection unit 105 described above can be realized by the detection device 911.
  • the imaging device 913 includes an imaging element that captures a subject and obtains digital data of the captured image, such as a CMOS (Complementary Metal-Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor. That is, the imaging device 913 has a function of capturing a still image or a moving image via an optical system such as a lens in accordance with the control of the processor 901.
  • the imaging device 913 may store the captured image in the memory 903 or the storage 905. Note that at least a part of the configuration of the detection unit 105 described above may be realized by the imaging device 913.
  • the sound collection device 917 is a device such as a microphone that collects the sound emitted from the user and the sound of the surrounding environment and acquires it as acoustic information (acoustic signal).
  • the sound collection device 917 may acquire data indicating an analog sound signal indicating the collected sound or sound as sound information, or convert the analog sound signal into a digital sound signal and perform conversion. Data indicating a later digital acoustic signal may be acquired as acoustic information. Note that at least a part of the configuration of the detection unit 105 described above may be realized by the sound collection device 917.
  • the communication device 915 is a communication unit included in the information processing apparatus 10 and communicates with an external apparatus via a network.
  • the communication device 915 is a wired or wireless communication interface.
  • the communication device 915 may include a communication antenna, an RF (Radio Frequency) circuit, a baseband processor, and the like.
  • the communication device 915 has a function of performing various kinds of signal processing on a signal received from an external device, and can supply a digital signal generated from the received analog signal to the processor 901. Note that the communication unit 117 described above can be realized by the communication device 915.
  • the bus 919 connects the processor 901, the memory 903, the storage 905, the operation device 907, the notification device 909, the detection device 911, and the communication device 915 to each other.
  • the bus 919 may include a plurality of types of buses.
  • the information processing apparatus 10 is based on the detection result of a radio signal for direct communication between a plurality of terminals via a radio propagation path, at the transmission source of the radio signal. Recognize an external device. In addition, the information processing apparatus 10 acquires information indicating various situations when the external device is recognized, and the acquired information and the recognition result of the external device are times when the external device is recognized. Record it as low-level data in association with the information.
  • the information processing apparatus 10 generates or updates a real graph indicating the relationship between itself and other recognized external devices based on the low-level data accumulated along the time series.
  • a real graph generated in this way, for each external device automatically recognized by the information processing apparatus 10, information indicating a situation when the external device is recognized, the external device, or the external device Information about the user of the device is recorded.
  • the information processing apparatus 10 executes a predetermined process based on the information related to the external device (or information related to the user of the external device) recorded in the real graph.
  • the information processing apparatus 10 notifies the user of this fact.
  • the information processing apparatus 10 may present information related to the user of the recognized external device to the user.
  • the user of the information processing apparatus 10 recognizes that other users who have shared the field in the past, particularly those who have shared the field in the past, without going through complicated procedures such as a preliminary procedure. It becomes possible to recognize other users (for example, a wider range of users including unacquainted users).
  • the information processing apparatus 10 may present information indicating a situation when the place is shared in the past to the user. . Thereby, when the user of the information processing apparatus 10 meets another user who has met in the past, it is possible to recall the situation at that time (for example, the content of the conversation exchanged at that time). Become.
  • the information processing apparatus 10 may execute a predetermined process according to the relationship between its own user and the user of the recognized external device.
  • the information processing apparatus 10 recognizes that its own user is facing another user with high intimacy, the information processing apparatus 10 You may alert
  • the user of the information processing apparatus 10 can communicate with the user in the face-to-face by contacting another user who is different from the user during the face-to-face with the user who is intimate without the complicated operation. It is also possible to prevent such a situation that it is obstructed.
  • a recognition unit that recognizes a terminal that is a transmission source of the signal based on a detection result of a signal of wireless communication for performing direct communication between terminals via a wireless propagation path;
  • a recording unit that records history information including a recognition result of the terminal and information for determining whether the user holds the terminal detected by a predetermined detection unit for each first period
  • a determination unit that determines whether the user holds the terminal based on the history information recorded during a second period that is longer than the first period
  • a processing unit that executes predetermined processing based on the recognition result of the terminal and the determination result;
  • An information processing apparatus comprising: (2) The determination unit determines whether or not the terminal is moving every first period, and determines whether or not the user holds the terminal based on the determination result during the second period.
  • the information processing apparatus according to (1).
  • the processing unit performs the predetermined process on the terminal determined to be held by the user among the recognized terminals, according to any one of (1) to (3).
  • the recording unit acquires first information indicating a situation when the terminal is detected for each of the first periods, and records the first information as the history information corresponding to the terminal.
  • the information processing apparatus according to any one of (1) to (4).
  • the information processing apparatus includes information regarding other users located around the user of the information processing apparatus detected by a predetermined detection unit.
  • the recording unit records second information related to the terminal or a user of the terminal in association with the terminal, and updates the second information based on the history information corresponding to the terminal.
  • the information processing apparatus according to any one of (7) to (7).
  • the information processing apparatus according to (8), wherein the recording unit records the determination result indicating whether or not the user holds the terminal as the second information.
  • the said recording part acquires the information which shows the relationship between the user of the said information processing apparatus, and the user of the said recognized terminal as said 2nd information, The said (8) or (9) Information processing device.
  • the information processing apparatus according to any one of (8) to (10), wherein the processing unit executes a predetermined process based on the second information associated with the recognized terminal.
  • the recording unit according to any one of (8) to (11), wherein the second information associated with the terminal is updated by an external device based on the other second information associated with the terminal.
  • the information processing apparatus according to one item.
  • the processing unit generates or updates display information presenting a relationship between the information processing apparatus and the terminal based on the second information associated with the terminal, according to (8) to (12) The information processing apparatus according to any one of claims.
  • the processing unit associates a first object indicating the information processing apparatus and a second object indicating the terminal by a link, and the first information corresponding to the terminal is associated with the second object.
  • the information processing apparatus according to (13), wherein the display information is generated by associating the second information.
  • the processing unit according to any one of (8) to (14), wherein when the terminal on which the history information is recorded in the past is recognized, the processing unit causes the notification unit to notify predetermined notification information. Information processing device. (16) The information processing apparatus according to (15), wherein the processing unit causes the notification unit to notify the predetermined notification information according to the second information associated with the recognized terminal.
  • the recording unit Based on the first information corresponding to each of the plurality of terminals different from each other, the recording unit outputs third information commonly associated with the plurality of terminals, the plurality of terminals, or the plurality of terminals.
  • the information processing apparatus according to any one of (5) to (16), wherein the information processing apparatus is associated with information indicating a relationship between the two.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】煩雑な手順を介すことなく、場を共有したユーザを認識可能とする。 【解決手段】端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識する認識部と、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録する記録部と、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定する判定部と、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行する処理部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 通信技術の進歩や各種デバイスの小型化に伴い、所謂情報処理装置と呼ばれる機器の種別も多様化してきており、PC(Personal Computer)等に限らず、スマートフォンやタブレット端末のように、ユーザが携行可能に構成された機器も普及してきている。また、近年では、ユーザが身体の一部に装着することで携行しながら使用可能に構成された、所謂ウェアラブル端末も提案されている。
 このように、ユーザが携行可能に構成された情報処理装置の普及に伴い、当該情報処理装置を利用したサービスも検討されている。例えば、特許文献1には、ユーザが保持する端末が、所定の範囲内に存在する他の端末と通信を行うことで、同じ場を共有している他のユーザを認識可能とする技術の一例が開示されている。
国際公開第2007/105436号
 一方で、特許文献1に開示された技術では、各ユーザが保持する端末が、他のユーザが保持する端末との間で通信が可能であることが前提となるため、当該通信を行うための設定や、所定のサービスへの登録等のような事前の手続きが必要となる。このような状況下では、同じ場を共有したことを認識することが可能なユーザが、当該事前の手続きが行われたユーザに制限される場合が想定され得る。そのため、事前の手続き等のような煩雑な手順を踏むことなく、より広い範囲のユーザについて、場を共有したことを認識することが可能な仕組みが求められている。
 そこで、本開示では、煩雑な手順を介すことなく、場を共有したユーザを認識することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
 本開示によれば、端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識する認識部と、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録する記録部と、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定する判定部と、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行する処理部と、を備える、情報処理装置が提供される。
 また、本開示によれば、プロセッサが、端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、を含む、情報処理方法が提供される。
 また、本開示によれば、コンピュータに、端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、を実行させる、プログラムが提供される。
 以上説明したように本開示によれば、煩雑な手順を介すことなく、場を共有したユーザを認識することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置を適用したシステムの概略的なシステム構成の一例について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 リアルグラフの一例について説明するための説明図である。 同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。 同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。 同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。 同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。 同実施形態に係る情報処理装置による、リアルグラフに基づく動作の一例について説明するための説明図である。 変形例1に係る情報処理装置について説明するための説明図である。 変形例1に係る情報処理装置について説明するための説明図である。 変形例1に係る情報処理装置について説明するための説明図である。 変形例1に係る情報処理装置について説明するための説明図である。 変形例2に係る情報処理装置について説明するための説明図である。 変形例2に係る情報処理装置について説明するための説明図である。 変形例3に係る情報処理装置について説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.システム構成
 2.機能構成
 3.リアルグラフの作成または更新
 4.リアルグラフに基づく動作の一例
 5.変形例
  5.1.変形例1:機械学習を利用した判定方法
  5.2.変形例2:サーバを介した情報共有の例
  5.3.変形例3:リアルグラフの変形例
 6.ハードウェア構成
 7.まとめ
 <1.システム構成>
 まず、図1を参照して、本開示の一実施形態に係る情報処理装置を適用したシステムの概略的なシステム構成の一例について説明する。図1は、本実施形態に係る情報処理装置を適用したシステムの概略的なシステム構成の一例について説明するための説明図である。
 図1において、情報処理装置10m及び10aは、例えば、スマートフォン、タブレット端末、または、ウェアラブル端末等のように、ユーザが携行可能に構成された機器を示している。例えば、情報処理装置10mは、ユーザUmが保持する機器(即ち、携行する機器)の一例を示している。同様に、情報処理装置10aは、ユーザUaが保持する機器の一例を示している。なお、以降の説明では、情報処理装置10m及び10aのように、各ユーザが保持する情報処理装置を特に区別しない場合には、単に「情報処理装置10」と称する場合がある。
 情報処理装置10は、複数の端末間が無線の伝搬経路を介して直接通信を行う無線通信の信号を検出可能に構成されている。当該無線通信としては、例えば、Bluetooth(登録商標)、BLE:Bluetooth Low Energy、Wi-Fi(登録商標):Wireless Fidelity等の規格に基づく無線通信が挙げられる。また、BLEを利用した無線通信の技術としては、例えば、iBeacon(登録商標)等が挙げられる。なお、以降の説明では、単に「無線通信」と記載した場合には、上記に説明した、複数の端末間が無線の伝搬経路を介して直接通信を行う無線通信を示すものとする。
 図1において、参照符号N1mは、情報処理装置10mの無線通信の通信範囲を示している。同様に、参照符号N1aは、情報処理装置10aの無線通信の通信範囲を示している。
 例えば、図1に示す例では、情報処理装置10aは、通信範囲N1a内に位置する他の端末(例えば、不特定多数の他の情報処理装置10)に対して、無線通信のための信号を送信している(例えば、ブロードキャストしている)。このような状況下において、情報処理装置10mは、通信範囲N1a内に進入すると、情報処理装置10aから送信される無線通信の信号を検出することとなる。このとき、情報処理装置10mは、検出した情報処理装置10aからの無線信号から、当該情報処理装置10aに関する情報を抽出し、抽出した当該情報に基づき情報処理装置10aを認識する。
 同様に、情報処理装置10aは、通信範囲N1m内に進入した場合に、情報処理装置10mから送信される無線通信の信号を検出し、検出した当該信号から情報処理装置10mに関する情報を抽出することで、当該情報処理装置10mを認識してもよい。
 そして、情報処理装置10mは、情報処理装置10aの認識結果をデータとして記録しておき、過去に記録した当該データを利用することで、自身のユーザUmと、情報処理装置10aのユーザUaとが同じ場を共有したことを認識可能とする。
 そこで、以降では、情報処理装置10mが、自身のユーザUmと、情報処理装置10aのユーザUaとが同じ場を共有したことを認識可能とするための仕組みの一例について、情報処理装置10の構成の一例とあわせて、詳しく説明する。
 <2.機能構成>
 図2を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明する。図2は、本実施形態に係る情報処理装置10の機能構成の一例を示したブロック図である。なお、本説明では、本実施形態に係る情報処理装置10の特徴をよりわかりやすくするために、ユーザUmが保持する情報処理装置10mが、ユーザUaが保持する情報処理装置10aを認識する場合を例に、当該情報処理装置10aを外部デバイスと称して説明する。
 図2に示すように、情報処理装置10は、無線信号検出部101と、デバイス認識部103と、検知部105と、データ記録部107と、解析部109と、処理実行部111と、報知部113と、入力部115と、記憶部31とを含む。また、情報処理装置10は、通信部117を含んでもよい。
 通信部117は、情報処理装置10内の各構成が、外部装置(例えば、サーバ等)との間でネットワークを介した通信を確立し、当該外部装置との間で各種情報(各種データ)を送受信するための構成である。なお、以降の説明では、情報処理装置10内の各構成が、ネットワークを介して外部装置と情報の送受信を行う場合には、特に記載が無い場合においても、通信部117を介して情報の送受信を行うものとする。
 無線信号検出部101は、例えば、無線通信のためのアンテナのように、当該無線通信の信号を検出可能に構成されている。例えば、無線信号検出部101は、外部デバイスから送信される無線信号を検出すると、当該無線信号の検出結果をデバイス認識部103に出力する。
 デバイス認識部103は、無線信号検出部101から無線信号の検出結果を取得し、当該無線信号に含まれる情報に基づき、当該無線信号の送信元である外部デバイスを認識する。具体的な一例として、デバイス認識部103は、RF(Radio Frequency)回路やベースバンドプロセッサ等を含み、無線信号検出部101により検出された無線信号を復調する。そして、デバイス認識部103は、無線信号の復調結果から、外部デバイスに関する情報(例えば、外部デバイスの識別情報)を抽出することで当該外部デバイスを認識する。なお、このときデバイス認識部103は、無線信号が検出された複数の外部デバイスを認識してもよい。
 また、デバイス認識部103は、無線信号の検出結果に基づき、当該無線信号の信号強度を示す情報を、当該無線信号の送信元である外部デバイスの認識結果を示す情報として取得してもよい。
 そして、デバイス認識部103は、無線信号が検出された1以上の外部デバイスの認識結果を示す情報を、後述するデータ記録部107に出力する。また、デバイス認識部103は、外部デバイスの認識結果を示す情報を、後述する処理実行部111に出力してもよい。
 検知部105は、外部デバイスが認識されたときの状況に関する情報(もしくは、当該状況を認識するための情報)を取得する。
 例えば、検知部105は、GPS(Global Positioning System)等のデバイスを含み、当該デバイスにより、情報処理装置10の位置情報(ひいては、当該情報処理装置10を保持するユーザの位置情報)を取得してもよい。
 また、検知部105は、ユーザの外部環境(換言すると、情報処理装置10の外部環境)の各種情報を取得してもよい。具体的な一例として、検知部105は、カメラ等のような撮像デバイスを含み、当該撮像デバイスにより撮像された情報処理装置10の外部環境の画像(即ち、ユーザの周囲の画像)を取得してもよい。また、他の一例として、検知部105は、マイクロフォン等のような集音デバイスを含み、当該集音デバイスにより集音された情報処理装置10の外部環境の音響(例えば、音声や環境音)を取得してもよい。
 また、検知部105は、情報処理装置10の状態、または、情報処理装置10のユーザの状態を示す各種情報を取得してもよい。具体的な一例として、検知部105は、加速度センサや角速度センサ等のような検知デバイスを含み、当該検知デバイスにより検知された情報処理装置10の位置や向きの変化を示す情報を取得してもよい。
 また、他の一例として、検知部105は、情報処理装置10のユーザの身体のうち、少なくとも一部の部位の位置や向きの変化を示す情報を取得してもよい。この場合には、例えば、検知部105は、ユーザの当該部位に装着されたウェアラブルデバイスから、当該ウェアラブルデバイスにより検出された当該部位の位置や向きの変化を示す情報を取得すればよい。
 なお、上記に説明した例はあくまで一例であり、外部デバイスが認識されたときの状況に関する情報を検知部105が取得可能であれば、当該情報の種別、当該情報の取得方法、及び、当該情報を取得するための構成(デバイス)は特に限定されない。
 また、検知部105が上記に説明した各種状況を示す情報を取得する契機は特に限定されない。例えば、検知部105は、所定のタイミングごとに上記各種状況を監視し、当該状況に関する情報を取得してもよい。また、他の一例として、検知部105は、所定の動作をトリガとして、上記各種状況に関する情報を取得してもよい。例えば、検知部105は、上述したデバイス認識部103が外部デバイスを認識したことをトリガとして、上記各種状況に関する情報を取得してもよい。また、他の一例として、検知部105は、上記各種状況の変化を検出した場合に、当該変化の検出をトリガとして、変化後の上記状況に関する情報を取得してもよい。
 以上のようにして、検知部105は、外部デバイスが認識されたときの状況に関する情報を取得し、取得した情報をデータ記録部107に出力する。
 データ記録部107は、1以上の外部デバイスの認識結果を示す情報を、デバイス認識部103から取得する。また、データ記録部107は、当該外部デバイスが認識されたときの状況に関する情報を、検知部105から取得する。データ記録部107は、外部デバイスの認識結果を示す情報と、上記状況に関する情報とを、外部デバイスが認識されたときの時間情報(例えば、日付や時刻)と関連付けて、低レベルデータとして記憶部31に記録する。なお、データ記録部107は、上記時間情報を、例えば、所定の計時部(図示を省略する)から取得すればよい。また、記憶部31は、情報処理装置10が各種処理を実行するための各種データを、一時的または恒常的に記憶するための記憶領域である。
 そして、データ記録部107は、時系列に沿って記憶部31に蓄積された低レベルデータに基づき、情報処理装置10と、認識された各外部デバイスとの間の関係を示すデータを生成または更新する。なお、以降では、当該データを、「リアルグラフ」と称する場合がある。
 例えば、図3は、リアルグラフの一例について説明するための説明図である。図3に示すリアルグラフd1は、情報処理装置10を示すノードd10に対して、認識された各外部デバイスを示すノードd11が、リンクd13により関連付けられている。また、各外部デバイスに対応するノードd11には、状況リストd20と、属性情報d30とが関連付けられている。
 状況リストd20は、ノードd11が示す外部デバイスが認識されたときの状況を示す状況データd21が、当該外部デバイスが認識されたタイミングごとにリストとして記録されている。なお、状況データd21に含まれる情報としては、例えば、外部デバイスが認識された時刻、当該外部デバイスが認識された位置(または、場所)、当該外部デバイスが動いているか否か、当該外部デバイスが認識されたときの外部環境、等の情報等のように、低レベルデートして記録された情報が含まれていてもよい。また、状況データd21には、当該低レベルデータを解析することで取得された情報として、例えば、他のユーザの顔や声の検出結果、外部デバイスのユーザの行動、当該ユーザとの会話の内容、等の情報が含まれていてもよい。なお、状況データd21が、「履歴情報」の一例に相当し、当該履歴情報に含まれる各種状況を示す情報が「第1の情報」に相当し得る。
 属性情報d30は、ノードd11が示す外部デバイス、または、当該外部デバイスのユーザに関する情報を示している。属性情報d30として記録される外部デバイスに関する情報としては、例えば、外部デバイスを人が保持しているか否かを示す情報が含まれていてもよい。また、当該外部デバイスのユーザに関する情報としては、外部デバイスの認識時に検出された当該ユーザの顔や声の候補を示すデータ、名前等のような当該ユーザのプロフィール、情報処理装置10及び当該外部デバイスそれぞれのユーザ間の関係性や親密度を示す情報等が含まれていてもよい。なお、属性情報d30が、「第2の情報」の一例に相当し得る。
 なお、データ記録部107は、状況データd21や属性情報d30として記録される各種情報のうち、少なくとも一部の情報を、解析部109に、低レベルデータや状況データd21として取得された各種情報に基づき取得または推定させてもよい。
 また、データ記録部107は、入力部115を介したユーザからの指示に基づき、属性情報d30として記録される各種情報のうち少なくとも一部の情報を更新してもよい。
 また、データ記録部107は、サーバ等の外部装置から、属性情報d30として記録される各種情報のうち少なくとも一部の情報を取得し、取得した情報に基づき、対応する外部デバイスの属性情報d30を更新してもよい。また、データ記録部107は、各外部デバイスについて取得した属性情報d30のうち少なくとも一部の情報を、サーバ等の外部装置にアップロードしてもよい。また、データ記録部107は、生成または更新したリアルグラフd1自体を、サーバ等の外部装置にアップロードしてもよい。なお、本動作については、変形例として詳細を別途後述する。
 そして、データ記録部107は、生成または更新したリアルグラフd1を、記憶部31に記憶させる。なお、データ記録部107及び解析部109の動作(特に、リアルグラフd1の生成または更新係る処理)のより詳細な内容については、リアルグラフd1に記録される各種情報の取得方法の具体的な一例とあわせて別途後述する。
 入力部115は、情報処理装置10に対してユーザが各種情報を入力するための入力インタフェースである。入力部115は、例えば、ボタン、スイッチ、及びタッチパネル等のように、ユーザが情報を入力するための入力デバイスを含んでもよい。また、入力部115は、所謂マイクロフォン等のように、ユーザが発話した音声を音響情報として集音する集音デバイスを含んでもよい。
 報知部113は、情報処理装置10がユーザに対して各種情報を提示するための出力インタフェースである。報知部113は、例えば、所謂ディスプレイ等のように、静止画像や動画像のような画像情報を出力するデバイスを含んでもよい。また、報知部113は、例えば、スピーカ等のように音響情報を出力する音響デバイスを含んでもよい。
 処理実行部111は、情報処理装置10が提供する各種機能(例えば、アプリケーション)を実行するための構成である。特に、本開示に係る処理実行部111は、過去に記録された外部デバイスの属性情報d30に基づき所定の処理を実行してもよい。
 例えば、処理実行部111は、外部デバイスが認識されたときに、当該外部デバイスについて既に属性情報d30が取得されている場合(即ち、過去に当該外部デバイスが認識されている場合)には、報知部113に所定の情報を報知させてもよい。これにより、情報処理装置10のユーザは、認識された外部デバイスのユーザと、過去に場を共有したことがあることを認識することが可能となる。なお、処理実行部111の動作の詳細については、リアルグラフに基づく処理の具体的な一例とあわせて別途後述する。
 以上、図2及び図3を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明した。なお、上記に説明した例はあくまで一例であり、上記に説明した情報処理装置10の各機能を実現可能であれば、当該情報処理装置10の機能構成は必ずしも図2に示す例には限定されない。具体的な一例として、情報処理装置10の各構成のうち、少なくとも一部の構成が、例えば、サーバや、当該情報処理装置10と連携して動作する他の装置等のような外部装置に設けられていてもよい。
 <3.リアルグラフの作成または更新>
 次に、図4~図7を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、リアルグラフの生成または更新に係る動作の詳細について、一連の処理の流れの一例とあわせて説明する。図4~図7は、本実施形態に係る情報処理装置10によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。なお、本説明では、図4に示した、フローチャートに沿って説明を行うものとする。
 (ステップS101:低レベルデータの記録)
 まず、データ記録部107は、前述したように、デバイス認識部103による1以上の外部デバイスの認識結果を示す情報と、検知部105により検知された状況に関する情報とを、外部デバイスが認識されたときの時間情報と関連付けて、低レベルデータd40として記憶部31に記録する。これにより、図5に示すように、低レベルデータd40が、時系列に沿って記憶部31に蓄積される。
 (ステップS105:蓄積されたデータをデバイスごとに分類)
 所定の第1の期間が経過すると(S103、YES)、データ記録部107は、当該第1の期間中に蓄積された低レベルデータd40を記憶部31から抽出し、抽出された低レベルデータd40中の各種情報を、認識された外部デバイスごとに分類する(S105)。
 (ステップS107:状況データの生成)
 次いで、データ記録部107は、第1の期間中に認識された外部デバイスごとに、当該外部デバイスが認識されたときの状況を示す情報を、低レベルデータd40から分類された情報に基づき取得する。例えば、データ記録部107は、低レベルデータd40から分類された情報に基づき、外部デバイスが認識された時刻、当該外部デバイスが認識されたときの位置、または、当該外部デバイスが認識されたときの外部環境の検知結果(映像や音響)を、当該状況を示す情報として取得する。
 また、データ記録部107は、低レベルデータd40から分類された情報に基づき、更に詳しい状況を示す情報を解析部109に取得させてもよい。
 (動いているか否かの判定)
 例えば、解析部109は、低レベルデータd40に外部デバイスの認識結果として記録された、当該外部デバイスからの無線信号の電波強度の変化に基づき、当該外部デバイスの位置が変動しているか否かを推定する。そして、解析部109は、当該外部デバイスの位置が変動しているか否かの推定結果と、低レベルデータd40として記録された情報処理装置10の位置情報の変化とに基づき、当該外部デバイスが動いているか否かを示す情報を取得してもよい。例えば、図6は、外部デバイスが動いているか否かを判定するための方法の一例について説明するための説明図である。
 図6に示すように、例えば、解析部109は、情報処理装置10(自デバイス)が静止中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動していない場合には、当該外部デバイスが動いていないものと認識する。
 また、解析部109は、情報処理装置10(自デバイス)が静止中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動している場合には、当該外部デバイスが動いているものと認識する。なお、この場合には、当該外部デバイスが人に保持されることで移動しているか、もしくは、当該外部デバイス自体が移動可能に構成されている状況が想定され得る。
 また、解析部109は、情報処理装置10(自デバイス)が移動中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動していない場合には、当該外部デバイスが動いているものと認識する。なお、この場合には、当該外部デバイスが、情報処理装置10のユーザに保持されているか、もしくは、当該ユーザと共に行動する他のユーザに保持されている状況が想定され得る。
 なお、情報処理装置10(自デバイス)が移動中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動している場合には、当該外部デバイスが動いているか否かを判定することが困難な場合がある。この場合には、解析部109は、当該外部デバイスが動いているか否かは不明であるものと認識してもよい。なお、解析部109は、情報処理装置10の移動量の変化と、外部デバイスからの無線信号の信号強度の変化とが連動している場合には、当該外部デバイスが動いていないものと認識してもよい。
 (場所を示す情報の取得)
 また、解析部109は、低レベルデータd40として記録された位置情報に基づき、外部デバイスが認識された場所(例えば、会社、学校、ライブ会場等)を示す情報を、上記情報を示す情報として取得してもよい。
 なお、各位置情報と当該位置情報が示す情報との間を関連付ける方法は特に限定されない。具体的な一例として、ユーザが、各位置情報に対して、当該位置情報に対応する場所を示す情報を関連付けてもよい。
 また、他の一例として、情報処理装置10(例えば、解析部109)が、検出したユーザの行動の履歴に基づき、各位置情報が示す場所を推定してもよい。この場合には、例えば、情報処理装置10は、取得された位置情報と、当該位置情報が取得された時刻との関係に基づき、当該位置情報が示す場所を推定してもよい。より具体的には、情報処理装置10は、深夜などのようにユーザが睡眠する時刻に取得された位置情報が、当該ユーザの「自宅」を示しているものと推定してもよい。また、他の一例として、情報処理装置10は、ユーザの通勤時間中に取得された位置情報が、当該ユーザの「通勤路」を示しているものと推定してもよい。同様に、情報処理装置10は、通勤路の到達点を示す位置情報や、昼間などのようにユーザが職務に従事している時刻に取得された位置情報が、当該ユーザの「会社」を示しているものと推定してもよい。
 また、情報処理装置10は、サーバ等の外部装置から、各位置情報(緯度や経度の情報)と、当該位置情報が示す場所(例えば、図書館やライブハウス等のスポット)との対応関係を示す情報を取得し、当該情報を利用してもよい。
 (周囲に存在するユーザに関する情報の取得)
 また、解析部109は、低レベルデータd40として記録された、当該外部デバイスが認識されたときの外部環境の検知結果(映像や音響)から、その当時に周囲に存在した他のユーザに関する情報(例えば、顔や音声)を取得してもよい。具体的には、解析部109は、取得された映像を顔認識技術に基づき解析することで、その当時に周囲に存在した他のユーザの顔の情報を取得してもよい。また、解析部109は、取得された音響(例えば、音声や環境音)に対して音響解析を施すことで音声区間を検出し、当該音声区間中の音響情報(即ち、音声情報)を、その当時に周囲に存在した他のユーザの音声情報として取得してもよい。また、このとき解析部109は、事前に登録された情報処理装置10のユーザの音声の特徴を示す情報に基づき、当該ユーザの音声情報と、他のユーザの音声情報とを識別してもよい。
 (会話内容の取得)
 また、他の一例として、解析部109は、周囲に存在する他のユーザの音声情報や、情報処理装置10のユーザの音声情報の取得結果を、会話内容を示す情報として取得してもよい。また、このとき解析部109は、当該音声情報に対して音声認識技術に基づく解析を施すことで文字情報に変換し、当該文字情報を、会話内容を示す情報として取得してもよい。
 なお、上記に示した例は、あくまで一例であり、低レベルデータd40として記録された情報に基づき取得可能な情報であれば、上記状況に関する情報の種別や、当該情報の取得方法は特に限定されない。
 以上のようにして、データ記録部107は、図5に示すように、第1の期間中に認識された外部デバイスごとに、当該外部デバイスが認識されたときの状況を示す情報を取得し、当該情報に基づき状況データd21を外部デバイスごとに生成する。
 (ステップS109:状況リストへの状況データの追加)
 そして、データ記録部107は、図5に示すように、外部デバイスごとに生成した状況データd21を、リアルグラフ中において、当該外部デバイスを示すノードd11に関連付けられた状況リストd20に追加する。これにより、状況リストd20には、対象となる外部デバイスが認識されたときの状況を示す情報(即ち、状況データd21)が、時系列に沿って記録されることとなる。
 このようにして、データ記録部107は、上記第1の期間ごとに、当該第1の期間中に認識された外部デバイスについて、当該第1の期間中に記録された低レベルデータd40に基づき、状況リストd20を更新する。
 (ステップS113:状況リストに基づき属性情報を更新)
 次いで、第1の期間よりも長い所定の第2の期間が経過すると(S111、YES)、データ記録部107は、リアルグラフに記録された外部デバイスごとに、当該外部デバイスに対応する状況リストd20を解析部109に解析させる。そして、データ記録部107は、外部デバイスごとの状況リストd20の解析結果に基づき、当該外部デバイスに対応する属性情報d30を更新する。
 (人が保持しているか否かの判定)
 例えば、図7は、属性情報d30の更新に係る処理の一例について説明するための説明図である。図7に示す例では、解析部109は、状況リストd20中の各状況データd21に記録された、対象となる外部デバイスが動いているか否かを示す情報に基づき、当該外部デバイスが人に保持されたデバイスか否かを判定する。
 より具体的には、解析部109は、状況リストd20に蓄積された各状況データd21に基づき、動くデバイスであると判定された回数または頻度が閾値を超える場合には、対象となる外部デバイスが、人が保持しているデバイスであると判定する。
 また、解析部109は、動くデバイスであると判定された回数または頻度が閾値以下の場合(ひいては、常に動かないデバイスと判定されている場合)には、状況データd21に記録された他の情報と組み合わせて判定することで、人が保持しているデバイスか否かを判定する。
 より具体的には、動くデバイスであると判定された回数または頻度が閾値以下の場合においても、対象となる外部デバイスが認識された場所が異なる場合には、対象となるデバイスが、人が保持しているデバイスか否かを判定することが困難である。この場合には、解析部109は、その時点では、判定を保留してもよい。
 また、動くデバイスであると判定された回数または頻度が閾値以下であり、かつ、対象となる外部デバイスが認識された場所が常に同じ場合には、対象となる外部デバイスは、当該場所に固定されたデバイス(例えば、Wi-Fiのアクセスポイント等)と推測され得る。そのため、この場合には、解析部109は、対象となる外部デバイスを、人が保持していないデバイスと判定してもよい。
 また、このとき解析部109は、複数の外部デバイス間における、位置情報の変化や認識された時間帯等の状況を示す情報の相関性から、相関の高い複数の外部デバイスを特定してもよい。この場合には、解析部109は、より相関の高い複数の外部デバイスを、同一のユーザが保持している外部デバイスや、同じ場所に設置されている外部デバイスとして、当該複数の外部デバイス間を関連付けてもよい。また、解析部109は、情報処理装置10とより相関の高い外部デバイス(例えば、1日のうち所定の期間を超えて相関が高い外部デバイス)を、情報処理装置10のユーザが保持する外部デバイスと判定してもよい。
 なお、過去に人が保持していないと判定した外部デバイスについても、その後に追加された状況データd21に基づき、人が保持しているデバイスと判定される場合もあり得る。具体的な一例として、状況データd21の追加に伴い、対象となる外部デバイスが、上記に説明した人が保持するデバイスであると判定するための条件を満たした場合には、解析部109は、当該外部デバイスを、人が保持するデバイスと判定してもよい。この場合には、データ記録部107は、解析部109の判定結果に基づき、対象となる外部デバイスの属性情報d30を更新することとなる。
 また、上記に説明したような処理の特性から、蓄積された各状況データd21の数が多いほど、解析部109は、より正確な判定(より実態に近い判定)を行うことが可能となる。このような特性から、解析部109は、対象となる外部装置に対応する状況データd21の数が閾値よりも少ない場合(即ち、正確な判定が困難な場合)には、当該外部デバイスが人に保持されているか否かについては未判定として取り扱ってもよい。
 (ユーザに関する情報の絞り込み)
 また、解析部109は、状況リストd20中の各状況データd21に記録された、周囲に存在する他のユーザに関する情報に基づき、対象となる外部デバイスのユーザに関する情報の候補を絞り込んでもよい。具体的な一例として、解析部109は、状況リストd20中の各状況データd21に記録された他のユーザの顔の認識結果を、当該状況データd21間で比較することで、対象となる外部デバイスのユーザの顔の候補を絞り込んでもよい。同様に、解析部109は、状況リストd20中の各状況データd21に記録された他のユーザの音声の認識結果を、当該状況データd21間で比較することで、対象となる外部デバイスのユーザの音声の候補を絞り込んでもよい。
 (ユーザ間の関係性の取得)
 また、解析部109は、状況リストd20中の各状況データd21に記録された、場所または位置を示す情報に基づき、情報処理装置10のユーザと、対象となる外部デバイスのユーザとの間の関係性を示す情報を取得してもよい。具体的な一例として、解析部109は、「会社」で認識される回数や頻度が閾値を超える外部デバイスのユーザについては、情報処理装置10のユーザとの関係が、「職場に関係する人」であるものと認識してもよい。また、他の一例として、解析部109は、「自宅」で認識される回数や頻度が閾値を超える外部デバイスのユーザについては、上記関係が「家族」であるものと認識してもよい。同様に、解析部109は、「子供の学校」で認識される回数や頻度が閾値を超える外部デバイスのユーザについては、上記関係が「子供の学校に関係する人」であるものと認識してもよい。
 (親密度の算出)
 また、解析部109は、状況リストd20中の各状況データd21に基づき、情報処理装置10のユーザと、対象となる外部デバイスのユーザとの間の親密度を算出してもよい。具体的な一例として、解析部109は、対象となる外部デバイスのユーザとの会話の有無や行動の一致度等に応じて親密度を算出してもよい。また、解析部109は、場を共有したときの状態や状況(例えば、外部デバイスが認識された場所等)に応じて親密度を算出してもよい。より具体的には、解析部109は、通勤路や通勤電車において場を共有したユーザよりも、レストラン等のように、コミュニケーションをよりとりやすい場を共有したユーザの親密度をより高く設定してもよい。
 (名前等のプロフィールの入力)
 データ記録部107は、対象となる外部デバイスのユーザの、名前等のようなプロフィールに関する情報を取得可能な場合には、取得した情報を属性情報d30に登録してもよい。
 具体的な一例として、サーバ等の外部装置やネットワークサービス(例えば、SNS)において、対象となる外部デバイスに対して、当該外部デバイスのユーザのプロフィールに関する情報が関連付けられて管理されているような場合が想定され得る。このような場合には、データ記録部107は、当該外部装置やネットワークサービスにアクセスすることで、対象となる外部デバイスのユーザのプロフィールに関する情報を取得してもよい。
 また、データ記録部107は、ネットワークサービスが提供する機能への入力情報から、対象となる外部デバイスのユーザのプロフィールに関する情報を取得してもよい。より具体的な一例として、データ記録部107は、ネットワークサービスが提供する日記等に入力される記事に、名前等のユーザのプロフィールと推定される情報が含まれる場合には、当該情報を、対象となる外部デバイスのユーザのプロフィールに関する情報として抽出してもよい。なお、データ記録部107は、外部デバイスのユーザのプロフィールに関する情報を取得した場合に、当該情報を属性情報d30に対して登録するか否かを、ディスプレイ等の報知部113を介してユーザに対して問い合わせてもよい。
 また、データ記録部107は、入力部115を介したユーザ入力に基づき、対象となる外部デバイスのユーザのプロフィールに関する情報を取得してもよい。なお、データ記録部107は、第2の期間中に認識された外部デバイスのユーザのプロフィールに関する情報の入力を、情報処理装置10のユーザに促してもよい。
 より具体的な一例として、データ記録部107は、「今日、誰と昼食を食べた?」等の質問をユーザに提示し、その応答として入力されたユーザの情報(例えば、名前)に基づき、当日の昼に認識された外部デバイスの属性情報d30に登録してもよい。また、他の一例として、データ記録部107は、認識された外部デバイスに関する情報を、ディスプレイ等の報知部113を介して情報処理装置10のユーザに提示することで、当該ユーザが対面している他のユーザが保持する外部デバイスであることを通知し、当該他のユーザのプロフィールに関する情報の入力を促してもよい。なお、データ記録部107は、上記に説明した、情報処理装置10のユーザに対して、外部デバイスのユーザのプロフィールに関する情報の入力を促す動作を、特定の条件を満たす場合(例えば、親密度が閾値を超える場合等)についてのみ実行してもよい。
 このようにして、データ記録部107は、上記第2の期間ごとに、リアルグラフに記録された各外部デバイスについて、状況リストd20の解析結果に基づき、当該外部デバイスに対応する属性情報d30を更新する。
 以上のようにして、情報処理装置10は、一連の処理の終了が指示されない限り(ステップS115、NO)、低レベルデータd40の記録、状況リストd20への状況データd21の追加、及び属性情報d30の更新に係る各処理を適宜実行する。そして、情報処理装置10は、ユーザから一連の処理の終了が指示された場合には(ステップS115、YES)、上記に説明した各種処理の実行を終了する。
 以上、図4~図7を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、リアルグラフの生成または更新に係る動作の詳細について、一連の処理の流れの一例とあわせて説明した。
 <4.リアルグラフに基づく動作の一例>
 次に、図8を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、外部デバイスが認識された場合における、リアルグラフに基づく動作の詳細について、一連の処理の流れの一例とあわせて説明する。図8は、本実施形態に係る情報処理装置10による、リアルグラフに基づく動作の一例について説明するための説明図である。
 (ステップS201:外部デバイスの認識)
 処理実行部111は、デバイス認識部103から外部デバイスの認識結果を取得する。これにより、処理実行部111は、情報処理装置10の周囲に位置する外部デバイス(即ち、情報処理装置10のユーザと場を共有する他のユーザの外部デバイス)を認識することが可能となる。
 (ステップS203:認識された外部デバイスの属性情報の確認)
 次いで、処理実行部111は、記憶部31に記憶されたリアルグラフを参照し、認識した外部デバイスに対応する属性情報d30を抽出する。
 (ステップS205:処理の実行)
 処理実行部111は、属性情報d30が抽出でき(ステップS205、YES)、かつ、当該属性情報d30中の情報が所定の条件を満たす場合(ステップS207、YES)には、当該条件に応じてあらかじめ決められた処理を実行する。なお、このとき、処理実行部111は、人が保持している外部デバイスについてのみ、当該処理を実行してもよい。
 (情報の報知)
 具体的な一例として、処理実行部111は、属性情報d30が抽出できた外部デバイスについて、当該属性情報d30に記録された、当該外部デバイス、または、当該外部デバイスのユーザに関する報知情報を報知部113に報知させてもよい。また、このとき処理実行部111は、属性情報d30に記録された、当該外部デバイスのユーザとの関係を示す情報に応じて、報知情報を報知部113に報知させてもよい。より具体的には、処理実行部111は、当該外部デバイスのユーザとの間の親密度が閾値を超える場合に、報知情報を報知部113に報知させてもよい。これにより、情報処理装置10のユーザは、周囲に存在する外部デバイスが認識された場合に、当該外部デバイスのユーザと過去に場を共有したことがあることを認識することが可能となる。
 また、処理実行部111は、状況リストd20中の各状況データd21に記録された情報を、報知部113を介して、情報処理装置10のユーザに提示してもよい。より具体的な一例として、処理実行部111は、情報処理装置10のユーザが、外部デバイスのユーザとの間で交わした会話の内容を示す情報を、状況リストd20中の状況データd21から抽出し、抽出した情報を、報知部113を介して情報処理装置10のユーザに提示してもよい。これにより、情報処理装置10のユーザは、過去に会ったことがあるユーザと対面した場合に、過去に会ったときに当該ユーザと交わした会話の内容を想起することが可能となる。
 (各種機能の制御)
 また、処理実行部111は、抽出された属性情報d30中の情報が所定の条件を満たす場合に、当該条件に応じてあらかじめ決められた機能(例えば、アプリケーション)の動作を制御してもよい。具体的な一例として、処理実行部111は、親密度の高いユーザと場を共有していることを認識した場合には、音声通話等のような当該ユーザとは異なる他のユーザとコミュニケーションをとるための機能の動作を抑制してもよい。また、処理実行部111は、親密度の高いユーザと場を共有していることを認識した場合には、SNS等のネットワークサービスが提供するメッセージ機能において、取り込み中であることを示す情報が提示されるように、当該機能の動作を制御してもよい。
 また、他の一例として、処理実行部111は、情報処理装置10と相関の高い外部デバイス(即ち、情報処理装置10のユーザが保持する外部デバイス)とは異なる他の外部デバイスが認識された場合に、周囲に他のユーザが存在するものと認識してもよい。このような場合には、例えば、処理実行部111は、オープンスピーカ等の音響デバイスからの音響の出力を抑制してもよい。
 なお、上記に説明した例はあくまで一例であり、情報処理装置10(処理実行部111)が、属性情報d30等のようにリアルグラフに記録された情報に応じて、所定の処理を実行可能であれば、当該処理の内容や当該処理が実行されるタイミングは特に限定されない。
 具体的な一例として、情報処理装置10は、生成したリアルグラフ(例えば、図3参照)を表示情報として可視化し、ディスプレイ等の報知部113を介して当該表示情報をユーザに提示してもよい。また、情報処理装置10は、リアルグラフに基づき、自身のユーザに対して、その日に認識された外部デバイスのユーザに関する情報を提示しもよい。これにより、情報処理装置10のユーザは、場を共有したことのある他のユーザ、特に、場を共有したことを認識していなかった他のユーザ(例えば、面識のないユーザ)を認識することが可能となる。
 また、情報処理装置10は、ユーザからの指示に基づき、リアルグラフに登録された情報を、他の機能を実行するための入力情報として使用してもよい。より具体的な一例として、情報処理装置10は、リアルグラフに登録された情報を基に、SNS等のネットワークサービスが提供する日記機能等への入力情報として、「いつ」、「誰と」、「何をしていたか」等の情報が提示された記事(または、当該記事のテンプレート)を自動生成してもよい。
 以上、図8を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、外部デバイスが認識された場合における、リアルグラフに基づく動作の詳細について、一連の処理の流れの一例とあわせて説明した。
 <5.変形例>
 次に、本実施形態に係る情報処理装置10の変形例について説明する。
 [5.1.変形例1:機械学習を利用した判定方法]
 まず、変形例1として、図9~図12を参照して、情報処理装置10が、低レベルデータや状況データ等のように蓄積された情報を入力として、機械学習に基づき、状況、外部デバイス、及び、当該外部デバイスのユーザ等に関する、より詳しい情報を取得する例について説明する。図9~図12は、変形例1に係る情報処理装置10について説明するための説明図である。なお、本説明では、情報処理装置10が、機械学習に基づき、対象となる外部デバイスを人が保持しているか否かについて判定する場合を例に説明する。また、本説明では、当該判定の主体を「認識器」と称する場合がある。なお、上記に説明した解析部109は、認識器の一例に相当する。
 (教師データの蓄積)
 まず、認識器に対して、対象となる外部デバイスを人が保持しているか否かを判定するための参考とされる教師データを事前に入力することで、当該認識器に、当該教師データを蓄積させておく。例えば、図9には、認識器に入力する教師データの一例が示されている。
 図9に示す例では、教師データは、時系列データと正解データとが関連付けられて生成される。時系列データは、「加速度」、「位置」、「電波強度」等のような、対象となる外部デバイスを人が保持しているか否かを判定するための情報が、「時刻」を示す情報と関連付けられ、時系列に沿って蓄積されることで形成される。即ち、時系列データは、「加速度」、「位置」、「電波強度」等の時系列に沿った変化を示していることとなる。なお、時系列データとして蓄積される、「加速度」、「位置」、「電波強度」等の情報は、認識器が、対象となる外部デバイスを人が保持しているか否かを判定する際に使用する入力情報(例えば、所定の検知部により検知される情報)に相当し得る。
 このような時系列データに対して、当該時系列データを入力とした場合における、当該外部デバイスを人が保持しているか否かの判定結果を示す正解データが関連付けられることで教師データが生成され、当該教師データが認識器に入力される。これにより、認識器は、どのような情報が入力された場合に、当該入力に対してどのような判定(即ち、人が保持しているか否か)がなされたかを学習することとなる。
 なお、上記に説明した教師データは、過去の実験等の結果に基づきあらかじめ生成されてもよい。また、他の一例として、認識器が、入力として取得した時系列データと、当該時系列データに基づく自身の判定結果とを基に、当該教師データを生成してもよい。
 (学習結果に基づく判定)
 次に、認識器が、入力として取得した時系列データに対して、学習結果に基づき、対象となる外部デバイス(例えば、認識された外部デバイス)を人が保持しているか否かを判定する場合の動作について説明する。なお、本説明では、認識器が、時系列データとして取得した、情報処理装置10(自デバイス)の移動量(即ち、位置や加速度の変化)と、外部デバイスからの無線信号の電波強度の変化とに基づき、当該外部デバイスを人が保持しているかを判定する場合を例に説明する。
 まず、図10を参照して、認識器による、学習結果に基づく判定に係る動作の概要について説明する。図10に示すように、認識器は、対象となる外部デバイスごとに、当該外部デバイスが認識されたときの時系列データを、入力情報として取得する。そして、認識器は、取得した時系列データと、事前の学習結果(換言すると、事前に蓄積された教師データ)とに基づき、対象となる外部デバイスを人が保持しているか否かを判定する。
 ここで、図11及び図12を参照して、認識器による上記判定に係る処理について、具体的な例を挙げてさらに詳しく説明する。例えば、図11は、事前に蓄積された教師データ(即ち、学習結果)に基づく、情報処理装置10の移動量及び外部デバイスからの信号の電波強度と、当該外部デバイスを人が保持しているか否かの判定結果との間の関係を模式的に示している。即ち、図11に示す例では、特に、情報処理装置10の移動量が小さく(もしくは、移動しておらず)、かつ、外部デバイスからの信号の電波強度の変化が大きい場合に、当該外部デバイスを人が保持しいていると判定されている傾向が強いことを示している。
 また、図12は、認識器に対して入力された時系列データの一例を示している。図12に示す例では、説明をよりわかりやすくするために、当該時系列データを、情報処理装置10(自デバイス)の移動量と、認識された外部デバイスからの無線信号の信号強度とのそれぞれの時系列に沿った変化として模式的に示している。なお、図12に示す例では、外部デバイス「AAA」、「BBB」、及び「CCC」のそれぞれについて、当該外部デバイスからの無線信号の信号強度の変化を示している。
 ここで、図12において、参照符号T1で示された期間に着目する。期間T1において、情報処理装置10の移動量に変化が無いのに対して、外部デバイスAAAからの無線信号の信号強度に変化がある。この場合には、認識器は、取得した外部デバイスAAAに関する時系列データと、蓄積された教師データとを照合し、当該教師データに基づく傾向(例えば、図11参照)から、当該外部デバイスAAAが、人が保持しているデバイスであるものと判定する。より具体的には、認識器は、期間T1においては、情報処理装置10が移動していないのに対して、外部デバイスAAAからの無線信号が徐々に減衰していることから、情報処理装置10から外部デバイスAAAが徐々に離間するように移動しているものと認識してもよい。
 一方で、期間T1においては、外部デバイスBBB及びCCCについては、無線信号の信号強度の変化が検出されていない。そのため、認識器は、蓄積された教師データに基づく傾向(例えば、図11参照)から、外部デバイスBBB及びCCCについては、人が保持していないデバイスであるものと判定してもよい。
 なお、上述したように、認識器は、入力情報として取得した時系列データと、当該時系列データと事前の学習結果とに基づく判定結果と、に基づき新たな教師データを生成し、学習結果として蓄積してもよい。
 以上、変形例1として、図9~図12を参照して、情報処理装置10が、機械学習に基づき、状況、外部デバイス、及び、当該外部デバイスのユーザ等に関する、より詳しい情報を取得する場合の例について説明した。
 [5.2.変形例2:サーバを介した情報共有の例]
 次に、変形例2として、図13及び図14を参照して、サーバ(例えば、クラウド)等の外部装置を利用することで、複数の情報処理装置10間において、リアルグラフとして蓄積された各種情報(例えば、外部デバイスごとに取得された属性情報)を共有する場合の一例について説明する。図13及び図14は、変形例2に係る情報処理装置10について説明するための説明図である。
 例えば、図13は、変形例2に係る情報処理装置10を適用したシステムの一例を示している。図13に示すように、変形例2に係るシステムは、複数の情報処理装置10m、10a、及び10bのそれぞれと、サーバ50とが、ネットワークN2を介して情報を送受信可能に接続されている。ネットワークN2としては、例えば、インターネット、専用線、LAN(Local Area Network)、または、WAN(Wide Area Network)のように、異なる装置間を接続する電子的なネットワークが想定され得る。
 次に、図14を参照して、変形例2に係るシステムの動作の概要について、特に、情報処理装置10mとサーバ50との間の関係に着目して説明する。
 例えば、情報処理装置10mは、自身が外部デバイスごとに取得した属性情報のうち少なくとも一部の情報を、ネットワークN2を介してサーバ50にアップロードしてもよい。
 より具体的な一例として、情報処理装置10mは、属性情報として取得された、対象となる外部デバイスを人が保持しているか否かの判定結果を示す情報を、サーバ50にアップロードしてもよい。また、他の一例として、情報処理装置10mは、対象となる外部デバイスのユーザのプロフィールに関する情報を、サーバ50にアップロードしてもよい。また、他の一例として、情報処理装置10mは、生成または更新したリアルグラフ自体を、サーバ50にアップロードしてもよい。この場合には、サーバ50は、各情報処理装置10からアップロードされたリアルグラフを統合してもよい。
 なお、上記に説明した動作は、情報処理装置10mに限らず、サーバ50に接続された他の情報処理装置10a及び10bについても同様である。このような構成により、各情報処理装置10においてリアルグラフとして蓄積された各種情報(または、リアルグラフ自体)が、サーバ50に集約されることとなる。
 また、情報処理装置10mは、サーバ50に集約された情報に基づき、自身が保持するリアルグラフを更新してもよい。より具体的な一例として、情報処理装置10mは、リアルグラフに登録されていない新たな外部デバイスを認識した場合に、当該外部デバイスに関する属性情報(例えば、当該外部デバイスのユーザのプロフィールに関する情報)を、サーバ50から取得してもよい。また、他の一例として、情報処理装置10mは、サーバ50により統合されたリアルグラフを、当該サーバ50から取得してもよい。
 以上のような構成により、変形例2に係るシステムに依れば、各情報処理装置10は、サーバ50に集約された情報を利用することで、リアルグラフの生成または更新を行うことが可能となる。また、各情報処理装置10により取得または認識された各外部デバイスの情報がサーバ50に集約されるため、一部の情報処理装置10による認識に誤りが含まれていたとしても、他の情報処理装置10による認識結果により当該誤りを自浄的に修正することが可能となる。以上、変形例2として、図13及び図14を参照して、サーバ等の外部装置を利用することで、複数の情報処理装置10間において、リアルグラフとして蓄積された各種情報を共有する場合の一例について説明した。
 [5.3.変形例3:リアルグラフの変形例]
 次に、変形例3として、図15を参照して、リアルグラフの変形例について説明する。図15は、変形例3に係る情報処理装置10について説明するための説明図であり、リアルグラフの変形例について示している。なお、以降の説明では、図15に示した変形例3に係るリアルグラフを、図3を参照して前述したリアルグラフd1と区別する場合には、「リアルグラフd1’」と称する場合がある。
 図15に示すように、リアルグラフd1’は、複数の外部デバイスに対応するノードd11間を関連付けるリンクd15と、当該リンクd15に関連付けられた属性情報d35とを含む点で、図3を参照して説明したリアルグラフd1と異なる。
 具体的な一例として、情報処理装置10は、同時期に認識された外部デバイス「AAA」及び「BBB」それぞれに対応する状況リストd20を照合することで、当該外部デバイス「AAA」及び「BBB」間の相関性を判定する。より具体的には、情報処理装置10は、過去に同時に認識された回数や、同時期に認識された頻度が閾値以上の場合には、外部デバイス「AAA」及び「BBB」間の相関が高いものと判定する。
 次いで、情報処理装置10は、外部デバイス「AAA」及び「BBB」間の相関が高いと判定した場合には、当該外部デバイスそれぞれに対応するノードd11間をリンクd15に基づき関連付ける。また、情報処理装置10は、当該外部デバイス双方の状況リストd20に含まれる各状況データd21に基づき、当該外部デバイスの双方に関連し得る情報を取得する。より具体的な一例として、情報処理装置10は、外部デバイス「AAA」及び「BBB」間の関係性(例えば、「家族」、「職場に関係する人」等)を示す情報を取得してもよい。また、他の一例として、情報処理装置10は、外部デバイス「AAA」及び「BBB」の認識時に取得された会話の内容を示す情報を取得してもよいし、当該会話の内容を解析することで話題(トピック)に相当する情報を取得してもよい。
 そして、情報処理装置10は、取得した情報に基づき属性情報d35を生成し、外部デバイス「AAA」及び「BBB」間を関連付けるリンクd15に関連付ける。なお、当該リンクd15に対して既に属性情報d35が関連付けられている場合には、情報処理装置10は、取得した情報に基づき、当該属性情報d35を更新してもよい。
 また、前述したように、情報処理装置10は、図15に示すリアルグラフd1’を表示情報として可視化し、ディスプレイ等の報知部113を介して当該表示情報を自身のユーザに提示してもよい。これにより、情報処理装置10のユーザは、外部デバイス「AAA」及び「BBB」間、または、外部デバイス「AAA」及び「BBB」それぞれのユーザ間の関係を認識することが可能となる。
 なお、図15に示すリアルグラフd1’の例はあくまで一例であり、相関の高い複数の外部デバイスに対して、当該複数の外部デバイス双方に関係し得る情報を関連付けることが可能であれば、その方法や、リアルグラフd1’のデータ形式は特に限定されない。具体的な一例として、図15に示す例において、属性情報d35を、外部デバイス「AAA」及び「BBB」それぞれに対応するノードd11双方に関連付けてもよい。
 以上、変形例3として、図15を参照して、リアルグラフの変形例について説明した。
 <6.ハードウェア構成>
 次に、図16を参照して、本開示の一実施形態に係る情報処理装置10のハードウェア構成の一例について説明する。図16は、本開示の一実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
 図16に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、報知デバイス909と、検知デバイス911と、通信デバイス915と、集音デバイス917と、バス919とを含む。また、情報処理装置10は、撮像デバイス913を含んでもよい。
 プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述したデバイス認識部103、データ記録部107、解析部109、及び処理実行部111は、プロセッサ901により実現され得る。
 メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した記憶部31は、メモリ903及びストレージ905の少なくともいずれか、もしくは、双方の組み合わせにより実現され得る。
 操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した入力部115のうち少なくとも一部の構成が、操作デバイス907により実現されていてもよい。
 報知デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、報知デバイス909は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。また、報知デバイス909は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスであってもよい。
 なお、上記に示した報知デバイス909の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス909の態様は特に限定されない。具体的な一例として、報知デバイス909は、LED(Light Emitting Diode)のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。なお、前述した報知部113は、報知デバイス909により実現され得る。
 検知デバイス911は、各種状態を検知するためのデバイスである。検知デバイス911は、例えば、タッチセンサ、圧力センサ、照度センサ、湿度センサ等のような各種状態を検知するためのセンサにより構成さえ得る。また、検知デバイス911は、静電センサ等のように、所定の対象の接触や近接を検知するためのセンサにより構成されていてもよい。また、検知デバイス911は、加速度センサや角速度センサ等のように、所定の筐体の位置や向きの変化を検出するためのセンサにより構成されていてもよい。また、検知デバイス911は、所謂光学センサ等のように、所定の対象を検知するためのセンサにより構成されていてもよい。なお、前述した検知部105のうち少なくとも一部の構成は、検知デバイス911により実現され得る。
 撮像デバイス913は、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子を含む。即ち、撮像デバイス913は、プロセッサ901の制御に従い、レンズ等の光学系を介して静止画像又は動画像を撮影する機能を有する。撮像デバイス913は、撮像した画像をメモリ903やストレージ905に記憶させてもよい。なお、前述した検知部105のうち少なくとも一部の構成が、撮像デバイス913により実現されていてもよい。
 集音デバイス917は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報(音響信号)として取得するためのデバイスである。また、集音デバイス917は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、なお、前述した検知部105のうち少なくとも一部の構成が、集音デバイス917により実現されていてもよい。
 通信デバイス915は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス915は、有線または無線用の通信インタフェースである。通信デバイス915を、無線通信インタフェースとして構成する場合には、当該通信デバイス915は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
 通信デバイス915は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。なお、前述した通信部117は、通信デバイス915により実現され得る。
 バス919は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、報知デバイス909、検知デバイス911、及び通信デバイス915を相互に接続する。バス919は、複数の種類のバスを含んでもよい。
 また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
 <7.まとめ>
 以上説明したように、本実施形態に係る情報処理装置10は、複数の端末間が無線の伝搬経路を介して直接通信を行うための無線信号の検出結果に基づき、当該無線信号の送信元である外部デバイスを認識する。また、情報処理装置10は、外部デバイスが認識されたときの各種状況を示す情報を取得し、取得した当該情報と、当該外部デバイスの認識結果とを、当該外部デバイスが認識されたときの時間情報と関連付けて、低レベルデータとして記録する。
 また、情報処理装置10は、時系列に沿って蓄積された低レベルデータに基づき、自身と、認された他各外部デバイスとの間の関係を示すリアルグラフを生成または更新する。このようにして生成されたリアルグラフには、情報処理装置10により自動で認識された外部デバイスごとに、当該外部デバイスが認識されたときの状況を示す情報や、当該外部デバイス、または、当該外部デバイスのユーザに関する情報が記録される。
 そして、情報処理装置10は、外部デバイスが認識されたときに、リアルグラフに記録された当該外部デバイスに関する情報(または、当該外部デバイスのユーザに関する情報)に基づき、所定の処理を実行する。
 このような構成により、情報処理装置10は、例えば、過去に場を共有したことがあるユーザの外部デバイスが認識された場合に、このことを、自身のユーザに報知する。また、このとき情報処理装置10は、認識された外部デバイスのユーザに関する情報を、自身のユーザに提示してもよい。これにより、情報処理装置10のユーザは、事前の手続き等のような煩雑な手順を介すことなく、過去に場を共有した他のユーザ、特に、過去に場を共有したことを認識していなかった他のユーザ(例えば、面識のないユーザ等を含むより広い範囲のユーザ)を認識することが可能となる。
 また、情報処理装置10は、過去に場を共有したことがあるユーザの外部デバイスが認識された場合に、過去に場を共有した際の状況を示す情報を自身のユーザに提示してもよい。これにより、情報処理装置10のユーザは、過去に会ったことがある他のユーザと対面した場合に、そのときの状況(例えば、そのとき交わした会話の内容等)を想起することが可能となる。
 また、情報処理装置10は、自身のユーザと、認識された外部デバイスのユーザとの間の関係性に応じて、所定の処理を実行してもよい。このような構成により、情報処理装置10は、例えば、自身のユーザが親密度の高い他のユーザと対面していることを認識した場合に、自身のユーザが取り込み中であることを、対面中のユーザとは異なる他のユーザに対して報知してもよい。これにより、情報処理装置10のユーザは、煩雑な操作を介することなく、親密度の高いユーザとの対面中に、当該ユーザとは異なる他のユーザからの連絡により、対面中のユーザとのコミュニケーションを阻害されるといった事態を防止することも可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識する認識部と、
 前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録する記録部と、
 前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定する判定部と、
 前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行する処理部と、
 を備える、情報処理装置。
(2)
 前記判定部は、前記第1の期間ごとに前記端末が動いているか否かを判定し、前記第2の期間中における当該判定結果に基づき、当該端末をユーザが保持しているか否かを判定する、前記(1)に記載の情報処理装置。
(3)
 前記記録部は、前記第1の期間ごとの前記端末が動いているか否かを示す判定結果を、前記履歴情報として記録する、前記(2)に記載の情報処理装置。
(4)
 前記処理部は、認識された前記端末のうち、ユーザが保持していると判定された前記端末について、前記所定の処理を実行する、前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
 前記記録部は、前記第1の期間ごとに、前記端末が検出されたときの状況を示す第1の情報を取得し、当該第1の情報を当該端末に対応する前記履歴情報として記録する、前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
 前記第1の情報は、所定の検知部により検知された、前記情報処理装置のユーザの外部環境に関する情報を含む、前記(5)に記載の情報処理装置。
(7)
 前記第1の情報は、所定の検知部により検知された、前記情報処理装置のユーザの周囲に位置する他のユーザに関する情報を含む、前記(5)または(6)に記載の情報処理装置。
(8)
 前記記録部は、前記端末または当該端末のユーザに関する第2の情報を、当該端末に関連付けて記録し、当該端末に対応する前記履歴情報に基づき、前記第2の情報を更新する、前記(5)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記記録部は、前記端末をユーザが保持しているか否かを示す前記判定結果を、前記第2の情報として記録する、前記(8)に記載の情報処理装置。
(10)
 前記記録部は、前記情報処理装置のユーザと、認識された前記端末のユーザと、の間の関係を示す情報を、前記第2の情報として取得する、前記(8)または(9)に記載の情報処理装置。
(11)
 前記処理部は、認識された前記端末に関連付けられた前記第2の情報に基づき、所定の処理を実行する、前記(8)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記記録部は、前記端末に関連付けられた前記第2の情報を、外部装置により当該端末に関連付けられた他の前記第2の情報に基づき更新する、前記(8)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記処理部は、前記端末に関連付けられた前記第2の情報に基づき、前記情報処理装置と当該端末との関係を提示した表示情報を、生成または更新する、前記(8)~(12)のいずれか一項に記載の情報処理装置。
(14)
 前記処理部は、前記情報処理装置を示す第1のオブジェクトと、前記端末を示す第2のオブジェクトとをリンクにより関連付け、前記第2のオブジェクトに対して、当該端末に対応する前記第1の情報及び第2の情報を関連付けることで、前記表示情報を生成する、前記(13)に記載の情報処理装置。
(15)
 前記処理部は、過去に前記履歴情報が記録された前記端末が認識された場合に、所定の報知情報を報知部に報知させる、前記(8)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記処理部は、認識された前記端末に関連付けられた前記第2の情報に応じて、前記所定の報知情報を前記報知部に報知させる、前記(15)に記載の情報処理装置。
(17)
 前記記録部は、互いに異なる複数の前記端末それぞれに対応する前記第1の情報に基づき、当該複数の端末に共通して関連する第3の情報を、当該複数の端末、または、当該複数の端末間の関係を示す情報に関連付ける、前記(5)~(16)のいずれか一項に記載の情報処理装置。
(18)
 プロセッサが、
 端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、
 前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、
 前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、
 前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、
 を含む、情報処理方法。
(19)
 コンピュータに、
 端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、
 前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、
 前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、
 前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、
 を実行させる、プログラム。
 10  情報処理装置
 101 無線信号検出部
 103 デバイス認識部
 105 検知部
 107 データ記録部
 109 解析部
 111 処理実行部
 113 報知部
 115 入力部
 117 通信部
 31  記憶部
 50  サーバ

Claims (19)

  1.  端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識する認識部と、
     前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録する記録部と、
     前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定する判定部と、
     前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行する処理部と、
     を備える、情報処理装置。
  2.  前記判定部は、前記第1の期間ごとに前記端末が動いているか否かを判定し、前記第2の期間中における当該判定結果に基づき、当該端末をユーザが保持しているか否かを判定する、請求項1に記載の情報処理装置。
  3.  前記記録部は、前記第1の期間ごとの前記端末が動いているか否かを示す判定結果を、前記履歴情報として記録する、請求項2に記載の情報処理装置。
  4.  前記処理部は、認識された前記端末のうち、ユーザが保持していると判定された前記端末について、前記所定の処理を実行する、請求項1に記載の情報処理装置。
  5.  前記記録部は、前記第1の期間ごとに、前記端末が検出されたときの状況を示す第1の情報を取得し、当該第1の情報を当該端末に対応する前記履歴情報として記録する、請求項1に記載の情報処理装置。
  6.  前記第1の情報は、所定の検知部により検知された、前記情報処理装置のユーザの外部環境に関する情報を含む、請求項5に記載の情報処理装置。
  7.  前記第1の情報は、所定の検知部により検知された、前記情報処理装置のユーザの周囲に位置する他のユーザに関する情報を含む、請求項5に記載の情報処理装置。
  8.  前記記録部は、前記端末または当該端末のユーザに関する第2の情報を、当該端末に関連付けて記録し、当該端末に対応する前記履歴情報に基づき、前記第2の情報を更新する、請求項5に記載の情報処理装置。
  9.  前記記録部は、前記端末をユーザが保持しているか否かを示す前記判定結果を、前記第2の情報として記録する、請求項8に記載の情報処理装置。
  10.  前記記録部は、前記情報処理装置のユーザと、認識された前記端末のユーザと、の間の関係を示す情報を、前記第2の情報として取得する、請求項8に記載の情報処理装置。
  11.  前記処理部は、認識された前記端末に関連付けられた前記第2の情報に基づき、所定の処理を実行する、請求項8に記載の情報処理装置。
  12.  前記記録部は、前記端末に関連付けられた前記第2の情報を、外部装置により当該端末に関連付けられた他の前記第2の情報に基づき更新する、請求項8に記載の情報処理装置。
  13.  前記処理部は、前記端末に関連付けられた前記第2の情報に基づき、前記情報処理装置と当該端末との関係を提示した表示情報を、生成または更新する、請求項8に記載の情報処理装置。
  14.  前記処理部は、前記情報処理装置を示す第1のオブジェクトと、前記端末を示す第2のオブジェクトとをリンクにより関連付け、前記第2のオブジェクトに対して、当該端末に対応する前記第1の情報及び第2の情報を関連付けることで、前記表示情報を生成する、請求項13に記載の情報処理装置。
  15.  前記処理部は、過去に前記履歴情報が記録された前記端末が認識された場合に、所定の報知情報を報知部に報知させる、請求項8に記載の情報処理装置。
  16.  前記処理部は、認識された前記端末に関連付けられた前記第2の情報に応じて、前記所定の報知情報を前記報知部に報知させる、請求項15に記載の情報処理装置。
  17.  前記記録部は、互いに異なる複数の前記端末それぞれに対応する前記第1の情報に基づき、当該複数の端末に共通して関連する第3の情報を、当該複数の端末、または、当該複数の端末間の関係を示す情報に関連付ける、請求項5に記載の情報処理装置。
  18.  プロセッサが、
     端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、
     前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、
     前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、
     前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、
     を含む、情報処理方法。
  19.  コンピュータに、
     端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、
     前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、
     前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、
     前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、
     を実行させる、プログラム。
PCT/JP2016/055417 2015-05-28 2016-02-24 情報処理装置、情報処理方法、及びプログラム WO2016189909A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/574,449 US10219127B2 (en) 2015-05-28 2016-02-24 Information processing apparatus and information processing method
EP16799618.0A EP3306967B1 (en) 2015-05-28 2016-02-24 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015108802A JP2016225742A (ja) 2015-05-28 2015-05-28 情報処理装置、情報処理方法、及びプログラム
JP2015-108802 2015-05-28

Publications (1)

Publication Number Publication Date
WO2016189909A1 true WO2016189909A1 (ja) 2016-12-01

Family

ID=57393112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055417 WO2016189909A1 (ja) 2015-05-28 2016-02-24 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10219127B2 (ja)
EP (1) EP3306967B1 (ja)
JP (1) JP2016225742A (ja)
WO (1) WO2016189909A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042747A1 (ja) * 2022-08-26 2024-02-29 オムロンヘルスケア株式会社 測定装置、情報端末、及び制御プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929081B1 (en) 2017-06-06 2021-02-23 United Services Automobile Association (Usaa) Context management for multiple devices
WO2020049839A1 (ja) * 2018-09-04 2020-03-12 Necソリューションイノベータ株式会社 継続実施支援装置、携帯端末、継続実施支援方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517744A (ja) * 2010-01-18 2013-05-16 クゥアルコム・インコーポレイテッド 他の移動体の存在をコンテキスト中に組み込むコンテキストアウェアな移動体
JP2014143664A (ja) * 2012-12-28 2014-08-07 Nintendo Co Ltd 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5103546B1 (ja) * 2011-07-11 2012-12-19 株式会社エヌ・ティ・ティ・ドコモ 移動端末及び連続移動検知方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517744A (ja) * 2010-01-18 2013-05-16 クゥアルコム・インコーポレイテッド 他の移動体の存在をコンテキスト中に組み込むコンテキストアウェアな移動体
JP2014143664A (ja) * 2012-12-28 2014-08-07 Nintendo Co Ltd 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042747A1 (ja) * 2022-08-26 2024-02-29 オムロンヘルスケア株式会社 測定装置、情報端末、及び制御プログラム

Also Published As

Publication number Publication date
JP2016225742A (ja) 2016-12-28
EP3306967B1 (en) 2020-12-23
US10219127B2 (en) 2019-02-26
EP3306967A1 (en) 2018-04-11
EP3306967A4 (en) 2018-11-21
US20180139592A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
US10390213B2 (en) Social reminders
US10853650B2 (en) Information processing apparatus, information processing method, and program
JP6756328B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11580501B2 (en) Automatic detection and analytics using sensors
US10460587B2 (en) Information processing apparatus, information processing method, and program
CN103650035A (zh) 经由社交图谱、语音模型和用户情境识别接近移动装置用户的人
WO2016189909A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109558895A (zh) 一种基于智能感知的校园管理方法、系统及介质
CN105141769A (zh) 通信消息处理方法、装置和终端
US10499315B2 (en) Information processing apparatus and information processing method
WO2017175442A1 (ja) 情報処理装置、および情報処理方法
JP6786700B2 (ja) 情報処理装置、情報処理方法および情報処理システム
US10838741B2 (en) Information processing device, information processing method, and program
CN107087073A (zh) 终端控制方法及装置
Xu et al. Semantic-based complex event processing in the AAL domain
JP2015130631A (ja) 情報処理装置及び電子機器
AU2017100235A4 (en) Social reminders

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16799618

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15574449

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016799618

Country of ref document: EP