WO2017026155A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2017026155A1
WO2017026155A1 PCT/JP2016/064744 JP2016064744W WO2017026155A1 WO 2017026155 A1 WO2017026155 A1 WO 2017026155A1 JP 2016064744 W JP2016064744 W JP 2016064744W WO 2017026155 A1 WO2017026155 A1 WO 2017026155A1
Authority
WO
WIPO (PCT)
Prior art keywords
radio wave
information
wave information
suspicious person
processing apparatus
Prior art date
Application number
PCT/JP2016/064744
Other languages
English (en)
French (fr)
Inventor
井原 圭吾
宮島 靖
敦 塩野崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017534116A priority Critical patent/JP6773037B2/ja
Priority to US15/745,931 priority patent/US10460587B2/en
Publication of WO2017026155A1 publication Critical patent/WO2017026155A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/1966Wireless systems, other than telephone systems, used to communicate with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19669Event triggers storage or change of storage policy
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673Addition of time stamp, i.e. time metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/008Alarm setting and unsetting, i.e. arming or disarming of the security system

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 only uses ID information transmitted from a radio wave source installed at a specific position as a wireless base station for a mobile phone terminal. Only a limited part of the infinite number of radio waves is used, and cannot be used in places where no radio base station exists.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that can further improve user convenience by using radio waves existing in the surroundings.
  • radio wave information related to radio waves observed in a predetermined environment and related information related to the radio wave information are recorded in association with each other, and the newly acquired radio wave information and the recorded radio wave information
  • a control unit that controls processing for providing a predetermined function to the user based on related information related to the newly acquired radio wave information when the comparison result satisfies a predetermined condition
  • An information processing apparatus is provided.
  • radio wave information related to radio waves observed in a predetermined environment and related information related to the radio wave information are recorded in association with each other, and the newly acquired radio wave information and the recorded radio waves are recorded.
  • the computer records radio wave information related to radio waves observed in a predetermined environment and related information related to the radio wave information in association with each other, and the newly acquired radio wave information is recorded.
  • a program for realizing the function to be controlled is provided.
  • radio wave information related to radio waves observed in a predetermined environment and related information related to the radio wave information are recorded in association with each other, and the newly acquired radio wave information and the recorded radio wave information
  • a process of providing a predetermined function to the user is controlled based on related information related to the newly acquired radio wave information.
  • FIG. 13 is an explanatory diagram for describing an information processing apparatus according to each embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a configuration of an information processing device according to each embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a configuration of an information processing device according to each embodiment of the present disclosure. It is explanatory drawing which showed an example of the data structure of the action range electromagnetic wave information database used with the information processing apparatus which concerns on 1st Embodiment of this indication. It is explanatory drawing which showed an example of the data structure of a suspicious person electromagnetic wave information candidate database used with the information processing apparatus which concerns on the embodiment.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to each embodiment of the present disclosure.
  • Information processing apparatus 1.1. Relationship between information processing apparatus and other devices 1.2. 1. Configuration of information processing apparatus First embodiment (suspicious person identification process using radio wave information) 2.1. About identification processing of suspicious person by radio wave information 2.2. Radio wave information analysis processing 2.3. 2. Information processing method flow Second Embodiment (Extraction Processing for Monitoring Camera Captured Image Using Radio Wave Information) 3.1. Extraction process of surveillance camera captured image by radio wave information 3.2. Radio wave information analysis processing 3.3. 3. Flow of information processing method Third embodiment (residence management processing using radio wave information) 4.1. Residential management processing using radio wave information 4.2. Radio wave information analysis processing 4.3. About the flow of information processing methods
  • FIG. 1 is an explanatory diagram for describing an information processing apparatus according to each embodiment of the present disclosure.
  • the information processing apparatus 10 acquires radio wave information regarding radio waves existing around the information processing apparatus 10 and analyzes the obtained radio wave information. Thereby, the information processing apparatus 10 according to each embodiment of the present disclosure can learn about the radio waves existing around the information processing apparatus 10. Thereafter, the information processing apparatus 10 according to each embodiment of the present disclosure pays particular attention to radio wave information that satisfies a predetermined condition as a result of analysis (learning), and performs predetermined processing for the user based on the predetermined radio wave information.
  • the function providing process for providing the function is controlled.
  • the information processing apparatus 10 having such a function may be a fixed device installed at a certain place, or may be a portable device that can be carried and carried by a user or the like. .
  • an imaging system 1 including a monitoring camera 1A and a radio wave monitor node 1B, a desktop type, a notebook type, etc.
  • Various personal computers 2, various mobile phones and smartphones 3, various tablet terminals 4, various wearable terminals 5 and the like can be exemplified.
  • various known AV appliances such as portable music players, portable game machines, and the like can be given.
  • the electric appliances that are the sources of these radio wave information can be regarded as terminals that transmit predetermined radio waves.
  • the radio wave information acquired by the information processing apparatus 10 from various terminals as described above is various radio waves (for example, Wi-Fi) observed by the information processing apparatus 10 or a radio wave monitor node connected to the information processing apparatus 10.
  • radio waves for example, Wi-Fi
  • -Various types of information regarding radio waves used in various types of wireless communication such as wireless LAN communication such as Fi and Bluetooth (registered trademark).
  • Such radio wave information includes, for example, various feature quantities that characterize the detected radio wave (for example, identification information such as a MAC address that is unique to the detected radio wave, electric field strength, and the like). ing.
  • the information processing apparatus 10 can appropriately use various types of information that are acquired or generated by the various terminals as described above.
  • the information processing apparatus 10 performs analysis processing of radio wave information or implements predetermined function providing processing in cooperation with various servers 20 connected to each other via various networks such as the Internet. Is possible.
  • the information processing apparatus 10 uses various user information included in a social network and the like realized by the various servers 20, uses various information held by the various servers 20, and the like. It is possible to generate various types of data secondarily by performing various types of arithmetic processing using this information.
  • the information processing apparatus 10 is illustrated as if it is a device different from the various terminals illustrated in FIG. 1, but the information according to the present embodiment is included in the various terminals illustrated in FIG. 1. Needless to say, the functions of the processing apparatus 10 may be realized.
  • FIGS. 2A and 2B are block diagrams schematically illustrating an exemplary configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 includes a data acquisition unit 101, a data recording unit 103, a storage unit 105, an analysis unit 107, an overall control unit 109,
  • the display control unit 111 is mainly provided.
  • the information processing apparatus 10 will be exemplified by a case in which a storage device that stores radio wave information data (radio wave information data) and other data is included.
  • a storage device for storing these data may be provided outside the information processing apparatus 10.
  • the data acquisition unit 101, the data recording unit 103, the storage unit 105, the analysis unit 107, the overall control unit 109, and the display control unit 111, which will be described in detail below, are on various networks such as the Internet.
  • the functions of the information processing apparatus 10 according to the present embodiment may be realized by a plurality of information processing apparatuses cooperating with each other.
  • the data acquisition unit 101 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a communication device, and the like.
  • the data acquisition unit 101 acquires radio wave information and time stamps transmitted from various terminals as shown in FIG. Further, the data acquisition unit 101 acquires other data such as position information and data related to a captured image, and a time stamp from various terminals as shown in FIG. That is, the data acquisition unit 101 functions as a communication unit that realizes communication between the information processing apparatus 10 and various terminals as illustrated in FIG. Further, the acquired radio wave information data and time stamp, and other data and time stamp are transmitted to the data recording unit 103 described later.
  • the data recording unit 103 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the data recording unit 103 associates the radio wave information data and the time stamp transmitted from the data acquisition unit 101 with each other, and stores them in a predetermined location of the storage unit 105 described later. Further, the data recording unit 103 associates other data and time stamps transmitted from the data acquisition unit 101 with each other, and stores them in a predetermined location in the storage unit 105 described later. As a result, radio wave information data and other data output from various terminals as needed are accumulated in the storage unit 105 described later.
  • the storage unit 105 is realized by, for example, a RAM or a storage device included in the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 stores various parameters, progress of processing, or various databases and programs that need to be saved when performing some processing as appropriate.
  • radio wave information that is information relating to radio waves observed in a predetermined environment is recorded as a database in association with related information related to the radio wave information.
  • the data acquisition unit 101, the data recording unit 103, the analysis unit 107, the overall control unit 109, the display control unit 111, and the like can freely perform data read / write processing. Can be done.
  • the analysis unit 107 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the analysis unit 107 analyzes the radio wave information newly acquired by the data acquisition unit 101 of the information processing apparatus 10, and sets the newly acquired radio wave information that satisfies a predetermined condition as related information related to the radio wave information. And newly added to the above database.
  • the overall control unit 109 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the overall control unit 109 controls a function providing process for providing a predetermined function to the user based on radio wave information recorded in a database stored in the storage unit 105 or the like.
  • the display control unit 111 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
  • the display control unit 111 outputs various types of information generated by the function of the analysis unit 107 and the overall control unit 109 to an output device such as a display provided in the information processing apparatus 10 or an output provided outside the information processing apparatus 10. Display control when displaying on a device or the like is performed.
  • the display control unit 111 also performs display control when displaying various display screens used when the user performs various input operations on the information processing apparatus 10 on a predetermined output device or the like. Thereby, the user of the information processing apparatus 10 can browse desired information on the spot.
  • the information processing apparatus 10 includes radio waves detected by various terminals provided outside the radio communication monitor node (not illustrated) and radio wave monitor nodes (terminals that can detect radio waves). Use information.
  • the information processing apparatus 10 according to each embodiment of the present disclosure may further include a radio wave detection unit 113 in addition to the processing units illustrated in FIG. 2A, for example, as illustrated in FIG. 2B. .
  • the radio wave detection unit 113 is realized by, for example, a CPU, a ROM, a RAM, a communication device, a radio wave sensor, and the like.
  • the radio wave detection unit 113 may be a device such as a radio wave monitor node that is built in or connected to the information processing apparatus 10.
  • the radio wave detection unit 113 detects various radio waves transmitted from various terminals as shown in FIG. 1, and generates radio wave information in which various feature quantities characterizing the detected radio waves are described.
  • the radio wave detection unit 113 outputs the generated radio wave information to the data recording unit 103.
  • the radio wave detection unit 113 outputs the detected radio wave information of various terminals to the data recording unit 103 in association with the time stamp.
  • the information processing apparatus 10 further includes such a radio wave detection unit 113, so that the information processing apparatus 10 itself can acquire various types of radio wave information.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, the configuration to be used can be changed as appropriate according to the technical level at the time of carrying out each embodiment of the present disclosure.
  • a computer program for realizing each function of the information processing apparatus according to each embodiment of the present disclosure as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIG. 3 is an explanatory diagram illustrating an example of a data structure of an action range radio wave information database used in the information processing apparatus according to the first embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram showing an example of a data structure of a suspicious person radio wave information candidate database used in the information processing apparatus according to the present embodiment.
  • FIG. 5 is an explanatory diagram showing an example of a data structure of a suspicious person radio wave information database used in the information processing apparatus according to the present embodiment.
  • FIG. 6 is a flowchart for explaining radio wave information analysis processing performed by the information processing apparatus according to the present embodiment.
  • 7 to 9B are explanatory views schematically showing an example of a display screen of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 10 has a configuration as shown in FIG. 2A or 2B, and is realized as a portable apparatus that the user can carry and carry with the user himself / herself.
  • some functions of the information processing apparatus 10 according to the present embodiment are portable devices.
  • the remaining functions (for example, the functions of the storage unit 105, the analysis unit 107, the overall control unit 109, etc.) may be realized on a server or the like that can communicate with a portable device.
  • the information processing apparatus 10 according to the present embodiment may be realized as one function of a portable terminal such as a mobile phone, a smartphone, a notebook computer, a tablet terminal, or a wearable terminal.
  • the information processing apparatus 10 attention is paid to radio waves transmitted around an electronic device or communication device possessed by the user.
  • the information processing apparatus 10 according to the present embodiment is carried by a user so that various radio waves existing around the information processing apparatus 10 (that is, around the user) are detected. It learns by associating it with position information regarding the detected position and a time stamp regarding the time when the radio wave was detected.
  • the information processing apparatus 10 according to the present embodiment learns about various types of radio waves that exist daily around the user, and various types of radio wave information that exists daily around the user (hereinafter simply referred to as “daily radio waves”).
  • a database related to “information” is constructed.
  • the information processing apparatus 10 can specify the daily action range of the user based on the radio wave information.
  • the information processing apparatus 10 according to the present embodiment uses this database to provide radio wave information (for example, a suspicious person for a user such as a stalker or the like (hereinafter, simply referred to as “suspicious person”) that causes a situation unfavorable for the user. Radio wave information etc. from the terminal owned by.
  • the suspicious person often takes the action of “following the user and being present around the user”. Therefore, in the information processing apparatus 10 according to the present embodiment, among the various types of radio wave information detected around the user, the suspicious candidate has radio wave information that is not registered in the database related to daily radio wave information. Handled as radio wave information from the terminal (hereinafter, also simply referred to as “suspicious radio wave information candidate”).
  • the information processing apparatus 10 according to the present embodiment when radio wave information registered as a suspicious person radio wave information candidate is detected so as to satisfy a predetermined condition, , Upgrade to suspicious person radio wave information and manage. Thereby, the information processing apparatus 10 according to the present embodiment can specify the suspicious person for the user based on the radio wave information without using the personal information of the suspicious person.
  • FIG. 3 schematically shows an example of the data structure of the daily radio wave information database (DB) stored in the storage unit 105 according to the present embodiment.
  • This daily radio wave information DB is a database constructed with respect to radio wave information acquired when a user performs daily life such as commuting or attending school.
  • the detected radio wave information data includes the date and time when the radio wave information data was detected. Are recorded in association with each other, and the time stamp indicating the position information and the position information regarding the position where the radio wave information data is detected.
  • the position information related to the position where the radio wave information data is detected can be easily specified by the information processing apparatus 10 cooperating with a satellite positioning system such as GPS or various wireless communication base stations.
  • the description method of the position information is not limited to the example shown in FIG. 3, and any description method can be used as long as the detected position of the radio wave information data can be uniquely specified. Is possible.
  • the description method of the time stamp is not particularly limited, and the time stamp may be described using any description method as appropriate.
  • the daily radio wave information DB is associated with various types of information that can characterize the radio wave information itself (for example, information related to the location name tagged to the location information). May be.
  • FIG. 4 schematically shows an example of the data structure of the suspicious person radio wave information candidate DB stored in the storage unit 105 according to the present embodiment.
  • the suspicious person radio wave information candidate DB is a database constructed with respect to radio wave information transmitted from an electronic device or a communication device possessed by a person who is considered as a suspicious person candidate.
  • the detected radio wave information data (or information indicating the storage location of the radio wave information data) is detected for the first time.
  • the time stamp indicating the date and time when the radio wave information is detected, the time stamp indicating the date and time when the radio wave information is detected, and the position information regarding the position where the radio wave information data is detected are recorded in association with each other.
  • the suspicious person radio wave information candidate DB is associated with the number of times corresponding radio wave information is detected and an evaluation value (evaluation value indicating the degree of suspiciousness) regarding the radio wave information. .
  • FIG. 5 schematically shows an example of the data structure of the suspicious person radio wave information DB stored in the storage unit 105 according to the present embodiment.
  • the suspicious person radio wave information DB is a database constructed with respect to radio wave information transmitted from an electronic device or a communication device possessed by a person who is considered to be a suspicious person.
  • the detected radio wave information data (or information indicating the storage location of the radio wave information data) is detected for the first time.
  • the time stamp indicating the date and time, the time stamp indicating the date and time when the radio wave information is detected, and the position information regarding the position where the radio wave information data is detected are associated with each other and recorded.
  • the suspicious person radio wave information DB is associated with the number of times the corresponding radio wave information is detected and the risk level of the suspicious person corresponding to the radio wave information (that is, ranking of the suspicious person). It has been.
  • the analysis unit 107 and the overall control unit 109 of the information processing apparatus 10 according to the present embodiment refer to the database having the data structure as illustrated in FIGS. Information can be acquired.
  • the analysis unit 107 of the information processing apparatus 10 determines whether or not to register the obtained radio wave information in the daily radio wave information DB (that is, learns as daily radio wave information). Or not) at any time. As a result, the analysis unit 107 updates the daily radio wave information DB as needed to construct a new one.
  • the analysis unit 107 analyzes whether or not the newly acquired radio wave information is radio wave information registered in the latest daily radio wave information DB as shown in FIG. To do. Such an analysis can be realized by comparing the radio wave information recorded in the daily radio wave information DB with the newly acquired radio wave information.
  • the analysis unit 107 When newly acquired radio wave information is registered in the daily radio wave information DB, the analysis unit 107 does not update the daily radio wave information DB. On the other hand, when the newly acquired radio wave information is not registered in the daily radio wave information DB, the analysis unit 107 displays the newly acquired radio wave information as the latest at that time as shown in FIG. Whether or not the radio wave information is recorded in the suspicious person radio wave information DB.
  • the analysis unit 107 informs the overall control unit 109 that the radio wave registered in the suspicious person radio wave information DB has been detected. Output.
  • the analysis unit 107 determines whether or not the newly acquired radio wave information satisfies a predetermined condition. to decide.
  • the analysis unit 107 determines whether the newly acquired radio wave information is a radio wave having a detection history retroactive to a predetermined period.
  • the newly acquired radio wave information is a radio wave that has a detection history retroactive to a predetermined period and is a radio wave that is detected at the same location every time from the associated position information
  • the analysis unit 107 The newly acquired radio wave information is registered in the daily radio wave information DB.
  • the analysis unit 107 of the information processing apparatus 10 can update the daily radio wave information DB as illustrated in FIG.
  • the analysis unit 107 and the overall control unit 109 perform the radio wave information analysis process as shown in FIG. 6 as needed.
  • radio wave information analysis processing performed by the analysis unit 107 and the overall control unit 109 according to the present embodiment will be described in detail with reference to FIG. 6.
  • the newly acquired radio wave information is referred to as (1) daily radio wave information, (2) suspicious person radio wave information candidates, and (3) suspicious person radio wave information.
  • the analysis unit 107 and the overall control unit 109 according to the present embodiment handle radio wave information that satisfies the condition “not included in daily radio wave information” as a suspicious person radio wave information candidate, Of the radio wave information included in the "satisfying predetermined conditions" is handled as suspicious person radio wave information.
  • the analysis unit 107 determines whether the newly acquired radio wave is a radio wave that is routinely detected while referring to the daily radio wave information DB. (Judgment 1). When the newly acquired radio wave is a radio wave detected on a daily basis, the analysis unit 107 and the overall control unit 109 wait for acquisition of new radio wave information.
  • the analysis unit 107 refers to the suspicious person radio wave information DB, and the newly acquired radio wave is registered in the suspicious person radio wave information DB. It is determined whether or not (decision 2).
  • the analysis unit 107 outputs to the overall control unit 109 that the newly acquired radio wave is registered in the suspicious person radio wave information DB.
  • the overall control unit 109 receives such information and warns the user that there is a suspicious person in the vicinity.
  • the analysis unit 107 updates the registration contents (for example, time stamp, position information, number of detections) of the suspicious person radio wave information DB when performing the above-described processing 1. In addition, when the number of detection times or detection time of newly detected suspicious person radio wave information satisfies a predetermined condition, or when the risk level of the corresponding suspicious person is designated by the user, the analysis unit 107 updates the risk level of the suspicious person radio wave information DB.
  • the method for updating the risk level of the suspicious person is not particularly limited, and any method may be adopted.
  • the analysis unit 107 may increase the risk level by one each time the number of detections increases, or may increase the risk level by one each time a predetermined number of times threshold is exceeded.
  • the weighting coefficient may be changed according to when and where the radio wave is detected, and adjustment may be performed so that one detection count corresponds to multiple detections.
  • warning processing to the user by the overall control unit 109 are not particularly limited.
  • the overall control unit 109 activates a vibrator mounted in the information processing apparatus 10 as a warning process for the user, generates a predetermined warning sound, and registers a specific contact information registered in advance (for example, a police or the like).
  • a process such as automatically making a phone call to a public institution, parents, best friends, etc. may be performed.
  • the overall control unit 109 may display a display screen as illustrated in FIG. 7 on the display or the like of the information processing apparatus 10 in cooperation with the display control unit 111.
  • the overall control unit 109 may adjust the warning timing and warning method for the user according to the risk level of the suspicious person recorded in the suspicious person radio wave information DB. That is, the overall control unit 109 warns the suspicious person with a low risk level by a vibrator at a certain distance from the position where the radio wave is detected, while the suspicious person with a high risk level
  • the warning timing and warning method for the user may be adjusted such that, for example, a warning sound with a large volume is generated at the time when the warning is detected.
  • the analysis unit 107 refers to the suspicious person radio wave information candidate DB, and the newly acquired radio wave is the suspicious person radio wave information candidate DB. It is determined whether or not it is registered in (No. 3). If the target radio wave is not registered in the suspicious person radio wave information candidate DB, the newly acquired radio wave is a candidate for the suspicious person radio wave information except for the radio wave detected at the same location every time. It is registered in the suspicious person radio wave information candidate DB (processing 2).
  • the analysis unit 107 updates the registered content registered in the suspicious person radio wave information candidate DB (processing 3). Specifically, the analysis unit 107 updates the registration contents (for example, time stamp, position information, number of detections) of the suspicious person radio wave information candidate DB. Further, the analysis unit 107 updates the evaluation value of the suspicious person radio wave information candidate according to the number of times of detection.
  • the method of updating the evaluation value of the suspicious person radio wave information candidate is not particularly limited, and any method may be adopted.
  • the analysis unit 107 may increase the evaluation value by one each time the number of detections increases, or may increase the evaluation value by one each time a predetermined number of times threshold is exceeded.
  • the weighting coefficient may be changed according to when and where the radio wave is detected, and adjustment may be performed so that one detection count corresponds to multiple detections.
  • the analysis unit 107 determines whether or not the updated radio wave information satisfies a predetermined condition (determination 4).
  • the analysis unit 107 has parameters such as a suspicious person identification period, an evaluation value threshold value, a detection frequency threshold value, and the like.
  • the suspicious person specifying period is a parameter representing a period of how long the suspicious person's radio wave should be evaluated.
  • the evaluation value threshold is a parameter for designating that the suspicious person radio wave information candidate is handled as the suspicious person radio wave information when the evaluation value is equal to or higher than the threshold.
  • the detection frequency threshold is equal to or higher than the threshold. This parameter specifies that a candidate for suspicious person radio wave information is handled as suspicious person radio wave information when the number of times of detection is reached.
  • a radio wave detected more than a detection frequency threshold value eg, 5 times
  • a suspicious person identification period eg, 3 days
  • a judgment condition can be set.
  • the radio waves that exceeded the evaluation value threshold during the suspicious person identification period, or the commuting / commuting time period during the suspicious person identification period It is also possible to set a judgment condition such as “detected radio wave”.
  • the analysis unit 107 and the overall control unit 109 wait for acquisition of new radio wave information. On the other hand, if there is a candidate for suspicious person information that satisfies a predetermined condition, the analysis unit 107 deletes the corresponding radio wave information from the suspicious person radio wave information candidate DB and registers it in the suspicious person radio wave information DB ( Process 4).
  • the analysis unit 107 and the overall control unit 109 can register and update suspicious radio wave information by performing such processing as needed.
  • the radio waves from the devices possessed simply by passing people are once registered in the suspicious person radio wave information candidate DB as suspicious person radio wave information candidates.
  • the evaluation value is less than the threshold when the suspicious person specifying period has elapsed, the corresponding radio wave information may be deleted from the suspicious person radio wave information candidate DB. As a result, it is possible to eliminate the possibility that a mere passing person will be registered as a suspicious person.
  • the analysis unit 107 may estimate the daily action range of the user by performing further learning processing based on the constructed daily radio wave information DB by further using a known machine learning technique or the like. Is possible.
  • the analysis unit 107 can also perform the following suspicious person detection process by further utilizing such knowledge regarding the action range. That is, it is considered that a suspicious person such as a stalker for the user of the information processing apparatus 10 is attached to the user. Therefore, when the user's location is not included in the daily action range and the radio wave information registered in the suspicious person radio wave information candidate DB is detected, the analysis unit 107 performs the daily action of the user. If there is a radio wave attached outside the range, the corresponding suspicious person radio wave information candidate may be handled as the suspicious person radio wave information, or the evaluation value or the level of risk may be increased.
  • the analysis unit 107 uses the output from various sensors such as an acceleration sensor provided in the information processing apparatus 10 or the output from a satellite positioning system such as GPS, and the moving means and moving speed used by the user. It is preferable to control on / off of the suspicious person radio wave information registration function according to the moving means and the moving speed. That is, when it is determined that the user is moving at a speed equal to or higher than a predetermined threshold, the analysis unit 107 determines that the user is moving on a vehicle and turns off the suspicious person radio wave information registration function. It is preferable to make it.
  • the radio wave information corresponding to the suspicious person is automatically identified by performing the processing as described above, but the analysis unit 107 according to the present embodiment is constructed in cooperation with various servers 20 and the like.
  • the contents of the suspicious person radio wave information candidate DB and the suspicious person radio wave information DB may be further analyzed.
  • the specified radio wave information is associated with various user information registered on the network by a known method, and then various user evaluations registered on the network (for example, determined to be suspicious) It may be further modified according to the personal reliability).
  • analysis unit 107 may share the various DBs constructed as described above with devices on the network.
  • the overall control unit 109 displays a display screen as shown in FIG. 8A on the display or the like of the information processing apparatus 10 in cooperation with the display control unit 111 and treats it as a candidate for suspicious person radio wave information. It may be confirmed to the user whether or not to handle the radio wave information as the suspicious person radio wave information by skipping the level of the suspicious person radio wave information candidate.
  • the overall control unit 109 displays a display screen as shown in FIGS. 8B and 8C on the display or the like of the information processing apparatus 10 in cooperation with the display control unit 111, and handles the handling level of the focused radio wave information. May be confirmed with the user.
  • the overall control unit 109 uses the time stamp and position information registered in the suspicious person radio wave information candidate DB and the suspicious person radio wave information DB to detect the suspicious person radio wave information candidates and the suspicious person radio wave information detection status. May be displayed on the timeline or on the map.
  • the overall control unit 109 displays the time registered in each DB.
  • the object obj indicating the detection time may be displayed at a position corresponding to the detection time of the corresponding radio wave information in cooperation with the display control unit 111.
  • the overall control unit 109 when displaying the suspicious person radio wave information candidates and the detection status of the suspicious person radio wave information on the map, the overall control unit 109 is registered in each DB. After referring to the position information, the object obj indicating the detection position may be displayed at the detection position of the corresponding radio wave information in cooperation with the display control unit 111. When displaying the detection status on a map, time information is further attached to the object obj indicating the detection position, or the color or shape of the object is changed according to the time. Information regarding the detection time may be further added.
  • FIG. 10 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
  • radio wave information, position information, and a time stamp are transmitted from various terminals as shown in FIG. .
  • These pieces of information transmitted to the data recording unit 103 of the information processing apparatus 10 are registered in each DB stored in the storage unit 105 or the like (step S101).
  • the analysis unit 107 of the information processing apparatus 10 determines whether the user's movement state is appropriate (that is, whether the user is moving with a vehicle) (step S103). If it is determined that the user is moving by a vehicle, the information processing apparatus 10 returns to step S101 and continues the process. On the other hand, when it is determined that the user is not moving by the vehicle, the analysis unit 107 refers to the daily radio wave information DB stored in the storage unit 105 or the like, and the radio wave information of interest is the daily radio wave information. It is determined whether it is already registered in the information DB (step S105).
  • the information processing apparatus 10 returns to step S101 and continues the process.
  • the analysis unit 107 refers to the suspicious person radio wave information DB stored in the storage unit 105 or the like and pays attention. It is determined whether the existing radio wave information is already registered in the suspicious person radio wave information DB (step S107).
  • the analysis unit 107 indicates that the focused radio wave information is registered in the suspicious person radio wave information DB. 109 is notified. Upon receiving the notification, the overall control unit 109 moves to step S127 and activates the suspicious person warning function. On the other hand, when the focused radio wave information is not registered in the suspicious person radio wave information DB, the analysis unit 107 refers to the suspicious person radio wave information candidate DB stored in the storage unit 105 or the like and pays attention. It is determined whether the received radio wave information is already registered in the suspicious person radio wave information candidate DB (step S109).
  • the analysis unit 107 registers the focused radio wave information in the suspicious person radio wave information candidate DB (step S111). Thereafter, the information processing apparatus 10 returns to step S101 and continues the processing.
  • the analysis unit 107 refers to the position information of the suspicious person radio wave information candidate DB, and the focused radio wave information is It is determined whether it is detected at the same place as before (step S113).
  • the analysis unit 107 deletes the focused radio wave information from the suspicious person radio wave information candidate DB, and also extracts the corresponding radio wave information. Then, it is registered in the daily radio wave information DB (step S115). Thereafter, the information processing apparatus 10 returns to step S101 and continues the processing. On the other hand, when the focused radio wave information has not been detected at the same place as before, the analysis unit 107 updates the registered content of the focused radio wave information (step S117).
  • the analysis unit 107 determines whether or not the focused radio wave information satisfies a predetermined condition (step S119). When the focused radio wave information does not satisfy the predetermined condition, the analysis unit 107 refers to the entire suspicious person radio wave information candidate DB to determine whether there is radio wave information with no detection history for a predetermined period. Is determined (step S121). If there is no corresponding radio wave information, the information processing apparatus 10 returns to step S101 and continues processing. On the other hand, when the corresponding radio wave information exists, the analysis unit 107 deletes the corresponding radio wave information from the suspicious person radio wave information candidate DB (step S123). Thereafter, the information processing apparatus 10 returns to step S101 and continues the processing.
  • step S119 if there is radio wave information that satisfies a predetermined condition, the corresponding radio wave information is deleted from the suspicious person radio wave information candidate DB, and the corresponding radio wave information is registered in the suspicious person radio wave information DB. (Step S125). Thereafter, the analysis unit 107 notifies the overall control unit 109 that the focused radio wave information is registered in the suspicious person radio wave information DB. Upon receiving the notification, the overall control unit 109 moves to step S127 and activates the suspicious person warning function.
  • the overall control unit 109 activates the suspicious person warning function (step S127). Moreover, the analysis part 107 updates the registration content of applicable suspicious person radio wave information DB as needed.
  • the information processing method can identify the suspicious person for the user based on the radio wave information without using the personal information of the suspicious person. Become.
  • FIG. 11 is an explanatory diagram for describing an information processing device according to the second embodiment of the present disclosure.
  • FIG. 12 is an explanatory diagram showing an example of the data structure of the association database used in the information processing apparatus according to the present embodiment.
  • FIG. 13 shows the radio wave information database used in the information processing apparatus according to the present embodiment.
  • FIG. 14 is an explanatory diagram illustrating an example of a data structure, and
  • FIG. 14 is an explanatory diagram illustrating an example of a data structure of a captured image database used in the information processing apparatus according to the present embodiment.
  • FIG. 15 is a flowchart for explaining radio wave information analysis processing performed by the information processing apparatus according to the present embodiment.
  • 16 to 18 are explanatory diagrams schematically showing an example of the display screen of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 10 has a configuration as illustrated in FIG. 2A and functions in cooperation with the imaging system 1 including the monitoring camera 1A and the radio wave monitoring node 1B as illustrated in FIG. It is a device to do.
  • the information processing apparatus 10 has captured image data and radio wave information data (more specifically, generated by the monitoring camera 1A) generated by the imaging system 1 installed at one or a plurality of points. Captured image data and radio wave information data generated by the radio wave monitor node 1B). Then, the information processing apparatus 10 according to the present embodiment determines whether the acquired radio wave information data satisfies a predetermined condition, and determines the radio wave information data that satisfies the predetermined condition and the radio wave information data. Corresponding captured image data is accumulated in the storage unit 105 as needed.
  • the monitoring camera 1A provided at an arbitrary point is an example of an imaging device that images various objects to be imaged that are located within the imaging field of view. It is a device that can generate still images and moving images related to the body.
  • the monitoring camera 1A is not particularly limited, and various imaging devices can be used as appropriate.
  • the radio wave monitor node 1B provided at an arbitrary point is a device that observes various radio waves existing around the radio wave monitor node 1B and generates radio wave information regarding the observed radio waves.
  • the radio wave monitor node 1B is not particularly limited, and various imaging devices such as a wireless LAN monitor node can be appropriately used.
  • the monitoring camera 1A and the radio wave monitor node 1B provided at a certain point are associated with each other in advance, and which radio wave monitoring node 1B corresponds to the monitoring camera 1A existing at which point. Is stored in the information processing apparatus 10 in advance.
  • the monitoring camera 1A and the radio wave monitoring node 1B provided at a certain point are set in advance so that the times are synchronized with each other.
  • the surveillance camera 1 ⁇ / b> A captures an imaged object located within the imaging field of view and generates a captured image composed of a still image or a moving image
  • the image data of the captured image (captured image data) and the generation time of the captured image data Is output to the information processing apparatus 10 as needed.
  • the radio wave monitoring node 1B detects a radio wave existing around the radio wave monitoring node 1B
  • the radio wave monitoring node 1B observes various feature quantities characterizing the radio wave (for example, identification information unique to the radio wave, electric field strength, etc.).
  • the radio wave information data (radio wave information data) and a time stamp indicating the generation time of the radio wave information are output to the information processing apparatus 10 as needed.
  • the captured image data generated by the monitoring camera 1A is preferably associated with identification information (ID information) unique to the monitoring camera 1 that generated the captured image data, and is generated by the radio wave monitoring node 1B.
  • the radio wave information data is preferably associated with identification information (ID information) unique to the radio wave monitor node 1B that generated the radio wave information data.
  • an object for example, a person who possesses the above-mentioned device is on board
  • a device such as a mobile phone, a smartphone, a portable game machine, a tablet terminal, a wearable terminal, or a car navigation system.
  • moving means such as cars on which the above-described devices are mounted.
  • the electronic device or the communication device having the wireless communication function as described above is possessed or built in, and the object from the imaging target imaged by the monitoring camera 1A is used. It can be said that there is an extremely high possibility that radio waves are included.
  • the information processing apparatus 10 records the captured image data transmitted from the monitoring camera 1A at each location in association with the time stamp transmitted together with the radio wave transmitted from the radio monitoring node 1B at each location.
  • the information data is recorded in association with the time stamp transmitted together.
  • the information processing apparatus 10 sets the time stamp.
  • the captured image data captured by the monitoring camera 1A and the radio wave information generated by the radio wave monitor node 1B can be associated with each other.
  • the information processing apparatus 10 pays attention to the radio wave information data and the captured image data having the above relationship, and searches the radio wave information database regarding the radio wave information that has already been detected. Thereafter, when radio wave information data not registered in the radio wave information database is obtained, the corresponding radio wave information data and captured image data are accumulated in the storage unit 105 or the like. In addition, when the user of the information processing apparatus 10 inputs a search operation for captured image data newly registered during a predetermined period, the radio wave information database is used to search for the corresponding captured image data. Search and extract.
  • FIG. 12 illustrates an example of a data structure of a database indicating a correspondence relationship between one or a plurality of monitoring cameras 1A from which the information processing apparatus 10 acquires captured image data and radio wave monitoring nodes 1B associated with the monitoring cameras 1A. showed that.
  • a database hereinafter, also simply referred to as “association DB” indicating the correspondence relationship includes ID information unique to the surveillance camera 1A and association with the surveillance camera 1A. ID information unique to the radio wave monitoring node 1B being recorded is related and recorded.
  • Each processing unit (particularly, the analysis unit 107 and the overall control unit 109) of the information processing apparatus 10 refers to this association DB, and which monitoring camera 1A and which radio wave monitoring node 1B are associated with each other. Can be easily grasped.
  • ID information recorded in the association DB as described above and the method of describing the ID information are not particularly limited, and any known one can be used as appropriate.
  • FIG. 13 shows an example of a data structure of a database (hereinafter simply referred to as “radio wave information DB”) relating to radio wave information data generated by each radio wave monitor node 1B, and FIG. An example of the data configuration of a database related to the generated captured image data (hereinafter also simply referred to as “captured image DB”) is shown.
  • radio wave information DB a data structure of a database
  • captured image DB An example of the data configuration of a database related to the generated captured image data
  • the radio wave information DB includes radio wave information data (or information indicating a storage location of the radio wave information data) generated by a certain radio wave monitor node 1B. It is recorded in association with a time stamp indicating the generated date and time. It is preferable that the radio wave information DB is further associated with ID information of the radio wave monitor node 1B that generated the radio wave information data. Further, as schematically illustrated in FIG. 14, captured image data captured by a certain monitoring camera 1 ⁇ / b> A (or information indicating a storage location of the captured image data) is included in the captured image DB. Are recorded in association with a time stamp indicating the generated date and time. It is preferable that ID information of the monitoring camera 1A that has generated the captured image data is further associated with the captured image DB.
  • the information recorded in the radio wave information DB shown in FIG. 13 or the captured image DB shown in FIG. 14 is not limited to that shown in FIG. 13 or FIG. It is possible to add arbitrary information regarding to these DBs. Further, the description method of the time stamp shown in FIG. 13 and FIG. 14 is not particularly limited, and the time stamp may be described using any description method as appropriate.
  • the radio wave information data stored in the storage unit 105 has an arbitrary data configuration as long as the feature quantity characterizing the observed radio wave is described, such as ID information unique to the observed radio wave or electric field strength. You may have.
  • the radio wave information generated by the radio wave monitoring node 1B and stored in the storage unit 105 includes identification information such as MAC address, ESSID, and UUID, which is information unique to each observed radio wave, and electric field strength of the radio wave. Has been. In addition to these feature amounts, any feature amount that characterizes the observed radio wave may be described. Further, when a plurality of radio waves are observed at one radio wave monitor node 1B, the above information is recorded in the radio wave information for each observed radio wave.
  • the analysis unit 107 and the overall control unit 109 of the information processing apparatus 10 relate to radio wave information data and captured image data by referring to a database having a data structure as shown in FIGS. Various types of information can be acquired.
  • the analysis unit 107 of the information processing apparatus 10 performs the following processing in cooperation with the data recording unit 103.
  • the analysis unit 107 refers to the radio wave information DB stored in the storage unit 105 or the like, and the radio wave information of interest is It is determined whether it is already registered in the radio wave information DB (determination 1). If the radio wave information of interest is already registered in the radio wave information DB, the analysis unit 107 does not record the captured image data associated with the radio wave information of interest (processing 1). Wait for acquisition of new radio wave information.
  • the analysis unit 107 records radio wave information data and captured image data in cooperation with the data recording unit 103. That is, the analysis unit 107 causes the data recording unit 103 to record the focused radio wave information and the captured image data associated with the radio wave information in the database (processing 2), and then newly Awaiting acquisition of accurate radio wave information. At this time, the data recording unit 103 records time stamps in association with each other when recording each data in the database.
  • the analysis unit 107 accumulates captured images corresponding to newly detected radio wave information by performing the above-described processing based on radio wave information in cooperation with the data recording unit 103. It becomes possible.
  • the radio wave information DB schematically indicates the radio wave pattern (the magnitude of the electric field strength of each radio wave included in the radio wave information) indicated by the focused radio wave information. This can be determined by performing pattern matching between the radio wave pattern indicated by the recorded radio wave information and the radio wave pattern indicated by the focused radio wave information.
  • the degree of similarity used for pattern matching is not particularly limited, and a known degree of similarity such as a cross-correlation coefficient can be used.
  • the overall control unit 109 When the captured image data stored as described above is provided to the user, the overall control unit 109 performs the following processing.
  • the integrated control unit 109 starts a search / browsing process of the stored captured image data in response to a user operation, the overall control unit 109 displays a display screen as illustrated in FIG. 16 in cooperation with the display control unit 111. To display on the display. As shown in FIG. 16, the display screen is provided with a search period designation field for designating a search period for captured image data.
  • the overall control unit 109 When data is input to the search period designation field shown in FIG. 16 by a user operation and then the search button is selected, the overall control unit 109 is recorded in the storage unit 105 or the like based on the designated search period. Refer to the time stamp column of the current radio wave information DB. The overall control unit 109 searches the time stamp field, and if there is radio wave information including the time stamp within the specified search period, the overall radio wave information data is extracted.
  • the overall control unit 109 specifies the ID information of the corresponding radio wave monitoring node 1B for each of the radio wave information data extracted by the above processing, and then refers to the association DB schematically shown in FIG.
  • the ID information of the monitoring camera 1A associated with the radio wave monitoring node 1B of interest is specified.
  • the overall control unit 109 refers to the captured image DB as shown in FIG. 14 and has a time stamp of the same time as the time stamp associated with the extracted radio wave information data, and the specified monitoring Captured image data having ID information of the camera 1A is extracted. With this process, the overall control unit 109 can extract a captured image corresponding to a radio wave detected for the first time within a search period designated by the user from a plurality of captured images.
  • the overall control unit 109 When the overall control unit 109 extracts the captured image data as described above, the overall control unit 109 displays a display screen as illustrated in FIG. 17 on the display or the like of the information processing apparatus 10 in cooperation with the display control unit 111.
  • a search result display area 201 for displaying the search result of the picked-up image, and the picked-up image specified by the user operation among the search results are displayed.
  • the search result display area 201 is an example of a specific result display area.
  • thumbnail images of the extracted captured images are displayed in a list, and captured images corresponding to the thumbnail images selected by the position designation object obj are displayed. Details are displayed in the captured image display area 203.
  • FIG. 17 shows a case where the extracted captured images are displayed as a list in the search result display area 201.
  • the search results are provided to the user by a timeline display.
  • the thumbnail image of the captured image is arranged on the timeline according to the time stamp associated with each extracted captured image.
  • a display object 205 representing a temporal position where the radio wave information is detected is arranged on the timeline.
  • a display object 207 representing the temporal position of the time stamp of the captured image is arranged.
  • FIGS. 19 and 20 are flowcharts showing an example of the flow of the information processing method according to the present embodiment.
  • the data acquisition unit 101 of the information processing apparatus 10 acquires a captured image and a time stamp from the monitoring camera 1A (step S201), and a radio wave monitoring node Radio wave information and a time stamp are acquired from 1B (step S203).
  • the analysis unit 107 searches the radio wave information DB stored in the storage unit 105 or the like based on the newly acquired radio wave information (step S205).
  • the information processing apparatus 10 returns to step S201 and step S203 for processing without registering the acquired radio wave information and captured image in each DB.
  • the analysis unit 107 causes the data recording unit 103 to register the newly acquired radio wave information and captured image in each DB. (Step S209). Thereafter, the information processing apparatus 10 returns to step S201 and step S203 to continue the processing.
  • the captured image corresponding to the first detected radio wave is accumulated in the information processing apparatus 10 together with the radio wave information.
  • the overall control unit 109 of the information processing apparatus 10 sets a period for searching for a captured image in accordance with the user operation (step S251). . Thereafter, the overall control unit 109 searches for radio wave information of a time stamp included in the set period by the method described above (step S253).
  • the overall control unit 109 extracts a captured image corresponding to the radio wave information by the method described above based on the extracted time stamp (step S255). Subsequently, the overall control unit 109 generates a thumbnail image of the extracted captured image (step S257), and displays the search result on the display screen using the generated thumbnail image in cooperation with the display control unit 111. (Step S259).
  • the user of the information processing apparatus 10 can easily extract a captured image corresponding to a radio wave detected for the first time in a specific period from a plurality of captured images. It becomes.
  • FIG. 21 is an explanatory diagram for describing the information processing apparatus according to the present embodiment.
  • FIG. 22 is an explanatory diagram for describing a house management system controlled by the information processing apparatus according to the present embodiment.
  • FIG. 23 is an explanatory diagram showing an example of a data structure of a home terminal database used in the information processing apparatus according to the present embodiment, and
  • FIG. 24 is a home terminal used in the information processing apparatus according to the present embodiment. It is explanatory drawing which showed an example of the data structure of a candidate database.
  • 25 and 26 are flowcharts for explaining radio wave information analysis processing performed by the information processing apparatus according to the present embodiment.
  • the information processing apparatus 10 has a configuration as illustrated in FIG. 2A or 2B and is installed in a user's residence. As schematically illustrated in FIG. 21, the information processing apparatus 10 according to the present embodiment is a radio wave transmitted from an electronic device or communication device installed in a user's residence, or an electronic device or communication device possessed by the user. And the operating state of the residence management system 30 installed in the user's residence is controlled in accordance with the detection status of the radio wave.
  • Electronic devices and communication devices that may exist in the user's residence are devices such as a television 6A and a digital recorder 6B, a device that is installed in the residence, a mobile phone, a smartphone / tablet terminal 7A, a notebook computer 7B, and the like. It can be roughly divided into devices that are carried out of the house by the user.
  • the information processing apparatus 10 according to the present embodiment focuses on home radio waves transmitted from such electronic devices or communication devices (hereinafter also referred to as “home terminals”) that may exist in the user's residence.
  • home radio waves are radio waves that may exist on a daily basis in the user's residence.
  • the information processing apparatus 10 creates a database after associating radio wave information regarding home radio waves from home terminals as shown in FIG. 21 with time stamps.
  • the information processing apparatus 10 according to the present embodiment pays attention to radio waves from home terminals that are taken out of the house by the user.
  • a specific electronic device or communication device such as a mobile phone, a smartphone, or a tablet terminal is often carried. Therefore, in the information processing apparatus 10 according to the present embodiment, the detection status of radio waves of a predetermined terminal (for example, a mobile phone, a smartphone, a tablet terminal, etc.) among home terminals taken out of the house by the user.
  • the information processing apparatus 10 automatically determines based on the radio wave information whether or not the user is away, and then controls the operating state of the residence management system 30 according to the user's home status. .
  • a residence management system 30 for example, as shown in FIG. 22, various security systems 31 for monitoring intruders in the residence and supply / use of electrical energy etc. in the residence are managed. Examples thereof include an energy management system 33 such as a grid.
  • an energy management system 33 such as a grid.
  • any system that manages the user's residence from some point of view can be a residence management system in which the information processing apparatus 10 according to the present embodiment manages the operating state.
  • these residence management systems 30 can communicate with each other with the information processing apparatus 10 via various networks such as the Internet and a LAN.
  • the information processing apparatus 10 determines that the user is absent based on the detection state of radio waves from a specific home terminal, for example, the security system 31 in the residence management system 30 has higher security. It is possible to shift to the absence mode that is in an operating state. Further, when the information processing apparatus 10 according to the present embodiment determines that the user is absent, for example, for turning off the power of a specific electrical device to the energy management system 33 in the residence management system 30. A control signal can be output.
  • the information processing apparatus 10 learns the radio wave detection status of a specific home terminal that is carried by the user, so that the user is away from home or the user is at home. It is possible to estimate the time zone.
  • the information processing apparatus 10 according to the present embodiment can operate a predetermined function of the residence management system 30 based on the learning result of the user's life pattern.
  • the information processing apparatus 10 according to the present embodiment controls the energy management system 33 in the residence management system 30 based on the learning result of the user's life pattern, and performs illumination according to the time when the user is supposed to go home. It is possible to perform control such as turning on a device or an air conditioner.
  • the information processing apparatus 10 can manage a user's residence based on radio wave information from a specific device.
  • FIG. 23 shows an example of a data structure of a DB related to a home terminal existing in the user's residence (hereinafter also simply referred to as “home terminal DB”).
  • radio wave information data (or information indicating a storage location of such radio wave information data) transmitted from a home terminal transmits such radio wave information to the home terminal DB. Recorded in association with identification information (ID information) unique to the home terminal.
  • ID information identification information
  • a time stamp indicating when it was registered for the first time
  • a time stamp indicating when the corresponding radio wave information was previously detected
  • the registered radio wave information data has an arbitrary data structure as long as the feature quantity characterizing the observed radio wave is described, such as ID information or electric field strength unique to the observed radio wave. It may be.
  • radio wave information includes, for example, identification information such as a MAC address that is unique to each observed radio wave, the electric field strength of the radio wave, and the like.
  • identification information such as a MAC address that is unique to each observed radio wave, the electric field strength of the radio wave, and the like.
  • any feature amount that characterizes the observed radio wave may be described.
  • the data configuration of the radio wave information data is not particularly limited, and may have an arbitrary data configuration.
  • the type of ID information recorded in the home terminal DB as described above and the method for describing the ID information are not particularly limited, and any known one can be used as appropriate.
  • the description method of the time stamp is not particularly limited, and the time stamp may be described using any description method as appropriate.
  • various types of information related to radio waves transmitted from the home terminal may be recorded in the home terminal DB.
  • a terminal that is not registered in the home terminal DB may be brought into the house due to a visitor possessing an electronic device or the like or a purchase of a new electronic device or the like.
  • Such an electronic device that transmits radio wave information that is not registered in the home terminal DB can be regarded as a new home terminal candidate. Therefore, in the information processing apparatus 10 according to the present embodiment, as schematically illustrated in FIG. 24, a database (hereinafter simply referred to as “in-home terminal” regarding radio wave information from devices registered as candidates for in-home terminals. It is also called “Candidate DB”.)
  • FIG. 24 shows an example of the data structure of the home terminal candidate DB stored in the storage unit 105 or the like.
  • the home terminal candidate DB includes radio wave information data (or such information) transmitted from an electronic device or a communication device that is not registered as a home terminal in the residence.
  • Information indicating the storage location of the radio wave information data) is recorded in association with identification information (ID information) unique to the device that has transmitted the radio wave information.
  • ID information identification information
  • Each radio wave information is associated with a time stamp indicating when the corresponding radio wave information is detected for the first time, a time stamp indicating when the corresponding radio wave information was detected last time, etc. It is associated.
  • various types of information related to radio waves transmitted from electronic devices and communication devices that are not registered as home terminals and that are present in the house are included in the home terminals. It may be recorded in the candidate DB.
  • the analysis unit 107 and the overall control unit 109 of the information processing apparatus 10 according to the present embodiment refer to the database having the data structure as illustrated in FIGS. This information can be easily grasped.
  • the newly acquired radio wave information is (1) radio wave information from home terminal candidates and (2) radio wave information from home terminals. Treated in two stages. That is, in the analysis unit 107 and the overall control unit 109 according to the present embodiment, radio wave information that is not known radio wave information of the home terminal is handled as radio wave information from the home terminal candidate and is included in the home terminal candidate. Radio wave information that satisfies a predetermined condition is newly handled as radio wave information from a home terminal.
  • the analysis unit 107 of the information processing apparatus 10 uses the home terminal DB stored in the storage unit 105 or the like. Referring to it, it is determined whether the focused radio wave information has already been registered in the home terminal DB (determination 1). In a case where the focused radio wave information is already registered in the home terminal DB, the analysis unit 107 updates the registration content (for example, a time stamp or the like) of the corresponding radio wave information in the home terminal DB. , Wait for the acquisition of new radio wave information.
  • the analysis unit 107 refers to the home terminal candidate DB stored in the storage unit 105 or the like and pays attention. It is determined whether the radio wave information has been registered in the home terminal candidate DB (decision 2). When the focused radio wave information is not registered in the home terminal candidate DB, the analysis unit 107 registers the focused radio wave information in the home terminal candidate DB in cooperation with the data recording unit 103. (Process 1).
  • the analysis unit 107 updates the registered content such as a time stamp and the number of detections (process 2). Thereafter, the analysis unit 107 determines whether or not a predetermined condition is satisfied for the focused radio wave information already registered in the home terminal candidate DB (determination 3). If the predetermined condition is not satisfied, the analysis unit 107 waits for acquisition of new radio wave information.
  • the analysis unit 107 cooperates with the display control unit 111 and the like to the user as a new home terminal corresponding to the focused radio wave information. Ask for a decision to register.
  • the analysis unit 107 deletes the corresponding radio wave information from the home terminal candidate DB and registers it in the home terminal DB (processing) 3).
  • the analysis unit 107 deletes the registration of the corresponding radio wave information from the home terminal candidate DB (processing 4). Thereafter, the analysis unit 107 waits for acquisition of new radio wave information.
  • the predetermined condition as described above is not particularly limited, and may be set as appropriate, for example, “a corresponding radio wave is detected a predetermined number of times during a predetermined period” or the like.
  • the analysis unit 107 may determine whether or not the above condition is satisfied from the registered content with reference to the registered content in the home terminal candidate DB.
  • the database regarding the home terminal existing in the user's residence is automatically updated.
  • the analysis unit 107 and the overall control unit 109 can perform processing as shown in FIG.
  • the analysis unit 107 determines whether the user is at home by using the home terminal DB to determine whether a predetermined home terminal radio wave has not been detected for a predetermined time. (Process 11). As described above, in recent years, communication devices such as mobile phones and smartphones are very likely to be taken out of the house together with the user. Therefore, by monitoring the detection status of radio waves from such communication devices, the user's home status can be determined.
  • the home terminal taken out of the house with the user is set in advance as a monitoring target terminal, and the radio waves from all the monitoring target terminals are set for a predetermined period (for example, 10 minutes, 20 minutes, etc.). If it is not detected, the analysis unit 107 can determine that all the users are not at home and are in an absence state.
  • the overall control unit 109 can control the operating state of the residence management system 30 based on the determination result (processing 12). Specifically, the overall control unit 109 shifts the security system 31 in the residence management system 30 to the absence mode or controls the energy management system 33 to control a specific electrical appliance (for example, an electric cooking appliance or an air conditioner). Or other devices) can be turned off.
  • a specific electrical appliance for example, an electric cooking appliance or an air conditioner. Or other devices
  • the analysis unit 107 can learn the user's life pattern by performing a known machine learning process or the like using the constructed home terminal DB (process 13). Thereby, it becomes possible to estimate the time when the user is usually at home.
  • the overall control unit 109 can control the operating state of the house management system 30 (process 14). Specifically, the overall control unit 109 controls the energy management system 33 in a time zone when the user is supposed to return home based on the user's life pattern obtained as a result of learning, and controls a specific electrical appliance (for example, lighting It is possible to perform control such as turning on the power of a device or an air conditioner.
  • a specific electrical appliance for example, lighting It is possible to perform control such as turning on the power of a device or an air conditioner.
  • FIG. 27 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
  • the data acquisition unit 101 acquires radio wave information and a time stamp as needed (step S301).
  • the analysis unit 107 determines whether the newly acquired radio wave information is already registered in the home terminal DB stored in the storage unit 105 or the like. (Step S303). When newly acquired radio wave information is registered in the home terminal DB, the analysis unit 107 and the overall control unit 109 control the operating state of the residence management system 30 based on the home terminal DB ( Step S305).
  • the analysis unit 107 refers to the home terminal candidate DB stored in the storage unit 105 or the like and is newly acquired. It is determined whether the radio wave information is already registered in the home terminal candidate DB (step S307). When the newly acquired radio wave information is not registered in the home terminal candidate DB, the analysis unit 107 causes the data recording unit 103 to record the newly acquired radio wave information in the home terminal candidate DB ( Step S309).
  • the analysis unit 107 updates the registration content of the home terminal candidate DB (step S311).
  • the analysis unit 107 determines whether or not a predetermined condition is satisfied for each radio wave information registered in the home terminal candidate DB (step S313).
  • the analysis unit 107 inquires the user as to whether or not to register as a home terminal in cooperation with the display control unit 111 and the like, and a user operation to be performed (Step S315).
  • the analysis unit 107 deletes the corresponding radio wave information from the home terminal candidate DB, and then registers it in the home terminal DB (step S317). If a user operation indicating that the terminal is not registered as a home terminal is performed, the analysis unit 107 deletes the corresponding radio wave information from the home terminal candidate DB (step S319).
  • the information processing apparatus 10 can automatically control the operating state of the system that manages the residence based on the radio wave information.
  • FIG. 28 is a block diagram for describing a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • a host bus 907 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the sensor 914 is various radio wave detection means such as various radio wave sensors and antennas.
  • the sensor 914 may include detection means other than those described above, such as a sensor that detects a user's movement and a sensor that acquires information indicating the current position.
  • a motion sensor such as a three-axis acceleration sensor including an acceleration sensor, a gravity detection sensor, a fall detection sensor, an angular velocity sensor, a camera shake correction sensor, a geomagnetic sensor, a GPS sensor, and the like.
  • the sensor 914 may include various measuring devices such as a thermometer, an illuminometer, and a hygrometer in addition to the above-described ones.
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote controller) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 10. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. The user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 10.
  • the display device displays results obtained by various processes performed by the information processing device 10 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for the recording medium, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a CompactFlash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CompactFlash registered trademark
  • SD memory card Secure Digital memory card
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • control unit in the following description corresponds to the analysis unit and the overall control unit described above.
  • An information processing apparatus comprising: a control unit that controls processing for providing a predetermined function to a user based on related information related to the newly acquired radio wave information when a result satisfies a predetermined condition.
  • the radio wave is a radio wave transmitted around an electronic device or communication device possessed by a user
  • the radio wave information acquired from the daily action range of the user is the position information indicating the position where the radio wave information is acquired as the related information, or the radio wave information is acquired.
  • the controller is When the newly acquired radio wave information is not the recorded radio wave information, it is recorded as a suspicious person radio wave information candidate that is the radio wave information transmitted from the electronic device or communication device possessed by the suspicious person.
  • the suspicious person radio wave information candidate satisfying a predetermined condition is recorded as new suspicious person radio wave information
  • the information processing apparatus wherein a warning is issued to the user when the newly acquired radio wave information is radio wave information corresponding to the suspicious person radio wave information.
  • the controller is Each time the radio wave information corresponding to the suspicious person radio wave information candidate is detected, the evaluation value of the suspicious person radio wave information candidate is increased, Applicable when the radio wave information corresponding to the suspicious person radio wave information candidate is detected a predetermined number of times or more during a predetermined period and the evaluation value of the suspicious person radio wave information candidate becomes a predetermined threshold or more.
  • the information processing apparatus wherein the suspicious person radio wave information candidate to be recorded is recorded as new suspicious person radio wave information.
  • the control unit presents an inquiry to the user as to whether the recorded suspicious person radio wave information candidate is handled as the new suspicious person radio wave information.
  • the candidate for the recorded suspicious person radio wave information is recorded as the new suspicious person radio wave information (2) or ( The information processing apparatus according to 3).
  • the controller is Based on the newly acquired radio wave information, learn the daily action range of the user, If the user's location is not included in the daily action range of the user and the radio wave information corresponding to the suspicious person radio wave information candidate is detected, the corresponding suspicious person radio wave information candidate is selected.
  • the information processing apparatus according to any one of (2) to (4), wherein the information is recorded as new suspicious person radio wave information.
  • the control unit determines that the user is moving on a vehicle when the location of the user is changing at a speed equal to or higher than a predetermined threshold, and stops recording the suspicious person radio wave information. 2) The information processing apparatus according to any one of (5).
  • the controller is In accordance with at least one of the detection status of the suspicious person radio wave information or the evaluation result of the suspicious person radio wave information by the user, the suspicious person radio wave information is ranked, The information processing apparatus according to any one of (2) to (6), wherein the timing of the warning is controlled according to the ranking of the suspicious person radio wave information.
  • the control unit further uses the information registered on the network to analyze the suspicious person radio wave information candidate and the suspicious person radio wave information, and any one of (2) to (7) Information processing apparatus described in one.
  • the control unit uses the related information associated with the information to detect at least one of the suspicious person radio wave information candidates or the suspicious person radio wave information, or on the timeline, or The information processing apparatus according to any one of (2) to (8), which is displayed on a map.
  • the radio waves are radio waves detected by the imaging device or the communication device, transmitted from an imaging device installed at a predetermined location, or a communication device previously associated with the imaging device, Data related to the captured image generated by the imaging device installed at the predetermined location is associated with a time stamp related to the captured image and stored in a predetermined storage location;
  • the controller is The newly acquired radio wave information is compared with the recorded radio wave information to analyze whether the newly acquired radio wave information has already been recorded, and the newly acquired radio wave information is recorded.
  • the newly acquired radio wave information is recorded in association with information related to the time stamp of the radio wave information as the related information,
  • the imaging corresponding to the designated time stamp among the data regarding the captured image stored in the predetermined storage location with reference to the information regarding the time stamp associated with the newly recorded radio wave information The information processing apparatus according to (1), wherein data regarding an image is specified and information regarding the specified captured image is provided to a user.
  • the control unit displays, as information relating to the captured image, a time stamp of the newly recorded radio wave information corresponding to the captured image and a thumbnail image relating to the captured image on a display screen.
  • Information processing device is a smartphone, a smartphone, etc.
  • the controller is As the display screen, a specified result display area for displaying a specified result of the captured image and a captured image display area for displaying the captured image specified by a user operation among the specified captured images are generated.
  • a display object indicating a time position of the time stamp of the newly added radio wave information, and a thumbnail image of the captured image corresponding to the time stamp of the newly added radio wave information In the specific result display area, a display object indicating a time position of the time stamp of the newly added radio wave information, and a thumbnail image of the captured image corresponding to the time stamp of the newly added radio wave information.
  • the radio wave is an electronic device or communication device installed in a user's residence, or a home radio wave transmitted from an electronic device or communication device possessed by the user,
  • the recorded radio wave information is obtained by associating home radio wave information related to the home radio wave with information related to a time stamp when the home radio wave information was acquired as the related information,
  • the controller is The newly acquired radio wave information is associated with the home radio wave information, and whether the newly acquired radio wave information is the home radio wave information is analyzed,
  • the information processing apparatus according to (1), wherein a system for managing the dwelling is operated when all of the predetermined in-home radio wave information is not detected for a predetermined period.
  • the control unit selects the newly acquired radio wave information as a candidate of the home radio wave information to be added, When the radio wave information corresponding to the home radio wave information candidate satisfies a predetermined condition within a predetermined period, the radio wave information corresponding to the home radio wave information candidate is set as new home radio wave information.
  • the controller is Based on the detected domestic radio wave information, machine learning of the user's life pattern, The information processing apparatus according to (13) or (14), wherein a predetermined function of a system that manages the residence is operated based on a learning result of the life pattern of the user.
  • the information processing apparatus according to any one of (13) to (15), wherein the system for managing the dwelling is at least one of the dwelling security system or the dwelling energy management system.
  • the radio wave is a radio wave used for wireless communication.
  • the information processing apparatus according to any one of (1) to (17), further including a radio wave detection unit that acquires the radio wave information.

Abstract

【課題】周囲に存在する電波を利用して、ユーザの利便性を更に向上させること。 【解決手段】本開示に係る情報処理装置は、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する制御部を備える。

Description

情報処理装置、情報処理方法及びプログラム
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。
 情報通信技術の発達に伴い、周囲に無数の電波が存在する状況となっている。このような無数の電波のうち、携帯電話端末用の無線基地局から送信される基地局の識別情報(ID情報)を利用して、使用者の移動経路を学習する携帯電話端末が提案されている(例えば以下の特許文献1を参照。)。
特開2000-224643号公報
 しかしながら、上記特許文献1に開示されている技術では、携帯電話端末用の無線基地局という特定の位置に設置された電波発信源から発信されるID情報を利用しているのみであり、周囲に無数に存在する電波のうち限られた一部の電波を利用しているのみであって、無線基地局が存在しない場所では利用することができない。
 そのため、周囲に無数に存在する電波を効果的に利用して、ユーザの利便性を更に向上させることが可能な技術が希求されているという現状にある。
 そこで、本開示では、上記事情に鑑みて、周囲に存在する電波を利用して、ユーザの利便性を更に向上させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
 本開示によれば、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する制御部を備える情報処理装置が提供される。
 また、本開示によれば、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御することを含む情報処理方法が提供される。
 また、本開示によれば、コンピュータに、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する機能を実現させるためのプログラムが提供される。
 本開示によれば、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とが対応づけて記録され、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理が制御される。
 以上説明したように本開示によれば、周囲に存在する電波を利用して、ユーザの利便性を更に向上させることが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
本開示の各実施形態に係る情報処理装置について説明するための説明図である。 本開示の各実施形態に係る情報処理装置の構成の一例を示したブロック図である。 本開示の各実施形態に係る情報処理装置の構成の一例を示したブロック図である。 本開示の第1の実施形態に係る情報処理装置で用いられる行動範囲電波情報データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる不審者電波情報候補データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる不審者電波情報データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第2の実施形態に係る情報処理装置について説明するための説明図である。 同実施形態に係る情報処理装置で用いられる対応付けデータベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる電波情報データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる撮像画像データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第3の実施形態に係る情報処理装置について説明するための説明図である。 同実施形態に係る情報処理装置が制御する住宅管理システムについて説明するための説明図である。 同実施形態に係る情報処理装置で用いられる家庭内端末データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる家庭内端末候補データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の各実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.情報処理装置について
  1.1.情報処理装置と他の機器との関係について
  1.2.情報処理装置の構成について
 2.第1の実施形態(電波情報を用いた不審者特定処理)
  2.1.電波情報による不審者の特定処理について
  2.2.電波情報の解析処理について
  2.3.情報処理方法の流れについて
 3.第2の実施形態(電波情報を用いた監視カメラ撮像画像の抽出処理)
  3.1.電波情報による監視カメラ撮像画像の抽出処理について
  3.2.電波情報の解析処理について
  3.3.情報処理方法の流れについて
 4.第3の実施形態(電波情報を用いた住居管理処理)
  4.1.電波情報による住居管理処理について
  4.2.電波情報の解析処理について
  4.3.情報処理方法の流れについて
(情報処理装置について)
 以下では、本開示の各実施形態に係る情報処理装置について、詳細に説明する。
<情報処理装置と他の機器との関係について>
 まず、図1を参照しながら、本開示の各実施形態に係る情報処理装置と他の機器との関係について、簡単に説明する。図1は、本開示の各実施形態に係る情報処理装置について説明するための説明図である。
 本開示の各実施形態に係る情報処理装置10は、情報処理装置10の周囲に存在している電波に関する電波情報を取得し、得られた電波情報を解析する。これにより、本開示の各実施形態に係る情報処理装置10は、情報処理装置10の周囲に存在している電波について、学習することができる。その後、本開示の各実施形態に係る情報処理装置10は、解析(学習)の結果、所定の条件を満足した電波情報に特に着目し、かかる所定の電波情報に基づいて、ユーザに対して所定の機能を提供する機能提供処理を制御する。
 このような機能を有する情報処理装置10は、ある場所に据え置かれた固定型の機器であってもよいし、例えばユーザ等が所持して持ち運ぶことが可能な携帯型の機器であってもよい。
 この情報処理装置10が取得する電波情報の発信源としては、例えば図1に示したように、監視カメラ1A及び電波モニタノード1Bから構成される撮像システム1や、デスクトップ型やノートブック型等の各種のパーソナルコンピュータ2や、各種の携帯電話やスマートフォン3や、各種のタブレット端末4や、各種のウェアラブル端末5等を挙げることができる。また、これらの機器以外にも、携帯型音楽プレーヤー等を含む各種のAV機器や、携帯型ゲーム機等といった、公知の電化製品を挙げることができる。これらの電波情報の発信源となる電化製品は、所定の電波を発信する端末として捉えることができる。
 ここで、情報処理装置10が上記のような各種の端末から取得する電波情報は、情報処理装置10又は情報処理装置10に接続された電波モニタノード等が観測した、様々な電波(例えば、Wi-FiやBluetooth(登録商標)等といった無線LAN通信などの、各種の無線通信に用いられる電波)に関する各種の情報を含む。このような電波情報には、例えば、検出された電波を特徴づける各種の特徴量(例えば、検出される電波に固有の情報であるMACアドレスのような識別情報や、電界強度等)が記載されている。
 また、情報処理装置10は、上記のような電波情報以外にも、上記のような各種の端末が取得したり、生成したりする各種の情報を適宜利用することが可能である。
 更に、情報処理装置10は、インターネット等の各種のネットワークを介して相互に接続された各種サーバ20と連携して、電波情報の解析処理を行ったり、所定の機能提供処理を実現したりすることが可能である。例えば、情報処理装置10は、各種サーバ20が実現しているソーシャルネットワーク等に含まれる各種のユーザ情報等を利用したり、各種サーバ20が保持している各種の情報を利用したり、これら各種の情報を利用して各種の演算処理を行って、二次的に各種のデータを生成したりすることが可能である。
 なお、図1では、情報処理装置10が、図1に示した各種の端末と異なる機器であるかのように図示しているが、図1に示した各種の端末に本実施形態に係る情報処理装置10の機能が実現されていてもよいことは言うまでもない。
<情報処理装置の構成について>
 次に、図2A及び図2Bを参照しながら、本開示の実施形態に係る情報処理装置10の構成について、詳細に説明する。図2A及び図2Bは、本開示の実施形態に係る情報処理装置10の構成の一例を模式的に示したブロック図である。
 本開示の各実施形態に係る情報処理装置10は、図2Aに示したように、データ取得部101と、データ記録部103と、記憶部105と、解析部107と、統括制御部109と、表示制御部111と、を主に備える。
 なお、以下では、本開示の各実施形態に係る情報処理装置10が、電波情報のデータ(電波情報データ)や、その他のデータを格納する記憶装置を内部に有している場合を例に挙げて説明を行うが、これらデータを格納する記憶装置が情報処理装置10の外部に設けられていてもよいことは言うまでもない。また、以下で詳細に説明するデータ取得部101と、データ記録部103と、記憶部105と、解析部107と、統括制御部109と、表示制御部111と、は、インターネット等の各種ネットワーク上に存在している複数の情報処理装置に分散して設けられており、複数の情報処理装置が互いに連携することで、本実施形態に係る情報処理装置10の機能を実現してもよい。
 データ取得部101は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。データ取得部101は、図1に示したような各種の端末から送信された電波情報及びタイムスタンプを取得する。また、データ取得部101は、図1に示したような各種の端末から、例えば位置情報や撮像画像に関するデータ等といったその他のデータと、タイムスタンプと、を取得する。すなわち、データ取得部101は、情報処理装置10と、図1に示したような各種の端末と、の間の通信をそれぞれ実現する通信部として機能する。また、取得した電波情報データ及びタイムスタンプ、並びに、その他のデータ及びタイムスタンプは、後述するデータ記録部103に伝送される。
 データ記録部103は、例えば、CPU、ROM、RAM等により実現される。データ記録部103は、データ取得部101から伝送された電波情報データ及びタイムスタンプを互いに関連付けた上で、後述する記憶部105の所定の場所に格納する。また、データ記録部103は、データ取得部101から伝送されたその他のデータ及びタイムスタンプを互いに関連付けた上で、後述する記憶部105の所定の場所に格納する。これにより、後述する記憶部105には、各種の端末から随時出力された電波情報データやその他のデータが、蓄積されていく。
 記憶部105は、例えば本実施形態に係る情報処理装置10が備えるRAMやストレージ装置等により実現される。記憶部105には、本実施形態に係る情報処理装置10が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。特に、この記憶部105には、所定の環境で観測される電波に関する情報である電波情報が、当該電波情報に関連する関連情報と対応付けられて、データベースとして記録されている。このような各種の情報が格納されている記憶部105は、データ取得部101、データ記録部103、解析部107、統括制御部109、表示制御部111等が、データのリード/ライト処理を自由に行うことが可能である。
 解析部107は、例えば、CPU、ROM、RAM等により実現される。解析部107は、情報処理装置10のデータ取得部101によって新たに取得された電波情報を解析し、所定の条件を満足した、新たに取得された電波情報を、当該電波情報に関連する関連情報と対応付けて、上記のデータベースに対して新たに追加する。
 なお、かかる解析部107で実施される具体的な処理については、以下の各実施形態に係る情報処理装置10で提供される具体的なサービス(機能)の内容に応じて、改めて詳細に説明する。
 統括制御部109は、例えば、CPU、ROM、RAM等により実現される。統括制御部109は、記憶部105等に格納されたデータベースに記録されている電波情報に基づいて、ユーザに対して所定の機能を提供する機能提供処理を制御する。
 なお、かかる統括制御部109で実施される具体的な処理については、以下の各実施形態に係る情報処理装置10で提供される具体的なサービス(機能)の内容に応じて、改めて詳細に説明する。
 表示制御部111は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部111は、解析部107や統括制御部109が機能することによって生成された各種の情報を、情報処理装置10が備えるディスプレイ等の出力装置や情報処理装置10の外部に設けられた出力装置等に表示する際の表示制御を行う。また、表示制御部111は、ユーザが情報処理装置10に対して各種の入力操作を行う際に用いられる各種の表示画面を、所定の出力装置等に表示する際の表示制御についても実施する。これにより、情報処理装置10のユーザは、所望の情報をその場で閲覧することが可能となる。
 なお、図2Aに示した情報処理装置10の構成では、情報処理装置10は、その外部に設けられた各種端末や、未図示の電波モニタノード(電波を検出可能な端末)により検出された電波情報を利用する。しかしながら、本開示の各実施形態に係る情報処理装置10は、例えば、図2Bに示したように、図2Aに示した各処理部に加えて、電波検出部113を更に有していても良い。
 電波検出部113は、例えば、CPU、ROM、RAM、通信装置、電波センサ等により実現される。また、電波検出部113は、情報処理装置10に内蔵又は接続された、電波モニタノード等の機器であってもよい。かかる電波検出部113は、図1に示したような各種の端末から発信される各種の電波を検出し、検出した電波を特徴づける各種の特徴量が記載された電波情報を生成する。電波検出部113は、上記のような電波情報を生成すると、生成した電波情報をデータ記録部103に出力する。また、電波検出部113は、検出した各種端末の電波情報を、タイムスタンプと対応付けてデータ記録部103に出力する。
 本開示の各実施形態に係る情報処理装置10は、このような電波検出部113を更に有することで、情報処理装置10自体が各種の電波情報を取得することが可能となる。
 以上、本開示の各実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本開示の各実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
 なお、上述のような本開示の各実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(第1の実施形態)
 以下では、図3~図9Bを参照しながら、本開示の第1の実施形態に係る情報処理装置について、詳細に説明する。
 図3は、本開示の第1の実施形態に係る情報処理装置で用いられる行動範囲電波情報データベースのデータ構造の一例を示した説明図である。図4は、本実施形態に係る情報処理装置で用いられる不審者電波情報候補データベースのデータ構造の一例を示した説明図である。図5は、本実施形態に係る情報処理装置で用いられる不審者電波情報データベースのデータ構造の一例を示した説明図である。図6は、本実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。図7~図9Bは、本実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。
<電波情報による不審者の特定処理について>
 本実施形態に係る情報処理装置10は、図2A又は図2Bに示したような構成を有しており、ユーザが所持してユーザ自身とともに持ち運ぶことが可能な携帯型の装置として実現される。この際に、本実施形態に係る情報処理装置10の一部の機能(例えば、データ取得部101、データ記録部103、表示制御部111、電波検出部113の機能等)は、携帯型の装置として実現し、残りの機能(例えば、記憶部105、解析部107、統括制御部109の機能等)は、携帯型の装置との間で相互の通信が可能なサーバ等に実現してもよい。また、本実施形態に係る情報処理装置10は、例えば、携帯電話、スマートフォン、ノートパソコン、タブレット端末、ウェアラブル端末といった、携帯型の端末の一機能として実現されていてもよい。
 本実施形態に係る情報処理装置10では、ユーザが所持する電子機器又は通信機器の周囲で発信される電波に着目する。その上で、本実施形態に係る情報処理装置10は、ユーザによって所持されることで、情報処理装置10の周囲(すなわち、ユーザの周囲)に存在している各種の電波を、電波の検出された位置に関する位置情報や、電波の検出された時間に関するタイムスタンプと関連付けた上で学習していく。特に、本実施形態に係る情報処理装置10は、ユーザの周囲に日常的に存在する各種の電波について学習して、ユーザの周囲に日常的に存在する各種の電波情報(以下、単に「日常電波情報」という。)に関するデータベースを構築する。これにより、本実施形態に係る情報処理装置10は、ユーザの日常的な行動範囲を、電波情報に基づいて特定することができる。本実施形態に係る情報処理装置10は、このデータベースを利用することで、ユーザにとって好ましくない状況をもたらす電波情報(例えば、ストーカー等といったユーザにとっての不審者(以下、単に「不審者」という。)が所持している端末からの電波情報等)を特定する。
 すなわち、不審者は、「ユーザを追跡して、ユーザの周囲に存在する」という行動をとることが多い。そこで、本実施形態に係る情報処理装置10は、ユーザの周囲で検出される各種の電波情報のうち、日常電波情報に関するデータベースに登録されていない電波情報を、不審者の候補が所持している端末からの電波情報(以下、単に「不審者電波情報候補」ともいう。)として取り扱う。その上で、本実施形態に係る情報処理装置10は、不審者電波情報候補として登録されている電波情報が、所定の条件を満たすように検出された場合に、該当する不審者電波情報候補を、不審者電波情報に格上げして管理する。これにより、本実施形態に係る情報処理装置10は、不審者の個人情報を利用することなく、電波情報に基づきユーザにとっての不審者を特定することが可能となる。
<電波情報の解析処理について>
 以下では、記憶部105に格納される各種データベースのデータ構造と、本実施形態に係る解析部107及び統括制御部109の詳細な機能に着目して、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明する。
[各種データベースのデータ構造について]
 まず、図3~図5を参照しながら、本実施形態に係る記憶部105に格納されている各種データベースのデータ構造の一例について、具体的に説明する。
 図3に、本実施形態に係る記憶部105に格納される、日常電波情報データベース(DB)のデータ構造の一例を模式的に示した。この日常電波情報DBは、ユーザが通勤・通学等の日常的な生活を行うことで取得される電波情報に関して、構築されているデータベースである。この日常電波情報DBには、図3に模式的に示したように、検出された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データの検出された日時を示すタイムスタンプ、及び、かかる電波情報データが検出された位置に関する位置情報とそれぞれ互いに関連付けられて、記録されている。
 ここで、電波情報データが検出された位置に関する位置情報は、情報処理装置10がGPS等の衛星測位システムや各種の無線通信基地局等と連携することで、容易に特定することが可能である。なお、位置情報の記載方法は、図3に示した例に限定されるものではなく、電波情報データの検出された位置が一意に特定可能となる記載方法であれば、任意の記載方法を利用することが可能である。また、タイムスタンプの記載方法についても特に限定されるものではなく、任意の記載方法を適宜利用してタイムスタンプを表記すればよい。
 また、日常電波情報DBには、これらの情報以外にも、電波情報そのものを特徴づけることが可能な様々な情報(例えば、位置情報にタグ付けられた、位置の名称に関する情報等)が関連付けられていても良い。
 図4に、本実施形態に係る記憶部105に格納される、不審者電波情報候補DBのデータ構造の一例を模式的に示した。この不審者電波情報候補DBは、不審者の候補と考えられる人物が所持している電子機器又は通信機器から発信される電波情報に関して、構築されているデータベースである。この不審者電波情報候補DBには、図4に模式的に示したように、検出された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データが初めて検出された日時を示すタイムスタンプ、かかる電波情報が検出された日時を示すタイムスタンプ、及び、かかる電波情報データが検出された位置に関する位置情報とそれぞれ互いに関連付けられて、記録されている。また、不審者電波情報候補DBには、上記の情報に加えて、対応する電波情報が検出された回数や、電波情報に関する評価値(不審者らしさの程度を表わす評価値)が関連付けられている。
 図5に、本実施形態に係る記憶部105に格納される、不審者電波情報DBのデータ構造の一例を模式的に示した。この不審者電波情報DBは、不審者と考えられる人物が所持している電子機器又は通信機器から発信される電波情報に関して、構築されているデータベースである。この不審者電波情報DBには、図5に模式的に示したように、検出された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データが初めて検出された日時を示すタイムスタンプ、かかる電波情報が検出された日時を示すタイムスタンプ、及び、かかる電波情報データが検出された位置に関する位置情報とそれぞれ互いに関連付けられて、記録されている。また、不審者電波情報DBには、上記の情報に加えて、対応する電波情報が検出された回数や、かかる電波情報に対応する不審者の危険度(すなわち、不審者のランク付け)が関連付けられている。
 本実施形態に係る情報処理装置10の解析部107及び統括制御部109は、図3~図5に示したようなデータ構造を有するデータベースを随時参照することで、不審者の候補や不審者に関する情報を取得することが可能となる。
[解析部107及び統括制御部109の具体的な機能について]
 続いて、図6~図9Bを参照しながら、本実施形態に係る情報処理装置10が有する解析部107及び統括制御部109の具体的な機能について、詳細に説明する。
 本実施形態に係る情報処理装置10の解析部107は、新たな電波情報が取得されると、得られた電波情報を日常電波情報DBに登録するか否か(すなわち、日常電波情報として学習するか否か)を随時判断する。これにより、解析部107は、日常電波情報DBを随時更新して、新しいものを構築していく。
 具体的には、解析部107は、新たに取得された電波情報が、図3に示したような、その時点における最新の日常電波情報DBに登録されている電波情報であるか否かを解析する。このような解析は、日常電波情報DBに記録されている電波情報と、新たに取得された電波情報とを比較していくことで、実現することが可能である。
 新たに取得された電波情報が、日常電波情報DBに登録されている場合には、解析部107は、日常電波情報DBの更新は行わない。一方、新たに取得された電波情報が、日常電波情報DBに登録されていない場合には、解析部107は、新たに取得された電波情報を、図5に示したような、その時点における最新の不審者電波情報DBに記録されている電波情報であるか否かを解析する。
 新たに取得された電波情報が、不審者電波情報DBに登録されている場合には、解析部107は、不審者電波情報DBに登録されている電波が検出された旨を統括制御部109に出力する。一方で、新たに取得された電波情報が、不審者電波情報DBに登録されていない場合には、解析部107は、新たに取得された電波情報が、所定の条件を満足するか否かを判断する。
 すなわち、解析部107は、新たに取得された電波情報が、所定の期間遡って検出履歴が存在する電波であるのかを判断する。新たに取得された電波情報が、所定の期間遡って検出履歴がある電波であり、かつ、対応付けられている位置情報から、毎回同じ場所で検出される電波である場合に、解析部107は、新たに取得された電波情報を、日常電波情報DBに登録する。
 このような処理を随時実施することで、本実施形態に係る情報処理装置10の解析部107は、図3に示したような日常電波情報DBを更新していくことが可能となる。
 以上説明したような処理により、日常電波情報DBが更新されている上で、解析部107及び統括制御部109は、図6に示したような電波情報の解析処理を随時実施する。以下、図6を参照しながら、本実施形態に係る解析部107及び統括制御部109で実施される電波情報の解析処理について、詳細に説明する。
 本実施形態に係る解析部107及び統括制御部109では、新たに取得される電波情報を、(1)日常電波情報、(2)不審者電波情報の候補、(3)不審者電波情報、という3つの段階に区分して取り扱う。すなわち、本実施形態に係る解析部107及び統括制御部109では、「日常電波情報に含まれない」という条件を満たす電波情報を、不審者電波情報の候補として取り扱い、「不審者電波情報の候補に含まれる電波情報のうち、所定の条件を満足するもの」を、不審者電波情報として取り扱う。
 本実施形態に係る解析部107では、新たに電波情報が取得されると、日常電波情報DBを参照しながら、新たに取得された電波が日常的に検出される電波であるか否かを判断する(判断1)。新たに取得された電波が日常的に検出される電波である場合には、解析部107及び統括制御部109は、新たな電波情報の取得を待ち受ける。
 一方、新たに取得された電波が日常的に検出される電波ではない場合、解析部107は、不審者電波情報DBを参照して、新たに取得された電波が不審者電波情報DBに登録されているか否かを判断する(判断2)。着目している電波が、不審者電波情報DBに登録されている場合には、不審者がユーザ(情報処理装置10の所持者)の近傍に存在していると判断できる(処理1)。そこで、解析部107は、新たに取得された電波が不審者電波情報DBに登録されている旨を統括制御部109に出力する。統括制御部109は、かかる情報を受けて、不審者が近傍に存在している旨をユーザに警告する。
 この際、解析部107は、上記処理1を実施するに際して、不審者電波情報DBの登録内容(例えば、タイムスタンプ、位置情報、検出回数)を更新する。また、新たに検出された不審者電波情報の検出回数や検出時間等が所定の条件を満足する場合、又は、ユーザによって該当する不審者の危険度レベルが指定された場合等には、解析部107は、不審者電波情報DBの危険度レベルを更新する。
 ここで、不審者の危険度レベルの更新方法については、特に限定されるものではなく、任意の方法を採用すればよい。例えば、解析部107は、検出回数が増加する毎に危険度レベルを1つずつ増加させていっても良いし、所定の回数閾値を超える毎に危険度レベルを1つ増加させても良い。また、電波がいつ、どこで検出されたかに応じて重み付け係数を変更して、1回の検出回数が複数回の検出に相当するように調整してもよい。
 また、統括制御部109によるユーザへの警告処理の詳細については、特に限定されるものではない。例えば、統括制御部109は、ユーザへの警告処理として、情報処理装置10に実装されたバイブレータを起動させる、所定の警告音を発生させる、予め登録された特定の連絡先(例えば、警察などの公共機関や、両親、親友等)に自動的に電話発振する、等の処理を行えばよい。この際に、統括制御部109は、表示制御部111と連携しながら、図7に示したような表示画面を、情報処理装置10のディスプレイ等に表示させてもよい。
 更に、統括制御部109は、不審者電波情報DBに記録されている不審者の危険度レベルに応じて、ユーザに対する警告のタイミングや警告方法を調整してもよい。すなわち、統括制御部109は、危険度レベルが低い不審者については、電波が検出された位置からある程度離れた場所で、バイブレータによる警告を行う一方で、危険度レベルが高い不審者については、電波が検出された時点で、音量が大きく設定された警告音を発生させる、等のように、ユーザに対する警告のタイミングや警告方法を調整してもよい。
 一方、新たに取得された電波が不審者電波情報DBに登録されていない場合、解析部107は、不審者電波情報候補DBを参照して、新たに取得された電波が不審者電波情報候補DBに登録されているか否かを判断する(判断3)。着目している電波が、不審者電波情報候補DBに登録されていない場合には、新たに取得された電波は、毎回同じ場所で検出される電波を除いて、不審者電波情報の候補として、不審者電波情報候補DBに登録される(処理2)。
 一方、新たに取得された電波が不審者電波情報DBに登録されている場合、解析部107は、不審者電波情報候補DBに登録されている登録内容の更新を行う(処理3)。具体的には、解析部107は、不審者電波情報候補DBの登録内容(例えば、タイムスタンプ、位置情報、検出回数)を更新する。また、解析部107は、検出回数に応じて、不審者電波情報の候補の評価値を更新する。
 不審者電波情報の候補の評価値の更新方法は、特に限定されるものではなく、任意の方法を採用すればよい。例えば、解析部107は、検出回数が増加する毎に評価値を1つずつ増加させていっても良いし、所定の回数閾値を超える毎に評価値を1つ増加させても良い。また、電波がいつ、どこで検出されたかに応じて重み付け係数を変更して、1回の検出回数が複数回の検出に相当するように調整してもよい。
 解析部107は、登録内容の更新が終了すると、更新後の電波情報が所定の条件を満足するか否かを判断する(判断4)。
 このような判断を行うためのパラメータとして、解析部107は、例えば、不審者特定期間、評価値閾値、検出回数閾値等のようなパラメータを有している。ここで、不審者特定期間は、どのくらいの期間を遡って不審者の電波を評価すべきかの期間を表わすパラメータである。また、評価値閾値は、この閾値以上の評価値となった場合に、不審者電波情報の候補を、不審者電波情報として取り扱う旨を指定するパラメータであり、検出回数閾値は、この閾値以上の検出回数となった場合に、不審者電波情報の候補を、不審者電波情報として取り扱う旨を指定するパラメータである。
 このようなパラメータを適宜組み合わせることで、例えば、「不審者特定期間(例えば3日)中に、検出回数閾値(例えば、5回)以上検出された電波を、不審者電波情報とする」等のような、判断条件を設定することができる。このような判断条件以外にも、「不審者特定期間中に、評価値閾値以上となった電波」や、「不審者特定期間中に、通勤・通学時間帯等のような特定の時間帯に検出された電波」等のような判断条件を設定することも可能である。
 所定の条件を満足する不審者電波情報の候補が存在しない場合、解析部107及び統括制御部109は、新たな電波情報の取得を待ち受ける。一方、所定の条件を満足する不審者情報の候補が存在する場合、解析部107は、該当する電波情報を、不審者電波情報候補DBから削除した上で、不審者電波情報DBに登録する(処理4)。
 解析部107及び統括制御部109は、このような処理を随時実施することで、不審な電波情報を登録・更新していくことが可能となる。なお、以上のような処理が実施される場合、単なる通りすがりの人々が所持している機器からの電波は、一度、不審者電波情報の候補として、不審者電波情報候補DBに登録される。しかしながら、不審者特定期間が経過した際に、評価値が閾値未満であれば、該当する電波情報を、不審者電波情報候補DBから削除すればよい。これにより、単なる通りすがりの人々が不審者として登録されてしまう可能性を排除することができる。
 また、解析部107は、構築された日常電波情報DBに基づいて、公知の機械学習技術等を更に利用して更なる学習処理を行うことで、ユーザの日常的な行動範囲を推定することも可能である。このような行動範囲に関する知見を更に利用することで、解析部107は、以下のような不審者の検出処理を行うことも可能である。すなわち、情報処理装置10のユーザにとってのストーカーのような不審者は、ユーザに付きまとっていると考えられる。そこで、解析部107は、ユーザの存在位置が日常的な行動範囲に含まれず、かつ、不審者電波情報候補DBに登録されている電波情報が検出された場合には、ユーザの日常的な行動範囲外にも付きまとっている電波が存在するとして、該当する不審者電波情報の候補を不審者電波情報として取り扱ったり、評価値や危険度のレベルを上げたりしてもよい。
 上記のような電波情報の解析処理が実施された場合に、例えばユーザが、バス、電車、飛行機等といった公共交通機関を利用したとすると、これら公共交通機関において単に乗り合わせただけの人々が、不審者として登録されてしまう可能性がある。そこで、解析部107は、情報処理装置10に設けられた加速度センサ等の各種センサからの出力や、GPS等の衛星測位システムからの出力を利用して、ユーザが用いている移動手段や移動速度を特定し、移動手段や移動速度に応じて、不審者電波情報の登録機能のオン/オフを制御することが好ましい。すなわち、解析部107は、ユーザが所定の閾値以上の速さで移動していると判断される場合には、ユーザは乗り物で移動していると判断し、不審者電波情報の登録機能をオフにすることが好ましい。
 なお、以上のような処理を行うことで、不審者に該当する電波情報が自動的に特定されていくが、本実施形態に係る解析部107は、各種サーバ20等と連携して、構築された不審者電波情報候補DBや不審者電波情報DBの内容を更に解析してもよい。例えば、特定した電波情報を、ネットワーク上に登録されている各種のユーザ情報と公知の方法により対応付けした上で、ネットワーク上に登録されている各種のユーザ評価(例えば、不審者と判断された個人の信頼度)等に応じて更に修正するようにしてもよい。
 また、解析部107は、上記のようにして構築した各種のDBを、ネットワーク上の機器と共有するようにしてもよい。
 ここで、新たに不審者電波情報の候補として取り扱うべき電波が検出された場合に、状況によっては、該当する電波情報をはじめから不審者電波情報として取り扱いたい場合も考えうる。そこで、統括制御部109は、表示制御部111と連携しながら、図8Aに示すような表示画面を情報処理装置10のディスプレイ等に表示させて、本来であれば不審者電波情報の候補として取り扱うべき電波情報を、不審者電波情報の候補というレベルを飛び越して、不審者電波情報として取り扱うかどうかをユーザに確認してもよい。
 また、上記のような処理方法では、ユーザと一緒にいる機会の多い友人等も、不審者の候補又は不審者として取り扱われてしまう可能性がある。そこで、統括制御部109は、表示制御部111と連携しながら、図8B及び図8Cに示すような表示画面を情報処理装置10のディスプレイ等に表示させて、着目している電波情報の取り扱いレベルを、ユーザに確認してもよい。
 本実施形態に係る情報処理装置10のユーザが、不審者電波情報の候補や不審者電波情報の検出状況を、改めて確認する、という状況も考えうる。そこで、統括制御部109は、不審者電波情報候補DBや、不審者電波情報DBに登録されているタイムスタンプや位置情報を利用して、不審者電波情報の候補や不審者電波情報の検出状況を、タイムライン上、又は、地図上に表示してもよい。
 図9Aに模式的に示したように、不審者電波情報の候補や不審者電波情報の検出状況をタイムライン上に表示する場合には、統括制御部109は、各DBに登録されているタイムスタンプを参照した上で、表示制御部111と連携して、該当する電波情報の検出時刻に対応する位置に、検出時刻を示唆するオブジェクトobjを表示させればよい。
 また、図9Bに模式的に示したように、不審者電波情報の候補や不審者電波情報の検出状況を地図上に表示する場合には、統括制御部109は、各DBに登録されている位置情報を参照した上で、表示制御部111と連携して、該当する電波情報の検出位置に、検出位置を示唆するオブジェクトobjを表示させればよい。また、検出状況を地図上に表示する場合には、検出位置を示唆するオブジェクトobjに対して更に時刻情報を添付したり、時刻に応じてオブジェクトの例えば色や形を変更したりするなどして、検出時刻に関する情報を更に付加してもよい。
 以上、図3~図9Bを参照しながら、記憶部105に格納される各種データベースのデータ構造や、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明した。
<情報処理方法の流れについて>
 次に、図10を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れの一例を、簡単に説明する。図10は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
 本実施形態に係る情報処理方法では、新たな電波情報が検出されると、図1に示したような各種端末、又は、電波検出部113から、電波情報、位置情報及びタイムスタンプが送信される。情報処理装置10のデータ記録部103に伝送されたこれらの情報は、記憶部105等に格納された各DBに登録される(ステップS101)。
 その後、情報処理装置10の解析部107は、ユーザの移動状態が適切であるか(すなわち、ユーザが乗り物で移動しているか)を判断する(ステップS103)。ユーザが乗り物で移動していると判断される場合には、情報処理装置10は、ステップS101に戻って処理を継続する。一方、ユーザが乗り物で移動していないと判断される場合には、解析部107は、記憶部105等に格納されている日常電波情報DBを参照して、着目している電波情報が日常電波情報DBに既に登録されているかを判断する(ステップS105)。
 着目している電波情報が、日常電波情報DBに既に登録されている場合には、情報処理装置10は、ステップS101に戻って処理を継続する。一方、着目している電波情報が、日常電波情報DBに登録されていない場合には、解析部107は、記憶部105等に格納されている不審者電波情報DBを参照して、着目している電波情報が不審者電波情報DBに既に登録されているかを判断する(ステップS107)。
 着目している電波情報が、不審者電波情報DBに既に登録されている場合には、解析部107は、着目している電波情報が不審者電波情報DBに登録されている旨を統括制御部109に通知する。通知を受けた統括制御部109は、ステップS127に移動して、不審者警告機能を起動させる。一方、着目している電波情報が不審者電波情報DBに登録されていない場合には、解析部107は、記憶部105等に格納されている不審者電波情報候補DBを参照して、着目している電波情報が不審者電波情報候補DBに既に登録されているかを判断する(ステップS109)。
 着目している電波情報が、不審者電波情報候補DBに登録されていない場合には、解析部107は、着目している電波情報を、不審者電波情報候補DBに登録する(ステップS111)。その後、情報処理装置10は、ステップS101に戻って処理を継続する。一方、着目している電波情報が、不審者電波情報候補DBに登録されている場合には、解析部107は、不審者電波情報候補DBの位置情報を参照し、着目している電波情報が以前と同じ場所で検出されているかを判断する(ステップS113)。
 着目している電波情報が、以前と同じ場所で検出されている場合には、解析部107は、着目している電波情報を、不審者電波情報候補DBから削除するとともに、該当する電波情報を、日常電波情報DBに登録する(ステップS115)。その後、情報処理装置10は、ステップS101に戻って処理を継続する。一方、着目している電波情報が、以前と同じ場所で検出されていない場合には、解析部107は、着目している電波情報の登録内容を更新する(ステップS117)。
 その後、解析部107は、着目している電波情報が、所定の条件を満足するか否かを判断する(ステップS119)。着目している電波情報が所定の条件を満足していない場合には、解析部107は、不審者電波情報候補DBの全体を参照して、所定期間検出履歴のない電波情報が存在するか否かを判断する(ステップS121)。該当する電波情報が存在しない場合には、情報処理装置10は、ステップS101に戻って処理を継続する。一方、該当する電波情報が存在する場合には、解析部107は、該当する電波情報を不審者電波情報候補DBから削除する(ステップS123)。その後、情報処理装置10は、ステップS101に戻って処理を継続する。
 また、ステップS119において、所定の条件を満足する電波情報が存在した場合には、該当する電波情報を不審者電波情報候補DBから削除するとともに、該当する電波情報を、不審者電波情報DBに登録する(ステップS125)。その後、解析部107は、着目している電波情報が不審者電波情報DBに登録されている旨を統括制御部109に通知する。通知を受けた統括制御部109は、ステップS127に移動して、不審者警告機能を起動させる。
 不審者電波情報DBに登録されている電波情報が検出された旨が通知されると、統括制御部109は、不審者警告機能を起動させる(ステップS127)。また、必要に応じて、解析部107は、該当する不審者電波情報DBの登録内容を更新する。
 以上のような流れで処理が行われることで、本実施形態に係る情報処理方法では、不審者の個人情報を利用することなく、電波情報に基づきユーザにとっての不審者を特定することが可能となる。
 以上、本開示の第1の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
(第2の実施形態)
 以下では、図11~図18を参照しながら、本開示の第2の実施形態に係る情報処理装置について、詳細に説明する。
 図11は、本開示の第2の実施形態に係る情報処理装置について説明するための説明図である。図12は、本実施形態に係る情報処理装置で用いられる対応付けデータベースのデータ構造の一例を示した説明図であり、図13は、本実施形態に係る情報処理装置で用いられる電波情報データベースのデータ構造の一例を示した説明図であり、図14は、本実施形態に係る情報処理装置で用いられる撮像画像データベースのデータ構造の一例を示した説明図である。図15は、本実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。図16~図18は、本実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。
<電波情報による監視カメラ撮像画像の抽出処理について>
 本実施形態に係る情報処理装置10は、図2Aに示したような構成を有しており、図1に示したような監視カメラ1A及び電波モニタノード1Bを有する撮像システム1と連携しながら機能する装置である。
 具体的には、本実施形態に係る情報処理装置10は、1又は複数の地点に設置された撮像システム1で生成された撮像画像データ及び電波情報データ(より詳細には、監視カメラ1Aにより生成された撮像画像データと、電波モニタノード1Bにより生成された電波情報データ)を取得する。その上で、本実施形態に係る情報処理装置10は、取得した電波情報データが所定の条件を満足するか否かを判断し、所定の条件を満足する電波情報データと、かかる電波情報データに対応する撮像画像データと、を、記憶部105に随時蓄積していく。
 ここで、図11に模式的に示したように、任意の地点に設けられる監視カメラ1Aは、撮像視野内に位置している様々な被撮像体を撮像する撮像装置の一例であり、被撮像体に関する静止画像や動画像を生成することができる機器である。かかる監視カメラ1Aについては、特に限定されるものではなく、各種の撮像装置を適宜利用することが可能である。また、任意の地点に設けられる電波モニタノード1Bは、電波モニタノード1Bの周囲に存在している各種の電波を観測して、観測した電波に関する電波情報を生成する装置である。この電波モニタノード1Bについても、特に限定されるものではなく、無線LANモニタノードなどの各種の撮像装置を適宜利用することが可能である。
 ここで、ある地点に設けられている監視カメラ1Aと電波モニタノード1Bとは、予め互いに対応付けられており、どの地点に存在している監視カメラ1Aがどの電波モニタノード1Bと対応しているかという情報は、情報処理装置10に予め格納されているものとする。また、ある地点に設けられている監視カメラ1A及び電波モニタノード1Bは、予め時間が互いに同期するように設定されているものとする。
 監視カメラ1Aは、撮像視野内に位置する被撮像体を撮像して、静止画又は動画からなる撮像画像を生成すると、かかる撮像画像の画像データ(撮像画像データ)と、撮像画像データの生成時間を表わすタイムスタンプと、を、情報処理装置10へと随時出力する。また、電波モニタノード1Bは、電波モニタノード1Bの周囲に存在する電波を検出すると、かかる電波を特徴づける各種の特徴量(例えば、電波に固有な識別情報や、電界強度等)を観測して電波情報とし、かかる電波情報のデータ(電波情報データ)と、電波情報の生成時間を表わすタイムスタンプと、を、情報処理装置10へと随時出力する。
 なお、監視カメラ1Aにより生成される撮像画像データには、撮像画像データを生成した監視カメラ1に固有の識別情報(ID情報)が関連付けられていることが好ましく、電波モニタノード1Bにより生成される電波情報データには、電波情報データを生成した電波モニタノード1Bに固有の識別情報(ID情報)が関連付けられていることが好ましい。これにより、これらのデータを取得した情報処理装置10は、取得したデータが、どの地点に設けられた監視カメラ1Aや電波モニタノード1Bから送信されたものであるのかを、容易に把握することが可能となる。
 近年の情報通信技術の発達に伴い、人は、携帯電話、スマートフォン、携帯用ゲーム機、タブレット端末、ウェアラブル端末等といった、無線通信機能を有する電子機器や通信機器を所持していることが多い。また、携帯電話、スマートフォン、携帯用ゲーム機、タブレット端末、ウェアラブル端末、カーナビゲーションシステム等といった機器を内蔵/内包している物体(例えば、上記のような機器を所持している人が乗っている、又は、上記のような機器が搭載されている、車などの各種移動手段)も多く存在する。そのため、電波モニタノード1Bによって観測される電波の中には、上記のような無線通信機能を有する電子機器や通信機器を所持又は内蔵しており、監視カメラ1Aによって撮像された被撮像体からの電波も含まれている可能性が極めて高いと言える。
 本実施形態に係る情報処理装置10は、各地の監視カメラ1Aから送信された撮像画像データを、あわせて送信されたタイムスタンプと関連付けて記録するとともに、各地の電波モニタノード1Bから送信された電波情報データを、あわせて送信されたタイムスタンプと関連付けて記録する。ここで、先述のように、監視カメラ1Aと電波モニタノード1Bとは、予め互いに対応付けられており、かつ、時間が同期するように設定されているため、情報処理装置10は、タイムスタンプを仲介として、監視カメラ1Aにより撮像された撮像画像データと、電波モニタノード1Bにより生成された電波情報と、を互いに対応付けることが可能となる。
 本実施形態に係る情報処理装置10は、以上のような関係にある電波情報データ及び撮像画像データに着目し、既に検出されている電波情報に関する電波情報データベースの検索を行う。その後、かかる電波情報データベースに登録されていない電波情報データが得られた場合に、該当する電波情報データ及び撮像画像データを、記憶部105等に蓄積していく。その上で、情報処理装置10のユーザによって、所定の期間中に新たに登録された撮像画像データの検索操作が入力された場合に、かかる電波情報データベースを利用して、該当する撮像画像データの検索・抽出を行う。
<電波情報の解析処理について>
 以下では、記憶部105に格納される各種データベースのデータ構造と、本実施形態に係る解析部107及び統括制御部109の詳細な機能に着目して、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明する。
[各種データベースのデータ構造について]
 まず、図12~図14を参照しながら、本実施形態に係る記憶部105に格納されている各種データベースのデータ構造の一例について、具体的に説明する。
 図12に、情報処理装置10が撮像画像データを取得する1又は複数の監視カメラ1Aと、かかる監視カメラ1Aに対応付けられた電波モニタノード1Bと、の対応関係を示すデータベースのデータ構造の一例を示した。図12に模式的に示したように、かかる対応関係を示すデータベース(以下、単に「対応付けDB」ともいう。)には、監視カメラ1Aに固有のID情報と、この監視カメラ1Aに対応付けられている電波モニタノード1Bに固有のID情報と、が関係づけられて記録されている。情報処理装置10の各処理部(特に、解析部107及び統括制御部109)は、この対応付けDBを参照することで、どの監視カメラ1Aとどの電波モニタノード1Bとが対応付けられているのかを、容易に把握することができる。
 なお、上記のような対応付けDBに記録されるID情報の種類や、ID情報の記載方法については、特に限定されるものではなく、公知の任意のものを適宜利用することが可能である。
 図13に、電波各電波モニタノード1Bにより生成された電波情報データに関するデータベース(以下、単に、「電波情報DB」ともいう。)のデータ構成の一例を示し、図14に、各監視カメラ1Aにより生成された撮像画像データに関するデータベース(以下、単に、「撮像画像DB」ともいう。)のデータ構成の一例を示した。
 図13に模式的に示したように、電波情報DBには、ある電波モニタノード1Bにより生成された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データの生成された日時を示すタイムスタンプと互いに関連付けられて、記録されている。かかる電波情報DBには、電波情報データを生成した電波モニタノード1BのID情報が更に関連付けられていることが好ましい。また、図14に模式的に示したように、撮像画像DBには、ある監視カメラ1Aにより撮像された撮像画像データ(又は、かかる撮像画像データの保存場所を示す情報)が、かかる撮像画像データの生成された日時を示すタイムスタンプと互いに関連付けられて、記録されている。かかる撮像画像DBについても、撮像画像データを生成した監視カメラ1AのID情報が更に関連付けられていることが好ましい。
 なお、図13に示した電波情報DBや図14に示した撮像画像DBに記録される情報は、図13や図14に示したものに限定されるものではなく、電波情報データや撮像画像データに関する任意の情報を、これらのDBに追記することが可能である。また、図13や図14に示したタイムスタンプの記載方法についても特に限定されるものではなく、任意の記載方法を適宜利用してタイムスタンプを表記すればよい。
 なお、記憶部105に格納される電波情報データは、観測された電波に固有のID情報や電界強度等といった、観測された電波を特徴づける特徴量が記載されていれば、任意のデータ構成を有していてもよい。電波モニタノード1Bによって生成され、記憶部105に格納される電波情報には、観測される個々の電波に固有の情報であるMACアドレス、ESSID、UUIDといった識別情報や、電波の電界強度等が記載されている。また、これらの特徴量以外にも、観測された電波を特徴づける任意の特徴量が記載されていてもよい。また、ある電波モニタノード1Bにおいて、一度に複数の電波が観測された場合には、電波情報には、観測されたそれぞれの電波について上記のような情報が記録されている。
 本実施形態に係る情報処理装置10の解析部107及び統括制御部109は、図12~図14に示したようなデータ構造を有するデータベースを随時参照することで、電波情報データや撮像画像データに関する各種の情報を取得することが可能となる。
[解析部107及び統括制御部109の具体的な機能について]
 続いて、図15~図18を参照しながら、本実施形態に係る情報処理装置10が有する解析部107及び統括制御部109の具体的な機能について、詳細に説明する。
 図15に模式的に示したように、本実施形態に係る情報処理装置10の解析部107は、新たな電波情報が取得されると、データ記録部103と連携しながら、以下のような処理を実施する。すなわち、本実施形態に係る情報処理装置10が、新たな電波情報を取得すると、解析部107は、記憶部105等に格納されている電波情報DBを参照して、着目している電波情報が既に電波情報DBに登録されているかを判断する(判断1)。解析部107は、着目している電波情報が電波情報DBに既に登録されている場合には、着目している電波情報に対応付けられている撮像画像データは記録させずに(処理1)、新たな電波情報の取得を待ち受ける。一方、着目している電波情報が電波情報DBに登録されていない場合には、解析部107は、データ記録部103と連携して、電波情報データ及び撮像画像データの記録を行う。すなわち、解析部107は、データ記録部103に対し、着目している電波情報と、かかる電波情報に対応付けられている撮像画像データと、をそれぞれデータベースに記録させた後(処理2)、新たな電波情報の取得を待ち受ける。この際、データ記録部103は、各データをデータベースに記録する際に、タイムスタンプを対応づけて記録するようにする。
 本実施形態に係る解析部107は、データ記録部103と連携しながら、電波情報に基づく上記のような処理を行うことで、新たに検出された電波情報に対応する撮像画像を蓄積していくことが可能となる。
 なお、着目している電波情報が電波情報DBに登録されているか否かは、着目している電波情報が示す電波パターン(電波情報に含まれる各電波の電界強度の大きさを模式的に示したもの)を利用し、記録されている電波情報が示す電波パターンと、着目している電波情報が示す電波パターンとのパターンマッチングを行うことで、判断することができる。ここで、パターンマッチングに利用される類似度合いについては、特に限定されるものではなく、例えば相互相関係数などのような公知の類似度合いを利用することが可能である。
 以上のようにして蓄積された撮像画像データをユーザに対して提供する際には、以下のような処理が統括制御部109において実施される。
 統括制御部109は、ユーザ操作に応じて、蓄積された撮像画像データの検索・閲覧処理を開始すると、表示制御部111と連携しながら、図16に示したような表示画面を情報処理装置10のディスプレイ等に表示させる。この表示画面には、図16に示したように、撮像画像データの検索期間を指定する検索期間指定欄が設けられている。
 ユーザ操作により図16に示した検索期間指定欄にデータが入力され、その後検索ボタンが選択されると、統括制御部109は、指定された検索期間に基づいて、記憶部105等に記録されている電波情報DBのタイムスタンプ欄を参照する。統括制御部109は、タイムスタンプ欄を検索して、指定された検索期間の範囲内にタイムスタンプが含まれる電波情報が存在すると、該当する電波情報データを抽出していく。
 電波情報DBには、図13に模式的に示したように、それぞれの電波情報に対して、該当する電波情報を検出した電波モニタノード1BのID情報が関連付けられている。統括制御部109は、上記の処理により抽出した電波情報データのそれぞれに対して、対応する電波モニタノード1BのID情報を特定した後、図12に模式的に示した対応付けDBを参照して、着目する電波モニタノード1Bに対応付けられている監視カメラ1AのID情報をそれぞれ特定する。その後、統括制御部109は、図14に示したような撮像画像DBを参照して、抽出した電波情報データに関連付けられているタイムスタンプと同じ時刻のタイムスタンプを有し、かつ、特定した監視カメラ1AのID情報を有している撮像画像データを抽出していく。かかる処理により、統括制御部109は、ユーザにより指定された検索期間内に初めて検出された電波に対応する撮像画像を、複数の撮像画像の中から抽出することが可能となる。
 統括制御部109は、以上のようにして撮像画像データを抽出すると、表示制御部111と連携しながら、図17に示したような表示画面を、情報処理装置10のディスプレイ等に表示させる。この表示画面には、検索条件が提示される検索条件提示領域の他に、撮像画像の検索結果を表示させる検索結果表示領域201と、検索結果のうち、ユーザ操作により指定された撮像画像を表示させる撮像画像表示領域203と、が設けられる。この検索結果表示領域201は、特定結果表示領域の一例である。検索結果表示領域201には、例えば図17に模式的に示したように、抽出された撮像画像のサムネイル画像が一覧表示され、位置指定オブジェクトobjによって選択されたサムネイル画像に対応する撮像画像が、撮像画像表示領域203に詳細表示される。
 なお、図17では、検索結果表示領域201において、抽出された撮像画像が一覧表示される場合を示したが、検索結果は、図18に示したように、タイムライン表示によりユーザに提供されてもよい。この場合には、抽出された各撮像画像に関連付けられているタイムスタンプに応じて、撮像画像のサムネイル画像がタイムライン上に配置される。また、かかるタイムラインには、サムネイル画像とあわせて、電波情報が検出された時間的な位置を表わす表示オブジェクト205が配置される。また、ユーザ操作により撮像画像表示領域201に表示されている撮像画像については、撮像画像のタイムスタンプの時間的な位置を表わす表示オブジェクト207が配置される。
 以上、図11~図18を参照しながら、記憶部105に格納される各種データベースのデータ構造や、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明した。
<情報処理方法の流れについて>
 次に、図19及び図20を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れの一例を、簡単に説明する。図19及び図20は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
 本実施形態に係る情報処理方法では、図19に示したように、情報処理装置10のデータ取得部101が、監視カメラ1Aから撮像画像とタイムスタンプを取得するとともに(ステップS201)、電波モニタノード1Bから電波情報とタイムスタンプを取得する(ステップS203)。
 データ取得部101によって新たな電波情報が取得されると、解析部107は、新たに取得した電波情報に基づき、記憶部105等に格納されている電波情報DBを検索する(ステップS205)。
 新たに取得した電波情報が電波情報DBに登録済みである場合には、情報処理装置10は、取得した電波情報及び撮像画像を各DBに登録せずに、ステップS201及びステップS203に戻って処理を継続する。一方、新たに取得した電波情報が電波情報DBに登録されていない場合には、解析部107は、データ記録部103に対して、新たに取得した電波情報及び撮像画像を、各DBに登録させる(ステップS209)。その後、情報処理装置10は、ステップS201及びステップS203に戻って処理を継続する。
 このような処理が継続されることで、初めて検出された電波に対応する撮像画像が、電波情報とともに情報処理装置10に蓄積されていく。
 ユーザ操作により、蓄積されている撮像画像の検索が指示された場合には、情報処理装置10の統括制御部109は、ユーザ操作に応じて、撮像画像を検索する期間を設定する(ステップS251)。その後、統括制御部109は、先だって説明したような方法により、設定した期間内に含まれるタイムスタンプの電波情報を検索する(ステップS253)。
 その後、統括制御部109は、抽出したタイムスタンプに基づき、先だって説明したような方法により、電波情報に対応する撮像画像を抽出する(ステップS255)。続いて、統括制御部109は、抽出した撮像画像のサムネイル画像を生成し(ステップS257)、表示制御部111と連携しながら、生成したサムネイル画像を利用して、検索結果を表示画面に表示させる(ステップS259)。
 このような処理が実施されることで、情報処理装置10のユーザは、ある特定の期間に初めて検出された電波に対応する撮像画像を、複数の撮像画像の中から容易に抽出することが可能となる。
 以上、本開示の第2の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
(第3の実施形態)
 以下では、図21~図26を参照しながら、本開示の第3の実施形態に係る情報処理装置について、詳細に説明する。
 図21は、本実施形態に係る情報処理装置について説明するための説明図である。図22は、本実施形態に係る情報処理装置が制御する住宅管理システムについて説明するための説明図である。図23は、本実施形態に係る情報処理装置で用いられる家庭内端末データベースのデータ構造の一例を示した説明図であり、図24は、本実施形態に係る情報処理装置で用いられる家庭内端末候補データベースのデータ構造の一例を示した説明図である。図25及び図26は、本実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。
<電波情報による住居管理処理について>
 本実施形態に係る情報処理装置10は、図2A又は図2Bに示したような構成を有しており、ユーザの住居内に設置される。本実施形態に係る情報処理装置10は、図21に模式的に示したように、ユーザの住居に設置された電子機器又は通信機器や、ユーザが所持する電子機器又は通信機器から発信される電波を検出し、かかる電波の検出状況に応じて、ユーザの住居に設置されている住居管理システム30の稼働状態を制御する。
 ユーザの住居に存在しうる電子機器や通信機器は、テレビ6Aやデジタルレコーダ6Bのように、住居に据え置かれる機器と、携帯電話や、スマートフォン/タブレット端末7Aや、ノートパソコン7B等のように、ユーザが所持することで住居外に持ち出される機器と、に大別できる。本実施形態に係る情報処理装置10は、このようなユーザの住居に存在しうる電子機器又は通信機器(以下、「家庭内端末」ともいう。)から発信される家庭内電波に着目する。このような家庭内電波は、ユーザの住居内で日常的に存在しうる電波である。
 本実施形態に係る情報処理装置10は、図21に示したような家庭内端末からの家庭内電波に関する電波情報を、タイムスタンプと対応付けた上でデータベース化しておく。その上で、本実施形態に係る情報処理装置10は、ユーザが所持することで住居外に持ち出される家庭内端末からの電波に着目する。住居内に存在するユーザが外出する場合、近年では、携帯電話やスマートフォンやタブレット端末等といった特定の電子機器又は通信機器を携帯することが多い。そこで、本実施形態に係る情報処理装置10では、ユーザが所持することで住居外に持ち出される家庭内端末のうち、所定の端末(例えば、携帯電話やスマートフォンやタブレット端末等)の電波の検出状況を常に監視しておき、これら特定の端末の電波が所定期間検出されなかった場合に、住居は留守状態にあると判断する。本実施形態に係る情報処理装置10は、ユーザが留守であるか否かを電波情報に基づいて自動的に判断した後、ユーザの在宅状況に応じて、住居管理システム30の稼働状態を制御する。
 このような住居管理システム30としては、例えば図22に示したように、住居内への侵入者を監視する各種のセキュリティシステム31や、住居内の電気エネルギー等の供給/利用を管理する、スマートグリッド等のエネルギー管理システム33などを挙げることができる。これらのシステム以外にも、ユーザの住居を何らかの観点から管理するシステムであれば、本実施形態に係る情報処理装置10が稼働状態を管理する住居管理システムとなりうる。本実施形態において、これらの住居管理システム30は、インターネットやLAN等の各種のネットワークを介して、情報処理装置10との間で相互に通信を行うことが可能となっている。
 本実施形態に係る情報処理装置10は、特定の家庭内端末からの電波の検出状況に基づき、ユーザが不在であると判断すると、例えば、住居管理システム30のうちセキュリティシステム31をよりセキュリティの高い稼働状態である留守モードへと移行させることができる。また、本実施形態に係る情報処理装置10は、ユーザが不在であると判断すると、例えば、住居管理システム30のうちエネルギー管理システム33に対して、特定の電気機器の電源をオフにするための制御信号を出力することができる。
 また、本実施形態に係る情報処理装置10は、ユーザによって持ち運ばれる特定の家庭内端末の電波の検出状況を学習することで、ユーザが住居を不在にする時間帯や、ユーザが在宅している時間帯を推定することが可能となる。本実施形態に係る情報処理装置10は、このようなユーザの生活パターンの学習結果に基づいて、住居管理システム30の所定の機能を稼働させることが可能である。例えば、本実施形態に係る情報処理装置10は、ユーザの生活パターンの学習結果に基づいて、住居管理システム30のうちエネルギー管理システム33を制御して、ユーザが帰宅すると思われる時間にあわせて照明機器や空調機器をオンにする、等といった制御を行うことが可能となる。
 このように、本実施形態に係る情報処理装置10は、特定の機器からの電波情報に基づいて、ユーザの住居の管理を行うことが可能となる。
<電波情報の解析処理について>
 以下では、記憶部105に格納される各種データベースのデータ構造と、本実施形態に係る解析部107及び統括制御部109の詳細な機能に着目して、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明する。
[各種データベースのデータ構造について]
 まず、図23及び図24を参照しながら、本実施形態に係る記憶部105に格納されている各種データベースのデータ構造の一例について、具体的に説明する。
 図23に、ユーザの住居内に存在する家庭内端末に関するDB(以下、単に、「家庭内端末DB」ともいう。)のデータ構造の一例を示した。図23に模式的に示したように、家庭内端末DBには、ある家庭内端末から発信された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報を発信した家庭内端末に固有の識別情報(ID情報)と関連付けられて、記録されている。また、かかる家庭内端末DBには、記録されている各電波情報について、初めて登録されたときを示すタイムスタンプや、該当する電波情報が前回検出されたときを示すタイムスタンプや、家庭内端末の稼働状況(稼働しているか否か)等が対応付けられている。
 ここで、登録されている電波情報データは、観測された電波に固有のID情報や電界強度等といった、観測された電波を特徴づける特徴量が記載されていれば、任意のデータ構成を有していてもよい。かかる電波情報には、例えば、観測される個々の電波に固有の情報であるMACアドレスのような識別情報や、電波の電界強度等が記載されている。また、これらの特徴量以外にも、観測された電波を特徴づける任意の特徴量が記載されていてもよい。かかる電波情報データのデータ構成については、特に限定されるものではなく、任意のデータ構成を有していても良い。
 上記のような家庭内端末DBに記録されるID情報の種類や、ID情報の記載方法については、特に限定されるものではなく、公知の任意のものを適宜利用することが可能である。また、タイムスタンプの記載方法についても特に限定されるものではなく、任意の記載方法を適宜利用してタイムスタンプを表記すればよい。
 なお、上記のような各種の情報に加えて、家庭内端末から発信された電波に関連する各種の情報が、かかる家庭内端末DBに記録されていてもよい。
 また、住居内には、電子機器等を所持した来客がある、又は、新たに電子機器等が購入される、といったことにより、家庭内端末DBに登録のない端末が持ち込まれることが生じうる。このような家庭内端末DBに登録されていない電波情報を発信している電子機器等は、新たな家庭内端末の候補として捉えることができる。そこで、本実施形態に係る情報処理装置10では、図24に模式的に示したように、家庭内端末の候補として登録されている機器からの電波情報に関するデータベース(以下、単に、「家庭内端末候補DB」ともいう。)を構築していく。
 記憶部105等に格納されている家庭内端末候補DBのデータ構造の一例を、図24に示した。図24に模式的に示したように、家庭内端末候補DBには、住居内に存在する、家庭内端末として登録されていない電子機器や通信機器等から発信された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報を発信した機器に固有の識別情報(ID情報)と関連付けられて、記録されている。また、各電波情報には、該当する電波情報が初めて検出されたときを示すタイムスタンプや、前回検出されたときを示すタイムスタンプ等が対応付けられており、検出された回数を表わす情報等も対応付けられている。なお、上記のような各種の情報に加えて、住居内に存在する、家庭内端末として登録されていない電子機器や通信機器等から発信された電波に関連する各種の情報が、かかる家庭内端末候補DBに記録されていてもよい。
 本実施形態に係る情報処理装置10の解析部107及び統括制御部109は、図23及び図24に示したようなデータ構造を有するデータベースを随時参照することで、家庭内端末からの電波に関する各種の情報を容易に把握することが可能となる。
[解析部107及び統括制御部109の具体的な機能について]
 続いて、図25及び図26を参照しながら、本実施形態に係る情報処理装置10が有する解析部107及び統括制御部109の具体的な機能について、詳細に説明する。
 本実施形態に係る解析部107及び統括制御部109では、新たに取得される電波情報を、(1)家庭内端末の候補からの電波情報、(2)家庭内端末からの電波情報、という2つの段階に区分して取り扱う。すなわち、本実施形態に係る解析部107及び統括制御部109では、既知の家庭内端末の電波情報ではない電波情報を、家庭内端末の候補からの電波情報として取り扱い、家庭内端末の候補に含まれる電波情報のうち、所定の条件を満足したものを、新たに家庭内端末からの電波情報として取り扱う。
 図25に模式的に示したように、本実施形態に係る情報処理装置10の解析部107は、新たに電波情報が取得されると、記憶部105等に格納されている家庭内端末DBを参照して、着目している電波情報が、家庭内端末DBに既に登録済みであるかを判断する(判断1)。着目している電波情報が既に家庭内端末DBに登録されている場合には、解析部107は、家庭内端末DBの該当する電波情報の登録内容(例えば、タイムスタンプ等)を更新した上で、新たな電波情報の取得を待ち受ける。
 一方、着目している電波情報が家庭内端末DBに登録されていない場合には、解析部107は、記憶部105等に格納されている家庭内端末候補DBを参照して、着目している電波情報が家庭内端末候補DBに登録済みであるかを判断する(判断2)。着目している電波情報が家庭内端末候補DBに登録されていない場合には、解析部107は、データ記録部103と連携しながら、着目している電波情報を、家庭内端末候補DBに登録させる(処理1)。
 一方、着目している電波情報が既に家庭内端末候補DBに登録されている場合には、解析部107は、例えばタイムスタンプや検出回数等の登録内容の更新を行う(処理2)。その後、解析部107は、家庭内端末候補DBに既に登録されていた、着目している電波情報について、所定の条件を満足したか否かを判断する(判断3)。所定の条件を満足していない場合には、解析部107は、新たな電波情報の取得を待ち受ける。
 一方、所定の条件を満足している場合には、解析部107は、表示制御部111等と連携しながら、ユーザに対し、着目している電波情報に対応する端末を新たに家庭内端末として登録するか否かの判断を求める。解析部107は、新たに家庭内端末として登録する旨のユーザ操作が行われた場合には、該当する電波情報を家庭内端末候補DBから削除した上で、家庭内端末DBに登録する(処理3)。一方、新たに家庭内端末として登録しない旨のユーザ操作が行われた場合には、解析部107は、該当する電波情報の登録を家庭内端末候補DBから削除する(処理4)。その後、解析部107は、新たな電波情報の取得を待ち受ける。
 ここで、上記のような所定の条件については、特に限定されるものではなく、例えば、「所定期間の間に所定回数以上該当する電波が検出される」等のように、適宜設定すればよい。解析部107は、家庭内端末候補DBの登録内容を参照して、登録内容から上記のような条件が満たされているか否かを判断すればよい。
 解析部107により以上のような処理が行われることで、ユーザの住居内に存在する家庭内端末に関するデータベースが自動的に更新されていく。
 このようにして構築される家庭内端末DBを利用して、解析部107及び統括制御部109は、図26に示したような処理を行うことが可能となる。
 まず、解析部107は、家庭内端末DBを利用して、予め定められた特定の家庭内端末の電波が所定時間検出されなかったか否かを判断することで、ユーザの在宅状況を判断することができる(処理11)。前述のように、近年では、携帯電話やスマートフォン等といった通信機器は、ユーザとともに住居外へと持ち出される可能性が極めて高い。そこで、このような通信機器からの電波の検出状況を監視することで、ユーザの在宅状況を判断できる。ユーザとともに住居外へと持ち出される家庭内端末を、監視対象端末として予め設定しておき、全ての監視対象端末からの電波が、所定期間(例えば、10分や20分等のように、ユーザが予め設定可能である。)検出されなかった場合、解析部107は、全てのユーザが在宅しておらず、留守状態であると判断することができる。
 解析部107により住居が留守状態にあると判断されると、統括制御部109は、かかる判断結果に基づき、住居管理システム30の稼働状態を制御することができる(処理12)。具体的には、統括制御部109は、住居管理システム30のうちセキュリティシステム31を留守モードへと移行させたり、エネルギー管理システム33を制御して、特定の電化製品(例えば、電化調理機器や空調機器等)の電源をオフにさせたりすることができる。
 また、解析部107は、構築された家庭内端末DBを利用して、公知の機械学習処理等を行うことで、ユーザの生活パターンを学習することができる(処理13)。これにより、普段ユーザが在宅している時間を推定することが可能となる。
 このような生活パターンの学習結果を利用して、統括制御部109は、住宅管理システム30の稼働状態を制御することができる(処理14)。具体的には、統括制御部109は、学習の結果得られたユーザの生活パターンに基づき、ユーザが帰宅すると思われる時間帯にエネルギー管理システム33を制御して、特定の電化製品(例えば、照明機器や空調機器等)の電源をオンにする、といった制御を行うことが可能となる。
 以上、図21~図26を参照しながら、記憶部105に格納される各種データベースのデータ構造や、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明した。
<情報処理方法の流れについて>
 次に、図27を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れの一例を、簡単に説明する。図27は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
 本実施形態に係る情報処理方法では、データ取得部101により、随時電波情報及びタイムスタンプが取得される(ステップS301)。
 データ取得部101によって新たな電波情報が取得されると、解析部107は、新たに取得された電波情報が、記憶部105等に格納されている家庭内端末DBに既に登録されているかを判断する(ステップS303)。新たに取得された電波情報が家庭内端末DBに登録されている場合には、解析部107及び統括制御部109は、家庭内端末DBに基づいて、住居管理システム30の稼働状態を制御する(ステップS305)。
 一方、新たに取得された電波情報が家庭内端末DBに登録されていない場合、解析部107は、記憶部105等に格納されている家庭内端末候補DBを参照して、新たに取得された電波情報が家庭内端末候補DBに既に登録されているかを判断する(ステップS307)。新たに取得された電波情報が家庭内端末候補DBに登録されていない場合には、解析部107は、データ記録部103に、新たに取得された電波情報を家庭内端末候補DBに記録させる(ステップS309)。
 一方、新たに取得された電波情報が家庭内端末候補DBに登録されていた場合には、解析部107は、家庭内端末候補DBの登録内容を更新する(ステップS311)。
 その後、解析部107は、家庭内端末候補DBに登録されている各電波情報について、所定の条件を満足しているか否かを判断する(ステップS313)。所定の条件を満足している電波情報が存在している場合、解析部107は、表示制御部111等と連携しながら、家庭内端末として登録するか否かをユーザに問い合わせ、行われるユーザ操作の判断を行う(ステップS315)。家庭内端末として登録する旨のユーザ操作が行われた場合、解析部107は、該当する電波情報を家庭内端末候補DBから削除した上で、家庭内端末DBに登録する(ステップS317)。また、家庭内端末として登録しない旨のユーザ操作が行われた場合には、解析部107は、該当する電波情報を家庭内端末候補DBから削除する(ステップS319)。
 このような処理が実施されることで、情報処理装置10は、電波情報に基づいて、住居を管理するシステムの稼働状態を自動的に制御することが可能となる。
 以上、本開示の第3の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
(ハードウェア構成について)
 次に、図28を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図28は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
 情報処理装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置10は、更に、ホストバス907、ブリッジ909、外部バス911、インターフェース913、センサ914、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925を備える。
 CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
 ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 センサ914は、各種の電波センサやアンテナ等といった、各種の電波の検出手段である。また、センサ914は、上述のもの以外にも、ユーザの動きを検知するセンサや、現在位置を表す情報を取得するセンサ等の検出手段を有していてもよい。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む3軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む3軸ジャイロセンサ等のモーションセンサや、GPSセンサ等を挙げることができる。更に、センサ914は、上述のもの以外にも、温度計、照度計、湿度計などの様々な測定機器を備えていてもよい。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、この入力装置915を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置10が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
 ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。
 ドライブ921は、記録媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア、Blu-ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
 接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置10は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。
 通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
 以上、本開示の実施形態に係る情報処理装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。ここで、以下の記載における制御部は、先だって説明した解析部及び統括制御部に対応している。
(1)
 所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する制御部を備える、情報処理装置。
(2)
 前記電波は、ユーザが所持する電子機器又は通信機器の周囲で発信される電波であり、
 前記記録された電波情報は、ユーザの日常的な行動範囲から取得される前記電波情報が、前記関連情報として当該電波情報が取得された位置を示した位置情報、又は、当該電波情報が取得されたタイムスタンプに関する情報の少なくとも何れかと対応付けられたものであり、
 前記制御部は、
 前記新たに取得した電波情報が、前記記録された電波情報ではない場合に、不審者が所持している電子機器又は通信機器から発信される前記電波情報である不審者電波情報の候補として記録し、記録されている前記不審者電波情報の候補が所定の条件を満たすように検出された場合に、所定の条件を満たす不審者電波情報の候補を、新たな前記不審者電波情報として記録し、
 前記新たに取得した電波情報が、前記不審者電波情報に対応する電波情報であった場合に、ユーザに対して警告を発する、(1)に記載の情報処理装置。
(3)
 前記制御部は、
 前記不審者電波情報の候補に対応する前記電波情報が検出される毎に、当該不審者電波情報の候補の評価値を増加させ、
 前記不審者電波情報の候補に対応する前記電波情報が、所定期間の間に所定回数以上検出され、かつ、前記不審者電波情報の候補の評価値が所定の閾値以上となった場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、(2)に記載の情報処理装置。
(4)
 前記制御部は、前記不審者電波情報の候補が記録された場合に、ユーザに対して、記録された前記不審者電波情報の候補を新たな前記不審者電波情報として取り扱うかの問い合わせを提示し、新たな前記不審者電波情報として取り扱う旨を示す入力がユーザにより行われた場合に、前記記録した不審者電波情報の候補を、新たな前記不審者電波情報として記録する、(2)又は(3)に記載の情報処理装置。
(5)
 前記制御部は、
 前記新たに取得した電波情報に基づき、ユーザの日常的な行動範囲を学習し、
 前記ユーザの存在位置が前記ユーザの日常的な行動範囲に含まれず、かつ、前記不審者電波情報の候補に対応する前記電波情報が検出された場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、(2)~(4)の何れか1つに記載の情報処理装置。
(6)
 前記制御部は、前記ユーザの存在位置が所定の閾値以上の速さで変化している場合は前記ユーザが乗り物で移動していると判断し、前記不審者電波情報の記録を停止する、(2)~(5)の何れか1つに記載の情報処理装置。
(7)
 前記制御部は、
 前記不審者電波情報の検出状況、又は、ユーザによる前記不審者電波情報の評価結果の少なくとも何れかに応じて、前記不審者電波情報のランク付けを行い、
 前記不審者電波情報のランク付けに応じて、前記警告のタイミングを制御する、(2)~(6)の何れか1つに記載の情報処理装置。
(8)
 前記制御部は、ネットワーク上に登録されている情報を更に利用して、前記不審者電波情報の候補、及び、前記不審者電波情報の解析を行う、(2)~(7)の何れか1つに記載の情報処理装置。
(9)
 前記制御部は、前記不審者電波情報の候補、又は、前記不審者電波情報の少なくとも何れかの検出状況を、当該情報に対応付けられている前記関連情報を利用して、タイムライン上、又は、地図上に表示する、(2)~(8)の何れか1つに記載の情報処理装置。
(10)
 前記電波は、所定箇所に設置された撮像装置、又は、当該撮像装置と予め対応付けられた通信機器から発信された、当該撮像装置又は通信機器が検出した電波であり、
 前記所定箇所に設置された撮像装置により生成された撮像画像に関するデータが、当該撮像画像に関するタイムスタンプと対応付けられて、所定の格納場所に格納されており、
 前記制御部は、
 前記新たに取得した電波情報と、前記記録された電波情報と、を比較して、前記新たに取得した電波情報が既に記録されているかを解析し、前記新たに取得した電波情報が記録されていなかった場合に、前記新たに取得した電波情報を、前記関連情報として当該電波情報のタイムスタンプに関する情報と対応付けて記録し、
 新たに記録した前記電波情報に対応付けられた前記タイムスタンプに関する情報を参照して、前記所定の格納場所に格納された前記撮像画像に関するデータの中から、指定されたタイムスタンプに対応する前記撮像画像に関するデータを特定し、特定した前記撮像画像に関する情報をユーザに提供する、(1)に記載の情報処理装置。
(11)
 前記制御部は、前記撮像画像に関する情報として、当該撮像画像に対応する前記新たに記録した電波情報のタイムスタンプと、前記撮像画像に関するサムネイル画像と、を表示画面に表示させる、(10)に記載の情報処理装置。
(12)
 前記制御部は、
 前記表示画面として、前記撮像画像の特定結果を表示させる特定結果表示領域と、特定された前記撮像画像のうち、ユーザ操作により指定された前記撮像画像を表示させる撮像画像表示領域と、を生成し、
 前記特定結果表示領域に、前記新たに追加された電波情報のタイムスタンプの時間的な位置を表わす表示オブジェクトと、前記新たに追加された電波情報のタイムスタンプに対応する前記撮像画像のサムネイル画像と、前記撮像画像表示領域に表示される前記撮像画像のタイムスタンプの時間的な位置を表わす表示オブジェクトと、を表示させる、(11)に記載の情報処理装置。
(13)
 前記電波は、ユーザの住居に設置された電子機器もしくは通信機器、又は、ユーザが所持する電子機器もしくは通信機器から発信される家庭内電波であり、
 前記記録された電波情報は、前記家庭内電波に関する家庭内電波情報が、前記関連情報として当該家庭内電波情報が取得されたタイムスタンプに関する情報と対応付けられたものであり、
 前記制御部は、
 前記新たに取得した電波情報と前記家庭内電波情報との対応付けを行い、前記新たに取得した電波情報が前記家庭内電波情報であるかを解析し、
 所定の前記家庭内電波情報の全てが所定期間検出されなかった場合に、前記住居を管理するシステムを稼働させる、(1)に記載の情報処理装置。
(14)
 前記制御部は、前記新たに取得した電波情報が前記家庭内電波情報ではなかった場合に、当該新たに取得された電波情報を、追加すべき前記家庭内電波情報の候補として選択し、
 前記家庭内電波情報の候補に対応する前記電波情報が、所定期間内に所定の条件を満足した場合に、前記家庭内電波情報の候補に対応する電波情報を、新たな前記家庭内電波情報として記録する、(13)に記載の情報処理装置。
(15)
 前記制御部は、
 検出された前記家庭内電波情報に基づき、ユーザの生活パターンを機械学習し、
 前記ユーザの生活パターンの学習結果に基づいて、前記住居を管理するシステムの所定機能を稼働させる、(13)又は(14)に記載の情報処理装置。
(16)
 前記住居を管理するシステムは、前記住居のセキュリティシステム、又は、前記住居のエネルギー管理システムの少なくとも何れかである、(13)~(15)の何れか1つに記載の情報処理装置。
(17)
 前記電波は、無線通信に利用される電波である、(1)~(16)の何れか1つに記載の情報処理装置。
(18)
 前記電波情報を取得する電波検出部を更に備える、(1)~(17)の何れか1つに記載の情報処理装置。
(19)
 所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御することを含む、情報処理方法。
(20)
 コンピュータに、
 所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する機能を実現させるためのプログラム。
  10  情報処理装置
 101  データ取得部
 103  データ記録部
 105  記憶部
 107  解析部
 109  統括制御部
 111  表示制御部
 113  電波検出部

Claims (20)

  1.  所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する制御部を備える、情報処理装置。
  2.  前記電波は、ユーザが所持する電子機器又は通信機器の周囲で発信される電波であり、
     前記記録された電波情報は、ユーザの日常的な行動範囲から取得される前記電波情報が、前記関連情報として当該電波情報が取得された位置を示した位置情報、又は、当該電波情報が取得されたタイムスタンプに関する情報の少なくとも何れかと対応付けられたものであり、
     前記制御部は、
     前記新たに取得した電波情報が、前記記録された電波情報ではない場合に、不審者が所持している電子機器又は通信機器から発信される前記電波情報である不審者電波情報の候補として記録し、記録されている前記不審者電波情報の候補が所定の条件を満たすように検出された場合に、所定の条件を満たす不審者電波情報の候補を、新たな前記不審者電波情報として記録し、
     前記新たに取得した電波情報が、前記不審者電波情報に対応する電波情報であった場合に、ユーザに対して警告を発する、請求項1に記載の情報処理装置。
  3.  前記制御部は、
     前記不審者電波情報の候補に対応する前記電波情報が検出される毎に、当該不審者電波情報の候補の評価値を増加させ、
     前記不審者電波情報の候補に対応する前記電波情報が、所定期間の間に所定回数以上検出され、かつ、前記不審者電波情報の候補の評価値が所定の閾値以上となった場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、請求項2に記載の情報処理装置。
  4.  前記制御部は、前記不審者電波情報の候補が記録された場合に、ユーザに対して、記録された前記不審者電波情報の候補を新たな前記不審者電波情報として取り扱うかの問い合わせを提示し、新たな前記不審者電波情報として取り扱う旨を示す入力がユーザにより行われた場合に、前記記録した不審者電波情報の候補を、新たな前記不審者電波情報として記録する、請求項2に記載の情報処理装置。
  5.  前記制御部は、
     前記新たに取得した電波情報に基づき、ユーザの日常的な行動範囲を学習し、
     前記ユーザの存在位置が前記ユーザの日常的な行動範囲に含まれず、かつ、前記不審者電波情報の候補に対応する前記電波情報が検出された場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、請求項2に記載の情報処理装置。
  6.  前記制御部は、前記ユーザの存在位置が所定の閾値以上の速さで変化している場合は前記ユーザが乗り物で移動していると判断し、前記不審者電波情報の記録を停止する、請求項2に記載の情報処理装置。
  7.  前記制御部は、
     前記不審者電波情報の検出状況、又は、ユーザによる前記不審者電波情報の評価結果の少なくとも何れかに応じて、前記不審者電波情報のランク付けを行い、
     前記不審者電波情報のランク付けに応じて、前記警告のタイミングを制御する、請求項2に記載の情報処理装置。
  8.  前記制御部は、ネットワーク上に登録されている情報を更に利用して、前記不審者電波情報の候補、及び、前記不審者電波情報の解析を行う、請求項2に記載の情報処理装置。
  9.  前記制御部は、前記不審者電波情報の候補、又は、前記不審者電波情報の少なくとも何れかの検出状況を、当該情報に対応付けられている前記関連情報を利用して、タイムライン上、又は、地図上に表示する、請求項2に記載の情報処理装置。
  10.  前記電波は、所定箇所に設置された撮像装置、又は、当該撮像装置と予め対応付けられた通信機器から発信された、当該撮像装置又は通信機器が検出した電波であり、
     前記所定箇所に設置された撮像装置により生成された撮像画像に関するデータが、当該撮像画像に関するタイムスタンプと対応付けられて、所定の格納場所に格納されており、
     前記制御部は、
     前記新たに取得した電波情報と、前記記録された電波情報と、を比較して、前記新たに取得した電波情報が既に記録されているかを解析し、前記新たに取得した電波情報が記録されていなかった場合に、前記新たに取得した電波情報を、前記関連情報として当該電波情報のタイムスタンプに関する情報と対応付けて記録し、
     新たに記録した前記電波情報に対応付けられた前記タイムスタンプに関する情報を参照して、前記所定の格納場所に格納された前記撮像画像に関するデータの中から、指定されたタイムスタンプに対応する前記撮像画像に関するデータを特定し、特定した前記撮像画像に関する情報をユーザに提供する、請求項1に記載の情報処理装置。
  11.  前記制御部は、前記撮像画像に関する情報として、当該撮像画像に対応する前記新たに記録した電波情報のタイムスタンプと、前記撮像画像に関するサムネイル画像と、を表示画面に表示させる、請求項10に記載の情報処理装置。
  12.  前記制御部は、
     前記表示画面として、前記撮像画像の特定結果を表示させる特定結果表示領域と、特定された前記撮像画像のうち、ユーザ操作により指定された前記撮像画像を表示させる撮像画像表示領域と、を生成し、
     前記特定結果表示領域に、前記新たに追加された電波情報のタイムスタンプの時間的な位置を表わす表示オブジェクトと、前記新たに追加された電波情報のタイムスタンプに対応する前記撮像画像のサムネイル画像と、前記撮像画像表示領域に表示される前記撮像画像のタイムスタンプの時間的な位置を表わす表示オブジェクトと、を表示させる、請求項11に記載の情報処理装置。
  13.  前記電波は、ユーザの住居に設置された電子機器もしくは通信機器、又は、ユーザが所持する電子機器もしくは通信機器から発信される家庭内電波であり、
     前記記録された電波情報は、前記家庭内電波に関する家庭内電波情報が、前記関連情報として当該家庭内電波情報が取得されたタイムスタンプに関する情報と対応付けられたものであり、
     前記制御部は、
     前記新たに取得した電波情報と前記家庭内電波情報との対応付けを行い、前記新たに取得した電波情報が前記家庭内電波情報であるかを解析し、
     所定の前記家庭内電波情報の全てが所定期間検出されなかった場合に、前記住居を管理するシステムを稼働させる、請求項1に記載の情報処理装置。
  14.  前記制御部は、前記新たに取得した電波情報が前記家庭内電波情報ではなかった場合に、当該新たに取得された電波情報を、追加すべき前記家庭内電波情報の候補として選択し、
     前記家庭内電波情報の候補に対応する前記電波情報が、所定期間内に所定の条件を満足した場合に、前記家庭内電波情報の候補に対応する電波情報を、新たな前記家庭内電波情報として記録する、請求項13に記載の情報処理装置。
  15.  前記制御部は、
     検出された前記家庭内電波情報に基づき、ユーザの生活パターンを機械学習し、
     前記ユーザの生活パターンの学習結果に基づいて、前記住居を管理するシステムの所定機能を稼働させる、請求項13に記載の情報処理装置。
  16.  前記住居を管理するシステムは、前記住居のセキュリティシステム、又は、前記住居のエネルギー管理システムの少なくとも何れかである、請求項13に記載の情報処理装置。
  17.  前記電波は、無線通信に利用される電波である、請求項1に記載の情報処理装置。
  18.  前記電波情報を取得する電波検出部を更に備える、請求項1に記載の情報処理装置。
  19.  所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御することを含む、情報処理方法。
  20.  コンピュータに、
     所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する機能を実現させるためのプログラム。
PCT/JP2016/064744 2015-08-11 2016-05-18 情報処理装置、情報処理方法及びプログラム WO2017026155A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017534116A JP6773037B2 (ja) 2015-08-11 2016-05-18 情報処理装置、情報処理方法及びプログラム
US15/745,931 US10460587B2 (en) 2015-08-11 2016-05-18 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015158705 2015-08-11
JP2015-158705 2015-08-11

Publications (1)

Publication Number Publication Date
WO2017026155A1 true WO2017026155A1 (ja) 2017-02-16

Family

ID=57984141

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064744 WO2017026155A1 (ja) 2015-08-11 2016-05-18 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10460587B2 (ja)
JP (1) JP6773037B2 (ja)
WO (1) WO2017026155A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6326604B1 (ja) * 2017-05-17 2018-05-23 ジョージ・アンド・ショーン合同会社 不正利用検知システム及び不正利用検知プログラム
US20180182231A1 (en) * 2015-08-11 2018-06-28 Sony Corporation Information processing apparatus, information processing method, and program
JP2019200539A (ja) * 2018-05-15 2019-11-21 株式会社エイビット 不審者推定システム
JP2020141395A (ja) * 2019-02-28 2020-09-03 株式会社エステック 無線電波調査システム
WO2021010330A1 (ja) * 2019-07-12 2021-01-21 日本電気株式会社 無線端末検出システム、無線端末検出装置、無線端末検出方法およびプログラムを記憶する記憶媒体
JP2021039778A (ja) * 2020-11-19 2021-03-11 株式会社エイビット 不審者推定システム
JP2022003831A (ja) * 2017-03-06 2022-01-11 キヤノン株式会社 装置、方法及びプログラム
JP7279241B1 (ja) 2022-08-03 2023-05-22 セーフィー株式会社 システムおよびプログラム
JP7302088B1 (ja) 2022-12-28 2023-07-03 セーフィー株式会社 システムおよびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293367A1 (en) * 2017-04-05 2018-10-11 Google Llc Multi-Factor Authentication via Network-Connected Devices
US20220264308A1 (en) * 2019-07-12 2022-08-18 Nec Corporation Wireless terminal detection system, wireless terminal detection method, and storage medium having program stored therein
CN112347151B (zh) * 2019-08-08 2023-03-14 浙江宇视科技有限公司 嫌疑程度确定方法及数据分析设备
JP2022175287A (ja) * 2021-05-13 2022-11-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208021A (ja) * 2002-12-25 2004-07-22 Sharp Corp セキュリティシステム
JP2007148904A (ja) * 2005-11-29 2007-06-14 Toshiba Corp 情報提示方法、情報提示装置及び情報提示プログラム
WO2007105295A1 (ja) * 2006-03-13 2007-09-20 Fujitsu Limited 携帯端末監視装置および携帯端末監視方法
JP2007334868A (ja) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd ロボット、電波検知装置、電波検知方法及び電波検知処理プログラム
JP2008267741A (ja) * 2007-04-24 2008-11-06 Toyota Motor Corp 機器制御システム
JP2009282888A (ja) * 2008-05-26 2009-12-03 Seiko Epson Corp 監視システム、監視システムのサービス提供方法およびそのプログラム
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2012038165A (ja) * 2010-08-09 2012-02-23 Daiwa House Industry Co Ltd 自宅における家族の在・不在通知システム
JP2013015916A (ja) * 2011-06-30 2013-01-24 Dainippon Printing Co Ltd 画像管理装置、画像管理方法、画像管理プログラム及び記録媒体
JP2013210848A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 警備装置
JP2015032133A (ja) * 2013-08-02 2015-02-16 株式会社日立国際電気 物体検索システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224643A (ja) 1999-01-28 2000-08-11 Kyocera Corp 携帯電話端末
US20070276540A1 (en) * 2006-05-16 2007-11-29 Akinobu Okuda Robot, radio detection system, radio detection method and recording medium storing radio detection processing program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208021A (ja) * 2002-12-25 2004-07-22 Sharp Corp セキュリティシステム
JP2007148904A (ja) * 2005-11-29 2007-06-14 Toshiba Corp 情報提示方法、情報提示装置及び情報提示プログラム
WO2007105295A1 (ja) * 2006-03-13 2007-09-20 Fujitsu Limited 携帯端末監視装置および携帯端末監視方法
JP2007334868A (ja) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd ロボット、電波検知装置、電波検知方法及び電波検知処理プログラム
JP2008267741A (ja) * 2007-04-24 2008-11-06 Toyota Motor Corp 機器制御システム
JP2009282888A (ja) * 2008-05-26 2009-12-03 Seiko Epson Corp 監視システム、監視システムのサービス提供方法およびそのプログラム
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2012038165A (ja) * 2010-08-09 2012-02-23 Daiwa House Industry Co Ltd 自宅における家族の在・不在通知システム
JP2013015916A (ja) * 2011-06-30 2013-01-24 Dainippon Printing Co Ltd 画像管理装置、画像管理方法、画像管理プログラム及び記録媒体
JP2013210848A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 警備装置
JP2015032133A (ja) * 2013-08-02 2015-02-16 株式会社日立国際電気 物体検索システム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180182231A1 (en) * 2015-08-11 2018-06-28 Sony Corporation Information processing apparatus, information processing method, and program
US10685555B2 (en) * 2015-08-11 2020-06-16 Sony Corporation Information processing apparatus, information processing method, and program
JP2022003831A (ja) * 2017-03-06 2022-01-11 キヤノン株式会社 装置、方法及びプログラム
JP7282851B2 (ja) 2017-03-06 2023-05-29 キヤノン株式会社 装置、方法及びプログラム
JP2018195056A (ja) * 2017-05-17 2018-12-06 ジョージ・アンド・ショーン合同会社 不正利用検知システム及び不正利用検知プログラム
JP6326604B1 (ja) * 2017-05-17 2018-05-23 ジョージ・アンド・ショーン合同会社 不正利用検知システム及び不正利用検知プログラム
JP2019200539A (ja) * 2018-05-15 2019-11-21 株式会社エイビット 不審者推定システム
JP2020141395A (ja) * 2019-02-28 2020-09-03 株式会社エステック 無線電波調査システム
JP7330059B2 (ja) 2019-02-28 2023-08-21 株式会社エステック 無線電波調査システム
JPWO2021010330A1 (ja) * 2019-07-12 2021-01-21
WO2021010330A1 (ja) * 2019-07-12 2021-01-21 日本電気株式会社 無線端末検出システム、無線端末検出装置、無線端末検出方法およびプログラムを記憶する記憶媒体
JP7276459B2 (ja) 2019-07-12 2023-05-18 日本電気株式会社 無線端末検出システム、無線端末検出装置、無線端末検出方法およびプログラムを記憶する記憶媒体
JP2021039778A (ja) * 2020-11-19 2021-03-11 株式会社エイビット 不審者推定システム
JP7279241B1 (ja) 2022-08-03 2023-05-22 セーフィー株式会社 システムおよびプログラム
JP7302088B1 (ja) 2022-12-28 2023-07-03 セーフィー株式会社 システムおよびプログラム

Also Published As

Publication number Publication date
JPWO2017026155A1 (ja) 2018-05-24
US20180211507A1 (en) 2018-07-26
US10460587B2 (en) 2019-10-29
JP6773037B2 (ja) 2020-10-21

Similar Documents

Publication Publication Date Title
WO2017026155A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11386285B2 (en) Systems and methods of person recognition in video streams
US11256951B2 (en) Systems and methods of person recognition in video streams
CN104077095B (zh) 信息处理设备
CN110710190B (zh) 一种生成用户画像的方法、终端、电子设备以及计算机可读存储介质
CN105704204A (zh) 电子设备和控制群组操作的方法
CN106462634B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
JP2018137575A (ja) 制御装置及び方法
US20230418908A1 (en) Systems and Methods of Person Recognition in Video Streams
EP3410343A1 (en) Systems and methods of person recognition in video streams
WO2023015152A1 (en) Systems and methods for on-device person recognition and provision of intelligent alerts
JP6724919B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6665860B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2018154902A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
WO2017154354A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN106663105B (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16834852

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017534116

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15745931

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16834852

Country of ref document: EP

Kind code of ref document: A1