WO2016024424A1 - 情報処理装置、情報処理方法、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、及び情報処理システム Download PDF

Info

Publication number
WO2016024424A1
WO2016024424A1 PCT/JP2015/063731 JP2015063731W WO2016024424A1 WO 2016024424 A1 WO2016024424 A1 WO 2016024424A1 JP 2015063731 W JP2015063731 W JP 2015063731W WO 2016024424 A1 WO2016024424 A1 WO 2016024424A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing apparatus
feature
wearable terminal
displacement data
Prior art date
Application number
PCT/JP2015/063731
Other languages
English (en)
French (fr)
Inventor
紘一 作本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580041649.0A priority Critical patent/CN106575331B/zh
Priority to KR1020177002143A priority patent/KR102384485B1/ko
Priority to EP15832305.5A priority patent/EP3182319B1/en
Priority to US15/321,849 priority patent/US10565363B2/en
Priority to CA2953558A priority patent/CA2953558A1/en
Priority to JP2016542510A priority patent/JPWO2016024424A1/ja
Publication of WO2016024424A1 publication Critical patent/WO2016024424A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/34User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/40User authentication by quorum, i.e. whereby two or more security principals are required
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08Access security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50Secure pairing of devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/68Gesture-dependent or behaviour-dependent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and an information processing system.
  • the present disclosure proposes an information processing apparatus, an information processing method, and an information processing system that can ensure security and can release restrictions by a simple procedure.
  • a feature amount vector that directly or indirectly indicates a change along a time series of at least one of a position and an orientation of a case of each of a plurality of different devices that are associated in advance is acquired.
  • An information processing apparatus includes an acquisition unit that performs and a control unit that releases a predetermined restriction that has been applied in advance based on the acquired feature vector corresponding to each of the plurality of acquired devices.
  • a feature vector that directly or indirectly indicates a change along a time series of at least one of a position and an orientation of a housing of each of a plurality of different devices associated in advance. And a processor releases a predetermined restriction applied in advance based on a comparison between the feature quantity vectors corresponding to each of the acquired devices. Is done.
  • a plurality of devices including a detection unit that detects a change along a time series of at least one of the position and orientation of the housing, and the detected change along the time series directly Based on a comparison between the acquisition unit for acquiring the feature quantity vector indicated for each of the plurality of devices and the feature quantity vector corresponding to each of the obtained plurality of devices.
  • An information processing system is provided that includes a control unit that releases the restriction.
  • FIG. 3 is an explanatory diagram for describing an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure.
  • 12 is an explanatory diagram for describing an example of a restriction release function according to Comparative Example 1.
  • FIG. 12 is an explanatory diagram for describing an example of a restriction release function according to Comparative Example 2.
  • FIG. It is explanatory drawing for demonstrating an example of the restriction
  • FIG. It is an explanatory view for explaining a restriction release function of the information processing system according to the embodiment. It is the block diagram which showed an example of the function structure of the information processing system which concerns on the embodiment.
  • FIG. 1 It is explanatory drawing for demonstrating an example of the method of shifting at least one along a time series among several different displacement data. It is explanatory drawing for demonstrating an example of the method of shifting at least one along a time series among several different displacement data. It is the flowchart shown about an example of the flow of a series of processes of the information processing system which concerns on the embodiment. It is explanatory drawing for demonstrating the outline
  • FIG. It is explanatory drawing for demonstrating the outline
  • FIG. It is the figure which showed an example of the hardware constitutions of the information processing apparatus which concerns on the embodiment. It is the figure which showed an example of the mother wavelet. It is the figure which showed an example of the mother wavelet. It is explanatory drawing for demonstrating an example of the schematic control which concerns on cancellation
  • FIG. 1 is an explanatory diagram for describing an example of a schematic configuration of the information processing system according to the present embodiment.
  • the information processing system includes an information processing apparatus 10 and a wearable terminal 30.
  • the information processing apparatus 10 may be configured by a so-called portable information processing apparatus such as a smartphone.
  • the wearable terminal 30 is configured to be able to communicate with the information processing apparatus 10 via a network based on a communication standard such as Bluetooth (registered trademark) or Wi-Fi (registered trademark).
  • a communication standard such as Bluetooth (registered trademark) or Wi-Fi (registered trademark).
  • the wearable terminal 30 is configured as a so-called wristwatch type information processing terminal.
  • the configuration of the wearable terminal 30 is not necessarily limited to the wristwatch type information processing terminal.
  • the information processing system according to the present embodiment has a mechanism that allows the information processing apparatus 10 and the wearable terminal 30 connected via a network to cooperate with each other to release a predetermined restriction provided by a so-called lock function. provide. Therefore, in order to make the characteristics of the information processing system according to the present embodiment easier to understand, an example of a mechanism for releasing the restriction by the lock function will be described as a comparative example, and the problems of the information processing system will be organized. .
  • FIG. 2 is an explanatory diagram for explaining an example of the restriction releasing function according to the first comparative example.
  • the information processing apparatus 10 when the information processing apparatus 10 according to the comparative example 1 is distinguished from the information processing apparatus 10 according to the present embodiment, the information processing apparatus 10 may be referred to as “information processing apparatus 10a”.
  • the information processing apparatus 10a displays the slider v11 for unlocking on the display unit 153 whose display surface is configured as a touch panel, and releases the restriction based on a user operation on the slider v11. Specifically, when the information processing apparatus 10a detects that the slider v11 is slid in a predetermined direction by a swipe operation or the like, the information processing apparatus 10a releases the predetermined restriction imposed by the lock function.
  • the restriction release function according to Comparative Example 1 shown in FIG. 2 the user can release the restriction based on a relatively simple operation such as a swipe operation.
  • a relatively simple operation such as a swipe operation.
  • the restriction release function according to Comparative Example 1 since the authentication process is not performed when the restriction is released, anyone can release the restriction, and security is not ensured.
  • FIG. 3 shows an example in which security is ensured through an authentication process when the restriction by the lock function is released.
  • the example shown in FIG. 3 will be described as Comparative Example 2 hereinafter. That is, FIG. 3 is an explanatory diagram for explaining an example of the restriction releasing function according to the comparative example 2.
  • the information processing apparatus 10 according to the comparative example 2 may be referred to as “information processing apparatus 10b” when distinguished from the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 b compares the operation pattern input by the user with the operation pattern registered in advance, and the input operation pattern matches the operation pattern registered in advance.
  • the restriction is released according to whether or not.
  • the information processing apparatus 10b displays an operation pattern input screen v13 on which a plurality of points are presented on the display unit 153 having a display surface configured as a touch panel.
  • the information processing apparatus 10b compares the operation pattern input so that any plurality of points in the input screen v13 are connected based on the user operation with the operation pattern registered in advance, and the comparison result matches. If you want to remove the restriction.
  • Information for authentication may be leaked to others. That is, a malicious other person removes the restriction of the information processing apparatus 10b by stealing the information (for example, operation pattern) for authentication input by the user of the information processing apparatus 10b on the input screen v13. In some cases, it may be possible to illegally obtain information for doing so.
  • Comparative Example 3 an example of a restriction release function using the user's biological information will be described.
  • the information processing apparatus 10 according to the comparative example 3 may be referred to as “information processing apparatus 10c” when distinguished from the information processing apparatus 10 according to the present embodiment.
  • the restriction release function As an example of the restriction release function according to Comparative Example 3, there is a function using face authentication technology.
  • the information processing apparatus 10c captures the user's face image by the image capturing unit, and extracts and extracts characteristic portions such as eyes, nose, cheek bones, and chin shapes from the face image.
  • the feature is compared with the feature of the face image registered in advance, and the restriction is released when the comparison result matches.
  • Using the face authentication technology in this way eliminates the need for the user to input authentication information on the input screen. Therefore, when the face authentication technology is used, it is possible to prevent leakage of information (for example, authentication information) for releasing the restriction by shoulder hacking.
  • information for example, authentication information
  • face authentication uses the user's face image captured by the image capturing unit for authentication, the accuracy of authentication may be reduced depending on the face image capturing environment such as ambient brightness. . Further, there are cases where a malicious user can impersonate a user to be authenticated by illegally using a still image or a moving image of the user to be authenticated.
  • the information processing apparatus 10c extracts a characteristic portion from the fingerprint of the user detected by the dedicated device, compares the extracted feature with the feature of the fingerprint registered in advance, and compares the extracted feature. If the results match, remove the restriction.
  • fingerprint authentication technology in this way eliminates the need for the user to input authentication information on the input screen. Therefore, when fingerprint authentication technology is used, it is possible to prevent leakage of human information due to shoulder hacking.
  • the accuracy of authentication may be reduced depending on the state of the finger used for authentication, such as a wet finger or a dry finger.
  • the finger used for authentication such as a wet finger or a dry finger.
  • the user is wearing gloves or the like, it is difficult to input a fingerprint through the glove, so the user performs authentication by removing items worn on the hand such as gloves during authentication. It is necessary and inconvenient.
  • fingerprint authentication it is necessary to provide a dedicated device for detecting a fingerprint in the information processing apparatus 10c.
  • FIG. 4 is an explanatory diagram for explaining an example of the restriction release function according to the comparative example 4.
  • the information processing apparatus 10 according to the comparative example 4 may be referred to as “information processing apparatus 10d” when distinguished from the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10d includes a token 80 serving as an authentication medium for releasing the restriction and a wireless network n1 based on a communication standard such as Bluetooth (registered trademark). Via the network. Also, FIG. 4 shows that the information processing apparatus 10d is in the communication area of the network n1 that can communicate with the external apparatus (for example, the token 80) (hereinafter, may be described as “the communication area of the information processing apparatus 10d”). Is schematically shown. That is, when the token 80 is located within the communication range of the information processing apparatus 10d, information can be transmitted to and received from the information processing apparatus 10d via the network n1.
  • a token 80 serving as an authentication medium for releasing the restriction
  • a wireless network n1 based on a communication standard such as Bluetooth (registered trademark).
  • FIG. 4 shows that the information processing apparatus 10d is in the communication area of the network n1 that can communicate with the external apparatus (for example, the token 80) (hereinafter, may be described as “the communication area of the information processing
  • the information processing apparatus 10d according to the comparative example 4 releases the restriction by performing a predetermined communication sequence with the token 80 when the token 80 enters the communication range of the information processing apparatus 10d. Execute authentication process for.
  • the information processing apparatus 10d requests the token 80 to notify the authentication information when the token 80 enters the communication range of the information processing apparatus 10d.
  • the token 80 notifies the information processing apparatus 10d of the authentication information stored in advance in its storage unit. In this way, the information processing apparatus 10d acquires the authentication information stored in the storage unit of the token 80 from the token 80 located in its communication range.
  • the information processing apparatus 10d compares the authentication information acquired from the token 80 with previously registered authentication information, and releases the restriction when the comparison results match.
  • the information processing apparatus 10d detects the removal of the token 80 from this communication area and waits for a connection request from the disconnected token 80. At this time, if the information processing apparatus 10d does not receive a connection request from the token 80 within a predetermined time, the restriction is lifted as the token 80 enters the communication area of the information processing apparatus 10d. The use of the function may be restricted again.
  • the entry and withdrawal of the token 80 from the communication area of the information processing apparatus 10d can be detected by confirming whether or not the information processing apparatus 10d and the token 80 have a response from the other. .
  • the user can release the restriction without complicated operation by carrying the token 80 in which his / her authentication information is recorded and entering the communication area of the information processing apparatus 10d. It becomes. Similarly, by carrying the token 80 and leaving the communication area of the information processing apparatus 10d, the user can restrict the use of a predetermined function again without complicated operations.
  • the restriction release function according to Comparative Example 4 described with reference to FIG. 4 is automatically released regardless of the user's intention when the token 80 enters the communication range of the information processing apparatus 10d. Is done. Therefore, when the restriction release function according to Comparative Example 4 is used, the restriction may be released at a timing not intended by the user, and the area within the communication area of the information processing apparatus 10d is not sufficiently restricted. However, it does not always work effectively to ensure security.
  • some wireless communication standards can measure the distance between devices based on the radio field strength of a signal at the time of communication. Therefore, by using this function, the information processing device 10d in which the restriction release function operates. There is also a method for limiting the range (that is, the distance from the information processing apparatus 10d) based on the base point.
  • the accuracy of distance measurement between devices based on the signal strength of the signal is not necessarily high, and the accuracy may be further reduced if there is a shield or the like. Therefore, depending on the usage environment, the range in which the restriction release function operates becomes unstable. In an extreme example, when the restriction is released at a timing not intended by the user, or the token 80 approaches the information processing apparatus 10d. May not be detected, and the restriction release function may not operate.
  • FIG. 5 is an explanatory diagram for explaining the restriction release function of the information processing system according to the present embodiment.
  • the information processing apparatus 10 and the wearable terminal 30 are shaken to perform the information processing. Both the device 10 and the wearable terminal 30 are vibrated.
  • the user wears the wristwatch-type wearable terminal 30 on his / her arm and holds the information processing apparatus 10 with the hand on the side on which the wearable terminal 30 is worn. Both wearable terminals 30 are vibrated.
  • the information processing apparatus 10 directly or indirectly indicates a change along the time series of at least one of the position and orientation of the casing based on vibration for each of the information processing apparatus 10 and the wearable terminal 30.
  • a feature vector for example, displacement data
  • the information processing device 10 releases the predetermined restriction imposed by the lock function based on the feature amount vector acquired for each of the information processing device 10 and the wearable terminal 30.
  • the information processing device 10 determines whether each of the information processing device 10 and the wearable terminal 30 is shaken based on each feature amount vector of the information processing device 10 and the wearable terminal 30, and One or both of the determination of the similarity of the feature quantity vectors is executed. Then, the information processing apparatus 10 releases the predetermined restriction imposed by the lock function based on the result of the executed determination.
  • both the information processing apparatus 10 and the wearable terminal 30 are held by the same hand (arm). Therefore, when the user shakes the hand (arm) holding the information processing apparatus 10 and the wearable terminal 30, the time series of the positions and orientations of the respective housings of the information processing apparatus 10 and the wearable terminal 30 are aligned.
  • the change (that is, the feature vector) is similar.
  • each feature vector is different from the case where the information processing apparatus 10 and the wearable terminal 30 are consciously shaken by the user, which is different from the case where each apparatus is not consciously shaken by the user.
  • a waveform having a characteristic for example, a specific frequency spectrum).
  • the wearable terminal 30 has established communication with the information processing apparatus 10 based on prior association such as pairing based on the Bluetooth (registered trademark) standard, for example. From this, the wearable terminal 30 is regarded as a device whose reliability is guaranteed as a device for releasing the restriction applied to the information processing apparatus 10, as in the token 80 shown in the comparative example 4. Can do.
  • the information processing apparatus 10 acquires a feature vector (for example, displacement data) corresponding to the wearable terminal 30 associated in advance, and the acquired feature vector, Based on its own feature vector, the predetermined restriction imposed by the lock function is released. At this time, the information processing apparatus 10 compares its own feature quantity vector with the feature quantity vector of the wearable terminal 30, and when each feature quantity vector is similar, the predetermined restriction imposed by the lock function is applied. You may cancel. As another example, the information processing apparatus 10 is provided with a lock function when both its own feature quantity vector and the feature quantity vector of the wearable terminal 30 have predefined characteristics. Release the predetermined restrictions.
  • a feature vector for example, displacement data
  • the information processing system it is difficult for a malicious user to release the restriction of the information processing apparatus 10 by the information processing apparatus 10 alone. That is, when a malicious user tries to remove the restriction on the information processing apparatus 10, it is necessary to acquire both the information processing apparatus 10 and the wearable terminal 30 together. In addition, a situation in which the owner of the information processing apparatus 10 and the wearable terminal 30 loses both the information processing apparatus 10 and the wearable terminal 30 at the same time is less likely to occur than a situation in which only one of them is lost. Needless to say. Therefore, the information processing system according to the present embodiment can ensure relatively high security from the viewpoint of operation.
  • the user needs to consciously vibrate both the information processing apparatus 10 and the wearable terminal 30 when releasing the restriction. Therefore, as in the example described above as Comparative Example 4 (see FIG. 4), it is possible to prevent a situation in which the restriction is released at a timing not intended by the user.
  • a change along the time series of at least one of the position and orientation of the casing based on vibration can be indicated directly or indirectly, it is acquired as a feature vector.
  • the content of the data to be stored is not particularly limited.
  • the feature vector in the present disclosure may include data indicating a one-dimensional vector (in other words, a scalar value).
  • FIG. 6 is a block diagram illustrating an example of a functional configuration of the information processing system according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 11, a sensor unit 13, a UI 15, and a communication unit 17.
  • the wearable terminal 30 includes a control unit 31, a sensor unit 33, a UI 35, and a communication unit 37.
  • the communication unit 37 is configured to establish communication between the wearable terminal 30 and the information processing apparatus 10 via the network n1, and each component in the wearable terminal 30 transmits and receives data via the network n1. is there.
  • the communication unit 37 is for realizing wireless communication such as communication based on IEEE802.15 standard such as Bluetooth (registered trademark) or communication based on IEEE802.11 standard such as Wi-Fi (registered trademark). As a communication device.
  • the sensor unit 33 detects a change in at least one of the position and orientation of the housing of the wearable terminal 30 and sequentially outputs information indicating the detected change to the control unit 31.
  • the sensor unit 33 can be realized by various sensors capable of detecting changes in the position and orientation of a predetermined housing, such as an acceleration sensor and an angular velocity sensor.
  • the operation of the sensor unit 33 may be temporarily stopped based on the control from the control unit 31, or the stopped operation may be restarted based on the control from the control unit 31.
  • the UI 35 is a user interface for the user to operate the wearable terminal 30.
  • the UI 35 may include an operation unit 351 and a display unit 353, for example.
  • the operation unit 351 includes an input device for a user to operate the wearable terminal 30 such as a button or a touch panel. Further, as a specific example of the display unit 353, an output device for the wearable terminal 30 to present information to the user, such as a display, can be cited.
  • the control unit 31 supplies information indicating the change along the time series of at least one of the position and orientation of the housing of the wearable terminal 30 output from the sensor unit 33 to the information processing apparatus 10 as displacement data. Send via n1.
  • the control unit 31 may transmit displacement data to the information processing apparatus 10 based on an instruction from the information processing apparatus 10 via the network n1.
  • the control unit 31 may transmit displacement data to the information processing apparatus 10 based on an instruction from the user via the UI 35.
  • control unit 31 may control the operation of the sensor unit 33 based on an instruction from the user via the UI 35. As a specific example, the control unit 31 may temporarily stop the operation of the sensor unit 33 based on an instruction from the user via the UI 35. Further, the control unit 31 may resume the operation of the sensor unit 33 based on an instruction from the user via the UI 35.
  • the communication unit 17 establishes communication between the information processing apparatus 10 and the wearable terminal 30 via the network n1, and each component in the information processing apparatus 10 transmits and receives data via the network n1. It is.
  • the communication unit 17 implements wireless communication such as communication based on the IEEE802.15 standard such as Bluetooth (registered trademark) or communication based on the IEEE802.11 standard such as Wi-Fi (registered trademark).
  • the communication unit 17 implements wireless communication such as communication based on the IEEE802.15 standard such as Bluetooth (registered trademark) or communication based on the IEEE802.11 standard such as Wi-Fi (registered trademark).
  • the sensor unit 13 detects a change in at least one of the position and orientation of the housing of the information processing apparatus 10 and sequentially outputs information indicating the detected change to the control unit 11.
  • the sensor unit 13 can be realized by various sensors capable of detecting changes in the position and orientation of a predetermined housing, such as an acceleration sensor and an angular velocity sensor.
  • the operation of the sensor unit 13 may be temporarily stopped based on the control from the control unit 11, or the stopped operation may be restarted based on the control from the control unit 11.
  • the UI 15 is a user interface for the user to operate the information processing apparatus 10.
  • the UI 15 may include an operation unit 151 and a display unit 153.
  • the operation unit 151 includes an input device for a user to operate the wearable terminal 30 such as a button or a touch panel.
  • a specific example of the display unit 153 is an output device for the information processing apparatus 10 to present information to the user, such as a display.
  • the control unit 11 includes a displacement data acquisition unit 111, a data interpolation unit 113, a feature extraction unit 115, and a determination unit 117.
  • the displacement data acquisition unit 111 is at least one of the position and orientation of the casing of the information processing apparatus 10 output from the sensor unit 13 based on an instruction from the user via the UI 15 (that is, the operation unit 151). Information indicating changes in time series is acquired as displacement data.
  • the displacement data acquisition unit 111 acquires displacement data indicating a change along the time series of at least one of the position and orientation of the housing of the wearable terminal 30 from the wearable terminal 30 via the network n1. At this time, the displacement data acquisition unit 111 may instruct the wearable terminal 30 to transmit displacement data. As another example, the displacement data acquisition unit 111 may passively wait for transmission of displacement data from the wearable terminal 30.
  • the displacement data acquisition unit 111 may start acquisition of displacement data with the execution of a predetermined process (or an event that occurs with the execution of the process) as a trigger.
  • a predetermined process or an event that occurs with the execution of the process
  • the displacement data acquisition unit 111 starts acquiring the displacement data using the execution of the process related to the display of the screen as a trigger. May be.
  • the timing at which the displacement data acquisition unit 111 ends the acquisition of the displacement data may be explicitly specified.
  • the displacement data acquisition unit 111 may end the acquisition of the displacement data using the release of the restriction as a trigger.
  • the displacement data acquisition unit 111 uses the end of the process as a trigger. The acquisition of the displacement data may be terminated.
  • the displacement data acquisition unit 111 explicitly defines the timing of ending the acquisition of the displacement data, for example, the processing related to the acquisition of the displacement data and the transmission of the displacement data always operates. Such a situation can be prevented and power consumption can be reduced.
  • the example shown above is merely an example, and if the displacement data acquisition unit 111 can control the timing for starting the acquisition of the displacement data and the timing for ending the acquisition of the displacement data, the configuration for realizing the control, The method is not particularly limited.
  • the displacement data acquisition unit 111 acquires displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30. Then, the displacement data acquisition unit 111 outputs the acquired displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 to the data interpolation unit 113.
  • the data interpolation unit 113 acquires displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 from the displacement data acquisition unit 111. In order to make it possible to compare the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 with each other, the data interpolation unit 113 detects each detection result (hereinafter referred to as “sample data”) included in the displacement data. This is a configuration for interpolating new sample data with respect to the displacement data.
  • the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 is not necessarily acquired in synchronization with each sample data included in the displacement data. (Hereinafter, they may be referred to as “number of samples”) are not necessarily equal. In other words, the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 does not necessarily have the same sampling rate.
  • the sensor unit 13 of the information processing apparatus 10 and the sensor unit 33 of the wearable terminal 30 do not necessarily have the same performance. Therefore, for example, among the sensor units 13 and 33, the number of samples acquired by one sensor unit per second may be smaller than the number of samples acquired by the other sensor unit per second.
  • the various sensors constituting the sensor units 13 and 33 do not always detect changes in the position and orientation of the casing sequentially. For example, when the position and orientation of the casing change, the changes In some cases. For this reason, sample data is not necessarily acquired as the displacement data at a fixed timing. In some cases, ten sample data are acquired in 0.1 seconds, or one sample data is acquired. It may not be done.
  • the data interpolation unit 113 interpolates new sample data for the displacement data based on the sample data included in each displacement data.
  • the data interpolation unit 113 performs, for example, an upsampling process on the displacement data with the lower sampling rate, thereby changing the sampling rate of the displacement data to the displacement data with the higher sampling rate. You may adjust it.
  • the data interpolation unit 113 obtains a waveform (function) from which the sample data is derived based on each sample data included in the displacement data, and is included in the displacement data based on the waveform. New sample data is interpolated between each sample data.
  • the data interpolation unit 113 may model each displacement data, and may interpolate other sample data with respect to the displacement data before being modeled based on the modeled displacement data. .
  • models include linear regression using a polynomial basis or trigonometric polynomial basis, linear regression using a kernel model, and nonlinear regression using a neural network.
  • the data interpolation unit 113 obtains an approximate line based on each sample data included in the displacement data, and creates a new line between the sample data included in the displacement data based on the approximate line. Interpolate sample data.
  • the data interpolation unit 113 models each displacement data based on the above-described method, and acquires the modeled displacement data as new displacement data (that is, displacement data obtained by interpolating sample data). May be. In this case, for example, the data interpolation unit 113 obtains an approximate line based on each sample data included in the displacement data, and acquires data on the approximate line as new sample data. And the data interpolation part 113 should just define new displacement data based on the acquired new sample data.
  • the data interpolation unit 113 performs the process of interpolating the sample data described above on either or both of the acquired displacement data, and outputs the processed displacement data to the feature extraction unit 115. .
  • the feature extraction unit 115 acquires displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 from the data interpolation unit 113.
  • the feature extraction unit 115 is configured to extract a feature value indicating the feature of the sample data included in the displacement data from the obtained displacement data and generate a feature quantity vector based on the extracted feature value.
  • the acquired displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 may be difficult to compare with each other in the same format.
  • a coordinate system in which the sensor unit 13 detects a change in the position and orientation of the information processing apparatus 10 and a coordinate system in which the sensor unit 33 indicates a change in the position and orientation of the wearable terminal 30 are not necessarily limited. It is not always the case.
  • the direction in which the information processing apparatus 10 vibrates and the direction in which the wearable terminal 30 vibrates do not necessarily coincide with each other.
  • the information processing apparatus 10 and the wearable terminal 30 may have different swing widths and vibration directions during vibration. In other words, the amount of change in the position and orientation of the housing and the direction of change may be different from each other. is there.
  • the respective operations do not always match exactly, and the displacement data acquired based on the operations is not necessarily included. It is not always reproducible.
  • the user vibrates a device such as the information processing device 10 or the wearable terminal 30, if the direction in which the device is held is different, the direction in which the device vibrates is also different. Further, depending on the state in which devices such as the information processing device 10 and the wearable terminal 30 are held, the manner of vibration of the devices may change.
  • the wearable terminal 30 in a state where the wearable terminal 30 is not securely held on the user's wrist, for example, when the user vibrates the wearable terminal 30 by shaking his / her arm, the wearable terminal for the wrist according to the vibration
  • the relative position of 30 (for example, the position and orientation in which the wearable terminal 30 is held with respect to the wrist) may also change.
  • the vibration of the wearable terminal 30 is further complicated by adding a random element such as a change in the relative position of the wearable terminal 30 with respect to the wrist to the vibration in the direction in which the arm is swung.
  • the feature extraction unit 115 converts the obtained displacement data into a feature quantity vector based on the feature value by extracting the feature value from each displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30. Also good.
  • the feature extraction unit 115 may convert it into a feature quantity vector in a format that can be easily handled by the determination unit 117 described below (in other words, a format that can improve the recognition accuracy of the determination unit 117).
  • the feature extraction unit 115 normalizes the change amount for each dimension when the variance of the change amount for each dimension (for example, the x direction and the y direction) included in each displacement data is biased.
  • the displacement data may be converted into a feature quantity vector in a format that can be easily handled by the determination unit 117.
  • the feature extraction unit 115 extracts an extreme value as a feature value from each displacement data corresponding to each of the information processing device 10 and the wearable terminal 30, and features the extreme values arranged in time series.
  • a quantity vector may be generated. In this way, by generating the feature quantity vector based on the extracted extreme values, whether or not the timings at which the extreme values in the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30 are detected match each other. Accordingly, it is possible to determine whether or not the displacement data is similar.
  • the feature extraction unit 115 regards each displacement data when the information processing apparatus 10 and the wearable terminal 30 are vibrated as waveform data, uses the spectrum information of the waveform as a feature value, and uses a feature quantity vector. May be generated.
  • the feature extraction unit 115 may extract a spectrum from the waveform indicated by the displacement data by regression using Fourier transform or trigonometric polynomial basis. For example, (Equation 1) shown below is based on the case where the displacement data f (t) along the time series is converted into the function F (w) of the frequency (that is, converted into the spectrum information) based on the Fourier transform. An example of a calculation formula is shown.
  • the feature extraction unit 115 may extract a change amount indicated by each sample data in each displacement data as a feature value.
  • the feature extraction unit 115 extracts a change amount along each axis of a so-called orthogonal coordinate system (for example, a coordinate system defined by the x axis, the y axis, and the z axis) as a feature value. Also good.
  • the feature extraction unit 115 may extract a change amount of each axis with respect to a predetermined reference point as a feature value.
  • the feature extraction unit 115 may extract the amount of change between adjacent sample data along the time series as a feature value.
  • the coordinate system is not necessarily limited to the orthogonal coordinate system.
  • the feature extraction unit 115 may extract the amount of change as a feature value based on a so-called polar coordinate system (for example, a spherical coordinate system defined by the radius r and the deflection angles ⁇ and ⁇ ). Good.
  • the feature extraction unit 115 may extract not only a change in distance in a predetermined coordinate system but also a change in angle as a feature value, for example.
  • the feature extraction unit 115 defines a vector in a predetermined coordinate system based on the sample data included in the displacement data, and an angle formed by the vector and each axis of the coordinate system is used as a feature value. It may be extracted.
  • the feature extraction unit 115 may convert displacement data in order to extract feature values. For example, when the sample data included in the displacement data is defined in a predetermined coordinate system, the feature extraction unit 115 may convert the data into another coordinate system. As a specific example, the feature extraction unit 115 may convert each sample data defined in the orthogonal coordinate system into sample data in the polar coordinate system by performing polar coordinate conversion. Of course, the feature extraction unit 115 may convert each sample data defined in the polar coordinate system into sample data in an orthogonal coordinate system.
  • the feature extraction unit 115 may convert the displacement data into new displacement data based on the principal component of each sample data included in the displacement data based on principal component analysis (PCA).
  • PCA principal component analysis
  • the feature extraction unit 115 converts each sample data indicating the amount of change along each of the x-axis, the y-axis, and the z-axis (that is, three axes) based on an orthogonal coordinate system, for example, as a main component. It can be converted into a feature vector indicating the amount of change along the indicated axis (that is, one axis). Thereby, it is possible to reduce the processing load related to determination of similarity between displacement data by the determination unit 117 described later.
  • the feature extraction unit 115 converts each displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30 to other new displacement data based on canonical correlation analysis (CCA). May be converted to In this case, for example, the feature extraction unit 115 selects a component having a high correlation between the change amounts of the sample data included in the displacement data between the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30. The respective displacement data are derived. Then, the feature extraction unit 115 may convert each displacement data into a feature quantity vector based on a component derived for the displacement data.
  • CCA canonical correlation analysis
  • the feature extraction unit 115 accumulates each displacement data when the information processing apparatus 10 and the wearable terminal 30 are vibrated based on machine learning as teacher data, and calculates a feature value based on the teacher data.
  • a function for extraction may be defined.
  • the feature extraction unit 115 analyzes the vibration tendency of each of the information processing apparatus 10 and the wearable terminal 30 from the displacement data stored in advance as teacher data, and based on the analysis result, the characteristic data To extract. In addition, the feature extraction unit 115 derives a function for extracting the characteristic data from each displacement data based on each displacement data accumulated as teacher data and the extracted characteristic data.
  • the feature extraction unit 115 applies the function derived based on the teacher data to the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 acquired from the data interpolation unit 113, thereby obtaining the feature vector. It may be converted.
  • the feature extraction unit 115 extracts and extracts the feature value indicating the feature of the sample data included in the displacement data from each displacement data corresponding to the acquired information processing apparatus 10 and wearable terminal 30 respectively.
  • a feature quantity vector based on the obtained feature value is generated.
  • the feature extraction unit 115 outputs a feature amount vector corresponding to each of the information processing apparatus 10 and the wearable terminal 30 to the determination unit 117.
  • the determination unit 117 acquires feature quantity vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 from the feature extraction unit 115. Then, the determination unit 117 performs either or both of determination of whether each acquired feature vector has a characteristic characteristic during vibration and determination of the similarity of each feature vector.
  • the determination unit 117 acquires spectrum information as the feature vector of each of the information processing apparatus 10 and the wearable terminal 30, the spectrum information (that is, the vibration frequency) is set to a predetermined frequency band. You may determine whether it is contained.
  • the determination unit 117 may determine whether or not the spectrum information of each of the information processing apparatus 10 and the wearable terminal 30 is included in a band of 2 Hz to 3 Hz.
  • the similarity determination method is not particularly limited as long as the similarity between the feature quantity vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 can be determined.
  • the determination unit 117 may determine the similarity based on a statistical index between feature quantity vectors. Examples of the statistical index include a statistical distance, a correlation coefficient, a mutual information amount, and the like.
  • the determination unit 117 compares elements included in each feature vector for each corresponding element, and accumulates differences between the sample data. To calculate the statistical distance. Then, the determination unit 117 determines the degree of similarity according to whether the calculated statistical distance exceeds a threshold value. In this case, when the statistical distance is equal to or smaller than the threshold value, both displacement data are similar, that is, the vibration of the information processing apparatus 10 and the vibration of the wearable terminal 30 are regarded as similar. Can do. Of course, when the statistical distance exceeds the threshold, it can be considered that the two pieces of displacement data are not similar, that is, the vibration of the information processing apparatus 10 and the vibration of the wearable terminal 30 are not similar.
  • the determination unit 117 compares the elements included in each feature vector with each other corresponding to each other, thereby correlating the feature amounts. A correlation coefficient indicating the relationship is calculated. And the determination part 117 should just determine a similarity according to whether the calculated correlation coefficient exceeds a threshold value.
  • the determination unit 117 when using the mutual information amount, the determination unit 117, based on the value of the element included in each feature amount vector, the simultaneous distribution function and the marginal probability distribution function of the element value of each feature amount vector. Is derived. Then, the determination unit 117 calculates a mutual information amount indicating a measure of mutual dependence between the elements of each feature vector based on the derived simultaneous distribution function and the marginal probability distribution function, and the mutual information amount has a threshold value. What is necessary is just to determine a similarity according to whether it exceeds.
  • the determination unit 117 may determine the similarity between the displacement data and determine whether or not it is vibrating by using an identification function generated by a machine learning algorithm. In this case, the determination unit 117 is used to determine the similarity between the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30 and to determine whether the information processing apparatus 10 and the wearable terminal 30 are shaken. Data to be acquired is previously acquired and accumulated as teacher data.
  • the discriminant function teacher data used for determining the similarity is, for example, displacement data indicating a typical example obtained in advance when the vibration of the information processing apparatus 10 and the vibration of the wearable terminal 30 are similar, Displacement data indicating a typical example in the case of dissimilarity is included.
  • a label indicating that the displacement data is similar may be associated with the set of displacement data series indicating that the vibration of the information processing apparatus 10 and the vibration of the wearable terminal 30 are similar.
  • a label indicating that the displacement data series is not similar is associated with a set of displacement data series indicating that the vibration of the information processing apparatus 10 and the wearable terminal 30 are not similar. It only has to be.
  • the teacher data of the identification function used for determining whether the information processing device 10 is vibrating and whether the wearable terminal 30 is being shaken for example, the information processing device 10 and the wearable terminal 30 that are acquired in advance are vibrated.
  • the correct determination result label (that is, information indicating whether the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 is data that is vibrating) is associated with each other.
  • the teacher data is generated.
  • the displacement data series indicating that the information processing apparatus 10 and the wearable terminal 30 are vibrating may be associated with a label indicating that the displacement data series is vibrating.
  • the displacement data series indicating that the information processing apparatus 10 or the wearable terminal 30 is not vibrating may be associated with a label indicating that the displacement data is not vibrating.
  • the determination unit 117 determines the similarity between the displacement data corresponding to the information processing device 10 and the wearable terminal 30 acquired from the feature extraction unit 115, and whether the information processing device 10 and the wearable terminal 30 are shaken. Such determination may be realized by comparing with pre-stored teacher data.
  • the determination part 117 can determine the similarity between displacement data based on the teacher data accumulated beforehand, the method will not be specifically limited.
  • the determination unit 117 is based on teacher data accumulated in advance by an identification function generated using techniques such as linear SVM (Support Vector Machine), kernel SVM, and logistic regression. You may determine the similarity between displacement data, and may determine whether the information processing apparatus 10 and the wearable terminal 30 are shaken.
  • one feature vector is derived from the connection or difference of feature vectors extracted from the information processing apparatus 10 and the wearable terminal 30, and this is used as the discriminant function. Enter it.
  • one feature quantity vector may be extracted after making two displacement data series into one displacement data series by difference or addition, and this may be applied to the discrimination function.
  • the determination unit 117 is based on a technique called linear SVM, and is a boundary surface for classifying each class indicating whether or not the feature amount vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 are similar to each other.
  • a so-called hyperplane is derived.
  • the determination unit 117 classifies the feature vector corresponding to each of the information processing apparatus 10 and the wearable terminal 30 into one of the classes by determining on which side of the derived boundary surface.
  • the determination unit 117 may determine whether or not the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 is similar according to the classification result of the series of sample data sets.
  • the determination as to whether the feature vectors are similar has been described, but the same applies to the determination as to whether the information processing apparatus 10 and the wearable terminal 30 are shaken.
  • the determination unit 117 uses the boundary surface for classifying the feature amount vectors extracted along the time series from the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30, respectively. Can be derived as a complex curved surface. That is, by using a technique called kernel SVM, the determination unit 117 can extract feature vector extracted along the time series from the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30 with higher accuracy. It is also possible to classify into the aforementioned classes.
  • the determination unit 117 learns the posterior probability of the class to which the feature vector extracted from the displacement data corresponding to each of the information processing device 10 and the wearable terminal 30 in time series is assigned based on a technique called logistic regression. May be. In this case, the determination unit 117 may classify the extracted feature vector into a class having the maximum posterior probability.
  • the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 is not necessarily acquired in synchronization, and the other may be delayed with respect to one. For this reason, the determination unit 117 shifts (for example, delays) one of the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 in time series, and then the similarity between the displacement data. The degree may be determined. In this case, the displacement data that is the determination target of the similarity (that is, each displacement data after shifting one of them in time series) corresponds to the feature vector.
  • Dynamic Time Warping As described above, as a method of shifting at least one of the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 in time series, there is a technique called Dynamic Time Warping. 7 and 8, as an example of a method for shifting at least one of the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 in time series, a method called Dynamic Time Warping The outline of this will be described below. 7 and 8 are explanatory diagrams for explaining an example of a method for shifting at least one of a plurality of different displacement data along a time series, and an outline of a method called Dynamic Time Warping is explained.
  • FIG. 7 and 8 show displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30, that is, changes in at least one of the position and orientation of the casing of each apparatus arranged in time series. An example of data is shown.
  • each sample data shown as the series 1 is an example of each sample data included in any one of the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30, respectively. Is shown.
  • each sample data shown as the series 2 is each sample included in the other displacement data (displacement data on the side different from the series 1) among the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30 respectively. An example of data is shown.
  • the determination unit 117 adds the difference Di between the sample data of the series 1 and the sample data of the series 2 along the time series. Thus, the statistical distance between the series 1 and the series 2 is calculated.
  • the determination unit 117 shifts each sample data corresponding to at least one of the series 1 and the series 2 by a predetermined time width Tj along the time series. Then, the determination unit 117 newly calculates a statistical distance between the series 1 and the series 2 after the shift.
  • the determination unit 117 shifts the statistical data between the series 1 and the series 2 while shifting each sample data corresponding to at least one of the series 1 and the series 2 along the time series. Are calculated sequentially. Then, the determination unit 117 compares the calculated statistical distances with each other, specifies a time width T that minimizes the statistical distance, and indicates the sequence 1 when the time width T is shifted by the time width T. The degree of similarity is determined between the obtained displacement data and the displacement data indicated by the series 2 (that is, the feature vector).
  • the maximum value of the shift amount (for example, the delay amount).
  • the maximum value of the shift amount is set to 10 seconds
  • the determination unit 117 shifts the displacement data along the time series within a range in which the time width is 10 seconds or less. It becomes.
  • processing related to determination of similarity between feature quantity vectors by the determination unit 117 described above is merely an example, and the similarity between feature quantity vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 is quantified.
  • the method is not particularly limited as long as it can be determined automatically.
  • the determination unit 117 determines the degree of similarity between the feature amount vectors corresponding to the acquired information processing apparatus 10 and wearable terminal 30, respectively. If the determination unit 117 determines that the displacement data are similar, the determination unit 117 releases a predetermined restriction imposed by a so-called lock function.
  • the control unit 11 acquires feature quantity vectors (for example, displacement data) corresponding to the information processing apparatus 10 and the wearable terminal 30, respectively. Then, the control unit 11 locks based on one or both of the comparison result of the similarity between the acquired feature vectors and the determination result of whether each of the information processing apparatus 10 and the wearable terminal 30 is shaken. The predetermined restriction imposed by the function is released. Specifically, when the displacement data corresponding to each of the information processing device 10 and the wearable terminal 30 is similar, the control unit 11 releases the predetermined restriction imposed by the lock function. Needless to say, the control unit 11 does not release the restriction when the displacement data corresponding to the information processing apparatus 10 and the wearable terminal 30 are not similar to each other.
  • feature quantity vectors for example, displacement data
  • the control unit 11 acquires again the displacement data corresponding to each of the information processing device 10 and the wearable terminal 30 and the similarity between the displacement data. May be re-determined. Needless to say, the condition for the control unit 11 to acquire the displacement data again and determine the similarity between the displacement data may be appropriately set according to the operation. As a specific example, the control unit 11 acquires the displacement data again and determines the similarity between the displacement data as long as the number of times it is determined that the displacement data is not similar is equal to or less than a threshold value. You may go.
  • the determination as to whether or not the feature vector is similar has been described, but the same applies to the determination as to whether each of the information processing apparatus 10 and the wearable terminal 30 is vibrating.
  • the processing order of the data interpolation unit 113 and the feature extraction unit 115 is not necessarily limited to the example shown above.
  • the data interpolation unit 113 interpolates new sample data with respect to new displacement data generated based on the feature value indicating the feature of the sample data included in the displacement data. Also good.
  • either one or both of the data interpolation unit 113 and the feature extraction unit 115 may not be operated.
  • only new sample data is interpolated by the data interpolation unit 113 with respect to the acquired displacement data, and feature value extraction by the feature extraction unit 115 and new displacement data based on the feature value are extracted. The generation may not be performed.
  • only the feature value extraction by the feature extraction unit 115 and the generation of new displacement data based on the feature value are performed, and a new sample for the displacement data by the data interpolation unit 113 is obtained.
  • Data interpolation is not necessary.
  • the above-described spectrum extraction by regression using the triangular polynomial basis corresponds to this example.
  • the displacement data can correspond to an example of a feature vector.
  • the information processing apparatus 10 executes various types of processing for releasing the restriction by the lock function (that is, processing corresponding to each configuration of the control unit 11)
  • the subject of the processing is not necessarily limited to the information processing apparatus 10.
  • the wearable terminal 30 may execute various processes for releasing the restriction by the lock function. In this case, for example, a configuration corresponding to the control unit 11 of the information processing apparatus 10 may be provided in the wearable terminal 30.
  • the wearable terminal 30 may release the restriction applied to the information processing apparatus 10 side based on the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30.
  • the information processing apparatus 10 may release the restriction applied to the wearable terminal 30 based on the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30.
  • the information processing apparatus 10 may execute various processes for releasing the restriction by the lock function.
  • the wearable terminal 30 may execute various processes for releasing the restriction by the lock function.
  • control unit 11 of the information processing apparatus 10 may notify the wearable terminal 30 of this when the restriction by the lock function is released.
  • the wearable terminal 30 may receive a notification from the control unit 11 and notify the user that the restriction applied to the information processing apparatus 10 has been released by the lock function.
  • the method in which the wearable terminal 30 notifies information based on the notification from the control unit 11 is not particularly limited.
  • the wearable terminal 30 may notify the user of information by vibrating an actuator provided in the wearable terminal 30.
  • the wearable terminal 30 may notify the information by causing an LED provided in the wearable terminal 30 to emit light in a predetermined mode (for example, a light emission pattern or a light emission color).
  • the wearable terminal 30 may notify information via the UI 35 (specifically, the display unit 353).
  • control unit 11 performs a restriction release operation based on the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30 (hereinafter, referred to as “restriction release operation based on the feature amount vector”). May be temporarily stopped, or the stopped operation may be resumed.
  • the control unit 11 based on a user instruction via the UI 15 of the information processing apparatus 10 or the UI 35 of the wearable terminal 30, the control unit 11 temporarily stops the restriction release operation based on the feature amount vector. Also good. Of course, the control unit 11 may resume the stopped operation based on a user instruction via the UI 15 of the information processing apparatus 10 or the UI 35 of the wearable terminal 30.
  • control unit 11 is configured such that the state in which the amount of change in vibration of one or both of the information processing apparatus 10 and the wearable terminal 30 is equal to or less than a threshold value continues for a predetermined time (for example, each When the device is left), the restriction release operation based on the feature vector may be temporarily stopped.
  • a threshold value for example, each When the device is left
  • the restriction release operation based on the feature vector may be temporarily stopped.
  • the control unit 11 performs the feature.
  • the restriction release operation based on the quantity vector may be temporarily stopped.
  • control unit 11 releases the restriction based on the feature amount vector until a predetermined time elapses after the restriction is applied by the lock function, and after the predetermined time elapses.
  • the restriction release operation based on the feature vector may be temporarily stopped.
  • FIG. 9 is a flowchart illustrating an example of a flow of a series of processes of the information processing system according to the present embodiment.
  • Step S101 First, when communication via the network n1 is not established with the wearable terminal 30, the communication unit 17 of the information processing apparatus 10 executes a predetermined communication sequence with the wearable terminal 30. Thus, communication via the network n1 is established.
  • the communication unit 17 executes a predetermined procedure such as key exchange with the wearable terminal 30 to perform the wearable terminal 30, for example.
  • the terminal 30 may be registered as a communication partner.
  • Examples of the procedure for the communication unit 17 to register the wearable terminal 30 as a communication partner include pairing based on the Bluetooth (registered trademark) standard and WPS (Wi-Fi based on the Wi-Fi (registered trademark) standard. Protected Setup). Further, the communication unit 17 mutually authenticates with the wearable terminal 30 by an authentication method using a common key such as AES (Advanced Encryption Standard) or an authentication method using a public key such as RSA or MQ. Thus, the wearable terminal 30 may be registered as a communication partner.
  • the procedure for the communication unit 17 to register the wearable terminal 30 as a communication partner does not necessarily have to be performed via the network n1.
  • the communication unit 17 may execute a procedure for registering the wearable terminal 30 as a communication partner via another network different from the network n1 such as the Internet.
  • Step S103 and S105 When receiving an instruction from the user via the UI 15 (step S103), the displacement data acquisition unit 111 outputs at least one of the time series of the position and orientation of the housing of the information processing apparatus 10 output from the sensor unit 13. Information indicating changes along the line is acquired as displacement data (step S105).
  • the displacement data acquisition unit 111 acquires displacement data indicating a change along a time series of at least one of the position and orientation of the housing of the wearable terminal 30 from the wearable terminal 30 via the network n1 ( Step S105). At this time, the displacement data acquisition unit 111 may instruct the wearable terminal 30 to transmit displacement data. As another example, the displacement data acquisition unit 111 may passively wait for transmission of displacement data from the wearable terminal 30.
  • the displacement data acquisition unit 111 acquires displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30. Then, the displacement data acquisition unit 111 outputs the acquired displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 to the data interpolation unit 113.
  • Step S107 The data interpolation unit 113 acquires displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 from the displacement data acquisition unit 111. In order to make it possible to compare the displacement data corresponding to each of the information processing device 10 and the wearable terminal 30 with each other, the data interpolation unit 113 newly adds the displacement data to the displacement data based on the sample data included in the displacement data. Interpolate sample data. Since the method for interpolating new sample data with respect to the displacement data is as described above, detailed description thereof is omitted here.
  • the data interpolation unit 113 outputs the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 subjected to the process of interpolating the sample data to the feature extraction unit 115.
  • the feature extraction unit 115 acquires displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30 from the data interpolation unit 113.
  • the feature extraction unit 115 extracts a feature value indicating the feature of the sample data included in the displacement data from each acquired displacement data, and generates a feature quantity vector based on the extracted feature value. Since the method for generating the feature quantity vector based on the feature value indicating the feature of the sample data included in the displacement data is as described above, detailed description thereof is omitted here.
  • the feature extraction unit 115 outputs a feature amount vector corresponding to each of the information processing apparatus 10 and the wearable terminal 30 to the determination unit 117.
  • Step S109 The determination unit 117 acquires feature amount vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 from the feature extraction unit 115, and determines similarity by comparing the acquired feature amount vectors with each other. Further, the determination unit 117 may determine whether both the information processing apparatus 10 and the wearable terminal 30 are shaken based on each acquired feature amount vector. Of course, the determination unit 117 may execute both determination of the degree of similarity between the acquired feature amount vectors and determination of whether or not the information processing apparatus 10 and the wearable terminal 30 are shaken. Note that the method for determining the similarity between the feature vectors and the method for determining whether or not the information processing apparatus 10 and the wearable terminal 30 are shaken are as described above, and thus detailed description thereof is omitted here. To do.
  • Step S113 If the determination unit 117 determines that the displacement data is similar based on the comparison result of the similarity between the feature amount vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 (step S111, YES). ), The predetermined restriction imposed by the so-called lock function is released. Similarly, when the determination unit 117 determines that both the information processing apparatus 10 and the wearable terminal 30 are shaken (step S111, YES), the determination unit 117 releases a predetermined restriction imposed by a so-called lock function. As described above, the determination unit 117 releases the predetermined restriction imposed by the lock function when the result of the executed determination is true.
  • Step S115 Needless to say, the control unit 11 does not release the restriction when the feature vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 are not similar (NO in step S111). Similarly, when it is determined that both the information processing apparatus 10 and the wearable terminal 30 are not shaken (step S111, NO), the control unit 11 does not release the restriction. As described above, the determination unit 117 does not release the predetermined restriction imposed by the lock function when the result of the executed determination is false.
  • step S115, YES When the predetermined re-determination condition is satisfied (step S115, YES), the control unit 11 acquires again the displacement data corresponding to each of the information processing device 10 and the wearable terminal 30, and the displacement The degree of similarity between data may be re-determined. The same applies to the determination of whether or not the information processing apparatus 10 and the wearable terminal 30 are shaken. Of course, when the re-determination condition is not satisfied (step S115, NO), the control unit 11 may end a series of processes related to the release of the restriction.
  • FIG. 10 is an explanatory diagram for explaining an overview of the information processing system according to the first modification.
  • the user Ua holds the information processing apparatus 10
  • the user Ub holds the wearable terminal 30.
  • the user Ua releases the predetermined restriction applied to the information processing apparatus 10 by vibrating the information processing apparatus 10 held by the user Ub in accordance with the operation of the user Ub vibrating the wearable terminal 30. It is possible.
  • the information processing apparatus 10 and the wearable terminal 30 are vibrated by different users, so that each vibration is strictly as in the embodiment described above with reference to FIG. 5. May not match, and the other vibration may be delayed with respect to one vibration. Such an influence can appear even when one user vibrates the information processing apparatus 10 and the wearable terminal 30 with hands different from each other. However, as shown in FIG. When it is vibrated, it tends to become more prominent.
  • the information processing apparatus 10 determines the similarity between the displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30, the embodiment described above (FIG. 5).
  • the threshold value may be set lower than in the example shown in FIG. With such a configuration, the information processing apparatus 10 can tolerate an error between the vibrations generated when different users vibrate the information processing apparatus 10 and the wearable terminal 30, and can release a predetermined restriction. It becomes possible.
  • the robustness against the error between the displacement data (that is, the error between the vibrations of the information processing apparatus 10 and the wearable terminal 30) is improved. To do.
  • the threshold value used for determining the similarity between the displacement data may be appropriately set based on the result of a prior experiment or the like according to the assumed usage pattern.
  • the above-described embodiment (example shown in FIG. 5) is used. It is better to set the maximum shift amount larger than that.
  • the information processing apparatus 10 can perform communication even under a situation where a delay occurs during communication between the information processing apparatus 10 and the wearable terminal 30 by setting the maximum value of the shift amount to be larger. It is also possible to remove the restriction while allowing the accompanying delay.
  • the maximum value of the shift amount when shifting the displacement data in time series may be appropriately set based on the result of a prior experiment or the like according to the assumed usage pattern.
  • the threshold for determining the similarity between the displacement data and the shift amount when shifting the displacement data along the time series may be appropriately adjusted according to the usage form of the information processing system. Accordingly, for example, as shown in the example illustrated in FIG. 10, the user Ua vibrates the information processing apparatus 10 held by the user Ub in accordance with the operation in which the user Ub vibrates the wearable terminal 30. Ten restrictions can be removed.
  • FIG. 11 is an explanatory diagram for explaining an overview of an information processing system according to the second modification.
  • the information processing apparatus 10 compares the displacement data based on the vibration of the information processing apparatus 10 and the displacement data based on the vibration of the wearable terminal 30 on a one-to-one basis. The degree of similarity is determined, and a predetermined restriction is released according to the determination result.
  • the second modification an example in which the number of devices that vibrate when the restriction is released is expanded to a number larger than two will be described.
  • the information processing system includes a server 90 and information processing terminals 30a to 30d.
  • the information processing terminals 30a to 30d are held by different users Ua to Ud, respectively.
  • the server 90 is set as a subject that releases a predetermined restriction, and the server 90 controls the restriction release (that is, the lock release) of the security gate 91.
  • each of the information processing terminals 30a to 30d when each of the users Ua to Ud vibrates the information processing terminals 30a to 30d held by the users Ua to Ud, each of the information processing terminals 30a to 30d has at least one of the position and orientation of the housing. It detects sequentially. Each of the information processing terminals 30a to 30d transmits information indicating a change along at least one of the position and orientation of the housing in time series to the server 90 as displacement data.
  • the server 90 When the server 90 obtains the displacement data from each of the information processing terminals 30a to 30d, the server 90 compares the obtained displacement data (in other words, the feature amount vector) with each other to determine similarity between the displacement data, and obtain the displacement data. One or both of the determinations as to whether each displacement data has a characteristic indicating that it is vibrating is executed. At this time, the server 90 may interpolate new sample data with respect to the acquired displacement data, similarly to the information processing apparatus 10 according to the above-described embodiment. In addition, the server 90 extracts feature values indicating the characteristics of each sample data included in the acquired displacement data, as in the information processing apparatus 10 according to the embodiment described above, and new displacement data based on the extracted feature values. May be generated.
  • the server 90 extracts feature values indicating the characteristics of each sample data included in the acquired displacement data, as in the information processing apparatus 10 according to the embodiment described above, and new displacement data based on the extracted feature values. May be generated.
  • the server 90 determines that the displacement data acquired from each of the information processing terminals 30a to 30d is similar, the server 90 releases the restriction (for example, lock) of the security gate 91.
  • the number of devices that a user vibrates when releasing a predetermined restriction (that is, a device that detects vibration of the housing and outputs displacement data) is as follows. If it is two or more, it will not specifically limit.
  • the threshold value for the server 90 to determine the similarity between feature quantity vectors (for example, displacement data) corresponding to each device is the result of a prior experiment according to the number of devices that the user vibrates. It is good to set appropriately based on.
  • the server 90 may dynamically change the threshold for determining the similarity between the feature amount vectors corresponding to each device according to the number of devices that the user vibrates.
  • the server 90 may change the threshold value so that the robustness is improved as the number of devices that the user vibrates increases (for example, the threshold value becomes lower).
  • the maximum value of the shift amount when the server 90 shifts the displacement data in time series may be appropriately set based on the result of a prior experiment or the like according to the number of devices that the user vibrates.
  • the server 90 may dynamically change the maximum value of the shift amount when shifting the displacement data in time series according to the number of devices that the user vibrates. In this case, for example, the server 90 increases the maximum value so that the robustness improves as the number of devices that the user vibrates increases (for example, the maximum value of the shift amount increases). Can be changed.
  • a device that determines the similarity between a plurality of feature quantity vectors and releases the restriction and a device that vibrates by the user (ie, a device)
  • the device that detects the vibration of the housing and outputs it as displacement data may be configured as devices different from each other.
  • any of the devices that the user vibrates determines the similarity between a plurality of feature quantity vectors and releases the restriction. It may be configured to.
  • each of the information processing terminals 30a to 30d is registered as a communication partner of the server 90. That is, when the server 90 recognizes each of the information processing terminals 30a to 30d as a communication partner, the information processing terminals 30a to 30d are indirectly associated.
  • the subject that releases the predetermined restriction and the object that is the object of the restriction release may be configured as different devices.
  • the subject that releases the predetermined restriction and the object that is the target of the restriction release are provided in the same apparatus. It may be.
  • Modification 2 with reference to FIG. 11, as an example of the system configuration of the information processing system according to the present embodiment, the number of devices to vibrate when the restriction is released is expanded to a number larger than 2. An example of the case has been described.
  • each displacement data when each of the information processing apparatus 10 and the wearable terminal 30 is vibrated is regarded as waveform data, and spectral information of the waveform is used as a feature value, and a feature vector Was generated.
  • a spectrum is extracted from the waveform indicated by the displacement data detected by each of the information processing apparatus 10 and the wearable terminal 30 by, for example, regression using Fourier transform or trigonometric polynomial basis. Was.
  • the detection result of the periodic operation of the user (in other words, the operation with small time change of the frequency) detected by the information processing apparatus 10 and the wearable terminal 30 respectively.
  • the decision concerning the release of the restriction was made.
  • the present embodiment in the case where the determination related to the release of the restriction is performed on the detection result of the user's instantaneous operation (in other words, the operation with a large frequency time change) is targeted.
  • An example of control related to the release of the restriction by the information processing system will be described. Note that, in this description, as a part different from the information processing system according to the above-described embodiment, description will be made with particular attention paid to the operations of the feature extraction unit 115 and the determination unit 117, and detailed description of other configurations will be omitted. To do.
  • the feature extraction unit 115 detects the instantaneous position and orientation detected within a predetermined time from each acquired displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30. Is detected (hereinafter may be referred to as “instantaneous movement”). At this time, when an instantaneous operation is detected only from a part of the information processing apparatus 10 and the wearable terminal 30 (that is, an instantaneous operation is not detected from the other part), No further processing is performed, and the restriction is not released.
  • the feature extraction unit 115 When an instantaneous operation is detected from each displacement data corresponding to each of the information processing apparatus 10 and the wearable terminal 30, the feature extraction unit 115 includes a predetermined timing including the timing at which the operation is detected from the corresponding displacement data. Extract time span data. As a specific example, the feature extraction unit 115 extracts data for a predetermined number of seconds before and after the timing at which the instantaneous motion is detected, from the corresponding displacement data.
  • the feature extraction unit 115 performs wavelet analysis on the data for a predetermined time width extracted from the displacement data (that is, performs wavelet transform on the data), so that the predetermined time is obtained as a result of the wavelet analysis. Extract feature values from width data.
  • the feature quantity extracted based on the wavelet analysis may be described as “wavelet feature”.
  • the mother wavelet ⁇ (t) is shifted by the time b from the displacement data along the time series (that is, the extracted data for a predetermined width) f (t), and is subtracted by a in the time direction.
  • This corresponds to a process of extracting the extended component as a wavelet feature W (a, b) for each (a, b).
  • the wavelet feature W (a, b) is calculated based on (Equation 2) shown below.
  • FIGS. 13 and 14 are diagrams illustrating an example of the mother wavelet ⁇ (t).
  • FIG. 13 is an example of a mother wavelet ⁇ (t) called “Shannon wavelet”.
  • FIG. 14 is an example of a mother wavelet ⁇ (t) called “Mexican Hat”.
  • Other examples of the mother wavelet ⁇ (t) include “Daubechies wavelet”, “Meyer wavelet”, and “Gabor wavelet”.
  • the feature extraction unit 115 extracts the wavelet feature W (a, b) from the displacement data of each of the information processing apparatus 10 and the wearable terminal 30 and features each extracted wavelet feature W (a, b). A feature vector is generated as a value. Then, the feature extraction unit 115 outputs the feature amount vectors generated for each of the information processing apparatus 10 and the wearable terminal 30 to the determination unit 117.
  • the feature extraction unit 115 of the information processing device 10 extracts the wavelet feature W (a, b) from the displacement data of each of the information processing device 10 and the wearable terminal 30, and generates a feature vector.
  • the information processing apparatus 10 and the wearable terminal 30 may extract the wavelet feature W (a, b) from the displacement data.
  • the wearable terminal 30 extracts the wavelet feature W (a, b) when the wavelet feature W (a, b) is extracted from the displacement data (that is, when an instantaneous motion is detected). May generate a feature vector and transmit the feature vector to the information processing apparatus 10.
  • the determination unit 117 uses the feature amount vector generated from the feature extraction unit 115 for each of the information processing apparatus 10 and the wearable terminal 30 (that is, the feature amount vector generated using the wavelet feature W (a, b) as the feature value). get. Then, the determination unit 117 determines whether or not to release a predetermined restriction applied by a so-called lock function, based on the feature amount vector acquired for each of the information processing apparatus 10 and the wearable terminal 30.
  • the determination unit 117 releases the predetermined restriction based on the similarity between the feature amount vectors corresponding to the information processing apparatus 10 and the wearable terminal 30 as in the case of the information processing system according to the above-described embodiment. It may be determined whether or not to do so.
  • the determination unit 117 performs a predetermined recognition process individually on each of the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30, and compares the recognition process results. It may be determined whether or not to release the predetermined restriction.
  • FIG. 15 is an explanatory diagram for explaining an example of schematic control related to the release of restriction in the information processing system according to the modification 3.
  • the determination unit 117 inputs the feature vector (x a1 , x a2 ..., X an ) generated based on the displacement data Da corresponding to the information processing apparatus 10 to the recognizer A.
  • the recognizer A has an input feature vector based on a discriminant function f a (x a1 , x a2 ..., X an ) generated using techniques such as SVM, boosting, and logistic regression. It recognizes whether or not it is a feature quantity vector indicating a feature of a predetermined action, and outputs a recognition result Ra.
  • a specific example of the predetermined operation is an operation of the information processing apparatus 10 when the user twists the hand holding the information processing apparatus 10.
  • the operation is merely an example, and it is needless to say that the operation is not necessarily limited to the operation.
  • the determination unit 117 inputs the feature vector (x b1 , x b2 ..., X bm ) generated based on the displacement data Db corresponding to the wearable terminal 30 to the recognizer B.
  • the recognizer B is based on a discriminant function f b (x b1 , x b2 ..., X bm ) generated by using techniques such as SVM, boosting, and logistic regression. It recognizes whether or not it is a feature vector indicating the characteristics of a predetermined operation, and outputs a recognition result Rb.
  • an identification function for recognizing whether or not the input feature quantity vector is a feature quantity vector indicating a feature of a predetermined operation
  • an example of each of a linear discriminant function, a kernel discriminant function, and a nonlinear discriminant function Is shown below.
  • (Equation 3) shown below shows an example of a linear discriminant function.
  • a value indicating the variable x as a vector indicates a feature vector.
  • Equation 3 The function shown in the second term in the sigma on the right side of (Equation 3) shown above corresponds to a basis function.
  • Examples of the basis functions include the basis functions shown as (Equation 4) to (Equation 6) below.
  • Equation 4 shows an example of a basis function based on a polynomial basis.
  • Equation 7 shows an example of a kernel identification function.
  • Equation 9 shows an example of a nonlinear discriminant function.
  • Equation 10 shows an example of a basis function defined as a sigmoid function.
  • each coefficient for example, the vector values of ⁇ i , ⁇ i , and ⁇ i ) in each of (Equation 2) to (Equation 11) shown above is, for example, a feature vector to be recognized is a predetermined operation. It is desirable that the recognition result is set so as to be more different between the case of the data indicating the characteristics of the data and the case of the data indicating the movement different from the predetermined movement. As a specific example, a large amount of sample data (in other words, based on machine learning) is used so that whether or not the feature vector to be recognized is data indicating a predetermined operation is identified with as few errors as possible. More preferably, each coefficient is determined using the accumulated teacher data.
  • the determination unit 117 determines whether the feature vector represents data of a predetermined action depending on whether the result of recognition processing for the feature vector is equal to or greater than a predetermined threshold. It becomes possible to recognize whether or not.
  • the determination unit 117 performs predetermined recognition processing individually on the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30, and acquires the respective recognition results Ra and Rb. Then, the determination unit 117 determines whether or not to release a predetermined restriction based on the recognition results (that is, the recognition results Ra and Rb) acquired for each of the information processing apparatus 10 and the wearable terminal 30.
  • the determination unit 117 compares the acquired recognition results Ra and Rb, and when it is determined that the recognition results Ra and Rb are similar based on the comparison result, the predetermined restriction is released. May be.
  • the determination unit 117 determines that both of the acquired recognition results Ra and Rb correspond to feature vectors (that is, feature vectors corresponding to the information processing apparatus 10 and the wearable terminal 30). When the data indicates the characteristic of the operation, the predetermined restriction may be released.
  • each of the recognition processes (that is, the functions f a and f b shown in FIG. 15) executed for the feature vectors of the information processing apparatus 10 and the wearable terminal 30 described above are as follows.
  • the same recognition process is not necessarily required if it can be recognized whether or not the data indicates characteristics of a predetermined operation (in other words, an operation common to the information processing apparatus 10 and the wearable terminal 30).
  • the determination unit 117 of the information processing apparatus 10 executes recognition processing for the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30 (that is, functions f a and f b shown in FIG. 15).
  • each of the information processing apparatus 10 and the wearable terminal 30 may execute recognition processing for a feature vector corresponding to itself.
  • the wearable terminal 30 executes a recognition process (that is, the function f b shown in FIG. 15) on the feature vector corresponding to itself, and the result of the recognition process (ie, in FIG. 15).
  • the recognition result Rb) shown may be transmitted to the information processing apparatus 10.
  • the operation of the determination unit 117 described with reference to FIG. 15 is not limited to the information processing system according to the third modification, and is applied as, for example, the operation of the determination unit 117 in the information processing system according to the above-described embodiment. Also good.
  • the feature extraction unit 115 detects, from the detected displacement data, when an instantaneous operation (that is, a large change in the instantaneous position or orientation) is detected. Data to be processed is extracted based on the timing at which the operation is detected. Therefore, according to the information processing system according to the modified example 3, a user operation on a button, a touch panel, or the like (that is, an operation for acquiring data other than a predetermined operation for releasing the restriction) is performed without a predetermined operation. It is possible to acquire data for determination related to the release of the restriction.
  • the information processing system according to the modified example 3 extracts the data to be processed based on the timing when the instantaneous motion is detected, so that the information processing apparatus 10 and the wearable terminal The time does not necessarily have to be synchronized with 30.
  • a terminal such as the wearable terminal 30 whose operation is controlled so that power consumption is further reduced, there is a case where the accuracy of information about time is lowered (that is, an error occurs in time).
  • the data between the information processing apparatus 10 and the wearable terminal 30 (for example, displacement data) Time) can be synchronized.
  • the detection of the instantaneous operation of the user is targeted for the release of the restriction. Make a decision.
  • the information processing system according to the modified example 3 more clearly identifies the operation performed on each device of the information processing device 10 and the wearable terminal 30 and the operation performed unconsciously by the user. It becomes possible to do. That is, according to the information processing system according to the modified example 3, it is possible to prevent the occurrence of a situation in which the restriction is released in accordance with the recognition of the operation that the user has unconsciously performed.
  • Modification 4 An example of information presentation
  • Modification 4 an example of information presentation to the user when releasing a predetermined restriction in the information processing system according to the present embodiment will be described.
  • the user can release a predetermined restriction by operating (for example, vibrating) both the information processing apparatus 10 and the wearable terminal 30.
  • the user may instantaneously operate both the information processing apparatus 10 and the wearable terminal 30 at a desired timing in order to release the predetermined restriction. Therefore, the information processing system does not necessarily require an explicit operation on the information processing apparatus 10 or the wearable terminal 30 other than the instantaneous operation. Due to such a configuration, in the information processing system according to the present embodiment, when releasing a predetermined restriction, it is not always necessary to present a dedicated operation screen for releasing the restriction to the user.
  • the information processing system according to the modification 4 may present an operation screen based on an existing restriction release function on the display unit of the information processing apparatus 10 or the wearable terminal 30 as the operation screen.
  • an existing restriction release function for example, the restriction release function according to Comparative Example 1 described with reference to FIG. 2 (that is, the restriction release function accompanying the slider operation) or the comparison described with reference to FIG.
  • a restriction release function according to Example 2 that is, a restriction release function associated with input of an operation pattern) and the like can be given.
  • the information processing system performs a predetermined restriction based on the existing restriction release function when the user performs an operation related to the restriction release on the presented operation screen. It may be determined whether or not to cancel.
  • the information processing system when the user releases a predetermined restriction, the information processing system has a function for releasing the restriction according to the above-described embodiment and each modification, and an existing restriction releasing function. Either of them can be selectively executed.
  • the information processing system according to the modification 4 executes the function for releasing the restriction according to the above-described embodiment and each modification, the information based on the execution result of the function is transmitted to the user. May be presented.
  • the information processing system determines that the factor that determines that “the restriction is not removed” is determined based on the operations of both the information processing apparatus 10 and the wearable terminal 30 when the predetermined restriction is not released. May be presented.
  • the information processing system may present to the user that the acquisition of the displacement data has failed. At this time, the information processing system may present to the user the cause of failure in obtaining the displacement data from the wearable terminal 30.
  • factors that cause the failure to acquire displacement data from the wearable terminal 30 include a case where communication between the information processing apparatus 10 and the wearable terminal 30 fails, a case where the wearable terminal 30 is powered off, and the like. It is done.
  • the information processing system may be configured such that a function for releasing the restriction according to the above-described embodiment and each modification can be switched on and off by a user operation.
  • the information processing system according to the modified example 4 is configured such that when the function for releasing the restriction is off, the user performs an operation for releasing the restriction using the function. The user may be notified that the function is off.
  • the information processing system according to the modification 4 may present a determination result based on the feature vector corresponding to each of the information processing apparatus 10 and the wearable terminal 30 to the user.
  • the information processing system may digitize the determination result of the similarity between the feature amount vectors of the information processing apparatus 10 and the wearable terminal 30 and present the numerical value to the user.
  • a predetermined operation for example, an operation that vibrates each device of the information processing device 10 and the wearable terminal 30 or an operation that twists the hand that holds the device.
  • the information processing system presents information based on the execution result of the function for releasing the restriction according to the above-described embodiment and each modification example, so that the user should take the next action. May be shown directly or indirectly to the user.
  • FIG. 12 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 includes a processor 901, a memory 903, a storage 905, an operation device 907, a display device 909, a communication device 911, a detection device 913, Bus 915.
  • the processor 901 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on Chip), and executes various processes of the information processing apparatus 10.
  • the processor 901 can be configured by, for example, an electronic circuit for executing various arithmetic processes. Each configuration of the control unit 11 described above can be realized by the processor 901.
  • the memory 903 includes RAM (Random Access Memory) and ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 905 can include a storage medium such as a semiconductor memory or a hard disk.
  • the operation device 907 has a function of generating an input signal for a user to perform a desired operation.
  • the operation device 907 can be configured as a touch panel, for example.
  • the operation device 907 includes an input unit such as buttons and switches for the user to input information, an input control circuit that generates an input signal based on the input by the user, and supplies the input signal to the processor 901, etc. It may consist of The operation unit 151 described above can be realized by the operation device 907.
  • the display device 909 is an example of an output device, and may be a device such as a liquid crystal display (LCD) device or an organic EL (OLED: Organic Light Emitting Diode) display, for example.
  • the display device 909 can present predetermined information to the user by displaying the screen.
  • the display unit 153 described above can be realized by the display device 909.
  • the communication device 911 is a communication unit included in the information processing apparatus 10 and communicates with an external apparatus via a network.
  • the communication device 911 is a wired or wireless communication interface.
  • the communication device 911 may include a communication antenna, an RF (Radio Frequency) circuit, a baseband processor, and the like.
  • the communication device 911 has a function of performing various signal processing on a signal received from an external apparatus, and can supply a digital signal generated from the received analog signal to the processor 901.
  • the communication unit 17 described above can be realized by the communication device 911.
  • the detection device 913 is a device for detecting a change in the position and orientation of the housing of the information processing apparatus 10.
  • the detection device 913 can be configured by various sensors such as an acceleration sensor and an angular velocity sensor, for example.
  • the sensor unit 13 described above can be realized by the detection device 913.
  • the bus 915 connects the processor 901, the memory 903, the storage 905, the operation device 907, the display device 909, the communication device 911, and the detection device 913 to each other.
  • the bus 915 may include a plurality of types of buses.
  • the information processing apparatus 10 has at least one of the position and orientation of the casing based on vibration for each of the information processing apparatus 10 and the wearable terminal 30.
  • a feature vector for example, displacement data
  • the information processing device 10 releases the predetermined restriction imposed by the lock function based on the feature amount vector acquired for each of the information processing device 10 and the wearable terminal 30.
  • the information processing device 10 determines whether each of the information processing device 10 and the wearable terminal 30 is shaken based on each feature amount vector of the information processing device 10 and the wearable terminal 30, and One or both of the determination of the similarity of the feature quantity vectors is executed. Then, the information processing apparatus 10 releases the predetermined restriction imposed by the lock function based on the result of the executed determination.
  • the information processing system it is difficult for a malicious user to release the restriction of the information processing apparatus 10 by the information processing apparatus 10 alone. That is, when a malicious user tries to remove the restriction on the information processing apparatus 10, it is necessary to acquire both the information processing apparatus 10 and the wearable terminal 30 together. In addition, a situation in which the owner of the information processing apparatus 10 and the wearable terminal 30 loses both the information processing apparatus 10 and the wearable terminal 30 at the same time is less likely to occur than a situation in which only one of them is lost. Needless to say. Therefore, the information processing system according to the present embodiment can ensure relatively high security from the viewpoint of operation.
  • the user needs to consciously vibrate both the information processing apparatus 10 and the wearable terminal 30 when releasing the restriction. Therefore, as in the example described above as Comparative Example 4 (see FIG. 4), it is possible to prevent a situation in which the restriction is released at a timing not intended by the user.
  • the user when the user releases the restriction, the user only has to vibrate both the information processing apparatus 10 and the wearable terminal 30, and a complicated procedure for removing the restriction is performed. I don't need it.
  • the information processing system includes a communication device for the information processing apparatus 10 and the wearable terminal 30 to transmit and receive data to each other, and a sensor (for example, an acceleration sensor) for detecting vibration of the housing.
  • a communication device for the information processing apparatus 10 and the wearable terminal 30 to transmit and receive data to each other
  • a sensor for example, an acceleration sensor
  • the information processing system according to this embodiment described above can be realized by using an existing device without providing a special device for the information processing apparatus 10 and the wearable terminal 30.
  • An acquisition unit that acquires a feature quantity vector that directly or indirectly indicates a change along a time series of at least one of a position and an orientation of a housing of each of a plurality of different devices that are associated in advance; Based on the feature vector corresponding to each of the acquired plurality of devices, a control unit for releasing a predetermined restriction applied in advance,
  • An information processing apparatus comprising: (2) The acquisition unit is provided in the casing of one of the plurality of devices, and the feature quantity vector corresponding to the other device from another device connected to the one device via a network.
  • the information processing apparatus wherein: (3) The control unit determines a similarity between the feature amount vectors based on a comparison between the feature amount vectors corresponding to each of the plurality of devices, and releases the predetermined restriction based on the determination result. ). (4) The information processing apparatus according to (3), wherein the control unit determines the similarity based on a statistical distance between the feature amount vectors corresponding to each of the plurality of apparatuses. (5) The information processing apparatus according to (3), wherein the control unit determines the similarity based on a time-series correlation between the feature amount vectors corresponding to each of the plurality of apparatuses.
  • the information processing apparatus determines the similarity based on a mutual information amount between the feature amount vectors corresponding to each of the plurality of apparatuses.
  • the control unit stores, in teacher data, the feature vector corresponding to each of the plurality of devices and the determination result of the similarity between the extracted feature vectors, which are stored in advance based on machine learning, in association with each other.
  • the information processing apparatus wherein a similarity between the feature amount vectors corresponding to each of the plurality of acquired apparatuses is determined based on the similarity.
  • the control unit shifts at least one of the feature amount vectors corresponding to each of the plurality of devices along a time series, and determines the similarity based on the shifted feature amount vector.
  • the information processing apparatus according to any one of (3) to (7).
  • the control unit shifts at least one of the feature amount vectors in time series so that a statistical distance between the feature amount vectors corresponding to each of the plurality of devices becomes smaller.
  • the control unit shifts at least one of the feature amount vectors corresponding to each of the plurality of devices in time series within a range not exceeding a predetermined time width, (8) or The information processing apparatus according to (9).
  • the controller is For each of the feature vector corresponding to each of the plurality of devices, the feature vector is a feature of a predetermined change along a time series of at least one of the position and orientation of the housing of the corresponding device. Execute recognition processing to recognize whether or not The information processing apparatus according to (1), wherein a predetermined restriction applied in advance is canceled based on a result of the recognition processing for each feature amount vector.
  • a feature extraction unit that extracts a feature value indicating a feature of sample data in the feature value vector from the feature value vector corresponding to each of the plurality of devices, and generates a new feature value vector based on the extracted feature value; Prepared, The information processing apparatus according to any one of (1) to (11), wherein the control unit releases the restriction based on a comparison between the new feature vector corresponding to each of the plurality of apparatuses. . (13) The feature extraction unit extracts, as the feature value, a displacement in a principal component direction along a time series of each sample data included in the feature vector based on principal component analysis on the feature vector. ).
  • the feature extraction unit specifies a direction in which the correlation of displacement along the time series is high between the feature amount vectors based on the canonical correlation analysis for the feature amount vectors corresponding to the plurality of devices, respectively,
  • the information processing apparatus according to (12), wherein the specified displacement in the direction along the time series of each sample data included in each feature vector is extracted as the feature value.
  • a data interpolation unit that interpolates new sample data with respect to the feature vector, The control unit releases the restriction based on a comparison between the feature amount vectors corresponding to each of the plurality of apparatuses into which the new sample data is interpolated, and any one of (1) to (14)
  • the information processing apparatus according to one item.
  • An information processing method including: (20) A plurality of devices including a detection unit that detects a change along a time series of at least one of the position and orientation of the housing; An acquisition unit that acquires, for each of the plurality of devices, a feature amount vector that directly or indirectly indicates the detected change along the time series; A control unit that releases a predetermined restriction applied in advance based on a comparison between the feature amount vectors corresponding to the acquired plurality of devices;
  • An information processing system comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】セキュリティを確保でき、かつ、簡便な手順で制限を解除することが可能な、情報処理装置、情報処理方法、及び情報処理システムを提案する。 【解決手段】あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得する取得部と、取得された前記複数の装置それぞれに対応する前記特徴量ベクトルに基づき、あらかじめ施された所定の制限を解除する制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法、及び情報処理システム
 本開示は、情報処理装置、情報処理方法、及び情報処理システムに関する。
 近年、PC(Personal Computer)や携帯電話(スマートフォン)といった、ユーザにさまざまな機能を提供する情報処理装置が普及してきている。こうした情報処理装置には、一部の機能の使用を制限するためのロック機能が設けられている場合がある。また、このような制限を解除する方法としても多様な方法が提案されており、このような方法に基づく制限解除のための機能の中には、当該制限の解除時に認証を伴うことでセキュリティを確保したものもある。
特開2008-311726公報
 一方で、前述したロック機能による制限を解除するための機能として、セキュリティを確保でき、かつ、簡便な手順で当該制限を解除することが可能な仕組みが求められている。
 そこで、本開示では、セキュリティを確保でき、かつ、簡便な手順で制限を解除することが可能な、情報処理装置、情報処理方法、及び情報処理システムを提案する。
 本開示によれば、あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得する取得部と、取得された前記複数の装置それぞれに対応する前記特徴量ベクトルに基づき、あらかじめ施された所定の制限を解除する制御部と、を備える情報処理装置が提供される。
 また、本開示によれば、あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得することと、プロセッサが、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除することと、を含む情報処理方法が提供される。
 また、本開示によれば、筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を検出する検出部を含む複数の装置と、検出された前記時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを、前記複数の装置それぞれについて取得する取得部と、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除する制御部と、を備える情報処理システムが提供される。
 以上説明したように本開示によれば、セキュリティを確保でき、かつ、簡便な手順で制限を解除することが可能な、情報処理装置、情報処理方法、及び情報処理システムが提供される。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。 比較例1に係る制限解除機能の一例について説明するための説明図である。 比較例2に係る制限解除機能の一例について説明するための説明図である。 比較例4に係る制限解除機能の一例について説明するための説明図である。 同実施形態に係る情報処理システムの制限解除機能について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 互いに異なる複数の変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法の一例について説明するための説明図である。 互いに異なる複数の変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法の一例について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 変形例1に係る情報処理システムの概要について説明するための説明図である。 変形例2に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。 マザーウェーブレットの一例を示した図である。 マザーウェーブレットの一例を示した図である。 変形例3に係る情報処理システムにおける、制限の解除に係る概略的な制御の一例について説明するための説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.概要
 2.機能構成
 3.処理
 4.変形例
  4.1.変形例1:利用形態の一例
  4.2.変形例2:システム構成の一例
  4.3.変形例3:制限の解除に係る制御例
  4.4.変形例4:情報提示の一例
 5.ハードウェア構成
 6.まとめ
 <1.概要>
 まず、本開示の実施形態に係る情報処理システムの概要について説明する。例えば、図1は、本実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
 図1に示すように、本実施形態に係る情報処理システムは、情報処理装置10と、ウェアラブル端末30とを含む。情報処理装置10は、例えば、スマートフォン等のような、所謂携帯型の情報処理装置により構成され得る。また、ウェアラブル端末30は、情報処理装置10と、Bluetooth(登録商標)やWi-Fi(登録商標)等の通信規格に基づくネットワークを介して通信可能に構成されている。なお、本説明では、本実施形態に係る情報処理システムの特徴をわかりやすくするために、図1に示すように、ウェアラブル端末30が、所謂腕時計型の情報処理端末として構成されている場合を例に説明する。しかしながら、ウェアラブル端末30の構成は、必ずしも、腕時計型の情報処理端末に限定されない。
 本実施形態に係る情報処理システムは、ネットワークを介して接続された情報処理装置10とウェアラブル端末30とを連携させることで、所謂ロック機能により施された所定の制限の解除を可能とする仕組みを提供する。そこで、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、ロック機能による制限を解除するための仕組みの一例について比較例として説明することで、当該情報処理システムの課題について整理する。
 まず、図2を参照して、ロック機能による制限を解除するための機能(以降では、「制限解除機能」と記載する場合がある)の一例について、比較例1として説明する。図2は、比較例1に係る制限解除機能の一例について説明するための説明図である。なお、以降では、比較例1に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10a」と記載する場合がある。
 図2に示す例では、情報処理装置10aは、表示面がタッチパネルとして構成された表示部153に、ロック解除のためのスライダv11を表示させ、当該スライダv11に対するユーザ操作に基づき制限を解除する。具体的には、情報処理装置10aは、スワイプ操作等によりスライダv11が所定の方向にスライドされたことを検知した場合に、ロック機能により施された所定の制限を解除する。
 即ち、図2に示した比較例1に係る制限解除機能を適用することで、ユーザは、スワイプ操作という比較的簡便な操作に基づき制限を解除できる。一方で、比較例1に係る制限解除機能を適用した場合には、制限の解除に際し認証処理が行われないため、誰でも制限を解除でき、セキュリティが確保されない。
 これに対して、図3は、ロック機能による制限を解除する際に、認証処理を介することで、セキュリティを確保した場合の一例について示している。なお、図3に示す例を、以降では、比較例2として説明する。即ち、図3は、比較例2に係る制限解除機能の一例について説明するための説明図である。なお、以降では、比較例2に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10b」と記載する場合がある。
 図3に示す例では、情報処理装置10bは、ユーザにより入力された操作パターンと、事前に登録された操作パターンとを比較し、入力された操作パターンが事前に登録された操作パターンと一致するか否かに応じて制限を解除する。具体的には、情報処理装置10bは、表示面がタッチパネルとして構成された表示部153に、複数の点が提示された操作パターンの入力画面v13を表示させる。そして、情報処理装置10bは、ユーザ操作に基づき、入力画面v13中の任意の複数の点が結ばれるように入力された操作パターンを、事前に登録された操作パターンと比較し、比較結果が一致する場合に制限を解除する。
 このような構成により、比較例2に係る制限解除機能を適用することで、例えば、操作パターンなどのように、事前に登録された情報を知り得るユーザのみが制限を解除することが可能となり、セキュリティが確保される。なお、事前に登録された情報を知り得るユーザのみが制限を解除可能とする方法としては、PIN(Personal Identification number)コード等のようなパスワードをユーザ入力として受け付ける方法等もある。
 一方で、図3に示した比較例2に係る制限解除機能のように、表示部153に表示された入力画面に対してユーザが入力した情報を認証に利用する方法では、所謂ショルダーハッキングにより、認証のための情報が他者に漏えいする場合がある。即ち、悪意のある他者は、情報処理装置10bのユーザが、入力画面v13に対して入力した認証のための情報(例えば、操作パターン)を盗み見ることで、当該情報処理装置10bの制限を解除するための情報を不正に取得することが可能となる場合がある。
 また他の一例として、近年では、ユーザの生体情報を利用することで、よりセキュリティレベルを強化した制限解除機能も提供されている。以下に、比較例3として、ユーザの生体情報を利用した制限解除機能の一例について説明する。なお、以降では、比較例3に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10c」と記載する場合がある。
 比較例3に係る制限解除機能の一例として、顔認証技術を利用したものが挙げられる。この場合には、情報処理装置10cは、撮像部によりユーザの顔画像を撮像し、当該顔画像から目、鼻、ほお骨、あごの形などのように、特徴的な部分を抽出し、抽出した特徴を、事前に登録された顔画像の特徴と比較して、比較結果が一致する場合に制限を解除する。
 このように顔認証技術を利用することで、ユーザは、入力画面に認証のための情報を入力する必要がなくなる。そのため、顔認証技術を利用した場合には、ショルダーハッキングによる制限解除のための情報(例えば、認証情報)の漏えいを防止することが可能となる。
 一方で、顔認証は、撮像部により撮像されたユーザの顔画像を認証に利用するため、周囲の明るさ等のような顔画像の撮像環境に応じて、認証の精度が低下する場合がある。また、認証の対象となるユーザの静止画像や動画像を不正に利用されることで、悪意のあるユーザが、認証の対象なるユーザになりすますことが可能となる場合もある。
 また、比較例3に係る制限解除機能の一例として、指紋認証技術を利用したものも挙げられる。この場合には、情報処理装置10cは、専用のデバイスにより検出されたユーザの指紋から、特徴的な部分を抽出し、抽出した特徴を、事前に登録された指紋の特徴と比較して、比較結果が一致する場合に制限を解除する。
 このように指紋認証技術を利用することで、ユーザは、入力画面に認証のための情報を入力する必要がなくなる。そのため、指紋認証技術を利用した場合には、ショルダーハッキングによる人情報の漏えいを防止することが可能となる。
 一方で、指紋認証は、濡れた指や乾燥した指等のように、認証に使う指の状態に応じて、認証の精度が低下する場合がある。もちろん、ユーザが手袋等を着用している場合には、手袋越しに指紋を入力することは困難であるため、ユーザは、認証時に手袋等のような手に着用した物を外して認証を行う必要があり、使い勝手が悪い。また、指紋認証を利用する場合には、情報処理装置10cに対して、指紋を検出するための専用のデバイスを設ける必要がある。
 以上、比較例3に係る制限解除機能のように、生体情報を利用して制限を解除する場合には、比較的高いセキュリティレベルを確保できるものの、認証時の環境や状態に応じて認証精度が低下する場合があり、使い勝手があまり良くないこともある。また、生体情報を利用して制限を解除する場合には、一部の方法では、専用のデバイスを設ける必要があり、当該デバイスの設置が、生産コストの増大や筐体の大型化の要因となる場合もある。
 次に、比較例4として、図4を参照して、近距離無線通信を利用した制限解除機能の一例について説明する。図4は、比較例4に係る制限解除機能の一例について説明するための説明図である。なお、以降では、比較例4に係る情報処理装置10を、本実施形態に係る情報処理装置10と区別する場合には、「情報処理装置10d」と記載する場合がある。
 図4に示すように、比較例4に係る情報処理装置10dは、制限解除のための認証の媒体となるトークン80と、例えば、Bluetooth(登録商標)等の通信規格に基づく無線のネットワークn1を介して相互に通信可能に構成されている。また、図4は、情報処理装置10dが、外部装置(例えば、トークン80)と通信が可能なネットワークn1の通信圏内(以降では、「情報処理装置10dの通信圏内」と記載する場合がある)を模式的に示している。即ち、トークン80は、情報処理装置10dの通信圏内に位置する場合に、ネットワークn1を介して当該情報処理装置10dとの間で情報の送受信が行える。
 以上のような構成に基づき、比較例4に係る情報処理装置10dは、自身の通信圏内にトークン80が侵入した場合に、当該トークン80との間で所定の通信シーケンスを行うことで、制限解除のための認証処理を実行する。
 具体的には、情報処理装置10dは、自身の通信圏内にトークン80が進入した場合に、当該トークン80に認証情報の通知を要求する。この情報処理装置10dからの要求を受けて、トークン80は、自身の記憶部にあらかじめ記憶された認証情報を当該情報処理装置10dに通知する。このようにして、情報処理装置10dは、自身の通信圏内に位置するトークン80から、当該トークン80の記憶部に記憶された認証情報を取得する。
 そして、情報処理装置10dは、トークン80から取得した認証情報を、あらかじめ登録された認証情報と比較し、比較結果が一致する場合に制限を解除する。
 また、情報処理装置10dは、自身の通信圏内から、トークン80が離脱した場合には、この通信圏内からのトークン80の離脱を検知し、離脱したトークン80からの接続要求を待ち受ける。このとき、情報処理装置10dは、あらかじめ決められた時間内にトークン80から接続要求を受信しなかった場合には、情報処理装置10dの通信圏内へのトークン80の進入に伴い制限が解除された機能の使用を、改めて制限してもよい。
 なお、情報処理装置10dの通信圏内に対するトークン80の進入及び離脱は、情報処理装置10d及びトークン80の少なくともいずれか一方が、他方からの応答の有無を確認することにより検知することが可能である。
 このような構成により、ユーザは、自身の認証情報が記録されたトークン80を携行し、情報処理装置10dの通信圏内に進入することで、煩雑な操作を伴わずに制限を解除することが可能となる。同様に、ユーザは、当該トークン80を携行し、情報処理装置10dの通信圏内から離脱することで、煩雑な操作を伴わずに、所定の機能の使用を改めて制限することが可能となる。
 一方で、図4を参照して説明した比較例4に係る制限解除機能は、情報処理装置10dの通信圏内にトークン80が進入した場合には、ユーザの意志に関係なく自動的に制限が解除される。そのため、比較例4に係る制限解除機能を利用した場合には、ユーザが意図しないタイミングで制限が解除される場合もあり、情報処理装置10dの通信圏内の広さが十分に制限されていない場合には、セキュリティを確保するために必ずしも有効に働くとは限らない。
 なお、無線の通信規格の中には、通信時の信号の電波強度等により装置間の距離を測定できるものもあるため、当該機能を利用することで、制限解除機能が動作する情報処理装置10dを基点とした範囲(即ち、情報処理装置10dからの距離)を制限する方法もある。
 しかしながら、信号の電波強度等による装置間の距離測定の精度は、必ずしも高いとは言えず、遮蔽物等が存在する場合には当該精度が更に低下する場合もある。そのため、使用環境によっては、制限解除機能が動作する範囲が不安定となり、極端な例では、ユーザが意図しないタイミングで制限が解除される場合や、情報処理装置10dに対してトークン80が近づいたことが検出されず制限解除機能が動作しない場合もある。
 そこで、本実施形態に係る情報処理システムとして、セキュリティを確保でき、かつ、ユーザが意図するタイミングで、より簡便な手順により制限を解除することが可能な仕組みを提案する。
 例えば、図5は、本実施形態に係る情報処理システムの制限解除機能について説明するための説明図である。図5に示すように、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する際に、自身の所有する情報処理装置10とウェアラブル端末30とを振る等の動作により、当該情報処理装置10及びウェアラブル端末30の双方を振動させる。図5に示す例では、ユーザは、腕時計型のウェアラブル端末30を腕に装着し、当該ウェアラブル端末30が装着された側の手で情報処理装置10を把持した状態で、当該情報処理装置10及びウェアラブル端末30の双方を振動させている。
 情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて、振動に基づく筐体の位置及び向きの少なくともいずれかの時系列に沿った変化を、直接的または間接的に示した特徴量ベクトル(例えば、変位データ)を取得する。そして、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて取得した特徴量ベクトルに基づき、ロック機能により施された所定の制限を解除する。具体的には、情報処理装置10は、情報処理装置10及びウェアラブル端末30の各特徴量ベクトルに基づき、情報処理装置10とウェアラブル端末30とのそれぞれが振られているか否かの判定と、それぞれの特徴量ベクトルの類似度の判定との、いずれかまたは双方を実行する。そして、情報処理装置10は、実行した判定の結果に基づき、ロック機能により施された所定の制限を解除する。
 例えば、図5に示す例では、情報処理装置10及びウェアラブル端末30の双方は、同じ手(腕)に保持されている。そのため、ユーザが、情報処理装置10及びウェアラブル端末30が保持された手(腕)を振った場合に、当該情報処理装置10及びウェアラブル端末30それぞれの筐体の位置や向きの時系列に沿った変化(即ち、特徴量ベクトル)は類似することとなる。また、それぞれの特徴量ベクトルは、情報処理装置10とウェアラブル端末30とが、ユーザにより意識的に振られている場合には、ユーザにより各装置を意識的に振られていない場合とは異なる特有の特徴(例えば、特有の周波数スペクトル)を持つ波形となる。
 また、ウェアラブル端末30は、例えば、Bluetooth(登録商標)規格に基づくペアリング等のような事前の関連付けに基づき、情報処理装置10との間で通信が確立されている。このことから、当該ウェアラブル端末30は、比較例4に示したトークン80と同様に、情報処理装置10に施された制限を解除するためのデバイスとして、信頼性が保証されているものとみなすことができる。
 このように、本実施形態に係る情報処理システムでは、情報処理装置10は、あらかじめ関連付けられたウェアラブル端末30に対応する特徴量ベクトル(例えば、変位データ)を取得し、取得した特徴量ベクトルと、自身の特徴量ベクトルとに基づき、ロック機能により施された所定の制限を解除する。このとき、情報処理装置10は、自身の特徴量ベクトルと、ウェアラブル端末30の特徴量ベクトルとを比較し、各特徴量ベクトルが類似している場合に、ロック機能により施された所定の制限を解除してもよい。また、他の一例として、情報処理装置10は、自身の特徴量ベクトルと、ウェアラブル端末30の特徴量ベクトルとの双方が、あらかじめ規定された特徴を有している場合に、ロック機能により施された所定の制限を解除する。
 このような構成により、本実施形態に係る情報処理システムでは、取得される特徴量ベクトル(例えば、変位データ)として、制限を解除するたびに異なるデータが生成されることになる。そのため、本実施形態に係る情報処理システムによれば、所謂ショルダーハッキング等の盗み見による制限解除のための情報の漏えいに伴い、悪意のあるユーザにより不正に制限が解除されるといった事態の発生を抑止することが可能となる。
 また、本実施形態に係る情報処理システムでは、悪意のあるユーザは、情報処理装置10単体では、当該情報処理装置10の制限を解除することが困難である。即ち、悪意のあるユーザが、情報処理装置10の制限を解除しようとした場合には、情報処理装置10及びウェアラブル端末30の双方を共に取得する必要がある。また、情報処理装置10及びウェアラブル端末30の所有者が、当該情報処理装置10及びウェアラブル端末30の双方を同時に紛失するといった事態は、いずれか一方のみを紛失する事態よりも発生する確率が低いことは言うまでもない。そのため、本実施形態に係る情報処理システムは、運用の観点からも、比較的高いセキュリティを確保することが可能となる。
 また、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する場合に、情報処理装置10及びウェアラブル端末30の双方を意識的に振動させる必要がある。そのため、比較例4(図4参照)として前述した例のように、ユーザが意図しないタイミングで制限が解除されるといった事態の発生を防止することが可能となる。
 なお、詳細は後述するが、振動に基づく筐体の位置及び向きの少なくともいずれかの時系列に沿った変化を、直接的または間接的に示すことが可能であれば、特徴量ベクトルとして取得されるデータの内容は特に限定されない。なお、本開示における特徴量ベクトルには、一次元のベクトル(換言すると、スカラー値)を示すデータも含み得る。
 以上、図5を参照して、本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムについて、さらに詳しく説明する。
 <2.機能構成>
 図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図6は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
 図6に示すように、情報処理装置10は、制御部11と、センサ部13と、UI15と、通信部17とを含む。また、ウェアラブル端末30は、制御部31と、センサ部33と、UI35と、通信部37とを含む。
 通信部37は、ウェアラブル端末30と情報処理装置10との間でネットワークn1を介した通信を確立し、当該ウェアラブル端末30内の各構成が当該ネットワークn1を介してデータを送受信するための構成である。通信部37は、例えば、Bluetooth(登録商標)規格のようなIEEE802.15規格に基づく通信や、Wi-Fi(登録商標)のようなIEEE802.11規格に基づく通信等の無線通信を実現するための通信デバイスとして構成され得る。
 なお、以降では、ウェアラブル端末30内の各構成が、ネットワークn1を介して情報処理装置10とデータの送受信を行う場合には、特に記載が無い場合においても、通信部37を介してデータの送受信を行うものとする。
 センサ部33は、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの変化を検出し、検出した当該変化を示す情報を制御部31に逐次出力する。センサ部33は、例えば、加速度センサや角速度センサ等の、所定の筐体の位置や向きの変化を検出可能な各種センサにより実現され得る。
 なお、センサ部33の動作は、制御部31からの制御に基づき一時的に停止できるようにしてもよいし、停止した動作を、制御部31からの制御に基づき再開できるようにしてもよい。
 UI35は、ユーザがウェアラブル端末30を操作するためのユーザインタフェースである。UI35は、例えば、操作部351と、表示部353とを含んでもよい。
 操作部351の具体的な一例として、ボタンやタッチパネルなどのように、ユーザがウェアラブル端末30を操作するための入力デバイスが挙げられる。また、表示部353の具体的な一例としては、ディスプレイ等のように、ウェアラブル端末30がユーザに対して情報を提示するための出力デバイスが挙げられる。
 制御部31は、センサ部33から出力される、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとして当該情報処理装置10にネットワークn1を介した送信する。なお、制御部31は、ネットワークn1を介した情報処理装置10からの指示に基づき、変位データを当該情報処理装置10に送信してもよい。また、他の一例として、制御部31は、UI35を介したユーザからの指示に基づき、変位データを情報処理装置10に送信してもよい。
 また、制御部31は、UI35を介したユーザからの指示に基づき、センサ部33の動作を制御してもよい。具体的な一例として、制御部31は、UI35を介したユーザからの指示に基づき、センサ部33の動作を一時的に停止してもよい。また、制御部31は、UI35を介したユーザからの指示に基づき、センサ部33の動作を再開させてもよい。
 通信部17は、情報処理装置10とウェアラブル端末30との間でネットワークn1を介した通信を確立し、当該情報処理装置10内の各構成が当該ネットワークn1を介してデータを送受信するための構成である。通信部17は、例えば、Bluetooth(登録商標)規格のようなIEEE802.15規格に基づく通信や、Wi-Fi(登録商標)のようなIEEE802.11規格に基づく通信等の無線通信を実現するための通信デバイスとして構成され得る。
 なお、以降では、情報処理装置10内の各構成が、ネットワークn1を介してウェアラブル端末30とデータの送受信を行う場合には、特に記載が無い場合においても、通信部17を介してデータの送受信を行うものとする。
 センサ部13は、情報処理装置10の筐体の位置及び向きのうち少なくともいずれかの変化を検出し、検出した当該変化を示す情報を制御部11に逐次出力する。センサ部13は、例えば、加速度センサや角速度センサ等の、所定の筐体の位置や向きの変化を検出可能な各種センサにより実現され得る。
 なお、センサ部13の動作は、制御部11からの制御に基づき一時的に停止できるようにしてもよいし、停止した動作を、制御部11からの制御に基づき再開できるようにしてもよい。
 UI15は、ユーザが情報処理装置10を操作するためのユーザインタフェースである。UI15は、例えば、操作部151と、表示部153とを含んでもよい。
 操作部151の具体的な一例として、ボタンやタッチパネルなどのように、ユーザがウェアラブル端末30を操作するための入力デバイスが挙げられる。また、表示部153の具体的な一例としては、ディスプレイ等のように、情報処理装置10がユーザに対して情報を提示するための出力デバイスが挙げられる。
 制御部11は、変位データ取得部111と、データ補間部113と、特徴抽出部115と、判定部117とを含む。
 (変位データ取得部111)
 変位データ取得部111は、UI15(即ち、操作部151)を介したユーザからの指示に基づき、センサ部13から出力される、情報処理装置10の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとして取得する。
 また、変位データ取得部111は、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す変位データを、ネットワークn1を介して当該ウェアラブル端末30から取得する。このとき、変位データ取得部111は、ウェアラブル端末30に対して、変位データの送信を指示してもよい。また、他の一例として、変位データ取得部111は、ウェアラブル端末30からの変位データの送信を受動的に待ち受けてもよい。
 また、変位データ取得部111は、所定の処理の実行(もしくは、当該処理の実行に伴い発生するイベント)をトリガとして、変位データの取得を開始してもよい。具体的な一例として、変位データ取得部111は、表示部153に制限解除のための画面が表示された場合に、当該画面の表示に係る処理の実行をトリガとして、変位データの取得を開始してもよい。
 また、変位データ取得部111が、変位データの取得を終了するタイミングが明示的に規定されていてもよい。具体的な一例として、変位データ取得部111は、ロック機能により施された所定の制限が解除された場合に、当該制限の解除をトリガとして、変位データの取得を終了してもよい。
 また、他の一例として、変位データ取得部111は、ウェアラブル端末30側で変位データの送信のための処理が終了した場合(例えば、アプリケーションが終了した場合)に、当該処理の終了をトリガとして、変位データの取得を終了してもよい。
 上記に示すように、変位データ取得部111が、変位データの取得を終了するタイミングが明示的に規定されることで、例えば、変位データの取得や当該変位データの送信に係る処理が常時動作するといった事態を防止し、消費電力を低減することが可能となる。
 もちろん、上記に示す例はあくまで一例であり、変位データ取得部111が、変位データの取得を開始するタイミングや、変位データの取得を終了するタイミングを制御できれば、当該制御を実現するための構成や方法は特に限定されない。
 以上のようにして、変位データ取得部111は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを取得する。そして、変位データ取得部111は、取得した情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113に出力する。
 (データ補間部113)
 データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、変位データ取得部111から取得する。データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを相互に比較可能にするために、当該変位データ中に含まれる各検出結果(以降では、「サンプルデータ」と呼ぶ場合がある)に基づき、当該変位データに対して新たなサンプルデータを補間するための構成である。
 具体的には、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データは、当該変位データに含まれる各サンプルデータが、必ずしも同期して取得されているとは限らず、サンプルデータの数(以降では、「サンプル数」と呼ぶ場合がある)も等しいとは限らない。換言すると、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データは、必ずしもサンプリングレートが一致しているとは限らない。
 具体的な一例として、情報処理装置10のセンサ部13と、ウェアラブル端末30のセンサ部33とは、必ずしも性能が一致しているとは限らない。そのため、例えば、センサ部13及び33のうち、一方のセンサ部が1秒間に取得するサンプル数が、他方のセンサ部が1秒間に取得するサンプル数より少ない場合もある。
 また、センサ部13及び33を構成する各種センサは、必ずしも筐体の位置や向きの変化を逐次検出しているとは限らず、例えば、筐体の位置や向きが変化した場合に、当該変化を検出するように構成されている場合もある。そのため、変位データとして、必ずしも一定のタイミングごとにサンプルデータが取得されているとは限らず、0.1秒間に10個のサンプルデータが取得される場合もあれば、1個もサンプルデータが取得されない場合もある。
 このような場合には、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを比較することが困難な場合がある。そこで、データ補間部113は、各変位データに含まれるサンプルデータに基づき、当該変位データに対して新たなサンプルデータを補間する。
 具体的な一例として、データ補間部113は、サンプリングレートの低い方の変位データに対して、例えば、アップサンプリング処理を施すことで、当該変位データのサンプリングレートを、サンプリングレートの高い方の変位データにあわせてもよい。
 なお、既存の変位データに対して、新たなサンプルデータを補間する方法の一例としては、ラグランジュ多項式補間等に代表される、多項式補間を利用する方法が挙げられる。この場合には、例えば、データ補間部113は、変位データ中に含まれる各サンプルデータに基づき、当該サンプルデータが導出される波形(関数)を求め、当該波形に基づき、当該変位データ中に含まれる各サンプルデータ間に、新たなサンプルデータを補間する。
 また、他の一例として、データ補間部113は、各変位データをモデル化し、モデル化された変位データに基づき、モデル化される前の変位データに対して他のサンプルデータを補間してもよい。
 モデルの具体的な一例としては、多項式基底や三角多項式基底を利用した線形回帰、カーネルモデルを利用した線形回帰、及び、ニューラルネットワークを利用した非線形回帰等を利用した方法が挙げられる。この場合には、例えば、データ補間部113は、変位データ中に含まれる各サンプルデータに基づき近似線を求め、当該近似線に基づき、当該変位データ中に含まれる各サンプルデータ間に、新たなサンプルデータを補間する。
 また、データ補間部113は、上記に示した方法に基づき各変位データをモデル化し、モデル化された当該変位データを、新たな変位データ(即ち、サンプルデータが補間された変位データ)として取得してもよい。この場合には、例えば、データ補間部113は、変位データ中に含まれる各サンプルデータに基づき近似線を求め、当該近似線上のデータを、新たなサンプルデータとして取得する。そして、データ補間部113は、取得した新たなサンプルデータに基づき、新たな変位データを定義すればよい。
 なお、上記に示す例は、あくまで一例であり、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データのうち、少なくともいずれかの変位データに対して新たなサンプルデータを補間できれば、その方法は必ずしも上記に示す例には限定されない。
 以上のようにして、データ補間部113は、取得した各変位データのいずれかまたは双方に対して上述したサンプルデータを補間する処理を施し、処理後の各変位データを特徴抽出部115に出力する。
 (特徴抽出部115)
 特徴抽出部115は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113から取得する。特徴抽出部115は、取得した各変位データから、当該変位データに含まれるサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく特徴量ベクトルを生成するための構成である。
 具体的には、取得された情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データは、そのままの形式では、相互に比較することが困難な場合がある。具体的な一例として、センサ部13が、情報処理装置10の位置や向きの変化を検出する座標系と、センサ部33が、ウェアラブル端末30の位置や向きの変化を示す座標系とは、必ずしも一致しているとは限らない。また、絶対座標系においても、情報処理装置10が振動する方向と、ウェアラブル端末30が振動する方向とが必ずしも一致しているとは限らない。また、情報処理装置10と、ウェアラブル端末30とでは、振動時の振れ幅や振動する向きが異なる場合もあり、換言すると、筐体の位置や向きの変化量や変化する方向が互いに異なる場合もある。
 また、ユーザが情報処理装置10やウェアラブル端末30を意識してその都度同じように振動させたとしても、必ずしも、各動作が厳密に一致するとは限らず、当該動作に基づき取得される変位データに再現性があるとは限らない。また、ユーザが情報処理装置10やウェアラブル端末30等の装置を振動させる場合に、当該装置を保持する方向が異なれば、当該装置が振動する方向も異なることとなる。また、情報処理装置10やウェアラブル端末30等の装置が保持される状態によっても、当該装置の振動のしかたが変化する場合がある。具体的な一例として、ウェアラブル端末30がユーザの手首にしっかり保持されていない状態では、例えば、ユーザが腕を振ることでウェアラブル端末30を振動させた場合に、当該振動に応じて手首に対するウェアラブル端末30の相対位置(例えば、手首に対してウェアラブル端末30が保持される位置や向き)も変化する場合がある。これにより、ウェアラブル端末30の振動は、腕が振られる方向に向けた振動に対して、手首に対する当該ウェアラブル端末30の相対位置の変化のようなランダム要素が加わり、より複雑化する。
 このような場合には、情報処理装置10に対応する変位データと、ウェアラブル端末30に対応する変位データとを単純に比較しても、双方が類似しているか否かを判定することが困難な場合がある。また、機械学習アルゴリズムで生成された識別関数に適用する際にも、変位データを、当該変位データの特徴をよく表現する特徴量ベクトルに変換して適用すると、一般に識別性能が向上すると言われている。そこで、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから特徴値を抽出することで、取得した変位データを、当該特徴値に基づく特徴量ベクトルに変換してもよい。なお、このとき、特徴抽出部115は、後述する判定部117が扱いやすい形式(換言すると、判定部117の認識精度を向上させることが可能な形式)の特徴量ベクトルに変換してもよい。例えば、特徴抽出部115は、各変位データに含まれる次元ごと(例えば、x方向及びy方向)の変化量の分散に偏りがある場合には、次元ごとの変化量を正規化することで分散の偏りを緩和することで、変位データを、判定部117が扱いやすい形式の特徴量ベクトルに変換してもよい。
 より具体的な一例として、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから極値を特徴値として抽出し、当該極値を時系列に沿って並べた特徴量ベクトルを生成してもよい。このように、抽出された極値に基づき特徴量ベクトルを生成することで、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ中の各極値が検出されたタイミングが一致するか否かに応じて、当該変位データ間が類似するか否かを判別することが可能となる。
 また、他の一例として、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれを振動させた場合の各変位データを波形データとみなし、その波形のスペクトル情報を特徴値として、特徴量ベクトルを生成してもよい。具体的な一例として、特徴抽出部115は、フーリエ変換や三角多項式基底による回帰により、変位データが示す波形からスペクトルを抽出してもよい。例えば、以下に示す(式1)は、フーリエ変換に基づき、時系列に沿った変位データf(t)を、周波数の関数F(w)に変換する(即ち、スペクトル情報に変換する)場合の計算式の一例を示している。
Figure JPOXMLDOC01-appb-M000001
 また、他の一例として、特徴抽出部115は、各変位データ中の各サンプルデータが示す変化量を特徴値として抽出してもよい。具体的な一例として、特徴抽出部115は、所謂直交座標系(例えば、x軸、y軸、及びz軸で規定される座標系)の各軸に沿った変化量を特徴値として抽出してもよい。この場合には、特徴抽出部115は、各軸の所定の基準点に対する変化量を特徴値として抽出してもよい。また、他の一例として、特徴抽出部115は、時系列に沿って隣接するサンプルデータ間の変化量を特徴値として抽出してもよい。
 また、変化量を特徴値として抽出する場合には、その座標系は必ずしも直交座標系には限定されない。具体的な一例として、特徴抽出部115は、所謂極座標系(例えば、動径rと、偏角θ,φとで規定される球座標系)に基づき、変化量を特徴値として抽出してもよい。
 また、他の一例として、特徴抽出部115は、所定の座標系における距離の変化に限らず、例えば、角度の変化を特徴値として抽出してもよい。例えば、特徴抽出部115は、変位データ中に含まれるサンプルデータを基に、所定の座標系におけるベクトルを定義し、当該ベクトルが、当該座標系の各軸との間で成す角度を特徴値として抽出してもよい。
 また、特徴抽出部115は、特徴値を抽出するために変位データを変換してもよい。例えば、特徴抽出部115は、変位データに含まれるサンプルデータが、所定の座標系で規定されている場合には、他の座標系のデータに変換してもよい。具体的な一例として、特徴抽出部115は、直交座標系で規定されている各サンプルデータを、極座標変換することで、極座標系のサンプルデータに変換してもよい。もちろん、特徴抽出部115は、極座標系で規定されている各サンプルデータを、直交座標系のサンプルデータに変換してもよい。
 また、特徴抽出部115は、主成分分析(PCA:principal component analysis)に基づき、変位データを、当該変位データに含まれる各サンプルデータの主成分に基づく新たな変位データに変換してもよい。このような変換により、特徴抽出部115は、例えば、直交座標系に基づきx軸、y軸、及びz軸(即ち、3軸)それぞれに沿った変化量を示す各サンプルデータを、主成分を示す軸(即ち、1軸)に沿った変化量を示す特徴量ベクトルに変換することができる。これにより、後述する判定部117による、変位データ間の類似度の判定に係る処理の負荷を軽減することが可能となる。
 また、他の一例として、特徴抽出部115は、正準相関分析(CCA:canonical correlation analysis)に基づき、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データを、他の新たな変位データに変換してもよい。この場合には、例えば、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データ間で、当該変位データに含まれる各サンプルデータの変化量の相関関係が高い成分を、当該各変位データそれぞれについて導出する。そして、特徴抽出部115は、各変位データそれぞれを、当該変位データについて導出した成分に基づく特徴量ベクトルに変換すればよい。
 このように、主成分分析(PCA)や正準相関分析(CCA)に基づき変位データを変換することで、情報処理装置10とウェアラブル端末30とのそれぞれについて、より変化の大きい方向を軸として、特徴量ベクトルを取得することが可能となる。これにより、例えば、ユーザが、情報処理装置10やウェアラブル端末30を振動させる方向が、その都度異なるような状況下においても、より変化の大きい方向を軸として、情報処理装置10とウェアラブル端末30との間で、振動方向の軸をあわせることが可能となる。即ち、主成分分析(PCA)や正準相関分析(CCA)に基づき変位データを変換することで、情報処理装置10及びウェアラブル端末30の各装置がユーザに保持される向きの違いや、当該装置が振動する方向の違いに対して、ロバスト性を持たせることが可能となる。
 また、他の一例として、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれを振動させた場合の各変位データを教師データとして機械学習に基づき蓄積し、当該教師データに基づき特徴値を抽出するための関数を規定してもよい。
 具体的な一例として、特徴抽出部115は、教師データとしてあらかじめ蓄積された変位データから、情報処理装置10及びウェアラブル端末30それぞれの振動の傾向を分析し、当該分析結果に基づき、特徴的なデータを抽出する。また、特徴抽出部115は、教師データとして蓄積された各変位データと、抽出した当該特徴的なデータとに基づき、当該各変位データから当該特徴的なデータを抽出するため関数を導出する。
 そして、特徴抽出部115は、データ補間部113から取得した情報処理装置10及びウェアラブル端末30それぞれに対応する変位データに対して、教師データに基づき導出した関数を適用することで、特徴量ベクトルに変換してもよい。
 なお、上記に示す例は、あくまで一例であり、各変位データから特徴値として抽出されるデータの種別や、当該特徴値を抽出する方法、及び当該変位データを変換する方法は、必ずしも上記に示す例に限定されない。
 以上のようにして、特徴抽出部115は、取得した情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから、当該変位データに含まれるサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく特徴量ベクトルを生成する。このように、取得された変位データを特徴量ベクトルに変換することで、例えば、人間の動作の再現性やランダム要素(例えば、装置の保持状態に起因する振動)等により変位データにばらつきが生じるような状況下においても、当該ばらつきに対してロバスト性を持たせることが可能となる。
 そして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを、判定部117に出力する。
 (判定部117)
 判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを特徴抽出部115から取得する。そして、判定部117は、取得した各特徴量ベクトルが振動中に特有の特徴を持っているか否かの判定と、各特徴量ベクトルの類似度の判定との、いずれかまたは双方を実行する。
 例えば、判定部117は、情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトルとして、スペクトル情報を取得した場合には、当該スペクトル情報(即ち、振動の周波数)が、あらかじめ決められた周波数帯域に含まれるか否かを判定してもよい。
 具体的な一例として、ユーザは、ウェアラブル端末30が装着された身体の一部(例えば、腕)を意識的に振動させない限り、日常生活において2Hz以上で振動させることは稀である。また、ユーザが、ウェアラブル端末30が装着された身体の一部を3Hz以上で振動させることは困難な場合が多い。そのため、例えば、判定部117は、情報処理装置10及びウェアラブル端末30それぞれのスペクトル情報が、2Hz~3Hzの帯域内に含まれるか否かを判定してもよい。
 また、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度を判定できれば、類似度の判定方法は特に限定されない。例えば、判定部117は、特徴量ベクトル間の統計的指標に基づき類似度を判定してもよい。当該統計的指標の一例として、統計的距離、相関係数、相互情報量等が挙げられる。
 具体的な一例として、統計的距離を利用する場合には、判定部117は、各特徴量ベクトルそれぞれに含まれる要素を対応する要素ごとに相互に比較し、当該サンプルデータ間の差分を蓄積することで統計的距離を算出する。そして、判定部117は、算出した統計的距離が閾値を超えるか否かに応じて類似度を判定する。この場合には、統計的距離が閾値以下の場合には、双方の変位データは類似している、つまり、情報処理装置10の振動と、ウェアラブル端末30の振動とが類似しているとみなすことができる。もちろん、統計的距離が閾値を超える場合には、双方の変位データは類似していない、つまり、情報処理装置10の振動と、ウェアラブル端末30の振動とは類似していないとみなすことができる。
 また、他の一例として、相関係数を利用する場合には、判定部117は、各特徴量ベクトルそれぞれに含まれる要素を対応する要素ごとに相互に比較することで、当該特徴量間の相関関係を示す相関係数を算出する。そして、判定部117は、算出した相関係数が閾値を超えるか否かに応じて類似度を判定すればよい。
 また、相互情報量を利用する場合には、判定部117は、各特徴量ベクトルそれぞれに含まれる要素の値に基づき、当該各特徴量ベクトルそれぞれの要素の値の同時分布関数及び周辺確率分布関数を導出する。そして、判定部117は、導出した当該同時分布関数及び周辺確率分布関数に基づき、各特徴量ベクトルそれぞれの要素間における相互依存の尺度を示す相互情報量を算出し、当該相互情報量が閾値を超えるか否かに応じて類似度を判定すればよい。
 また、他の一例として、判定部117は、機械学習アルゴリズムにより生成された識別関数を利用することで、変位データ間の類似度判定及び振動中か否かの判定をしてもよい。この場合には、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ間の類似度の判定と情報処理装置10及びウェアラブル端末30が振られているか否かの判定に使用するデータを教師データとして事前に取得し蓄積しておく。
 類似度の判定に使用される識別関数の教師データは、例えば、あらかじめ取得された、情報処理装置10の振動とウェアラブル端末30の振動とが類似している場合の典型例を示す変位データと、類似していない場合の典型例を示す変位データを含む。
 具体的には、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似しているか否かの正しい判定結果のラベル(即ち、類似しているか否かを示す情報)とを対応付けることで教師データが生成される。もちろん、情報処理装置10の振動とウェアラブル端末30の振動とが類似している場合を示す変位データ系列の組には、当該変位データ間が類似していることを示すラベルが対応付けられればよい。同様に、情報処理装置10の振動とウェアラブル端末30の振動とが類似していない場合を示す変位データ系列の組には、当該変位データ系列間が類似していないことを示すラベルが対応付けられていればよい。
 また、情報処理装置10の振動とウェアラブル端末30のそれぞれを振っているか否かの判定に使用される識別関数の教師データは、例えば、あらかじめ取得された、情報処理装置10及びウェアラブル端末30を振動させている場合の典型例を示す変位データと、振動させていない場合の典型例を示す変位データを含む。
 具体的には、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが振動中のデータか否かの正しい判定結果のラベル(即ち、振動しているか否かを示す情報)とを対応付けることで教師データが生成される。もちろん、情報処理装置10及びウェアラブル端末30が振動している場合を示す変位データ系列には、当該変位データ系列が振動していることを示すラベルが対応付けられればよい。同様に、情報処理装置10ないしウェアラブル端末30が振動していない場合を示す変位データ系列には、当該変位データ間が振動していないことを示すラベルが対応付けられていればよい。
 そして、判定部117は、特徴抽出部115から取得した情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ間の類似度の判定と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定を、あらかじめ蓄積された教師データと比較することで実現してもよい。
 なお、判定部117が、あらかじめ蓄積された教師データに基づき変位データ間の類似度を判定できれば、その方法は特に限定されない。学習アルゴリズムの具体的な一例として、判定部117は、線形SVM(Support Vector Machine)、カーネルSVM、及びロジスティック回帰等の技術を利用して生成された識別関数によって、あらかじめ蓄積された教師データに基づき変位データ間の類似度を判定と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定を行なってもよい。これらの識別関数を用いた類似度判定の一例としては、情報処理装置10及びウェアラブル端末30のそれぞれから抽出した特徴量ベクトルの連結や差分により1つの特徴量ベクトルを導出し、これを識別関数に入力すればよい。また、2つの変位データ系列を差分や加算により1つの変位データ系列にした上で1つの特徴量ベクトルを抽出し、これを識別関数に適用してもよい。
 例えば、判定部117は、線形SVMと呼ばれる技術に基づき、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間が類似しているか否かをそれぞれ示す各クラスに分類するための境界面(所謂、超平面)を導出する。そして、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルが、導出した境界面のどちら側にあるか判別することで、いずれかのクラスに分類する。そして、判定部117は、一連の当該サンプルデータの組の分類結果に応じて、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似しているか否かを判別すればよい。ここでは特徴量ベクトルが類似しているか否かの判定について説明したが、情報処理装置10及びウェアラブル端末30が振られているか否かの判定についても同様である。
 また、カーネルSVMと呼ばれる技術を利用することで、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データから時系列に沿って抽出した特徴量ベクトルを分類するための境界面を、複雑な曲面として導出できる。即ち、カーネルSVMと呼ばれる技術を利用することで、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データから時系列に沿って抽出した特徴量ベクトルを、より高い精度で、前述した各クラスに分類することも可能となる。
 また、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データから時系列に沿って抽出した特徴量ベクトルを割り当てるべきクラスの事後確率を、ロジスティック回帰と呼ばれる技術に基づき学習してもよい。この場合には、判定部117は、抽出した特徴量ベクトルを、事後確率が最大となるクラスに分類すればよい。
 また、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データは、必ずしも同期して取得されているとは限らず、一方に対して他方が遅延している場合もある。そのため、判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、いずれか一方を時系列に沿ってシフト(例えば、遅延)させたうえで、当該変位データ間の類似度を判定してもよい。なお、この場合には、類似度の判定対象となる変位データ(即ち、いずれか一方を時系列に沿ってシフトさせた後の各変位データ)が、特徴量ベクトルに相当する。
 このように、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法として、Dynamic Time Warpingと呼ばれる手法が挙げられる。そこで、図7及び図8を参照して、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法の一例として、Dynamic Time Warpingと呼ばれる手法の概要について以下に説明する。図7及び図8は、互いに異なる複数の変位データのうち、少なくとも一方を時系列に沿ってシフトさせる方法の一例について説明するための説明図であり、Dynamic Time Warpingと呼ばれる手法の概要について説明するための図である。なお、図7及び図8は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ、即ち、各装置の筐体の位置及び向きのうち少なくともいずれかの変化を時系列に沿って並べたデータの一例を示している。
 図7及び図8において、横軸は時間を相対値で示しており、縦軸は各装置の筐体の変位(即ち、位置及び向きのうち少なくともいずれかの変化)を相対値で示している。また、図7及び図8において、系列1として示された各サンプルデータは、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうちいずれか一方の変位データに含まれる各サンプルデータの一例を示している。また、系列2として示された各サンプルデータは、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、他方の変位データ(系列1とは異なる側の変位データ)に含まれる各サンプルデータの一例を示している。
 Dynamic Time Warpingと呼ばれる手法を利用する場合には、判定部117は、図7に示すように、系列1のサンプルデータと系列2のサンプルデータとの差分Diを、時系列に沿って加算することで、系列1と系列2との間の統計的距離を算出する。
 次いで、判定部117は、図8に示すように、系列1及び系列2のうち、少なくともいずれかに対応する各サンプルデータを、時系列に沿って所定の時間幅Tjだけシフトさせる。そして、判定部117は、シフト後における系列1と系列2との間の統計的距離を改めて算出する。
 以上のようにして、判定部117は、系列1及び系列2のうち、少なくともいずれかに対応する各サンプルデータを時系列に沿ってシフトさせながら、系列1と系列2との間の統計的距離を逐次算出する。そして、判定部117は、算出された統計的距離を相互に比較し、当該統計的距離が最小となる時間幅Tを特定して、当該時間幅Tだけシフトさせた場合における、系列1で示された変位データと系列2で示された変位データ(即ち、特徴量ベクトル)の間で類似度を判定する。
 なお、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データのうち、少なくとも一方を時系列に沿ってシフト(例えば、遅延)させる場合には、当該シフト量(例えば、遅延量)の最大値(換言すると、シフト量の制限)を設けてもよい。具体的な一例として、シフト量の最大値が10秒に設定されている場合には、判定部117は、時間幅が10秒以下となる範囲内で変位データを時系列に沿ってシフトさせることとなる。
 なお、上記に説明した、判定部117による特徴量ベクトル間の類似度の判定に係る処理は、あくまで一例であり、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルの類似度が定量的に判定できれば、その方法は特に限定されない。
 上記に説明したように、判定部117は、取得した情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度を判定する。そして、判定部117は、当該変位データ間が類似していると判定した場合には、所謂ロック機能により施された所定の制限を解除する。
 以上のようにして、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル(例えば、変位データ)を取得する。そして、制御部11は、取得した各特徴量ベクトル間の類似度の比較結果と、情報処理装置10及びウェアラブル端末30それぞれを振っているかの判定結果とのうち、いずれかまたは双方に基づき、ロック機能により施された所定の制限を解除する。具体的には、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似している場合には、ロック機能により施された所定の制限を解除する。もちろん、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データが類似していない場合には、当該制限を解除しないことは言うまでもない。
 また、変位データ間が類似していないと判定した場合には、制御部11は、再度、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データを取得して、当該変位データ間の類似度を判定し直してもよい。なお、制御部11が、再度変位データを取得し、当該変位データ間の類似度の判定を行うための条件については、運用にあわせて適宜設定すればよいことは言うまでもない。具体的な一例として、制御部11は、変位データ間が類似していないと判定した回数が閾値以下の場合である限りは、再度変位データを取得し、当該変位データ間の類似度の判定を行ってもよい。ここでは特徴量ベクトルが類似しているか否かの判定について説明したが、情報処理装置10及びウェアラブル端末30それぞれが振動中であるか否かの判定についても同様である。
 また、データ補間部113と特徴抽出部115との処理順序は、必ずしも上記に示す例には限定されない。具体的な一例として、特徴抽出部115が、変位データに含まれるサンプルデータの特徴を示す特徴値に基づき生成した新たな変位データに対して、データ補間部113が新たなサンプルデータを補間してもよい。
 また、データ補間部113及び特徴抽出部115のうち、いずれかもしくは双方を動作させなくてもよい。具体的な一例として、取得された変位データに対して、データ補間部113による新たなサンプルデータの補間のみを施し、特徴抽出部115による特徴値の抽出及び当該特徴値に基づく新たな変位データの生成は行わなくてもよい。同様に、取得された変位データを基にした、特徴抽出部115による特徴値の抽出及び当該特徴値に基づく新たな変位データの生成のみを行い、データ補間部113による、変位データに対する新たなサンプルデータの補間は行わなくてもよい。前述の三角多項式基底を利用した回帰によるスペクトル抽出はこの具体例に当たる。もちろん、データ補間部113及び特徴抽出部115の双方を動作させずに、取得された各変位データを特徴量ベクトルとみなし直接比較することで当該変位データ間の類似度を判定する構成としてもよい。換言すると、変位データは、特徴量ベクトルの一例に相当し得る。
 以上、図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
 なお、図6を参照して説明した情報処理システムの機能構成は、あくまで一例であり、必ずしも図6に示す例には限定されない。
 具体的な一例として、上記に説明した例では、情報処理装置10が、ロック機能による制限を解除するための各種処理(即ち、制御部11の各構成に対応する処理)を実行する例について説明したが、当該処理の主体は必ずしも情報処理装置10には限定されない。具体的な一例として、ウェアラブル端末30が、ロック機能による制限を解除するための各種処理を実行してもよい。この場合には、例えば、情報処理装置10の制御部11に相当する構成を、ウェアラブル端末30に設ければ良い。
 また、このとき、ロック機能による制限の解除対象についても限定されない。例えば、ウェアラブル端末30が、情報処理装置10及び当該ウェアラブル端末30それぞれの特徴量ベクトルに基づき、情報処理装置10側に施された制限を解除してもよい。同様に、情報処理装置10が、当該情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトルに基づき、ウェアラブル端末30側に施された制限を解除してもよい。
 また、ロック機能による制限の解除の指示を行う主体についても、特に限定されない。具体的な一例として、ウェアラブル端末30からの指示を受けて、情報処理装置10が、ロック機能による制限を解除するための各種処理を実行してもよい。同様に、情報処理装置10からの指示を受けて、ウェアラブル端末30が、ロック機能による制限を解除するための各種処理を実行してもよい。
 また、情報処理装置10の制御部11は、ロック機能による制限を解除した場合に、このことをウェアラブル端末30に通知してもよい。この場合には、ウェアラブル端末30は、制御部11からの通知を受けて、ロック機能により情報処理装置10に対して施された制限が解除されたことをユーザに報知してもよい。このような構成により、例えば、第3者により情報処理装置10の制限が不正に解除された場合に、情報処理装置10のユーザ(所有者)は、このことを検知することが可能となる。
 なお、制御部11からの通知に基づきウェアラブル端末30が情報を報知する方法は特に限定されない。例えば、ウェアラブル端末30は、自身に設けられたアクチュエータを振動させることで、ユーザに情報を報知してもよい。また、他の一例として、ウェアラブル端末30は、自身に設けられたLEDを所定の態様(例えば、発光パターンや発光色)で発光させることで情報を報知してもよい。もちろん、ウェアラブル端末30は、UI35(具体的には、表示部353)を介して情報を報知してもよい。
 また、上記に説明した、制御部11による、情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトルに基づく制限解除の動作(以降は、「特徴量ベクトルに基づく制限解除の動作」と記載する場合がある)は、一時的に停止できるようにしてもよいし、停止した動作を再開できるようにしてもよい。
 具体的な一例として、情報処理装置10のUI15、または、ウェアラブル端末30のUI35を介したユーザの指示に基づき、制御部11は、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。もちろん、制御部11は、情報処理装置10のUI15、または、ウェアラブル端末30のUI35を介したユーザの指示に基づき、停止した動作を再開してもよい。
 また、他の一例として、制御部11は、情報処理装置10及びウェアラブル端末30のいずれかまたは双方の振動の変化量が閾値以下の場合の状態が、所定の時間以上継続した場合(例えば、各装置が放置されている場合)に、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。この場合には、例えば、制御部11は、対象となる装置の特徴量ベクトル(例えば、変位データ)の所定の時間内における変化量の平均値が、あらかじめ設定された閾値以下の場合に、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。
 また、他の一例として、制御部11は、ロック機能により制限が施されてから所定の時間が経過するまでの間は、特徴量ベクトルに基づく制限解除を行い、当該所定の時間の経過後は、特徴量ベクトルに基づく制限解除の動作を一時的に停止してもよい。このような構成により、ユーザが情報処理装置10を使用している際に、例えば、省電力のための設定によりロック機能が自動で動作し情報処理装置10に対して制限が施されたとしても、当該ユーザは、簡便な手順で再度制限を解除することが可能となる。
 <3.処理>
 次に、図9を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10の処理に着目して説明する。図9は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
 (ステップS101)
 まず、情報処理装置10の通信部17は、ウェアラブル端末30との間でネットワークn1を介した通信が確立されていない場合には、当該ウェアラブル端末30との間で所定の通信シーケンスを実行することで、当該ネットワークn1を介した通信を確立する。
 なお、このとき通信部17は、当該ウェアラブル端末30が通信の相手として登録されていない場合には、例えば、鍵交換等の所定の手続きをウェアラブル端末30との間で実行することで、当該ウェアラブル端末30を通信の相手として登録してもよい。
 通信部17が、ウェアラブル端末30を通信の相手として登録するための手続きとしては、例えば、Bluetooth(登録商標)規格に基づくペアリングや、Wi-Fi(登録商標)規格に基づくWPS(Wi-Fi Protected Setup)等が挙げられる。また、通信部17は、AES(Advanced Encryption Standard)等の共通鍵を利用した認証方式や、RSA、MQ等の公開鍵を利用した認証方式により、ウェアラブル端末30との間で相互に認証することで、当該ウェアラブル端末30を通信の相手として登録してもよい。もちろん、通信部17が、ウェアラブル端末30を通信の相手として登録するための手続きは、必ずしもネットワークn1を介して行われなくてもよい。具体的な一例として、通信部17は、インターネット等のようなネットワークn1とは異なる他のネットワークを介して、ウェアラブル端末30を通信の相手として登録するための手続きを実行してもよい。
 (ステップS103、S105)
 UI15を介したユーザからの指示を受けると(ステップS103)、変位データ取得部111は、センサ部13から出力される、情報処理装置10の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとして取得する(ステップS105)。
 また、変位データ取得部111は、ウェアラブル端末30の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す変位データを、ネットワークn1を介して当該ウェアラブル端末30から取得する(ステップS105)。このとき、変位データ取得部111は、ウェアラブル端末30に対して、変位データの送信を指示してもよい。また、他の一例として、変位データ取得部111は、ウェアラブル端末30からの変位データの送信を受動的に待ち受けてもよい。
 以上のようにして、変位データ取得部111は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを取得する。そして、変位データ取得部111は、取得した情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113に出力する。
 (ステップS107)
 データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、変位データ取得部111から取得する。データ補間部113は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを相互に比較可能にするために、当該変位データ中に含まれるサンプルデータに基づき、当該変位データに対して新たなサンプルデータを補間する。なお、変位データに対して新たなサンプルデータを補間する方法については、前述した通りのため、ここでは詳細な説明は省略する。
 そして、データ補間部113は、サンプルデータを補間する処理を施した、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、特徴抽出部115に出力する。
 特徴抽出部115は、情報処理装置10及びウェアラブル端末30のそれぞれに対応する変位データを、データ補間部113から取得する。特徴抽出部115は、取得した各変位データから、当該変位データに含まれるサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく特徴量ベクトルを生成する。なお、変位データに含まれるサンプルデータの特徴を示す特徴値に基づき特徴量ベクトルを生成する方法については、前述した通りのため、ここでは詳細な説明は省略する。
 そして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを、判定部117に出力する。
 (ステップS109)
 判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルを特徴抽出部115から取得し、取得した各特徴量ベクトルを相互に比較することで類似度を判定する。また、判定部117は、取得した各特徴量ベクトルに基づき、情報処理装置10及びウェアラブル端末30の双方が振られているか否かを判定してもよい。もちろん、判定部117は、取得した各特徴量ベクトル間の類似度の判定と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定との双方を実行してもよい。なお、各特徴量ベクトル間の類似度の判定方法と、情報処理装置10及びウェアラブル端末30が振られているか否かの判定方法とについては、前述した通りのため、ここでは詳細な説明は省略する。
 (ステップS113)
 判定部117は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度の比較結果に基づき、当該変位データ間が類似していると判定した場合には(ステップS111、YES)、所謂ロック機能により施された所定の制限を解除する。同様に、判定部117は、情報処理装置10及びウェアラブル端末30の双方が振られていると判定した場合には(ステップS111、YES)、所謂ロック機能により施された所定の制限を解除する。このように、判定部117は、実行した判定の結果が真の場合には、ロック機能により施された所定の制限を解除する。
 (ステップS115)
 もちろん、制御部11は、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルが類似していない場合には(ステップS111、NO)、当該制限を解除しないことは言うまでもない。同様に、情報処理装置10及びウェアラブル端末30の双方が振られていないと判定した場合には(ステップS111、NO)、制御部11は、当該制限を解除しない。このように、判定部117は、実行した判定の結果が偽の場合には、ロック機能により施された所定の制限を解除しない。
 なお、あらかじめ決められた再判定の条件を満たす場合には(ステップS115、YES)、制御部11は、再度、情報処理装置10及びウェアラブル端末30それぞれに対応する変位データを取得して、当該変位データ間の類似度を判定し直してもよい。このことは、情報処理装置10及びウェアラブル端末30が振られているか否かの判定についても同様である。もちろん、当該再判定の条件を満たしてない場合には(ステップS115、NO)、制御部11は、制限の解除に係る一連の処理を終了すればよい。
 以上、図9を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10の処理に着目して説明した。
 <4.変形例>
 次に、本実施形態に係る情報処理システムの変形例について説明する。
 [4.1.変形例1:利用形態の一例]
 まず、変形例1として、前述した実施形態に係る情報処理システムの利用形態の一例について説明する。前述した実施形態では、ユーザが、ウェアラブル端末30が装着された側の手で情報処理装置10を把持した状態で、情報処理装置10及びウェアラブル端末30の双方を振動させることで、当該情報処理装置10に施された所定の制限を解除する場合について説明した。
 一方で、情報処理装置10に施された制限を解除する際に、情報処理装置10とウェアラブル端末30とを互いに異なるユーザがそれぞれ保持し、当該ユーザそれぞれが、互いに自身が保持する装置を振動させることで、当該制限を解除できるようにしてもよい。
 例えば、図10は、変形例1に係る情報処理システムの概要について説明するための説明図である。図10に示す例では、ユーザUaが情報処理装置10を保持し、ユーザUbがウェアラブル端末30を保持している。このとき、ユーザUaは、ユーザUbがウェアラブル端末30を振動させる動作にあわせて、自身が保持する情報処理装置10を振動させることで、当該情報処理装置10に施された所定の制限を解除することが可能である。
 一方で、図10に示す例では、情報処理装置10とウェアラブル端末30とが、互いに異なるユーザにより振動させられるため、図5を参照して前述した実施形態のように、それぞれの振動が厳密には一致せず、一方の振動に対して他方の振動が遅延する場合もある。このような影響は、一人のユーザが、情報処理装置10とウェアラブル端末30とを、互いに異なる手で振動させた場合にも表れ得るが、図10に示すように、各装置をそれぞれ異なるユーザが振動させた場合には、より顕著に顕在化する傾向にある。
 そのため、変形例1に係る情報処理システムでは、情報処理装置10は、当該情報処理装置10及びウェアラブル端末30それぞれに対応する変位データ間の類似度を判定する際に、前述した実施形態(図5に示す例)に比べて閾値をより低く設定するとよい。このような構成により、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とを互いに異なるユーザが振動させた場合に生じる当該振動間の誤差を許容し、所定の制限を解除することが可能となる。
 このように、変位データ間の類似度の判定に用いる閾値を低く設定することで、変位データ間の誤差(即ち、情報処理装置10及びウェアラブル端末30それぞれの振動間の誤差)に対するロバスト性が向上する。
 一方で、当該閾値を低く設定した場合には、変位データ間の誤差がより許容されるようになるため、当該閾値が低く設定されるほど、ユーザが意図しないタイミングで制限が解除される確率も高くなる。そのため、変位データ間の類似度の判定に用いる閾値は、想定される使用形態に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
 同様に、変形例1に係る情報処理システムでは、変位データ間の類似度の判定に際して少なくとも一方の変位データを時系列に沿ってシフトさせる場合に、前述した実施形態(図5に示す例)に比べてシフト量の最大値をより大きく設定するとよい。このような構成により、情報処理装置10とウェアラブル端末30とを互いに異なるユーザが振動させることで、一方の装置の振動に対して他方の装置の振動が遅延したとしても、情報処理装置10は、当該遅延を許容し、所定の制限を解除することが可能となる。
 このように、変位データを時系列に沿ってシフトさせる場合のシフト量の最大値をより大きく設定することで、一方の装置の振動に対する他方の装置の振動の遅延に伴い生じる、変位データ間の誤差に対するロバスト性が向上する。そのため、例えば、当該シフト量の最大値がより大きく設定されることで、情報処理装置10とウェアラブル端末30との間の通信時に遅延が生じるような状況下でも、情報処理装置10は、通信に伴う遅延を許容して制限を解除することも可能となる。
 一方で、当該シフト量の最大値を大きく設定した場合には、変位データ間の誤差がより許容されるようになるため、当該シフト量の最大値が大きく設定されるほど、ユーザが意図しないタイミングで制限が解除される確率も高くなる。そのため、変位データを時系列に沿ってシフトさせる場合のシフト量の最大値は、想定される使用形態に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
 このように、変位データ間の類似度を判定するための閾値や、変位データを時系列に沿ってシフトさせる場合のシフト量を、情報処理システムの使用形態にあわせて適宜調整してもよい。これにより、例えば、図10に示す例のように、ユーザUaは、ユーザUbがウェアラブル端末30を振動させる動作にあわせて、自身が保持する情報処理装置10を振動させることで、当該情報処理装置10の制限を解除することが可能となる。
 [4.2.変形例2:システム構成の一例]
 次に、変形例2として、本実施形態に係る情報処理システムのシステム構成の一例について、図11を参照して説明する。図11は、変形例2に係る情報処理システムの概要について説明するための説明図である。
 前述した実施形態では、情報処理装置10が、当該情報処理装置10の振動に基づく変位データと、ウェアラブル端末30の振動に基づく変位データとを、1対1で比較することで、当該変位データ間の類似度を判定し、判定結果に応じて所定の制限を解除していた。これに対して変形例2では、制限を解除する際に振動させる装置の数を、2よりも大きい数に拡張させた場合の例について説明する。
 図11に示すように、変形例2に係る情報処理システムは、サーバ90と、情報処理端末30a~30dとを含む。なお、図11に示す例では、情報処理端末30a~30dは、それぞれ異なるユーザUa~Udに保持されている。また、図11に示す例では、サーバ90が、所定の制限を解除する主体として設定されており、当該サーバ90は、セキュリティゲート91の制限解除(即ち、ロックの解除)を制御する。
 具体的には、ユーザUa~Udそれぞれが、自身が保持する情報処理端末30a~30dを振動させた場合に、当該情報処理端末30a~30dのそれぞれは、筐体の位置及び向きのうち少なくともいずれかを逐次検知する。そして、当該情報処理端末30a~30dのそれぞれは、筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を示す情報を、変位データとしてサーバ90に送信する。
 サーバ90は、情報処理端末30a~30dのそれぞれから変位データを取得すると、取得した各変位データ(換言すると、特徴量ベクトル)を相互に比較することによる当該変位データ間の類似度判定と、取得した各変位データが振動していることを示す特徴を持つか否かの判定とのうち、いずれかまたは双方を実行する。なお、このときサーバ90は、前述した実施形態に係る情報処理装置10と同様に、取得した変位データに対して新たなサンプルデータを補間してもよい。また、サーバ90は、前述した実施形態に係る情報処理装置10と同様に、取得した変位データに含まれる各サンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく新たな変位データを生成してもよい。
 そして、サーバ90は、情報処理端末30a~30dのそれぞれから取得した変位データが類似していると判定した場合には、セキュリティゲート91の制限(例えば、ロック)を解除する。
 以上、図11に示す情報処理端末30a~30dのように、所定の制限を解除する際にユーザが振動させる装置(即ち、筐体の振動を検知し変位データを出力する装置)の数は、2以上であれば特に限定されない。
 なお、ユーザが振動させる装置(例えば、情報処理端末30a~30d)の数が増加するほど、各装置の振動が厳密に一致する確率は低くなり、当該各装置の振動間の誤差が大きくなる傾向にある。そのため、例えば、サーバ90が各装置に対応する特徴量ベクトル(例えば、変位データ)間の類似度を判定するための閾値は、ユーザが振動させる装置の数に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
 また、サーバ90は、ユーザが振動させる装置の数に応じて、各装置に対応する特徴量ベクトル間の類似度を判定するための閾値を動的に変更してもよい。この場合には、サーバ90は、例えば、ユーザが振動させる装置の数が増加するほど、よりロバスト性が向上するように(例えば、閾値がより低くなるように)、当該閾値を変更すればよい。
 同様に、ユーザが振動させる装置の数が増加するほど、各装置の振動が厳密に同期する確率は低くなる。そのため、サーバ90が変位データを時系列に沿ってシフトさせる場合のシフト量の最大値は、ユーザが振動させる装置の数に応じて、事前の実験の結果等に基づき適宜設定されるとよい。
 また、サーバ90は、ユーザが振動させる装置の数に応じて、変位データを時系列に沿ってシフトさせる場合のシフト量の最大値を動的に変更してもよい。この場合には、サーバ90は、例えば、ユーザが振動させる装置の数が増加するほど、よりロバスト性が向上するように(例えば、シフト量の最大値がより大きくなるように)、当該最大値を変更すればよい。
 また、図11に示すサーバ90と情報処理端末30a~30dとの関係のように、複数の特徴量ベクトル間の類似度を判定して制限を解除する装置と、ユーザが振動させる装置(即ち、筐体の振動を検知し変位データとして出力する装置)とは、互い異なる装置として構成されていてもよい。もちろん、前述した実施形態に係る情報処理システム(例えば、図5及び図6)のように、ユーザが振動させる装置のいずれかが、複数の特徴量ベクトル間の類似度を判定して制限を解除するように構成されていてもよい。
 なお、図11に示す例の場合には、サーバ90と、情報処理端末30a~30dのそれぞれとが、ネットワーク介して接続されていればよく、情報処理端末30a~30d中の各装置間は、必ずしもネットワークを介して接続されていなくてもよい。なお、この場合には、情報処理端末30a~30dのそれぞれが、サーバ90の通信の相手として登録されることになる。即ち、サーバ90が、情報処理端末30a~30dそれぞれを通信の相手として認識することで、当該情報処理端末30a~30dが間接的に関連付けられることとなる。
 また、図11に示すサーバ90とセキュリティゲート91との関係のように、所定の制限を解除する主体と、当該制限解除の対象となる客体とは、互い異なる装置として構成されていてもよい。もちろん、前述した実施形態に係る情報処理システム(例えば、図5及び図6)のように、所定の制限を解除する主体と、当該制限解除の対象となる客体とが、同じ装置内に設けられていてもよい。
 以上、変形例2として、図11を参照して、本実施形態に係る情報処理システムのシステム構成の一例として、制限を解除する際に振動させる装置の数を、2より大きい数に拡張させた場合の例について説明した。
 [4.3.変形例3:制限の解除に係る制御例]
 次に、変形例3として、本実施形態に係る情報処理システムによる、制限の解除に係る制御の一例について説明する。
 前述した実施形態に係る情報処理システムでは、例えば、情報処理装置10及びウェアラブル端末30それぞれを振動させた場合の各変位データを波形データとみなし、その波形のスペクトル情報を特徴値として、特徴量ベクトルを生成していた。具体的には、前述した実施形態に係る情報処理システムでは、例えば、フーリエ変換や三角多項式基底による回帰により、情報処理装置10及びウェアラブル端末30それぞれで検出された変位データが示す波形からスペクトルを抽出していた。このように、前述した実施形態に係る情報処理システムでは、情報処理装置10及びウェアラブル端末30それぞれで検出された、ユーザの周期的な動作(換言すると、周波数の時間変化が小さい動作)の検出結果を対象として、制限の解除に係る判定を行っていた。
 これに対して、変形例3では、ユーザの瞬間的な動作(換言すると、周波数の時間変化が大きい動作)の検出結果を対象として、制限の解除に係る判定を行う場合の、本実施形態に係る情報処理システムによる、当該制限の解除に係る制御の一例について説明する。なお、本説明では、前述した実施形態に係る情報処理システムと異なる部分として、特に、特徴抽出部115及び判別部117の動作に着目して説明し、その他の構成については、詳細な説明は省略する。
 (特徴抽出部115)
 変形例3に係る情報処理システムでは、特徴抽出部115は、取得された情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから、所定の時間内に検出された瞬間的な位置や向きの大きな変化(以降では、「瞬間的な動作」と称する場合がある)を検出する。なお、このとき情報処理装置10及びウェアラブル端末30のうち、一部からのみ瞬間的な動作が検出された場合(即ち、他の一部から瞬間的な動作が検出されなかった場合)には、以降の処理は行われず、制限の解除は行われない。
 特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれに対応する各変位データから瞬間的な動作が検出された場合には、対応する変位データから当該動作が検出されたタイミングを含む所定の時間幅分のデータを抽出する。具体的な一例として、特徴抽出部115は、瞬間的な動作が検出されたタイミングの前後所定秒分のデータを、対応する変位データから抽出する。
 次いで、特徴抽出部115は、変位データから抽出した所定の時間幅分のデータに対してウェーブレット解析を施す(即ち、当該データをウェーブレット変換する)ことで、当該ウェーブレット解析の結果として当該所定の時間幅分のデータから特徴量を抽出する。なお、以降では、ウェーブレット解析に基づき抽出される特徴量を、「ウェーブレット特徴」と記載する場合がある。
 ここで、ウェーブレット解析の概略について説明する。ウェーブレット解析とは、時系列に沿った変位データ(即ち、抽出された所定幅分のデータ)f(t)から、マザーウェーブレットψ(t)を、時間bだけシフトさせ、時間方向にaだけひきのばした成分を、各(a,b)ごとにウェーブレット特徴W(a,b)として抽出する処理に相当する。具体的な一例として、ウェーブレット特徴W(a,b)は、以下に示す(式2)に基づき算出される。
Figure JPOXMLDOC01-appb-M000002
 なお、マザーウェーブレットψ(t)として使用されるデータは特に限定されない。例えば、図13及び図14は、マザーウェーブレットψ(t)の一例を示した図である。図13は、「Shannonウェーブレット」と呼ばれる、マザーウェーブレットψ(t)の一例である。また、図14は、「Mexican Hat」と呼ばれる、マザーウェーブレットψ(t)の一例である。また、マザーウェーブレットψ(t)の他の一例としては、「Daubechiesウェーブレット」、「Meyerウェーブレット」、及び「Gaborウェーブレット」等が挙げられる。
 以上のようにして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれの変位データからウェーブレット特徴W(a,b)を抽出し、抽出した各ウェーブレット特徴W(a,b)を特徴値として特徴量ベクトルを生成する。そして、特徴抽出部115は、情報処理装置10及びウェアラブル端末30それぞれについて生成された特徴量ベクトルを、判定部117に出力する。
 なお、上記に示す例では、情報処理装置10の特徴抽出部115が、情報処理装置10及びウェアラブル端末30それぞれの変位データからウェーブレット特徴W(a,b)を抽出し、特徴量ベクトルを生成する例について説明したが、必ずしも同構成には限定されない。具体的な一例として、情報処理装置10及びウェアラブル端末30それぞれで、変位データからウェーブレット特徴W(a,b)を抽出してもよい。この場合には、ウェアラブル端末30は、変位データからウェーブレット特徴W(a,b)を抽出した場合(即ち、瞬間的な動作が検出された場合)に、抽出したウェーブレット特徴W(a,b)に基づき特徴量ベクトルを生成し、当該特量ベクトルを情報処理装置10に送信してもよい。
 (判定部117)
 判定部117は、特徴抽出部115から、情報処理装置10及びウェアラブル端末30それぞれについて生成された特徴量ベクトル(即ち、ウェーブレット特徴W(a,b)を特徴値として生成された特徴量ベクトル)を取得する。そして、判定部117は、情報処理装置10及びウェアラブル端末30それぞれについて取得した特徴量ベクトルに基づき、所謂ロック機能により施された所定の制限を解除するか否かを判定する。
 このとき、判定部117は、前述した実施形態に係る情報処理システムの場合と同様に、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトル間の類似度に基づき、所定の制限を解除するか否かを判定してもよい。
 また、他の一例として、判定部117は、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対して、個別に所定の認識処理を実行し、当該認識処理の結果を比較することで、所定の制限を解除するか否かを判定してもよい。
 例えば、図15は、変形例3に係る情報処理システムにおける、制限の解除に係る概略的な制御の一例について説明するための説明図である。
 図15に示す例では、判定部117は、情報処理装置10に対応する変位データDaに基づき生成された特徴量ベクトル(xa1,xa2・・・,xan)を、認識器Aに入力する。認識器Aは、SVM、boosting、及びロジスティック回帰等の技術を利用して生成された識別関数f(xa1,xa2・・・,xan)に基づき、入力された特徴量ベクトルが、所定の動作の特徴を示す特徴量ベクトルか否かを認識し、認識結果Raを出力する。なお、所定の動作の具体的な一例としては、ユーザが情報処理装置10を保持した手をひねったときの、当該情報処理装置10の動作が挙げられる。もちろん、当該動作は、あくまで一例であり、必ずしも当該動作に限定されないことは言うまでもない。
 同様に、判定部117は、ウェアラブル端末30に対応する変位データDbに基づき生成された特徴量ベクトル(xb1,xb2・・・,xbm)を、認識器Bに入力する。認識器Bは、SVM、boosting、及びロジスティック回帰等の技術を利用して生成された識別関数f(xb1,xb2・・・,xbm)に基づき、入力された特徴量ベクトルが、所定の動作の特徴を示す特徴量ベクトルか否かを認識し、認識結果Rbを出力する。
 ここで、入力された特徴量ベクトルが、所定の動作の特徴を示す特徴量ベクトルか否かを認識するための識別関数の一例として、線形識別関数、カーネル識別関数、及び非線形識別関数それぞれの一例について以下に示す。例えば、以下に示す(式3)は、線形識別関数の一例を示している。なお、以降では、式中において変数xをベクトルとして示した値(即ち、xのベクトル値)は、特徴量ベクトルを示している。
Figure JPOXMLDOC01-appb-M000003
 なお、上記に示す(式3)の右辺におけるシグマ内の第2項に示された関数は、基底関数に相当する。当該基底関数の一例として、以下に(式4)~(式6)として示された基底関数が挙げられる。例えば、以下に示す(式4)は、多項式基底に基づく基底関数の一例を示している。
Figure JPOXMLDOC01-appb-M000004
 また、以下に示す(式5)は、ガウス基底に基づく基底関数の一例を示している。
Figure JPOXMLDOC01-appb-M000005
 同様に、以下に示す(式6)は、三角多項式基底に基づく基底関数の一例を示している。
Figure JPOXMLDOC01-appb-M000006
 また、以下に示す(式7)は、カーネル識別関数の一例を示している。
Figure JPOXMLDOC01-appb-M000007
 なお、上記に示す(式7)の右辺におけるシグマ内の第2項に示された関数は、基底関数に相当する。なお、当該基底関数内においてxのベクトル値として示された変数は、何らかの特徴量ベクトルを示している。例えば、以下に示す(式8)は、ガウスカーネルに基づく基底関数の一例を示している。
Figure JPOXMLDOC01-appb-M000008
 また、以下に示す(式9)は、非線形識別関数の一例を示している。
Figure JPOXMLDOC01-appb-M000009
 なお、上記に示す(式9)の右辺におけるシグマ内の第2項に示された関数は、基底関数に相当する。当該基底関数の一例として、以下に(式10)及び(式11)として示された基底関数が挙げられる。例えば、以下に示す(式10)は、シグモイド関数として規定された基底関数の一例を示している。
Figure JPOXMLDOC01-appb-M000010
 また、以下に示す(式11)は、ガウス関数として規定された基底関数の一例を示している。
Figure JPOXMLDOC01-appb-M000011
 なお、上記に示した(式2)~(式11)それぞれにおける各係数(例えば、θ、α、及びβのベクトル値)は、例えば、認識対象となる特徴量ベクトルが所定の動作の特徴を示すデータである場合と、所定の動作とは異なる動作を示すデータの場合とで、認識結果がより乖離するように設定されることが望ましい。具体的な一例として、認識対象となる特徴量ベクトルが、所定の動作を示すデータか否かが、可能な限り誤りが少なく識別されるように、多くの標本データ(換言すると、機械学習に基づき蓄積された教師データ)を利用して、各係数が決定されることがより望ましい。
 このような構成により、判別部117は、例えば、特徴量ベクトルに対する認識処理の結果が、あらかじめ決められた閾値以上か否かに応じて、当該特徴量ベクトルが、所定の動作の特徴を示すデータか否かを認識することが可能となる。
 以上のようにして、判定部117は、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対して、個別に所定の認識処理を実行し、それぞれの認識結果Ra及びRbを取得する。そして、判定部117は、情報処理装置10及びウェアラブル端末30のそれぞれについて取得した認識結果(即ち、認識結果Ra及びRb)に基づき、所定の制限を解除するか否かを判別する。
 具体的な一例として、判定部117は、取得した認識結果Ra及びRbを比較し、当該比較結果に基づき、認識結果Ra及びRbが類似していると判断した場合には、所定の制限を解除してもよい。
 また、他の一例として、判定部117は、取得した認識結果Ra及びRbの双方が、対応する特徴量ベクトル(即ち、情報処理装置10及びウェアラブル端末30に対応する特徴量ベクトル)が、所定の動作の特徴を示すデータであることを示している場合には、所定の制限を解除してもよい。
 なお、上記に示した、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対して実行される各認識処理(即ち、図15に示す関数f及びf)は、当該特徴量ベクトルが所定の動作(換言すると、情報処理装置10及びウェアラブル端末30間で共通の動作)の特徴を示すデータか否かを認識できれば、必ずしも同一の認識処理である必要はない。
 また、上記に示す例では、情報処理装置10の判定部117により、情報処理装置10及びウェアラブル端末30の特徴量ベクトルそれぞれに対する認識処理(即ち、図15に示す関数f及びf)を実行する例について説明したが、必ずしも同構成には限定されない。具体的な一例として、情報処理装置10及びウェアラブル端末30それぞれが、自身に対応する特徴量ベクトルに対する認識処理を実行してもよい。この場合には、例えば、ウェアラブル端末30は、自身に対応する特徴量ベクトルに対して認識処理(即ち、図15に示す関数f)を実行し、当該認識処理の結果(即ち、図15に示す認識結果Rb)を情報処理装置10に送信してもよい。
 また、図15を参照しながら説明した判定部117の動作は、変形例3に係る情報処理システムに限らず、例えば、前述した実施形態に係る情報処理システムにおける判定部117の動作として適用してもよい。
 以上、図13~図15を参照して、変形例3に係る情報処理システムによる、制限の解除に係る制御の一例について説明した。
 なお、上記に説明したように、変形例3に係る特徴抽出部115は、瞬間的な動作(即ち、瞬間的な位置や向きの大きな変化)を検出した場合に、検出された変位データから、当該動作が検出されたタイミングを基点として処理対象となるデータを抽出する。そのため、変形例3に係る情報処理システムによれば、ボタンやタッチパネルなどに対するユーザの操作(即ち、制限を解除するための所定の動作以外のデータ取得のための操作)を伴わずに、所定の制限の解除に係る判定のためのデータを取得することが可能となる。
 また、上記に説明したように、変形例3に係る情報処理システムは、瞬間的な動作が検出されたたタイミングを基点として処理対象となるデータが抽出されるため、情報処理装置10とウェアラブル端末30との間で、必ずしも時刻が同期していなくてもよい。特に、ウェアラブル端末30のように、消費電力がより低減されるように動作が制御される端末では、時刻に関する情報の精度が低下している(即ち、時刻に誤差が生じている)場合がある。このような状況下においても、変形例3に係る情報処理システムに依れば、瞬間的な動作が検出されたタイミングに基づき、情報処理装置10及びウェアラブル端末30それぞれのデータ間(例えば、変位データ間)で時刻の同期を行うことが可能となる。
 特に、変形例3に係る情報処理システムによれば、ユーザの瞬間的な動作(換言すると、情報処理装置10及びウェアラブル端末30の瞬間的な動作)の検出結果を対象として、制限の解除に係る判定を実行する。このような構成により、変形例3に係る情報処理システムは、ユーザが意識的に行った、情報処理装置10及びウェアラブル端末30の各装置に対する動作と、無意識に行った動作とをより明確に識別することが可能となる。即ち、変形例3に係る情報処理システムに依れば、ユーザが無意識に行った動作の認識に伴い、制限が解除されるといった事態の発生を防止することが可能となる。
 [4.4.変形例4:情報提示の一例]
 次に、変形例4として、本実施形態に係る情報処理システムにおいて、所定の制限を解除する際にユーザに対する情報提示の一例について説明する。
 上記に説明したように、本実施形態に係る情報処理システムでは、ユーザは、情報処理装置10及びウェアラブル端末30の双方を動作させる(例えば、振動させる)ことで、所定の制限を解除することが可能である。特に、前述した変形例3に係る情報処理システムでは、ユーザは、所定の制限を解除するために、所望のタイミングで情報処理装置10及びウェアラブル端末30の双方を瞬間的に動作させればよい。そのため、当該情報処理システムでは、当該瞬間的な動作以外の、情報処理装置10またはウェアラブル端末30に対する明示的な操作を、必ずしも必要としない。このような構成のため、本実施形態に係る情報処理システムでは、所定の制限を解除する際に、ユーザに対して必ずしも当該制限を解除するための専用の操作画面を提示する必要はない。
 そのため、変形例4に係る情報処理システムは、操作画面として、既存の制限解除機能に基づく操作画面を情報処理装置10またはウェアラブル端末30の表示部に提示してもよい。なお、既存の制限解除機能としては、例えば、図2を参照して説明した比較例1に係る制限解除機能(即ち、スライダ操作に伴う制限解除機能)や、図3を参照して説明した比較例2に係る制限解除機能(即ち、操作パターンの入力に伴う制限解除機能)等が挙げられる。
 このような場合には、変形例4に係る情報処理システムは、提示した操作画面に対してユーザが制限解除に係る操作を行った場合には、既存の制限解除機能に基づき、所定の制限を解除するか否かを判定してもよい。
 このような構成により、ユーザは、所定の制限を解除する場合に、情報処理システムに対して、前述した実施形態及び各変形例に係る制限解除のための機能と、既存の制限解除機能とのいずれかを、選択的に実行させることが可能となる。
 また、他の一例として、変形例4に係る情報処理システムは、前述した実施形態及び各変形例に係る制限解除のための機能を実行した場合に、当該機能の実行結果に基づく情報を、ユーザに対して提示してもよい。
 例えば、変形例4に係る情報処理システムは、情報処理装置10及びウェアラブル端末30の双方の動作に基づき、所定の制限を解除しなかった場合に、「制限を解除しない」と判定した要因をユーザに対して提示してもよい。
 具体的な一例として、情報処理システムは、ウェアラブル端末30から変位データを取得できなった場合に、当該変位データの取得に失敗したことをユーザに対して提示してもよい。また、このとき、情報処理システムは、ウェアラブル端末30からの変位データの取得に失敗した要因をユーザに提示してもよい。ウェアラブル端末30からの変位データの取得に失敗する要因としては、例えば、情報処理装置10とウェアラブル端末30との間の通信に失敗した場合や、ウェアラブル端末30側の電源がオフの場合等が挙げられる。
 また、情報処理システムは、前述した実施形態及び各変形例に係る制限解除のための機能のオン及びオフが、ユーザ操作により切り替え可能に構成されていてもよい。このような構成のもと、変形例4に係る情報処理システムは、当該制限解除のための機能がオフになっている場合に、ユーザが当該機能による制限解除のための動作を行った場合に、当該機能がオフとなっていることをユーザに提示してもよい。
 また、他の一例として、変形例4に係る情報処理システムは、情報処理装置10及びウェアラブル端末30それぞれに対応する特徴量ベクトルに基づく判定結果を、ユーザに提示してもよい。具体的な一例として、情報処理システムは、情報処理装置10及びウェアラブル端末30それぞれの特徴量ベクトル間における類似度の判定結果を数値化し、当該数値をユーザに対して提示してもよい。これにより、ユーザは、所定の動作(例えば、情報処理装置10及びウェアラブル端末30の各装置を振動させる動作や、当該装置を保持した手をひねるような動作)に基づき制限が解除されなかった場合に、情報処理装置10及びウェアラブル端末30のそれぞれの動作が、どのくらい異なっていたかを視覚的に認識することが可能となる。
 以上のように、変形例4に係る情報処理システムは、前述した実施形態及び各変形例に係る制限解除のための機能の実行結果に基づく情報を提示することで、ユーザが次にとるべき行動を、当該ユーザに対して直接的または間接的に示してもよい。
 <5.ハードウェア構成>
 次に、図12を参照して、本開示の各実施形態に係る情報処理装置10のハードウェア構成の一例について説明する。図12は、本開示の実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
 図12に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、表示デバイス909と、通信デバイス911と、検出デバイス913と、バス915とを含む。
 プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部11の各構成は、プロセッサ901により実現され得る。
 メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
 操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した操作部151は、操作デバイス907により実現され得る。
 表示デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、表示デバイス909は、画面を表示することにより、ユーザに対して所定の情報を提示することができる。なお、前述した表示部153は、表示デバイス909により実現され得る。
 通信デバイス911は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス911は、有線または無線用の通信インタフェースである。通信デバイス911を、無線通信インタフェースとして構成する場合には、当該通信デバイス911は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
 通信デバイス911は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。なお、前述した通信部17は、通信デバイス911により実現され得る。
 検出デバイス913は、情報処理装置10の筐体の位置や向きの変化を検出するためのデバイスである。検出デバイス913は、例えば、加速度センサや角速度センサ等の各種センサにより構成され得る。なお、前述したセンサ部13は、検出デバイス913により実現され得る。
 バス915は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、表示デバイス909、通信デバイス911、及び検出デバイス913を相互に接続する。バス915は、複数の種類のバスを含んでもよい。
 また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
 <6.まとめ>
 以上説明したように、本実施形態に係る情報処理システムでは、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて、振動に基づく筐体の位置及び向きの少なくともいずれかの時系列に沿った変化を、直接的または間接的に示した特徴量ベクトル(例えば、変位データ)を取得する。そして、情報処理装置10は、当該情報処理装置10とウェアラブル端末30とのそれぞれについて取得した特徴量ベクトルに基づき、ロック機能により施された所定の制限を解除する。具体的には、情報処理装置10は、情報処理装置10及びウェアラブル端末30の各特徴量ベクトルに基づき、情報処理装置10とウェアラブル端末30とのそれぞれが振られているか否かの判定と、それぞれの特徴量ベクトルの類似度の判定との、いずれかまたは双方を実行する。そして、情報処理装置10は、実行した判定の結果に基づき、ロック機能により施された所定の制限を解除する。
 このような構成により、本実施形態に係る情報処理システムでは、取得される特徴量ベクトルとして、制限を解除するたびに異なるデータが生成されることになる。そのため、本実施形態に係る情報処理システムによれば、所謂ショルダーハッキング等の盗み見による制限解除のための情報の漏えいに伴い、悪意のあるユーザにより不正に制限が解除されるといった事態の発生を抑止することが可能となる。
 また、本実施形態に係る情報処理システムでは、悪意のあるユーザは、情報処理装置10単体では、当該情報処理装置10の制限を解除することが困難である。即ち、悪意のあるユーザが、情報処理装置10の制限を解除しようとした場合には、情報処理装置10及びウェアラブル端末30の双方を共に取得する必要がある。また、情報処理装置10及びウェアラブル端末30の所有者が、当該情報処理装置10及びウェアラブル端末30の双方を同時に紛失するといった事態は、いずれか一方のみを紛失する事態よりも発生する確率が低いことは言うまでもない。そのため、本実施形態に係る情報処理システムは、運用の観点からも、比較的高いセキュリティを確保することが可能となる。
 また、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する場合に、情報処理装置10及びウェアラブル端末30の双方を意識的に振動させる必要がある。そのため、比較例4(図4参照)として前述した例のように、ユーザが意図しないタイミングで制限が解除されるといった事態の発生を防止することが可能となる。
 また、本実施形態に係る情報処理システムでは、ユーザは、制限を解除する場合に、情報処理装置10及びウェアラブル端末30の双方を振動させればよく、当該制限の解除のために複雑な手順を要しない。
 また、本実施形態に係る情報処理システムは、情報処理装置10及びウェアラブル端末30が、相互にデータを送受信するための通信デバイスや、筐体の振動を検出するためのセンサ(例えば、加速度センサ)を備えていれば実現することが可能である。これらのデバイスは、所謂スマートフォン等のような携帯型の情報処理装置には、近年では一般的に設けられているデバイスである。そのため、情報処理装置10及びウェアラブル端末30に対して特殊なデバイスを設けることなく、既存のデバイスを利用することで、上述した本実施形態に係る情報処理システムを実現することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得する取得部と、
 取得された前記複数の装置それぞれに対応する前記特徴量ベクトルに基づき、あらかじめ施された所定の制限を解除する制御部と、
 を備える情報処理装置。
(2)
 前記取得部は、前記複数の装置うちの一の装置の前記筐体内に設けられ、当該一の装置にネットワークを介して接続された他の装置から、当該他の装置に対応する前記特徴量ベクトルを取得する、前記(1)に記載の情報処理装置。
(3)
 前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき当該特徴量ベクトル間の類似度を判定し、当該判定結果に基づき前記所定の制限を解除する、前記(1)に記載の情報処理装置。
(4)
 前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の統計的距離に基づき、前記類似度を判定する、前記(3)に記載の情報処理装置。
(5)
 前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の時系列に沿った相関関係に基づき、前記類似度を判定する、前記(3)に記載の情報処理装置。
(6)
 前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の相互情報量に基づき、前記類似度を判定する、前記(3)に記載の情報処理装置。
(7)
 前記制御部は、機械学習に基づきあらかじめ蓄積された、前記複数の装置それぞれに対応する前記特徴量ベクトルと、抽出された当該特徴量ベクトル間の類似度の判定結果とを対応付けた教師データに基づき、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の類似度を判定する、前記(3)に記載の情報処理装置。
(8)
 前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせ、当該シフト後の当該特徴量ベクトルに基づき、前記類似度を判定する、前記(3)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の統計的距離がより小さくなるように、当該特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせる、前記(8)に記載の情報処理装置。
(10)
 前記制御部は、あらかじめ決められた時間幅を超えない範囲内で、前記複数の装置それぞれに対応する前記特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせる、前記(8)または(9)に記載の情報処理装置。
(11)
 前記制御部は、
 前記複数の装置それぞれに対応する前記特徴量ベクトルそれぞれに対して、当該特徴量ベクトルが、対応する当該装置の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った所定の変化の特徴を示すか否かを認識するための認識処理を実行し、
 当該特徴量ベクトルそれぞれに対する当該認識処理の結果に基づき、あらかじめ施された所定の制限を解除する、前記(1)に記載の情報処理装置。
(12)
 前記複数の装置それぞれに対応する前記特徴量ベクトルから、当該特徴量ベクトル中のサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく新たな特徴量ベクトルを生成する特徴抽出部を備え、
 前記制御部は、前記複数の装置それぞれに対応する前記新たな特徴量ベクトル間の比較に基づき、前記制限を解除する、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記特徴抽出部は、前記特徴量ベクトルに対する主成分分析に基づき、当該特徴量ベクトル中に含まれる各サンプルデータの時系列に沿った主成分方向の変位を前記特徴値として抽出する、前記(12)に記載の情報処理装置。
(14)
 前記特徴抽出部は、前記複数の装置それぞれに対応する前記特徴量ベクトルに対する正準相関分析に基づき、当該特徴量ベクトル間で時系列に沿った変位の相関関係の高い方向をそれぞれ特定し、当該特徴量ベクトルそれぞれに含まれる各サンプルデータの時系列に沿った、特定された当該方向の変位を前記特徴値として抽出する、前記(12)に記載の情報処理装置。
(15)
 前記特徴量ベクトルに含まれる、前記時系列に沿った変化それぞれを示すサンプルデータに基づき、当該特徴量ベクトルに対して、新たなサンプルデータを補間するデータ補間部を備え、
 前記制御部は、前記新たなサンプルデータが補間された、前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、前記制限を解除する、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記データ補間部は、多項式補間に基づき、前記特徴量ベクトルに対して、前記新たなサンプルデータを補間する、前記(15)に記載の情報処理装置。
(17)
 前記データ補間部は、線型回帰に基づき、前記特徴量ベクトルに含まれる前記サンプルデータを示すモデルを構成し、当該モデルに基づき、前記新たなサンプルデータを補間する、前記(15)に記載の情報処理装置。
(18)
 前記複数の装置のうち、少なくともいずれかの装置は、人体に装着されて使用され得るウェアラブルデバイスである、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
 あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得することと、
 プロセッサが、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除することと、
 を含む情報処理方法。
(20)
 筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を検出する検出部を含む複数の装置と、
 検出された前記時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを、前記複数の装置それぞれについて取得する取得部と、
 取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除する制御部と、
 を備える情報処理システム。
 10  情報処理装置
 11  制御部
 111 変位データ取得部
 113 データ補間部
 115 特徴抽出部
 117 判定部
 13  センサ部
 15  UI
 151 操作部
 153 表示部
 17  通信部
 30  ウェアラブル端末
 31  制御部
 33  センサ部
 35  UI
 351 操作部
 353 表示部
 37  通信部

Claims (20)

  1.  あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得する取得部と、
     取得された前記複数の装置それぞれに対応する前記特徴量ベクトルに基づき、あらかじめ施された所定の制限を解除する制御部と、
     を備える情報処理装置。
  2.  前記取得部は、前記複数の装置うちの一の装置の前記筐体内に設けられ、当該一の装置にネットワークを介して接続された他の装置から、当該他の装置に対応する前記特徴量ベクトルを取得する、請求項1に記載の情報処理装置。
  3.  前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき当該特徴量ベクトル間の類似度を判定し、当該判定結果に基づき前記所定の制限を解除する、請求項1に記載の情報処理装置。
  4.  前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の統計的距離に基づき、前記類似度を判定する、請求項3に記載の情報処理装置。
  5.  前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の時系列に沿った相関関係に基づき、前記類似度を判定する、請求項3に記載の情報処理装置。
  6.  前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の相互情報量に基づき、前記類似度を判定する、請求項3に記載の情報処理装置。
  7.  前記制御部は、機械学習に基づきあらかじめ蓄積された、前記複数の装置それぞれに対応する前記特徴量ベクトルと、抽出された当該特徴量ベクトル間の類似度の判定結果とを対応付けた教師データに基づき、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の類似度を判定する、請求項3に記載の情報処理装置。
  8.  前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせ、当該シフト後の当該特徴量ベクトルに基づき、前記類似度を判定する、請求項3に記載の情報処理装置。
  9.  前記制御部は、前記複数の装置それぞれに対応する前記特徴量ベクトル間の統計的距離がより小さくなるように、当該特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせる、請求項8に記載の情報処理装置。
  10.  前記制御部は、あらかじめ決められた時間幅を超えない範囲内で、前記複数の装置それぞれに対応する前記特徴量ベクトルのうち、少なくともいずれかを時系列に沿ってシフトさせる、請求項8に記載の情報処理装置。
  11.  前記制御部は、
     前記複数の装置それぞれに対応する前記特徴量ベクトルそれぞれに対して、当該特徴量ベクトルが、対応する当該装置の筐体の位置及び向きのうち少なくともいずれかの時系列に沿った所定の変化の特徴を示すか否かを認識するための認識処理を実行し、
     当該特徴量ベクトルそれぞれに対する当該認識処理の結果に基づき、あらかじめ施された所定の制限を解除する、請求項1に記載の情報処理装置。
  12.  前記複数の装置それぞれに対応する前記特徴量ベクトルから、当該特徴量ベクトル中のサンプルデータの特徴を示す特徴値を抽出し、抽出した特徴値に基づく新たな特徴量ベクトルを生成する特徴抽出部を備え、
     前記制御部は、前記複数の装置それぞれに対応する前記新たな特徴量ベクトル間の比較に基づき、前記制限を解除する、請求項1に記載の情報処理装置。
  13.  前記特徴抽出部は、前記特徴量ベクトルに対する主成分分析に基づき、当該特徴量ベクトル中に含まれる各サンプルデータの時系列に沿った主成分方向の変位を前記特徴値として抽出する、請求項12に記載の情報処理装置。
  14.  前記特徴抽出部は、前記複数の装置それぞれに対応する前記特徴量ベクトルに対する正準相関分析に基づき、当該特徴量ベクトル間で時系列に沿った変位の相関関係の高い方向をそれぞれ特定し、当該特徴量ベクトルそれぞれに含まれる各サンプルデータの時系列に沿った、特定された当該方向の変位を前記特徴値として抽出する、請求項12に記載の情報処理装置。
  15.  前記特徴量ベクトルに含まれる、前記時系列に沿った変化それぞれを示すサンプルデータに基づき、当該特徴量ベクトルに対して、新たなサンプルデータを補間するデータ補間部を備え、
     前記制御部は、前記新たなサンプルデータが補間された、前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、前記制限を解除する、請求項1に記載の情報処理装置。
  16.  前記データ補間部は、多項式補間に基づき、前記特徴量ベクトルに対して、前記新たなサンプルデータを補間する、請求項15に記載の情報処理装置。
  17.  前記データ補間部は、線型回帰に基づき、前記特徴量ベクトルに含まれる前記サンプルデータを示すモデルを構成し、当該モデルに基づき、前記新たなサンプルデータを補間する、請求項15に記載の情報処理装置。
  18.  前記複数の装置のうち、少なくともいずれかの装置は、人体に装着されて使用され得るウェアラブルデバイスである、請求項1に記載の情報処理装置。
  19.  あらかじめ関連付けられた互いに異なる複数の装置それぞれの筐体の、位置及び向きのうち少なくともいずれかの時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを取得することと、
     プロセッサが、取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除することと、
     を含む情報処理方法。
  20.  筐体の位置及び向きのうち少なくともいずれかの時系列に沿った変化を検出する検出部を含む複数の装置と、
     検出された前記時系列に沿った変化を直接的または間接的に示した特徴量ベクトルを、前記複数の装置それぞれについて取得する取得部と、
     取得された前記複数の装置それぞれに対応する前記特徴量ベクトル間の比較に基づき、あらかじめ施された所定の制限を解除する制御部と、
     を備える情報処理システム。
PCT/JP2015/063731 2014-08-11 2015-05-13 情報処理装置、情報処理方法、及び情報処理システム WO2016024424A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201580041649.0A CN106575331B (zh) 2014-08-11 2015-05-13 信息处理装置、信息处理方法和信息处理系统
KR1020177002143A KR102384485B1 (ko) 2014-08-11 2015-05-13 정보 처리 장치, 정보 처리 방법, 및 정보 처리 시스템
EP15832305.5A EP3182319B1 (en) 2014-08-11 2015-05-13 Information-processing device, information processing method, and information-processing system
US15/321,849 US10565363B2 (en) 2014-08-11 2015-05-13 Information processing device, information processing method, and information processing system for canceling device restriction based on similarity between feature-quantity vectors of associated devices
CA2953558A CA2953558A1 (en) 2014-08-11 2015-05-13 Information processing device, information processing method, and information processing system
JP2016542510A JPWO2016024424A1 (ja) 2014-08-11 2015-05-13 情報処理装置、情報処理方法、及び情報処理システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-163751 2014-08-11
JP2014163751 2014-08-11
JP2015-003384 2015-01-09
JP2015003384 2015-01-09

Publications (1)

Publication Number Publication Date
WO2016024424A1 true WO2016024424A1 (ja) 2016-02-18

Family

ID=55304056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/063731 WO2016024424A1 (ja) 2014-08-11 2015-05-13 情報処理装置、情報処理方法、及び情報処理システム

Country Status (7)

Country Link
US (1) US10565363B2 (ja)
EP (1) EP3182319B1 (ja)
JP (1) JPWO2016024424A1 (ja)
KR (1) KR102384485B1 (ja)
CN (1) CN106575331B (ja)
CA (1) CA2953558A1 (ja)
WO (1) WO2016024424A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533618A (ja) * 2014-09-08 2017-11-09 クゥアルコム・インコーポレイテッドQualcomm Incorporated 電子デバイスへのアクセスのための自動認可
JP2018005578A (ja) * 2016-07-01 2018-01-11 富士通株式会社 判定プログラム、判定方法、および判定装置
WO2018021537A1 (ja) * 2016-07-28 2018-02-01 株式会社16Lab デバイス相互作用及び識別のための方法
JP2019040404A (ja) * 2017-08-25 2019-03-14 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
JP2019040569A (ja) * 2017-08-29 2019-03-14 日本電信電話株式会社 判定装置、判定方法及び判定プログラム
JP2019040405A (ja) * 2017-08-25 2019-03-14 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
JP2019175289A (ja) * 2018-03-29 2019-10-10 株式会社日本総合研究所 動き評価装置及び動き評価プログラム
JP2020109601A (ja) * 2019-01-07 2020-07-16 中国電力株式会社 情報処理方法及び情報処理システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050778A1 (en) * 2015-09-21 2017-03-30 Actifine Nv System and method for tracking the location and activities of persons
JP2017117089A (ja) * 2015-12-22 2017-06-29 ローム株式会社 センサノード、センサネットワークシステム、および監視方法
WO2018087336A1 (en) * 2016-11-11 2018-05-17 Zwipe As Fingerprint authorisable demonstrator device
WO2019078769A1 (en) * 2017-10-18 2019-04-25 Fingerprint Cards Ab DIFFERENTIATION BETWEEN REAL FINGERS AND FALSE FINGERS IN A DIGITAL FOOTPRINT ANALYSIS BY AUTOMATIC APPRENTICESHIP
KR102111858B1 (ko) * 2018-08-16 2020-05-15 한국과학기술원 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110638A (ja) * 2012-12-03 2014-06-12 Samsung Electronics Co Ltd 画面ロックを制御する方法及び携帯端末
WO2014115605A1 (ja) * 2013-01-28 2014-07-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 複数の端末間で認証状態を伝播させる方法、並びに、そのためのサーバ及びコンピュータ・プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008311726A (ja) 2007-06-12 2008-12-25 Hitachi Ltd 情報記録装置、及びその認証方法
IT1403435B1 (it) * 2010-12-27 2013-10-17 Conti Procedimento di autenticazione d utente per l'accesso a un terminale utente mobile e corrispondente terminale utente mobile.
JP2013020304A (ja) * 2011-07-07 2013-01-31 Ntt Docomo Inc 移動情報端末、行動特徴学習方法、行動特徴認証方法、プログラム
US9626498B2 (en) 2011-12-15 2017-04-18 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof
US9063856B2 (en) * 2012-05-09 2015-06-23 Infosys Limited Method and system for detecting symptoms and determining an optimal remedy pattern for a faulty device
US8914875B2 (en) * 2012-10-26 2014-12-16 Facebook, Inc. Contextual device locking/unlocking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110638A (ja) * 2012-12-03 2014-06-12 Samsung Electronics Co Ltd 画面ロックを制御する方法及び携帯端末
WO2014115605A1 (ja) * 2013-01-28 2014-07-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 複数の端末間で認証状態を伝播させる方法、並びに、そのためのサーバ及びコンピュータ・プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3182319A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533618A (ja) * 2014-09-08 2017-11-09 クゥアルコム・インコーポレイテッドQualcomm Incorporated 電子デバイスへのアクセスのための自動認可
JP2018005578A (ja) * 2016-07-01 2018-01-11 富士通株式会社 判定プログラム、判定方法、および判定装置
WO2018021537A1 (ja) * 2016-07-28 2018-02-01 株式会社16Lab デバイス相互作用及び識別のための方法
JP2019040404A (ja) * 2017-08-25 2019-03-14 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
JP2019040405A (ja) * 2017-08-25 2019-03-14 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
JP2019040569A (ja) * 2017-08-29 2019-03-14 日本電信電話株式会社 判定装置、判定方法及び判定プログラム
JP2019175289A (ja) * 2018-03-29 2019-10-10 株式会社日本総合研究所 動き評価装置及び動き評価プログラム
JP2020109601A (ja) * 2019-01-07 2020-07-16 中国電力株式会社 情報処理方法及び情報処理システム
JP7247586B2 (ja) 2019-01-07 2023-03-29 中国電力株式会社 情報処理方法及び情報処理システム

Also Published As

Publication number Publication date
CN106575331B (zh) 2020-07-14
EP3182319A4 (en) 2018-02-14
CA2953558A1 (en) 2016-02-18
KR102384485B1 (ko) 2022-04-12
KR20170041702A (ko) 2017-04-17
EP3182319A1 (en) 2017-06-21
US10565363B2 (en) 2020-02-18
US20170132407A1 (en) 2017-05-11
JPWO2016024424A1 (ja) 2017-05-25
EP3182319B1 (en) 2020-04-08
CN106575331A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
WO2016024424A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
EP3171248B1 (en) Gesture recognition method, apparatus and wearable device
US10055563B2 (en) Air writing and gesture system with interactive wearable device
EP3252663B1 (en) Method for controlling unlocking and terminal
ES2738671T3 (es) Método para el control de desbloqueo de terminal y terminal correspondiente
EP3482331B1 (en) Obscuring data when gathering behavioral data
EP3382600A1 (en) Method of recognition based on iris recognition and electronic device supporting the same
CN108108649B (zh) 身份验证方法及装置
CN109076077B (zh) 具有基于姿势的访问控制的安全系统
US10331938B2 (en) Method for controlling unlocking and terminal
EP3252639B1 (en) Method and terminal for controlling unlocking based on fingerprint biomentric data
JP2013186851A (ja) セキュリティを解除するための情報の入力が要求される情報処理装置及びログイン方法
US10248774B2 (en) Method for controlling unlocking and mobile terminal
US20210064728A1 (en) Device security enhancement
JP2018042745A (ja) 認証システム、認証装置および認証方法
US20230284920A1 (en) Electronic device for controlling operation based on a bio-signal and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15832305

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016542510

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2953558

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15321849

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20177002143

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015832305

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015832305

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE