WO2016199457A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2016199457A1
WO2016199457A1 PCT/JP2016/056091 JP2016056091W WO2016199457A1 WO 2016199457 A1 WO2016199457 A1 WO 2016199457A1 JP 2016056091 W JP2016056091 W JP 2016056091W WO 2016199457 A1 WO2016199457 A1 WO 2016199457A1
Authority
WO
WIPO (PCT)
Prior art keywords
action
information
user
behavior
information processing
Prior art date
Application number
PCT/JP2016/056091
Other languages
English (en)
French (fr)
Inventor
正範 勝
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016199457A1 publication Critical patent/WO2016199457A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Various sensors are installed in information processing terminals such as wearable devices, and sensing is possible at all times.
  • a mechanism is required to restrict the acquisition of information that is not desired to be sensed or to prevent information that is not desired to be disclosed. It is. For example, there is a universal desire to not measure “section without clothes” or “section without makeup”. As described above, a camera, a microphone, or the like is remarkable as a target for restricting acquisition or disclosure of information, but it is easily imagined that a sensor log, a vital sensor, or the like will be subject to restriction in the future.
  • Patent Document 1 discloses a technique for blurring a subject's own face included in a captured image by subject-side control when the subject is photographed by a surrounding imaging device.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of appropriately restricting acquisition and disclosure of information based on a user's action recognition result.
  • an action recognition unit that recognizes a user's operation behavior, a determination unit that determines whether or not a specific action is included in the recognized operation behavior, and when a specific action is detected,
  • an information processing apparatus including a control unit that controls a function of processing information related to operation behavior.
  • the processor when the processor recognizes the user's operation behavior, determines whether the recognized operation behavior includes the specific behavior, and when the specific behavior is detected, the user An information processing method is provided, including controlling a function of processing information related to the operation behavior of the computer.
  • the computer recognizes the behavior recognition unit that recognizes the user behavior, the determination unit that determines whether the recognized behavior includes the specific behavior, and the specific behavior is detected.
  • a program that functions as an information processing apparatus including a control unit that controls a function of processing information related to a user's operation behavior.
  • FIG. 3 is an explanatory diagram illustrating an overview of functions of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. It is a functional block diagram which shows the function structure of the information processing system which concerns on the embodiment.
  • FIG. 1 is an explanatory diagram illustrating an overview of the information processing system 1 according to the present embodiment.
  • the information processing system 1 detects a restricted section that the user does not want to measure based on the detection results of various sensors such as a motion sensor. Then, the information processing system 1 does not perform measurement by a predetermined sensor while the restricted section is detected, and uploads or shares sensor information acquired by the sensor to the server even if measurement is performed. Do n’t do it. That is, the information processing system 1 according to the present embodiment performs the following processing.
  • Restriction section detection process (2) Restriction process in restriction section a) Functional restriction of some sensors b) Restriction of information transmission to search engine c) Restriction of disclosure to information disclosure server
  • a section where makeup is not performed is set as a restricted section.
  • the restricted section includes a makeup operation and a makeup removal operation.
  • the information processing system 1 notifies the device 10 including a camera around the user who is wearing the makeup during the restricted section of a request to restrict the photographing function by the camera. Further, the information processing system 1 does not notify the action recognition result to the server 20 having a function of reflecting the action recognition result on the user itself, such as a function of using the action recognition result of the user for the advertisement setting performed to the user. Like that. Further, the information processing system 1 does not transmit sensor information such as captured images and position information to the SNS server 30 that manages SNS (Social Networking Service). And if it detects that makeup
  • SNS Social Networking Service
  • FIG. 2 is a functional block diagram showing a functional configuration of the information processing system 1 according to the present embodiment.
  • the information processing system 1 detects a restricted section from a user's action recognition result, and functions of some sensors, sensor information, and action recognition results in the restricted section. Restrict output, disclosure, etc. This process is performed by the information processing apparatus 100 shown in FIG.
  • the information processing apparatus 100 is an apparatus that can acquire user sensor information and execute action recognition processing.
  • the information processing apparatus 100 is provided in an action recognition server, a wearable device (both not shown), or the like.
  • the information processing apparatus 100 includes an action recognition unit 110, a recognition result determination unit 120, and a restriction processing unit 130.
  • the behavior recognition unit 110 performs a behavior recognition process based on the sensor information, and identifies the action behavior of the user.
  • the behavior recognition unit 110 includes a behavior detection unit 111, an operation detection unit 113, and a combination determination unit 115, as shown in FIG.
  • the behavior detection unit 111 Based on sensor information acquired by various sensors, the behavior detection unit 111 performs behavior recognition processing that identifies user position information, movement information such as walking and running, trains, cars, and the like, and the purpose of the user at that position. Do.
  • the behavior detection unit 111 may detect the user's behavioral behavior using a known behavior recognition technique described in a document such as JP2013-3649A.
  • the operation detection unit 113 is a processing unit that detects an operation in a restricted section in which the user restricts sensing, transmission of information, disclosure, and the like based on sensor information measured by the sensor group 14.
  • the detection of the operation is performed based on, for example, a measurement value of a motion sensor, an image taken by a camera, information acquired by IoT (Internet of Things), or the like.
  • the combination determination unit 115 combines the information regarding the behavior of the other user in addition to the behavior recognition result and the motion information acquired by the behavior detection unit 111 and the motion detection unit 113 to make the motion behavior of the user more accurate information. .
  • the combination determination unit 115 adjusts leakage and overdetection of action recognition results and operation information using, for example, time-series information, time information, and location information, and obtains more accurate information.
  • the recognition result determination unit 120 determines whether or not the user's operation behavior acquired by the behavior recognition unit 110 includes an operation behavior for specifying a section that limits sensing, transmission of information, disclosure, and the like. Part.
  • the recognition result determination unit 120 is, for example, an operation for specifying a state in which the user does not want to be seen, such as “section without clothes” or “section without makeup”, or a state in which a log is not desired to be acquired.
  • An action is detected as a specific action.
  • the recognition result determination unit 120 refers to a storage unit (not shown) that stores a specific action set in advance by the user, and whether or not the operation action acquired by the action recognition unit 110 is a specific action. Determine.
  • the determination result by the recognition result determination unit 120 is output to the restriction processing unit 130.
  • the restriction processing unit 130 is a control unit that restricts sensing, transmission of information, disclosure, and the like during the restricted section based on the detection result by the recognition result determination unit 120. That is, the restriction processing unit 130 controls a function for processing information related to the user's operation behavior when a specific behavior is detected. For example, the restriction processing unit 130 notifies the sensor group 14 of a request for restricting the function. Moreover, the restriction
  • the restriction processing unit 130 causes the SNS server 30 not to publish some information received during the restriction section by the disclosure processing unit 35. In addition, when the restriction processing unit 130 detects that the restriction section has ended, the restriction processing unit 130 transmits an instruction to release the restriction of the restricted function to the sensor group 14, the server 20, and the SNS server 30.
  • FIG. 3 is a flowchart showing a function limiting method by the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 according to the present embodiment performs the restriction section detection process and the restriction process in the restriction section. Hereinafter, each process will be described.
  • a specific action for identifying the restricted section is set in advance by the user.
  • these specific action is defined using sensor information.
  • the operation of makeup is defined as a time period in which “a series of operations in which a hand holding something is brought close to the face and released while being held” is repeatedly performed.
  • the action of undressing is defined as a time period in which “a series of actions in which a hand holding nothing on the body is brought close to the work and released (with the hand held)” is repeated.
  • the behavior recognition unit 110 acquires sensor information from various sensors (S100). Then, based on the acquired sensor information, the behavior recognition unit 110 performs behavior recognition processing and detects specific behavior (S110, S120).
  • step S110 the action recognition unit 110 executes the following process to detect the user's action action.
  • each process may be performed by the function part which performs each process, and may be performed collectively by one function part.
  • 1st process Perform motion detection
  • 2nd process Adjust leak / over detection for the result of 1st process
  • 3rd process Combine other action information
  • the user's operation is detected using sensor information acquired from various sensors in step S100.
  • the motion detection unit 113 detects “a series of motions in which a hand holding something is brought close to the face and released while holding it” as described above. . This operation can be detected using various sensor information.
  • the motion may be detected by detecting the movement of the user's arm using, for example, a motion sensor mounted on a device worn by the user.
  • FIG. 4 shows an example of a measurement result when a motion of making up is detected by a motion sensor that can detect the movement, tilt, direction, etc. of an object on three axes of X, Y, and Z.
  • the motion detection unit 113 acquires the zero cross, peak, and gradient of each axis from the detection result obtained by applying a low-pass filter to the angular velocity detected by the motion sensor, and defines the state of the user's arm. Then, the motion detection unit 113 identifies the movement of the arm from the transition of the arm state.
  • the motion detection unit 113 prepares (ready), starts (move), moves (catch), lifts, leaves, and moves from the detection result of the motion sensor. Detect arm status such as end and invalid.
  • a series of operations such as movement, lifting, and release of the arm are recognized from the change in the value of each axis with the first zero cross as the operation start.
  • the motion detection unit 113 identifies such a series of motions from the measurement result of the motion sensor. It should be noted that a series of actions such as moving, lifting, and releasing arms can be considered as undressing actions and meal actions. In order to specify which operation is performed, other sensor information may be used.
  • a method for detecting the user's operation for example, there is a method using a camera. It is possible to recognize the movement of the hand approaching and moving away from the vicinity of the face and the frequency thereof using an image of himself / herself taken indirectly (or directly) in the mirror by the camera. Furthermore, it is also possible to detect a user's operation
  • the motion detection unit 113 confirms whether there is any leakage or overdetection with respect to the user behavior detected in the first process, and adjusts information based on the confirmation result. For example, if there is a part that is considered to be an unnatural sudden movement from the previous and subsequent movements, the movement detection unit 113 determines that the detection is false and deletes the movement.
  • the action is specified in combination with other behavior information.
  • the action behavior specified by the action detection unit 113 can be made more accurate.
  • the third process is performed by the combination determination unit 115 based on the detection results of the behavior detection unit 111 and the motion detection unit 113, sensor information, and the like.
  • the action can be identified using time series information detected by the behavior detection unit 111.
  • the operations such as makeup and change of clothes are characterized by the time to be performed and the behavior of the user before and after performing the operation.
  • the period from when sleep is detected by the behavior detecting unit 111 to when going out is detected can be set as a candidate for the time during which makeup or change of clothes is performed. This is because this section is considered to include morning makeup and changing clothes.
  • it can be considered that it is the area including the operation
  • this section is set as a candidate for the time during which makeup is performed.
  • makeup is mainly performed in the toilet, and it is usual to move from the own room where the company mainly stays, apply makeup, and return to the own room. From this, it can be considered that the section of several minutes sandwiched by the walking action moved from the own room to the toilet for makeup, and the action of returning from the toilet to the own room after makeup was performed.
  • the moving section detected by the behavior detection unit 111 may be excluded from the candidates for the time during which makeup or dressing operations are performed.
  • the candidate for the time during which makeup operation is performed since there is a possibility that makeup is performed in a section staying in a vehicle such as an airplane for a long time, it is possible to leave the candidate for the time during which makeup operation is performed. From this, for example, it may be determined whether or not to be a candidate for a restricted section according to the length of time during movement on the vehicle. In this way, it is possible to prevent leakage and overdetection by setting a fine filter based on the moving means and time length.
  • time information may be used as other behavior information used in the combination process.
  • the makeup operation is often performed at a specific time in the morning. From such user behavior habits, it is also possible to specify an action based on the time during which the action is performed.
  • location information may be used as other behavior information used in the combination process. For example, when the position of a user can be detected in units of rooms, it is possible to narrow down candidate sites that are highly likely to be subjected to restricted behavior. For example, if the presence of a fitting room or the like is known from the detection information of the environment-installed sensor, it is possible to know that there is a high possibility that a “section without clothes” will occur due to changing clothes. Thus, by detecting the user position, it is possible to accurately and easily specify the user's operation.
  • the recognition result determination unit 120 determines whether or not it is a restricted section based on the action action. (S120). Whether or not it is a restricted section may be determined, for example, based on whether or not a specific action for specifying the restricted section is included in the detected action behavior.
  • FIG. 5 shows a specific example of the restricted section determination process in step S120.
  • the restricted section is identified by a restriction target specific action for determining the start of the restricted section and a restriction release target specific action for determining the end of the restricted section. Specific actions for specifying these restricted sections are set in advance.
  • the recognition result determination unit 120 determines whether or not a specific action is included in the detected operation action (S121). For example, when a section until makeup is dropped immediately after returning home and makeup is applied immediately before leaving the office is set as a restricted section, the operation of removing makeup immediately after returning home is the specific operation to be restricted.
  • the recognition result determination unit 120 sets a restriction flag indicating that the information used in the information processing apparatus 100 is a restriction section. (S122). While the limit flag is set, it is determined that the limit section is set.
  • the recognition result determination unit 120 proceeds to the process of the next step S123 as it is.
  • the recognition result determination unit 120 determines whether or not the detected action behavior includes a specific action to be restricted (S123). For example, in the case where the section until makeup is dropped immediately after returning home and makeup is performed immediately before leaving the office is set as the restriction section, the operation of applying makeup immediately before leaving the office is the specific operation to be restricted.
  • the recognition result determination unit 120 lowers the restriction flag when the detected action includes a specific action to be restricted (S124). On the other hand, when the detected action does not include the specific action to be restricted, the recognition result determination unit 120 proceeds to the next step S125 as it is.
  • the recognition result determination unit 120 determines whether or not it is a restricted section based on the restriction flag (S125).
  • the restriction flag is set
  • the recognition result determination unit 120 determines that it is currently a restricted section (S126).
  • the restriction flag is not set, the recognition result determination unit 120 determines that it is currently outside the restriction section (S127).
  • step S120 it is determined whether or not it is a restricted section.
  • the function designated by the restriction processing unit 130 as shown in FIG. The restriction process is executed (S130).
  • step S130 function restriction of some sensors, restriction of information transmission to a search engine, restriction of disclosure to an information disclosure server, and the like are performed.
  • the function to be restricted may be set in advance by the user according to the state of the user in the restricted section or the operation action to be restricted, or may be all the functions that can be restricted.
  • the sensor group 14 is not allowed to acquire sensor information.
  • the restriction processing unit 130 transmits a function restriction instruction to the sensor group 14 that restricts functions when a specific action to be restricted such as “take off clothes” or “remove makeup” is detected.
  • a specific action to be restricted such as “take off clothes” or “remove makeup”
  • the restriction processing unit 130 is restricted in function.
  • An instruction to release the restriction on the function is transmitted to the sensor group 14 (S140, S150).
  • FIG. 6 shows an example of the function restriction and restriction release processing of the sensor group 14.
  • the user holds a smartphone and a band-type terminal as a device including the sensor group 14.
  • the smartphone has functions such as a camera, an acceleration sensor, and GPS, and the band type terminal has a vital sensor, a motion sensor, and the like.
  • the restriction processing unit 130 uses this as a restriction trigger to designate a specified sensor among various sensors of the device held by the user. Stop the function.
  • the sensors that the user allows to acquire sensor information and the minimum sensors that are necessary to detect the end of the specific action to be restricted is doing.
  • the acceleration sensor of the band type terminal may be made to function at a low frequency so as to detect the walking after the operation of clothing and makeup, and only the acceleration of the wrist may be detected.
  • the restriction processing unit 130 activates the restricted sensor group 14 using this as a restriction release trigger.
  • the restriction processing unit 130 activates the restricted sensor group 14 using this as a restriction release trigger.
  • the function restriction mode a case where only the minimum sensor necessary for detecting the end of a specific action to be restricted is activated (minimum sensing mode) can be given.
  • minimum sensing mode a case where only the minimum sensor necessary for detecting the end of a specific action to be restricted is activated
  • the restriction level may be changed by a user setting or the like.
  • the minimum sensing mode is basically used, some users may not feel uncomfortable even if some of the sensors that require attention in handling the acquired information are functioned.
  • the switching from the function restriction mode to the full sensing mode is performed by detecting the restriction release trigger, but the present disclosure is not limited to such an example.
  • the timer may be activated at the timing when the full sensing mode is switched to the function restriction mode, and the restricted sensor may be automatically activated after a predetermined time has elapsed.
  • the full sensing mode may be switched to the function restriction mode again.
  • the restriction processing unit 130 limits the time during or around the time when the specific action to be restricted is performed. Then, the information transmission to the server 20 is stopped. In this case, information transmission to the server 20 is not required, and the sensor group 14 may continue to acquire information in the full sensing mode. Then, when it is detected that the specific action to be restricted is terminated, the restriction processing unit 130 resumes transmission of information to the server 20 that has been stopped, assuming that the restricted section is finished.
  • Restriction of information disclosure to the information disclosure server may be such that information transmission itself may not be performed, and information may be transmitted but not disclosed.
  • the information transmitted from the information processing apparatus 100 or the server 20 to the SNS server 30 may be locked so that only the person who has the key (for example, the user himself / herself) can view the information.
  • FIG. 7 An example of information processing is shown in FIG.
  • a defect insertion process for intentionally inserting a defect may be performed.
  • the defect insertion processing for example, as shown in the second row of FIG. 7, two defects are inserted into the original information.
  • the insertion position of the defect may be random, may be determined based on the interval of the defect position of the original information, or may be determined in combination with the action recognition result.
  • a deficit of “applying noise” may be inserted, such as not acquiring data partly with respect to behavior information when the user is just standing.
  • a filling process in which defects are intentionally filled with action contents may be performed.
  • the filling process for example, as shown in the third row of FIG. 7, two deficiencies in the original information are filled with previous and subsequent actions.
  • information may be camouflaged by filling a defect so that information that is not desired to be known may not be known.
  • the defect may be hidden by performing resolution reduction processing that intentionally reduces the resolution of action recognition.
  • the resolution reduction process as shown in the lower part of FIG. 7, for example, another person may be able to see only the action recognition result in units of one hour. By reducing the resolution in this way, it is possible to hide the behavior for a short time.
  • the resolution reduction process may be performed before the information transmitted to the server 30 is transmitted from the server 30 to another person. At this time, the server 30 may change the resolution of the information according to the familiarity between the user who receives information from the server 30 and the user.
  • FIG. 8 and 9 show display examples of the action information of the user (user A) according to the familiarity presented to the person who has received information from the server 30.
  • FIG. 8 shows an example in which the resolution of log information is changed.
  • the user behavior information 210 on the left side of FIG. 8 is a display example displayed to a user with a high degree of familiarity, and the moving location, moving means, and behavior details are displayed in detail. Then, as the intimacy becomes lower than the behavior information 210 on the left side of FIG. 8, a plurality of behavior contents are collected as shown in the center of FIG. 8 and the right side of FIG. 8, and detailed information is not displayed.
  • the information to be shared in real time may be changed without being limited to the log.
  • the server 30 holds the action recognition result of the user A
  • the action information of the user A disclosed to the users B, C, and D may change according to the familiarity.
  • the function restriction method according to the present embodiment has been described above.
  • a restriction section that the user does not want to measure is detected based on detection results of various sensors. Then, while the restricted section is detected, measurement by a predetermined sensor is not performed, and sensor information acquired by the sensor is not uploaded or shared even if measurement is performed. be able to.
  • the behavior recognition unit 110 learns the behavior that the user has not made public in the past or transmitted to the server 20 as teacher information. May be. This learning may be automatic learning.
  • information such as time, user actions, and composites may be used for learning. For example, when “make-up” is performed between “from home to sleep” and a makeup-like operation is performed again after the next day, the adoption rate as the operation of makeup may be increased. . If the reliability of the recognition result is low, the user may confirm whether the information is not disclosed or not transmitted.
  • the operation behavior to be restricted is set in advance by the user, but the present disclosure is not limited to such an example.
  • semantic interpretation may be performed based on the user's behavior recognition result, and execution of the restriction process may be determined by comparing the result with other people's private information. For example, suppose that there is a tendency that many people keep the run immediately before arrival in the behavior at the time of commuting. At this time, when the behavior that the user ran from the station to the company in the morning is specified, when the operation behavior is not set as non-public information, the information processing apparatus 100 gives this information to the user. It may be confirmed whether or not the behavioral action is made private. In this way, by referring to the setting of disclosure / non-disclosure of other people's information, it is possible to confirm and set whether to disclose information that the user was not aware of.
  • Figure 10 shows the processing flow for this use case.
  • the behavior recognition unit 110 of the information processing device 100 acquires sensor information (S200), and starts a behavior recognition process (S210). And it is determined by the recognition result determination part 120 whether the specific action of a restriction
  • the processes in steps S200 to S220 can be performed in the same manner as the processes in steps S100 to S120 in FIG.
  • step S220 If it is determined in step S220 that the detected action of the user does not include the specific action to be restricted, the process returns to step S200 and the process is repeated.
  • the restriction processing unit 130 searches for a device including a sensor capable of acquiring the user behavior around the user. (S230).
  • the process of step S230 detects, for example, a device held by a person within a predetermined range of the user or a device set in a space based on the position information of the user.
  • limiting process part 130 notifies an alert with respect to the owner of the apparatus provided with the sensor which can acquire a user or a user's operation
  • the restriction processing unit 130 may receive information on the user's action by a message, voice, vibration, or the like via a terminal held by the user. You may be notified that there is. Thereby, it is possible to prompt the user himself / herself that his / her behavior may be acquired by another person.
  • the restriction processing unit 130 sends a message, voice, vibration, or the like to the owner of a device including a sensor that can acquire the user's operation behavior that exists around the user.
  • the restriction processing unit 130 searches for a surrounding camera and notifies that the photographing function of the camera is turned off when it is desired to prohibit photographing.
  • a mosaic may be applied to the display area of the user included in the image.
  • information on a section in which a story that is not desired to be heard can be prevented from being recorded.
  • the restriction target is specified. It may be determined that the action has been started, and the restriction processing unit 130 may notify the user to turn off a microphone around the user.
  • This use case may be a case where a multi-view log can be acquired on a stage of a hall.
  • Figure 11 shows the processing flow for this use case.
  • Such processing is basically the same as the processing shown in FIG.
  • the action recognition unit 110 of the information processing apparatus 100 acquires sensor information (S300), it starts action recognition processing (S310). And it is determined by the recognition result determination part 120 whether the specific action of acquisition object is included in the specified user's action action (S320).
  • the recognition of the specific action to be acquired that is, the action to be taken may be performed, for example, by detecting an extraordinary action or in conjunction with a scheduler.
  • the operation behavior to be acquired may be directly specified by the user.
  • step S320 If it is determined in step S320 that the detected action of the user does not include the specific action to be acquired, the process returns to step S300 and the process is repeated.
  • a search is performed as to whether or not there is a device including a sensor that can acquire the user's operation behavior around the user (S330). Similar to step S230 of FIG. 10, the process of step S330 detects, for example, a device held by a person within a predetermined range of the user or a device set in a space based on the position information of the user.
  • the notification which promotes acquisition of information is performed with respect to the owner of the user or the apparatus provided with the sensor which can acquire a user's operation
  • movement action (S340).
  • the directionality of the camera it is possible to control the user's eye line toward the camera.
  • the camera around the user is detected based on the processing flow of FIG. Notify that you want to shoot yourself.
  • the photograph acquired in response to this notification can be obtained, for example, by arbitrarily uploading it to a server or permitting photo sharing.
  • the person who has received the notification of the shooting request is a close person, a notification to that effect may be received.
  • the information processing system 1 automatically detects a section in which the user does not want to be taken and turns off his / her own sensor or a device around the user.
  • the owner can be notified to turn off the sensor.
  • This makes it possible to restrict these functions while the user is performing actions that do not want to acquire, transmit, or disclose logs.
  • a section in which the user is performing an action that the user wants to take, such as shooting, is automatically detected, and the sensor is made to function for the owner of the equipment around the section and the user to acquire information. It can also be done. Thereby, the user can acquire desired information by utilizing the surrounding sensors.
  • FIG. 12 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the information processing apparatus 100 and the servers 20 and 30 in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a positioning sensor such as a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure include, for example, an information processing device (for example, a server), a system, an information processing method executed by the information processing device or system, a program for causing the information processing device to function, and a program, as described above May include a non-transitory tangible medium on which is recorded.
  • examples of the state of the user who does not want to acquire information on the behavioral behavior include when wearing makeup or changing clothes, but the present disclosure is not limited to such an example.
  • the state of the user who does not want to acquire information regarding the behavior may be set.
  • a section that is specified by the specific action to be restricted and the specific action to be restricted is a state in which the user does not want to acquire information
  • An action recognition unit that recognizes a user's movement action; A determination unit that determines whether or not the specific action is included in the recognized action action; A control unit that controls a function of processing information related to the user's operation behavior when the specific behavior is detected;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein when the specific action to be restricted is detected, the control unit stops a function of a sensor capable of acquiring the user's action action. (3) The information processing apparatus according to (2), wherein the control unit stops at least some functions of sensors held by the user. (4) The information processing apparatus according to (2) or (3), wherein the control unit activates a sensor whose function is stopped when a specific action to be restricted is detected.
  • the control unit does not transmit the specific action or the sensor information acquired for analyzing the specific action to the external device.
  • the information processing apparatus according to any one of (1) to (4).
  • the control unit is configured not to disclose at least one of the specific action or the sensor information acquired for analyzing the specific action.
  • the information processing apparatus according to any one of 1) to (5).
  • the information processing apparatus according to any one of (1) to (7), wherein the behavior recognition unit recognizes a user behavior based on sensor information.
  • the behavior recognition unit recognizes a user's motion behavior by combining the motion behavior recognized based on the sensor information and at least one of time-series information, time information, and location information.
  • the information processing apparatus according to (8).
  • the determination unit Compare the recognized movement behavior with the private movement behavior that others have closed, Any of (1) to (9), wherein when it is determined that the recognized operation behavior is the non-disclosure operation behavior, the user determines whether or not disclosure of the information regarding the recognized operation behavior is necessary.
  • the information processing apparatus according to claim 1.
  • the information processing apparatus according to any one of (1) to (10), wherein the specific action is an action for specifying a state of a user who does not want to acquire information related to an action action.

Abstract

【課題】ユーザの行動認識結果に基づき、情報の取得や公開を適切に制限することの可能な情報処理装置を提供する。 【解決手段】ユーザの動作行動を認識する行動認識部と、認識された動作行動に特定行動が含まれるか否かを判定する判定部と、特定行動が検出された場合に、ユーザの動作行動に関する情報を処理する機能を制御する制御部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　ウェアラブル端末等の情報処理端末に各種センサが搭載され、常時センシングが可能となっている昨今、センシングされたくない情報の取得を制限したり、公開したくない情報が公開されないようにする仕組みが必要である。例えば、「服を着てない区間」や「化粧をしていない区間」は計測されたくないという欲求は普遍的にある。このように、情報の取得や公開の制限をする対象としては、カメラやマイク等が顕著であるが、将来的にはセンサログやバイタルセンサ等も制限の対象となることは容易に想像される。
　例えば、特許文献１には、周囲の撮像装置によって被写体が撮影された場合、撮像された画像に含まれる被写体自身の顔を、被写体側の制御によってぼかす技術が開示されている。
米国特許公開第２００４／０２０２３８２号明細書
　しかし、上記特許文献１では、被写体となった人物が行っている動作行動までは考慮されていない。そこで、本開示では、ユーザの行動認識結果に基づき、情報の取得や公開を適切に制限することの可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、ユーザの動作行動を認識する行動認識部と、認識された動作行動に特定行動が含まれるか否かを判定する判定部と、特定行動が検出された場合に、ユーザの動作行動に関する情報を処理する機能を制御する制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、プロセッサにより、ユーザの動作行動を認識すること、認識された動作行動に特定行動が含まれるか否かを判定することと、特定行動が検出された場合に、ユーザの動作行動に関する情報を処理する機能を制御すること、とを含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザの動作行動を認識する行動認識部と、認識された動作行動に特定行動が含まれるか否かを判定する判定部と、特定行動が検出された場合に、ユーザの動作行動に関する情報を処理する機能を制御する制御部と、を備える、情報処理装置として機能させる、プログラムが提供される。
　以上説明したように本開示によれば、ユーザの行動認識結果に基づき、情報の取得や公開を適切に制限することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の機能の概要を説明する説明図である。 同実施形態に係る情報処理システムの機能構成を示す機能ブロック図である。 同実施形態に係る情報処理装置による機能制限方法を示すフローチャートである。 モーションセンサにより化粧をしている動作を検出したときの測定結果の一例を示すグラフである。 図３のステップＳ１２０の制限区間の判定処理の一具体例を示すフローチャートである。 センサ群の機能の制限及び制限解除の処理の一例を示す説明図である。 情報の加工例を示す説明図である。 情報の解像度を意味する情報の粒度に応じて、表示内容を変化させる一表示例を示す説明図である。 情報を受けるユーザの状態に応じて、通知する情報の内容を変化させる一表示例を示す説明図である。 とられたくない行動の検出により周囲にあるセンサを備える機器をサーチする場合の処理フローを示すフローチャートである。 とられたい行動の検出により周囲にあるセンサを備える機器をサーチする場合の処理フローを示すフローチャートである。 同実施形態に係る情報処理装置のハードウェア構成例を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　２．機能構成
　３．機能制限方法
　　３．１．制限区間の検出処理
　　３．２．制限区間における制限処理
　　　ａ）一部センサの機能制限
　　　ｂ）検索エンジンへの情報送信制限
　　　ｃ）情報公開サーバに対する公開制限
　４．ユースケース
　　４．１．とられたくない行動の検出により自分の機器のセンサをオフ
　　４．２．とられたくない行動の検出により周囲にあるセンサを備える機器をサーチ
　　４．３．とられたい行動の検出により周囲にあるセンサを備える機器をサーチ
　５．ハードウェア構成
　６．補足
　＜１．概要＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システム１の機能の概要について説明する。なお、図１は、本実施形態に係る情報処理システム１の概要を説明する説明図である。
　本実施形態に係る情報処理システム１は、モーションセンサ等の各種センサの検出結果に基づき、ユーザが計測されたくない制限区間を検出する。そして、情報処理システム１は、制限区間が検出されている間は、所定のセンサによる計測を行わないようにしたり、計測を行ってもそのセンサにより取得されたセンサ情報をサーバにアップロードしたり共有したりしないようにする。すなわち、本実施形態に係る情報処理システム１では、以下の処理を行う。
　（１）制限区間の検出処理
　（２）制限区間における制限処理
　　　ａ）一部センサの機能制限
　　　ｂ）検索エンジンへの情報送信制限
　　　ｃ）情報公開サーバに対する公開制限
　例えば、図１に示すように、ユーザが化粧をしていない区間（ノーメイク区間）は、カメラによる撮影や、そのときの位置情報の公開を禁止する場合を考える。このとき、化粧をしていない区間が制限区間として設定されている。制限区間には化粧動作中及び化粧を落とす動作中も含むものとする。各種センサによって取得されたセンサ情報に基づき認識されたユーザの動作行動から、化粧動作中と認識されると、情報処理システム１は、化粧動作が終了して制限区間外となるまで、一部のセンサの機能、センサ情報や行動認識結果の出力、公開等を制限する。
　例えば、情報処理システム１は、制限区間中、化粧をしているユーザの周囲のカメラを備える機器１０に対して、カメラによる撮影機能を制限する要求を通知する。また、情報処理システム１は、ユーザの行動認識結果をユーザに行う広告設定に利用する機能等、行動認識結果をユーザ自身に反映する機能を備えるサーバ２０に対して、この行動認識結果を通知しないようにする。さらに、情報処理システム１は、撮影画像や位置情報等のセンサ情報を、ＳＮＳ（Social Networking Service）を管理するＳＮＳサーバ３０へ送信しないようにする。そして、化粧動作が終了して制限区間が終了したことを検出すると、情報処理システム１は、制限されていた機能の制限を解除する。
　これにより、ユーザの行動に関するセンサ情報やログ等が不用意に取得されたり公開されたりするのを防止することができる。以下、本実施形態に係る情報処理システム１の構成とこれによる処理について詳細に説明していく。
　＜２．機能構成＞
　まず、図２に基づいて、本実施形態に係る情報処理システム１の機能構成を説明する。なお、図２は、本実施形態に係る情報処理システム１の機能構成を示す機能ブロック図である。
　本実施形態に係る情報処理システム１は、図１にて示したように、ユーザの行動認識結果から制限区間を検出し、制限区間中、一部のセンサの機能、センサ情報や行動認識結果の出力、公開等を制限する。当該処理は、図２に示す情報処理装置１００にて行われる。情報処理装置１００はユーザのセンサ情報を取得して、行動認識処理を実行することの可能な装置であり、例えば行動認識サーバやウェアラブルデバイス（いずれも図示せず。）等に設けられる。情報処理装置１００は、図２に示すように、行動認識部１１０と、認識結果判定部１２０と、制限処理部１３０とからなる。
　行動認識部１１０は、センサ情報に基づいて行動認識処理を行い、ユーザの動作行動を特定する。行動認識部１１０は、図２に示すように、行動検出部１１１、動作検出部１１３、組合せ判定部１１５を含む。
　行動検出部１１１は、各種センサにより取得されたセンサ情報に基づいて、ユーザの位置情報や歩きや走り、電車、自動車等の移動情報、その位置でのユーザの目的等を特定する行動認識処理を行う。行動検出部１１１は、例えば特開２０１３－３６４９号公報等の文献に記載された公知の行動認識技術を用いてユーザの動作行動を検出してもよい。
　動作検出部１１３は、センサ群１４により計測されたセンサ情報に基づいて、ユーザがセンシングや情報の送信、公開等を制限するとしている制限区間の動作を検出する処理部である。動作の検出は、例えばモーションセンサの計測値やカメラにより撮影された画像、ＩｏＴ（Internet of Things）等により取得された情報等に基づき行われる。
　組合せ判定部１１５は、行動検出部１１１及び動作検出部１１３により取得された行動認識結果や動作情報に加え、その他のユーザの行動に関する情報を組み合わせて、ユーザの動作行動をより正確な情報とする。組合せ判定部１１５は、例えば時系列情報や時刻情報、場所情報等を用いて、行動認識結果や動作情報の漏れや過検出を調整し、より正確な情報とする。
　認識結果判定部１２０は、行動認識部１１０により取得されたユーザの動作行動に、センシングや情報の送信、公開等を制限する区間を特定するための動作行動が含まれるか否かを判定する判定部である。認識結果判定部１２０は、例えば、「服を着てない区間」や「化粧をしていない区間」等のように見られたくない状態や、ログを取得されたくない状態を特定するための動作行動を、特定行動として検出する。認識結果判定部１２０は、予めユーザにより設定された特定行動を記憶している記憶部（図示せず。）を参照し、行動認識部１１０により取得された動作行動が特定行動であるか否かを判定する。認識結果判定部１２０による判定結果は、制限処理部１３０へ出力される。
　制限処理部１３０は、認識結果判定部１２０による検出結果に基づいて、制限区間中、センシングや情報の送信、公開等を制限させる制御部である。すなわち、制限処理部１３０は、特定行動が検出された場合に、ユーザの動作行動に関する情報を処理する機能を制御する。例えば、制限処理部１３０は、センサ群１４に対して機能を制限する要求を通知する。また、制限処理部１３０は、サーバ２０に対して、この行動認識結果を通知しないようにエンジン利用部２５への情報送信を制限する。さらに、制限処理部１３０は、ＳＮＳサーバ３０に対し、公開処理部３５によって制限区間中に受信した一部の情報を公開しないようにさせる。また、制限処理部１３０は、制限区間が終了したことを検出すると、センサ群１４、サーバ２０、ＳＮＳサーバ３０に対し、制限していた機能の制限を解除する指示を送信する。
　＜３．機能制限方法＞
　次に、図３に基づいて、情報処理装置１００による機能制限方法について説明する。なお、図３は、本実施形態に係る情報処理装置１００による機能制限方法を示すフローチャートである。本実施形態に係る情報処理装置１００は、上述したように、制限区間の検出処理と、制限区間における制限処理とを実行する。以下、各処理について説明する。
　［３．１．制限区間の検出処理］
　まず、本実施形態に係る情報処理装置１００による制限区間の検出処理について説明する。
　情報処理装置１００により制限区間を検出するにあたり、制限区間を特定するための特定行動が予めユーザによって設定されているものとする。そして、特定行動を行動認識部１１０により検出するため、これらの特定行動は、センサ情報を用いて定義されている。例えば、化粧という動作は、「顔に対して何かを持った手を近づけて作業して持った状態で離す、一連の動作」を繰り返し行う時間帯のことと定義される。また、例えば、脱衣という動作とは「体に対して何も持たない手を近づけて作業して（持った状態で）離す、一連の動作」を繰り返し行う時間帯のことと定義される。
　本実施形態に係る制限区間の検出処理では、まず、行動認識部１１０は、各種センサよりセンサ情報を取得する（Ｓ１００）。そして、取得したセンサ情報に基づき、行動認識部１１０は、行動認識処理を行い、特定行動を検出する（Ｓ１１０、Ｓ１２０）。
　ステップＳ１１０では、行動認識部１１０は以下の処理を実行し、ユーザの動作行動を検出する。なお、各処理は、それぞれの処理を行う機能部によって実行されてもよく、１つの機能部にてまとめて実行されてもよい。
　　第１処理：動作検出を行う
　　第２処理：第１処理の結果に対し、漏れ／過検出を調整する
　　第３処理：その他の行動情報を組み合わせる
　第１処理の動作検出では、ステップＳ１００にて各種センサより取得されたセンサ情報等を用いて、ユーザの動作を検出する。例えば、化粧という動作を検出する場合、動作検出部１１３は、上述したように「顔に対して何かを持った手を近づけて作業して持った状態で離す、一連の動作」を検出する。この動作は、様々なセンサ情報を用いて検出することができる。
　例えば、ユーザの腕の動きを、例えばユーザが装着する機器に搭載されたモーションセンサによって検出することで、動作を検出してもよい。図４に、物体の動き、傾き、方向等をＸ、Ｙ、Ｚの３軸に検出可能なモーションセンサにより、化粧をしている動作を検出したときの測定結果の一例を示す。動作検出部１１３は、モーションセンサにより検出された角速度にローパスフィルタをかけた検出結果から、各軸のゼロクロス、ピーク及び勾配を取得し、ユーザの腕の状態を定義する。そして、動作検出部１１３は、その腕の状態の遷移から、腕の動きを特定する。
　具体的には、動作検出部１１３は、モーションセンサの検出結果から、準備（ready）、動作開始（start）、移動（move）、キャッチ（catch）、持ち上げる（lift）、離す（leave）、動作終了（end）、無効（invalid）等の腕の状態を検出する。図４の例では、最初のゼロクロスを動作開始として、各軸の値の変化から、腕の移動、持ち上げ、離すといった一連の動作が認識される。動作検出部１１３は、このような一連の動作をモーションセンサの測定結果から特定する。なお、腕の移動、持ち上げ、離すという一連の動作は、脱衣の動作や食事の動作等とも考えられる。いずれの動作であるかを特定するには、他のセンサ情報を用いればよい。
　また、ユーザの動作を検出する他の方法として、例えばカメラを用いる方法がある。カメラによって鏡に映った自分を間接的に（あるいは直接的に）撮影された自分の画像を用いて、顔付近に手が近づき離れる動作やその頻度を認識することが可能である。さらに、ＩｏＴを用いて、ユーザの動作を検出することも可能である。例えば、情報処理装置１００がユーザの化粧ポーチや衣装棚等、動作時に利用したり近づいたりするものから位置情報等の情報を取得可能であれば、ユーザとの相対距離等からユーザの動作を特定することも可能である。このように、第１処理では、各種センサ情報を用いて、ユーザの動作が認識される。
　次いで、第２処理では、動作検出部１１３は、第１処理で検出したユーザの動作行動に対し、漏れや過検出があるかを確認し、確認結果に基づき情報を調整する。例えば、動作検出部１１３は、前後の動作から不自然な突発的な動作と考えられる部分があれば、誤検出であると判定し、当該動作を削除したりする。
　そして、第３処理では、その他の行動情報と組み合わせて、動作を特定する。かかる処理により、動作検出部１１３により特定された動作行動をより正確なものとすることができる。第３処理は、組合せ判定部１１５により、行動検出部１１１や動作検出部１１３の検出結果、センサ情報等に基づき行われる。
　具体的には、例えば行動検出部１１１により検出された時系列情報を用いて、動作と特定することができる。化粧や着替え等の動作は、行われる時間やその動作を行う前後のユーザの行動に特徴がある。例えば、行動検出部１１１により睡眠が検出されてから外出が検出されるまでの間を、化粧や着替えが行われている時間の候補とすることができる。この区間には、朝の化粧や着替えの動作が含まれると考えられるためである。なお、帰宅を検出してから睡眠が検出されるまでの間は、化粧を落とす動作が含まれる区間と考えることができる。
　また、例えば、行動検出部１１１により得られた時系列情報より、歩きの行動によって挟まれた数分の区間が検出される場合には、この区間を化粧が行われている時間の候補とすることができる。例えば、会社等においては、化粧は主にトイレで行われ、会社で主に滞在する自室から移動して化粧を行い自室に戻るという行動をとるのが常である。これより、歩きの行動によって挟まれた数分の区間は、化粧をするために自室からトイレへ移動し、化粧後にトイレから自室へ戻る行動が行われたと考えることができる。
　なお、行動検出部１１１により検出された移動中の区間は化粧や着替えの動作が行われている時間の候補からはずしてもよい。しかし、飛行機等の長時間乗り物中に滞在している区間では化粧を行っている可能性もあるため、化粧の動作を行っている時間の候補のままとしてもよい。これより、例えば、乗り物での移動中の時間の長さに応じて、制限区間の候補とするか否かを決定してもよい。このように、移動手段や時間長による細かいフィルタを設定することで、漏れや過検出を防止することも可能である。
　また、組み合わせ処理で用いるその他の行動情報として、時刻情報を用いてもよい。例えば、化粧の動作は、朝の特定の時間に決まって行われることが多い。このようなユーザの行動習慣から、動作を行っている時間に基づき動作を特定することも可能である。さらに、組み合わせ処理で用いるその他の行動情報として、場所情報を用いてもよい。例えば、部屋単位でのユーザの位置検出が可能な場合、制限対象の動作行動が行われる可能性の高い候補地を絞り込むことができる。例えば、環境設置型センサの検出情報から試着室等の存在がわかれば、着替えにより「服を着てない区間」が生じる可能性が高いことを知ることができる。このように、ユーザ位置を検出することで、ユーザの動作を正確にかつ容易に特定することが可能となる。
　このような第１処理、第２処理、第３処理を行い、ユーザの動作行動が特定されると、認識結果判定部１２０は、その動作行動に基づいて、制限区間であるか否かを判定する（Ｓ１２０）。制限区間であるか否かは、例えば、検出された動作行動に制限区間を特定するための特定行動が含まれるか否かにより判定してもよい。
　図５に、ステップＳ１２０の制限区間の判定処理の一具体例を示す。ここで、制限区間は、制限区間の開始を判定する制限対象の特定行動と、制限区間の終了を判定する制限解除対象の特定行動とにより、特定される。これらの制限区間を特定するための特定行動は予め設定されている。
　まず、図５に示すように、認識結果判定部１２０は、検出された動作行動に特定行動が含まれるか否かを判定する（Ｓ１２１）。例えば、帰宅直後に化粧を落とし、出社直前に化粧をするまでの区間を制限区間とする場合、帰宅直後の化粧を落とす動作が制限対象の特定動作となる。認識結果判定部１２０は、検出された動作行動に制限対象の特定動作が含まれているとき、例えば、情報処理装置１００内で使用される情報の、制限区間であることを示す制限フラグを立てる（Ｓ１２２）。制限フラグが立っている間は、制限区間であると判断される。一方、検出された動作行動に制限対象の特定動作が含まれていないときには、認識結果判定部１２０は、そのまま次のステップＳ１２３の処理へ進む。
　次いで、認識結果判定部１２０は、検出された動作行動に制限解除対象の特定行動が含まれるか否かを判定する（Ｓ１２３）。例えば、帰宅直後に化粧を落とし、出社直前に化粧をするまでの区間を制限区間とする場合では、出社直前に化粧をする動作が制限解除対象の特定動作となる。認識結果判定部１２０は、検出された動作行動に制限解除対象の特定動作が含まれているとき、制限フラグを下げる（Ｓ１２４）。一方、検出された動作行動に制限解除対象の特定動作が含まれていないときには、認識結果判定部１２０は、そのまま次のステップＳ１２５の処理へ進む。
　その後、認識結果判定部１２０は、制限フラグに基づいて、制限区間であるか否かを判定する（Ｓ１２５）。認識結果判定部１２０は、制限フラグが立っている場合には、現在、制限区間であると判定する（Ｓ１２６）。一方、制限フラグが立っていない場合には、認識結果判定部１２０は、現在、制限区間外であると判定する（Ｓ１２７）。このように、ステップＳ１２０にて制限区間であるか否かが判定され、その結果、現在制限区間であると判定された場合、図３に示すように、制限処理部１３０により、指定された機能の制限処理が実行される（Ｓ１３０）。
　［３．２．制限区間における制限処理］
　ステップＳ１３０の制限処理では、図１にて説明したように、一部センサの機能制限、検索エンジンへの情報送信制限、情報公開サーバに対する公開制限等を行う。制限される機能は、制限区間中のユーザの状態や制限対象の動作行動に応じて予めユーザが設定してもよく、制限可能な機能すべてであってもよい。
ａ）一部センサの機能制限
　一部センサの機能制限では、センサ群１４に対し、センサ情報の取得を行わせないようにする。制限処理部１３０は、「服を脱ぐ」、「化粧を落とす」などの制限対象の特定行動が検出されると、機能を制限するセンサ群１４に対して、機能制限指示を送信する。そして、「服を着る」、「化粧を終える」などの制限区間の終了を検出するための制限解除対象の特定行動が終了したことが検出されると、制限処理部１３０は、機能が制限されていたセンサ群１４に対して機能の制限を解除する指示を送信する（Ｓ１４０、Ｓ１５０）。
　図６に、センサ群１４の機能の制限及び制限解除の処理の一例を示す。例えば、ユーザは、センサ群１４を備える機器として、スマートフォン及びバンド型端末を保持しているとする。スマートフォンは、カメラや加速度センサ、ＧＰＳ等の機能を備えており、バンド型端末は、バイタルセンサやモーションセンサ等を備えている。ここで、通常は、すべてのセンサ群が機能しているフルセンシングモードであるとする。このとき、例えば脱衣等のユーザが制限対象の特定行動を開始したことが検出されると、制限処理部１３０は、これを制限トリガとして、ユーザの保持する機器の各種センサのうち指定されたセンサの機能を停止させる。
　一部センサの機能が制限されている機能制限モードでは、ユーザがセンサ情報の取得を許可しているセンサや、制限解除対象の特定行動の終了を検出するために必要な最低限のセンサのみ機能している。例えば、着衣、化粧の動作後の歩き出しを検出するため、バンド型端末の加速度センサのみを低周波で機能させ、手首の加速度のみを検出するようにしてもよい。
　そして、着衣の動作が完了したことが検出されると、制限処理部１３０は、これを制限解除トリガとして、制限していたセンサ群１４を起動させる。このように、ユーザの制限対象の特定行動の開始から制限解除対象の特定行動の終了までの間は、必要最小限のセンサのみを機能させるようにし、ユーザが取られたくない動作行動に関するセンサ情報の取得を制限させることができる。
　なお、機能制限モードとしては、制限解除対象の特定行動の終了を検出するために必要な最低限のセンサのみ機能させる場合（ミニマムセンシングモード）が例として挙げられる。ただし、ミニマムセンシングモードで機能するセンサに加えてユーザがセンサ情報の取得を許可しているセンサまで機能させる場合（プライバシーモード）は、制限するレベルをユーザ設定等により変更可能にしてもよい。例えば、基本的にはミニマムセンシングモードとするが、取得される情報の取り扱いに注意が必要となるセンサのうち一部を機能させても、ユーザによっては不快感を抱かないこともある。例えば、「化粧をしていないときはカメラ撮影はやめてほしいが、音やバイタルセンサが機能していても全く気にならない」、「遅刻しそうで走っているときは行動推定結果や脈拍の公開はやめてほしいが、位置ログが見られることは全く気にならない」等の場合がある。このような場合には、許可されたセンサ情報の取得を行ってもよい。
　また、図６では、機能制限モードからフルセンシングモードへの切り替えは、制限解除トリガの検出により行ったが、本開示はかかる例に限定されない。例えば、フルセンシングモードから機能制限モードに切り替わったタイミングでタイマーを起動させ、所定の時間経過後に制限していたセンサを自動的に起動させるようにしてもよい。機能を制限していたセンサを起動した際、まだ制限対象の動作行動が行われていることを検出した場合には、再びフルセンシングモードから機能制限モードに切り替えるようにしてもよい。
　ｂ）検索エンジンへの情報送信制限
　検索エンジンへの情報送信制限では、行動認識部１１０により取得された動作行動やセンサ情報等をサーバ２０へ送信しないようにする。制限処理部１３０は、「服を脱ぐ」、「化粧を落とす」などの制限対象の特定行動が検出されると、制限対象の特定行動が行われている間あるいはその前後の時間を制限区間して、サーバ２０への情報送信を停止する。なお、この場合、サーバ２０への情報送信が行われなければよく、センサ群１４はフルセンシングモードで情報を取得し続けてもよい。そして、制限解除対象の特定行動が終了したことが検出されると、制限処理部１３０は、制限区間が終了したとして、停止していたサーバ２０への情報の送信を再開する。
　ｃ）情報公開サーバに対する公開制限
　サーバ２０への情報送信の制限は、情報の送信自体を行わないようにしてもよく、情報は送信されるが公開されないようにしてもよい。例えば、情報処理装置１００あるいはサーバ２０からＳＮＳサーバ３０へ送信される情報に鍵をかけ、鍵を有する人（例えばユーザ本人）のみが情報を見ることができるようにしてもよい。
　ここで、サーバ３０への情報送信の制限を行うことで、サーバ３０に蓄積された時系列データに欠損が生じてしまい、この欠損が意味を持ってしまう可能性もある。例えば、「トイレのときのみデータをとらない」とした場合、データが取得されていないときはトイレというように「欠損＝トイレ」のような類推が可能となる可能性がある。そこで、サーバ３０への情報送信を行うが、知られたくない情報は知られないようにするため、サーバ３０へ情報を送信する前にオリジナルの情報を加工し、サーバ３０へ送信するようにしてもよい。
　情報の加工例を図７に示す。図７に示すオリジナル情報には、ある行動と行動との間に欠損が存在する。この欠損を隠すための方法として、例えば、意図的に欠損を挿入させる欠損挿入処理を行ってもよい。欠損挿入処理により、例えば図７の２段目に示すように、オリジナル情報に対して２つの欠損が挿入される。この欠損の挿入位置は、ランダムであってもよく、オリジナル情報の欠損位置の間隔に基づき決定されてもよく、行動認識結果と組み合わせて決定してもよい。また、例えばユーザがただじっとしているときの行動情報について一部敢えてデータを取得しない等、「ノイズを付与する」という欠損の挿入を行ってもよい。
　また、他の欠損を隠すための方法として、例えば、意図的に行動内容で欠損を埋める充填処理を行ってもよい。充填処理では、例えば図７の３段目に示すように、オリジナル情報にあった２つの欠損が前後の行動で埋められている。このように、欠損を埋めることで情報を迷彩化して、知られたくない情報を知られないようにしてもよい。
　さらに、例えば、行動認識の解像度を意図的に低下させる解像度低下処理を行うことで、欠損を隠すようにしてもよい。解像度低下処理では、図７下段示すように、例えば、他人からは１時間単位の行動認識結果しか見ることができないようにしてもよい。このように解像度を低下させることで、短い時間の行動を隠すことが可能となる。解像度低下処理は、サーバ３０に送信された情報が、サーバ３０から他の人へ送信される前に行われてもよい。このとき、サーバ３０は、サーバ３０から情報を受ける人とユーザとの親密度に応じて、情報の解像度を変化させてもよい。
　図８及び図９に、サーバ３０から情報を受けとった人に提示される親密度に応じたユーザ（ユーザＡ）の行動情報の表示例を示す。例えば、図８の例では、ログの情報の解像度を変化させる例を示している。例えば図８左側のユーザの行動情報２１０は、親密度が高いユーザに対して表示される表示例であり、移動場所や移動手段、行動内容が詳細に表示されている。そして、図８左側の行動情報２１０より親密度が低くなるにつれ、図８中央、図８右側のように複数の行動内容がまとめられ、詳細な情報が表示されなくなる。
　また、図９の例のように、ログに限定せずリアルタイムに共有させる情報を変化させてもよい。ユーザＡの行動認識結果をサーバ３０が保持しているときに、ユーザＢ、Ｃ、Ｄに対して開示されるユーザＡの行動情報が、親密度に応じて変化してもよい。
　以上、本実施形態に係る機能制限方法について説明した。本実施形態に係る機能制限方法により、各種センサの検出結果に基づき、ユーザが計測されたくない制限区間を検出する。そして、制限区間が検出されている間は、所定のセンサによる計測を行わないようにしたり、計測を行ってもそのセンサにより取得されたセンサ情報をサーバにアップロードしたり共有したりしないようにすることができる。
　なお、上述の説明において、制限対象の動作行動の検出は、汎用的な定義に基づき行ったが、その動作行動には個人差がある。このため、各ユーザについての動作行動の検出精度を高めるために、例えば過去にユーザが公開しなかったり、サーバ２０に送信しなかったりした行動を教師情報として行動認識部１１０にて学習するようにしてもよい。この学習は自動学習であってもよい。その他、時間やユーザの動作、合成物等の情報を学習に用いてもよい。例えば、「帰宅から睡眠まで」の間において化粧らしい動作をした「場所」で、翌日以降に再度化粧らしい動作が行われた場合、化粧している動作としての採用率をあげるようにしてもよい。また、認識結果の信頼度が低い場合は、ユーザに対して、情報の非公開や未送信の是非を確認してもよい。
　このような学習による個人化のスキームを用いることで、上述したユーザの動作行動の検出処理での第３処理において、動作検出部１１３により特定された動作行動の調整をより容易に行うことが可能となる。例えば、あるユーザについて、特定の時間帯に特定の緯度経度で動きがあった区間は「出社前に走る」という動作行動であることが認識され、かつその区間をユーザが公開しなかったとする。後日、動作検出部１１３にて類似の動作行動が特定された場合には、類似行動と判断し自動で公開を止めてもよい。もちろん、上記と同様に、十分な信頼度が得られるまでは、ユーザに情報の非公開や未送信の是非を確認してもよい。
　また、上述の説明では、制限対象の動作行動は、ユーザにより予め設定されるものとしたが、本開示はかかる例に限定されない。例えば、ユーザの行動認識結果から意味解釈を行い、他人の非公開情報と比較することで、制限処理の実行を決定してもよい。例えば、通勤時の行動において到着直前の走りは非公開にする人が多いという傾向があったとする。このとき、当該ユーザが、朝、駅から会社まで走ったという行動が特定されたとき、この動作行動を非公開の情報としていなかったときに、情報処理装置１００は、ユーザに対して、この動作行動を非公開とするか否かを確認してもよい。このように、他人の情報の公開／非公開の設定を参考にすることで、ユーザが意識していなかった情報について公開の是非を確認し、設定させることができる。
　＜４．ユースケース＞
　本実施形態に係る情報処理システム１のユースケースとしては、以下のようなことが考えられる。
　［４．１．とられたくない行動の検出により自分の機器のセンサをオフ］
　まず、とられたくない行動が検出されたとき、自動で自分の機器のセンサをオフにすることが考えられる。このユースケースは、情報処理装置１００により自分の機器のオンオフを自動制御するものであり、例えばユーザが見せたくないログを他人に見せないようにする。例えば、ユーザが着替え始めたことが検出されたら、ユーザの機器が備える所定のセンサをオフにし、着替えを終えたことが検出されたら、オフにしていたセンサをオンにする。このとき自動制御されるセンサには、ユーザが保持しているもの以外にも、ユーザに関連付けられた機器に備えるセンサを含んでもよい。
　［４．２．とられたくない行動の検出により周囲にあるセンサを備える機器をサーチ］
　他のユースケースとして、とられたくない行動が検出されたとき、自動で周囲にあるセンサを備える機器をサーチすることが考えられる。このユースケースは、盗撮等、ユーザが意図しない行動に関する情報を取得されてしまうのを防止する場合等が考えられる。
　図１０に、本ユースケースでの処理フローを示す。図１０に示すように、まず、情報処理装置１００の行動認識部１１０は、センサ情報を取得すると（Ｓ２００）、行動認識処理を開始する（Ｓ２１０）。そして、認識結果判定部１２０により、検出されたユーザの動作行動に制限対象の特定行動が含まれているか否かを判定する（Ｓ２２０）。ステップＳ２００～Ｓ２２０の処理は、上記図３のステップＳ１００～Ｓ１２０の処理と同様に行うことができる。
　ステップＳ２２０の動作行動の判定において、検出されたユーザの動作行動に制限対象の特定行動が含まれていないと判定されれば、ステップＳ２００に戻り、処理が繰り返し行われる。一方、検出されたユーザの動作行動に制限対象の特定行動が含まれていた場合、制限処理部１３０は、ユーザの周囲に、ユーザの動作行動を取得可能なセンサを備える機器が存在するかサーチする（Ｓ２３０）。ステップＳ２３０の処理は、例えばユーザの位置情報に基づき、ユーザの所定の範囲内にいる人が保持する機器や空間に設定されている機器を検出する。そして、ユーザの動作行動を取得可能なセンサを備える機器を検出した場合、制限処理部１３０は、ユーザまたはユーザの動作行動を取得可能なセンサを備える機器の所有者に対し、アラートを通知する。
　例えば、制限処理部１３０は、とられたくない行動をしているユーザに対しては、ユーザが保持する端末を介して、メッセージや音声、振動等により、ユーザの行動に関する情報がとられる可能性があることを通知してもよい。これにより、ユーザ自身に自分の行動が他人に取得される可能性があるという注意を促すことができる。また、制限処理部１３０は、ユーザの周囲に存在する、ユーザの動作行動を取得可能なセンサを備える機器の所有者に対して、メッセージや音声、振動等により、現在機能しているセンサのうち、所定のセンサについて機能をオフにしてほしい旨を通知してもよい。これは、ユーザ以外が保持する機器を勝手にオフにすることは現実的でないためである。
　具体的には、ユーザが着替えていることが検出されたとき、制限処理部１３０は、撮影を禁止したい場合には周囲のカメラをサーチし、カメラの撮影機能をオフにする旨を通知する。その他、制限区間において、他人のカメラによってユーザが撮影されている場合には、画像中に含まれるユーザの表示領域にモザイクがかかるようにしてもよい。
　また、例えば聞かれたくない話をしている区間の情報は録音されないようにすることもできる、例えば、情報処理装置１００の行動認識部１１０により所定のキーワードが検出されたとき、制限対象の特定行動を開始したと判断し、制限処理部１３０は、ユーザの周囲のマイクをオフにするよう通知してもよい。
　［４．３．とられたい行動の検出により周囲にあるセンサを備える機器をサーチ］
　さらに他のユースケースとして、とられたい行動が検出されたとき、自動で周囲にあるセンサを備える機器をサーチすることが考えられる。このユースケースは、ハレの舞台等において、多視点のログを取得できるようにする場合等が考えられる。
　図１１に、本ユースケースでの処理フローを示す。かかる処理は、基本的には図１０に示す処理と同等である。まず、情報処理装置１００の行動認識部１１０は、センサ情報を取得すると（Ｓ３００）、行動認識処理を開始する（Ｓ３１０）。そして、認識結果判定部１２０により、特定されたユーザの動作行動に取得対象の特定行動が含まれるか否かを判定する（Ｓ３２０）。取得対象の特定行動の認識、すなわち、とられたい行動の認識は、例えば非日常行動を検出したり、スケジューラと連動したりすることで行ってもよい。もちろんユーザにより取得対象の動作行動を直接指定してもよい。
　ステップＳ３２０の動作行動の判定において、検出されたユーザの動作行動に取得対象の特定行動が含まれていないと判定されれば、ステップＳ３００に戻り、処理が繰り返し行われる。一方、取得対象の特定行動が検出された場合、ユーザの周囲に、ユーザの動作行動を取得可能なセンサを備える機器が存在するかサーチする（Ｓ３３０）。ステップＳ３３０の処理は、図１０のステップＳ２３０と同様、例えばユーザの位置情報に基づき、ユーザの所定の範囲内にいる人が保持する機器や空間に設定されている機器を検出する。そして、ユーザの動作行動を取得可能なセンサを備える機器を検出した場合、ユーザまたはユーザの動作行動を取得可能なセンサを備える機器の所有者に対し、情報の取得を促す通知を行う（Ｓ３４０）。このとき、例えばカメラの方向性等も取得可能であれば、ユーザの眼線をカメラに向けさせるといったコントロールも可能となる。
　具体的には、例えば舞台に上がっている自分の写真を複数の視点から得たいときに、図１１の処理フローに基づき、ユーザの周囲にあるカメラを検出し、検出されたカメラに対して、自分を撮影してほしい旨を通知する。この通知を受けて取得された写真は、例えば任意でサーバにアップしてもらったり、写真のシェアを許可してもらったりすることで、取得することが可能である。また、撮影依頼の通知を受けた人が親しい人物であれば、その旨の通知を受けるようにしてもよい。
　このように、本実施形態に係る情報処理システム１により、ユーザがとられたくない行動をしている区間を自動的に検出し、その区間、自分のセンサをオフにしたりユーザの周囲にある機器の所有者に対してセンサをオフにするよう通知したりすることができる。これにより、ユーザがログの取得や送信、公開を希望しない行動を行っている間は、これらの機能を制限させることができる。逆に、ユーザが撮影等のようにとられたい行動を行っている区間を自動的に検出し、その区間、ユーザの周囲にある機器の所有者に対してセンサを機能させて情報を取得させるようにすることもできる。これにより、周囲のセンサを活用して、ユーザは所望の情報を取得することができるようになる。
　＜５．ハードウェア構成＞
　次に、図１２を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１２は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置１００やサーバ２０、３０を実現しうる。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機等の測位センサを含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　＜６．補足＞
　本開示の実施形態は、例えば、上記で説明したような情報処理装置（例えばサーバ）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、動作行動に関する情報を取得されたくないユーザの状態の例として、化粧をしているときや着替えをしているとき等を挙げたが、本開示はかかる例に限定されない。例えば、怒られているときや、特定の人物と一緒にいるとき、居眠りしているとき、感情が激しく動いたとき等も、動作行動に関する情報を取得されたくないユーザの状態としてもよい。
　また、上記実施形態にて説明したように、本開示の技術範囲では、制限対象の特定行動と制限解除対象の特定行動とによって特定される、ユーザが情報を取得されたくない状態にある区間、ユーザの動作行動に関する情報を処理する機能を制限してもよい。あるいは、特定の動作行動を行っている間のみ、上記機能を制限するようにしてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの動作行動を認識する行動認識部と、
　認識された動作行動に特定行動が含まれるか否かを判定する判定部と、
　前記特定行動が検出された場合に、前記ユーザの動作行動に関する情報を処理する機能を制御する制御部と、
を備える、情報処理装置。
（２）
　前記制御部は、制限対象の特定行動が検出されたとき、前記ユーザの動作行動を取得可能なセンサの機能を停止させる、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記ユーザが保持するセンサのうち少なくとも一部の機能を停止させる、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、制限解除対象の特定行動が検出されたとき、機能が停止されていたセンサを起動させる、前記（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、制限対象の特定行動が検出されたとき、当該特定行動または特定行動を分析するために取得されたセンサ情報のうち少なくともいずれか１つの情報を、外部機器へ送信しないようにする、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記制御部は、制限対象の特定行動が検出されたとき、当該特定行動または特定行動を分析するために取得されたセンサ情報のうち少なくともいずれか１つの情報を、公開しないようにする、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記制御部は、制限対象の前記特定行動が検出されたとき、前記ユーザの動作行動の時系列情報を加工した後公開させるようにする、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（８）
　前記行動認識部は、センサ情報に基づいてユーザの動作行動を認識する、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記行動認識部は、前記センサ情報に基づいて認識された動作行動と、時系列情報、時刻情報または場所情報のうち少なくともいずれか１つの情報とを組み合わせて、ユーザの動作行動を認識する、前記（８）に記載の情報処理装置。
（１０）
　前記判定部は、
　認識された前記動作行動と、他人が非公開とした非公開動作行動とを比較し、
　認識された前記動作行動が前記非公開動作行動であると判定したとき、ユーザに対し、認識された前記動作行動に関する情報の公開の要否を判断させる、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記特定行動は、動作行動に関する情報を取得されたくないユーザの状態を特定するための行動である、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　プロセッサにより、
　ユーザの動作行動を認識すること、
　認識された動作行動に特定行動が含まれるか否かを判定することと、
　前記特定行動が検出された場合に、前記ユーザの動作行動に関する情報を処理する機能を制御すること、
とを含む、情報処理方法。
（１３）
　コンピュータを、
　ユーザの動作行動を認識する行動認識部と、
　認識された動作行動に特定行動が含まれるか否かを判定する判定部と、
　前記特定行動が検出された場合に、前記ユーザの動作行動に関する情報を処理する機能を制御する制御部と、
を備える、情報処理装置として機能させる、プログラム。
　１　　　　情報処理システム
　１００　　情報処理装置
　１１０　　行動認識部
　１１１　　行動検出部
　１１３　　動作検出部
　１１５　　組合せ判定部
　１２０　　認識結果判定部
　１３０　　制限処理部

Claims (13)

  1. 　ユーザの動作行動を認識する行動認識部と、
    　認識された動作行動に特定行動が含まれるか否かを判定する判定部と、
    　前記特定行動が検出された場合に、前記ユーザの動作行動に関する情報を処理する機能を制御する制御部と、
    を備える、情報処理装置。
  2. 　前記制御部は、制限対象の特定行動が検出されたとき、前記ユーザの動作行動を取得可能なセンサの機能を停止させる、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記ユーザが保持するセンサのうち少なくとも一部の機能を停止させる、請求項２に記載の情報処理装置。
  4. 　前記制御部は、制限解除対象の特定行動が検出されたとき、機能が停止されていたセンサを起動させる、請求項２に記載の情報処理装置。
  5. 　前記制御部は、制限対象の特定行動が検出されたとき、当該特定行動または特定行動を分析するために取得されたセンサ情報のうち少なくともいずれか１つの情報を、外部機器へ送信しないようにする、請求項１に記載の情報処理装置。
  6. 　前記制御部は、制限対象の特定行動が検出されたとき、当該特定行動または特定行動を分析するために取得されたセンサ情報のうち少なくともいずれか１つの情報を、公開しないようにする、請求項１に記載の情報処理装置。
  7. 　前記制御部は、制限対象の前記特定行動が検出されたとき、前記ユーザの動作行動の時系列情報を加工した後公開させるようにする、請求項１に記載の情報処理装置。
  8. 　前記行動認識部は、センサ情報に基づいてユーザの動作行動を認識する、請求項１に記載の情報処理装置。
  9. 　前記行動認識部は、前記センサ情報に基づいて認識された動作行動と、時系列情報、時刻情報または場所情報のうち少なくともいずれか１つの情報とを組み合わせて、ユーザの動作行動を認識する、請求項８に記載の情報処理装置。
  10. 　前記判定部は、
    　認識された前記動作行動と、他人が非公開とした非公開動作行動とを比較し、
    　認識された前記動作行動が前記非公開動作行動であると判定したとき、ユーザに対し、認識された前記動作行動に関する情報の公開の要否を判断させる、請求項１に記載の情報処理装置。
  11. 　前記特定行動は、動作行動に関する情報を取得されたくないユーザの状態を特定するための行動である、請求項１に記載の情報処理装置。
  12. 　プロセッサにより、
    　ユーザの動作行動を認識すること、
    　認識された動作行動に特定行動が含まれるか否かを判定することと、
    　前記特定行動が検出された場合に、前記ユーザの動作行動に関する情報を処理する機能を制御すること、
    とを含む、情報処理方法。
  13. 　コンピュータを、
    　ユーザの動作行動を認識する行動認識部と、
    　認識された動作行動に特定行動が含まれるか否かを判定する判定部と、
    　前記特定行動が検出された場合に、前記ユーザの動作行動に関する情報を処理する機能を制御する制御部と、
    を備える、情報処理装置として機能させる、プログラム。
PCT/JP2016/056091 2015-06-12 2016-02-29 情報処理装置、情報処理方法及びプログラム WO2016199457A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015119447A JP2017004372A (ja) 2015-06-12 2015-06-12 情報処理装置、情報処理方法及びプログラム
JP2015-119447 2015-06-12

Publications (1)

Publication Number Publication Date
WO2016199457A1 true WO2016199457A1 (ja) 2016-12-15

Family

ID=57503264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056091 WO2016199457A1 (ja) 2015-06-12 2016-02-29 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2017004372A (ja)
WO (1) WO2016199457A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207891A1 (ja) * 2018-04-27 2019-10-31 ソニー株式会社 情報処理装置および情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7071717B2 (ja) * 2017-09-05 2022-05-19 株式会社国際電気通信基礎技術研究所 イベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラム
JP7250726B2 (ja) * 2020-04-24 2023-04-03 グリー株式会社 コンピュータプログラム、サーバ装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186490A (ja) * 1999-12-27 2001-07-06 Canon Inc 分散システム、その表示方法および記憶媒体
JP2005157603A (ja) * 2003-11-25 2005-06-16 Sharp Corp 状態情報提供装置及び方法、そのためのコンピュータプログラム、当該プログラムを記録した記録媒体、並びに当該プログラムによりプログラムされたコンピュータ
JP2006146827A (ja) * 2004-11-24 2006-06-08 Hitachi Ltd 生活見守り方法および生活見守りシステム
JP2008282181A (ja) * 2007-05-10 2008-11-20 Nohmi Bosai Ltd 家庭用セキュリティ機器、家庭用セキュリティ機器の端末、防災サービス提供方法、火災報知サービスの契約方法および火災報知装置
JP2013504933A (ja) * 2009-09-11 2013-02-07 イーストマン コダック カンパニー 時間シフトされたビデオ通信

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186490A (ja) * 1999-12-27 2001-07-06 Canon Inc 分散システム、その表示方法および記憶媒体
JP2005157603A (ja) * 2003-11-25 2005-06-16 Sharp Corp 状態情報提供装置及び方法、そのためのコンピュータプログラム、当該プログラムを記録した記録媒体、並びに当該プログラムによりプログラムされたコンピュータ
JP2006146827A (ja) * 2004-11-24 2006-06-08 Hitachi Ltd 生活見守り方法および生活見守りシステム
JP2008282181A (ja) * 2007-05-10 2008-11-20 Nohmi Bosai Ltd 家庭用セキュリティ機器、家庭用セキュリティ機器の端末、防災サービス提供方法、火災報知サービスの契約方法および火災報知装置
JP2013504933A (ja) * 2009-09-11 2013-02-07 イーストマン コダック カンパニー 時間シフトされたビデオ通信

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKI OMURA ET AL.: "Wearable Sensors with RF tag for Auto-Event-Recording on Medical Nursing", THE VIRTUAL REALITY SOCIETY OF JAPAN DAI 8 KAI TAIKAI RONBUNSHU, 30 September 2003 (2003-09-30), pages 333 - 336 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207891A1 (ja) * 2018-04-27 2019-10-31 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP2017004372A (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
US20180300822A1 (en) Social Context in Augmented Reality
EP2974268B1 (en) Always-on camera sampling strategies
US20190220933A1 (en) Presence Granularity with Augmented Reality
JP6756328B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3125529A1 (en) Method and device for image photographing
US20140108530A1 (en) Person of Interest in Augmented Reality
US20180316900A1 (en) Continuous Capture with Augmented Reality
WO2017199592A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2013504933A5 (ja)
US10856043B2 (en) Simultaneous motion of users to trigger establishment of network communications channel
CN104332037B (zh) 告警检测的方法及装置
WO2015068440A1 (ja) 情報処理装置、制御方法およびプログラム
US20170249513A1 (en) Picture acquiring method, apparatus, and storage medium
WO2016199457A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20140108529A1 (en) Person Filtering in Augmented Reality
US10638404B1 (en) Controlled-environment facility mobile device location tracking
JP2015233204A (ja) 画像記録装置及び画像記録方法
WO2016143415A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10630894B2 (en) Notification system, wearable device, information processing apparatus, control method thereof, and computer-readable storage medium
CN110121027B (zh) 图像处理方法及终端
CN111344776B (zh) 信息处理装置、信息处理方法和程序
US10891846B2 (en) Information processing device, information processing method, and program
WO2022014273A1 (ja) 撮像支援制御装置、撮像支援制御方法、撮像支援システム
WO2015194215A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807164

Country of ref document: EP

Kind code of ref document: A1