WO2019111471A1 - 情報処理装置及びその制御方法、並びに記録媒体 - Google Patents

情報処理装置及びその制御方法、並びに記録媒体 Download PDF

Info

Publication number
WO2019111471A1
WO2019111471A1 PCT/JP2018/033154 JP2018033154W WO2019111471A1 WO 2019111471 A1 WO2019111471 A1 WO 2019111471A1 JP 2018033154 W JP2018033154 W JP 2018033154W WO 2019111471 A1 WO2019111471 A1 WO 2019111471A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
user
unit
information processing
sticking
Prior art date
Application number
PCT/JP2018/033154
Other languages
English (en)
French (fr)
Inventor
剛 五十嵐
淳也 鈴木
俊 海津
祐介 大谷
雄登 石津
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/768,361 priority Critical patent/US11642431B2/en
Priority to CN201880077620.1A priority patent/CN111417919A/zh
Publication of WO2019111471A1 publication Critical patent/WO2019111471A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61LMETHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00Disinfection, sterilisation or deodorisation of air
    • A61L9/015Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone
    • A61L9/04Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone using substances evaporated in the air without heating
    • A61L9/12Apparatus, e.g. holders, therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261Evaluating exocrine secretion production
    • A61B5/4266Evaluating exocrine secretion production sweat secretion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6832Means for maintaining contact with the body using adhesives
    • A61B5/6833Adhesive patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61LMETHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00Disinfection, sterilisation or deodorisation of air
    • A61L9/01Deodorant compositions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network

Definitions

  • the technology disclosed herein relates to an information processing apparatus worn on a user's body and used, a control method thereof, and a recording medium.
  • wearable devices that are used by being attached to various places of the user's body, such as arms and heads, are becoming widespread.
  • the wearable device detects biological information, position information, and other user states, records an image or a recording of the surroundings of the user, and presents various information to the user by voice or the like.
  • Wearable devices are used in a wide variety of fields, such as the life log field and sports support field.
  • An object of the technology disclosed in the present specification is to provide an information processing apparatus worn on a user's body and used, a control method thereof, and a recording medium.
  • the first aspect of the technology disclosed herein is: Sensor, A communication unit that wirelessly communicates with the outside; A control unit that controls the sensor and the communication unit; A power supply unit that supplies power to at least one of the sensor, the communication unit, and the control unit; A housing unit for housing at least one of the sensor, the communication unit, the control unit, and the power supply unit; A sticking section for fixing the housing section to the user; An adhesion sensor that detects an adhesion state of the user and the housing in the adhesion unit; Equipped with The control unit controls the communication operation in the communication unit according to the adhesion state detected by the adhesion sensor. It is an information processing apparatus.
  • the control unit performs control to wirelessly transmit a predetermined signal to the outside through the communication unit in response to the fact that the adhesion sensor detects that the adhesion unit is about to peel off or peel off immediately from the user. Do.
  • the information processing apparatus may further include a host device that performs wireless communication via the communication unit.
  • the host device notifies the user in response to receiving the predetermined signal.
  • the host device can perform the authentication process of the user based on the sensor data detected by the sensor, but cancels the user authentication by the authentication process by receiving the predetermined signal.
  • the information processing apparatus further includes a storage unit that stores internal information of the information processing apparatus.
  • the storage unit stores device information of the information processing apparatus and sensor data detected by the sensor.
  • the control unit initializes or deletes predetermined information stored in the storage unit in response to detection that the adhesion sensor detects that the adhesion unit is about to peel off or peel off the user.
  • the surface of the sticking part is protected by a release paper before using the information processing apparatus. And it starts in response to the release paper being peeled off from the sticking part.
  • the release paper is provided with a tongue-shaped non-conductive portion that insulates the power supply portion. Then, when the release paper is peeled off from the adhering part, the non-conductive part is detached and the power supply part is brought into a conductive state, whereby the activation of the information processing apparatus is started.
  • the control unit activates the information processing apparatus in response to detection of the release paper being peeled off from the adhesion section by the adhesion sensor.
  • a second aspect of the technology disclosed in the present specification includes a sensor, a communication unit that wirelessly communicates with the outside, a control unit that controls the sensor and the communication unit, the sensor, the communication unit, and A power supply unit that supplies power to at least one of the control units; a case unit that accommodates at least one of the sensor, the communication unit, the control unit, and the power supply unit; and the case unit
  • a control method of an information processing apparatus comprising: a sticking part for fixing a user to a user; and a sticking sensor for detecting a sticking state of the user and the casing in the sticking part, Acquiring a detection result by the adhesion sensor; Determining whether or not the sticking part is about to peel off or peel off the user based on the detection result; Wirelessly transmitting a predetermined signal to the outside via the communication unit when the sticking unit is about to peel off or peel off the user; Control method of the information processing apparatus.
  • a third aspect of the technology disclosed in the present specification includes a sensor, a communication unit that wirelessly communicates with the outside, a control unit that controls the sensor and the communication unit, the sensor, the communication unit, and A power supply unit that supplies power to at least one of the control units; a case unit that accommodates at least one of the sensor, the communication unit, the control unit, and the power supply unit; and the case unit Recording for recording a computer program for controlling an information processing apparatus provided with a sticking section for fixing a user to a user, and a sticking sensor for detecting a sticking state of the user and the casing in the sticking section A medium, the computer program being Acquiring a detection result by the adhesion sensor; Determining whether or not the sticking part is about to peel off or peel off the user based on the detection result; Wirelessly transmitting a predetermined signal to the outside via the communication unit when the sticking unit is about to peel off or peel off the user; Is a recording medium written in a computer readable form to cause a computer to execute the program.
  • FIG. 1 is a diagram illustrating how a sticking type device stuck under the user's eyes is coming off.
  • FIG. 2 is a view showing the sticking type device 100 being stuck under the eyes of the user and an exploded view of the sticking type device 100.
  • FIG. 3 is a front view of the adhesive device 100 shown in FIG.
  • FIG. 4 is a rear view of the adhesive device 100 shown in FIG.
  • FIG. 5 is a right side view of the adhesive type device 100 shown in FIG. 6 is a left side view of the adhesive type device 100 shown in FIG.
  • FIG. 7 is a top view of the adhesive type device 100 shown in FIG.
  • FIG. 8 is a bottom view of the sticking type device 100 shown in FIG.
  • FIG. 3 is a front view of the adhesive device 100 shown in FIG.
  • FIG. 4 is a rear view of the adhesive device 100 shown in FIG.
  • FIG. 9 is a view showing an example of the internal configuration of a sticking type device 100 that can be stuck under the user's eyes and can function as a camera.
  • FIG. 10 is a view showing the adhesive device 100 attached to the center of the upper back of the user.
  • FIG. 11 is a front view of the sticking type device 100 shown in FIG.
  • FIG. 12 is a rear view of the adhesive device 100 shown in FIG.
  • FIG. 13 is a right side view of the adhesive type device 100 shown in FIG.
  • FIG. 14 is a left side view of the adhesive type device 100 shown in FIG.
  • FIG. 15 is a top view of the adhesive type device 100 shown in FIG.
  • FIG. 16 is a bottom view of the sticking type device 100 shown in FIG.
  • FIG. 17 is a perspective view of the adhesive device 100 shown in FIG. FIG.
  • FIG. 18 is a view exemplifying a place where the sticking type device proposed in the present specification can be stuck.
  • FIG. 19 is a view exemplifying a mounting image of the electrical unit 101.
  • FIG. 20 is a view exemplifying a cross-sectional configuration of the sticking type device 100 in a state of being stuck to the surface of the user's body.
  • FIG. 21 is the figure which showed typically the example of a structure of the input-output function of the sticking type
  • FIG. 22 is a view showing the propriety of the sensor element and the actuator element according to the bonding place.
  • FIG. 22 is a view showing the propriety of the sensor element and the actuator element according to the bonding place.
  • FIG. 23 is a view showing how a release paper 900 is adhered to the adhesive surface of the adhering part 103 of the adhesive type device 100 for protection.
  • FIG. 24 is a flowchart showing a processing procedure for operating the sticking type device 100 according to the sticking state to the body of the user.
  • FIG. 25 is a flowchart showing another processing procedure for operating the sticking type device 100 according to the sticking state to the body of the user.
  • FIG. 26 is a flowchart showing a processing procedure when peeling off the sticking type device 100 stuck to the user's body.
  • FIG. 27 is a diagram showing an example of a system configuration of a stereo camera composed of sticking type devices stuck under the left and right eyes of the user.
  • FIG. 28 is a diagram showing a configuration example of a video transmission system of a stereo camera.
  • FIG. 29 is a view showing an example of the configuration of a video transmission system of a stereo camera including the control of the eyelash muscles.
  • FIG. 30 is a diagram showing an example of the functional configuration of a sticking type device 1700 with an odor management function and a host device 1750 that cooperates with the sticking type device 1700.
  • FIG. 31 is a view showing the sticking type device 1700 disassembled into the sticking section 1710, the main body section 1720 and the cartridge 1730.
  • FIG. 32 is a flowchart showing a processing procedure for the host device 1750 to perform fragrance control on the adhesive type device 1700 side based on the action schedule of the user.
  • FIG. 33 is a flowchart showing a processing procedure for adjusting a schedule for requesting fragrance based on the history of implementation of fragrance on the side of the adhesive type device 1700 by the host device 1750.
  • Wearable devices such as watch-type information terminals and glasses-type information terminals, which are used by being attached to an arm or a head, are widely known.
  • a wristwatch type information terminal is used by winding it around the user's wrist like a wristwatch, in addition to the basic functions of a wristwatch, character communication such as mail, activity measurement such as a pedometer and display of measurement results, music playback And provide many other features.
  • the glasses-type information terminal can always receive information such as navigation and the latest news by presenting information to a part of the field of view of the user who has worn the information.
  • a sticking type information processing apparatus (also referred to as a “stickable device” or a “sticking type device”) that is used by being directly stuck to the surface (or skin) of the user's body Suggested below. Since the information processing apparatus attached to the body surface of the user has minimal change in appearance, it does not give discomfort to the surrounding people. In addition, this type of information processing apparatus is casually comfortable for the user himself and makes the user not feel as worn as possible. That is, the sticking type information processing apparatus does not feel the presence of the user wearing it, and the people around it do not notice the presence, but the user provides the function firmly when using it. Can be used comfortably and comfortably.
  • the sticking type information processing apparatus proposed in the present specification is basically configured physically as a single apparatus, and is used by being stuck to any one part on the user's body described above .
  • the information processing apparatus is configured as an assembly of two or more physically separated dividing devices, and the respective dividing devices are attached to the two or more parts described above.
  • the divided devices are interconnected using wireless communication, biological communication, or the like, and the divided devices operate cooperatively to function as one information processing device.
  • the sticking type information processing apparatus includes at least one of a sensor, a communication unit that performs wireless communication with the outside, a control unit that controls the sensor and the communication unit, a sensor, a communication unit, and a control unit.
  • An adhesion sensor that detects an adhesion state between the user and the housing in the attachment unit is a basic component.
  • the sensor comprises one or more sensor elements.
  • this adhesive type information processing apparatus basically performs wireless transmission of sensor data detected by a sensor to the outside through a communication unit.
  • the control unit performs communication in the communication unit according to the sticking state between the sticking unit detected by the sticking sensor and the user.
  • the point which controls operation can be mentioned.
  • the control unit wirelessly transmits the predetermined signal to the outside through the communication unit in response to the fact that the adhesion sensor detects that the adhesion unit starts to peel off from the user or is about to peel off.
  • FIG. 1 shows a state in which the information processing apparatus on the left side of the information processing apparatuses attached to the left and right eyes of the user is beginning to peel off.
  • the information processing apparatus may further include a host device that performs wireless communication via the communication unit.
  • the host device may have a function of notifying the user that the sticking section starts to peel off from the user or immediately before peeling off in response to the reception of the predetermined signal.
  • the host device may further include a function of receiving sensor data by a sensor through wireless communication and performing user authentication processing based on the sensor data. Then, the host device may cancel the user authentication by the authentication process by receiving the predetermined signal.
  • the sticking type information processing apparatus includes a sound collection sensor having a sound collection function as one of the above-described sensors
  • the communication unit wirelessly transmits the audio data detected by the sound collection sensor to the outside.
  • the sound pickup sensor can be said to be one of the essential components of the information processing apparatus.
  • the sound collection sensor is configured of, for example, a small microphone.
  • the sticking type information processing device is attached to the user's head or face area such as the lower eye, near the eyeball, temple, ear, under the chin, neck, neck, throat, back and abdomen It can be used by sticking to the user's torso or limbs such as the upper arm, forearm, wrist, back of the hand, neck, neck, throat etc.
  • the information processing apparatus is used in the vicinity of the user's vocal cords, it is possible to effectively collect the user's voice including air conduction from the mouth and meat or bone conduction of the head. . Therefore, the information processing apparatus can easily provide the voice sensing function for the life log.
  • the lower part of the jaw or the like is used as a sticking place, the information processing apparatus is inconspicuous, and the surrounding people do not feel uncomfortable.
  • FIG. 2 shows, as an example, a state in which the sticking type device 100 is stuck under the user's left eye and an exploded view of the sticking type device 100.
  • 3 to 8 respectively show a front view, a rear view, a right side view, a left side view, a top view, and a bottom view of the adhesive type device 100 to be adhered under the eyes of the user.
  • the adhesive type device 100 includes an electric unit 101 including a substrate on which a sensor such as an imaging sensor or the like, a communication unit, a control unit, and a circuit component such as a power supply unit, a housing unit 102 housing the electric unit 101, and a housing An adhesive unit 103 is provided which adheres the unit 102 to the surface of the user's body and fixes the unit 102 on the user's body.
  • the body fluid processing unit 104 is stacked on the sticking unit 103.
  • the housing unit 102 is considered not to be damaged when it comes in contact with the user's body other than the portion where the sticking type device 100 is attached or in contact with the surrounding person's body. Preferably, it is a soft shell having flexibility.
  • the housing unit 102 is configured using a metal or a nonmetal material, since the communication unit is housed, the housing unit 102 needs to have radio wave transparency.
  • the upper shape of the outline of the housing 102 (or the adhesive type device 100 main body) is a curve along the shape of the lower half of the eye (the shape on the lower eyelash side) Because it is composed of, there is no sense of incongruity in appearance.
  • the outline of the sticking type device 100 when sticking to the user's body (face or the like), if the outline of the sticking type device 100 has an edge, the outline is composed of a curved line because the wearing feeling is not good.
  • at least one opening is formed on the surface of the housing 102 (in other words, the front of the main body of the adhesive type device 100).
  • Each opening is provided with a transparent cover (transparent cover in the case of a lensless camera) for protecting the imaging unit, or a lens for imaging.
  • the surface (or the appearance surface) of the housing unit 102 be toned to a skin color so as to minimize the appearance change in the portion where the main body of the adhesive type device 100 is attached.
  • the surface of the housing portion 102 may be transparent or painted in a fashionable color.
  • the casing 102 may be toned to form a concavo-convex shape so as to resemble stains and asperities on the skin around the pasted part.
  • a pattern like a tattoo may be formed on the surface of the housing unit 102 to express the user's individuality.
  • the sticking type device 100 is used by being stuck not only under the user's eyes but also at various places on the user's body surface. Therefore, the external shape of the housing 102 or the main body of the adhesive type device 100 may be changed for each adhering place, or the external shape may be common to all the adhering places.
  • the housing portion 102 be provided with water repellency by using a water repellent material, or by subjecting the surface to a water repellent finish. If there is no water repellency on the surface of the housing 102, body fluid (such as sweat) or rain or the like secreted or discharged from the skin of the user penetrates the inside of the housing 102 to constitute the electric part 101. There is a possibility that the circuit component may be damaged, and further, the adhesion property of the adhesion part 103 in the lower layer may be deteriorated.
  • the electric unit 101 includes one or more sensors, a communication unit, a control unit, a power supply unit, and the like, and a substrate on which these circuit components are mounted (described above).
  • the control unit includes, for example, a processor and a memory, and controls processing of sensor data detected by the sensor, transmission / reception processing of a wireless signal by the communication unit, and the like.
  • the memory also stores device information of the adhesive type device 100, sensor data detected by a sensor, and the like.
  • substrate which comprises the electric part 101 is equipped with a softness
  • the flexible substrate and forming the cuts in the direction of two or more axes in the flexible substrate the flexibility and the stretchability are increased, and the free curved surface can be easily copied.
  • the base is not provided with flexibility or stretchability, the adhesive device 100 body is likely to be peeled off from the body surface of the user to which it is attached.
  • the sticking section 103 is in the form of a sheet, and the surface is a glue surface having sticking performance, and is stuck to the surface of the user's body to fix the sticking type device 100 main body to the user's body be able to. Also, in view of secretion or discharge of a considerable amount of body fluid (such as sweat) from the skin of the user, the sticking section 103 should have moisture permeability (or water permeability, liquid permeability). preferable.
  • the sticking part 103 is comprised using the porous raw material which has 1 or more opening.
  • the adhesive surface of the sticking part 103 is formed of an adhesive material that is applicable to the skin (for example, it does not give irritation to the skin and does not easily generate an allergy or the like).
  • the adhesive surface of the sticking part 103 be protected by a release paper (not shown) so that dust and the like do not adhere to the adhesive surface and adhesion performance can be maintained.
  • it may be configured to shift to the use state by turning off the release paper from the sticking section 103 and to turn on the power of the sticking type device 100.
  • the bodily fluid processing unit 104 processes the bodily fluid of the user who infiltrates through the opening of the sticking unit 103, and blocks the bodily fluid so as not to reach the electrical unit 101.
  • the body fluid processing unit 104 is configured using, for example, a mesh material such as a high molecular weight polymer hygroscopic material.
  • the body fluid processing unit 104 induces body fluid by capillary action and releases the body fluid to the environment (outside of the sticking type device 100).
  • the body fluid processing unit 104 is preferably configured as a replacement part.
  • the adhesive type device 100 adhered under the user's eye includes an imaging sensor as one of the above-described sensors, so that an image of a field of view substantially coinciding with the user's viewpoint can be imaged. Depending on the imaging optical system, it is also possible to capture an image with a field of view greater than that of the user. Moreover, a stereo camera can be comprised by installing the sticking type device 100 provided with the imaging sensor under the eyes on either side. Of course, the sticking type device 100 may be installed only in one of the left and right eyes and used as a monocular camera.
  • FIG. 9 shows an example of the internal configuration of a sticking type device 100 that can be stuck under the user's eyes and can function as a camera.
  • the electric unit 101 includes an imaging unit 201 as one of the sensors, a communication unit 202 that wirelessly communicates with the outside, a control unit 203 that controls the imaging unit 201 and the communication unit 202, an imaging unit 201, a communication unit 202, and control.
  • a power supply unit 204 for supplying power to at least one of the units 203 is provided, and these components are covered by a housing unit 102.
  • a wide viewing angle can be realized without increasing the size and weight of the lens (described later).
  • three holes for imaging by three imaging sensors are formed in the front housing portion 102.
  • FIG. 10 shows, as another example, that the adhesive device 100 is attached to the center of the upper back of the user.
  • 11 to 17 respectively show a front view, a rear view, a right side view, a top view, a bottom view and a perspective view of the adhesive type device 100 shown in FIG.
  • the outline of the sticking type device 100 of the type to be stuck to the back of the user is composed of a curve that is easy for the user to move and fit on the curved surface of the body. If the radius r of the outline curve is too small (meaning an arc curve with a smaller radius), the area of the affixing portion becomes smaller, and the strength of holding the adhesive device 100 main body is insufficient.
  • the radius r of the curve is set to ensure an appropriate area.
  • the adhesive device 100 is covered with clothes when adhered to the upper back, and is visually recognized from the outside. It has the effect of becoming difficult.
  • the upper back of the user is covered with clothes worn by the user, so there is no discomfort around the user and it can be used casually, but even if the image sensor is equipped as the above sensor, it captures an image of the outside world Not suitable for
  • one of the above-mentioned sensors may be equipped with an odor sensor for detecting the odor. Then, the odor data collected by the odor sensor (and time-series data of the odor data) may be wirelessly transmitted to the outside by the communication unit.
  • the sticking type device 100 stuck on the center of the upper back of the user may further include an odor management unit having at least one function of aroma or odor elimination.
  • the control unit may control the driving of the aroma or the deodorizing of the odor management unit based on the odor data collected by the odor sensor.
  • the adhesive device 100 is used by adhering to each of the lower eye and the upper back of the user.
  • the adhesive device 100 is attached to various places on the surface of the user's body. It is assumed that it is used.
  • FIG. 18 exemplifies a region on the user's body where it is envisaged to stick the sticking device proposed herein.
  • the adhesive device is applied to the underarm, temple, between the ears, under the ear, under the chin, neck, neck, throat, upper arm, forearm, wrist, back of the hand, abdomen, etc. It is assumed to be used as a so-called wearable device.
  • the same sticking type device is not a human body, but various animals (pet animals, livestock, service animals, etc.), plants (including plants grown in food or plants, wild plants), It can be used as an IoT device by sticking to machinery such as mobiles.
  • FIG. 19 illustrates a mounting image of the electrical unit 101 on a substrate.
  • a power supply unit 504 configured of a coin battery together with a sensor 501, a control unit 502 which also serves as a communication processing unit, and circuit components such as a chip antenna 503. It is mounted.
  • FIG. 20 illustrates the cross-sectional configuration of the sticking type device 100 in a state of being stuck to the surface of the user's body.
  • the sensor 501 As already described with reference to FIG. 19, on the substrate 500 having flexibility and elasticity, the sensor 501, the circuit component such as the control unit 502 which also serves as the communication processing unit, and the coin battery The power supply unit 504 is mounted.
  • FIG. 21 schematically shows a configuration example of the input / output function of the sticking type device 100 used by being stuck to the surface of the user's body.
  • the illustrated adhesive type device 100 includes a sensor unit 710, an actuator unit 720, and a communication unit 730.
  • the sensor unit 710 detects the information of the user (human body), and the outside of the user (external world) And a second sensor unit 712 that detects information on the
  • the actuator unit 720 includes a first actuator unit 721 that outputs information to the user (human body) and a second actuator unit 722 that outputs information to the user's outside (the outside world or people around him). Is equipped.
  • the control unit (not shown in FIG. 21) is based on the detection result by at least one of the sound pickup sensor, the first sensor unit 711, and the second sensor unit 712.
  • the first actuator unit 721 and the second actuator unit 722 is driven.
  • the first actuator unit 721 it is possible to notify the user of sensor data (for example, user's own biological information or surrounding environmental information) detected by the sensor.
  • the second actuator 722 the detection result by the sensor can be transmitted to the surroundings of the user.
  • control unit wirelessly transmits sensor data detected by the sensor unit 710 to the outside from the communication unit 730, or an actuator based on the sensor data detected by the sensor unit 710.
  • the unit 720 is driven.
  • control unit controls the drive of the actuator 720 based on the information received from the outside via the communication unit 730, and performs the detection process in the sensor unit 710. Control.
  • the control unit includes a memory for storing an individual identification number for identifying the sticking type device 100 (or a user), an encryption key used for preventing wiretapping, etc. at the time of information exchange with the outside. It may be.
  • the memory may temporarily hold sensor data detected by the sensor unit 710.
  • the sound collection sensor can be included in the first sensor unit 711 from the viewpoint of collecting the speech of the user who stuck the main body of the adhesive type device 100.
  • the sound pickup sensor picks up a voice uttered by the user by air conduction from the mouth, meat conduction or bone conduction of the head. It is preferable that a sound collection hole for picking up the air-powered voice is formed in the housing 102. Moreover, it is preferable that the sound collection hole is waterproofed.
  • the sound collection sensor It is possible to pick up minute audio information, including meat conduction or bone conduction. In addition, even in a noisy environment, meat conduction and bone conduction can be used to separate and pick up the user's voice.
  • the cooperative operation of the sound collection sensor included in the first sensor unit 711 and the speaker included in the first actuator unit 721 performs sound collection ⁇ amplification ⁇ reproduction
  • the adhesive type device 100 is It can also be used as a sound collector or a hearing aid.
  • an odor sensor that smells the user's body odor can be included in the first sensor unit 711.
  • various types of biological sensors capable of detecting biological information such as an electroencephalogram sensor, a vein sensor, a myoelectric potential sensor, a body temperature sensor, a perspiration sensor, a heart rate or pulse sensor, a gaze sensor, are included in the first sensor unit 711 be able to.
  • the control unit wirelessly transmits the odor data (and time series data of the odor data) collected by the odor sensor and the biosensor data detected by the other biosensors to the outside by the communication unit 730. It is also good.
  • the control unit may control the drive of the actuator unit 720 based on the odor data and other biometric sensor data. For example, when the second actuator unit 722 includes an odor management unit, the control unit controls the drive of the aroma or the deodorization of the odor management unit based on the odor data collected by the odor sensor. do it.
  • the adhesive type device 100 when used by being adhered to the user's head such as temples or eyebrows, it is possible to detect the user's brain wave with high accuracy using the brain wave sensor.
  • the control unit can realize a non-invasive Brain-Machine Interface (BMI) by analyzing the detection result of the electroencephalogram sensor and recognizing the intention and emotion of the user. Further, when the control unit senses the user's drowsiness based on the detection result of the electroencephalogram sensor, for example, the first actuator unit 721 may be driven to repel the drowsiness by an electric shock or the like.
  • BMI Brain-Machine Interface
  • the detection of the biological information is appropriate depending on the place where the main body of the adhesive type device 100 is adhered, and the necessity of the biological information differs depending on the application of the adhesive type device 100 itself. Therefore, the necessary biological sensor may be appropriately incorporated into the first sensor unit 711 according to the bonding place and the necessity of the biological information.
  • a vibration sensor can be included in the first sensor unit 711.
  • the vibration sensor is composed of, for example, an acceleration sensor, a gyro sensor, or a geomagnetic sensor, or a combination of two or more of these sensor elements.
  • the control unit may detect the posture or body movement (impact, vibration, inclination, fall, fall, movement, etc.) of the user who stuck the adhesive type device 100 on the body based on the detection result by the vibration sensor. it can. Further, in the case where the adhesive type device 100 is used by adhering to the back or finger of the user's hand, the control unit can analyze the detection result of the vibration sensor and detect the gesture performed by the user. .
  • control unit can extract feature data from vibration data detected by the vibration sensor, and can recognize the user's action based on the time series of the feature data accumulated by a predetermined amount (for example, Patent Document 2) See for reference).
  • control unit may sequentially learn time-series information of feature data.
  • the vibration data obtained from the vibration sensor differs in characteristics for each place where the adhesive type device 100 main body is adhered. Therefore, the control unit may further estimate the place where the main body of the adhesive type device 100 is adhered, based on vibration data (or a time series of feature data extracted from vibration data) obtained from the vibration sensor. it can.
  • the first sensor unit 711 can also include a sticking sensor that detects whether the sticking type device 100 main body is in a sticking state in which the sticking unit 103 is stuck to the user's body.
  • the adhesion sensor may be, for example, a capacitance sensor that detects a change in capacitance caused by the approach of a human body, an infrared reflection sensor that detects reflected light of infrared light irradiated to the surface (skin) of the human body, and the like. It can be used to constitute a sticking sensor.
  • the control unit may control activation of predetermined processing of the adhesive type device 100 according to the adhesive state between the adhesive unit 103 and the user detected by the adhesive sensor. For example, the control unit detects that the sticking sensor detects that the sticking type device 100 main body is fixed to the user by the sticking unit 103, and the control unit detects the sensor data detected by the sensor unit 710. The wireless transmission to the outside may be started.
  • the adhesive type device 100 further includes a host device that wirelessly communicates via the communication unit, the sensor data detected by the sensor unit 710 is wirelessly transmitted to the host device, and the host device is based on the sensor data. A user authentication process may be performed.
  • the control part drives the actuator part 720 to notify the user.
  • the predetermined signal may be wirelessly transmitted to the host device.
  • the host device may cancel the user authentication by the authentication process by receiving the predetermined signal.
  • the host device may be, for example, an information terminal owned by the user, such as a smartphone.
  • a sound collection sensor such as a microphone
  • an imaging sensor that captures an image of a surrounding landscape, temperature, humidity, illuminance, barometric pressure, etc.
  • environmental sensors that detect external environmental information.
  • a sound collection sensor such as a microphone
  • an imaging sensor that captures an image of a surrounding landscape
  • environmental sensors that detect external environmental information.
  • a stereo camera can be comprised by installing the sticking type device 100 provided with the imaging sensor under the eyes on either side.
  • the control unit may wirelessly transmit the image captured from below the user's eye, for example, in real time.
  • the chip antenna 503 (described above) for wireless communication can be included in the second sensor unit 712 in a broad sense from the viewpoint of detecting radio waves (wireless signals).
  • a position information sensor such as a GPS (Global Positioning System) sensor can be included in the second sensor unit 712.
  • the adhesive type device 100 can also be equipped with a position detection function by means other than the position information sensor.
  • SLAM Simultaneous Localization and Mapping
  • ToF Time of Flight
  • the present location can be calculated based on the balance of the radio wave intensity from a plurality of peripheral access points received by the chip antenna 503 using the PlaceEngine technology. If the second sensor unit 712 is equipped with a position information sensor, or if the adhesive device 100 has a position detection function, the control unit is based on the time series of the position information of the user, that is, the route information It can recognize the user's action.
  • the necessary sensor elements may be incorporated into the first sensor unit 711 and the second sensor unit 712 as appropriate according to the bonding place and the necessity of the biological information.
  • the first actuator unit 721 basically outputs directly to the user's body.
  • a small speaker a meat conduction speaker that outputs sound by meat conduction, a haptic device capable of haptic output, a vibration actuator that applies stimulation by vibration, an actuator that applies light electrical stimulation (or , Devices that output weak current, and the like.
  • a necessary actuator element may be appropriately incorporated into the first actuator portion 721 according to the bonding place and the necessity of the information output.
  • the second actuator unit 722 basically outputs information to the user who wears the adhesive type device 100 and the people around it. Examples of the information output from the second actuator unit 722 include information provided from the outside such as a host device, which is received via the communication unit 730.
  • a display unit that outputs light or an image, a speaker that outputs sound, or the like can be given as the second actuator unit 722.
  • the display unit can be configured using, for example, a highly flexible organic EL (Electro Luminescence) display.
  • the display unit is not housed in the housing 102 but disposed on the surface of the housing 102.
  • an acoustic output hole or an exhaust hole may be formed on the surface of the housing 102.
  • the first actuator unit 721 and the second actuator unit 722 output the detection result of the first sensor unit 711 and the second sensor unit 712 and the detection result of analysis or recognition of the detection data by the control unit. It can also be done.
  • the control unit is an actuator unit in response to the adhesion sensor detecting that the adhesion unit 103 starts to peel off from the user or is about to be peeled off.
  • the user may be notified by driving 720.
  • the control unit drives the odor countermeasure unit included in the second actuator unit 722 in response to the odor sensor detecting the body odor of the user. Treatment such as aroma or deodorization may be performed.
  • the necessary actuator elements may be appropriately incorporated into the first actuator portion 721 and the second actuator portion 722 according to the bonding place and the necessity of the information output.
  • the communication unit 730 performs information communication with the outside such as a host device. For example, the communication unit 730 outputs sensor data detected by the sensor unit or 10 to the outside. The communication unit 730 also inputs an instruction to the control unit and the actuator unit 720 from the outside.
  • the communication unit 730 communicates with a host device and an apparatus on the Internet (such as a cloud) via wireless communication such as Wi-Fi.
  • the communication unit 730 communicates with another information terminal possessed by the user, such as a smartphone, using Bluetooth (registered trademark) or another short distance communication function.
  • the communication unit 330 performs information communication with an external device using wireless communication, it is preferable to perform secret communication using an encryption key (described above) to prevent eavesdropping.
  • the communication unit 730 may perform communication and authentication processing with a close-range information terminal using near field communication technology such as NFC (Near Field Communication).
  • the communication unit 730 has a human body communication function, and performs information communication via human body communication with another sticking type device attached to another body part of the same user or an information terminal owned by the same user. You may
  • the sensor element applicable to the first sensor unit 711, the second sensor unit 712, and the actuator element applicable to the first actuator unit 721 and the second actuator 722 adhere the main body of the adhesive type device 100 It also depends on the place where you The propriety of the sensor element and the actuator element according to the bonding place is summarized in FIG.
  • a high-spec method of forming the adhesive type device 100 may be considered in which different types of sensor elements and actuator elements are provided.
  • the former method since it is possible to manufacture one adhesive type device 100 at a relatively low cost, it is possible to make a disposable adhesive type device 100. For example, the sticking type device 100 which has been peeled off from the user's body is discarded as having expired.
  • each sensor element and actuator element may be manually switched, and the control unit is based on vibration data (a user's body movement) obtained from a vibration sensor or sensor data such as a biological sensor.
  • the on / off switching control may be performed automatically by estimating the sticking place.
  • the output level of the actuator switches the sensor sensitivity in stages according to the purpose of use estimated from the place where the sensor element is attached.
  • the control may be implemented such as switching in stages.
  • the patch material for skin which incorporates a temperature sensor and is stuck and used on the skin of specimens, such as a person (for example, refer patent document 3).
  • This skin patch material incorporates not only a temperature sensor but also an electric part such as a microprocessor or a transmitter and a button type battery, but is not equipped with a sticking sensor. That is, the skin patch material transmits a predetermined signal to the outside via the communication unit in response to the fact that the adhesion sensor detects that the adhesion part starts to peel off the user or is about to peel off. Is different from the adhesive type device disclosed in the present specification from the viewpoint that the user can not notify the user that the adhesive part is beginning to peel off or is about to peel off from the user. Do.
  • the time from the shipping to the start of use is indefinite. Not only the adhesion performance of the adhesion part 103 is maintained as described above for a long time before the start of use, but it is also necessary to avoid or suppress the consumption of the battery used as the power supply part 504.
  • the non-conductive portion is formed on a part of the release paper for protecting the adhesive surface of the sticking portion 103 and the adhesive surface is protected by the release paper
  • the power source is The portion 504 can be stored from the substrate 500 while maintaining the insulating state or the nonconductive state. Then, when the release paper is peeled off from the adhesive surface at the start of use of the adhesive type device 100, it becomes possible to attach the adhesive type device 100 main body to a predetermined region of the user's body and at the same time Power supply to each circuit component on the substrate 500, and the sticking type device 100 can start operation.
  • FIG. 23 shows that the release paper 900 is adhered to the adhesive surface of the adhering part 103 of the adhesive type device 100 for protection.
  • substrate part 500 exposed is shown for legibility.
  • a tongue-shaped non-conductive portion 901 is formed on part of the release paper 900.
  • non-conductive section 901 is inserted into the gap between power supply section 504 and substrate 500 to insulate between them. It is in the state or in the nonconductive state.
  • at least a portion of the tongue-shaped non-conductive portion 901 of the release paper 900 is made of an insulating material.
  • the release paper 900 is peeled off at the start of use of the adhesive type device 100, the adhesive surface of the adhesive portion 103 is exposed and it becomes possible to adhere to a predetermined region of the user's body.
  • the nonconductive portion 901 is extracted from the gap between the power supply unit 504 and the substrate 500, and power can be supplied from the power supply unit 504 to each circuit component on the substrate 500, and the adhesive device 100 starts operation. be able to.
  • the adhesive type device 100 is powered off while stored in the state protected by the release paper 900, and starts to operate when the release paper 900 is removed.
  • the power off state is not limited to the state in which the power is completely shut off by means such as the non-conductive portion 901, but may be a power saving state as a modification.
  • the adhesive type device 100 drives a part of the sensor unit 710 such as an adhesive sensor in a state of sufficient power saving to monitor the presence or absence of light reflection, or the adhesive surface of the adhesive unit 103 (adhesive Surface), monitor environmental changes such as temperature, humidity, and illuminance, and monitor changes in biological information such as blood flow.
  • the power saving state is changed to the power on state. It may be transitioned to stand by to be stuck on a predetermined part of the user's body.
  • the use of the sticking type device 100 is started, and when the sticking to the body of the user is detected, the biological information of the user is acquired, The user can be authenticated based on the biometric information.
  • the adhesion state to the user may be, for example, a change in sensor data or sensor data such as temperature, humidity, illuminance, state of blood flow, shape of blood vessel, or the like of the adhesion sensor included in the first sensor unit 711 It can be detected based on complex information combining sensor data.
  • the adhesion sensor can detect the adhesion state on the basis of a change in capacitance accompanying the approach of a human body, or reflected light of infrared light irradiated to the surface (skin) of the body.
  • biological information for example, the shape of a blood vessel on a sticking surface, body fluid information, skin pigment information and the like can be used.
  • mold device 100 equips can be saved by utilizing the same biometric information for detection of a sticking state, and a user's authentication. Further, when the biometric information that can be authenticated by the user can not be acquired, the sticking state is not detected in the first place, so it is not necessary to start useless use start processing.
  • the adhesive type device 100 further includes a host device capable of wireless communication via the communication unit 730, the device information of the adhesive type device 100 on the host device and the authentication information of the user (features of biometric information Etc. in advance, and when the sticking type device 100 is attached to the user's body and starts use, the device authentication and user authentication are effectively and more effectively performed using the host device.
  • the accuracy can be implemented.
  • the control unit controls the operation of the adhesive type device 100 in accordance with the adhesive state of the main body of the adhesive type device 100. Even when the release paper 900 is peeled off from the adhesive surface of the sticking section 103, a state where the release paper 900 is not stuck to the user's body surface can be regarded as a state where the sticking type device 100 is not used. . Therefore, even if the non-conductive portion 901 is also pulled out by peeling off the release paper 900 from the adhesive surface of the adhesive portion 103, and the power can be supplied from the power source portion 504 to each portion on the substrate 500, the adhesive sensor And stop the circuit except for some functions including a and wait until the use is started in a state of sufficient power saving.
  • control unit shifts the state from the power saving state to the normal power on state, and stops the circuit or function that has been stopped. Start up. After shifting to the normal power-on state, the control unit may start predetermined processing such as authentication processing.
  • FIG. 24 illustrates, in the form of a flowchart, a processing procedure for operating the adhesive type device 100 according to the adhesive state to the body of the user.
  • the control unit of the adhesive type device 100 is led by the processing procedure illustrated.
  • step S1001 When the release paper 900 is peeled off from the adhesive surface of the sticking section 103 of the sticking type device 100 and the non-conductive section 901 is pulled out along with this, the conduction to the electric section 101 is started (step S1001). Then, some circuits including the control unit and sensor elements start to operate.
  • control unit checks whether or not there is an input from the adhesion sensor (step S1002).
  • control unit When there is an input from the adhesion sensor (Yes in step S1002), the control unit further checks whether the adhesion type device 100 is adhered to the user's body and shifts to the use state (step S1003). .
  • the control unit is a sensor other than the adhesion sensor (for example, other sensor elements included in the first sensor unit 711 such as a biological sensor or a vibration sensor).
  • An attempt is made to determine the sticking state of the sticking type device 100 based on the sensor data detected by (1) (step S1005).
  • Step S1004 when it is determined that the adhesive type device 100 main body is in a state of being adhered to the user's body (Yes in step S1003), or when it is estimated that the body is in a state of being adhered (step S1005) Yes), the control unit shifts the power saving state to the normal power on state, and activates the circuit or function that has been stopped. And a control part starts predetermined processings, such as attestation processing (Step S1004).
  • step S1003 when it is determined that the main body of the adhesive type device 100 is not adhered to the user's body based on sensor data from the adhesive sensor (No in step S1003), or a sensor other than the adhesive sensor When it is estimated that it is in the state where it is not stuck based on the sensor data by (No of step S1006), it returns to step S1002 and mentioned above until the sticking type device 100 main part is stuck on a user's body. Execute the process repeatedly.
  • the authentication referred to here includes the process of one or both of the authentication of the user who attached the main body of the adhesive type device 100 and the authentication with another device.
  • biological information detected by a biological sensor may be used.
  • the electrical unit 101 may be provided with tamper-resistant circuit components such as an IC chip.
  • an embedded IC card such as eSIM may be used to remotely write information on pairing.
  • the control unit may also perform pairing with another device in the authentication process.
  • FIG. 25 illustrates another processing procedure for operating the adhesive type device 100 in accordance with the adhesive state on the user's body in the form of a flowchart.
  • the illustrated processing procedure assumes that the sticking type device 100 further includes a host device that wirelessly communicates via the communication unit, and the sticking type device 100 performs pairing with the host device along with the authentication processing.
  • the host device may be, for example, an information terminal owned by the user, such as a smartphone.
  • step S1101 When the release paper 900 is peeled off from the adhesive surface of the sticking part 103 of the sticking type device 100 and the non-conductive part 901 is pulled out along with this, the conduction to the electric part 101 is started (step S1101). Then, some circuits including the control unit and sensor elements start to operate.
  • the sticking type device 100 waits for sticking detection until it is detected or estimated that the sticking type device 100 is stuck to the user's body (No in step S1103). (Step S1102).
  • the control unit detects whether or not the sticking type device 100 is stuck to the user's body based on the sensor data detected by the sticking sensor, or a sensor other than the sticking sensor It is estimated whether it is stuck based on the sensor data detected by.
  • step S 1103 when it is determined that the adhesive type device 100 main body is adhered to the user's body, or when it is estimated that the adhesive type device 100 is adhered (Yes in step S 1103), the control unit The power saving state is shifted to the normal power on state (step S1104), and the circuit or function which has been stopped is activated (same as above).
  • a host device including a smartphone or the like is in a state of waiting for connection with the adhesive type device 100 adhered to the user's body.
  • step S1111 it is assumed that the user always carries the host device. Therefore, the host device inevitably comes close to the adhesive device 100 adhered to the user's body (step S1111).
  • the host device issues a connection request to the adhesive device 100 using near-field communication (step S1112).
  • the close proximity communication referred to here is the communication means that can be used by the communication unit 730 on the adhesive type device 100 side. Specifically, the host device.
  • a connection request is issued to the adhesive type device 100 using Wi-Fi, Bluetooh (registered trademark), NFC, human body communication, or the like.
  • step S1105 when the adhesive type device 100 receives the connection request from the host device (Yes in step S1105), the device information of the adhesive type device 100 itself and the user detected by the first sensor unit 711 The feature amount of the biological information is transmitted to the host device (step S1106), and a notification from the host device is awaited (No in step S1107).
  • step S1113 When the host device receives the device information and the feature amount of the biometric information of the user from the attached device 100 of the connection request destination (Yes in step S1113), device authentication of the attached device 100 and user authentication are performed. (Step S1114).
  • the host device performs an authentication process on the adhesive type device 100, for example, by comparing with the device information registered in advance and the feature amount of the biometric information of the user.
  • step S1115 the host device sends a connection completion notification to the adhesive type device 100 (step S1116), and ends this process. Further, when the host device fails in the authentication process (No in step S1115), the host device ends the process, assuming that the connection with the adhesive device 100 has failed.
  • the sticking type device 100 When the sticking type device 100 receives the connection completion notice from the host device (Yes in step S1107), the sticking type device 100 ends the process and enters the connection state with the host device. If the sticking type device 100 can not receive the connection completion notice from the host device within a predetermined time (that is, when it times out), it ends the processing as having failed in connection with the host device. May be
  • the sticking type device 100 acquires sensor data detected by the sensor unit 710 for a predetermined time after detecting sticking, and performs more accurate user authentication based on the sensor data over the predetermined time. it can.
  • the sticking type device 100 extracts the feature amount from motion information such as the acceleration of the user's body and the joint's angular velocity, and biological information such as myoelectric potential and heartbeat for a predetermined time after detecting sticking.
  • the user can be identified from the habit of the user by comparing with the unique feature amount of the user.
  • the attached device 100 and the host device which have been connected, shift to the usable state.
  • the attached adhesive device 100 and the host device can be said to be in a “paired” state, and various cooperative operations can be performed.
  • the sticking type device 100 and the host device perform pairing using a communication sequence using proximity communication technology, but the means used for pairing is not particularly limited.
  • direct pairing can be performed between devices by using a QR code (a host device reads a QR code attached to the adhesive device 100, or the adhesive device 100 attaches the host device to the host device). Read the QR code).
  • the sticking type device 100 may be equipped with an embedded type IC card such as eSIM so that the pairing information can be written remotely.
  • the host device can transmit various operation commands with respect to the attached sticking device 100 using the proximity communication (described above).
  • One adhesive type device 100 can transmit the sensor data detected by the sensor unit 710 to the host device using proximity communication (described above).
  • the host device is an information terminal such as a smartphone
  • the user can remotely control the adhesive device 100 by inputting an operation command to the adhesive device 100 via the screen of the smartphone.
  • the user can directly operate the adhesive type device 100 via a sensor unit or a switch mounted on the adhesive type device 100 without using the host device.
  • the adhesive type device 100 hosts sensor data such as biological information detected by a biological sensor included in the first sensor unit 711, and an ambient image captured by an imaging sensor included in the second sensor 712. It is transmitted to the device, and the host device can save the received sensor data or display it on a screen.
  • a plurality of adhesive type devices 100 adhered to the same user's body can be connected to one host device and cooperated.
  • a plurality of sticking type devices 100 stuck to the same user's body can also cooperate via direct communication without passing through a host device.
  • the adhesive type devices 100 including the imaging sensors adhered to the left and right of the user under the eyes can cooperate with each other to function as a stereo camera. Combining the motion data with the myoelectric potential data makes it possible to capture the motion of the user with higher accuracy. If high precision motion capture can be realized, it is possible to detect a gesture made by the user, and it is also possible to perform command input based on the gesture.
  • the processing in the host device in FIG. 25 may be performed using a cloud (or computer resources on a wide area network) instead of an information terminal carried by a user such as a smartphone. It is assumed that an authentication request with biological information and the like is sent from a plurality of users to the cloud. In such a case, on the cloud side, a signature is created based on the biological information sent from the first adhesive type device 100 adhered to a certain user, and is stored in association with the user. Then, when biological information is sent from the second and subsequent adhesive type devices 100 adhered to the same user, user authentication is performed by matching with the signature already stored on the cloud side, and the biological information is added to the biological information. A plurality of sticking type devices 100 stuck to the same user can be associated (paired etc.) based on that.
  • FIG. 1 exemplifies how the sticking type device stuck under the eyes of the user is coming off.
  • the information stored in the peeled off sticking type device 100 may leak to the outside.
  • the device information stored in the adhesive type device 100 and the sensor data detected by the sensor unit 710 are exposed to the risk of outflow.
  • the device information includes security information and personal information of the user.
  • sensor data includes personal information such as biometric information of the user, and is exposed to the risk of privacy violation. So, in this embodiment, the sticking type device 100 just before peeling off from a user's body is trying to prevent external outflow by initializing or deleting at least a part of the stored information.
  • the host device releases the authentication state of the adhesive type device 100 immediately before peeling or peeling from the user's body, and prevents unauthorized use of the adhesive type device 100 which is peeled off. . Further, in the present embodiment, the host device notifies the user that the adhesive device 100 is about to peel off or peel off the user's body immediately, and warns the user not to cause unauthorized use. . If the peeling of the adhesive type device 100 is not intended, the user can notice the notification and take measures such as reattaching the adhesive type device 100.
  • the adhesive type device 100 in order to realize the above-described countermeasure processing for peeling of the adhesive type device 100 on the host device side, the adhesive type device 100 is just before peeling or peeling off of itself. Is notified to the host device.
  • FIG. 26 illustrates, in the form of a flowchart, processing procedures performed by the sticking device 100 and the host device when peeling off the sticking device 100 that has been stuck to the user's body.
  • the adhesive type device 100 detects the adhesive state with the user's body constantly or periodically based on sensor data detected by an adhesive sensor or another sensor (step S1301).
  • the control unit when it is detected that the adhesive type device 100 is peeled off or just before peeling off from the user's body (that is, release of adhesive adhesion) (Yes in step S1302), the control unit generates the adhesive type device 100. At least a part of the information stored therein is initialized or deleted (step S1304) to prevent the outflow to the outside.
  • the information to be initialized or deleted is, for example, device information, personal information of the user, or biological information of the user detected by the biological sensor.
  • the adhesive type device 100 may notify the user that it is peeled or that it is immediately before peeling, and may call attention (step S1303).
  • the first actuator portion 721 or the second actuator portion 722 can be driven to notify the user.
  • the notification to the user may be performed before the initialization or deletion of the information in step S1304, or may be performed after the initialization or deletion of the information.
  • control unit of the adhesive type device 100 uses the communication unit 730 to host information indicating that the adhesive type device 100 is about to peel off or peel off from the user's body (that is, release of adhesive). It transmits to the device (step S1305). After this information transmission, the adhesive type device 100 completes the disconnection from the host device.
  • step S1305 when the host device receives information indicating that the adhesive type device 100 is about to peel off or peel off from the user's body, which has been transmitted from the adhesive type device 100 in step S1305 (Yes in step S1311).
  • the disconnection process of the connection with the adhesive type device 100 is started, and the authentication state of the adhesive type device 100 is released (step S1313) to prevent unauthorized use of the adhesive type device 100 which has fallen off. .
  • the host device may notify the user that it is peeled off or immediately before peeling off (step S1312) to draw attention.
  • the host device is a smart phone
  • the notification to the user may be performed before releasing the authentication state in step S1313, or may be performed after releasing the authentication state.
  • the host device completes the disconnection from the adhesive type device 100.
  • the host device cancels the association state (pairing) with other adhesive devices in addition to releasing the authentication state and disconnecting the adhesive device 100 that has notified the cancellation of adhesive attachment. Let's do it.
  • the adhesion sensor of the adhesion type device 100 is, for example, a capacitance sensor that detects a change in capacitance accompanying the approach of a human body, reflected light of infrared light irradiated to the surface (skin) of the human body It is comprised using the infrared reflectiveness sensor etc. which detect H. It can detect whether the sticking type
  • the processing in the host device in FIG. 26 may be performed using a cloud (or computer resources on a wide area network) instead of an information terminal carried by a user such as a smartphone (same as above).
  • a cloud or computer resources on a wide area network
  • the cloud notifies the sticking type device which has notified
  • the pairing is also canceled.
  • the adhesive type device 100 with an imaging function may include an imaging sensor in the sensor unit 710. As shown in FIG. 2, the sticking type device 100 stuck under the user's eyes can capture an image of a field of view that substantially matches the user's viewpoint. Depending on the imaging optical system, it is also possible to capture an image with a field of view greater than that of the user. Moreover, a stereo camera can be comprised by installing the sticking type device 100 provided with the imaging sensor under the eyes on either side.
  • FIG. 27 a sticking type device 1400L stuck under the left eye of the user, a sticking type device 1400R stuck under the right eye, and a host for pairing these sticking type devices 1400L and 100R
  • a system configuration example of a stereo camera realized by the device 1410 is shown. Each part will be described below. However, since the configurations of the adhesive type devices 1400L and 1400R are almost the same, they are combined into one.
  • One adhesive type device 1400 includes an imaging unit 1401, an exposure control unit 1402, a myoelectric potential measurement unit 1403, a wireless communication unit 1404, a synchronization unit 1405, an adhesion sensor 1406, a control unit 1407, and a power supply.
  • a unit 1408 is provided.
  • the sticking type device 1400 includes components not shown such as other sensors but is omitted for simplification of the drawing.
  • the sticking sensor 1406 detects a state in which the sticking type device 1400 is stuck to the user's body (here, below the eye). The details of the method of detecting the sticking state are as described above.
  • the control unit 1407 controls the operation of the adhesive type device 1400 based on the detection result of the adhesive state by the adhesive sensor 1406. For example, when the adhesion sensor 1406 detects adhesion to the user's body, the control unit 1407 transmits the device information and the user's biological information to the host device 1410, and executes processing for starting use and pairing. Do.
  • the adhesion sensor 1406 detects the release of adhesion (that the main body of the adhesion type device 1400 is peeled or peeled off from the user's body), initialization or deletion of internal information, or to the host device 1410 Execute processing for end of use such as notification of.
  • the power supply unit 1408 is kept in a non-conductive state when, for example, the adhesive surface of the adhesive type device 1400 is protected by a release paper, becomes conductive when the release paper is peeled off, and starts supplying power to each part. Do.
  • the imaging unit 1401 is configured of an imaging sensor such as a complementary metal oxide semiconductor (CMOS), for example.
  • CMOS complementary metal oxide semiconductor
  • an imaging sensor is arranged so as to be able to pick up an image of a field of view substantially coinciding with the viewpoint of the user.
  • the exposure control unit 1402 automatically controls the exposure at the time of imaging of the imaging unit 1401.
  • a spherical lens may be used to widen the viewing angle of the imaging unit 1401.
  • glass lenses are heavy, and plastic lenses are large because they have a low refractive index. If the size and weight of the lens increase, bending or deflection of the adhesive device 1400 may occur during adhesion, and further, it may be apt to fall off the user's eyes. Therefore, by arranging a plurality of imaging sensors adjacent to the imaging unit 1401 and pasting the images of each imaging sensor, a wide viewing angle can be obtained without increasing the size or weight of the lens and suppressing the influence of the deflection. The imaging of the image may be realized.
  • a lensless camera may be used as an imaging sensor to further reduce the weight and thickness (a lensless camera projects an image of a subject using a transmissive film instead of a lens and performs digital processing) Technology that reproduces images and videos).
  • the sticking surface of the sticking device 1400 is stuck so as to follow the shape of the user's eye, it is necessary to correct the sight line direction among a plurality of imaging sensors.
  • the position of each imaging sensor may be physically adjusted, but a correction process may be performed on the captured image.
  • the correction process may be performed in the adhesive type device 1400 or may be performed on the host device 1410 side that is the transmission destination of the video data.
  • the imaging unit 1401 a plurality of imaging sensors having different imaging wavelength ranges and imaging methods of each imaging sensor may be used in combination.
  • the imaging unit 1401 may be configured by combining a thermo camera, a depth camera, a deflection camera, a night vision camera, and the like.
  • the myoelectric potential measurement unit 1403 measures myoelectric potentials around the eyeballs of the user under the eyes of the user. Based on the measurement results of the myoelectric potential, it is also possible to measure the relaxation state of the muscle around the eye, and further to detect the eye position and the fixation point of the user.
  • the imaging operation of the imaging unit 1401 is controlled based on the measurement result of the myoelectric potential measurement unit 1403.
  • the myoelectric potential measurement unit 1403 can measure myoelectric potentials of muscles of the user's face such as expression muscles, the user's emotion is estimated based on the measurement results of the myoelectric potentials, and the emotion data is used as a host device. It can also be transmitted to 1410.
  • the wireless communication unit 1407 performs wireless communication with the outside of the adhesive type device 100.
  • the wireless communication unit 1407 transmits and receives wireless signals to and from the host device 1410.
  • the wireless communication unit 1407 transmits the video data captured by the imaging unit 1401 to the host device 1410.
  • the sticking-type devices 1400L and 1400R are respectively disposed below the eyes of the user and can capture an image extremely close to the viewpoint of the user, so that stereo images without discomfort can be provided.
  • the synchronization units 1405L and 1405R Synchronize the video data of
  • one of the synchronization units 1405L and 1405R is a master, and the other is a slave, and performs synchronization processing.
  • the means of the synchronization process is optional.
  • the synchronization units 1405L and 1405R may directly communicate by proximity communication or the like to acquire synchronization, or may adjust synchronization via the host device 1410.
  • the wireless communication unit 1407 also transmits, to the host device 1410, sensor data detected by other sensors (not shown in FIG. 27) as a measurement result of the myoelectric potential measurement unit 1403.
  • sensor data detected by other sensors (not shown in FIG. 27)
  • a biological signal of a user acquired by a biological sensor can be used as an index of video data.
  • the synchronization signal acquired between the synchronization units 1405L and 1405R is applied.
  • the host device 1410 is configured by an information terminal such as a smartphone carried by the user, for example.
  • FIG. 27 illustrates only the functional configuration specialized to the operation paired with the sticking type device 1400.
  • Host device 1410 may include other components not shown. It is also possible to provide the functions of the host device 1410 on the cloud.
  • the host device 1410 includes a first wireless communication unit 1411, a second wireless communication unit 1412, a sticking position estimation unit 1413, an eye position estimation unit 1414, and a command / gesture recognition unit 1415.
  • the first wireless communication unit 1411 and the second wireless communication unit 1412 respectively measure the myoelectric potential and the muscle data together with the video data from the adhesive device 1400L and the adhesive device 1400R adhered to the right of the eye. Emotion data based on the potential, a biosignal detected by a biosensor, sensor data detected by another sensor, and the like are received.
  • the sticking position estimation unit 1413 estimates the sticking positions of the sticking type device 1400L stuck under the left eye of the user and the sticking type device 1400R stuck under the right eye. Variations may occur in the sticking positions of the sticking devices 1400L and 1400R.
  • the sticking position estimation unit 1413 estimates the sticking positions of the sticking type devices 1400L and 1400R from the imaging data received from each of the sticking type devices 1400L and 1400R. Then, when the sticking position is shifted, the image correction is performed so that the view angle and the center position of one imaging data match the other imaging data.
  • the eye position estimation unit 1414 estimates the positions of the left and right eyeballs of the user based on the myoelectric potential data around the user's eyes received from the respective sticking type devices 1400L and 1400R to obtain the sticking type devices 1400L and 1400R. Detects the gaze point of the user stuck to the left and right eyes.
  • the host device 1410 may include a video recording unit for recording video data received from the adhesive type devices 1400L and 1400R.
  • the user's gaze point detected by the eyeball position estimation unit 1414 may be correlated and recorded.
  • the command / gesture recognition unit 1415 is based on the user's left and right eyeball positions estimated by the eyeball position estimation unit 1414, the operation of the user shown in the video data received from each adhesive type device 1400L and 1400R, etc. Recognize the command or gesture that the user is trying to indicate. Also, the command / gesture recognition unit 1415 recognizes a command that the user is going to designate, based on the user's emotion data sent from each adhesive type device 1400L and 1400R.
  • the host device 1410 controls the operation of the host device 1410 itself in accordance with the recognized command or gesture, and wirelessly transmits operation instructions to the adhesive type devices 1400L and 1400R. Also, the host device 1410 controls the reproduction output of the video data received from each adhesive type device 1400L and 1400R according to the recognized command or gesture (for example, reproduction start, reproduction stop, pause, fast forward, etc. , Rewind, move the viewpoint, etc.) and edit video data. For example, it is possible to perform indexing of video data using the biological signal of the user acquired by the biosensors of the adhesive type devices 1400L and 1400R.
  • the host device 1410 may perform, for example, reading of NFC or QR code, and direct pairing between the adhesive type device 1400 and the host device 1410. Alternatively, information on the pairing may be remotely written to the eSIMs respectively embedded in the sticking device 1400 and the host device 1410 to perform pairing.
  • the sticking type device 1400 transmits the feature amount of the biological signal to the host device 1410 when the biological signal of the user is acquired using the biological sensor (not shown in FIG. 27). If the host device 1410 performs device authentication and user authentication of the adhesive device 1400 based on the device information of the adhesive device 1400 and the feature amount of the biological signal, and the authentication of these devices succeeds, the first device is selected. The connection between the adhesive type device 1400 and the host device 1410 is completed. For the details of the authentication process, refer to the above and FIG. 25.
  • the processes (1) to (3) are performed for the second adhesive type device 1400 to perform pairing with the host device 1410, and to the body of the user (below the other eye). After attachment and authentication processing, the connection with the host device 1410 is completed. Note that which of the two adhesive type devices 1400L and 1400R is to be used first (that is, which is to be connected first) is optional. In addition, when three or more adhesive type devices 1400 are connected to the host device 1410, the above processes (1) to (3) are repeatedly performed similarly for the third and subsequent devices.
  • the adhesive type devices 1400L and 1400R are synchronized by the synchronization units 1405L and 1405R so that the video data to be wirelessly transmitted to the host device 1410 is synchronized.
  • the synchronization units 1405L and 1405R may directly communicate by proximity communication or the like to acquire synchronization, or may adjust synchronization via the host device 1410.
  • the sticking position estimation unit 1413 estimates the sticking positions of the sticking type devices 1400L and 1400R from the imaging data received from each of the sticking type devices 1400L and 1400R. Then, when the sticking position is shifted, the image correction is set to be performed so that the view angle and the center position of one imaging data match the other imaging data. This is because the variation in the sticking positions of the sticking type devices 1400L and 1400R affects the deviation of the viewing angle and the center position of the left and right imaging data.
  • the host device 1410 further transmits the video data and sensor data received from the adhesive type devices 1400L and 1400R to the remote device.
  • the remote device reproduces and outputs the video data received via the host device 1410. Also, the remote device may provide sensory feedback using five senses other than visual sense to the remote user using the remote device based on the received sensor data.
  • the remote device referred to here is, for example, a head mounted display capable of reproducing and outputting VR (Virtual Reality) video or AR (Augumented Reality) video, or a display device of another form.
  • VR Virtual Reality
  • AR Augmented Reality
  • FIG. 28 shows a configuration example of a video transmission system of a stereo camera, which includes left and right adhesive type devices 1400L and 1400R, a host device 1410, and a remote device 1500.
  • the configurations of the adhesive type devices 1400L and 1400R and the host device 1410 are the same as in FIG. 27, and in FIG. 28, illustration of some components is omitted for simplification.
  • the host device 1410 further comprises a transmitter 1416 for transmitting information to the remote device. From the transmission unit 1416, in addition to the video data and sensor data received from the adhesive type devices 1400L and 1400R, the estimation result of the eyeball position of the user and the recognition result of the command or the gesture are transmitted.
  • Communication means between the host device 1410 and the remote device 1500 are not particularly limited. For example, communication using a wireless or wired LAN (Local Area Network) or a home network may be used, or communication using a wide area network such as the Internet may be used.
  • LAN Local Area Network
  • a home network such as the Internet
  • the remote device 1500 includes a receiving unit 1501 for receiving information from the host device 1410 and display units 1502 and 1503 on the left and right. Basically, the image data captured by the adhesive type device 1400L adhered to the left eye of the user is displayed on the display unit 1502 on the left side, and the adhesive type device adhered to the right eye. The video data captured by the 1400R is displayed on the display unit 1503 on the right side, and provides stereo video to the remote user. The left and right display units 1502 and 1503 synchronize with each other based on the synchronization signal given to the received video data and display the video. However, the remote device 1500 may be operated as a mono camera that displays only one of the left and right adhesive type devices 1400L and 1400R.
  • the remote device 1500 may further include an actuator (not shown) that is driven based on sensor data received via the host device 1410 to provide sensory feedback using the five senses other than visual sense to the remote user.
  • adhesive type devices 1400L and 1400R are assumed to be adhered under the user's left and right eyes respectively, and follow the movement of the user's head to avoid surrounding them. Capture the situation.
  • the actual viewing angle of the user depends not only on the movement of the head but also on the direction of the eye. Therefore, even if the remote device 1500 presents the video data captured by the adhesive devices 1400L and 1400R, the remote user will not be presented with a video that matches the viewing angle of the user.
  • FIG. 29 shows a configuration example of a video transmission system of a stereo camera including the control of the eyelash muscles.
  • the adhesive type devices 1400L and 1400R which are respectively adhered to the left and right eyes of the user further include eye muscle muscle sensors 1409L and 1409R for detecting the eyeball muscle as one of the first sensor portions 711 , FIG. 27 and FIG. 28 are different.
  • the adhesive type devices 1400L and 1400R send out the ring muscle data detected by the ring muscle sensors 1409L and 1409R from the wireless communication units 1404L and 1404R together with image data, a biological signal, other sensor data, etc. . It is assumed that a synchronization signal is given to sensor data wirelessly transmitted from each adhesive type device 1400L and 1400R.
  • the system configuration shown in FIG. 28 is different in that adhesive type devices 1600L and 1600R are adhered around the left and right eyes (for example, below the eyes) of the remote user.
  • Each of the adhesive type devices 1600L and 1600R is characterized mainly in that it is equipped with eyeball muscle actuators 1602L and 1602R for driving the eyeball muscle of the remote user as one of the first actuator portions 721.
  • Each adhesive type device 1600L and 1600R receives the ring and eye muscle data detected by the optical fiber muscles sensor 1409L and 1409R by the adhesive type devices 1400L and 1400R by the wireless communication units 1601L and 1601R via the host device 1410 Do. Then, by driving the ring muscle actuators 1602 L and 1602 R based on the received ring muscle data, the left and right eye muscles of the remote user are controlled to control the remote device 1410 for an image that matches the user's viewing angle. It is intended to be presented above.
  • the odor-handling device is a fragrance treatment effect such as changing the user's mood, relaxing, or adjusting the physical condition by stimulating the user's sense of smell, such as emitting a pleasant smell.
  • body odor may cause discomfort to surrounding people or the user. Therefore, the sticking type device stuck to the body or the like of the user has at least one function of aroma or deodorization as one of the second actuator parts 722 as one of the first sensor parts 711
  • the control unit may control the driving of the aroma or the deodorizing of the odor management unit based on the odor data collected by the odor sensor. For example, based on the user's action schedule, position information, and context such as the surrounding environment, the sticking device may be remotely controlled from the host device or the cloud so that a fragrance suitable for TPO can be implemented.
  • FIG. 30 shows a functional configuration example of a sticking type device 1700 with an odor coping function and a host device 1750 that cooperates with the sticking type device 1700.
  • the sticking type device 1700 includes a sticking portion 1710, a main body portion 1720, and a cartridge 1730.
  • a sticking type device 1700 (see, for example, FIG. 10 and FIGS. 11 to 17) to be stuck in the center of the upper back of the user, a sticking portion 1710, and a main body portion 1720;
  • the cartridge 1730 is shown disassembled.
  • the sticking section 1710 has a sticking surface (or a glue surface) in contact with the user's body surface such as the back.
  • the sticking portion 1710 covers the upper surface of the main body portion 1720.
  • the upper surface of the main body 1720 is exposed by peeling off the adhesive portion 1710.
  • the main body 1720 includes some circuit components (described later) and a pocket for housing the cartridge 1730.
  • a fragrance is stored in the cartridge 1730.
  • an actuator a fragrance portion 1728 described later
  • a fragrance in the cartridge 1730 can be sprayed to release a scent.
  • One cartridge 1730 may be configured to store a plurality of types of fragrances and to select and use any of the fragrances or to blend and use two or more fragrances.
  • the cartridge 1730 is consumable and needs to be replaceable with a new cartridge 1730 when the remaining amount of the fragrance is exhausted.
  • the sticking part 1710 covering the upper surface of the main body part 1720 be removable. Moreover, since the sticking part 1710 is a part in contact with the body surface of the user, it is suitable for washing, and it is preferable that the sticking power of the sticking face does not decrease even after washing.
  • the main body 1720 includes a sticking sensor 1721, a power supply unit 1722, a control unit 1723, a living body sensor 1724, an odor sensor 1725, a body temperature control unit 1726, a deodorizing unit 1727, and an aromatic unit 1728, and wireless communication.
  • the unit 1729 is provided.
  • the sticking sensor 1721 detects a state in which the sticking unit 1710 (in other words, the sticking type device 1700) is stuck to the body of the user.
  • the details of the method of detecting the sticking state are as described above.
  • the control unit 1723 controls the operation of the adhesive type device 1700 based on the detection result of the adhesive state by the adhesive sensor 1721. For example, when the adhesion sensor 1721 detects adhesion to the user's body, the control unit 1723 transmits device information and the user's biological signal to the host device 1750, and executes processing for use start and pairing. Do.
  • the adhesion sensor 1721 detects the release of adhesion (that the main body of the adhesion type device 1700 is peeled or peeled away from the user's body), initialization or deletion of internal information, or to the host device 1750 Execute processing for end of use such as notification of.
  • the power supply unit 1723 is kept in a non-conductive state when, for example, the sticking surface of the sticking unit 1710 is protected by a release paper, and becomes conductive when the release paper is peeled off and starts feeding power to each part. .
  • the sticking type device 1700 and the host device 1750 carry out the predetermined device authentication and user authentication processes according to the processing procedure shown in FIG. 25, for example. And make a connection.
  • the sticking type device 1700 when it is detected that the sticking type device 1700 is peeled off from the user's body or just before peeling off (that is, release of sticking), for example, the sticking type device 1700 according to the processing procedure shown in FIG. At least a part of the information stored inside is initialized or deleted, and the host device 1750 is notified of adhesion cancellation to execute processing such as disconnection.
  • the living body sensor 1724 acquires living body information such as body temperature and heart rate of the user to which the adhesive type device 1700 is attached, the presence or absence of perspiration, and components of sweat.
  • the biometric sensor 1724 can be said to be one of the first sensor units 711 that detect information of the user (human body).
  • the odor sensor 1725 detects the odor around the sticking type device 1700 or the user.
  • the adhesive type device 1700 may be equipped with a sensor other than that illustrated in FIG.
  • the body temperature control unit 1726 mainly controls the temperature of the user by temporarily heating or cooling the contact portion between the sticking type device 1700 and the body surface of the user.
  • the body temperature control unit 1726 is configured of, for example, a Peltier element or the like.
  • the body temperature control unit 1726 can be said to be one of the first actuator units 721 that output information to the user (human body).
  • the deodorizing unit 1727 physically removes the component (for example, the body odor of the user, etc.) that is the source of the odor around the sticking type device 1700 or changes the component chemically into an uncorrected component.
  • the deodorizing portion 1727 can be configured using a novel plant-derived porous carbon material Triporous (registered trademark).
  • Triporous is a porous carbon material exhibiting fine structure and adsorption characteristics using as raw materials surplus biomass (renewable organism-derived organic resources) such as rice husk containing silicon compounds, and disclosed in, for example, Patent Document 5 There is. The contents disclosed in Patent Document 5 are incorporated in the present specification.
  • the fragrance portion 1728 stirs the inside of the cartridge 1730 and sprays the fragrance to release the scent.
  • a cartridge type scent providing device AROMASTICK is known, and is also disclosed, for example, in Patent Document 6.
  • the contents disclosed in Patent Document 6 are incorporated in the present specification.
  • deodorizing unit 1727 and the fragrance unit 1728 can be referred to as a second actuator unit 722 that outputs information to the outside of the user (the outside world or people around him).
  • the control unit 1723 drives the actuators such as the body temperature control unit 1726, the deodorizing unit 1727, and the fragrance unit 1728 based on, for example, biological information of the user detected by the biological sensor 1724 or sensor data detected by other sensors. Control.
  • the control unit 1723 instructs the body temperature control unit 1726 to keep warm or instructs the fragrance unit 1728 to make an aroma. And try to adjust the physical condition of the user. Further, when the control unit 1723 recognizes that the user is hot based on the temperature rise and sweating of the user, the control unit 1723 instructs the body temperature control unit 1726 to cool so that the user is comfortable.
  • the control unit 1723 instructs the deodorizing unit 1727 to deodorize or instructs the aromatic unit 1728 to transmit an aroma, whereby the user's Prepare your work environment to be comfortable.
  • the control unit 1723 controls the fragrance portion 1728 according to the user's physical condition or body odor, or the context such as the user's action schedule or surrounding environment. The fragrance used may be selected and controlled.
  • a wireless communication unit 1729 performs wireless communication with the outside of the host device 1750 or the like.
  • the control unit 1723 may transmit the biological information of the user detected by the biological sensor 1724 or sensor data detected by another sensor to the host device 1750 via the wireless communication unit 1729. Further, the control unit 1723 may control driving of actuators such as the body temperature control unit 1726, the deodorizing unit 1727, and the fragrance unit 1728 based on information (such as a command) received from the host device 1750.
  • the host device 1750 is configured of an information terminal carried by the user, such as a smartphone.
  • the host device 1750 includes a wireless communication unit 1751, an action management unit 1752, an environment measurement unit 1753, and a control unit 1754.
  • the wireless communication unit 1751 performs wireless communication with the wireless communication unit 1729 on the adhesive type device 1700 side.
  • the action management unit 1752 manages an action schedule of the user who has attached the sticking type device 1700. For example, based on data handled by an application such as a schedule book operating on a smartphone, information on a user's action schedule can be acquired.
  • the behavior management unit 1752 also manages a scheduler that instructs the sticking type device 1700 to drive the body temperature control unit 1726, the deodorizing unit 1727, and the fragrance unit 1728 based on the user's behavior schedule.
  • the environment measurement unit 1753 measures data on the ambient environment of the user, such as the outside air temperature.
  • the control unit 1754 transmits, to the adhesive type device 1700 via the wireless communication unit 1751, the user's action schedule managed by the behavior management unit 1752 and environmental data such as the outside air temperature measured by the environment measurement unit 1753.
  • driving of actuators such as the body temperature control unit 1726, the deodorizing unit 1727, and the aroma unit 1728 can be controlled based on the user's action schedule and the context such as the surrounding environment.
  • control unit 1754 on the host device 1750 side via the wireless communication unit 1751 a driving request for instructing the driving of these actuators on the adhesive type device 1700 side based on the user's action schedule and the context such as the surrounding environment. It may be transmitted to the adhesive type device 1700.
  • the control unit 1754 may selectively control the fragrance to be used in the fragrance portion 1728 according to the context of the user.
  • the process in the host device 1750 in FIG. 30 may be performed using a cloud (or computer resources on a wide area network) instead of an information terminal carried by a user such as a smartphone.
  • FIG. 32 illustrates, in the form of a flowchart, a processing procedure for the host device 1750 to perform fragrance control on the adhesive type device 1700 side based on the action schedule of the user. It is assumed that the connection between the adhesive type device 1700 and the host device 1750 is completed as a premise of performing this processing procedure.
  • the behavior management unit 1752 analyzes the behavior schedule of the user wearing the sticking type device 1700 (step S1911), and the control unit 1754 estimates the presence or absence of a fragrance request based on the analysis result (Ste S1912). If there is no fragrance request (No in step S1912), after waiting for a fixed time (step S1913), the process returns to step S1911. In addition, when it is determined that there is a fragrance request based on the user's action schedule (Yes in step S 1912), the control unit 1754 notifies the sticking type device 1700 of the fragrance request via the wireless communication unit 1751. (Step S1914).
  • control unit 1723 checks whether or not an aroma request has been received from the host device 1750 at regular time intervals (step S1901) (step S1902).
  • step S1902 When the wireless reception unit 1728 receives the fragrance request from the host device 1750 (Yes in step S1902), the control unit 1723 instructs the fragrance unit 1728 on the direction. On the other hand, the fragrance portion 1728 selects the fragrance designated by the fragrance request from the cartridge 1730 (step S1903), and carries out spraying of the fragrance (step S1904).
  • the sticking type device 1700 can spray the fragrance according to the user's action schedule managed by the host device 1750 side. For example, in order to control the user's drowsiness during the afternoon after lunch, it is necessary to spray a refreshing agent that brings a feeling of exhilaration, or to settle for relaxing the user during the estimated time of day's work. It is possible to spray the fragrance.
  • the process in the host device 1750 in FIG. 32 may be performed using a cloud (or computer resources on a wide area network) instead of an information terminal carried by a user such as a smartphone.
  • the adhesive type device 1700 can autonomously carry out the fragrance based on the biological information detected by the biological sensor 1723 regardless of the request from the host device 1750.
  • the host device 1750 may adjust the fragrance-requesting schedule for the adhesive type device 1700 according to the implementation status of the aroma in the adhesive type device 1700.
  • FIG. 33 shows, in the form of a flowchart, a processing procedure for adjusting a schedule for requesting fragrance based on the history of implementation of fragrance on the side of the adhesive type device 1700 by the host device 1750. It is assumed that the connection between the adhesive type device 1700 and the host device 1750 is completed as a premise of performing this processing procedure.
  • the control unit 1723 checks the sensor data detected by the biological sensor 1724 and the odor sensor 1725 every predetermined time (step S2001), and the odor of the user who is above the specified value or the surrounding odor, Alternatively, it is checked whether or not there is an abnormality in the user's biological information such as the user's body temperature above a specified value or the surrounding environment (step S2002).
  • the control unit 1723 causes the odor eliminating unit 1727 to eliminate the body odor of the user or the odor around it. It is instructed to carry out the odor, carry out the aroma to the aroma part 1728, or to cool or heat the user's body to the body temperature control part 1726.
  • the deodorizing unit 1727 performs deodorizing and the aroma unit 1728 performs aroma or the body temperature control unit 1726 cools or heats the user's body (step S2003).
  • control unit 1723 when the control unit 1723 detects an increase in body temperature due to excitement of the user, the control unit 1723 drives the body temperature control unit 1726 to cool the user's body and temporarily reduce the body temperature. Alternatively, when it is detected that the user feels cold or chill, the control unit 1723 drives the body temperature control unit 1726 to heat the user's body and temporarily raise the body temperature. In addition, when the control unit 1723 detects the body odor of the user or the odor around the user, the control unit 1723 drives the deodorizing unit 1727 to carry out the deodorizing, or drives the aroma unit 1728 to carry out the aroma, Improve the environment.
  • control unit 1723 controls the host device 1750 via the wireless communication unit 1729.
  • the execution history of the deodorizing by the deodorizing unit 1727, the aroma by the aroma unit 1728, the cooling or heating of the user's body by the body temperature control unit 1726 (Step S2004).
  • control unit 1754 checks whether or not the notification of the implementation history is received from the adhesive device 1700 every predetermined time (step S2011) (step S2012).
  • step S2012 when the notification of the implementation history is received from the adhesive type device 1700 (Yes in step S2012), the control unit 1754 analyzes the received implementation history (step S2013), and the body temperature control of the adhesive type device 1700 is performed. Adds or corrects an event for instructing the scheduler that instructs the driving of the unit 1726, the deodorizing unit 1727, or the fragrance unit 1728 to perform deodorizing or fragrance, cooling / heating of the user's body, etc. (step S2014) .
  • the sticking type device 1700 notifies the host device 1750 of the implementation history of the drive of the actuator, such as odor elimination, fragrance, body temperature control, and the host device 1750 side analyzes the implementation history. Based on the above, it is possible to add or correct an event to a scheduler that instructs driving of an actuator such as deodorization, fragrance, and temperature control. As a result, subsequently, the adhesive type device 1700 can perform deodorization, fragrance and body temperature control in advance according to an instruction from the host device 1750 side, and can cope with the user's biological information and abnormality of the surrounding environment .
  • the process in the host device 1750 in FIG. 33 may be performed using a cloud (or computer resources on a wide area network) instead of an information terminal carried by a user such as a smartphone.
  • the information processing device disclosed in the present specification is a wearable device that is used by being attached to the surface (skin) of the body, and is, for example, the user's temples, groin, in the ear, under the chin, neck, neck, throat It is used by sticking to parts such as head, upper arm, forearm, wrist, back of hand, and abdomen.
  • Similar pasting type information processing devices are not human bodies, but various animals (such as pets, livestock, service animals, etc.), plants (including plants grown in food or plants, wild plants), moving bodies, etc. Can be used as an IoT device.
  • Sensor A communication unit that wirelessly communicates with the outside; A control unit that controls the sensor and the communication unit; A power supply unit that supplies power to at least one of the sensor, the communication unit, and the control unit; A housing unit for housing at least one of the sensor, the communication unit, the control unit, and the power supply unit; A sticking section for fixing the housing section to the user; An adhesion sensor that detects an adhesion state of the user and the housing in the adhesion unit; Equipped with The control unit controls the communication operation in the communication unit according to the adhesion state detected by the adhesion sensor.
  • Information processing device A communication unit that wirelessly communicates with the outside; A control unit that controls the sensor and the communication unit; A power supply unit that supplies power to at least one of the sensor, the communication unit, and the control unit; A housing unit for housing at least one of the sensor, the communication unit, the control unit, and the power supply unit; A sticking section for fixing the housing section to the user; An adhesion sensor that detects an adhesion state of the user and the housing in the
  • the control unit wirelessly transmits a predetermined signal to the outside via the communication unit in response to the adhesion sensor detecting that the adhesion unit is about to peel off or peel off the user.
  • the information processing apparatus according to the above (1) (3) further comprising a host device that performs wireless communication via the communication unit, The information processing apparatus according to (2).
  • the host device notifies the user in response to receiving the predetermined signal.
  • the host device is It is possible to perform an authentication process of the user based on sensor data detected by the sensor, The user authentication by the authentication process is canceled by receiving the predetermined signal.
  • the information processing apparatus according to any one of the above (3) or (4).
  • the information processing apparatus further includes a storage unit that stores internal information of the information processing apparatus
  • the control unit initializes or deletes predetermined information stored in the storage unit in response to the adhesion sensor detecting that the adhesion unit is about to peel off or peel off the user.
  • the information processing apparatus according to any one of the above (1) to (5).
  • the storage unit stores device information of the information processing apparatus, The control unit initializes or deletes the device information stored in the storage unit in response to the adhesion sensor detecting that the adhesion unit is about to peel off or peel off the user.
  • the information processing apparatus according to (6).
  • the storage unit stores sensor data detected by the sensor
  • the control unit initializes or deletes the sensor data stored in the storage unit in response to the adhesion sensor detecting that the adhesion unit is about to peel off or peel off the user.
  • the information processing apparatus according to any one of the above (6) or (7).
  • the surface of the sticking section is protected by a release paper, Activated in response to the release paper being peeled off from the sticking part, The information processing apparatus according to any one of the above (1) to (8).
  • the release paper has a tongue-shaped non-conductive portion for insulating the power supply portion, When the release paper is peeled off from the sticking part, the non-conductive part is detached and the power supply part is in a conductive state.
  • the information processing apparatus activates the information processing apparatus in response to detection that the release paper has been peeled from the sticking section by the sticking sensor.
  • the information processing apparatus according to (9).
  • the sensor includes an imaging sensor having an imaging function, The housing unit is attached near the eyeball of the user, and the imaging sensor captures an image corresponding to at least a part of the field of view of the user.
  • the information processing apparatus according to any one of the above (1) to (11).
  • the housing unit is attached near either the left or right eyeball of the user, The same synchronization signal shared with another information processing apparatus attached near the other eyeball of the user is added, and the imaging data captured by the imaging sensor is wirelessly transmitted from the communication unit , The information processing apparatus according to (12).
  • the sensor includes a biological sensor that detects a biological signal of the user, The synchronization signal is added to the biological signal detected by the biological sensor, and wireless transmission is performed from the communication unit.
  • the information processing apparatus according to (13).
  • a host device for receiving imaging data from each of the information processing apparatus and the other information processing apparatus The host device estimates the sticking positions of the information processing apparatus and the other information processing apparatus based on the received imaging data, and the viewing angle and the center position of one imaging data match the other imaging data. Make image corrections to The information processing apparatus according to any one of the above (13) or (14).
  • the sensor includes a myoelectric potential sensor for detecting myoelectric potential around the eye of the user, The host device detects the fixation point of the user based on the myoelectric potential data received from the information processing apparatus and the other information processing apparatus.
  • the information processing apparatus according to (15).
  • the host device further includes a recording unit that records the video data received from the information processing apparatus and the other information processing apparatus in association with the user's gaze point.
  • the information processing apparatus according to (16). (16-2) estimating the user's emotion based on the myoelectric potential data,
  • the information processing apparatus and the other information processing apparatus further include an eye-ring muscle sensor that detects the user's eye-ring muscle.
  • the host device transmits the ring muscle data received from the information processing apparatus and the other information processing apparatus to a sticking type device with an eyelid muscle muscle actuator stuck near the eyeball of another user.
  • the sensor includes an odor sensor It further comprises an odor management unit having at least one function of aroma or odor elimination, The control unit controls aroma or deodorizing by the odor management unit based on the odor data detected by the odor sensor.
  • the information processing apparatus according to any one of the above (1) to (16).
  • the control unit controls aroma or deodorizing by the odor management unit based on odor data detected by the odor sensor based on the context of the user.
  • a temperature control unit capable of controlling the temperature is further provided, The control unit controls the temperature control unit based on sensor data detected by the sensor or the context of the user.
  • the information processing apparatus according to any one of the above (1) to (18). (19) Supply power to at least one of a sensor, a communication unit for wireless communication with the outside, a control unit for controlling the sensor and the communication unit, the sensor, the communication unit, and the control unit A power supply unit, a housing unit for storing at least one of the sensor, the communication unit, the control unit, and the power supply unit; a bonding unit for fixing the housing unit to a user; A control method of an information processing apparatus including a sticking sensor for detecting a sticking state of the user and the casing in a unit.
  • Method of controlling an information processing apparatus having: (20) Supply power to at least one of a sensor, a communication unit that wirelessly communicates with the outside, a control unit that controls the sensor and the communication unit, a sensor, the communication unit, and the control unit A power supply unit, a housing unit for storing at least one of the sensor, the communication unit, the control unit, and the power supply unit; a bonding unit for fixing the housing unit to a user; A recording medium for recording a computer program for controlling an information processing apparatus having a sticking sensor for detecting a sticking state between the user and the casing in a storage unit, the computer program comprising Acquiring a detection result by the adhesion sensor; Determining whether or not the sticking part is about to peel off or peel off
  • DESCRIPTION OF SYMBOLS 100 ... sticking type device 101 ... electric part, 102 ... housing part 103 ... sticking part, 104 ... bodily fluid processing part 500 ... board
  • Eyelid muscle sensor 1410 ... Host device, 1411, 1412 ... wireless communication unit 1413 ... sticking position estimation unit, 1414 ... eye position estimation unit 1415 ... Command / gesture recognition unit 1416: Communication unit 1500: Remote device, 1501: Reception unit, 1502: Display unit 1600: Adhesive type device (for remote user) 1601 wireless communication unit 1602 nerve muscle muscle actuator 1700 sticking type device 1710 sticking unit 1720 main body 1721 sticking sensor 1722 power supply unit 1723 control unit 1724 living body sensor 1725 Odor sensor, Body temperature control unit, 1727 Deodorization unit 1728, Aroma unit, 1729: Wireless communication unit 1750, Host device, 1751: Wireless communication unit 1752, Behavior management unit, 1753: Environment measurement unit, 1754: Control unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Endocrinology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの身体に装着して用いられる情報処理装置を提供する。 情報処理装置は、センサと、通信部と、前記センサ及び前記通信部を制御する制御部と、電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部を収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する。前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記通信部を介して所定信号を外部に無線送信させる。

Description

情報処理装置及びその制御方法、並びに記録媒体
 本明細書で開示する技術は、ユーザの身体に装着して用いられる情報処理装置及びその制御方法、並びに記録媒体に関する。
 近年、腕や頭部などユーザの身体のさまざまな場所に装着して用いられるウェアラブル・デバイスが普及しつつある。ウェアラブル・デバイスは、生体情報や位置情報、その他のユーザの状態を検出したり、ユーザの周囲の様子を撮像又は録音などの記録を行なったり、音声などで多様な情報をユーザに提示したりする用途がある。ウェアラブル・デバイスは、例えば、ライフログの分野やスポーツ支援の分野など、多岐にわたる分野で利用されている。
 例えば、ユーザの首の左右両側から後ろ側(背中側)にかけて半周回するような装着ユニットで、ユーザの首に掛けるようにして装着される、ネックバンド型のウェアラブル・デバイスについて提案がなされている(例えば、特許文献1を参照のこと)。
WO2016/063587 特開2006-345269号公報 特表2004-523289号公報 特表2008-518709号公報 特開2011-225521号公報 WO2017/068829
 本明細書で開示する技術の目的は、ユーザの身体に装着して用いられる情報処理装置及びその制御方法、並びに記録媒体を提供することにある。
 本明細書で開示する技術の第1の側面は、
 センサと、
 外部と無線通信する通信部と、
 前記センサ及び前記通信部を制御する制御部と、
 前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、
 前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、
 前記筐体部をユーザに固定する貼着部と、
 前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサと、
を具備し、
 前記制御部は、前記貼着センサにより検出される前記貼着状態に応じて、前記通信部における通信動作を制御する、
情報処理装置である。
 前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記通信部を介して所定信号を外部に無線送信するように制御する。
 また、前記情報処理装置は、前記通信部を介して無線通信するホストデバイスをさらに備えていてもよい。前記ホストデバイスは、前記所定信号を受信したことに応答して前記ユーザに対して通知する。また、前記ホストデバイスは、前記センサにより検出されたセンサデータに基づいて前記ユーザの認証処理を行うことが可能であるが、前記所定信号を受信したことにより前記認証処理によるユーザ認証を解除する。
 また、前記情報処理装置の内部情報を記憶する記憶部をさらに備えている。前記記憶部には、前記情報処理装置の機器情報や、前記センサにより検出されたセンサデータが記憶される。前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された所定の情報を初期化又は削除する。
 また、前記情報処理装置の使用前には、前記貼着部は剥離紙で表面が保護されている。そして、前記剥離紙が前記貼着部から剥がされたことに応じて起動する。例えば、前記剥離紙は、前記電源部を絶縁する舌片状の非導電部を備えている。そして、前記剥離紙が前記貼着部から剥がされると、前記非導電部が外れて前記電源部が導電状態になることで、情報処理装置の起動が開始される。あるいは、前記制御部は、前記剥離紙が前記貼着部から剥がされたことを前記貼着センサにより検出されたことに応じて、前記情報処理装置を起動させる。
 また、本明細書で開示する技術の第2の側面は、センサと、外部と無線通信する通信部と、前記センサ及び前記通信部を制御する制御部と、前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する情報処理装置の制御方法であって、
 前記貼着センサによる検出結果を取得するステップと、
 前記検出結果に基づいて、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるかどうかを判別するステップと、
 前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるときに、前記通信部を介して所定信号を外部に無線送信するステップと、
を有する情報処理装置の制御方法である。
 また、本明細書で開示する技術の第3の側面は、センサと、外部と無線通信する通信部と、前記センサ及び前記通信部を制御する制御部と、前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する情報処理装置を制御するためのコンピュータ・プログラムを記録する記録媒体であって、前記コンピュータ・プログラムは、
 前記貼着センサによる検出結果を取得するステップと、
 前記検出結果に基づいて、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるかどうかを判別するステップと、
 前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるときに、前記通信部を介して所定信号を外部に無線送信するステップと、
をコンピュータに実行させるようにコンピュータ可読形式で記述される、記録媒体である。
 本明細書で開示する技術によれば、ユーザの身体に装着して用いられる情報処理装置及びその制御方法、並びに記録媒体を提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、ユーザの眼下に貼着された貼着型デバイスが剥がれかけている様子を例示した図である。 図2は、貼着型デバイス100がユーザの眼下に貼着されている様子と、貼着型デバイス100の分解図を示した図である。 図3は、図2に示した貼着型デバイス100の正面図である。 図4は、図2に示した貼着型デバイス100の背面図である。 図5は、図2に示した貼着型デバイス100の右側面図である。 図6は、図2に示した貼着型デバイス100の左側面図である。 図7は、図1に示した貼着型デバイス100の上面図である。 図8は、図1に示した貼着型デバイス100の底面図である。 図9は、ユーザの眼下に貼着され、カメラとして機能することができる貼着型デバイス100の内部構成例を示した図である。 図10は、貼着型デバイス100がユーザの背中上部の中央に貼着されている様子を示した図である。 図11は、図10に示した貼着型デバイス100の正面図である。 図12は、図10に示した貼着型デバイス100の背面図である。 図13は、図10に示した貼着型デバイス100の右側面図である。 図14は、図10に示した貼着型デバイス100の左側面図である。 図15は、図10に示した貼着型デバイス100の上面図である。 図16は、図10に示した貼着型デバイス100の底面図である。 図17は、図10に示した貼着型デバイス100の斜視図である。 図18は、本明細書で提案する貼着型デバイスを貼着可能な場所を例示した図である。 図19は、電気部101の実装イメージを例示した図である。 図20は、ユーザの身体表面に貼着した状態の貼着型デバイス100の断面構成を例示した図である。 図21は、ユーザの身体表面に貼着して用いられる貼着型デバイス100の入出力機能の構成例を模式的に示した図である。 図22は、貼着場所に応じたセンサ素子並びにアクチュエータ素子の適否を示した図である。 図23は、貼着型デバイス100の貼着部103の糊面に剥離紙900を貼り付けて保護している様子を示した図である。 図24は、ユーザの身体への貼着状態に応じて貼着型デバイス100を動作させるための処理手順を示したフローチャートである。 図25は、ユーザの身体への貼着状態に応じて貼着型デバイス100を動作させるための他の処理手順を示したフローチャートである。 図26は、ユーザの身体に貼着していた貼着型デバイス100を剥がす際の処理手順を示したフローチャートである。 図27は、ユーザの左右の眼下に貼着された貼着型デバイスからなるステレオカメラのシステム構成例を示した図である。 図28は、ステレオカメラの映像伝送システムの構成例を示した図である。 図29は、眼輪筋制御を含んだステレオカメラの映像伝送システムの構成例を示した図である。 図30は、臭気対処機能付きの貼着型デバイス1700と、貼着型デバイス1700と連携するホストデバイス1750の機能的構成例を示した図である。 図31は、貼着型デバイス1700を貼着部1710と本体部1720とカートリッジ1730に分解した様子を示した図である。 図32は、ホストデバイス1750がユーザの行動予定に基づいて貼着型デバイス1700側における芳香制御を実施するための処理手順を示したフローチャートである。 図33は、ホストデバイス1750が貼着型デバイス1700側における芳香の実施履歴に基づいて芳香要求するスケジュールを調整するための処理手順を示したフローチャートである。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
 腕時計型情報端末、メガネ型情報端末といった、腕や頭部などに装着して用いられるウェアラブル・デバイスは広く知られている。例えば、腕時計型情報端末は、腕時計のようにユーザの手首付近に巻いて使用され、腕時計の基本機能に加え、メールなどの文字コミュニケーション、歩数計などの活動量測定及び測定結果の表示、音楽再生などの多くの機能を提供する。また、メガネ型情報端末は、装着したユーザの視界の一部に情報を提示することで、ユーザがナビゲーションや最新のニュースなどの情報を常に受け取ることができる。
 従来のウェアラブル・デバイスの多くは、ユーザが装着していることが外見上明らかである。例えば、メガネ型情報端末は、一般的な視力矯正用のメガネに比べて形状が大きく異なる。このため、周囲の人に違和感を与えることがあり、ウェアラブル・デバイスの普及の妨げになることが懸念される。ウェアラブル・デバイスの装置本体の意匠を工夫することで、ユーザ本人や周囲に違和感なく受け入れられるようにする方法も考えられる。また、ユーザに新しい形態の装置を利用することに対する心理的違和感を排除することは容易ではない。
 そこで、本明細書では、ユーザの身体の表面(若しくは、皮膚)に直接貼着して用いられる、貼着型の情報処理装置(「スティッカブルデバイス」又は「貼着型デバイス」とも呼ぶ)について、以下で提案する。ユーザの身体表面に貼着された情報処理装置は、外見上の変化が最小限であることから、周囲の人に違和感を与えずに済む。また、このタイプの情報処理装置は、ユーザ本人にとっても、さりげなく心地よく、可能な限り装着感を感じさせない。すなわち、貼着型の情報処理装置は、着用しているユーザがその存在を感じず、且つ、周囲の人々もその存在に気づかないが、いざユーザが使用する際にはしっかりと機能を提供して、さりげなく心地よく使用感を与えることができる。
 本明細書で提案する貼着型の情報処理装置は、基本的には、物理的に単一の装置として構成され、上述したユーザの身体上のいずれか1つの部位に貼着して用いられる。変形例として、情報処理装置は、物理的に分離した2以上の分割装置の集合体として構成され、上述した2以上に部位に各分割装置が貼着される。後者の場合、各分割装置は、無線通信や生体通信などを利用して相互接続され、各分割装置が協働的に動作して1つの情報処理装置として機能するように構成される。
 本明細書で提案する貼着型の情報処理装置は、センサと、外部と無線通信する通信部と、センサ及び通信部を制御する制御部と、センサ、通信部、及び制御部のうち少なくとも1つに対して電源を供給する電源部と、センサ、通信部、制御部、及び電源部のうち少なくとも1つを収納する筐体部と、筐体部をユーザに固定する貼着部と、貼着部におけるユーザと筐体との貼着状態を検出する貼着センサを基本構成要素とする。上記センサは、1以上のセンサ素子からなる。また、この貼着型の情報処理装置は、センサにより検出されたセンサデータを、通信部を介して外部に無線送信することを基本動作とする。
 また、本明細書で提案する貼着型の情報処理装置の特徴的な動作として、制御部が、貼着センサにより検出される貼着部とユーザとの貼着状態に応じて通信部における通信動作を制御する点を挙げることができる。具体的には、制御部は、貼着部がユーザから剥がれ始め、若しくは剥がれる直前であることを貼着センサが検出したことに応じて、通信部を介して所定信号を外部に無線送信するように制御する。図1には、ユーザの左右の眼下に貼着された情報処理装置のうち、左側の情報処理装置が剥がれ始めている様子を示している。
 また、情報処理装置は、通信部を介して無線通信するホストデバイスをさらに備えていてもよい。ホストデバイスは、所定信号を受信したことに応答して、貼着部がユーザから剥がれ始め若しくは剥がれる直前であることなどをユーザに対して通知する機能を備えていてもよい。また、ホストデバイスは、センサによるセンサデータを無線通信により受信して、センサデータに基づいてユーザの認証処理を行う機能をさらに備えていてもよい。そして、ホストデバイスは、所定信号を受信したことにより、認証処理によるユーザ認証を解除するようにしてもよい。
 また、貼着型の情報処理装置は、上記センサの1つとして集音機能を有する収音センサを備え、収音センサにより検出されたオーディオデータを通信部により外部に無線送信するようにしてもよい。IoT(Internet of Things)デバイスにはマウスやキーボードといった従来の入力装置が不在であり、文字情報よりも音声情報を用いたユーザ・インターフェース(UI)が有力である。したがって、収音センサは、情報処理装置に必須の構成要素の1つということができる。収音センサは、例えば小型のマイクロフォンなどで構成される。
 貼着型の情報処理装置本体を、眼下など眼球付近や、こめかみ、耳裏、顎の下、首、首元、咽喉部といったユーザの頭部若しくは顔部に貼着したり、背中や腹部、上腕、前腕、手首、手の甲など首、首元、咽喉部などユーザの胴体部若しくは四肢に貼着したりして使用することができる。情報処理装置本体をユーザの声帯の近傍に貼着して使用する場合、口からの空気伝導や頭部の肉伝導又は骨伝導を含めて、ユーザの肉声を効果的に集音することができる。したがって、情報処理装置は、ライフログ用の音声センシング機能を提供し易くなる。また、顎の下などを貼着場所にすると、情報処理装置は目立たず周囲の人に違和感を与えずに済む。
A.システム構成
 図2には、一例として、貼着型デバイス100がユーザの左側の眼下に貼着されている様子と、貼着型デバイス100の分解図を示している。また、図3~図8には、ユーザの眼下に貼着される貼着型デバイス100の正面図、背面図、右側面図、左側面図、上面図、並びに底面図をそれぞれ示している。
 貼着型デバイス100は、撮像センサなどのセンサや通信部、制御部、電源部などの回路コンポーネントを搭載した基板からなる電気部101と、電気部101を収納する筐体部102と、筐体部102をユーザの身体の表面に貼着してユーザの身体に固定する貼着部103を備えている。また、図示の貼着型デバイス100は、貼着部103の上に体液処理部104が積層されている。
 筐体部102は、貼着型デバイス100本体を貼着した部位以外のユーザの身体と接触したり、周囲の人の身体と接触したりした際に、損傷を与えないことを考慮して、柔軟性を有するソフトシェルであることが好ましい。また、筐体部102は、金属又は非金属の素材を用いて構成されるが、通信部を収納することから、電波透過性を備えている必要がある。図2や図3からも分かるように、筐体部102(若しくは、貼着型デバイス100本体)のアウトラインのうち、上側の形状は、目の下半分の形状(下まつ毛側の形状)に沿った曲線で構成されているので、外観上の違和感がない。また、ユーザの身体(顔面など)に貼着するにあたり、貼着型デバイス100のアウトラインにエッジがあると装着感がよくないため、アウトラインは曲線で構成されている。また、筐体部102の表面(言い換えれば、貼着型デバイス100本体の正面)には、少なくとも1つの開口部が形成されている。各開口部には、撮像部を保護する透明のカバー(レンズレスカメラの場合は透明のカバー)、若しくは撮像用のレンズが設けられている。
 また、貼着型デバイス100本体を貼着した部位における外見上の変化が最小限となるように、筐体部102の表面(若しくは体裁面)は、肌色に調色されていることが好ましい。あるいは、筐体部102の表面を透明色にしたり、ファッション性のある色に塗装したりしてもよい。また、貼着した部位の周辺の肌のシミや凹凸に似せて、筐体部102を調色したり凹凸形状を形成したりしてもよい。また、筐体部102の表面に、タトゥシールのような模様を形成して、ユーザの個性の表現するようにしてもよい。
 但し、貼着型デバイス100本体は、ユーザの眼下だけでなく、ユーザの身体表面のさまざまな場所に貼着して用いられることを想定している。そこで、貼着場所毎に筐体部102若しくは貼着型デバイス100本体の外観形状を変更してもよいし、すべての貼着場所で共通の外観形状としてもよい。
 また、筐体部102は、撥水性の素材を用いる、あるいは表面に撥水加工を施すなどして、撥水性を備えていることが好ましい。筐体部102の表面に撥水性がないと、ユーザの皮膚から分泌又は排出される体液(汗など)や降雨などが、筐体部102の内部に浸み込んで、電気部101を構成する回路コンポーネントにダメージを与えたり、さらにその下層の貼着部103の貼着性が劣化したりするおそれがある。
 電気部101は、1以上のセンサや通信部、制御部、電源部などと、これらの回路コンポーネントを搭載した基板からなる(前述)。制御部は、例えばプロセッサとメモリからなり、センサにより検出されたセンサデータの処理や、通信部による無線信号の送受信処理などを制御する。また、メモリには、貼着型デバイス100の機器情報や、センサにより検出されたセンサデータなどが記憶される。
 貼着型デバイス100本体が貼着されたユーザの身体表面(自由曲面)の変化に倣うように、電気部101を構成する基板は、柔軟性や伸縮性を備えていることが好ましい。例えば、フレキシブル基板を用いるとともに、フレキシブル基板に2軸以上の方向に切れ込みを形成することで、柔軟性や伸縮性が増し、自由曲面に倣い易くなる。逆に、基盤が柔軟性や伸縮性を備えていないと、貼着型デバイス100本体は、貼着されたユーザの身体表面から剥離し易くなる。
 貼着部103は、シート状で、且つ、表面が貼着性能を持つ糊面となっており、ユーザの身体の表面に貼着して、貼着型デバイス100本体をユーザの身体に固定することができる。また、ユーザの皮膚から相当量の体液(汗など)が分泌又は排出されることを考慮して、貼着部103は、透湿性(若しくは、透水性、透液性)を備えていることが好ましい。例えば、1以上の開口を有する多孔性の素材を用いて貼着部103を構成する。
 貼着部103の糊面は、皮膚に適用可能(例えば、皮膚に刺激を与えることがなく、アレルギーなどを発生し難い)な接着材で形成されていることが好ましい。また、未使用の状態では、糊面にゴミなどが付着せず貼着性能を維持できるよう、貼着部103の糊面は剥離紙(図示しない)で保護されていることが好ましい。付言すれば、剥離紙を貼着部103から剥離することによって、使用状態に移行して、貼着型デバイス100の電源が投入されるように構成してもよい。
 体液処理部104は、貼着部103の開口を介して浸み込んでくるユーザの体液を処理して、電気部101に到達しないように体液を遮る。体液処理部104は、例えば高分子ポリマー吸湿材のようなメッシュ材を用いて構成される。体液処理部104は、毛細管現象により体液を誘導して、環境(貼着型デバイス100の外部)に放出する。体液処理部104は、交換部品として構成されることが好ましい。
 ユーザの眼下に貼着される貼着型デバイス100が上記センサの1つとして撮像センサを備えることで、ユーザの視点とほぼ一致する視界の画像を撮像することができる。撮像光学系次第では、ユーザの視界以上の視野で撮像することも可能である。また、撮像センサを備えた貼着型デバイス100を左右の眼下に設置することで、ステレオカメラを構成することができる。もちろん、左右の眼下のうちいずれか一方にのみ貼着型デバイス100を設置して、単眼カメラとして利用してもよい。
 図9には、ユーザの眼下に貼着され、カメラとして機能することができる貼着型デバイス100の内部構成例を示している。同図では、貼着部103及び体液処理部104の図示を省略し、貼着型デバイス100を裏面側から眺めた様子を示している。電気部101は、センサの1つとして撮像部201と、外部と無線通信する通信部202と、撮像部201及び通信部202を制御する制御部203と、撮像部201、通信部202、及び制御部203のうち少なくとも1つに対して電源を供給する電源部204を備え、これらのコンポーネントは筐体部102によって覆われている。例えば、複数のレンズレスの撮像センサを装備することで、レンズの大きさや重量を増やすことなく、広視野角化を実現することができる(後述)。図2並びに図3~図8に示す構成例では、正面の筐体部102には、3個の撮像センサが撮像するための3つの穴が穿設されている。
 図10には、他の例として、貼着型デバイス100がユーザの背中上部の中央に貼着されている様子を示している。また、図11~図17には、図10に示す貼着型デバイス100の正面図、背面図、右側面図、上面図、底面図、並びに斜視図をそれぞれ示している。図10又は図17からも分かるように、ユーザの背中に貼着するタイプの貼着型デバイス100のアウトラインは、ユーザが動き易く、身体の曲面にフィットし易い曲線で構成されている。アウトラインの曲線の半径rが小さ過ぎる(より半径の小さい円弧曲線という意味)と、貼り付け部分の面積が小さくなり、貼着型デバイス100本体を保持する強度が不足してしまう。このため、適度な面積を確保する程度の曲線の半径rとしている。また、貼着型デバイス100のアウトラインが適度な半径rを有する曲線で構成されていると、背中上部に貼着した際に、貼着型デバイス100が衣服に覆われて、外部からは視認され難くなる、という効果がある。
 通常、ユーザの背中上部はユーザが着用する服に覆われてしまうので、周囲に違和感を与えることはなく、さりげなく使用することができるが、上記センサとして撮像センサを装備しても外界を撮像するのに適していない。他方、背中には発汗や代謝によるユーザの体臭がこもり易いので、上記センサの1つとして臭気を感知する臭気センサを備えていてもよい。そして、臭気センサにより収臭された臭気データ(及び、臭気データの時系列データ)を通信部により外部に無線送信するようにしてもよい。
 また、体臭は周囲の人々又はユーザ本人に不快感を与えるおそれがある。そこで、ユーザの背中上部の中央に貼着される貼着型デバイス100は、芳香又は消臭のうち少なくとも1つの機能を備えた臭気対処部をさらに備えていてもよい。制御部は、臭気センサにより収臭された臭気データに基づいて、臭気対処部の芳香又は消臭の駆動を制御するようにすればよい。
 上記では、ユーザの眼下並びに背中上部の中央の各々に貼着して用いられる貼着型デバイス100について例示したが、貼着型デバイス100本体は、ユーザの身体表面のさまざまな場所に貼着して用いられることが想定される。図18には、本明細書で提案する貼着型デバイスを貼着することが想定される、ユーザの身体上の部位を例示している。図示のように、貼着型デバイスは、眼下、こめかみ、眉間、耳裏、顎の下、首、首元、咽喉部、上腕、前腕、手首、手の甲、腹部などの部位に貼着して、いわゆるウェアラブル・デバイスとして用いられることを想定している。
 なお、図示を省略するが、同様の貼着型デバイスを、人体ではなくさまざまな動物(愛玩動物や家畜、使役動物など)、植物(食用又は観葉に栽培される植物、野生植物を含む)、移動体などの機械類に貼着して、IoTデバイスとしても活用することができる。
 図19には、基板への電気部101の実装イメージを例示している。柔軟性や伸縮性を備えた基板500上には、センサ501と、通信処理部を兼用する制御部502と、チップ・アンテナ503などの回路部品とともに、コイン・バッテリーで構成される電源部504が搭載されている。
 図20には、ユーザの身体表面に貼着した状態の貼着型デバイス100の断面構成を例示している。図19を参照しながら既に説明したように、柔軟性や伸縮性を備えた基板500上には、センサ501と、通信処理部を兼用する制御部502などの回路部品と、コイン・バッテリーで構成される電源部504が搭載されている。
 図21には、ユーザの身体表面に貼着して用いられる貼着型デバイス100の入出力機能の構成例を模式的に示している。図示の貼着型デバイス100は、センサ部710と、アクチュエータ部720と、通信部730を備えている。
 貼着型デバイス100本体がユーザの身体表面に接触しているという特徴を活かして、センサ部710は、ユーザ(人体)の情報を検出する第1のセンサ部711と、ユーザの外(外界)の情報を検出する第2のセンサ部712を備えている。また、アクチュエータ部720は、ユーザ(人体)に対して情報を出力する第1のアクチュエータ部721と、ユーザの外(外界や、周囲の人)に対して情報を出力する第2のアクチュエータ部722を備えている。
 貼着型デバイス100の基本機能として、制御部(図21では図示しない)は、収音センサ、第1のセンサ部711、又は第2のセンサ部712のうち少なくとも1つのセンサによる検出結果に基づいて、第1のアクチュエータ部721又は第2のアクチュエータ部722のうち少なくとも一方を駆動する。第1のアクチュエータ部721を駆動することで、センサにより検出されたセンサデータ(例えば、ユーザ自身の生体情報、又は周囲の環境情報)を、ユーザに通知することができる。また、第2のアクチュエータ722を駆動することで、センサによる検出結果を、ユーザの周囲に伝達することができる。
 また、貼着型デバイス100が備える機能として、制御部は、センサ部710により検出されたセンサデータを通信部730から外部に無線送信し、又はセンサ部710により検出されたセンサデータに基づいてアクチュエータ部720を駆動する。
 また、貼着型デバイス100が備えるさらに他の機能として、制御部は、通信部730を介して外部から受信した情報に基づいて、アクチュエータ720の駆動を制御したり、センサ部710における検出処理を制御したりする。
 なお、制御部は、貼着型デバイス100(又はユーザ)を識別する個体識別番号や、外部との情報交換の際に盗聴防止などのために使用する暗号鍵などを保存するためのメモリを含んでいてもよい。また、メモリは、センサ部710により検出されたセンサデータを一時的に保持してもよい。
 例えば収音センサは、貼着型デバイス100本体を貼着したユーザの発話を収音するという観点から、第1のセンサ部711に含めることができる。収音センサは、口からの空気伝導や、頭部の肉伝導又は骨伝導により、ユーザが発声する音声を収音する。筐体部102には、空気電動される音声を収音するための収音孔を穿設していることが好ましい。また、収音孔には防水処理が施されていることが好ましい。
 例えば、貼着型デバイス100が顎の下、首、首元、咽喉部など口や声帯から近い場所に貼着して用いられる場合には、収音センサは、口からの空気伝導や頭部の肉伝導又は骨伝導を含めて、微小な音声情報を拾うことができる。また、雑音がある環境下でも、肉伝導や骨伝導を利用して、ユーザの声を分離して収音することができる。
 付言すれば、第1のセンサ部711に含まれる収音センサと、第1のアクチュエータ部721に含まれるスピーカとの協働的動作により収音⇒増幅⇒再生を行い、貼着型デバイス100を集音器若しくは補聴器として活用することもできる。
 また、ユーザの体臭などを臭気する臭気センサを、第1のセンサ部711に含めることができる。さらに脳波センサや静脈センサ、筋電位センサ、体温センサ、発汗センサ、心拍又は脈拍センサ、視線センサなど、生体情報を検出することができるさまざまなタイプの生体センサを、第1のセンサ部711に含めることができる。制御部は、臭気センサにより収臭された臭気データ(及び、臭気データの時系列データ)や、その他の生体センサにより検出された生体センサデータを、通信部730により外部に無線送信するようにしてもよい。また制御部は、臭気データやその他の生体センサデータに基づいて、アクチュエータ部720の駆動を制御するようにしてもよい。例えば、第2のアクチュエータ部722として臭気対処部を含む場合には、制御部は、臭気センサにより収臭された臭気データに基づいて、臭気対処部の芳香又は消臭の駆動を制御するようにすればよい。
 また、貼着型デバイス100がこめかみや眉間などのユーザの頭部に貼着して用いられる場合には、脳波センサを用いてユーザの脳波を高い精度で検出することができる。制御部は、脳波センサの検出結果を解析して、ユーザの意思や感情を認識することによって、非侵襲式のBrain-Machine Interface(BMI)を実現することができる。また、制御部は、脳波センサの検出結果に基づいてユーザの眠気を感知したときには、例えば第1のアクチュエータ部721を駆動させて、電撃などにより眠気を撃退するといった動作も可能である。
 但し、貼着型デバイス100本体を貼着した場所に応じて生体情報の検出の適否があり、また、貼着型デバイス100自体の用途に応じて生体情報の要否が異なる。したがって、貼着場所と生体情報の要否に応じて適宜必要な生体センサを第1のセンサ部711に組み込むようにすればよい。
 また、振動センサを、第1のセンサ部711に含めることができる。振動センサは、例えば加速度センサ、ジャイロ・センサ、又は地磁気センサ、あるいはこれらのうち2以上のセンサ素子の組み合わせで構成される。制御部は、振動センサによる検出結果に基づいて、貼着型デバイス100を身体に貼着したユーザの姿勢や体動(衝撃、振動、傾斜、転倒、落下、移動、その他)を検知することができる。また、貼着型デバイス100がユーザの手の甲や指に貼着して用いられる場合などには、制御部は、振動センサの検出結果を解析して、ユーザが行なったジェスチャーを検出することができる。
 さらに制御部は、振動センサで検出した振動データから特徴データを抽出するとともに、所定量だけ蓄積した特徴データの時系列に基づいて、ユーザの行動を認識することができる(例えば、特許文献2を参照のこと)。また、制御部は、特徴データの時系列情報を逐次学習していくようにしてもよい。振動センサから得られる振動データは、貼着型デバイス100本体が貼着された場所毎に特徴が相違する。そこで、制御部は、振動センサから得られる振動データ(若しくは、振動データから抽出された特徴データの時系列)に基づいて、貼着型デバイス100本体が貼着された場所をさらに推定することもできる。
 また、貼着型デバイス100本体が貼着部103によってユーザの身体に貼着されている貼着状態かどうかを検出する貼着センサも、第1のセンサ部711に含めることができる。貼着センサは、例えば、人体が接近してきたことに伴う静電容量の変化を検出する静電容量センサや、人体の表面(皮膚)に照射した赤外線の反射光を検出する赤外線反射センサなどを用いて、貼着センサを構成することができる。
 制御部は、貼着センサによって検出される貼着部103とユーザとの貼着状態に応じて、貼着型デバイス100の所定の処理の起動を制御するようにしてもよい。例えば、制御部は、貼着部103によって貼着型デバイス100本体がユーザに固定されたことを検出したことを貼着センサが検出したことに応じて、センサ部710により検出されたセンサデータの外部への無線送信を開始させるようにしてもよい。また、貼着型デバイス100が通信部を介して無線通信するホストデバイスをさらに備える場合には、センサ部710により検出されたセンサデータをホストデバイスに無線送信し、ホストデバイスはセンサデータに基づいてユーザの認証処理を行うようにしてもよい。また、貼着部103がユーザから剥がれ始め若しくは剥がれる直前であることなどを貼着センサが検出したことに応じて、制御部は、アクチュエータ部720を駆動してユーザに対して通知するようにしてもよいし、ホストデバイスに所定信号を無線送信してもよい。ホストデバイスは、所定信号を受信したことにより、認証処理によるユーザ認証を解除するようにしてもよい。ホストデバイスは、例えば、スマートフォンなどユーザが所持する情報端末であってもよい。
 第2のセンサ部712として、(ユーザの肉声ではなく)外界の音響又は騒音を収音する収音センサ(マイクなど)や、周囲の風景を撮像する撮像センサ、温度、湿度、照度、気圧などの外部環境情報を検出する環境センサを挙げることができる。図2に例示したようなユーザの眼下に貼着される貼着型デバイス100の場合、ユーザの視点とほぼ一致する視界の画像を撮像することができる。撮像光学系次第では、ユーザの視界以上の視野で撮像することも可能である。また、撮像センサを備えた貼着型デバイス100を左右の眼下に設置することで、ステレオカメラを構成することができる。制御部は、ユーザの眼下から撮像した画像を、例えばリアルタイムで外部に無線送信するようにしてもよい。
 また、無線通信用のチップ・アンテナ503(前述)は、電波(無線信号)を検出するという観点から、広義で、第2のセンサ部712に含めることもできる。さらに、GPS(Global Positioning System)センサのような位置情報センサを、第2のセンサ部712に含めることができる。但し、貼着型デバイス100は、位置情報センサ以外の手段により位置検出機能を装備することも可能である。例えば、第2のセンサ部712としてイメージ・センサを備えている場合には、SLAM(Simultaneous Localization and Mapping)やToF(Time of Flight)といった技術を利用して、自己位置推定を実現することができる。また、PlaceEngine技術を利用して、チップ・アンテナ503で受信する周辺の複数のアクセスポイントからの電波強度のバランスに基づいて、現在地を算出することができる。第2のセンサ部712として位置情報センサを装備し、又は、貼着型デバイス100が位置検出機能を有している場合、制御部は、ユーザの位置情報の時系列すなわち経路情報に基づいて、ユーザの行動を認識することができる。
 但し、貼着型デバイス100本体を貼着した場所に応じてセンサ素子の適否がある。例えば、図2に示したように貼着型デバイス100本体がユーザの眼下に貼着されている場合には周囲の風景を撮像するのに適しているが、顎の下に貼着される場合には周囲の風景を撮像するには適していない。したがって、貼着場所と生体情報の要否に応じて適宜必要なセンサ素子を第1のセンサ部711並びに第2のセンサ部712にそれぞれ組み込むようにすればよい。
 第1のアクチュエータ部721は、基本的には、ユーザの身体に対して直接出力する。例えば、第1のアクチュエータ部721として、小型スピーカや、肉伝導により音声を出力する肉伝導スピーカ、ハプティック出力可能なハプティック・デバイス、振動による刺激を印加する振動アクチュエータ、軽い電気刺激を与えるアクチュエータ(若しくは、微弱電流を出力するデバイス)などを挙げることができる。但し、貼着型デバイス100本体を貼着した場所に応じて出力の適否があり、また、貼着型デバイス100自体の用途に応じて出力の要否が異なる。したがって、貼着場所と情報出力の要否に応じて適宜必要なアクチュエータ素子を第1のアクチュエータ部721に組み込むようにすればよい。
 第2のアクチュエータ部722は、基本的には、貼着型デバイス100を装着するユーザやその周囲の人に対して情報を出力する。第2のアクチュエータ部722から出力される情報として、通信部730を介して受信した、ホストデバイスなどの外部から提供される情報を挙げることができる。
 例えば、第2のアクチュエータ部722として、光や画像を出力する表示部や、音声を出力するスピーカなどを挙げることができる。表示部は、例えば柔軟性の高い有機EL(Electro Luminescence)ディスプレイを用いて構成することができる。表示部は、筐体102内には収納されず、筐体102の表面に配設される。また、第2のアクチュエータ部722としてスピーカが備えられ場合には、筐体102の表面には、音響出力孔や排気孔が形成されることもある。
 また、第1のセンサ部711や第2のセンサ部712による検出結果や、その検出データを制御部で解析又は認識した結果を、第1のアクチュエータ部721並びに第2のアクチュエータ部722から出力することもできる。例えば第1のセンサ部711として貼着センサを含む場合には、制御部は、貼着部103がユーザから剥がれ始め若しくは剥がれる直前であることなどを貼着センサが検出したことに応じてアクチュエータ部720を駆動して、ユーザに対して通知するようにしてもよい。また、第1のセンサ部711として臭気センサを含む場合には、制御部は、臭気センサがユーザの体臭を検出したことに応じて、第2のアクチュエータ部722に含まれる臭気対処部を駆動して、芳香又は消臭などの処理を実施するようにしてもよい。
 但し、貼着型デバイス100本体を貼着した場所に応じて出力の適否があり、また、貼着型デバイス100自体の用途に応じて出力の要否が異なる。したがって、貼着場所と情報出力の要否に応じて適宜必要なアクチュエータ素子を第1のアクチュエータ部721並びに第2のアクチュエータ部722に組み込むようにすればよい。
 通信部730は、ホストデバイスなどの外部と情報通信を行なう。例えば、通信部730は、センサ部や10により検出されたセンサデータを外部に出力する。また、通信部730は、制御部やアクチュエータ部720に対する指示を外部から入力する。
 通信部730は、例えばWi-Fiなどの無線通信を経由して、ホストデバイスや、インターネット上の装置(クラウドなど)と通信を行なう。あるいは、通信部730は、Bluetooth(登録商標)やその他の近距離通信機能を用いて、スマートフォンなどユーザが所持する他の情報端末と通信を行なう。通信部330が無線を利用して外部装置と情報通信を行なう際には、盗聴防止のために暗号鍵(前述)を用いた秘密通信を行なうことが好ましい。
 また、通信部730は、NFC(Near Field Communication)のような近接無線通信技術を利用して、至近距離の情報端末と通信や認証処理を行なうようにしてもよい。また、通信部730は、人体通信機能を備え、同じユーザの別の身体部位に貼着された他の貼着型デバイスや同じユーザが所持する情報端末と人体通信を介して情報通信を行なうようにしてもよい。
 第1のセンサ部711、第2のセンサ部712に適用可能なセンサ素子や、第1のアクチュエータ部721、第2のアクチュエータ722に適用可能なアクチュエータ素子は、貼着型デバイス100本体を貼着した場所にも依存する。貼着場所に応じたセンサ素子並びにアクチュエータ素子の適否を、図22にまとめた。
 貼着する場所を限定して、最小限のセンサ素子及びアクチュエータ素子のみを装備するという貼着型デバイス100の構成方法と、多くの貼着場所に適用することを想定して、可能な限り多種類のセンサ素子及びアクチュエータ素子を装備するというハイスペックな貼着型デバイス100の構成方法が考えられる。
 前者の方法によれば、1台の貼着型デバイス100を比較的安価に製作することが可能になるので、使い捨てタイプの貼着型デバイス100とすることもできる。例えば、ユーザの身体から一旦剥がれた貼着型デバイス100は、使用期限が切れたものとして廃棄処分する。
 また、後者の構成方法によれば、現実に貼着した場所によっては、稼働させる必要がないセンサ素子及びアクチュエータ素子が生じる。すべてのセンサ素子並びにアクチュエータ素子を駆動すると、電力を浪費してしまうことになる。そこで、各センサ素子及びアクチュエータ素子のオン/オフを手動で切り替えられるようにしてもよいし、制御部が振動センサから得られる振動データ(ユーザの体動)や生体センサなどのセンサデータに基づいて貼着場所を推定して自動でオン/オフ切り替え制御を行なうようにしてよい。また、各センサ素子及びアクチュエータ素子の完全なオン/オフの切り替えを制御するのではなく、貼着した場所から推定される使用目的などに応じて、センサ感度を段階的に切り替える、アクチュエータの出力レベルを段階的に切り替える、といった制御を実施するようにしてもよい。
 なお、温度センサを内蔵し、人などの検体の皮膚に貼付して用いられる皮膚用パッチ材について、既に提案されている(例えば、特許文献3を参照のこと)。この皮膚用パッチ材は、温度センサの他にマイクロプロセッサや送信機などの電気部とボタン型電池も内蔵するが、貼着センサを装備していない。すなわち、この皮膚用パッチ材は、貼着部がユーザから剥がれ始め、若しくは剥がれる直前であることを貼着センサが検出したことに応じて、通信部を介して所定信号を外部に無線送信することができない、貼着部がユーザから剥がれ始め若しくは剥がれる直前であることなどをユーザに対して通知することができない、という観点などから、本明細書で開示する貼着型デバイスとは本質的に相違する。
B.貼着面の保護と装置の使用開始処理
 いずれの部位に貼着して用いられるにせよ、貼着型デバイス100は、未使用時には貼着部103の糊面にゴミなどの異物が付着せず貼着性能を維持できるように保護された状態で流通することを想定している。具体的には、未使用時には、貼着部103の糊面を剥離紙で保護するようにする。
 また、貼着型デバイス100は、出荷してから使用を開始するまでの時間は不定である。使用を開始するまでの長時間にわたって、上記のように貼着部103の貼着性能を維持するだけでなく、電源部504として用いられるバッテリーの消耗も回避若しくは抑制する必要がある。
 そこで、本実施形態では、貼着部103の糊面を保護する剥離紙の一部に非導電部を形成して、剥離紙で糊面を保護している状態では、同時に非導電部によって電源部504を基板500から絶縁状態若しくは非導電状態を保ちながら保管できるようにしている。そして、貼着型デバイス100の使用開始時に、剥離紙を糊面から剥ぎ取ると、貼着型デバイス100本体をユーザの身体の所定の部位に貼着することが可能になると同時に、電源部504から基板500上の各回路コンポーネントへの給電が可能となり、貼着型デバイス100は動作を開始することができる。
 図23には、貼着型デバイス100の貼着部103の糊面に剥離紙900を貼り付けて保護している様子を示している。但し、同図では、見易さのため、筐体部102を取り外して基板部500が露出している状態を示している。
 剥離紙900の一部には、舌片状の非導電部901が形成されている。剥離紙900を基板500の裏面側の貼着部103(図23では図示しない)に張り付けている状態では、非導電部901は、電源部504と基板500の間隙に挿入されて両者間の絶縁状態若しくは非導電状態を保っている。但し、剥離紙900の少なくとも舌片状の非導電部901の部分は絶縁素材で製作されていることを前提とする。
 そして、貼着型デバイス100の使用開始時に剥離紙900を剥ぎ取ると、貼着部103の糊面が露出してユーザの身体の所定の部位に貼着することが可能になる。これと同時に、電源部504と基板500の間隙から非導電部901が抜き取られて、電源部504から基板500上の各回路コンポーネントへの給電が可能となり、貼着型デバイス100は動作を開始することができる。
 このように、貼着型デバイス100は、剥離紙900で保護された状態で保管されている間は電源オフであり、剥離紙900を取り除くと動作を開始する。
 なお、電源オフ状態は、非導電部901のような手段によって完全に電源を遮断した状態に限定されず、変形例として十分に省電力の状態であってもよい。貼着型デバイス100は、十分な省電力の状態において、貼着センサなどセンサ部710の一部を駆動させて、光の反射の有無をモニタリングしたり、貼着部103の貼着面(糊面)のインピーダンスを測定したり、温度や湿度、照度などの環境変化をモニタリングしたり、血流など生体情報の変化をモニタリングすることができる。そして、いずれか1つのセンサデータ、又は複数のセンサデータを組み合わせた複合情報に応じて、貼着型デバイス100の使用が開始されようとしていることを検出すると、省電力の状態から電源オン状態に移行して、ユーザの身体の所定の部位に貼着されること待機するようにしてもよい。
 非導電部901の抜き取り又はセンサデータの変化のいずれに応じて貼着型デバイス100の使用が開始される場合にせよ、ユーザの身体への貼着を検出すると、ユーザの生体情報を取得し、生体情報に基づいてユーザを認証することができる。
 ユーザへの貼着状態は、例えば第1のセンサ部711に含まれる貼着センサが、温度、湿度、照度、血流の状態、血管の形状などのセンサデータ若しくはセンサデータの変化、2以上のセンサデータを組み合わせた複合情報などに基づいて、検出することができる。あるいは、貼着センサは、人体が接近してきたことに伴う静電容量の変化や、体の表面(皮膚)に照射した赤外線の反射光に基づいて、貼着状態を検出することができる。
 また、ユーザの認証に関しては、主に第1のセンサ部711によって検出される生体情報の特徴量を、事前にユーザから取得した生体情報と比較して、確認することができる。生体情報として、例えば、貼着面における血管の形状、体液情報、肌の色素情報などを利用することができる。
 なお、貼着状態の検出とユーザの認証に同じ生体情報を利用することで、貼着型デバイス100が装備するセンサ素子数を節約することができる。また、ユーザ認証できる生体情報を取得できないときはそもそも貼着状態が検出されないので、無駄な使用開始処理を起動しなくて済む。
 貼着型デバイス100が、通信部730を介して無線通信可能なホストデバイスをさらに備えている場合には、ホストデバイスに貼着型デバイス100の機器情報やユーザの認証情報(生体情報の特徴量など)を事前に登録しておくことにより、貼着型デバイス100をユーザの身体に貼着して使用を開始したときに、ホストデバイスを利用して機器認証やユーザ認証を効果的且つより高精度に実施することができる。
 制御部は、貼着型デバイス100本体の貼着状態に応じて、貼着型デバイス100の動作を制御する。貼着部103の糊面から剥離紙900が剥ぎ取られた状態であってもユーザの身体表面に貼着されていない状態は、貼着型デバイス100が使用されていない状態とみなすことができる。したがって、貼着部103の糊面から剥離紙900が剥ぎ取られたことにより非導電部901も抜き取られて、電源部504から基板500上の各部へ給電が可能になっても、貼着センサを含む一部の機能を除いて回路を停止させて、十分な省電力の状態で使用が開始されるまで待機する。そして、貼着型デバイス100がユーザの身体に貼着されたことが検出されると、制御部は、省電力の状態から通常の電源オン状態に移行させて、停止していた回路や機能を起動させる。通常の電源オン状態に移行した後に、制御部は、認証処理など所定の処理を起動するようにしてもよい。
 図24には、ユーザの身体への貼着状態に応じて貼着型デバイス100を動作させるための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば貼着型デバイス100の制御部が主導して実施されるものとする。
 貼着型デバイス100の貼着部103の糊面から剥離紙900が剥ぎ取られ、これに伴って非導電部901が抜き取られると、電気部101への導電が開始される(ステップS1001)。そして、制御部を含む一部の回路やセンサ素子が動作を開始する。
 そして、制御部は、貼着センサからの入力があったかどうかをチェックする(ステップS1002)。
 貼着センサからの入力があったときには(ステップS1002のYes)、制御部は、貼着型デバイス100がユーザの身体に貼着され、使用状態に移行したかどうかをさらにチェックする(ステップS1003)。
 ここで、貼着センサからの入力がないときには(ステップS1002No)、制御部は、貼着センサ以外のセンサ(例えば、生体センサや振動センサなど、第1のセンサ部711に含まれるその他のセンサ素子)により検出されたセンサデータに基づいて、貼着型デバイス100の貼着状態の判別を試みる(ステップS1005)。
 そして、貼着型デバイス100本体がユーザの身体に貼着された状態であることが判ったとき(ステップS1003のYes)、又は、貼着された状態であると推定されたときには(ステップS1005のYes)、制御部は、省電力の状態から通常の電源オン状態に移行させて、停止していた回路や機能を起動させる。そして、制御部は、認証処理など所定の処理を起動する(ステップS1004)。
 一方、貼着センサによるセンサデータに基づいて貼着型デバイス100本体がユーザの身体に貼着されていない状態であることが判ったとき(ステップS1003のNo)、又は、貼着センサ以外のセンサによるセンサデータに基づいて貼着されていない状態であると推定されるときには(ステップS1006のNo)、ステップS1002に戻り、貼着型デバイス100本体がユーザの身体に貼着されるまで、上述した処理を繰り返し実行する。
 ここで言う認証は、貼着型デバイス100本体を貼着したユーザの本人認証と、他の機器との認証のいずれか一方又は両方の処理を含むものとする。前者のユーザ認証には、例えば生体センサで検出される生体情報を用いるようにしてもよい。また、不正なしに認証処理を実現するために、電気部101は、ICチップのような耐タンパ性のある回路部品を備えていてもよい。例えばeSIMのような組込み型のICカードを利用して、リモートでペアリングに関する情報を書き込めるようにしてもよい。また、制御部は、認証処理の中で、他の機器とのペアリングも行なうようにしてもよい。
 また、図25には、ユーザの身体への貼着状態に応じて貼着型デバイス100を動作させるための他の処理手順をフローチャートの形式で示している。図示の処理手順は、貼着型デバイス100が通信部を介して無線通信するホストデバイスをさらに備えることを想定しており、貼着型デバイス100はホストデバイスとの間で認証処理とともにペアリングを行なう。ホストデバイスは、例えば、スマートフォンなどユーザが所持する情報端末であってもよい。
 貼着型デバイス100の貼着部103の糊面から剥離紙900が剥ぎ取られ、これに伴って非導電部901が抜き取られると、電気部101への導電が開始される(ステップS1101)。そして、制御部を含む一部の回路やセンサ素子が動作を開始する。
 導電が開始されると、貼着型デバイス100は、貼着型デバイス100がユーザの身体に貼着されたことが検出又は推定されるまで(ステップS1103のNo)、貼着検出待ち状態となる(ステップS1102)。貼着検出待ち状態では、制御部は、貼着センサにより検出されたセンサデータに基づいて貼着型デバイス100がユーザの身体に貼着されたかどうかを検出し、又は、貼着センサ以外のセンサにより検出されたセンサデータに基づいて貼着されたかどうかを推定する。
 そして、貼着型デバイス100本体がユーザの身体に貼着された状態であることが判ったとき、又は貼着された状態であると推定されたときには(ステップS1103のYes)、制御部は、省電力の状態から通常の電源オン状態に移行させて(ステップS1104)、停止していた回路や機能を起動させる(同上)。
 一方、スマートフォンなどからなるホストデバイスは、ユーザの身体に貼着された貼着型デバイス100との接続待ち状態にあるものとする。
 また、本処理では、ユーザはホストデバイスを常に携帯していることを前提とする。したがって、ホストデバイスは、必然的に、ユーザの身体に貼着された貼着型デバイス100とは近接していることになる(ステップS1111)。
 ホストデバイスは、近接通信を利用して、貼着型デバイス100に対して接続要求を発行する(ステップS1112)。ここで言う近接通信は、貼着型デバイス100側の通信部730が利用可能な通信手段とする。具体的には、ホストデバイスは。Wi-FiやBluetooh(登録商標)、NFC、人体通信などを利用して、貼着型デバイス100に対して接続要求を発行する。
 これに対し、貼着型デバイス100は、ホストデバイスからの接続要求を受信すると(ステップS1105のYes)、貼着型デバイス100自身の機器情報と、第1のセンサ部711により検出されたユーザの生体情報の特徴量をホストデバイスに送信して(ステップS1106)、ホストデバイスからの通知待ち状態となる(ステップS1107のNo)。
 ホストデバイスは、接続要求先の貼着型デバイス100から、機器情報とユーザの生体情報の特徴量を受信すると(ステップS1113のYes)、貼着型デバイス100の機器認証と、ユーザ認証を実施する(ステップS1114)。
 例えば、貼着型デバイス100を貼着したユーザのモーション、筋電位、心拍といった生体情報を用いて個人認証を行なうことが可能である。心拍信号に基づく個人認証技術は既に知られている(例えば、特許文献4を参照のこと)。ホストデバイスは、例えば、事前に登録しておいた機器情報やユーザの生体情報の特徴量と比較することにより、貼着型デバイス100に対する認証処理を実施する。
 そして、ホストデバイスは、認証処理に成功したときには(ステップS1115のYes)、貼着型デバイス100に接続完了通知を行なって(ステップS1116)、本処理を終了する。また、ホストデバイスは、認証処理に失敗したときには(ステップS1115のNo)、貼着型デバイス100との接続に失敗したものとして本処理を終了する。
 貼着型デバイス100は、ホストデバイスから接続完了通知を受信したときには(ステップS1107のYes)、本処理を終了して、ホストデバイスと接続状態となる。なお、貼着型デバイス100は、所定時間内にホストデバイスから接続完了通知を受信できない場合(すなわち、タイムアウトしたとき)には、ホストデバイスとの接続に失敗したものとして本処理を終了するようにしてもよい。
 図25に示した接続シーケンスにおいて、貼着型デバイス100がユーザの身体に貼着されたことを検出して、即座に認証処理を実施するのではなく、所定時間が経過した後に認証処理を実施するようにしてもよい。貼着型デバイス100は、貼着を検出してから所定時間だけセンサ部710により検出されたセンサデータを取得し、所定時間にわたるセンサデータに基づいて、より高精度なユーザ認証を実施することができる。例えば、貼着型デバイス100は、貼着を検出してから所定時間だけ、ユーザの身体の加速度や関節の角速度などのモーション情報や、筋電位、心拍などの生体情報から特徴量を抽出し、ユーザの持つ固有の特徴量と比較することで、ユーザの癖からユーザを特定することができる。
 接続が完了した貼着型デバイス100及びホストデバイスは使用可能状態へと移行する。接続された貼着型デバイス100とホストデバイスは「ペアリング」された状態ということもでき、さまざまな連携動作を実施することができる。
 図25に示した処理手順では、貼着型デバイス100とホストデバイスは、近接通信技術を利用した通信シーケンスを利用してペアリングを行なっているが、ペアリングに使用する手段は特に限定されない。例えば、QRコードを利用して、デバイス間で直接ペアリングを行なうことができる(ホストデバイスが貼着型デバイス100に付されたQRコードを読み取り、又は、貼着型デバイス100がホストデバイスに付されたQRコードを読み取る)。また、貼着型デバイス100がeSIMのような組込み型のICカードを装備して、リモートでペアリング情報を書き込めるようにしてもよい。
 ホストデバイスは、ペアリングした貼着型デバイス100に対する各種の操作コマンドを、近接通信(前述)を用いて送信することができる。一方の貼着型デバイス100は、センサ部710により検出されたセンサデータを、近接通信(前述)を用いて、ホストデバイスに送信することができる。
 ホストデバイスがスマートフォンなどの情報端末の場合、ユーザはスマートフォンの画面を介して貼着型デバイス100に対する操作コマンドを入力して、貼着型デバイス100を遠隔で制御することができる。もちろん、ユーザは、ホストデバイスを使わず、貼着型デバイス100に搭載されるセンサ部やスイッチなどを介して、貼着型デバイス100を直接操作することも可能である。また、貼着型デバイス100は、第1のセンサ部711に含まれる生体センサにより検出された生体情報や、第2のセンサ712に含まれる撮像センサにより撮像された周囲画像などのセンサデータをホストデバイスに送信し、ホストデバイス側では、受信したセンサデータを保存したり画面に表示出力したりすることができる。
 また、同じユーザの身体に貼着された複数の貼着型デバイス100が、1つのホストデバイスに接続して連携することができる。もちろん、同じユーザの身体に貼着された複数の貼着型デバイス100同士が、ホストデバイスを介さず直接通信を通じて連携することもできる。複数の貼着型デバイス100が連携する場合、すべての貼着型デバイス100の認証後に動作を開始するという使用の形態や、各貼着型デバイス100が個別に動作を開始してスケーラブルに機能を拡張できるようにする使用の形態も考えられる。
 また、ユーザの身体の複数の箇所に貼着された複数の貼着型デバイス100が連携することで、ユーザの挙動や身体動作のモーション・データを、高精度に捕捉することが可能である。例えば、ユーザの左右に眼下に貼着された、それぞれ撮像センサを含む貼着型デバイス100が連携して、ステレオカメラとして機能することができる。モーション・データに筋電位データを組み合わせると、さらに高精度にユーザのモーションを捕捉することが可能になる。高精度のモーション・キャプチャを実現することができれば、ユーザが行なったジェスチャーを検出することが可能となり、ジェスチャーに基づくコマンド入力を行なうことも可能である。
 なお、図25中のホストデバイスにおける処理を、スマートフォンのようなユーザが携帯する情報端末ではなく、クラウド(若しくは、広域ネットワーク上のコンピュータ資源)を用いて実施するようにしてもよい。クラウドには、複数のユーザから生体情報などを伴う認証要求が送られてくることが想定される。このような場合、クラウド側では、あるユーザに貼着された1台目の貼着型デバイス100から送られてくる生体情報に基づいてシグニチャを作成し、ユーザと関連付けて蓄積しておく。そして、同じユーザに貼着された2台目以降の貼着型デバイス100から生体情報が送られてきたときには、クラウド側で既に蓄積されているシグニチャとのマッチングによりユーザ認証を行ない、生体情報に基づいて同じユーザに貼着された複数の貼着型デバイス100を関連付け(ペアリングなど)することができる。
C.装置の剥離(貼着の解除)と使用停止
 ユーザは、自分の身体に貼着している貼着型デバイス100の動作を停止し又は使用を終了する際には、ホストデバイスを介して貼着型デバイス100を停止操作すればよい。あるいは、ユーザは、貼着型デバイス100を自分の身体から剥ぎ取る(若しくは、貼着を解除する)ことによっても、貼着型デバイス100の動作を正常に終了させることができる。
 また、ユーザは、自分の身体から剥ぎ取って使用を終えた貼着型デバイス100を放置してしまうことも想定される。あるいは、ユーザの身体に貼着して使用中の貼着型デバイス100が、ユーザの意図に反して剥がれ落ちてしまい、その際にユーザが気付かないために、剥がれ落ちた貼着型デバイス100が放置されてしまうことも想定される。図1には、ユーザの眼下に貼着された貼着型デバイスが剥がれかけている様子を例示している。
 剥がれ落ちた貼着型デバイス100に記憶されている情報が外部に流出するおそれがある。例えば、貼着型デバイス100に格納されている機器情報や、センサ部710により検出されたセンサデータが外部流出の危険にさらされる。機器情報はセキュリティ情報やユーザの個人情報を含む。また、センサデータの中にはユーザの生体情報などの個人情報も含まれ、プライバシーの侵害の危険にさらされる。そこで、本実施形態では、ユーザの身体から剥がれ又は剥がれる直前の貼着型デバイス100は、記憶している情報の少なくとも一部を初期化又は削除して、外部流出を防ぐようにしている。
 また、ホストデバイスが、ユーザの身体から剥がれた後も貼着型デバイス100を認証状態のままにしておくと、不正ユーザが貼着型デバイス100を無断で使用してホストデバイスに不正アクセスするなど、認証状態が悪用されるおそれがある。そこで、本実施形態では、ホストデバイスは、ユーザの身体から剥がれ又は剥がれる直前の貼着型デバイス100の認証状態を解除して、剥がれ落ちた貼着型デバイス100の不正利用を防ぐようにしている。また、本実施形態では、ホストデバイスは、貼着型デバイス100がユーザの身体から剥がれ又は剥がれる直前であることをユーザに通知して、不正利用が起きないように注意を喚起するようにしている。貼着型デバイス100の剥がれが意図しないものである場合、ユーザは、通知に気づいて貼着型デバイス100を貼り直すといった処置を行なうことが可能になる。
 また、本実施形態では、ホストデバイス側での貼着型デバイス100の剥がれに対する上記のような対処処理を実現可能にするために、貼着型デバイス100は、自身の剥がれ又は剥がれる直前であることを、ホストデバイスに通知するようにしている。
 図26には、ユーザの身体に貼着していた貼着型デバイス100を剥がす際に貼着型デバイス100及びホストデバイスが実施する処理手順をフローチャートの形式で示している。
 貼着型デバイス100側では、貼着センサ又はその他のセンサにより検出されたセンサデータに基づいて、常時若しくは定期的に、ユーザの身体との貼着状態を検出している(ステップS1301)。
 そして、貼着型デバイス100がユーザの身体から剥がれたこと又は剥がれる直前であること(すなわち、貼着の解除)が検出されると(ステップS1302のYes)、制御部は、貼着型デバイス100内に記憶している情報の少なくとも一部を初期化又は削除して(ステップS1304)、外部への流出を防ぐ。初期化又は削除の対象となる情報は、例えば、機器情報や、ユーザの個人情報、生体センサにより検出されたユーザの生体情報などである。
 ここで、ユーザ自らが貼着型デバイス100を自分の身体から剥がそうとする場合と、貼着部103の糊面の貼着力が低下したためにユーザが意図せず貼着型デバイス100が剥がれてしまう場合とがある。そこで、貼着型デバイス100は、ユーザに対して、剥がれたこと又は剥がれる直前であることを通知して、注意を喚起するようにしてもよい(ステップS1303)。例えば、第1のアクチュエータ部721又は第2のアクチュエータ部722を駆動させて、ユーザへの通知を行なうことができる。ユーザへの通知は、ステップS1304で情報の初期化又は削除を行なう前に実施してもよいし、情報の初期化又は削除を行なった後に実施してもよい。
 次いで、貼着型デバイス100の制御部は、通信部730を介して、貼着型デバイス100がユーザの身体から剥がれ又は剥がれる直前であること(すなわち、貼着の解除)を示す情報を、ホストデバイスに送信する(ステップS1305)。この情報送信後に、貼着型デバイス100は、ホストデバイスとの接続切断を完了する。
 一方、ホストデバイス側では、例えば図25に示した処理手順に従って貼着型デバイス100との接続が完了した後は、貼着型デバイス100からの信号受信待ち状態にある。
 そして、ホストデバイスは、上記ステップS1305において貼着型デバイス100から送信された、貼着型デバイス100がユーザの身体から剥がれ又は剥がれる直前であることを示す情報を受信したときには(ステップS1311のYes)、貼着型デバイス100との接続の切断処理を起動するとともに、貼着型デバイス100の認証状態を解除して(ステップS1313)、剥がれ落ちた貼着型デバイス100の不正利用を防ぐようにする。
 ここで、ユーザ自らが貼着型デバイス100を自分の身体から剥がそうとする場合と、貼着部103の糊面の貼着力が低下したためにユーザが意図せず貼着型デバイス100が剥がれてしまう場合とがある。そこで、ホストデバイスは、ユーザに対して、剥がれたこと又は剥がれる直前であることを通知して(ステップS1312)、注意を喚起するようにしてもよい。例えばホストデバイスがスマートフォンの場合には、貼着型デバイス100が剥がれたこと又は剥がれる直前であることをスマートフォンの画面に表示したり、貼着型デバイス100が剥がれたこと又は剥がれる直前であることを音声メッセージで出力したりする。ユーザへの通知は、ステップS1313の認証状態の解除を行なう前に実施してもよいし、認証状態を解除した後に実施してもよい。
 そして、ホストデバイスは、貼着型デバイス100の認証状態を解除した後、その貼着型デバイス100との接続切断を完了する。なお、ホストデバイスは、貼着の解除を通知してきた貼着型デバイス100の認証状態の解除と接続切断を行なうことと併せて、他の貼着型デバイスとの関連付け(ペアリング)の解消も行なうようにする。
 なお、貼着型デバイス100の貼着センサは、例えば、人体が接近してきたことに伴う静電容量の変化を検出する静電容量センサや、人体の表面(皮膚)に照射した赤外線の反射光を検出する赤外線反射センサなどを用いて構成され、貼着型デバイス100がユーザの身体から剥がれたかどうかを検出することができる。また、温度や湿度、照度などの環境変化、あるいは血流など生体情報の変化をモニタリングすることによって、貼着型デバイス100がユーザの身体から剥がれ他かどうかを検出することができる。
 他方、貼着型デバイス100がユーザの身体から完全に剥がれず、剥がれる直前、言い換えれば剥がれそうになった状態を検出することは難しい。そこで、貼着型デバイス100がユーザの身体から剥がれそうになり揺れている状態において、振動センサにより検出されるセンサデータなどを深層学習して、剥がれそうな状態を検出するようにしてもよい。
 また、図26中のホストデバイスにおける処理を、スマートフォンのようなユーザが携帯する情報端末ではなく、クラウド(若しくは、広域ネットワーク上のコンピュータ資源)を用いて実施するようにしてもよい(同上)。ユーザから剥がれたこと又は剥がれる直前であることを通知した貼着型デバイス100が他の貼着型デバイス100と関連付け(ペアリング)されている場合には、クラウドは、通知してきた貼着型デバイス100との接続切断並びに認証状態の解除を行なうとともに、ペアリングの解消も行なう。
D.撮像機能付き貼着型デバイス
 貼着型デバイス100は、センサ部710に撮像センサを含めることができる。図2に示したように、ユーザの眼下に貼着される貼着型デバイス100は、ユーザの視点とほぼ一致する視界の画像を撮像することができる。撮像光学系次第では、ユーザの視界以上の視野で撮像することも可能である。また、撮像センサを備えた貼着型デバイス100を左右の眼下に設置することで、ステレオカメラを構成することができる。
 図27には、ユーザの左側の眼下に貼着された貼着型デバイス1400Lと、右側の眼下に貼着された貼着型デバイス1400Rと、これら貼着型デバイス1400L及び100Rをペアリングするホストデバイス1410とで実現されるステレオカメラのシステム構成例を示している。以下、各部について説明する。但し、貼着型デバイス1400L及び1400Rの構成はほぼ同一なので、1つにまとめる。
 1つの貼着型デバイス1400は、撮像部1401と、露光制御部1402と、筋電位計測部1403と、無線通信部1404と、同期部1405と、貼着センサ1406と、制御部1407と、電源部1408を備えている。貼着型デバイス1400は、その他のセンサなど図示しない構成要素を含んでいるが、図面の簡素化のため省略している。
 貼着センサ1406は、貼着型デバイス1400がユーザの身体(ここでは、眼下)に貼着された状態を検出する。貼着状態の検出方法の詳細については既に説明した通りである。制御部1407は、貼着センサ1406による貼着状態の検出結果に基づいて、当該貼着型デバイス1400の動作を制御する。例えば、貼着センサ1406がユーザの身体への貼着を検出すると、制御部1407は、ホストデバイス1410に機器情報やユーザの生体情報を送信して、使用開始並びにペアリングのための処理を実行する。また、貼着センサ1406が貼着の解除(貼着型デバイス1400本体がユーザの身体から剥がれた又は剥がれる直前であること)を検出すると、内部の情報の初期化又は削除や、ホストデバイス1410への通知など、使用終了のための処理を実行する。また、電源部1408は、例えば貼着型デバイス1400の貼着面が剥離紙で保護されているときには非導電状態に保たれ、剥離紙が剥がされると導電状態となって各部への給電を開始する。
 撮像部1401は、例えばCMOS(Complementary Metal Oxide Semiconductor)のような撮像センサで構成される。貼着型デバイス100がユーザの眼下に貼着された状態では、ユーザの視点とほぼ一致する視界の画像を撮像できるように、撮像センサが配置されている。露光制御部1402は、撮像部1401の撮像時の露光を自動制御する。
 撮像部1401の視野角を広くするために、球面レンズを使用してもよい。但し、ガラスレンズは重量があり、プラスチックレンズは屈折率が低いため大型化する。レンズの大きさや重量が増大すると、貼着時の貼着型デバイス1400のしなりやたわみが発生する可能性があり、さらにはユーザの眼下から剥がれ落ち易くなることが懸念される。そこで、撮像部1401に複数の撮像センサを隣接して配置し、各撮像センサの画像を貼り合わせることで、レンズの大きさや重量を増やすことなく、且つ、たわみの影響を抑えつつ、広視野角の撮像を実現するようにしてもよい。撮像部1401の広視野角化を実現することで、ユーザの周囲を広範にカバーした第3者視点画像や、ユーザの上方から俯瞰したような感覚のアラウンド画像を生成することもできる。また、広視野角の撮像部1401を使用して、ユーザの眼球位置を含めた撮像を行なうことで、ユーザの注視点を推定することもできる。なお、撮像センサにレンズレスカメラを利用して、さらに軽量化、薄型化を図ってもよい(レンズレスカメラは、レンズの代わりに透過フィルムを使用して被写体の像を投影し、デジタル処理で画像や映像を再現する技術である)。
 なお、眼下の凹凸形状には個人差がある。貼着型デバイス1400の貼着面がユーザの眼下の形状に倣うように貼着された場合には、複数の撮像センサ間で視線方向の補正を行なう必要がある。物理的に各撮像センサの位置を調整するようにしてもよいが、撮像画像に補正処理を施すようにしてもよい。補正処理は、貼着型デバイス1400内で実施してもよいし、映像データの送信先であるホストデバイス1410側で実施してもよい。
 また、撮像部1401で、各撮像センサの撮像波長範囲や撮像手法が異なる複数の撮像センサを組み合わせて使用してもよい。例えば、サーモカメラ、Depthカメラ、偏向カメラ、暗視カメラなどを組み合わせて撮像部1401を構成してもよい。
 筋電位計測部1403は、ユーザの眼下で、ユーザの眼球周辺の筋電位を計測する。筋電位の計測結果に基づいて、眼球周りの筋肉の弛緩状態を測定し、さらにはユーザの眼球位置や注視点を検出することもできる。筋電位計測部1403の計測結果に基づいて、撮像部1401による撮像動作を制御する。また、筋電位計測部1403は、表情筋などユーザの顔面の筋肉の筋電位を計測することができるので、その筋電位の計測結果に基づいてユーザの感情を推定して、感情データをホストデバイス1410に伝送することもできる。
 無線通信部1407は、貼着型デバイス100の外部と無線通信を行なう。図示の例では、無線通信部1407は、ホストデバイス1410との間で無線信号の送受信を行なう。無線通信部1407は、撮像部1401で撮像した映像データを、ホストデバイス1410に送信する。
 貼着型デバイス1400L及び1400Rは、ユーザの左右の眼下にそれぞれ配置され、ユーザの視点に極めて近い映像を撮像できることから、違和感のないステレオ画像を提供することができる。
 但し、ステレオカメラとして利用する場合には、左右の撮像部1401L及び1401Rでそれぞれ撮像された映像データが同期している必要があるので、無線送信する際には各々の同期部1405L及び1405Rによって左右の映像データの同期をとるものとする。例えば、同期部1405L及び1405Rのいずれか一方がマスタとなり、他方がスレーブとなって、同期処理を実施する。同期処理の手段は任意である。例えば同期部1405L及び1405Rが近接通信などにより直接通信して同期を獲得してもよいし、ホストデバイス1410経由で同期を調整するようにしてもよい。同期を獲得することにより、ユーザの左右の眼下に貼着された2台の貼着型デバイス1400L及び1400Rの間で同一の同期信号を共有することが可能になる。映像データを外部に送出する際には、同期部1405L及び1405R間で獲得された同期信号が付与される。
 また、無線通信部1407は、筋電位計測部1403による計測結果、その他のセンサ(図27では図示しない)により検出したセンサデータも、ホストデバイス1410に送信する。例えば生体センサで取得されるユーザの生体信号は、映像データのインデックスとして利用することができる。生体信号を外部に送出する際には、同期部1405L及び1405R間で獲得された同期信号が付与される。
 ホストデバイス1410は、例えばユーザが携帯するスマートフォンなどの情報端末で構成される。但し、図27では、貼着型デバイス1400とペアリングした動作に特化した機能的構成に限定して図示している。ホストデバイス1410は、図示しないその他の構成要素を含んでいてもよい。なお、ホストデバイス1410の機能をクラウド上で提供することも可能である。
 ホストデバイス1410は、第1の無線通信部1411と、第2の無線通信部1412と、貼着位置推定部1413と、眼球位置推定部1414と、コマンド・ジェスチャー認識部1415を備えている。
 第1の無線通信部1411と第2の無線通信部1412はそれぞれ、ユーザの左側の眼下に貼着された貼着型デバイス1400L及び右側の眼下に貼着された貼着型デバイス1400Rとの間で無線通信を行なう。第1の無線通信部1411と第2の無線通信部1412は、単一の無線通信回路で構成され、時分割で貼着型デバイス1400L及び1400Rと交互に無線通信を行なうのであってもよい。
 第1の無線通信部1411と第2の無線通信部1412はそれぞれ、貼着型デバイス1400L及び右側の眼下に貼着された貼着型デバイス1400Rから、映像データとともに、筋電位の計測結果や筋電位に基づく感情データ、生体センサにより検出された生体信号、その他のセンサにより検出されたセンサデータなどを受信する。
 貼着位置推定部1413は、ユーザの左側の眼下に貼着された貼着型デバイス1400L、及び右側の眼下に貼着された貼着型デバイス1400Rの各貼着位置の推定を行なう。貼着型デバイス1400L及び1400Rの貼着位置にばらつきが生じる可能性がある。貼着型デバイス1400L及び1400Rをステレオカメラとして用いる場合、貼着位置のばらつきは、左右の撮像データの視野角や中心位置のずれに影響する。このため、貼着位置推定部1413は、貼着型デバイス1400L及び1400Rの各々から受信した撮像データから、貼着型デバイス1400L及び1400Rの貼着位置を推定する。そして、貼着位置がずれている場合には、一方の撮像データの視野角や中心位置が他方の撮像データと一致するように画像補正を行うようにする。
 眼球位置推定部1414は、各貼着型デバイス1400L及び1400Rから受信したユーザの眼球周辺の筋電位データに基づいて、ユーザの左右の眼球位置を推定して、各貼着型デバイス1400L及び1400Rを左右の眼下に貼着したユーザの注視点を検出する。
 図27では図示を省略したが、ホストデバイス1410は、各貼着型デバイス1400L及び1400Rから受信した映像データを記録する映像記録部を備えていてもよい。映像データを記録する際には、眼球位置推定部1414により検出されたユーザの注視点を対応付けて記録するようにしてもよい。
 コマンド・ジェスチャー認識部1415は、眼球位置推定部1414によって推定されたユーザの左右の眼球位置や、各貼着型デバイス1400L及び1400Rから受信した映像データに映っているユーザの動作などに基づいて、ユーザが指示しようとしているコマンドやジェスチャーを認識する。また、コマンド・ジェスチャー認識部1415は、各貼着型デバイス1400L及び1400Rから送られてくるユーザの感情データに基づいて、ユーザが指示しようとしているコマンドを認識する。
 ホストデバイス1410は、認識されたコマンドやジェスチャーに応じて、ホストデバイス1410自身の動作を制御し、さらには各貼着型デバイス1400L及び1400Rに対する動作指示を無線送信する。また、ホストデバイス1410は、認識されたコマンドやジェスチャーに応じて、各貼着型デバイス1400L及び1400Rから受信した映像データの再生出力を制御したり(例えば、再生開始、再生停止、一時停止、早送り、巻き戻し、視点移動など)、映像データの編集を行ったりすることができる。例えば、各貼着型デバイス1400L及び1400Rの生体センサで取得されたユーザの生体信号を用いて映像データのインデクシングを行うことができる。
 図27に示したシステムにおける動作手順は、以下の通りとなる。
(1)まず、1台目の貼着型デバイス1400とホストデバイス1410とのペアリングを行う。ホストデバイス1410は、例えばNFCやQRコードの読み取り、貼着型デバイス1400とホストデバイス1410間で直接ペアリングを行うようにしてもよい。あるいは、貼着型デバイス1400とホストデバイス1410内にそれぞれ組み込まれているeSIMに、リモートでペアリングに関する情報を書き込んで、ペアリングを行うようにしてもよい。
(2)次いで、ユーザは1台目の貼着型デバイス1400の貼着面から剥離紙を剥離する。これによって、電源部1408から各部への給電が開始される。さらに貼着型デバイス1400をユーザの身体の所定の部位(ここでは、眼下)に貼着することにより、貼着型デバイス1400のスリープ状態が解除される。
(3)貼着型デバイス1400は、生体センサ(図27では図示しない)を用いてユーザの生体信号を取得すると、生体信号の特徴量をホストデバイス1410に送信する。ホストデバイス1410は、貼着型デバイス1400の機器情報と生体信号の特徴量に基づいて、貼着型デバイス1400の機器認証とユーザ認証を実施して、これらの認証に成功すると、1台目の貼着型デバイス1400とホストデバイス1410間の接続が完了する。認証処理の詳細については、上述並びに図25を参照されたい。
(4)そして、2台目の貼着型デバイス1400についても、上記(1)~(3)の処理を実施して、ホストデバイス1410とのペアリング、ユーザの身体(他方の眼下)への貼着、及び認証処理を経て、ホストデバイス1410との接続を完了させる。なお、2台の貼着型デバイス1400L及び1400Rのうちいずれを1台目にするか(すなわち、どちらを先に接続するか)は任意である。また、3台以上の貼着型デバイス1400をホストデバイス1410に接続する場合には、3台目以降について同様に、上記(1)~(3)の処理を繰り返し実施することになる。
(5)各貼着型デバイス1400L及び1400Rは、ホストデバイス1410に無線送信する映像データが同期するよう、各々の同期部1405L及び1405Rによって同期をとる。例えば同期部1405L及び1405Rが近接通信などにより直接通信して同期を獲得してもよいし、ホストデバイス1410経由で同期を調整するようにしてもよい。
(6)次いで、ホストデバイス1410側では、貼着位置推定部1413は、貼着型デバイス1400L及び1400Rの各々から受信した撮像データから、貼着型デバイス1400L及び1400Rの貼着位置を推定する。そして、貼着位置がずれている場合には、一方の撮像データの視野角や中心位置が他方の撮像データと一致するように画像補正を行なうように設定する。貼着型デバイス1400L及び1400Rの貼着位置にばらつきは、左右の撮像データの視野角や中心位置のずれに影響するからである。
(7)上記のようにして、各貼着型デバイス1400L及び1400Rとホストデバイス1410とのペアリング、認証、接続が完了し、さらに貼着型デバイス1400L及び1400R間での同期処理及び貼着位置補正を行なった後に、各貼着型デバイス1400L及び1400Rからホストデバイス1410への映像データの無線伝送が開始される。映像データには、同一の同期信号が付与される。また、各貼着型デバイス1400L及び1400Rでセンサにより検出されたセンサデータも、映像データと併せてホストデバイス1410へ無線伝送される。
(8)ホストデバイス1410は、各貼着型デバイス1400L及び1400Rから受信した映像データ及びセンサデータを、さらに遠隔デバイスに送信する。
(9)遠隔デバイスは、ホストデバイス1410経由で受信した映像データを再生出力する。また、遠隔デバイスは、受信したセンサデータに基づいて、視覚以外の五感を利用した感覚フィードバックを、遠隔デバイスを使用する遠隔ユーザに与えるようにしてもよい。
 ここで言う遠隔デバイスは、例えばVR(Virtual Reality)映像又はAR(Augumented Reality)映像を再生出力可能なヘッドマウントディスプレイ、若しくはその他の形態の表示装置である。
 図28には、左右の貼着型デバイス1400L及び1400Rと、ホストデバイス1410と、さらに遠隔デバイス1500を含んだ、ステレオカメラの映像伝送システムの構成例を示している。貼着型デバイス1400L及び1400Rと、ホストデバイス1410の構成は図27と同様であり、図28では簡素化のため一部の構成要素の図示を省略している。
 ホストデバイス1410は、遠隔デバイスに対して情報伝送を行うための送信部1416をさらに備えている。送信部1416からは、各貼着型デバイス1400L及び1400Rから受信した映像データやセンサデータの他、ユーザの眼球位置の推定結果や、コマンドやジェスチャーの認識結果が送信される。
 ホストデバイス1410と遠隔デバイス1500間の通信手段は特に限定されない。例えば無線又は有線のLAN(Local Area Network)やホームネットワークを利用した通信でもよいし、インターネットなどの広域ネットワークを利用した通信でもよい。
 遠隔デバイス1500は、ホストデバイス1410から情報を受信するための受信部1501と、左右の表示部1502及び1503を備えている。基本的には、ユーザの左側の眼下に貼着された貼着型デバイス1400Lで撮像された映像データは左側の表示部1502に表示され、また、右側の眼下に貼着された貼着型デバイス1400Rで撮像された映像データは右側の表示部1503に表示され、遠隔ユーザに対してステレオ映像を提供する。左右の表示部1502及び1503は、受信した映像データに付与された同期信号に基づいて同期をとって映像を表示するものとする。但し、遠隔デバイス1500を左右の貼着型デバイス1400L又は1400Rのうちいずれか一方の映像データしか表示しないモノカメラとして動作させてもよい。
 また、遠隔デバイス1500は、ホストデバイス1410経由で受信したセンサデータに基づいて駆動して、視覚以外の五感を利用した感覚フィードバックを遠隔ユーザに与えるアクチュエータ(図示しない)をさらに備えていてもよい。
 図28に示したような映像伝送システムにおいて、貼着型デバイス1400L及び1400Rはそれぞれユーザの左右の眼下に貼着されることを想定しており、ユーザの頭部の動きに追従して周囲の状況を撮像する。ところが、ユーザの実際の視野角は、頭部の動きに加え、眼球の方向にも依存している。このため、遠隔デバイス1500側で貼着型デバイス1400L及び1400Rが捕捉した映像データを提示しても、ユーザの視野角と一致する映像を遠隔ユーザに提示することにはならない。
 そこで、ユーザの左右の眼輪筋を検出するとともに、この検出結果に基づいて遠隔ユーザの左右の眼輪筋を制御して、ユーザの視野角と一致する映像を遠隔ユーザに提示できるようにしてもよい。
 図29には、眼輪筋制御を含んだステレオカメラの映像伝送システムの構成例を示している。
 ユーザの左右の眼下にそれぞれ貼着される貼着型デバイス1400L及び1400Rは、第1のセンサ部711の1つとして眼輪筋を検出する眼輪筋センサ1409L及び1409Rをさらに備えている点で、図27及び図28とは相違する。各貼着型デバイス1400L及び1400Rは、眼輪筋センサ1409L及び1409Rにより検出された眼輪筋データを、無線通信部1404L及び1404Rから、映像データや生体信号、他のセンサデータなどとともに送出される。各貼着型デバイス1400L及び1400Rから無線送信されるセンサデータには、同期信号が付与されているものとする。
 一方、遠隔ユーザの左右の眼周辺(例えば、眼下)には、貼着型デバイス1600L及び1600Rがそれぞれ貼着されている点で、図28に示したシステム構成とは相違する。
 各貼着型デバイス1600L及び1600Rは、第1のアクチュエータ部721の1つとして遠隔ユーザの眼輪筋を駆動する眼輪筋アクチュエータ1602L及び1602Rをそれぞれ装備している点に主な特徴がある。
 各貼着型デバイス1600L及び1600Rは、各貼着型デバイス1400L及び1400Rで眼輪筋センサ1409L及び1409Rにより検出された眼輪筋データを、ホストデバイス1410経由で各無線通信部1601L及び1601Rにより受信する。そして、受信した眼輪筋データに基づいて眼輪筋アクチュエータ1602L及び1602Rをそれぞれ駆動させることにより、遠隔ユーザの左右の眼輪筋を制御して、ユーザの視野角と一致する映像を遠隔デバイス1410上で提示できるようにしている。
E.臭気対処機能付き貼着型デバイス
 心地よい香りを放つなど、ユーザの嗅覚に刺激を与えることで、ユーザは気分転換する、リラックスする、体調を整えるといった芳香療法的な効果がある。また、体臭は周囲の人々又はユーザ本人に不快感を与えるおそれがある。そこで、ユーザの胴体などに貼着される貼着型デバイスは、第1のセンサ部711の1つとして第2のアクチュエータ部722の1つとして、芳香又は消臭のうち少なくとも1つの機能を備えた臭気対処部を備えていてもよい。制御部は、臭気センサにより収臭された臭気データに基づいて、臭気対処部の芳香又は消臭の駆動を制御するようにすればよい。例えば、ユーザの行動予定や位置情報、周囲環境といったコンテキストに基づいて、TPOに相応しい芳香を実施できるように、ホストデバイスやクラウドから貼着型デバイスを遠隔的に制御するようにしてもよい。
 図30には、臭気対処機能付きの貼着型デバイス1700と、貼着型デバイス1700と連携するホストデバイス1750の機能的構成例を示している。
 貼着型デバイス1700は、貼着部1710と、本体部1720と、カートリッジ1730で構成される。図31には、ユーザの背中上部の中央に貼着される貼着型デバイス1700(例えば、図10並びに図11~図17を参照のこと)を、貼着部1710と、本体部1720と、カートリッジ1730に分解した様子を示している。
 貼着部1710は、背中などユーザの体表面に接する貼着面(若しくは、糊面)を有している。また、貼着部1710は、本体部1720の上面を覆っている。逆に言えば、貼着部1710を剥がすことで、本体部1720の上面が露出される。また、本体部1720は、いくつかの回路部品(後述)を含むとともに、カートリッジ1730を収容するポケットを備えている。
 図31から分かるように、本体部1720のポケットにカートリッジ1730を取り付け、本体部1720の上面を貼着部1710で覆うとともに、貼着部1710をユーザの身体上の所定の部位に貼着することで、本体部1720がユーザの身体に固定され、貼着型デバイス1700は使用可能な状態となる。
 カートリッジ1730内には、芳香剤が格納されている。本体部1720内のアクチュエータ(後述する芳香部1728)が駆動することで、カートリッジ1730内の芳香剤が噴霧されて、香りを放つことができる。1つのカートリッジ1730が複数の種類の芳香剤を格納し、いずれかの芳香剤を選択して使用したり、2以上の芳香剤をブレンドして使用したりできるように構成されていてもよい。
 カートリッジ1730は、消耗品であり、芳香剤の残量がなくなると、新しいカートリッジ1730と交換可能である必要がある。また、香りが異なる複数種類のカートリッジ1730を取り揃え、本体部1720のポケットに取り付けたカートリッジ1730を異なる種類のものに交換することで、放つ香りを変更することが可能である。
 カートリッジ1730を交換するためには、本体部1720の上面を覆う貼着部1710は取り外し可能であることが好ましい。また、貼着部1710は、ユーザの体表面と接触する部分であることから、洗浄に適しているとともに、洗浄しても貼着面の貼着力が低下しないことが好ましい。
 本体部1720は、貼着センサ1721と、電源部1722と、制御部1723と、生体センサ1724と、臭気センサ1725と、体温制御部1726と、消臭部1727と、芳香部1728と、無線通信部1729を備えている。
 貼着センサ1721は、貼着部1710(言い換えれば、貼着型デバイス1700)がユーザの身体に貼着された状態を検出する。貼着状態の検出方法の詳細については既に説明した通りである。制御部1723は、貼着センサ1721による貼着状態の検出結果に基づいて、当該貼着型デバイス1700の動作を制御する。例えば、貼着センサ1721がユーザの身体への貼着を検出すると、制御部1723は、ホストデバイス1750に機器情報やユーザの生体信号を送信して、使用開始並びにペアリングのための処理を実行する。また、貼着センサ1721が貼着の解除(貼着型デバイス1700本体がユーザの身体から剥がれた又は剥がれる直前であること)を検出すると、内部の情報の初期化又は削除や、ホストデバイス1750への通知など、使用終了のための処理を実行する。また、電源部1723は、例えば貼着部1710の貼着面が剥離紙で保護されているときには非導電状態に保たれ、剥離紙が剥がされると導電状態となって各部への給電を開始する。
 貼着型デバイス1700をユーザの身体に貼着した際には、貼着型デバイス1700とホストデバイス1750は、例えば図25に示した処理手順に従った所定の機器認証やユーザ認証のプロセスを実施して接続を行う。また、貼着型デバイス1700がユーザの身体から剥がれたこと又は剥がれる直前であること(すなわち、貼着の解除)が検出されると、例えば図26に示した処理手順に従って、貼着型デバイス1700は、内部に記憶している情報の少なくとも一部を初期化又は削除し、さらにホストデバイス1750に貼着解除を通知して接続切断などの処理を実施する。
 生体センサ1724は、当該貼着型デバイス1700が貼着されたユーザの体温や心拍、発汗の有無、汗の成分といった生体情報を取得する。生体センサ1724は、ユーザ(人体)の情報を検出する第1のセンサ部711の1つということができる。また、臭気センサ1725は、当該貼着型デバイス1700若しくはユーザの周囲の臭気を検出する。また、当該貼着型デバイス1700は、図30に図示した以外のセンサを装備していてもよい。
 体温制御部1726は、主に当該貼着型デバイス1700とユーザの体表面との接触部分を発熱又は冷却して、ユーザの体温を一時的に制御する。体温制御部1726は、例えばペルチェ素子などで構成される。体温制御部1726は、ユーザ(人体)に対して情報を出力する第1のアクチュエータ部721の1つということができる。
 消臭部1727は、当該貼着型デバイス1700の周囲のにおいの元となる成分(例えば、ユーザの体臭など)を、物理的に取り除き、又は化学的に無修正分に変化させる。例えば、植物由来の新規の多孔質炭素材料Triporous(登録商標)を用いて消臭部1727を構成することができる。なお、Triporousは、ケイ素化合物を含む籾殻など余剰バイオマス(再生可能な生物由来の有機性資源)を原料とした微細構造と吸着特性を示す多孔質炭素材料であり、例えば特許文献5に開示されている。特許文献5に開示された内容は、本願明細書に組み込まれるものとする。
 芳香部1728は、カートリッジ1730内を撹拌して芳香剤を噴霧し、香りを放たせる。例えば、カートリッジ式の香り提供装置AROMASTICKが知られており、例えば特許文献6にも開示されている。特許文献6に開示された内容は、本願明細書に組み込まれるものとする。
 なお、消臭部1727と芳香部1728は、ユーザの外(外界や、周囲の人)に対して情報を出力する第2のアクチュエータ部722ということができる。
 制御部1723は、例えば生体センサ1724によって検出されたユーザの生体情報やその他のセンサにより検出されたセンサデータに基づいて、体温制御部1726、消臭部1727、及び芳香部1728といったアクチュエータの駆動を制御する。
 例えば、制御部1723は、ユーザの体温や心拍の変化、汗の成分などに基づいてユーザの体調不良を認識すると、体温制御部1726に対して保温を指示したり、芳香部1728に芳香を指示したりして、ユーザの体調を整えようとする。また、制御部1723は、ユーザの体温上昇や発汗に基づいてユーザが暑がっていることを認識すると、体温制御部1726に対して冷却を指示し、ユーザが快適になるようにする。また、制御部1723は、臭気センサ1725によりユーザの体臭や周囲の異臭を検出すると、消臭部1727に対して消臭を指示したり、芳香部1728に芳香を指示したりして、ユーザの作業環境が快適となるように整える。1つのカートリッジ1730が複数の種類の芳香剤を格納している場合には、制御部1723は、ユーザの体調や体臭、あるいはユーザの行動予定や周囲環境といったコンテキストなどに応じて、芳香部1728において使用する芳香剤を選択制御するようにしてもよい。
 無線通信部1729は、ホストデバイス1750などの外部と無線通信を行う。制御部1723は、生体センサ1724によって検出されたユーザの生体情報や、その他のセンサにより検出されたセンサデータを、無線通信部1729を介してホストデバイス1750に送信するようにしてもよい。また、制御部1723は、ホストデバイス1750から受信した情報(コマンドなど)に基づいて、体温制御部1726や消臭部1727、芳香部1728などのアクチュエータの駆動を制御するようにしてもよい。
 ホストデバイス1750は、例えばスマートフォンなど、ユーザが携帯する情報端末で構成される。図30に示す例では、ホストデバイス1750は、無線通信部1751と、行動管理部1752と、環境計測部1753と、制御部1754を備えている。
 無線通信部1751は、貼着型デバイス1700側の無線通信部1729との間で無線通信を行う。行動管理部1752は、貼着型デバイス1700を貼着したユーザの行動予定を管理する。例えばスマートフォン上で動作するスケジュール帳などのアプリケーションで扱われるデータに基づいて、ユーザの行動予定に関する情報を取得することができる。また、行動管理部1752は、ユーザの行動予定に基づいて、貼着型デバイス1700に対して体温制御部1726、消臭部1727や芳香部1728の駆動を指示するスケジューラの管理も行う。また、環境計測部1753は、外気温などのユーザの周囲環境に関するデータを計測する。
 制御部1754は、行動管理部1752で管理するユーザの行動予定や、環境計測部1753で計測された外気温などの環境データを、無線通信部1751を介して貼着型デバイス1700に送信する。貼着型デバイス1700では、ユーザの行動予定や周囲環境といったコンテキストに基づいて、体温制御部1726や消臭部1727、芳香部1728などのアクチュエータの駆動を制御することができる。
 また、ホストデバイス1750側の制御部1754は、ユーザの行動予定や周囲環境といったコンテキストに基づいて、貼着型デバイス1700側のこれらアクチュエータの駆動を指示する駆動要求を、無線通信部1751を介して貼着型デバイス1700に送信するようにしてもよい。1つのカートリッジ1730が複数の種類の芳香剤を格納している場合には、制御部1754は、ユーザのコンテキストに応じて、芳香部1728において使用する芳香剤を選択制御するようにしてもよい。
 なお、図30中のホストデバイス1750における処理を、スマートフォンのようなユーザが携帯する情報端末ではなく、クラウド(若しくは、広域ネットワーク上のコンピュータ資源)を用いて実施するようにしてもよい。
 図32には、ホストデバイス1750がユーザの行動予定に基づいて貼着型デバイス1700側における芳香制御を実施するための処理手順をフローチャートの形式で示している。この処理手順を実施する前提として、貼着型デバイス1700とホストデバイス1750の接続が完了しているものとする。
 ホストデバイス1750側では、行動管理部1752が貼着型デバイス1700を装着したユーザの行動予定を解析して(ステップS1911)、制御部1754はこの解析結果に基づいて芳香要求の有無を推定する(ステップS1912)。芳香要求がなければ(ステップS1912のNo)、一定時間待機してから(ステップS1913)、ステップS1911に戻る。また、ユーザの行動予定に基づいて芳香要求があると判断された場合には(ステップS1912のYes)、制御部1754は、無線通信部1751を介して貼着型デバイス1700に芳香要求を通知する(ステップS1914)。
 一方、貼着型デバイス1700側では、制御部1723は、一定時間毎に(ステップS1901)、ホストデバイス1750から芳香要求を受信したかどうかをチェックする(ステップS1902)。
 そして、無線受信部1728でホストデバイス1750からの芳香要求を受信すると(ステップS1902のYes)、制御部1723は、芳香部1728に対して方向を指示する。これに対し、芳香部1728は、カートリッジ1730から芳香要求で指定されている芳香剤を選択して(ステップS1903)、芳香剤の噴霧を実施する(ステップS1904)。
 図32に示した処理手順に従えば、貼着型デバイス1700は、ホストデバイス1750側で管理されているユーザの行動予定に応じて芳香剤を噴霧することができる。例えば、昼食後の午後の時間帯にユーザの眠気を抑えるために、爽快感をもたらす芳香剤を噴霧したり、一日の仕事の終わりと推定される時間帯に、ユーザをリラックスさせるための落ち着く芳香剤を噴霧したりすることができる。
 なお、図32中のホストデバイス1750における処理を、スマートフォンのようなユーザが携帯する情報端末ではなく、クラウド(若しくは、広域ネットワーク上のコンピュータ資源)を用いて実施するようにしてもよい。
 また、貼着型デバイス1700は、ホストデバイス1750からの要求に依らず、生体センサ1723により検出された生体情報などに基づいて自律的に芳香を実施することもできる。このような場合、ホストデバイス1750は、貼着型デバイス1700における芳香の実施状況に応じて、貼着型デバイス1700に対して芳香要求するスケジュールを調整するようにしてもよい。
 図33には、ホストデバイス1750が貼着型デバイス1700側における芳香の実施履歴に基づいて芳香要求するスケジュールを調整するための処理手順をフローチャートの形式で示している。この処理手順を実施する前提として、貼着型デバイス1700とホストデバイス1750の接続が完了しているものとする。
 貼着型デバイス1700側では、制御部1723は、一定時間毎に(ステップS2001)、生体センサ1724及び臭気センサ1725により検出されるセンサデータをチェックして、規定値以上のユーザ若しくは周囲の臭気、又は規定値以上のユーザの体温などユーザの生体情報や周囲環境に異常がないかどうかをチェックする(ステップS2002)。
 ここで、規定値以上の臭気、又は規定値以上のユーザの体温が検出されたときには(ステップS2002のYes)、制御部1723は、消臭部1727に対してユーザの体臭又は周囲の臭気の消臭の実施、芳香部1728に対する芳香の実施、又は、体温制御部1726に対してユーザの身体の冷却若しくは加熱を指示する。これに対し、消臭部1727による消臭や芳香部1728による芳香を実施し、又は、体温制御部1726はユーザの身体を冷却若しくは加熱する(ステップS2003)。
 例えば、制御部1723は、ユーザの興奮による体温の上昇を検知したときには、体温制御部1726を駆動してユーザの身体を冷却して、体温を一時的に低減させる。あるいは制御部1723は、ユーザが寒気や悪寒を感じていることを検知したときには、体温制御部1726を駆動してユーザの身体を加熱して、体温を一時的に上昇させる。また、制御部1723は、ユーザの体臭若しくは周囲の臭気を検知したときには、消臭部1727を駆動して消臭を実施したり、芳香部1728を駆動して芳香を実施したりして、周囲の環境を改善する。
 その後、制御部1723は、消臭部1727による消臭や、芳香部1728による芳香、体温制御部1726によるユーザの身体の冷却若しくは加熱の実施履歴を、無線通信部1729を介してホストデバイス1750側に通知する(ステップS2004)。
 一方、ホストデバイス1750側では、制御部1754は、一定時間毎に(ステップS2011)、貼着型デバイス1700から上記の実施履歴の通知を受信したかどうかをチェックする(ステップS2012)。
 そして、貼着型デバイス1700から実施履歴の通知を受信したときには(ステップS2012のYes)、制御部1754は、受信した実施履歴を解析して(ステップS2013)、貼着型デバイス1700側の体温制御部1726、消臭部1727や芳香部1728の駆動を指示するスケジューラに対して、消臭や芳香、ユーザの身体の冷却・加熱などを指示するためのイベントの追加や修正を行う(ステップS2014)。
 このように、貼着型デバイス1700は、消臭や芳香、体温制御といった、アクチュエータの駆動を実施した実施履歴をホストデバイス1750に通知することで、ホストデバイス1750側では、実施履歴を解析した結果に基づいて、消臭や芳香、体温制御といったアクチュエータの駆動を指示するスケジューラに対してイベントを追加や修正を行うことができる。その結果、以降はホストデバイス1750側からの指示により、貼着型デバイス1700は、未然に消臭や芳香、体温制御を実施して、ユーザの生体情報や周囲環境の異常に対処することができる。
 なお、図33中のホストデバイス1750における処理を、スマートフォンのようなユーザが携帯する情報端末ではなく、クラウド(若しくは、広域ネットワーク上のコンピュータ資源)を用いて実施するようにしてもよい。
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書で開示する情報処理装置は、身体の表面(皮膚)に貼着して用いられるウェアラブル・デバイスであり、例えばユーザのこめかみ、眉間、耳裏、顎の下、首、首元、咽喉部、上腕、前腕、手首、手の甲、腹部などの部位に貼着して用いられる。
 また、同様の貼着型の情報処理装置を、人体ではなくさまざまな動物(愛玩動物や家畜、使役動物など)、植物(食用又は観葉に栽培される植物、野生植物を含む)、移動体などの機械類に貼着して、IoTデバイスとしても活用することができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)センサと、
 外部と無線通信する通信部と、
 前記センサ及び前記通信部を制御する制御部と、
 前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、
 前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、
 前記筐体部をユーザに固定する貼着部と、
 前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサと、
を具備し、
 前記制御部は、前記貼着センサにより検出される前記貼着状態に応じて、前記通信部における通信動作を制御する、
情報処理装置。
(2)前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記通信部を介して所定信号を外部に無線送信するように制御する、
上記(1)に記載の情報処理装置。
(3)前記通信部を介して無線通信するホストデバイスをさらに備える、
上記(2)に記載の情報処理装置。
(4)前記ホストデバイスは、前記所定信号を受信したことに応答して前記ユーザに対して通知する、
上記(3)に記載の情報処理装置。
(5)前記ホストデバイスは、
 前記センサにより検出されたセンサデータに基づいて前記ユーザの認証処理を行うことが可能で、
 前記所定信号を受信したことにより前記認証処理によるユーザ認証を解除する、
上記(3)又は(4)のいずれかに記載の情報処理装置。
(6)前記情報処理装置の内部情報を記憶する記憶部をさらに備え、
 前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された所定の情報を初期化又は削除する、
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)前記記憶部は、前記情報処理装置の機器情報を記憶し、
 前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された前記機器情報を初期化又は削除する、
上記(6)に記載の情報処理装置。
(8)前記記憶部は、前記センサにより検出されたセンサデータを記憶し、
 前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された前記センサデータを初期化又は削除する、
上記(6)又は(7)のいずれかに記載の情報処理装置。
(9)前記情報処理装置の使用前には、前記貼着部は剥離紙で表面が保護されており、
 前記剥離紙が前記貼着部から剥がされたことに応じて起動する、
上記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)前記剥離紙は、前記電源部を絶縁する舌片状の非導電部を備え、
 前記剥離紙が前記貼着部から剥がされると、前記非導電部が外れて前記電源部が導電状態になる、
上記(9)に記載の情報処理装置。
(11)前記制御部は、前記剥離紙が前記貼着部から剥がされたことを前記貼着センサにより検出されたことに応じて、前記情報処理装置を起動させる、
上記(9)に記載の情報処理装置。
(12)前記センサは、撮像機能を有する撮像センサを含み、
 前記筐体部が前記ユーザの眼球付近に貼着され、前記撮像センサは前記ユーザの視界の少なくとも一部に対応する画像を撮像する、
上記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)前記筐体部が前記ユーザの左右いずれか一方の眼球付近に貼着され、
 前記ユーザの他方の眼球付近に貼着された他の情報処理装置との間で共有される同一の同期信号を付与して、前記撮像センサにより撮像された撮像データを前記通信部から無線送信する、
上記(12)に記載の情報処理装置。
(14)前記センサは、前記ユーザの生体信号を検出する生体センサを含み、
 前記生体センサにより検出された生体信号に前記同期信号を付与して前記通信部から無線送信する、
上記(13)に記載の情報処理装置。
(15)前記情報処理装置及び前記他の情報処理装置の各々から撮像データを受信するホストデバイスをさらに備え、
 前記ホストデバイスは、受信した撮像データに基づいて前記情報処理装置及び前記他の情報処理装置の各貼着位置を推定して、一方の撮像データの視野角や中心位置が他方の撮像データと一致するように画像補正を行う、
上記(13)又は(14)のいずれかに記載の情報処理装置。
(16)前記センサは、前記ユーザの眼球周辺の筋電位を検出する筋電位センサを含み、
 前記ホストデバイスは、前記情報処理装置及び前記他の情報処理装置から受信した筋電位データに基づいて、前記ユーザの注視点を検出する、
上記(15)に記載の情報処理装置。
(16-1)前記ホストデバイスは、前記情報処理装置及び前記他の情報処理装置から受信した映像データを、前記ユーザの注視点を対応付けて記録する記録部をさらに備える、
上記(16)に記載の情報処理装置。
(16-2)前記筋電位データに基づいて前記ユーザの感情を推定する、
上記(16)に記載の情報処理装置。
(16-3)前記情報処理装置及び前記他の情報処理装置は、前記ユーザの眼輪筋を検出する眼輪筋センサをさらに備え、
 前記ホストデバイスは、前記情報処理装置及び前記他の情報処理装置から受信した眼輪筋データを、他のユーザの眼球付近に貼着された眼輪筋アクチュエータ付き貼着型デバイスに送信する、
上記(16)に記載の情報処理装置。
(17)前記センサは、臭気センサを含み、
 芳香又は消臭のうち少なくとも1つの機能を有する臭気対処部をさらに備え、
 前記制御部は、前記臭気センサにより検出された臭気データに基づいて前記臭気対処部による芳香又は消臭を制御する、
上記(1)乃至(16)のいずれかに記載の情報処理装置。
(18)前記制御部は、前記ユーザのコンテキストに基づいて、前記臭気センサにより検出された臭気データに基づいて前記臭気対処部による芳香又は消臭を制御する、
上記(1)乃至(17)のいずれかに記載の情報処理装置。
(18-1)温度を制御可能な温度制御部をさらに備え、
 前記制御部は、前記センサにより検出されたセンサデータ、又は前記ユーザのコンテキストに基づいて、前記温度制御部を制御する、
上記(1)乃至(18)のいずれかに記載の情報処理装置。
(19)センサと、外部と無線通信する通信部と、前記センサ及び前記通信部を制御する制御部と、前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する情報処理装置の制御方法であって、
 前記貼着センサによる検出結果を取得するステップと、
 前記検出結果に基づいて、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるかどうかを判別するステップと、
 前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるときに、前記通信部を介して所定信号を外部に無線送信するステップと、
を有する情報処理装置の制御方法。
(20)センサと、外部と無線通信する通信部と、前記センサ及び前記通信部を制御する制御部と、前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する情報処理装置を制御するためのコンピュータ・プログラムを記録する記録媒体であって、前記コンピュータ・プログラムは、
 前記貼着センサによる検出結果を取得するステップと、
 前記検出結果に基づいて、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるかどうかを判別するステップと、
 前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるときに、前記通信部を介して所定信号を外部に無線送信するステップと、
をコンピュータに実行させるようにコンピュータ可読形式で記述される、記録媒体。
 100…貼着型デバイス
 101…電気部、102…筐体部
 103…貼着部、104…体液処理部
 500…基板、501…収音センサ、502…制御部
 503…チップ・アンテナ、504…電源部
 710…センサ部
 711…第1のセンサ部、712…第2のセンサ部
 720…アクチュエータ部
 721…第1のアクチュエータ部、722…第2のアクチュエータ部
 730…通信部
 1400…貼着型デバイス、1401…撮像部、1402…露光制御部
 1403…筋電位計測部、1404…無線通信部、1405…同期部
 1406…貼着センサ、1407…制御部、1408…電源部
 1409…眼輪筋センサ
 1410…ホストデバイス、1411、1412…無線通信部
 1413…貼着位置推定部、1414…眼球位置推定部
 1415…コマンド・ジェスチャー認識部、1416…通信部
 1500…遠隔デバイス、1501…受信部、1502…表示部
 1600…貼着型デバイス(遠隔ユーザ用)
 1601…無線通信部、1602…眼輪筋アクチュエータ
 1700…貼着型デバイス
 1710…貼着部、1720…本体部、1721…貼着センサ
 1722…電源部、1723…制御部、1724…生体センサ
 1725…臭気センサ、 1726…体温制御部、1727…消臭部
 1728…芳香部、1729…無線通信部
 1750…ホストデバイス、1751…無線通信部
 1752…行動管理部、1753…環境計測部、1754…制御部

Claims (20)

  1.  センサと、
     外部と無線通信する通信部と、
     前記センサ及び前記通信部を制御する制御部と、
     前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、
     前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、
     前記筐体部をユーザに固定する貼着部と、
     前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサと、
    を具備し、
     前記制御部は、前記貼着センサにより検出される前記貼着状態に応じて、前記通信部における通信動作を制御する、
    情報処理装置。
  2.  前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記通信部を介して所定信号を外部に無線送信するように制御する、
    請求項1に記載の情報処理装置。
  3.  前記通信部を介して無線通信するホストデバイスをさらに備える、
    請求項2に記載の情報処理装置。
  4.  前記ホストデバイスは、前記所定信号を受信したことに応答して前記ユーザに対して通知する、
    請求項3に記載の情報処理装置。
  5.  前記ホストデバイスは、
     前記センサにより検出されたセンサデータに基づいて前記ユーザの認証処理を行うことが可能で、
     前記所定信号を受信したことにより前記認証処理によるユーザ認証を解除する、
    請求項3に記載の情報処理装置。
  6.  前記情報処理装置の内部情報を記憶する記憶部をさらに備え、
     前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された所定の情報を初期化又は削除する、
    請求項1に記載の情報処理装置。
  7.  前記記憶部は、前記情報処理装置の機器情報を記憶し、
     前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された前記機器情報を初期化又は削除する、
    請求項6に記載の情報処理装置。
  8.  前記記憶部は、前記センサにより検出されたセンサデータを記憶し、
     前記制御部は、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であることを前記貼着センサが検出したことに応じて、前記記憶部に記憶された前記センサデータを初期化又は削除する、
    請求項6に記載の情報処理装置。
  9.  前記情報処理装置の使用前には、前記貼着部は剥離紙で表面が保護されており、
     前記剥離紙が前記貼着部から剥がされたことに応じて起動する、
    請求項1に記載の情報処理装置。
  10.  前記剥離紙は、前記電源部を絶縁する舌片状の非導電部を備え、
     前記剥離紙が前記貼着部から剥がされると、前記非導電部が外れて前記電源部が導電状態になる、
    請求項9に記載の情報処理装置。
  11.  前記制御部は、前記剥離紙が前記貼着部から剥がされたことを前記貼着センサにより検出されたことに応じて、前記情報処理装置を起動させる、
    請求項9に記載の情報処理装置。
  12.  前記センサは、撮像機能を有する撮像センサを含み、
     前記筐体部が前記ユーザの眼球付近に貼着され、前記撮像センサは前記ユーザの視界の少なくとも一部に対応する画像を撮像する、
    請求項1に記載の情報処理装置。
  13.  前記筐体部が前記ユーザの左右いずれか一方の眼球付近に貼着され、
     前記ユーザの他方の眼球付近に貼着された他の情報処理装置との間で共有される同一の同期信号を付与して、前記撮像センサにより撮像された撮像データを前記通信部から無線送信する、
    請求項12に記載の情報処理装置。
  14.  前記センサは、前記ユーザの生体信号を検出する生体センサを含み、
     前記生体センサにより検出された生体信号に前記同期信号を付与して前記通信部から無線送信する、
    請求項13に記載の情報処理装置。
  15.  前記情報処理装置及び前記他の情報処理装置の各々から撮像データを受信するホストデバイスをさらに備え、
     前記ホストデバイスは、受信した撮像データに基づいて前記情報処理装置及び前記他の情報処理装置の各貼着位置を推定して、一方の撮像データの視野角や中心位置が他方の撮像データと一致するように画像補正を行う、
    請求項13に記載の情報処理装置。
  16.  前記センサは、前記ユーザの眼球周辺の筋電位を検出する筋電位センサを含み、
     前記ホストデバイスは、前記情報処理装置及び前記他の情報処理装置から受信した筋電位データに基づいて、前記ユーザの注視点を検出する、
    請求項15に記載の情報処理装置。
  17.  前記センサは、臭気センサを含み、
     芳香又は消臭のうち少なくとも1つの機能を有する臭気対処部をさらに備え、
     前記制御部は、前記臭気センサにより検出された臭気データに基づいて前記臭気対処部による芳香又は消臭を制御する、
    請求項1に記載の情報処理装置。
  18.  前記制御部は、前記ユーザのコンテキストに基づいて、前記臭気センサにより検出された臭気データに基づいて前記臭気対処部による芳香又は消臭を制御する、
    請求項1に記載の情報処理装置。
  19.  センサと、外部と無線通信する通信部と、前記センサ及び前記通信部を制御する制御部と、前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する情報処理装置の制御方法であって、
     前記貼着センサによる検出結果を取得するステップと、
     前記検出結果に基づいて、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるかどうかを判別するステップと、
     前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるときに、前記通信部を介して所定信号を外部に無線送信するステップと、
    を有する情報処理装置の制御方法。
  20.  センサと、外部と無線通信する通信部と、前記センサ及び前記通信部を制御する制御部と、前記センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部と、前記貼着部における前記ユーザと前記筐体との貼着状態を検出する貼着センサを具備する情報処理装置を制御するためのコンピュータ・プログラムを記録する記録媒体であって、前記コンピュータ・プログラムは、
     前記貼着センサによる検出結果を取得するステップと、
     前記検出結果に基づいて、前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるかどうかを判別するステップと、
     前記貼着部が前記ユーザから剥がれ又は剥がれる直前であるときに、前記通信部を介して所定信号を外部に無線送信するステップと、
    をコンピュータに実行させるようにコンピュータ可読形式で記述される、記録媒体。
PCT/JP2018/033154 2017-12-08 2018-09-07 情報処理装置及びその制御方法、並びに記録媒体 WO2019111471A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/768,361 US11642431B2 (en) 2017-12-08 2018-09-07 Information processing apparatus, control method of the same, and recording medium
CN201880077620.1A CN111417919A (zh) 2017-12-08 2018-09-07 信息处理装置及其控制方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017236404 2017-12-08
JP2017-236404 2017-12-08

Publications (1)

Publication Number Publication Date
WO2019111471A1 true WO2019111471A1 (ja) 2019-06-13

Family

ID=66750102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033154 WO2019111471A1 (ja) 2017-12-08 2018-09-07 情報処理装置及びその制御方法、並びに記録媒体

Country Status (3)

Country Link
US (1) US11642431B2 (ja)
CN (1) CN111417919A (ja)
WO (1) WO2019111471A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636870B2 (en) 2020-08-20 2023-04-25 Denso International America, Inc. Smoking cessation systems and methods
US11760169B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Particulate control systems and methods for olfaction sensors
US11760170B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Olfaction sensor preservation systems and methods
US11813926B2 (en) 2020-08-20 2023-11-14 Denso International America, Inc. Binding agent and olfaction sensor
US11828210B2 (en) 2020-08-20 2023-11-28 Denso International America, Inc. Diagnostic systems and methods of vehicles using olfaction
US11881093B2 (en) 2020-08-20 2024-01-23 Denso International America, Inc. Systems and methods for identifying smoking in vehicles
US11932080B2 (en) 2020-08-20 2024-03-19 Denso International America, Inc. Diagnostic and recirculation control systems and methods

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089539A (ja) * 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121110A (ja) * 1998-10-14 2000-04-28 Elmo Co Ltd 空気清浄装置
WO2009119079A1 (ja) * 2008-03-25 2009-10-01 パナソニック株式会社 データ暗号化装置
JP2009240730A (ja) * 2008-03-31 2009-10-22 Nec System Technologies Ltd 生体装着型データ通信装置
JP2014106601A (ja) * 2012-11-26 2014-06-09 Univ Of Tsukuba インターフェイス装置及びその制御方法
JP2016066188A (ja) * 2014-09-24 2016-04-28 日本光電工業株式会社 医療用システム
JP2017500159A (ja) * 2013-12-31 2017-01-05 ライフスキャン・インコーポレイテッドLifescan,Inc. センサの最適な位置付けのための方法、システム、及びデバイス
WO2017018388A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2017057015A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置および方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3927495B2 (ja) 2001-02-08 2007-06-06 ミニ−ミッター カンパニー,インコーポレイテッド 温度センサーを内蔵する皮膚用パッチ材
WO2006048701A2 (en) 2004-11-08 2006-05-11 Idesia Ltd. Method and apparatus for electro-biometric indentity recognition
JP4507992B2 (ja) 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP2011225521A (ja) 2010-03-30 2011-11-10 Sony Corp 殺菌剤、光触媒複合材料、吸着剤及び浄化剤
CN112330875A (zh) * 2013-03-15 2021-02-05 苹果公司 使用无线设备来促进与用户账户的交易
US20220148726A1 (en) * 2014-09-22 2022-05-12 Idion, Inc Secure Systems for Contactless Identification and Vital Sign Monitoring
KR102269797B1 (ko) * 2014-10-08 2021-06-28 엘지전자 주식회사 웨어러블 디바이스
WO2016063587A1 (ja) 2014-10-20 2016-04-28 ソニー株式会社 音声処理システム
US10325379B2 (en) * 2015-07-20 2019-06-18 Shmuel Bukshpan Sweat pores imaging method and device
JP6728629B2 (ja) 2015-10-23 2020-07-22 ソニー株式会社 香り提供装置
US20170124275A1 (en) * 2015-10-30 2017-05-04 Dexcom, Inc. Data backfilling for continuous glucose monitoring
JP2018068478A (ja) * 2016-10-26 2018-05-10 セイコーエプソン株式会社 生体モニタリングシステム、携帯型電子機器、生体モニタリングプログラム、コンピューター読み取り可能な記録媒体、及び生体モニタリング方法
JP6769243B2 (ja) * 2016-11-02 2020-10-14 コニカミノルタ株式会社 連携システム、情報処理装置、連携方法および連携プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121110A (ja) * 1998-10-14 2000-04-28 Elmo Co Ltd 空気清浄装置
WO2009119079A1 (ja) * 2008-03-25 2009-10-01 パナソニック株式会社 データ暗号化装置
JP2009240730A (ja) * 2008-03-31 2009-10-22 Nec System Technologies Ltd 生体装着型データ通信装置
JP2014106601A (ja) * 2012-11-26 2014-06-09 Univ Of Tsukuba インターフェイス装置及びその制御方法
JP2017500159A (ja) * 2013-12-31 2017-01-05 ライフスキャン・インコーポレイテッドLifescan,Inc. センサの最適な位置付けのための方法、システム、及びデバイス
JP2016066188A (ja) * 2014-09-24 2016-04-28 日本光電工業株式会社 医療用システム
WO2017018388A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2017057015A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置および方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636870B2 (en) 2020-08-20 2023-04-25 Denso International America, Inc. Smoking cessation systems and methods
US11760169B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Particulate control systems and methods for olfaction sensors
US11760170B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Olfaction sensor preservation systems and methods
US11813926B2 (en) 2020-08-20 2023-11-14 Denso International America, Inc. Binding agent and olfaction sensor
US11828210B2 (en) 2020-08-20 2023-11-28 Denso International America, Inc. Diagnostic systems and methods of vehicles using olfaction
US11881093B2 (en) 2020-08-20 2024-01-23 Denso International America, Inc. Systems and methods for identifying smoking in vehicles
US11932080B2 (en) 2020-08-20 2024-03-19 Denso International America, Inc. Diagnostic and recirculation control systems and methods

Also Published As

Publication number Publication date
US20200390926A1 (en) 2020-12-17
CN111417919A (zh) 2020-07-14
US11642431B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
WO2019111471A1 (ja) 情報処理装置及びその制御方法、並びに記録媒体
US20230297163A1 (en) Monitoring a user of a head-wearable electronic device
US11055356B2 (en) Mobile user borne brain activity data and surrounding environment data correlation system
US10342428B2 (en) Monitoring pulse transmissions using radar
KR102080747B1 (ko) 이동 단말기 및 그것의 제어 방법
US10405745B2 (en) Human socializable entity for improving digital health care delivery
CN110337314A (zh) 耳朵刺激的多因素控制
JP2017535388A (ja) 感情状態を伝えるためのモジュラウェアラブルデバイス
CN105794223A (zh) 多功能头戴物
Zheng et al. An emerging wearable world: New gadgetry produces a rising tide of changes and challenges
US20230067067A1 (en) Disposable sensor array wearable device sleeve system and method
US20230014469A1 (en) Sensor privacy setting control
JP6094845B2 (ja) 耳装着型装置
CN102551666A (zh) 可植入医疗装置及控制可植入医疗装置方法
JP2024516475A (ja) リストバンドシステムのための分割アーキテクチャならびに関連するデバイスおよび方法
JP7095692B2 (ja) 情報処理装置及びその制御方法、並びに記録媒体
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
TW202300986A (zh) 頭戴式顯示系統
JP2001092562A (ja) 装着型情報処理装置および制御方法
WO2016148180A1 (ja) 耳装着型装置および充電装置
JP6871104B2 (ja) 帽子及びヘッドウェア
EP4305511A1 (en) Systems and methods for signaling cognitive-state transitions
Tessendorf Multimodal sensor and actuator system for hearing instruments
WO2023168494A1 (en) Positioning, stabilising, and interfacing structures and system incorporating same
US20180161569A1 (en) Scalp-Mounted Sensory Prosthesis and Method of Use

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18885864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP