WO2018143313A1 - ウェアラブル電子機器 - Google Patents

ウェアラブル電子機器 Download PDF

Info

Publication number
WO2018143313A1
WO2018143313A1 PCT/JP2018/003318 JP2018003318W WO2018143313A1 WO 2018143313 A1 WO2018143313 A1 WO 2018143313A1 JP 2018003318 W JP2018003318 W JP 2018003318W WO 2018143313 A1 WO2018143313 A1 WO 2018143313A1
Authority
WO
WIPO (PCT)
Prior art keywords
release
gesture
display information
unit
information
Prior art date
Application number
PCT/JP2018/003318
Other languages
English (en)
French (fr)
Inventor
天野卓
丹羽孝将
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2018143313A1 publication Critical patent/WO2018143313A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a wearable electronic device, and more particularly to a wearable electronic device that can be unlocked with a password using a predetermined gesture.
  • Wearable electronic devices such as a head-mounted display (HMD) with a limited user interface are equipped with a password lock function, such as a personal computer or a smartphone, to enter a password and unlock the lock.
  • a password lock function such as a personal computer or a smartphone
  • the lock is released by a button or key operation, in the HMD, which is advantageous in hands-free operation, it takes time to operate by hand while checking the button.
  • Patent Document 1 a virtual image keyboard for inputting a personal identification number is displayed on a device such as an HMD, and a user performs a gesture operation such as pressing a number on the keyboard, and a personal identification number is input based on this operation.
  • a device for releasing the lock is disclosed.
  • Patent Document 2 there is a method of inputting at least two character strings as a set and inputting the other character string to the screen display of one character string (see, for example, Patent Document 2). Specifically, one or more combinations of authentication messages and passwords are recorded in advance, and when requesting a password, the system selects one from the above combinations, and after the message is displayed on the user side Enter the password.
  • the method of Patent Document 2 does not input a password by a gesture operation, but authentication by a combination of character strings for inputting characters using a keyboard, there is a possibility that authentication may be complicated when applied to an HMD or the like. is there.
  • the present invention has been made in view of the above-mentioned problems of the background art, and an object thereof is to provide a wearable electronic device that ensures the confidentiality of a password for unlocking even with a simple operation.
  • a wearable electronic device reflecting one aspect of the present invention includes a display unit that displays information to a user, a gesture recognition unit that recognizes an input gesture, and unlocking
  • a storage unit for storing release information that combines release display information that is displayed at times and a release gesture that corresponds to the release display information and has a meaning; an input gesture that is recognized by the gesture recognition unit; and a release gesture that corresponds to the release display information
  • a password that is requested at the time of unlocking is configured with display information having at least one release display information included in the release information, and the determination unit includes an input gesture.
  • the gesture has a meaning means that the gesture is an operation recognized by the gesture recognition unit.
  • at least a part of the password is composed of release display information, and this release display information is linked to a release gesture.
  • FIG. 2A is a conceptual diagram of the wearable electronic device viewed from the side
  • FIG. 2B is a block diagram of some components of the wearable electronic device. It is a figure explaining the detection part of a wearable electronic device.
  • 4A and 4B are diagrams illustrating the display state of the display unit of the wearable electronic device. It is a flowchart explaining operation
  • 6A to 6C are diagrams illustrating password input according to the first embodiment.
  • 7A to 7D are diagrams illustrating password input according to the second example using the wearable electronic device according to the second embodiment.
  • a head mounted display (hereinafter referred to as HMD) 100 which is a wearable electronic device, is mounted on the head of a user UR and displays an image or the like in front of the user UR.
  • the right side RR and the left side LR of the HMD 100 refer to the right side and the left side for the user UR wearing the HMD 100.
  • the HMD 100 is protected by a password using a gesture, and details will be described later, but the lock can be released by inputting an input gesture corresponding to the release display information specified on the HMD 100 side.
  • the HMD 100 includes a frame 10, two spectacle lenses 20, a main body 30, and a control unit 40.
  • the frame 10 includes a front portion 10a that supports the spectacle lens 20, and a side portion 10b that extends backward from both ends of the front portion 10a and can be attached to the head of the user UR.
  • the structure of the frame 10 in FIG. 1 is an example, and can be changed as appropriate.
  • the side portion 10b of the frame 10 may be fixed to the head of the user UR using a band instead of being put on the ear of the user UR.
  • the spectacle lens 20 of the HMD 100 is disposed in front of the user UR.
  • the spectacle lens 20 may or may not have refractive power.
  • the spectacle lens 20 has optical transparency and can observe an external image.
  • the main body 30 of the HMD 100 is fixed to at least one of the two eyeglass lenses 20. 2A and 2B, the main body 30 includes a display unit 31, a display drive control unit 32, and a detection unit 33.
  • the image forming unit 31 a, the display drive control unit 32, and the main body of the detection unit 33 constituting the display unit 31 are incorporated in the housing 34.
  • the display unit 31 is a display unit, and includes an image forming unit 31a and an image display optical unit 31b.
  • the image forming unit 31a is incorporated in the housing 34 of the main body 30 and includes a light source, a diffusion plate, a condenser lens, a display element, and the like.
  • the image display optical unit 31 b is a plate-like member provided below the housing 34, that is, the image forming unit 31 a, and is disposed so as to extend in parallel with the eyeglass lens 20.
  • the image display optical unit 31b includes an eyepiece prism, a deflection prism, a hologram optical element, and the like.
  • the image display optical unit 31b displays information to the user UR in cooperation with the image forming unit 31a, and displays, for example, a password necessary for unlocking as a virtual image.
  • the password is composed of display information, and at least a part thereof is associated with a release gesture. That is, at least a part of the display information has release display information, and the release display information corresponds to a predetermined release gesture having a meaning.
  • that the gesture has meaning means that the gesture is an operation recognized by a gesture recognition unit 49 described later. Since the release display information is displayed in a state recognized only by the user UR by the display unit 31, it is possible to prevent the release display information from being known to a third party.
  • the light emitted from the light source is diffused by the diffusion plate, condensed by the condenser lens, and incident on the display element.
  • the light incident on the display element is modulated for each pixel based on the image data input from the display drive control unit 32 and is emitted as image light.
  • a color image is displayed on the display element.
  • the image light from the display element enters the image display optical unit 31b and repeats total reflection, and an image visible to the user UR is formed in front of the user UR by the image display optical unit 31b.
  • the image display optical unit 31b is light transmissive with respect to external light, and can observe an external image.
  • the configuration of the image forming unit 31a is not limited to a combination of a light source and a liquid crystal display element, but a self-luminous display element (for example, an organic EL display element) or a transmissive organic EL having transparency in a non-light emitting state.
  • a display panel may be used.
  • the display drive control unit 32 performs image display control of the display unit 31 based on an instruction from a control processing unit 44 of the control unit 40 described later. Specifically, the display drive control unit 32 is connected to the control processing unit 44, and controls the display drive control unit 32 by the control processing unit 44, thereby causing the image forming unit 31a to form an intended image.
  • the detection unit 33 is provided on the front side of the housing 34.
  • the detection unit 33 constitutes a part of a gesture recognition unit 49 to be described later, and contributes to gesture recognition.
  • Specific examples of the detection unit 33 include a camera, a luminance distribution detection sensor, a proximity sensor, an illuminance sensor, and combinations thereof.
  • a sensor device to be used can be selected from among a sensor device incorporated in the detection unit 33 and an incorporated sensor device.
  • the detection unit 33 may be provided outside the housing 34, for example, on the frame 10, depending on the sensor employed.
  • the detection unit 33 detects the movement of the measurement site to be targeted such as the hand or finger of the user UR.
  • the detection part 33 detects the presence or absence of a measurement site
  • the detection unit 33 outputs the detection result to the control processing unit 44.
  • the proximity sensor is a detection region in the proximity range in front of the detection surface of the proximity sensor in order to detect that an object, for example, a part of a human body such as a hand or a finger is close to the eyes of the user UR.
  • a signal is detected by detecting whether or not a part of the human body is present.
  • the proximity range is appropriately set according to the characteristics and preferences of the user UR who is an operator.
  • the proximity range can be a range in which the distance from the detection surface of the proximity sensor is within 200 mm.
  • the user UR can be easily operated by gestures using the hand and fingers, since the palm and fingers can be put in and out of the field of view of the user UR with the arm bent. It can be performed.
  • the passive proximity sensor include a pyroelectric sensor and a capacitance sensor.
  • the active proximity sensor include an infrared sensor, a laser sensor, and an ultrasonic sensor.
  • a pyroelectric sensor is used as the proximity sensor of this embodiment. This proximity sensor has a plurality of pyroelectric elements arranged in a two-dimensional matrix. Specifically, as shown in FIG.
  • the proximity sensor 33a is composed of, for example, four pyroelectric elements RA, RB, RC, and RD arranged in 2 rows and 2 columns, and is emitted from the human body. Invisible light such as infrared light is received as detection light, and signals corresponding to the detection light are output from the pyroelectric elements RA, RB, RC, and RD. The output of each pyroelectric element RA, RB, RC, RD changes in intensity according to the distance from the light receiving surface of the proximity sensor 33a to the object, and the intensity increases as the distance decreases. The proximity sensor 33 a outputs the output of each pyroelectric element RA, RB, RC, RD to the control processing unit 44.
  • the control unit 40 includes an operation unit 41, a battery 42, a storage unit 43, and a control processing unit 44.
  • the control unit 40 is connected to the main body 30 by wire or wirelessly and can communicate with the main body 30. A part or all of the control unit 40 may be incorporated in the housing 34 of the main body 30.
  • the operation unit 41 is connected to the control processing unit 44 and inputs, for example, a predetermined instruction set in advance, such as turning on / off the power source, to the HMD 100.
  • the operation unit 41 includes, for example, one or a plurality of switches assigned a predetermined function.
  • the battery 42 is a battery that accumulates electric power and supplies electric power.
  • the power supplied from the battery 42 is supplied to each part of the HMD 100 by a power supply circuit (not shown).
  • the storage unit 43 is connected to the control processing unit 44 and stores various predetermined programs and various predetermined data in accordance with the control of the control processing unit 44.
  • the various predetermined programs include, for example, a control program that controls each part of the HMD 100 according to the function of each part, a gesture processing program that determines a gesture based on the movement of the measurement site based on the detection result detected by the detection unit 33, and the like.
  • a control processing program is included.
  • the storage unit 43 stores display information to be displayed when unlocking. As described above, the release display information among the display information is associated with the release gesture, and a combination of these is also stored in the storage unit 43 as release information. The release information can be set by the user UR.
  • the release information is a set of release display information and release gesture, and one or more combinations may be included in the release information.
  • the display information is set to be switched in a random order and at a random timing when there are a plurality of pieces of release information. Thereby, the confidentiality of a password can further be improved.
  • the display information includes at least one of characters, numbers, and figures.
  • the user UR can select display information that is easy to remember.
  • the release gesture includes at least one of a swipe operation including at least one of the vertical direction, the horizontal direction, and the diagonal direction, and a tap operation that stays at the same place for a certain period of time.
  • a password can be set with a combination of simple operations.
  • the control processing unit 44 controls each unit of the HMD 100 according to the function of each unit, determines a gesture based on the movement of the measurement site based on the detection result detected by the detection unit 33, and performs processing according to the determined gesture. It is something to execute.
  • the control processing unit 44 includes, for example, a CPU and its peripheral circuits.
  • the control processing unit 44 functionally includes a main control unit 44a, a gesture processing unit 44b, and a determination unit 44c.
  • the main control unit 44a controls each part of the HMD 100 according to the function of each part.
  • the gesture processing unit 44b determines a gesture based on the movement of the measurement site based on the detection result detected by the detection unit 33. Specifically, in the present embodiment, the gesture processing unit 44b determines an input gesture based on the movement of the user UR's hand or fingers based on the outputs of the pyroelectric elements RA, RB, RC, and RD in the proximity sensor 33a. To do.
  • the input gesture is a gesture performed by the user UR corresponding to the release display information displayed by the image display optical unit 31b of the display unit 31.
  • the gesture processing unit 44b functions as a gesture recognition unit 49 together with the detection unit 33, and recognizes a gesture performed by the user UR.
  • the gesture processing unit 44b notifies the determination unit 44c of an input gesture that is the determination result (detection result).
  • the determination unit 44c determines whether or not the input gesture which is the determination result of the gesture processing unit 44b matches the unlocking gesture for unlocking corresponding to the displayed unlocking display information. When the determination unit 44c determines that the input gesture matches the release gesture, the main control unit 44a is notified to that effect, and the lock of the HMD 100 is released.
  • FIGS. 4A and 4B are diagrams illustrating an example of an image visually recognized by the user UR through the light-transmissive image display optical unit 31b.
  • the input gesture is an operation in which at least the hand or finger of the user UR enters or retreats into the detection region CR of the detection unit 33 (proximity sensor 33a in the present embodiment).
  • the input gesture can be detected by the gesture processing unit 44b of the control processing unit 44 of the HMD 100 via the proximity sensor 33a.
  • the input gesture is an operation that can be detected by the proximity sensor 33a, and includes a locus of relative movement that can be detected by the position resolution of the pyroelectric elements RA, RB, RC, and RD.
  • the gesture recognition unit 49 can easily recognize the input gesture corresponding to the release gesture.
  • the screen 31c of the image display optical unit 31b is arranged so as to overlap with the effective visual field ER of the eye of the user UR corresponding to the image display optical unit 31b (that is, positioned within the effective visual field ER).
  • the detection region CR of the proximity sensor 33a is in the field of view of the user UR facing the image display optical unit 31b.
  • 4A and 4B show an example in which the detection region CR overlaps the screen 31c.
  • the release display information “1” corresponding to the release gesture is displayed in the screen 31c, and the information that prompts the user to input the password (specifically, “the password corresponding to the following characters is entered. Please enter. ”) Is also displayed.
  • the detection region CR of the proximity sensor 33a By setting the detection region CR of the proximity sensor 33a to be positioned in the visual field of the eye of the user UR with the user UR wearing the frame 10 as the head mounting member on the head, the screen While observing the hand through 31c, the approach and retraction of the hand to the detection region CR of the proximity sensor 33a can be reliably visually recognized without moving the eyes.
  • a gesture By making the detection region CR of the proximity sensor 33a within the effective visual field ER or the visual field inside the effective visual field ER, a gesture can be performed while confirming.
  • the entire light receiving area of the plurality of pyroelectric elements RA, RB, RC, and RD is a single light receiving unit. Therefore, the maximum detection range of the light receiving unit is regarded as a detection region.
  • the main control unit 44a determines that a gesture is being performed.
  • the gesture is performed by the hand of the user UR, but the gesture may be performed by a finger or other part. Alternatively, the gesture may be performed using an indicator made of a material that can emit invisible light.
  • the proximity sensor 33a of the present embodiment has four pyroelectric elements RA, RB, RC, and RD arranged in 2 rows and 2 columns (see FIG. 3). Therefore, when the user UR brings his / her hand closer to the front of the HMD 100 from any one of the left / right direction, the up / down direction, and the oblique direction, the output timings of signals detected by the pyroelectric elements RA, RB, RC, RD are different.
  • the two pyroelectric elements RA and RC on the right side of the HMD 100 receive the invisible light first. Therefore, the signals of the two pyroelectric elements RA and RC rise, and the signals of the two pyroelectric elements RB and RD on the left side (that is, the right side as viewed from the outside) of the adjacent HMD 100 rise with a delay.
  • the signals of the previous pyroelectric elements RA and RC fall, and the signals of the subsequent pyroelectric elements RB and RD fall with a delay.
  • the timing of this signal is detected by the gesture processing unit 44b, and the gesture processing unit 44b determines that the user UR has performed a gesture of moving the hand from right to left. Based on the same principle, the gesture processing unit 44b can determine a gesture in which the hand is moved in the vertical direction, the horizontal direction, or the diagonal direction of the user UR.
  • a signal is output at substantially the same timing for specific or all pyroelectric elements RA, RB, RC, and RD when the hand stays for a predetermined time. Is done.
  • the gesture processing unit 44b detects the timing of this signal, and the gesture processing unit 44b determines that the user UR has performed a tap motion gesture.
  • the gesture processing unit 44b can detect a gesture by a hand, a finger, or the like, which is an example of a measurement site, based on the basic principle described above.
  • the detection unit 33 is the proximity sensor 33a, it is desirable that only the measurement site is operated and the HMD 100 side is stationary because correction is required when the head or the like moves.
  • the main control unit 44a reads a password necessary for unlocking from the storage unit 43 (step S11). Specifically, display information constituting a password is selected. At this time, the order and display timing of each display information are also determined. When the password can be changed, all the display information displayed at the time of unlocking is release display information. That is, the user needs to perform all corresponding input gestures for the displayed display information.
  • the main control unit 44 a randomly selects release information from the storage unit 43.
  • the release information includes release display information and a release gesture as a set. The number of pieces of release information to be selected can be set in advance, and two or more pieces of the same release information may be selected.
  • the main control unit 44a operates the display drive control unit 32 of the main body unit 30 to display information constituting the password selected in step S11 in the image display optical unit 31b in cooperation with the image forming unit 31a. Is displayed (step S12).
  • the release display information serving as display information is set to be switched in a random order and at a random timing when there are a plurality of pieces of release information.
  • the main control unit 44a operates the detection unit 33 and the gesture processing unit 44b constituting the gesture recognition unit 49 (step S13).
  • the gesture recognition unit 49 detects an input gesture by the operation of the user UR (step S14). Specifically, the main control unit 44a samples the outputs of the current collecting elements RA, RB, RC, and RD of the proximity sensor 33a at a predetermined sampling interval (for example, about 10 ms to 30 ms) by the operation of the detection unit 33. To do. By determining whether or not the output of the proximity sensor 33a exceeds a predetermined threshold value set in advance, the presence / absence of the measurement region, specifically, the hand of the user UR is determined, and the movement of the measurement region is determined.
  • a predetermined sampling interval for example, about 10 ms to 30 ms
  • the main control unit 44a operates the gesture processing unit 44b, executes gesture determination processing, and determines a gesture. Specifically, the gesture processing unit 44b determines what kind of gesture it is based on the rising timing and falling timing of the outputs of the pyroelectric elements RA, RB, RC, and RD in the proximity sensor 33a. When the output of the proximity sensor 33a does not exceed the threshold value, it is determined that no gesture is performed.
  • step S15 the main control unit 44a determines whether or not the input gesture performed in step S14 is the last input (step S15). When the gesture is performed on all the release display information selected in step S11 (Y in step S15), the process proceeds to the next step S16. If no gesture is performed on all the release display information (N in step S15), the process returns to step S14.
  • the main control unit 44a operates the determination unit 44c to determine whether or not all passwords based on the input gesture are correct (step S16). Specifically, the determination unit 44c compares the input gesture with the release gesture associated with each release display information of the release information, and determines whether or not they match. When the input gesture and the release gesture all match (Y in step S16), the determination unit 44c notifies the main control unit 44a to that effect, and the main control unit 44a releases the lock of the HMD 100 (step S17).
  • step S16 if the input gesture and the release gesture do not match (N in step S16), the determination unit 44c notifies the main control unit 44a to that effect, and the main control unit 44a performs, for example, “failure” by the image display optical unit 31b. Is displayed (step S18), and the process returns to step S11.
  • the release gesture is used. Even when viewed by a third party, the cancellation gesture changes according to the cancellation display information, so that the confidentiality of the password can be ensured.
  • the lock is released by a gesture, it is possible to save time and effort such as button operation.
  • the user UR only needs to learn the combination of the release display information and the release gesture (that is, release information).
  • a simple gesture operation can be used as the release gesture. There is little burden.
  • Example 1 steps S11 to S14 as the first embodiment will be described with reference to FIGS. 6A to 6C and FIG. 4B.
  • numbers are used as display information
  • a password is input by sequentially performing gestures corresponding to the numbers.
  • release information for example, when the release display information is “1”, the release gesture moves the hand from the right to the left as viewed from the user UR (see FIG. 4A), and the release display information is “2”. In this case, the release gesture moves the hand from the bottom to the top as seen from the user UR (see FIG.
  • the release gesture moves from left to right as seen from the user UR
  • the release gesture is a tap operation for holding the hand for a certain period of time (see FIG. 6C).
  • the release display information is displayed as “3”, “2”, “4” in chronological order, as shown in FIGS. 6A, 6B, and 6C, gestures corresponding to the numbers are sequentially performed,
  • the recognition unit 49 determines these as input gestures. Thereafter, in the determination unit 44c, it is determined whether or not each input gesture matches each release gesture.
  • the wearable electronic device according to the second embodiment will be described. Note that the wearable electronic device according to the second embodiment is obtained by partially changing the wearable electronic device according to the first embodiment, and items that are not particularly described are the same as those in the first embodiment.
  • the main control unit 44a reads a password necessary for unlocking from the storage unit 43 (step S11 in FIG. 5).
  • the display order of the unlock display information is fixed among the passwords
  • the display information displayed when unlocking is composed of the unlock display information included in the unlock information and unnecessary display information that does not require an input gesture. .
  • the main control unit 44a selects specific release information corresponding to the password from the storage unit 43.
  • the main control unit 44 a randomly selects unnecessary display information from the storage unit 43.
  • the order of the display information displayed at the time of unlocking is a fixed order for the release display information, and unnecessary display information is arranged between the release display information.
  • the number of pieces of release information to be selected can be set in advance, and two or more pieces of the same information may be selected.
  • the main control unit 44a operates the display drive control unit 32 of the main body unit 30, and the display information or unnecessary display selected in step S11 is displayed on the image display optical unit 31b in cooperation with the image forming unit 31a.
  • Information is displayed (step S12 in FIG. 5).
  • the display is set to be switched at random order and at random timing. As a result, the display information seems to be switched in a random order and at a random timing.
  • the main control unit 44a operates the detection unit 33 and the gesture processing unit 44b constituting the gesture recognition unit 49 (step S13 in FIG. 5).
  • the gesture recognition unit 49 detects an input gesture caused by the operation of the user UR (step S14 in FIG. 5).
  • step S15 the main control unit 44a determines whether or not the input gesture input performed in step S14 is the last input (step S15 in FIG. 5). If a gesture or the like has been performed on all display information selected in step S11 (Y in step S15), the process proceeds to the next step S16. If no gesture or the like is performed on all display information (N in step S15), the process returns to step S14.
  • the main control unit 44a operates the determination unit 44c to determine whether or not all passwords based on the input gesture are correct (step S16 in FIG. 5). Specifically, the determination unit 44c compares the input gesture with the release gesture associated with each release display information of the release information, and determines whether or not they all match. In addition, the determination unit 44c determines whether it is determined that an input gesture has not been performed when the unnecessary release information is displayed. If the input gesture and the release gesture all match and no input gesture is performed when the unnecessary release information is displayed (Y in step S16), the determination unit 44c notifies the main control unit 44a to that effect, and the main control The unit 44a unlocks the HMD 100 (step S17).
  • the determination unit 44c notifies the main control unit 44a to that effect and performs the main control.
  • the unit 44a displays, for example, a character string “failure” on the image display optical unit 31b (step S18), and returns to step S11.
  • steps S11 to S14 as the second embodiment will be described with reference to FIGS. 7A to 7D.
  • numbers are used for the release display information and the unnecessary display information, and a hand is put in and out while the numbers are displayed as a password.
  • the order of numbers as passwords is preset as “1”, “2”, and “1”.
  • the numbers “1”, “2”, and “1” are release display information, and the number “3” is unnecessary display information.
  • numbers as display information are randomly displayed, and when numbers corresponding to passwords are displayed in that order, the detection unit 33 is displayed while the numbers are displayed.
  • the operation is performed so that the hand enters the detection region CR.
  • the detection area CR of the detection unit 33 is prevented from entering while the number is displayed.
  • the time for which each number is displayed is random. For example, when the release display information is “1”, the number is displayed for 3 seconds. When the release display information is “2”, the number is displayed for 10 seconds. When “3”, the number is displayed for 5 seconds.
  • the preset password is “1”, “2”, “1”, when the release display information is displayed as “1”, “2”, “3”, [1] in order, FIGS.
  • a gesture of holding the hand over the detection region CR of the detection unit 33 is performed at timings corresponding to the order of the numbers “1”, “2”, and “1”, and the gesture recognition unit 49 inputs these gestures. Determine as. In addition, at the timing of the number “3”, the hand is moved backward from the detection region CR, and the gesture recognition unit 49 determines that no gesture is performed. Thereafter, the determination unit 44c determines whether or not each input gesture matches each release gesture.
  • the display unit on which the display information is displayed is the image display optical unit 31b of the HMD 100.
  • the wearable electronic device is a device other than the HMD 100
  • the display information is displayed on the display unit corresponding to the device. Is displayed.
  • wearable electronic devices include devices equipped with sensors (for example, smartphones and game machines).
  • the gesture is performed by the swipe operation or the tap operation, but the gesture may be performed by another operation according to the performance of the detection unit 33.
  • gestures can be distinguished based on an action of waving a hand, an action of tapping a hand, the number of fingers, a figure formed with fingers, or the like. It is also possible to distinguish gestures by finger trajectories.
  • the combination of release information can be changed as appropriate. Further, the timing at which the release display information is displayed, the release display information at the start of display, and the like are random and can be changed for each password request. Also, a different password can be set according to the user UR wearing the HMD 100 and the work. In addition, when the password is failed a predetermined number of times, the password input itself can be locked.
  • the second embodiment when the password fluctuates, the second embodiment is unnecessary for a part of the display information. Display information may be included.
  • the gesture due to the movement of the measurement site is detected by the detection unit 33.
  • the head wearing the HMD 100 is moved, it may be difficult to detect the gesture correctly.
  • the description has been mainly made using the gesture for moving the hand of the user UR, but other gestures such as moving the head of the user UR may be used.
  • a specific example of the detection unit 33 is an exemplification, and an angular velocity sensor, an acceleration sensor, a velocity sensor, a vibration sensor, a geomagnetic sensor, a gyro, and a combination thereof may be used.
  • the release information is a set of release display information and release gesture, but a combination of a plurality of these combinations may be used as one release information.
  • a plurality of release display information can be collectively displayed in the screen 31c.
  • a plurality of release gestures can be associated with one release display information, and one release gesture can be associated with a plurality of release display information.
  • the lock can be released if an input gesture corresponding to one or more specified number of release gestures can be detected among the plurality of release gestures.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザーＵＲへの情報を表示する画像表示光学部３１ｂと、入力ジェスチャーを認識するジェスチャー認識部４９と、ロック解除時に表示する解除表示情報と解除表示情報に対応し、かつ意味をもつ解除ジェスチャーとを組み合わせた解除情報を記憶する記憶部４３と、ジェスチャー認識部４９で認識した入力ジェスチャーと解除表示情報に対応する解除ジェスチャーとが一致するか否かを判断する判断部４４ｃと、を備え、ロック解除時に要求されるパスワードは、解除情報に含まれる少なくとも１つの解除表示情報を有する表示情報で構成され、判断部４４ｃが入力ジェスチャーと解除ジェスチャーとが一致すると判断した場合に、ロックを解除する。

Description

ウェアラブル電子機器
　本発明は、ウェアラブル電子機器に関し、特に、所定のジェスチャーを用いたパスワードでロックを解除できるウェアラブル電子機器に関する。
　ユーザーインターフェースが限られている、ヘッドマウントディスプレイ（ＨＭＤ）等のウェアラブル電子機器では、パーソナルコンピューターやスマートフォン等のようなパスワードロックの機能を搭載する際に、パスワードを入力してロックを解除する手段が限られる。例えば、ボタン又はキー操作によりロックを解除する場合、ハンズフリーがメリットであるＨＭＤにおいて、ボタンを確認しながら手で操作するという手間が発生する。また、ＨＭＤに搭載されているジェスチャーセンサーの機能を用いて、ジェスチャーによってパスワードを入力することも考えられるが、単純なジェスチャー動作では周囲の人にパスワードを知られてしまうおそれがある。
　特許文献１では、ＨＭＤ等のデバイスにおいて暗証番号を入力するための虚像のキーボードが表示され、ユーザーがキーボードの数字を押下するようなジェスチャー動作を行い、この動作に基づいて暗証番号が入力されることでロックを解除する装置が開示されている。特許文献１の装置では、暗証番号の入力画面を第三者に見られるリスクを低減できるが、暗証番号の入力の際のジェスチャー動作が複雑になるおそれがある。
　なお、少なくとも２つの文字列を一組として、一方の文字列の画面表示に対して他方の文字列を入力するという方法がある（例えば、特許文献２参照）。具体的には、認証メッセージとパスワードとの組み合わせを予め１つ又は複数個記録して、パスワードの要求に際し、システム側では上記組み合わせから任意に１つを選び出し、ユーザー側ではメッセージが表示された後にパスワードを入力する。ただし、特許文献２の方法は、ジェスチャー動作によってパスワードを入力するものではなく、キーボードを用いて文字を入力する文字列の組み合わせによる認証であるため、ＨＭＤ等に適用すると認証が複雑になるおそれがある。
特開２０１５－２００９５２号公報 特開２００３－１３２０２５号公報
　本発明は、上記背景技術の問題点に鑑みてなされたものであり、単純な動作でもロック解除用のパスワードの秘匿性を確保したウェアラブル電子機器を提供することを目的とする。
　上記した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したウェアラブル電子機器は、ユーザーへの情報を表示する表示部と、入力ジェスチャーを認識するジェスチャー認識部と、ロック解除時に表示する解除表示情報と解除表示情報に対応しかつ意味をもつ解除ジェスチャーとを組み合わせた解除情報を記憶する記憶部と、ジェスチャー認識部で認識した入力ジェスチャーと解除表示情報に対応する解除ジェスチャーとが一致するか否かを判断する判断部と、を備え、ロック解除時に要求されるパスワードは、解除情報に含まれる少なくとも１つの解除表示情報を有する表示情報で構成され、判断部が入力ジェスチャーと解除ジェスチャーとが一致すると判断した場合に、ロックを解除する。ここで、ジェスチャーが意味を持つとは、当該ジェスチャーがジェスチャー認識部によって認識される動作であることを意味する。また、パスワードは、少なくとも一部が解除表示情報で構成されており、この解除表示情報は解除ジェスチャーと紐づけされている。
本発明の第１実施形態のウェアラブル電子機器の正面外観及び装着例を説明する図である。 図２Ａは、ウェアラブル電子機器を側方から見た概念図であり、図２Ｂは、ウェアラブル電子機器のうち一部の構成要素のブロック図である。 ウェアラブル電子機器の検出部を説明する図である。 図４Ａ及び４Ｂは、ウェアラブル電子機器の表示部の表示状態を説明する図である。 ウェアラブル電子機器の動作を説明するフローチャートである。 図６Ａ～６Ｃは、実施例１のパスワード入力を説明する図である。 図７Ａ～７Ｄは、第２実施形態のウェアラブル電子機器を用いた実施例２のパスワード入力を説明する図である。
　以下、図１等を参照して、本発明の一実施形態であるウェアラブル電子機器について説明する。
　図１に示すように、ウェアラブル電子機器であるヘッドマウントディスプレイ（以下、ＨＭＤという）１００は、ユーザーＵＲの頭部に装着され、ユーザーＵＲの眼前に映像等を表示するものである。なお、ＨＭＤ１００の右側ＲＲ及び左側ＬＲは、ＨＭＤ１００を装着したユーザーＵＲにとっての右側及び左側をいうものとする。ＨＭＤ１００は、ジェスチャーを用いたパスワードで保護されており、詳細は後述するが、ＨＭＤ１００側で指定される解除表示情報に対応する入力ジェスチャーを入力することによりロックを解除することができる。
　ＨＭＤ１００は、フレーム１０と、２つの眼鏡レンズ２０と、主本体部３０と、制御ユニット４０とを備える。フレーム１０は、眼鏡レンズ２０を支持する前方部１０ａと、前方部１０ａの両端から後方に延びてユーザーＵＲの頭部に装着可能な側部１０ｂとを有する。図１のフレーム１０の構造は例示であり、適宜変更することができる。例えば、フレーム１０の側部１０ｂをユーザーＵＲの耳にかけるのではなく、バンドを用いてユーザーＵＲの頭部に固定してもよい。
　ＨＭＤ１００の眼鏡レンズ２０は、ユーザーＵＲの眼前に配置される。眼鏡レンズ２０は、屈折力を有していてもよいし、有していなくてもよい。眼鏡レンズ２０は、光透過性を有し、外界像を観察可能となっている。
　ＨＭＤ１００の主本体部３０は、２つの眼鏡レンズ２０のうち少なくともいずれか一方の上部に固定されている。図２Ａ及び２Ｂに示すように、主本体部３０は、ディスプレイユニット３１と、表示駆動制御部３２と、検出部３３とを有する。主本体部３０のうち、ディスプレイユニット３１を構成する画像形成部３１ａと、表示駆動制御部３２と、検出部３３の本体とは、筐体３４に組み込まれている。
　ディスプレイユニット３１は、表示部であり、画像形成部３１ａと画像表示光学部３１ｂとを有する。画像形成部３１ａは、既述のように、主本体部３０の筐体３４内に組み込まれており、光源、拡散板、集光レンズ、表示素子等を有する。画像表示光学部３１ｂは、筐体３４、すなわち画像形成部３１ａの下方に設けられた板状の部材であり、眼鏡レンズ２０に平行に延在するように配置される。画像表示光学部３１ｂは、接眼プリズム、偏向プリズム、ホログラム光学素子等を有する。画像表示光学部３１ｂは、画像形成部３１ａと協働してユーザーＵＲに情報を表示するものであり、例えばロック解除に必要なパスワードを虚像として表示する。パスワードは、表示情報で構成されており、少なくとも一部が解除ジェスチャーと紐づけされている。つまり、表示情報の少なくとも一部は、解除表示情報を有し、この解除表示情報は意味を持つ所定の解除ジェスチャーに対応している。ここで、ジェスチャーが意味を持つとは、当該ジェスチャーが後述するジェスチャー認識部４９によって認識される動作であることを意味する。解除表示情報がディスプレイユニット３１によってユーザーＵＲのみに認識される状態で表示されるため、解除表示情報を第三者に知られることを防ぐことができる。
　図示を省略するが、画像形成部３１ａにおいて、光源から出射された光は、拡散板で拡散され、集光レンズで集光され、表示素子に入射する。表示素子に入射した光は、表示駆動制御部３２から入力された画像データに基づいて画素毎に変調され、画像光として出射される。これにより、表示素子にはカラー画像が表示される。表示素子からの画像光は、画像表示光学部３１ｂに入射して全反射を繰り返し、ユーザーＵＲに視認可能な画像が画像表示光学部３１ｂによってユーザーＵＲの前方に形成される。また、画像表示光学部３１ｂは、外光に対しては光透過性を有し、外界像を観察可能となっている。そのため、表示素子に表示された画像の虚像は、外界像の一部に重なって観察される。なお、画像形成部３１ａの構成は、光源と液晶表示素子との組み合わせに限らず、自発光型の表示素子（例えば、有機ＥＬ表示素子）や、非発光状態で透過性を有する透過型有機ＥＬ表示パネルを用いてもよい。
　表示駆動制御部３２は、後述する制御ユニット４０の制御処理部４４からの指示に基づいてディスプレイユニット３１の画像表示制御を行う。具体的には、表示駆動制御部３２は、制御処理部４４に接続され、制御処理部４４によって表示駆動制御部３２を制御することで、画像形成部３１ａに所期の画像を形成させる。
　検出部３３は、筐体３４の正面側に設けられている。検出部３３は、後述するジェスチャー認識部４９の一部を構成しており、ジェスチャーの認識に寄与するものである。検出部３３の具体例としては、カメラ、輝度分布検出センサー、近接センサー、並びに照度センサー、及びこれらの組み合わせが挙げられる。ジェスチャーのタイプに応じて検出部３３に組み込むセンサー装置や組み込まれたセンサー装置のうち使用するセンサー装置を選択することができる。なお、採用するセンサーによって、検出部３３は、筐体３４の外部、例えばフレーム１０に設けてもよい。検出部３３は、ユーザーＵＲの手や手指等の対象とする測定部位の動きを検出する。また、検出部３３は、測定部位の存否を検知する。検出部３３は、検出結果を制御処理部４４へ出力する。
　本実施形態では、検出部３３として近接センサーを用いる例を挙げて説明する。ここで、近接センサーとは、物体、例えば手や指等の人体の一部がユーザーＵＲの眼前に近接していることを検知するために、近接センサーの検出面前方の近接範囲にある検出領域内に人体の一部が存在しているか否かを検知して信号を検出するものである。近接範囲は、操作者であるユーザーＵＲの特性や好みに応じて適宜設定される。例えば、近接範囲は、近接センサーの検出面からの距離が２００ｍｍ以内の範囲とすることができる。近接センサーからの距離が２００ｍｍ以内であれば、ユーザーＵＲが腕を曲げた状態で、手のひらや指をユーザーＵＲの視野内に入れたり出したりできるため、手や指を使ったジェスチャーによって容易に操作を行うことができる。近接センサーには、パッシブ型とアクティブ型がある。パッシブ型の近接センサーとしては、例えば焦電センサー、静電容量センサー等がある。アクティブ型の近接センサーとしては、例えば赤外線センサー、レーザーセンサー、超音波センサー等がある。本実施形態の近接センサーには、焦電センサーを用いている。この近接センサーは、２次元マトリクス状に配列された複数の焦電素子を有する。具体的には、図３に示すように、近接センサー３３ａは、例えば２行２列に配列された４個の焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤで構成されており、人体から放射される赤外光等の不可視光を検出光として受光し、この検出光に対応した信号が各焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤから出力される。各焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの出力は、近接センサー３３ａの受光面から物体までの距離に応じて強度が変化し、距離が近いほど強度が大きくなる。近接センサー３３ａは、各焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの出力を制御処理部４４へ出力する。
　制御ユニット４０は、操作部４１と、バッテリー４２と、記憶部４３と、制御処理部４４とを有する。制御ユニット４０は、主本体部３０と有線又は無線で接続されており、主本体部３０と通信可能となっている。なお、制御ユニット４０の一部又は全部が主本体部３０の筐体３４に組み込まれてもよい。
　操作部４１は、制御処理部４４に接続され、例えば電源のオン・オフ等の予め設定された所定の指示をＨＭＤ１００に入力するものである。操作部４１は、例えば所定の機能を割り付けられた１又は複数のスイッチ等で構成される。
　バッテリー４２は、電力を蓄積し、電力を供給する電池である。バッテリー４２から供給された電力は、不図示の電源回路によってＨＭＤ１００の各部へ供給される。
　記憶部４３は、制御処理部４４に接続され、制御処理部４４の制御に従って、各種の所定のプログラム及び各種の所定のデータを記憶するものである。各種の所定のプログラムには、例えばＨＭＤ１００の各部を各部の機能に応じて制御する制御プログラムや、検出部３３で検出した検出結果に基づいて測定部位の動きによるジェスチャーを判定するジェスチャー処理プログラム等の制御処理プログラムが含まれる。また、記憶部４３には、ロック解除時に表示する表示情報が記憶されている。既述のように、表示情報のうち解除表示情報は、解除ジェスチャーと対応づけられており、これらの組み合わせも解除情報として記憶部４３に記憶されている。解除情報は、ユーザーＵＲが設定することができる。解除情報は、解除表示情報と解除ジェスチャーとを一組とするものであり、解除情報に含まれる上記組み合わせは、１つでもよいし複数個あってもよい。表示情報は、解除情報が複数個である場合、ランダムな順番、及びランダムなタイミングで切り替わるように設定されている。これにより、パスワードの秘匿性をさらに高めることができる。本実施形態において、表示情報は、文字、数字、及び図形の少なくとも１つを含むものとなっている。ユーザーＵＲは、覚えやすい表示情報を選択することができる。解除ジェスチャーは、上下方向、左右方向、及び斜め方向の少なくとも１つを含むスワイプ動作、及び一定時間同じ場所に留まるタップ動作の少なくとも１つを含むものとなっている。このように、単純な動作の組み合わせでパスワードを設定することができる。
　制御処理部４４は、ＨＭＤ１００の各部を各部の機能に応じてそれぞれ制御し、検出部３３で検出した検出結果に基づいて測定部位の動きによるジェスチャーを判定し、この判定したジェスチャーに応じた処理を実行するものである。制御処理部４４は、例えばＣＰＵ及びその周辺回路等を備えて構成される。制御処理部４４は、機能的に、主制御部４４ａと、ジェスチャー処理部４４ｂと、判断部４４ｃとを有する。
　主制御部４４ａは、ＨＭＤ１００の各部を各部の機能に応じてそれぞれ制御するものである。
　ジェスチャー処理部４４ｂは、検出部３３で検出した検出結果に基づいて、測定部位の動きによるジェスチャーを判定するものである。具体的には、本実施形態では、ジェスチャー処理部４４ｂは、近接センサー３３ａにおける各焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの出力に基づいて、ユーザーＵＲの手や手指の動きによる入力ジェスチャーを判定するものである。入力ジェスチャーは、ユーザーＵＲがディスプレイユニット３１の画像表示光学部３１ｂによって表示される解除表示情報に対応するものとして行ったジェスチャーである。ジェスチャー処理部４４ｂは、検出部３３と併せてジェスチャー認識部４９として機能し、ユーザーＵＲが行ったジェスチャーを認識する。ジェスチャー処理部４４ｂは、その判定結果（検知結果）である入力ジェスチャーを判断部４４ｃへ通知する。
　判断部４４ｃは、ジェスチャー処理部４４ｂの判定結果である入力ジェスチャーが、表示された解除表示情報に対応するロック解除のための解除ジェスチャーと一致するか否か判断する。判断部４４ｃが入力ジェスチャーと解除ジェスチャーとが一致すると判断した場合、その旨が主制御部４４ａに通知され、ＨＭＤ１００のロックが解除される。
　以下、ＨＭＤ１００における、入力ジェスチャーを検知する基本動作について説明する。図４Ａ及び４Ｂは、光透過型の画像表示光学部３１ｂを通してユーザーＵＲが視認する像の一例を示す図である。入力ジェスチャーとは、少なくともユーザーＵＲの手や指が検出部３３（本実施形態では、近接センサー３３ａ）の検出領域ＣＲ内に進入又は退避する動作である。また、入力ジェスチャーは、近接センサー３３ａを介してＨＭＤ１００の制御処理部４４のジェスチャー処理部４４ｂが検知できるものである。つまり、入力ジェスチャーは、近接センサー３３ａによって検出可能な動作であって、焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの位置分解能によって検出可能な相対的な移動の軌跡からなる。この場合、解除ジェスチャーに対応する入力ジェスチャーをジェスチャー認識部４９が認識しやすいものとできる。
　画像表示光学部３１ｂの画面３１ｃは、画像表示光学部３１ｂに対応するユーザーＵＲの眼の有効視野ＥＲに重なるように（つまり、有効視野ＥＲ内に位置するように）配置される。近接センサー３３ａの検出領域ＣＲは、画像表示光学部３１ｂに対向するユーザーＵＲの視野内にある。図４Ａ及び４Ｂには、検出領域ＣＲが画面３１ｃに重なっている例が示されている。図４Ａの例では、画面３１ｃ内に、解除ジェスチャーに対応する解除表示情報「１」が表示され、それに付帯してパスワードの入力を促す情報（具体的には「以下の文字に対応するパスワードを入力してください。」）も表示されている。このように、ユーザーＵＲが頭部装着部材であるフレーム１０を頭部に装着した状態で、ユーザーＵＲの眼の視野内に近接センサー３３ａの検出領域ＣＲが位置するように設定することで、画面３１ｃを通して手を観察しつつ、目の移動を伴うことなく、近接センサー３３ａの検出領域ＣＲへの手の進入と退避とを確実に視認できる。近接センサー３３ａの検出領域ＣＲを有効視野ＥＲ又はその内側の視野内とすることで、確認しながらジェスチャーを行うことができる。なお、本実施形態のように、近接センサー３３ａが複数の焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤを有する場合、複数の焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの受光領域全体を１つの受光部とみて、その受光部の最大検出範囲を検出領域とみなすものとする。
　以下、ジェスチャーの検出の基本原理について説明する。近接センサー３３ａが動作しているときに、ユーザーＵＲの前方に何も存在しなければ、近接センサー３３ａは、検出光としての不可視光を受光しないため、主制御部４４ａは、ジェスチャーが行われていないと判断する。一方、ユーザーＵＲの目の前にユーザーＵＲ自身の手を接近させると、手から放射される赤外光等の不可視光を近接センサー３３ａが検出し、これに基づく近接センサー３３ａからの出力信号に応じて主制御部４４ａは、ジェスチャーが行われていると判断する。なお、以下において、ユーザーＵＲの手によってジェスチャーを行うものとして説明するが、指やその他の部位でジェスチャーを行ってもよい。また、不可視光を放射できる材料からなる指示具を用いてジェスチャーを行ってもよい。
　既に説明したように、本実施形態の近接センサー３３ａは、２行２列に並べられた４個の焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤを有している（図３参照）。そのため、ユーザーＵＲが左右方向、上下方向、及び斜め方向いずれかの方向から手をＨＭＤ１００の前方に近づけた場合、各焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤで検出する信号の出力タイミングが異なる。
　例えば、ユーザーＵＲがＨＭＤ１００の前方で右方向から左方向に向かって手を移動させるスワイプ動作を行った場合、手から放射された不可視光が近接センサー３３ａに入射する。この場合、最初に不可視光を受光するのは、ＨＭＤ１００の右側（つまり、外界から見て左側）の２つの焦電素子ＲＡ，ＲＣである。したがって、この２つの焦電素子ＲＡ，ＲＣの信号が立ち上がり、遅れて隣接するＨＭＤ１００の左側（つまり、外界から見て右側）の２つの焦電素子ＲＢ，ＲＤの信号が立ち上がる。その後、先の焦電素子ＲＡ，ＲＣの信号が立ち下がって、遅れて後の焦電素子ＲＢ，ＲＤの信号が立ち下がる。この信号のタイミングをジェスチャー処理部４４ｂが検出し、ジェスチャー処理部４４ｂは、ユーザーＵＲが手を右から左へと移動させたジェスチャーを行ったと判定する。同様の原理で、ジェスチャー処理部４４ｂは、ユーザーＵＲの上下方向、左右方向、又は斜め方向に手を移動させたジェスチャーを判定することができる。
　また、ユーザーＵＲが手を一定時間同じ場所に留まらせるタップ動作を行った場合、所定時間の手の滞在により特定又は全ての焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤで略同じタイミングで信号が出力される。この信号のタイミングをジェスチャー処理部４４ｂが検出し、ジェスチャー処理部４４ｂは、ユーザーＵＲがタップ動作のジェスチャーを行ったと判定する。
　以下、図５等を参照しつつ、本実施形態におけるＨＭＤ１００のロック解除手順について説明する。
　ＨＭＤ１００では、上述の基本原理によってジェスチャー処理部４４ｂは、測定部位の一例である手や指等によるジェスチャーを検知できる。なお、検出部３３が近接センサー３３ａである場合、測定部位のみ動作させ、ＨＭＤ１００側については、頭部等が動くと補正が必要となるため、静止していることが望ましい。
　まず、主制御部４４ａは、記憶部４３からロック解除時に必要なパスワードを読み出す（ステップＳ１１）。具体的には、パスワードを構成する表示情報を選択する。この際、各表示情報の順序及び表示タイミングも決定される。パスワードが変動可能な場合において、ロック解除時に表示される表示情報は、全て解除表示情報となっている。つまり、表示される表示情報に対して、ユーザーは対応する入力ジェスチャーを全て行う必要がある。主制御部４４ａは、記憶部４３から解除情報をランダムに選択する。解除情報は、解除表示情報と解除ジェスチャーとを一組として含むものである。選択される解除情報の数は予め設定することができ、同じ解除情報が２つ以上選択されてもよい。
　次に、主制御部４４ａは、主本体部３０の表示駆動制御部３２を動作させ、画像形成部３１ａとの協働により画像表示光学部３１ｂにステップＳ１１で選択されたパスワードを構成する表示情報を表示させる（ステップＳ１２）。表示情報となる解除表示情報は、解除情報が複数個である場合、ランダムな順番、及びランダムなタイミングで切り替わるように設定されている。
　続けて、主制御部４４ａは、ジェスチャー認識部４９を構成する検出部３３及びジェスチャー処理部４４ｂを動作させる（ステップＳ１３）。
　次に、ジェスチャー認識部４９によって、ユーザーＵＲの動作による入力ジェスチャーを検出する（ステップＳ１４）。具体的には、主制御部４４ａは、検出部３３の動作により、所定のサンプリング間隔（例えば、１０ｍｓ～３０ｍｓ程度）で近接センサー３３ａの各集電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの出力をサンプリングする。近接センサー３３ａの出力が予め設定された所定の閾値を越えているか否かを判定することによって、測定部位、具体的にはユーザーＵＲの手の存否を判定し、測定部位の動きを決定する。つまり、近接センサー３３ａの出力が閾値を越えた場合には、主制御部４４ａは、ジェスチャー処理部４４ｂを動作させ、ジェスチャーの判定処理を実行し、ジェスチャーを決定する。具体的には、ジェスチャー処理部４４ｂは、近接センサー３３ａにおける各焦電素子ＲＡ，ＲＢ，ＲＣ，ＲＤの出力の立ち上がりタイミングや立ち下がりタイミングに基づいて、どのようなジェスチャーであるかを決定する。なお、近接センサー３３ａの出力が閾値を越えない場合には、ジェスチャーが行われていないと判定する。
　次に、主制御部４４ａは、ステップＳ１４で行った入力ジェスチャーの入力が最後の入力か否かを判断する（ステップＳ１５）。ステップＳ１１で選択された全ての解除表示情報に対してジェスチャーが行われた場合（ステップＳ１５のＹ）、次のステップＳ１６に進む。全ての解除表示情報に対してジェスチャーが行われていない場合（ステップＳ１５のＮ）、ステップＳ１４に戻る。
　次に、主制御部４４ａは、判断部４４ｃを動作させ、入力ジェスチャーによるパスワードが全て正しいか否かを判断する（ステップＳ１６）。具体的には、判断部４４ｃは、入力ジェスチャーと、解除情報の各解除表示情報に紐づけされた解除ジェスチャーとを比較し、これらが一致するか否かを判断する。入力ジェスチャーと解除ジェスチャーとが全て一致する場合（ステップＳ１６のＹ）、判断部４４ｃは主制御部４４ａにその旨を通知し、主制御部４４ａは、ＨＭＤ１００のロックを解除する（ステップＳ１７）。一方、入力ジェスチャーと解除ジェスチャーとが一致しない場合（ステップＳ１６のＮ）、判断部４４ｃは主制御部４４ａにその旨を通知し、主制御部４４ａは、画像表示光学部３１ｂによって例えば「失敗」という文字列を表示させ（ステップＳ１８）、ステップＳ１１に戻る。
　以上説明したウェアラブル電子機器では、ＭＨＤ１００の画像形成部３１ａとの協働により画像表示光学部３１ｂに表示される解除表示情報と解除ジェスチャーとの組み合わせを利用してロックを解除するため、解除ジェスチャーを第三者に見られても、解除ジェスチャーは解除表示情報に応じて変化するので、パスワードの秘匿性を確保することができる。また、ジェスチャーによってロックを解除するため、ボタン操作等の手間を省くことができる。ユーザーＵＲは解除表示情報と解除ジェスチャーとの組み合わせ（すなわち解除情報）を覚えるだけでよく、さらに、組み合わせでのロック解除であるため、単純なジェスチャー動作を解除ジェスチャーとすることができ、ユーザーＵＲの負担が少ない。
（実施例１）
　以下、図６Ａ～６Ｃ及び図４Ｂを参照して、実施例１としてのステップＳ１１～Ｓ１４を説明する。本実施例では、表示情報に数字を用い、数字に対応するジェスチャーを順次行うことで、パスワードを入力する。解除情報の組み合わせとしては、例えば、解除表示情報が「１」の場合、解除ジェスチャーはユーザーＵＲから見て手を右から左へ動作させるものとし（図４Ａ参照）、解除表示情報が「２」の場合、解除ジェスチャーはユーザーＵＲから見て手を下から上へ動作させるものとし（図６Ｂ参照）、解除表示情報が「３」の場合、解除ジェスチャーはユーザーＵＲから見て左から右へ動作させるものとし（図６Ａ参照）、解除表示情報が「４」の場合、解除ジェスチャーは手を一定時間保持するタップ動作をさせるものとする（図６Ｃ参照）。解除表示情報が時系列的な順番で「３」、「２」、「４」と表示された場合、図６Ａ、６Ｂ、６Ｃに示すように、それぞれの数字に対応するジェスチャーを順次行い、ジェスチャー認識部４９ではこれらを入力ジェスチャーとして決定する。その後、判断部４４ｃにおいて、各入力ジェスチャーと各解除ジェスチャーとが全て一致するか否かを判断する。
〔第２実施形態〕
　以下、第２実施形態に係るウェアラブル電子機器について説明する。なお、第２実施形態に係るウェアラブル電子機器は、第１実施形態のウェアラブル電子機器を一部変更したものであり、特に説明しない事項は、第１実施形態と同様である。
　以下、第１実施形態と同様に、図５等を参照しつつ、本実施形態におけるＨＭＤ１００のロック解除手順について説明する。
　まず、主制御部４４ａは、記憶部４３からロック解除時に必要なパスワードを読み出す（図５のステップＳ１１）。パスワードのうち解除表示情報の表示順序が固定である場合、ロック解除時に表示される表示情報は、解除情報に含まれる解除表示情報と、入力ジェスチャーを不要とする不要表示情報とで構成されている。主制御部４４ａは、記憶部４３からパスワードに対応する特定の解除情報を選択する。また、主制御部４４ａは、記憶部４３から不要表示情報をランダムに選択する。ロック解除時に表示される表示情報の順番は、解除表示情報については固定された順番となっており、これらの解除表示情報の間に不要表示情報が並べられる。選択される解除情報の数は予め設定することができ、同じ情報が２つ以上選択されてもよい。
　次に、主制御部４４ａは、主本体部３０の表示駆動制御部３２を動作させ、画像形成部３１ａとの協働により画像表示光学部３１ｂにステップＳ１１で選択された解除表示情報又は不要表示情報を表示させる（図５のステップＳ１２）。不要表示情報は、複数個である場合、ランダムな順番、及びランダムなタイミングで切り替わるように設定されている。結果的に、表示情報は、ランダムな順番、及びランダムなタイミングで切り替わるようにみえる。
　続けて、主制御部４４ａは、ジェスチャー認識部４９を構成する検出部３３及びジェスチャー処理部４４ｂを動作させる（図５のステップＳ１３）。
　次に、ジェスチャー認識部４９によって、ユーザーＵＲの動作による入力ジェスチャーを検出する（図５のステップＳ１４）。
　次に、主制御部４４ａは、ステップＳ１４で行った入力ジェスチャーの入力が最後の入力か否かを判断する（図５のステップＳ１５）。ステップＳ１１で選択された全ての表示情報に対してジェスチャー等が行われた場合（ステップＳ１５のＹ）、次のステップＳ１６に進む。全ての表示情報に対してジェスチャー等が行われていない場合（ステップＳ１５のＮ）、ステップＳ１４に戻る。
　次に、主制御部４４ａは、判断部４４ｃを動作させ、入力ジェスチャーによるパスワードが全て正しいか否かを判断する（図５のステップＳ１６）。具体的には、判断部４４ｃは、入力ジェスチャーと、解除情報の各解除表示情報に紐づけされた解除ジェスチャーとを比較し、これらが全て一致するか否かを判断する。また、判断部４４ｃは、不要解除情報の表示時に入力ジェスチャーが行われていないと判断したか否かを判断する。入力ジェスチャーと解除ジェスチャーとが全て一致し、かつ不要解除情報の表示時に入力ジェスチャーが行われていない場合（ステップＳ１６のＹ）、判断部４４ｃは主制御部４４ａにその旨を通知し、主制御部４４ａは、ＨＭＤ１００のロックを解除する（ステップＳ１７）。一方、入力ジェスチャーと解除ジェスチャーとが一致しない場合や不要解除情報の表示時に入力ジェスチャーが行われた場合（ステップＳ１６のＮ）、判断部４４ｃは主制御部４４ａにその旨を通知し、主制御部４４ａは、画像表示光学部３１ｂに例えば「失敗」という文字列を表示させ（ステップＳ１８）、ステップＳ１１に戻る。
（実施例２）
　以下、図７Ａ～７Ｄを参照して、実施例２としてのステップＳ１１～Ｓ１４を説明する。本実施例では、解除表示情報及び不要表示情報に数字を用い、数字が表示されている間の手の出し入れをパスワードとする。実施例２においては、パスワードとなる数字の順番が「１」、「２」、「１」と予め設定されている。実施例２では、数字「１」、「２」、「１」が解除表示情報であり、数字「３」が不要表示情報となっている。図７Ａ、７Ｂ、及び７Ｄに示すように、表示情報としての数字はランダムに表示され、パスワードに該当する数字がその順番で表示されたときに、数字が表示されている間に、検出部３３の検出領域ＣＲに手が入るように動作させる。なお、パスワードに該当しない数字が表示された場合、数字が表示されている間に、検出部３３の検出領域ＣＲに手が入らないようにする。各数字が表示される時間はランダムであり、例えば解除表示情報が「１」の場合、数字が３秒表示され、解除表示情報が「２」の場合、数字が１０秒表示され、解除表示情報が「３」の場合、数字が５秒表示される。予め設定したパスワードが「１」、「２」、「１」の場合、解除表示情報が順番に「１」、「２」、「３」、［１］と表示された場合、図７Ａ、７Ｂ、７Ｃ７Ｄに示すように、数字「１」、「２」、「１」の順番で対応するタイミングで検出部３３の検出領域ＣＲに手をかざすジェスチャーを行い、ジェスチャー認識部４９ではこれらを入力ジェスチャーとして決定する。また、数字「３」のタイミングでは検出領域ＣＲから手を後退させ、ジェスチャー認識部４９ではジェスチャーが行われていないと決定する。その後、判断部４４ｃにおいて、各入力ジェスチャーと各解除ジェスチャーとが一致するか否かを判断する。
　以上、実施形態や実施例に即して本発明を説明したが、本発明は、上記実施形態等に限定されるものではない。例えば、上記実施形態において、表示情報が表示される表示部をＨＭＤ１００の画像表示光学部３１ｂとしたが、ウェアラブル電子機器がＨＭＤ１００以外の装置である場合、その装置に対応する表示部に表示情報が表示される。ウェアラブル電子機器の例としては、センサーを搭載するデバイス等（例えば、スマートフォンやゲーム機等）が挙げられる。
　上記実施形態において、スワイプ動作やタップ動作によってジェスチャーを行ったが、検出部３３の性能に応じて、他の動作によってジェスチャーを行ってもよい。例えば、検出部３３にカメラを用いる場合、手を振る動作、手を叩く動作、指の本数、指で形成する図形等によってジェスチャーを区別することができる。また、指の軌跡によってジェスチャーを区別することもできる。
　上記実施形態において、解除情報の組み合わせは適宜変更することができる。また、解除表示情報等が表示されるタイミング、表示開始時の解除表示情報等は、ランダムであり、パスワードの要求毎に変更することができる。また、パスワードは、ＨＭＤ１００を装着するユーザーＵＲや作業に応じて違うものを設定することもできる。また、パスワードを所定回数失敗した場合に、パスワードの入力自体をロックすることもできる。
　第１実施形態において、パスワードが変動する場合、全ての表示情報が解除情報に含まれる解除表示情報であるとしたが、パスワードが変動する場合において、表示情報の一部に第２実施形態の不要表示情報が含まれていてもよい。
　上記実施形態において、検出部３３によって測定部位の動作によるジェスチャーを検知したが、ＨＭＤ１００を装着している頭部を動かすと、ジェスチャーを正しく検知しにくくなる場合がある。この場合、頭部の動きを検知する他の検出部３３によって検出された検出結果を用いてジェスチャーを補正する処理を行ってもよい。
　上記実施形態において、ユーザーＵＲの手を動かすジェスチャーを用いて主に説明したが、ユーザーＵＲの頭部を動かす等の他のジェスチャーを用いてもよい。また、検出部３３の具体例は例示であり、他にも角速度センサー、加速度センサー、速度センサー、振動センサー、地磁気センサー、並びにジャイロ、及びこれらの組み合わせを用いてもよい。
　上記実施形態において、解除情報を解除表示情報と解除ジェスチャーとで一組としたものとしたが、これらの組み合わせが複数個集合したものを１つの解除情報としてもよい。この場合、例えば画面３１ｃ内に複数の解除表示情報を一括して表示することができる。また、例えば１つの解除表示情報に複数の解除ジェスチャーを関連づけることができ、複数の解除表示情報に１つの解除ジェスチャーを関連づけることができる。１つの解除表示情報に複数の解除ジェスチャーを関連づける場合、これら複数の解除ジェスチャーのうち１つ以上の規定数の解除ジェスチャーに対応する入力ジェスチャーを検出できればロックを解除するといった設定が可能である。

Claims (11)

  1. 　ユーザーへの情報を表示する表示部と、
    　入力ジェスチャーを認識するジェスチャー認識部と、
    　ロック解除時に表示する解除表示情報と前記解除表示情報に対応し、かつ意味をもつ解除ジェスチャーとを組み合わせた解除情報を記憶する記憶部と、
    　前記ジェスチャー認識部で認識した前記入力ジェスチャーと前記解除表示情報に対応する前記解除ジェスチャーとが一致するか否かを判断する判断部と、
    を備え、
    　前記ロック解除時に要求されるパスワードは、前記解除情報に含まれる少なくとも１つの前記解除表示情報を有する表示情報で構成され、
    　前記判断部が前記入力ジェスチャーと前記解除ジェスチャーとが一致すると判断した場合に、ロックを解除する、ウェアラブル電子機器。
  2. 　前記ジェスチャー認識部は、カメラ、輝度分布検出センサー、近接センサー、角速度センサー、加速度センサー、速度センサー、振動センサー、照度センサー、地磁気センサー、及びジャイロの少なくとも１つを有する、請求項１に記載のウェアラブル電子機器。
  3. 　前記表示部は、ヘッドマウントディスプレイのディスプレイユニットである、請求項１及び２のいずれか一項に記載のウェアラブル電子機器。
  4. 　前記表示情報は、文字、数字、及び図形の少なくも１つを含む、請求項１から３までのいずれか一項に記載のウェアラブル電子機器。
  5. 　前記記憶部は、前記解除情報を少なくとも一組有する、請求項１から４までのいずれか一項に記載のウェアラブル電子機器。
  6. 　前記解除ジェスチャーは、対象物の相対的な移動の軌跡である、請求項１から５までのいずれか一項に記載のウェアラブル電子機器。
  7. 　前記解除ジェスチャーは、上下方向、左右方向、及び斜め方向の少なくとも１つを含むスワイプ動作、及び一定時間同じ場所に留まるタップ動作の少なくとも１つを含む、請求項６に記載のウェアラブル電子機器。
  8. 　前記表示情報は、ランダムな順番、及びランダムなタイミングで切り替わる、請求項１から７のいずれか一項に記載のウェアラブル電子機器。
  9. 　前記パスワードは前記解除表示情報で全て構成され、
    　前記パスワードは要求毎に変動可能であり、
    　前記判断部が前記入力ジェスチャーと前記解除ジェスチャーとが全て一致すると判断した場合に、ロックを解除する、請求項１から８までのいずれか一項に記載のウェアラブル電子機器。
  10. 　前記パスワードは少なくとも１つの前記解除表示情報と、前記入力ジェスチャーを不要とする不要表示情報とで構成され、
    　前記パスワードのうち前記解除表示情報の表示順序は固定されており、前記不要表示情報は前記パスワードの要求毎に変動可能であり、
    　前記判断部が前記入力ジェスチャーと前記解除ジェスチャーとが全て一致すると判断し、かつ前記不要解除情報の表示時に前記入力ジェスチャーが行われていないと判断した場合に、ロックを解除する、請求項１から８までのいずれか一項に記載のウェアラブル電子機器。
  11. 　前記記憶部は、前記表示情報を記憶する、請求項１から１０までのいずれか一項に記載のウェアラブル電子機器。
PCT/JP2018/003318 2017-02-01 2018-01-31 ウェアラブル電子機器 WO2018143313A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-017129 2017-02-01
JP2017017129 2017-02-01

Publications (1)

Publication Number Publication Date
WO2018143313A1 true WO2018143313A1 (ja) 2018-08-09

Family

ID=63039818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003318 WO2018143313A1 (ja) 2017-02-01 2018-01-31 ウェアラブル電子機器

Country Status (1)

Country Link
WO (1) WO2018143313A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014609A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 情報処理装置、及び情報処理方法
US12099589B2 (en) 2019-06-11 2024-09-24 Vuzix Corporation Method for unlocking an electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078814A (ja) * 2012-10-10 2014-05-01 Olympus Corp 頭部装着型表示装置、ロック解除処理システム、プログラム及びロック解除処理システムの制御方法
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
WO2014147858A1 (ja) * 2013-03-19 2014-09-25 Ｎｅｃソリューションイノベータ株式会社 ３次元ロック解除装置、３次元ロック解除方法及びプログラム
JP2015095232A (ja) * 2013-11-14 2015-05-18 Ｊｆｅシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム
JP2016506530A (ja) * 2012-11-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー ヘッドマウントディスプレイ、およびこれを制御する方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078814A (ja) * 2012-10-10 2014-05-01 Olympus Corp 頭部装着型表示装置、ロック解除処理システム、プログラム及びロック解除処理システムの制御方法
JP2016506530A (ja) * 2012-11-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー ヘッドマウントディスプレイ、およびこれを制御する方法
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
WO2014147858A1 (ja) * 2013-03-19 2014-09-25 Ｎｅｃソリューションイノベータ株式会社 ３次元ロック解除装置、３次元ロック解除方法及びプログラム
JP2015095232A (ja) * 2013-11-14 2015-05-18 Ｊｆｅシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12099589B2 (en) 2019-06-11 2024-09-24 Vuzix Corporation Method for unlocking an electronic device
WO2022014609A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Similar Documents

Publication Publication Date Title
US8873147B1 (en) Chord authentication via a multi-touch interface
US20220075466A1 (en) External user interface for head worn computing
ES2776396T3 (es) Sistema integrado en la pantalla de clasificación de usuarios, seguridad y huellas digitales
KR102144205B1 (ko) 멀티-레벨 커맨드 감지 장치
EP2947561B1 (en) Glass-type terminal and method of controlling the same
US9921659B2 (en) Gesture recognition for device input
JP2014092940A (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US20150124069A1 (en) Information processing device and information processing method
US20170100664A1 (en) External user interface for head worn computing
CN110114777B (zh) 使用注视信息进行的用户的识别、认证和/或导引
JP6064316B2 (ja) 透過型表示装置、及び操作入力方法
KR20170137476A (ko) 모바일 디바이스 및 그 제어 방법
KR20150032019A (ko) 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
WO2017015093A1 (en) External user interface for head worn computing
JP2016208370A (ja) ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
JP2013114375A (ja) 表示システム、及び操作入力方法
US12099589B2 (en) Method for unlocking an electronic device
JP2013206412A (ja) ヘッドマウントディスプレイ及びコンピュータプログラム
WO2018143313A1 (ja) ウェアラブル電子機器
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
JP2013070227A (ja) 頭部装着型表示装置
KR101380718B1 (ko) 센싱 정보를 이용한 패스워드 인증 장치 및 그 방법
JP2018032383A (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
WO2015189987A1 (ja) ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法
JP6444345B2 (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18748061

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 18748061

Country of ref document: EP

Kind code of ref document: A1