WO2017018428A1 - ウェアラブル装置、制御方法及び制御プログラム - Google Patents

ウェアラブル装置、制御方法及び制御プログラム Download PDF

Info

Publication number
WO2017018428A1
WO2017018428A1 PCT/JP2016/071936 JP2016071936W WO2017018428A1 WO 2017018428 A1 WO2017018428 A1 WO 2017018428A1 JP 2016071936 W JP2016071936 W JP 2016071936W WO 2017018428 A1 WO2017018428 A1 WO 2017018428A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
display
body motion
upper limb
rotating body
Prior art date
Application number
PCT/JP2016/071936
Other languages
English (en)
French (fr)
Inventor
須藤 智浩
紗綾 三浦
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2017530889A priority Critical patent/JP6510648B2/ja
Priority to US15/747,754 priority patent/US20180217680A1/en
Publication of WO2017018428A1 publication Critical patent/WO2017018428A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • This application relates to a wearable device that can be worn on a user's head, a control method, and a control program.
  • the purpose of this application is to provide a wearable device that is easier to use.
  • a wearable device detects a rotating body motion accompanied by rotation of an arm in the upper limb from a detection unit capable of detecting a user's upper limb in a real space and a detection result of the detection unit. And a control unit that executes a predetermined process, and is attachable to the head.
  • the wearable apparatus which concerns on one aspect is a wearable apparatus which can be mounted
  • the control unit rotates with reversal from one to the other of a first state in which the upper limb included in the captured image is on the palm side and a second state in which the upper limb included in the captured image is on the back side of the hand.
  • a predetermined process is executed in response to the detection of the body movement.
  • the wearable device includes a detection unit capable of detecting an upper limb of a user in a real space, and an operation in which a part of the upper limb is separated from the wearable device based on a detection result of the detection unit.
  • a control unit that executes a predetermined process based on the detection of a specific body motion involving both of the movement of the other part of the upper limb approaching the wearable device and the head can be mounted on the head Is.
  • a control method is a control method executed by a wearable device that can be worn on a head, including a detection unit that can detect an upper limb of a user in a real space, and a control unit. Then, the control unit performs a predetermined process based on the detection of the rotating body motion accompanied by the rotation of the arm in the upper limb from the detection result of the detection unit.
  • the control program which concerns on one aspect is a wearable apparatus which can be mounted
  • FIG. 1 is a perspective view of a wearable device 1.
  • FIG. 2 is a block diagram of the wearable device 1.
  • FIG. It is the perspective view which showed typically the detection range 51 of the detection part 5, and the display area 21 of the display parts 2a and 2b.
  • FIG. 3B is a top view of FIG. 3A.
  • FIG. 3B is a side view of FIG. 3A.
  • FIG. 3 is a diagram for describing a first example of functions executed by wearable device 1.
  • FIG. 3 is a diagram for describing a first example of functions executed by wearable device 1.
  • 6 is a diagram illustrating a second example of a function executed by wearable device 1.
  • FIG. It is a figure explaining the 3rd example of the function performed by the wearable apparatus.
  • FIG. 10 is a diagram for explaining a second modification of the third to sixth examples.
  • FIG. 10 is a diagram for explaining a third modification of the third example to the sixth example. It is a figure explaining the 7th example of the function performed by the wearable apparatus. It is a figure explaining the 8th example of the function performed by the wearable apparatus. It is a figure explaining the 9th example of the function performed by the wearable apparatus.
  • FIG. 1 is a perspective view of the wearable device 1.
  • the wearable device 1 is a head mount type (or glasses type) device that is worn on the user's head.
  • the wearable device 1 has a front surface portion 1a, a side surface portion 1b, and a side surface portion 1c.
  • Front part 1a is arranged in front of the user so as to cover both eyes of the user when worn.
  • the side surface portion 1b is connected to one end portion of the front surface portion 1a
  • the side surface portion 1c is connected to the other end portion of the front surface portion 1a.
  • the side surface portion 1b and the side surface portion 1c are supported by a user's ear like a vine of glasses when worn, and stabilize the wearable device 1.
  • the side surface portion 1b and the side surface portion 1c may be configured to be connected to the back surface of the user's head when worn.
  • the front part 1a includes a display part 2a and a display part 2b on the surface facing the user's eyes when worn.
  • the display unit 2a is disposed at a position facing the user's right eye when worn, and the display unit 2b is disposed at a position facing the user's left eye when worn.
  • the display unit 2a displays an image for the right eye, and the display unit 2b displays an image for the left eye.
  • the wearable device 1 can realize three-dimensional display using parallax of both eyes by including the display unit 2a and the display unit 2b that display images corresponding to each eye of the user when worn. .
  • the display unit 2a and the display unit 2b are a pair of transmissive or semi-transmissive displays, but are not limited thereto.
  • the display unit 2a and the display unit 2b may include lenses such as an eyeglass lens, a sunglasses lens, and an ultraviolet cut lens, and the display unit 2a and the display unit 2b may be provided separately from the lenses.
  • the display unit 2a and the display unit 2b may be configured by a single display device as long as different images can be independently provided to the user's right eye and left eye.
  • the imaging unit 3 (out camera) is provided on the front part 1a.
  • the imaging unit 3 is disposed at the central portion of the front surface portion 1a.
  • the imaging unit 3 acquires an image in a predetermined range in the scenery in front of the user.
  • the imaging unit 3 can also acquire an image in a range corresponding to the user's field of view.
  • the field of view here is a field of view when the user is looking at the front, for example.
  • the imaging unit 3 includes an imaging unit disposed in the vicinity of one end (the right eye side at the time of mounting) of the front surface portion 1a and the other end (the left eye side at the time of mounting) of the front surface portion 1a. It may be constituted by two with the imaging unit arranged in.
  • an image in a range corresponding to the field of view of the user's right eye is acquired by the imaging unit disposed in the vicinity of one end portion (the right eye side when worn) of the front surface portion 1a.
  • An image in a range corresponding to the field of view of the user's left eye is acquired by an imaging unit disposed in the vicinity of the end portion (left eye side when worn).
  • an imaging unit 4 (in-camera) is provided on the front surface 1a.
  • the imaging unit 4 is arranged on the face side of the user in the front surface part 1a when the wearable device 1 is mounted on the user's head.
  • the imaging unit 4 acquires a user's face, for example, an image of an eye.
  • the front unit 1a is provided with a detection unit 5.
  • the detection part 5 is arrange
  • the side surface portion 1c is provided with an operation unit 6. The detection unit 5 and the operation unit 6 will be described later.
  • Wearable device 1 has a function of making a user visually recognize various information.
  • the wearable device 1 allows the user to visually recognize the foreground through the display unit 2a and the display unit 2b.
  • the wearable device 1 allows the user to visually recognize the foreground through the display unit 2a and the display unit 2b and the display contents of the display unit 2a and the display unit 2b. .
  • FIG. 2 is a block diagram of the wearable device 1.
  • the wearable device 1 includes display units 2a and 2b, an imaging unit 3 (out camera) and an imaging unit 4 (in camera), a detection unit 5, an operation unit 6, a control unit 7, and a communication unit 8. And a storage unit 9.
  • the display units 2a and 2b include a transflective or transmissive display device such as a liquid crystal display (Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) panel.
  • the display units 2a and 2b display various information as images in accordance with control signals input from the control unit 7.
  • the display units 2a and 2b may be projection devices that project an image onto the retina of the user using a light source such as a laser beam.
  • a configuration may be adopted in which a half mirror is installed on the lens portion of wearable device 1 simulating glasses and an image irradiated from a separately provided projector is projected (in the example shown in FIG. 1, the display unit 2a and 2b show rectangular half mirrors).
  • the display units 2a and 2b may display various information three-dimensionally. Further, various types of information may be displayed as if they exist in front of the user (a position away from the user).
  • a method for displaying information in this way for example, a frame sequential method, a polarization method, a linear polarization method, a circular polarization method, a top and bottom method, a side-by-side method, an anaglyph method, a lenticular method, a parallax barrier method, a liquid crystal parallax method. Any of a multi-parallax method such as a barrier method and a two-parallax method may be employed.
  • the imaging units 3 and 4 electronically capture an image using an image sensor such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging units 3 and 4 convert the captured image into a signal and output the signal to the control unit 7.
  • the detection unit 5 detects an actual object (predetermined object) existing in the foreground of the user.
  • the detection unit 5 is, for example, a real object that matches a pre-registered object (for example, a human hand or finger) or a pre-registered shape (for example, a human hand or finger). Is detected.
  • the detection unit 5 includes a sensor that detects an actual object.
  • the detection unit 5 includes, for example, an infrared irradiation unit that irradiates infrared rays, and an infrared imaging unit as a sensor that can receive infrared rays reflected from an actual predetermined object.
  • the infrared irradiation unit By providing the infrared irradiation unit on the front surface 1a of the wearable device 1, it is possible to irradiate infrared rays in front of the user. Further, the infrared imaging unit is provided on the front surface part 1a of the wearable device 1, so that infrared rays reflected from a predetermined object in front of the user can be detected. Note that the detection unit 5 may detect an actual object using at least one of visible light, ultraviolet light, radio waves, sound waves, magnetism, and capacitance in addition to infrared light.
  • the imaging unit 3 (out camera) may also serve as the detection unit 5. That is, the imaging unit 3 detects an object in the imaging range by analyzing the image to be captured.
  • the imaging unit 3 is provided on the front part 1a of the wearable device 1 as shown in FIG. 1 so that a predetermined object in front of the user can be imaged.
  • the operation unit 6 is, for example, a touch sensor disposed on the side surface 1c.
  • the touch sensor can detect a user's contact, and accepts basic operations such as starting and stopping the wearable device 1 and changing the operation mode according to the detection result.
  • the operation unit 6 is disposed on the side surface portion 1c is shown, but the present invention is not limited to this, and the operation portion 6 may be disposed on the side surface portion 1b, or may be disposed on the side surface portion 1b and the side surface portion 1c. It may be arranged on both sides.
  • the control unit 7 includes a CPU (Central Processing Unit) that is a calculation unit and a memory that is a storage unit, and implements various functions by executing programs using these hardware resources. Specifically, the control unit 7 reads a program or data stored in the storage unit 9 and expands it in a memory, and causes the CPU to execute instructions included in the program expanded in the memory. And the control part 7 reads / writes data with respect to a memory and the memory
  • a CPU Central Processing Unit
  • the communication unit 8 communicates wirelessly.
  • the wireless communication standards supported by the communication unit 8 include, for example, cellular phone communication standards such as 2G, 3G, and 4G, and short-range wireless communication standards.
  • Cellular phone communication standards include, for example, LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), WiMAX (Worldwide InteroperabilityCableD), WiMAX (Worldwide InteroperabilityCableD). (Global System for Mobile Communications), PHS (Personal Handy-phone System), and the like.
  • Examples of short-range wireless communication standards include IEEE 802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (Near Field Communication), and WPAN (Wireless Personal Area Network).
  • the communication unit 8 may support one or more of the communication standards described above.
  • the wearable device 1 can transmit and receive various signals, for example, by performing wireless communication connection with other electronic devices (smartphones, notebook computers, televisions, and the like) having a wireless communication function.
  • wearable device 1 includes a connector to which another electronic device is connected.
  • the connector may be a general-purpose terminal such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), Light Peak (Thunderbolt (registered trademark)), or an earphone microphone connector.
  • the connector may be a dedicated terminal such as a dock connector.
  • the connector may be connected to any device including, for example, an external storage, a speaker, and a communication device.
  • the storage unit 9 is composed of a nonvolatile storage device such as a flash memory, and stores various programs and data.
  • the program stored in the storage unit 9 includes a control program 90.
  • the storage unit 9 may be configured by a combination of a portable storage medium such as a memory card and a read / write device that reads from and writes to the storage medium.
  • the control program 90 may be stored in a storage medium.
  • the control program 90 may be acquired from a server device, a smartphone, a laptop computer, a television, or the like by wireless communication or wired communication.
  • the control program 90 provides functions related to various controls for operating the wearable device 1.
  • the control program 90 includes a detection processing program 90a and a display control program 90b.
  • the detection processing program 90a provides a function for detecting a predetermined object existing in the foreground of the user from the detection result of the detection unit 5.
  • the detection processing program 90a provides a function of detecting the position of the predetermined object in the foreground of the user and the operation of the predetermined object from the detection result of the detection unit 5.
  • the display control program 90b provides a function of displaying an image so as to be visible to the user and changing the display mode of the image according to the operation of a predetermined object.
  • the detection unit 5 will be described as a sensor that detects an actual predetermined object using infrared rays.
  • the detection unit 5 will be described as including an infrared irradiation unit that emits infrared rays and an infrared imaging unit that can receive infrared rays reflected from an actual predetermined object (having infrared sensitivity). That is, the control unit 7 detects an actual predetermined object from the captured image of the infrared imaging unit. Further, in the present embodiment, description will be made on the assumption that the display images are displayed as if the display units 2 a and 2 b exist at a position away from the wearable device 1.
  • FIG. 3A is a perspective view schematically showing the detection range 51 of the detection unit 5 and the display areas 21 of the display units 2a and 2b.
  • 3B is a top view of FIG. 3A
  • FIG. 3C is a side view of FIG. 3A.
  • a three-dimensional orthogonal coordinate system including an X axis, a Y axis, and a Z axis is defined.
  • the X-axis direction refers to the horizontal direction
  • the Y-axis direction refers to the vertical direction or the long-axis direction of the user's body.
  • the Z-axis direction is the user's front-rear direction.
  • the Z-axis positive direction indicates the direction of a greater depth in the irradiation of the infrared irradiation unit included in the detection unit 5.
  • FIG. 3C corresponds to the field of view when the user visually recognizes the front.
  • the detection range 51 has a three-dimensional space.
  • the detection unit 5 including an infrared irradiation unit and an infrared imaging unit can detect a predetermined object in front of the user as a two-dimensional image and detect the shape of the predetermined object.
  • the detection unit 5 detects a predetermined object as a two-dimensional image and can acquire depth data corresponding to the position coordinate data of each pixel of the image (that is, a depth image to which depth data is added). Can get).
  • the depth data is data indicating a distance from the detection unit 5 to an actual object (predetermined object) corresponding to each pixel in the two-dimensional image.
  • the control unit 7 Based on the detection result of the detection unit 5, the control unit 7 operates the predetermined object when, for example, the predetermined object is a user's arm, hand, finger, or a combination of these (generally referred to as an upper limb).
  • the predetermined object is a user's arm, hand, finger, or a combination of these (generally referred to as an upper limb).
  • body movement such as finger bending / extension, wrist bending, forearm rotation (inward or outward), or hand / finger rotation associated with forearm rotation.
  • body movement such as finger bending / extension, wrist bending, forearm rotation (inward or outward), or hand / finger rotation associated with forearm rotation.
  • the rotation of the forearm (pronation or rotation) or the rotation of the hand or finger accompanying the rotation of the forearm is referred to as “rotary body movement”.
  • “Rotating body movement” means not only the movement of the palm side and back of the hand by the 180 degree rotation of the forearm, but also the rotation of the forearm less than 180 degrees due to the rotation of the forearm less than 180 degrees, It also includes hand and finger rotation due to rotation at an angle greater than 180 degrees.
  • control unit 7 may detect that the position of the specific part of the upper limb moves within the detection range 51 as a body motion in addition to the above-described body motion. Further, the control unit 7 may detect that the upper limb has formed a specific shape as a body motion. For example, a form (good sign) in which the thumb is stretched upward and another finger is gripped may be detected as the body motion.
  • control unit 7 actually rotates based on the change in the shape of the upper limb detected by the detection unit 5 in the process of rotating the forearm when detecting the rotational body motion among the body motions described above. Can detect body movements.
  • the control unit 7 can also detect the rotation angle of the upper limb in the rotating body motion based on the change in the shape of the upper limb detected by the detection unit 5 in the process of rotating the forearm.
  • control unit 7 can actually detect the rotating body motion based on the change in the depth data of the upper limbs in the process of rotating the forearm.
  • the control unit 7 can also determine at least two regions in the upper limb in advance and detect a rotating body motion based on relative changes in depth data of the two regions during the forearm rotation process. For example, when the forearm is rotated (pronunciation or pronation) with two of the five fingers in the upper limb extended, one finger moves closer to the detection unit 5 according to the rotation. Since the other finger moves to a position further away from the detection unit 5, it is possible to actually detect the rotating body movement by detecting the change in the depth data based on the movement of these positions.
  • the control unit 7 can also detect the rotation angle of the upper limb in the rotating body operation based on the change in the depth data that changes according to the rotation operation of the forearm.
  • the control unit 7 detects the upper limb on the palm side, while the central part is If it is convex in the depth direction, it can be determined that it is on the back side of the hand.
  • the control unit 7 detects a predetermined object in the detection range (in the imaging range), as in the detection unit 5. It is possible to detect the operation of a predetermined object.
  • control unit 7 detects the rotational body motion among the body motions described above, it is actually based on the change in the shape of the upper limb in the captured image of the imaging unit 3 in the process of rotating the forearm. Rotating body motion can be detected.
  • the control unit 7 can also detect the rotation angle of the upper limb in the rotating body motion based on the change in the shape of the upper limb in the captured image in the process of rotating the forearm.
  • control unit 7 can analyze the captured image and determine whether it is the palm side or the back side of the hand depending on whether or not the hand nail is detected in the region recognized as the hand in the captured image. (I.e., if the nail is not detected, it is determined to be the palm side, and if the nail is detected, it is determined to be the back side of the hand). It may be detected that a rotating body motion has been made. Based on the change in the shape of the nail of the hand in the captured image or the change in the size of the area regarded as the nail in the process of rotating the forearm, the control unit 7 determines the rotation angle of the upper limb in the rotating body motion. It can also be detected.
  • the detection method of the rotating body movement is the palm side or the back side of the hand based on whether or not there is a palm print (hand wrinkle) in the region recognized as the hand in the captured image. It may be possible to determine whether or not the rotating body motion is detected based on the change from one of the palm side and the back of the hand to the other due to the body motion.
  • the display units 2 a and 2 b are visually recognized by the user in the display area 21 that is located away from the wearable device 1, not the part of the actually provided wearable device 1. Images are displayed as possible (hereinafter, the images displayed by the display units 2a and 2b may be referred to as display images). At this time, the display units 2a and 2b may display the display image as a solid 3D object having a depth. Note that the depth corresponds to the thickness in the Z-axis direction. However, the display units 2a and 2b do not display an image so as to be visible in the display area 21 away from the wearable device 1, but display images on the display units 2a and 2b of the actually provided wearable device 1. May be displayed.
  • FIG. 4 is a diagram illustrating a first example of functions executed by wearable device 1. *
  • FIG. 4 shows the display unit 2a or 2b (hereinafter also simply referred to as the display unit 2), the display area 21, and the upper limb of the user of the wearable device 1.
  • the display unit 2a or 2b hereinafter also simply referred to as the display unit 2
  • the display area 21 the upper limb of the user of the wearable device 1.
  • illustration of other components in the wearable device 1 is omitted.
  • FIG. 4 shows an area that can be visually recognized by a user in two dimensions. The same applies to the examples of FIGS. 5 to 20 described later.
  • step S1 the user visually recognizes the back side BH of the right hand H (hereinafter also simply referred to as the hand BH) as the upper limb of the user over the display area 21.
  • the hand BH is in the detection range 51 of the detection unit 5, and therefore the wearable device 1 recognizes the presence of the hand BH based on the detection result of the detection unit 5.
  • the wearable device 1 displays an icon group OB1 including a plurality of icons indicating that a predetermined function associated in advance can be executed by a user operation (instruction operation such as selection / execution). Part 2 is displayed.
  • the icon group OB1 is displayed as a transparent or translucent image in the first example. Therefore, the user can visually recognize the upper limb through the icon group OB1, but the present invention is not limited to this.
  • the icon group OB1 may be displayed as an opaque image.
  • step S1 when the user moves the hand BH so that the fingertip of the index finger of the hand BH overlaps the display range of one icon OB101 in the icon group OB1, the wearable device 1 causes the icon OB101 to be displayed by the user. Assuming that the icon has been selected, the display mode of the icon OB101 is changed (step S2). Wearable device 1 preliminarily estimates the range of the actual space that is visually recognized by the user and superimposed on display region 21, and accordingly, any one of display regions 21 depends on the detection position of the index finger within the range. It is possible to estimate whether or not the position is visually recognized. In the present embodiment, the icon or the icon group is defined as one of the display images.
  • step S3 the wearable device 1 detects that a rotating body motion has been performed. Wearable device 1 considers that the user has performed an operation for executing the function associated with icon OB101 based on the detection of the rotating body motion, and starts executing the function (step S4).
  • step S ⁇ b> 4 the wearable device 1 displays the function execution screen SC ⁇ b> 1 in the display area 21 of the display unit 2 in accordance with the execution of the function associated with the icon OB ⁇ b> 101.
  • the palm side of the right hand H is referred to as a hand PH.
  • the wearable device 1 includes the detection unit 5 that can detect the user's upper limb in the real space, and the rotation accompanied by the rotation of the arm in the upper limb from the detection result of the detection unit 5. And a control unit 7 that executes a predetermined process (activation of a function associated with the icon OB101 in the first example) based on the detection of the body motion.
  • the wearable device 1 includes a display unit 2 that displays a display image in front of the user's eyes, and the control unit 7 performs a first process on the display image (in the first example) as a predetermined process.
  • a predetermined process Execution of a function associated with the icon OB101 or display of the execution screen SC1).
  • the “first process” to be described is a process mainly related to control of a predetermined display.
  • the wearable device 1 is not configured to execute a predetermined function based on the movement of the upper limb, but is more unlikely to move unintentionally, and is a physical action involving a forearm rotation action. Therefore, it is possible to prevent an erroneous operation from occurring.
  • the detection unit 5 includes the infrared irradiation unit and the infrared imaging unit.
  • the imaging unit 3 may also serve as the detection unit.
  • the wearable device 1 detects the user's upper limb from the imaging unit (the imaging unit 3 or the infrared imaging unit in the detection unit 5 described above) and the captured image captured by the imaging unit.
  • a wearable device that can be worn by the user and includes a first state in which the upper limb included in the captured image is on the palm side and the upper limb included in the captured image is on the back side of the hand
  • the predetermined processing may be executed when a rotating body motion involving reversal from one of the second states to the other is detected.
  • the wearable device 1 detects the rotating body motion based on the detection of the body motion accompanying the reversal from the back side of the hand to the palm side, that is, the rotation of the forearm by 180 degrees.
  • the present invention is not limited to this, and a configuration in which a rotating body motion is detected based on detection of rotation of an upper limb that is greater than or equal to a predetermined angle accompanying rotation of the forearm may be employed.
  • the case where the position of the fingertip of the index finger of the right hand H does not change before and after performing the rotating body motion is illustrated.
  • the user performs a rotating body motion with the extended index finger as the rotation axis.
  • the mode of rotating body motion is not limited to this.
  • a configuration in which the rotation axis does not coincide with the index finger and the position of the fingertip of the index finger is different before and after performing the rotating body motion may be detected as the rotating body motion. That is, in the wearable device 1, when the control unit 7 detects the rotating body motion, the control unit 7 selects a display image (object OB101 in the first example (step S2) based on the position of the upper limb at the time before the detection of the rotating body motion.
  • the first processing related to)) may be executed.
  • the wearable device 1 when the position of the fingertip (predetermined region in the upper limb) of the index finger is different before and after performing the rotating body motion, the wearable device 1 does not execute a predetermined process depending on the rotational body motion.
  • a predetermined process may be executed based on the detection of the rotating body motion.
  • FIG. 5 is a diagram illustrating a first example of functions executed by the wearable device 1 following FIG. Step S4 shown in FIG. 5 is the same state as step S4 shown in FIG. 4, that is, a state where a function based on the icon OB101 is being executed.
  • step S4 when the user rotates the forearm in the direction opposite to the direction in step S2 in FIG. 4 (rotation in the direction indicated by the dotted arrow in FIG.
  • the wearable device 1 considers that the user has performed the end operation of the function associated with the icon OB101, and ends the function execution (step S5).
  • step S5 the wearable device 1 hides the execution screen SC1 when the function execution ends.
  • the control unit 7 performs a body motion (one in the first example) that involves one of the pronation and supination operations of the arm as the rotation body motion.
  • a predetermined process is executed based on the detection of the motion), and during the execution of the first process, a physical action involving the other of the pronation and supination (in the first example, pronation)
  • the first process is terminated based on the detection of the first.
  • execution of the predetermined process in the first example may be execution of a function associated with the icon OB101 or display of a function execution screen SC1 as the first process accompanying execution of the function.
  • the end of the first process in the first example may end the execution of the function associated with the icon OB101, and the function execution screen as the first process accompanying the end. SC1 may not be displayed.
  • the wearable apparatus 1 which concerns on this embodiment differs from the said structure, and the control part 7 detected the body motion accompanied by one of the pronation operation
  • the first process is executed based on the detection of the body action accompanied by the other one of the pronation action and the pronation action within a predetermined time after the execution of the first process.
  • the second process including the control content of the pair may be executed. For example, when the electronic file selected before the physical movement is deleted based on the detection of the physical movement accompanied by one of the pronation movement and the supination movement of the arm, after the deletion is made. If the other of the pronation and supination movements of the arm is detected within a predetermined time, the deleted electronic file may be returned (or restored) to the original position.
  • the wearable device 1 when the wearable device 1 detects the rotating body motion, the wearable device 1 stores whether the rotating body motion is accompanied by the pronation or supination motion of the arm, executes a predetermined process, and executes the predetermined process. You may make it monitor whether the rotation body motion opposite to the stored rotation body motion is detected during execution or within the predetermined time after execution.
  • the function is executed based on the transition from the back BH of the hand to the palm PH, and the function is stopped based on the transition from the palm PH to the back BH. It is not limited to this, and the reverse configuration may be used. That is, the function may be executed based on the transition from the palm side PH to the back side BH of the hand, and the function may be stopped based on the transition from the back side BH to the palm side PH.
  • the wearable device 1 includes a body motion that involves a rotational motion (for example, an outward motion) of the forearm in a first direction and a rotational motion of the forearm in a second direction opposite to the first direction. The same predetermined process may be performed by any of physical movements (for example, pronation movements).
  • FIG. 6 is a diagram for explaining a second example of functions executed by the wearable device 1.
  • the wearable device 1 displays a hand object OH imitating a user's upper limb in the display area 21 of the display unit 2.
  • the hand object OH is an image having a shape substantially the same as the shape of the upper limb of the user detected by the detection unit 5 at the display position based on the position of the upper limb of the user in the actual predetermined space detected by the detection unit 5. Is displayed.
  • the wearable device 1 can appropriately set a detection range for specifying the position of the display area 21 in the detection range 51 of the detection unit 5. Even if it is not raised, an operation based on the body motion of the upper limb is possible.
  • step S11 it is assumed that the user faces the back of the hand toward the detection unit 5 in the real space. Based on detecting the back side of the user's upper limb, the detection unit 5 displays the hand object OBH on the display unit 2 representing the back side of the upper limb hand.
  • step S11 wearable device 1 displays icon group OB1 including a plurality of icons.
  • the wearable device 1 uses the icon OB101.
  • the display mode of the icon OB101 is changed (step S12).
  • the wearable device 1 When the user rotates the forearm (in the direction of the dotted arrow in FIG. 6, that is, rotation) in a state where the icon OB101 is selected, the wearable device 1 detects that a rotating body motion has been performed. At the same time, the display mode of the hand object OBH in the state of the back of the hand is reversed to the state of the palm side (step S13). The wearable device 1 considers that the user has performed an operation for executing the function associated with the icon OB101 based on the detection of the rotating body motion, and starts executing the function (step S14).
  • step S ⁇ b> 14 the wearable device 1 displays the function execution screen SC ⁇ b> 1 in the display area 21 of the display unit 2 in accordance with the execution of the function associated with the icon OB ⁇ b> 101.
  • the hand object OH in the palm side state is represented as a hand object OPH.
  • the rotating body motion is performed before the rotating body motion is performed. Later, the front-rear relationship between the icon OB101 and the hand object OH superimposed on each other may be changed.
  • the hand object OH is displayed in front of the icon OB101, that is, the hand object OH is displayed with priority over the object OB101.
  • the hand object OH may be changed to a display mode in which the hand object OH is displayed behind the object OB101, that is, the icon OB101 is displayed with priority over the hand object OH.
  • a display mode in which a part of two images overlap each other and a part of one display image is displayed with priority over a part of the other image is referred to as “a plurality of display images are in a context. It is displayed.
  • FIG. 7 is a diagram for explaining a third example of functions executed by the wearable device 1.
  • the wearable device 1 displays a hand object OH having substantially the same shape as the shape of the upper limb in the real space on the display unit 2 at a display position based on the position of the upper limb in the real space.
  • the wearable device 1 displays the object OB2 and the object OB3 in the display area 21 of the display unit 2.
  • the objects OB2 and OB3 are displayed in a partially overlapping manner.
  • the object OB2 is displayed in front of the object OB3, that is, the object OB2 is given priority over the object OB3. That is, the plurality of display images (objects OB2 and OB3) are displayed in a front-rear relationship.
  • any object called “object (excluding a hand object)” corresponds to a display image.
  • step S21 the user points the back side of the hand toward the detection unit 5 in the real space.
  • the wearable device 1 displays the hand object OBH in which the back side of the upper limb hand is represented in the display area 21 based on the detection of the back side of the user's upper limb from the detection result of the detection unit 5. Since the user separates the index finger and the thumb from each other, the fingertip F of the index finger and the fingertip T of the thumb in the hand object OBH are displayed separately from each other. In the hand object OBH, the fingertip F of the index finger is superimposed on the object OB3, and the fingertip T of the thumb is superimposed on the object OB2.
  • the wearable device 1 considers that both the object OB2 and the object OB3 are selected by the user.
  • the wearable device 1 is configured such that the hand object OBH has a fingertip F around the forefinger and the thumb. A circular display effect is displayed around the fingertip T.
  • step S21 when the user rotates the forearm (in the direction of the dotted arrow in FIG. 7, ie, rotation) (step S22), the wearable device 1 detects that the rotating body motion has been performed, and the object The anteroposterior relationship between OB2 and object OB3 is changed (step S23). As shown in step S23, the object OB3 is changed to a display mode in which the object OB3 is displayed in front of the object OB2, that is, the object OB3 is displayed with priority over the object OB2 based on the change in the context. .
  • the wearable device 1 displays the hand object OPH in which the palm side of the upper limb is represented in the display area 21 after detecting the rotating body motion.
  • the display unit 2 displays a plurality of display images
  • the control unit 7 detects the rotating body motion in a state where the plurality of display images are designated. The first processing is executed.
  • control part 7 is based on the fact that the hand object OH displayed based on the position of the upper limb is superimposed on the display image when the upper limb is at a predetermined position in the real space. It can be considered that the display image is designated. Even when it is estimated that the position of the upper limb in the real space is visually recognized by the user as if the display image is superimposed, it may be considered that the display image is designated by the upper limb.
  • control unit 7 designates the first display image of the plurality of display images by a part of the upper limb (fingertip of the index finger), and the second display image of the plurality of display images is the other part of the upper limb (
  • the first process may be executed when a rotating body motion is detected in a state designated by the fingertip of the thumb).
  • control unit 7 has a configuration for changing the front-rear relationship of a plurality of display images as the first process.
  • the object OB2 is specified when the fingertip T of the thumb overlaps the object OB2
  • the object OB3 is specified when the fingertip F of the index finger overlaps the object OB3.
  • the present invention is not limited to this configuration.
  • FIG. 8 is a diagram for explaining a fourth example of functions executed by the wearable device 1.
  • the wearable device 1 displays the hand object OH having substantially the same shape as the shape of the upper limb in the real space on the display unit 2 at a display position based on the position of the upper limb in the real space.
  • the wearable device 1 displays the object OB4 and the object OB5 in the display area 21 of the display unit 2. Most of the objects OB4 and OB5 are displayed in a superimposed manner. The object OB4 is displayed in front of the object OB5, that is, the object OB4 has priority over the object OB5.
  • step S31 the user points the back side of the hand toward the detection unit 5 in the real space.
  • the detection unit 5 in the wearable device 1 displays a hand object OBH representing the back side of the upper limb on the display unit 2 based on detecting the back side of the upper limb of the user. Further, the user moves the hand object OBH to a position overlapping the object OB4 by moving the upper limb to a predetermined position in the real space. At this time, the wearable device 1 recognizes from the detection result of the detection unit 5 that a part of the hand object OBH is superimposed on the object OB4.
  • step S31 when the user rotates the forearm (in the direction of the dotted arrow in FIG. 8, ie, rotation) (step S31), the wearable device 1 detects that the rotating body motion has been performed, and the object The front-rear relationship between OB4 and object OB5 is changed. (Step S32). As shown in step S32, the object OB5 is changed to a display mode in which the object OB5 is displayed ahead of the object OB4, that is, the object OB5 is given priority over the object OB4, based on the change in the context. .
  • the object OB2 is designated by superimposing the fingertip T of the thumb, which is a part of the upper limb, on the object OB2, as in the third example, and the index finger, which is the other part of the upper limb, Even if the object OB3 is not designated by superimposing the fingertip F on the object OB3, the front-rear relation of the plurality of display images having the front-rear relation can be changed by the rotating body motion.
  • FIG. 9 is a diagram for explaining a fifth example of functions executed by the wearable device 1.
  • the wearable device 1 displays the hand object OH having substantially the same shape as the shape of the upper limb in the real space on the display unit 2 at a display position based on the position of the upper limb in the real space.
  • the wearable device 1 displays the object OB6 and the object OB7 in the display area 21 of the display unit 2.
  • the object OB6 and the object OB7 are displayed so as to overlap each other.
  • the object OB6 is displayed ahead of the object OB7, that is, the object OB6 is given priority over the object OB7.
  • step S41 the user points the back side of the hand toward the detection unit 5 in the real space.
  • the detection unit 5 displays the hand object OBH on the display unit 2 representing the back side of the upper limb hand. Since the user separates the index finger and the thumb from each other, the fingertip of the index finger and the fingertip of the thumb in the hand object OBH are displayed separately from each other.
  • the hand object OBH the fingertip of the index finger is superimposed on the object OB7, and the fingertip of the thumb is superimposed on the object OB6.
  • the wearable device 1 considers that both the object OB6 and the object OB7 are selected by the user.
  • the wearable device 1 uses the surroundings of the fingertips of the index finger and the fingertips of the thumb in the object OBH. Each display effect is displayed around.
  • step S41 when the user rotates the forearm (in the direction of the dotted arrow in FIG. 9, ie, rotation) (step S42), the wearable device 1 detects that the rotating body motion has been performed and designates it. The display positions of the object OB6 and the object OB7 thus switched are switched (step S43).
  • the wearable device 1 interchanges the display positions of the objects OB6 and OB7, the corner closest to the object OB7 in the object OB6 (the upper right corner in step S42) is before the rotating body motion (step In S42), the display position is changed to a position that coincides with the upper right corner of the object OB7. Further, the wearable device 1 has the corner portion of the object OB7 closest to the object OB6 (lower left corner portion in step S42) coincides with the lower left corner portion of the object OB6 before the rotating body motion (step S42). Change the display position to position.
  • the mode of switching the display positions of the objects OB6 and OB7 is not limited to this.
  • the wearable device 1 is configured such that a specific point in the object OB6 (for example, the center position of the object OB6) and a point corresponding to the specific point of the object OB6 in the object OB7 (center position of the object OB7) are interchanged.
  • the display position of each object may be switched.
  • the wearable device 1 detects the rotating body motion, the wearable device 1 aligns a part of the upper limb that designates each of the two display images and the other part, or the rotational direction in the rotating body motion (both in the fifth example).
  • the relative relationship between the display positions of the two display images may be switched in the detected direction (X-axis direction).
  • the relationship between the relative display positions of the two display images in the Y-axis direction is not particularly limited. Also, unlike the above example, if the part of the upper limb that designates each of the two display images is aligned with the other part, or if the rotational direction in the rotating body motion is the Y-axis direction, 2 You may make it replace the relative relationship in the Y-axis direction of the display position of one display image.
  • the wearable device 1 moves the display position of the object OB6 that overlaps the fingertip of the thumb of the hand object OH to a position that overlaps at least the fingertip of the thumb after the rotating body motion, while the index finger of the hand object OH moves.
  • the display position of the object OB7 superimposed on the fingertip may be moved to a position at least superimposed on the fingertip of the index finger after the rotating body motion.
  • the control unit 7 has a configuration in which the display positions of a plurality of display images are switched as the first process based on the detection of the rotating body motion.
  • the fingertip positions of the two fingers are switched by the rotating body motion.
  • the display position is simply switched between before and after the rotating body motion as display control. Although illustrated, it is not limited to such a configuration.
  • FIG. 10 is a diagram for explaining a sixth example of functions executed by the wearable device 1.
  • the left side in FIG. 10 shows an area that can be viewed two-dimensionally by the user (corresponding to the XY plane in FIG. 3), and the right side is viewed from above the user's head in the vertical direction.
  • An area that is sometimes visually recognized (corresponding to the XZ plane in FIG. 3) is shown.
  • the wearable device 1 displays the hand object OH having substantially the same shape as the shape of the upper limb in the real space on the display unit 2 at a display position based on the position of the upper limb in the real space.
  • the wearable device 1 displays the object OB8 and the object OB9 in the display area 21.
  • step S51 the user points the back side of the hand toward the detection unit 5 in the real space.
  • the detection unit 5 displays a hand object OBH representing the back side of the upper limb's hand in the display area 21 (left side of step S51). Since the user separates the index finger and the thumb from each other, F and the fingertip T of the thumb are displayed apart from each other at the fingertip of the index finger in the hand object OBH.
  • the fingertip F of the index finger is superimposed on the object OB9, and the fingertip region T of the thumb is superimposed on the object OB8.
  • the wearable device 1 considers that both the object OB8 and the object OB9 are selected by the user.
  • step S51 the fingertip F of the index finger and the fingertip T of the thumb on the user's upper limb are in a state of being approximately the same distance in the Z-axis direction. That is, the state shown in step S51 is a state in which the user visually recognizes that both the fingertip F of the index finger and the fingertip T of the thumb are at a position that is approximately the same distance from the user.
  • the fingertip F of the index finger and the fingertip T of the thumb are separated from each other by a distance d1 indicated by a double arrow in the X-axis direction.
  • step S51 the wearable device 1 detects that the rotating body motion has been performed, and detects the X-axis direction component d2 in the distance between the fingertip F of the index finger and the fingertip T of the thumb.
  • the distance d2 in step S52 is smaller than the distance d1 in step S51.
  • the wearable device 1 determines an angle corresponding to the amount of change in the distance d based on the change in the distance d between the fingertip F of the index finger and the fingertip T of the thumb due to the rotating body motion. Detect as.
  • the wearable device 1 detects that the rotating body motion is detected in step S51, and the object OB8 is based on the fact that the distance between the index fingertip F and the thumb fingertip T has decreased from the distance d1 to the distance d2. And the object OB9 in the X-axis direction are reduced (step S52).
  • step S52 when the user further rotates the forearm (in the direction of the dotted arrow in FIG. 10, ie, rotation), the wearable device 1 moves between the fingertip F of the index finger and the fingertip T of the thumb.
  • the amount of change in the distance d is detected again.
  • the wearable device 1 detects that the distance d between the fingertip F of the index finger and the fingertip T of the index finger has become zero after the state where the distance d between the fingertip F of the index finger and the fingertip T of the thumb becomes zero, and thereby the fingertip F of the index finger. It is detected that the relative position in the X-axis direction with the fingertip T of the thumb has been switched.
  • the wearable device 1 indicates that the index fingertip F is positioned on the right side of the thumb fingertip T in step S52, whereas the index fingertip F is higher than the thumb fingertip T in step S53. Detect that it is located on the left side.
  • the wearable device 1 changes the relative positions in the X-axis direction between the index fingertip F and the thumb fingertip T in the X-axis direction between the objects OB8 and OB9 as shown in step S53.
  • the relative position is changed.
  • the wearable device 1 displayed each object so that the object OB9 is positioned on the right side of the object OB8 in step S52, whereas in step S53, the object OB9 is on the left side of the object OB8.
  • the display positions of the respective objects are changed so as to be positioned, and the objects OB9 and OB8 are displayed apart from each other by a distance corresponding to the distance d3 between the fingertip F of the index finger and the fingertip T of the thumb.
  • the wearable device 1 when the control unit 7 detects a rotating body motion, a part of the upper limb (index fingertip) and another part (thumb fingertip) associated with the rotating body motion.
  • the relative position between the first display image and the second display image is changed in accordance with the change in the component in the predetermined direction (distance d) in the distance between the first display image and the second display image.
  • the wearable device 1 does not change the component in the predetermined direction (distance d) in the distance between a part of the upper limb and the other part due to the rotating body motion, but changes the first according to the rotation angle in the rotating body motion.
  • the relative position between the display image and the second display image may be changed.
  • step S51 when the user rotates the forearm (in the direction of the dotted arrow in FIG. 10, ie, rotation), the wearable device 1 detects that the rotating body motion has been performed.
  • the rotation angle of the upper limb in the rotating body motion is detected.
  • the rotation angle is determined by an imaginary line v between an arbitrary point (for example, the center) at the fingertip F of the index finger and an arbitrary point (for example, the center) at the fingertip T of the thumb, and X
  • the amount of change in the angle ⁇ formed by the reference line x parallel to the axis may be used.
  • step S51 The state shown in step S51 is that the index finger 1 and the fingertip T of the index finger are both at a position that is approximately the same distance from the user, that is, the imaginary line v1 is parallel to the reference line x. Is zero.
  • step S52 the virtual body v2 is not parallel to the reference line x due to the rotating body motion, and the angle ⁇ changes from the angle ⁇ 1 to the angle ⁇ 2.
  • the rotation angle may be defined as an angle at which the line segment is inclined with respect to an arbitrary point, for example, the center point of the line segment between the fingertip F of the index finger and the fingertip T of the thumb.
  • the detection method of the rotation angle the above-described various methods and other known methods may be appropriately employed.
  • the wearable device 1 is configured in the X-axis direction based on the fact that the angle ⁇ formed by the virtual line v and the reference line x is changed from the angle ⁇ 1 to ⁇ 2 (0 ° ⁇ ⁇ 1 ⁇ 2 ⁇ 90 °) by the rotating body motion. Then, it is assumed that the fingertip F of the index finger and the fingertip T of the thumb are close to each other, and using this as a trigger, the display position is changed so as to reduce the distance in the X-axis direction between the object OB8 and the object OB9 (step S52). When the wearable device 1 displays the object OB8 and the object OB9 with a small distance in the X-axis direction, the object OB8 and the object OB9 are partially overlapped and displayed.
  • step S52 when the user further rotates the forearm (in the direction of the dotted arrow in FIG. 10, ie, rotation), the wearable device 1 again determines the rotation angle of the upper limb, that is, the amount of change in the angle ⁇ . To detect.
  • the wearable device 1 changes from step S52 to step S53 by rotating body motion, so that the angle ⁇ between the virtual line v and the reference line x changes from the angle ⁇ 2 (0 ° ⁇ ⁇ 2 ⁇ 90 °) to the angle ⁇ 3 (90 Based on the change to (° ⁇ ⁇ 3 ⁇ 180 °), it is detected that the relative positions in the X-axis direction between the fingertip F of the index finger and the fingertip T of the thumb are switched.
  • the wearable device 1 changes the relative positions in the X-axis direction between the index fingertip F and the thumb fingertip T in the X-axis direction between the objects OB8 and OB9.
  • the relative display position is changed.
  • the wearable device 1 changes the positions of the objects OB8 and OB9, and displays the objects OB9 and OB8 apart from each other by a distance corresponding to the angle ⁇ 3.
  • the wearable device 1 changes the display mode so that the object OB8 and the object OB9 are closer as the angle ⁇ is larger in the range where the angle ⁇ is 0 ° ⁇ ⁇ ⁇ 90 °.
  • step S53 the virtual line v3 is not parallel to the reference line x.
  • the control unit 7 when detecting the rotating body motion, the control unit 7 detects the rotation angle (change amount of the angle ⁇ ) in the rotating body motion, and performs the first process. In this configuration, the relative positions of the plurality of display images are changed according to the rotation angle (change amount of the angle ⁇ ).
  • a plurality of display images are displayed in accordance with a change in a component in a predetermined direction in a distance between a part of an upper limb and another part due to a rotating body motion, or a rotation angle in the rotating body motion.
  • the wearable device 1 may measure the duration time of the rotating body motion and change a plurality of relative positions based on the duration time.
  • the wearable device 1 detects that a part of the upper limb has approached the wearable device 1 by a first predetermined distance while the other part of the upper limb has moved away from the wearable device 1 by a second predetermined distance. Based on the above, it may be considered that the rotating body motion has started.
  • the two displays are performed on the basis that the rotating body motion is detected in a state where at least a part of the hand object OH is superimposed on at least one of the two display images.
  • the configuration for changing the context of the image or the display position is exemplified, the configuration is not limited to such a configuration.
  • the object OB8 is selected by bending the index finger with the index finger of the hand object OBH superimposed on the object OB8 (step S61), and then the index finger of the hand object OBH is selected.
  • the object OB9 is selected by bending the index finger in a state of being superimposed on the object OB9 (step S62).
  • step S63 When the rotating body motion is performed in a state where the objects OB8 and OB9 are selected and the hand object OBH is not superimposed on the objects OB8 and OB9 (step S63), the wearable device 1 detects that the rotating body motion is detected. Based on this, the display positions of the object OB8 and the object OB9 are switched (step S64).
  • the wearable device 1 recognizes in advance the direction P1 defined by the display position of the object OB8 and the display position of the object OB9 (step S71).
  • the direction P1 is represented by an imaginary line passing through a predetermined location (for example, the central coordinate position) of the object OB8 and a predetermined location (center coordinate position) of the object OB9 corresponding thereto. It is prescribed.
  • a direction P2 defined by a virtual line passing through the fingertip is detected.
  • the wearable device 1 determines whether the angle formed by the direction P1 and the direction P2 is within a predetermined range. If the wearable device 1 determines that the angle is within the predetermined range, the display positions of the object OB8 and the object OB9 are switched. (Step S72). Even with such a configuration, it is possible to change the front-rear relationship or display position of a plurality of display images without superimposing the upper limbs on the display image.
  • the predetermined angle range may be defined to be, for example, less than 30 °.
  • the wearable device 1 does not compare the direction P1 and the direction P2, for example, decomposes each of the direction P1 and the direction P2 into a component in the X-axis direction and a component in the Y-axis direction. If the directions coincide with each other, the front-rear relationship or display position of the plurality of display images may be changed based on the rotating body motion. In the example of FIG. 12, since the component in the X-axis direction is larger than the component in the Y-axis direction in both the direction P1 and the direction P2, it is controlled that the detected rotating body motion is effective as an operation for the first process. Determined by the unit 7.
  • the wearable device 1 detects the rotating body motion of the upper limb in the state where the index finger and thumb of the hand object OBH are extended, the hand object OBH immediately before the rotating body motion is performed is detected.
  • An imaginary line P3 is generated that passes through the index finger and the thumb fingertip (step S81).
  • the wearable device 1 determines whether or not the virtual line P3 can pass through both the object OB8 and the object OB9. If it is determined that the virtual line P3 can pass through, the display position of the object OB8 and the object OB9 is switched (step). S82). Even with such a configuration, it is possible to change the front-rear relationship or display position of a plurality of display images without superimposing the upper limbs on the display image.
  • the configuration in which the relative positions of the plurality of display images are changed is exemplified as the configuration for executing different display control according to the rotation angle in the rotating body motion.
  • the configuration is not limited to this.
  • FIG. 14 is a diagram for explaining a seventh example of functions executed by the wearable device 1.
  • the left side in FIG. 14 shows an area (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user, and the back side BH of the user's right hand is directed to the user side. .
  • the index finger of the hand BH is extended, and the extension direction of the index finger is defined as the Y ′ axis, and the direction perpendicular to the Y ′ axis direction is defined as the X ′ axis (where X′ ⁇ Y ′ plane Is assumed to be a plane substantially parallel to the XY plane).
  • the right side in FIG. 14 shows a diagram of the index finger when the fingertip of the index finger is viewed from above the Y ′ axis.
  • step S91 the wearable device 1 displays an icon OB10 indicating that the mail function can be executed by the user's selection and execution operation in the display area 21 of the display unit 2.
  • wearable device 1 considers that icon OB10 has been selected by the user based on the fingertip of the index finger of hand BH being superimposed on the display range of icon OB10.
  • Wearable device 1 preliminarily estimates the range of the actual space that is visually recognized by the user and superimposed on display region 21, and accordingly, any one of display regions 21 depends on the detection position of the index finger within the range. It is possible to estimate whether or not the position is visually recognized.
  • step S91 that is, in the state where the icon OB10 is selected
  • the user rotates the forearm by the first predetermined angle ⁇ 1 about the extending direction of the index finger (rotated in the direction of the dotted arrow in FIG. 14).
  • the state transitions to the state shown in step S92.
  • the wearable device 1 detects the first rotation angle ⁇ 1 when detecting that the rotating body motion is performed. Wearable device 1 considers that an operation for executing a function associated with icon OB10 has been performed by the user based on detection of the rotating body motion, and starts executing the function (step S92).
  • step S92 the wearable device 1 displays execution screens SC2 and SC3 of the function on the display unit 2 as the function associated with the icon OB10 is executed.
  • the execution screens SC2 and SC3 are images showing simple information in the exchange of the latest mail for each mail partner.
  • step S93 the wearable device 1 executes the execution screens SC2 and SC3 in the case of the first predetermined angle ⁇ 1 based on the fact that the rotation angle in the rotating body motion has become the second predetermined angle ⁇ 2 larger than the first predetermined angle ⁇ 1. More detailed information amount (for example, part of the mail text is newly added), and larger image execution screens SC2 and SC3 are displayed on the display unit 2.
  • the wearable device 1 displays the execution screen SC4 in addition to the execution screens SC2 and SC3 based on the fact that the rotation angle in the rotating body motion has become the second predetermined angle ⁇ 2 larger than the first predetermined angle ⁇ 1. 2 is displayed.
  • the execution screen SC4 is, for example, an image showing information on the latest mail exchange with a mail partner different from the mail partner on the execution screens SC2 and SC3.
  • step S94 the wearable device 1 has the third predetermined angle ⁇ 3 larger than the second predetermined angle ⁇ 2 based on the fact that the rotation angle in the rotating body motion is larger than the execution screen SC2 in the case of the second predetermined angle ⁇ 2.
  • a detailed information amount for example, a screen on which past mail contents can be browsed
  • a larger image execution screen SC2 is displayed on the display unit 2.
  • the control unit 7 when the control unit 7 detects the rotating body motion, the control unit 7 detects the rotation angle in the rotating body motion, and as the first processing, processing according to the rotation angle Execute. Then, as the first process, the control unit 7 displays at least one other image (execution screen SC in the seventh example) related to the display image, and is included in the other image according to the rotation angle. The information amount, the size of another image, or the number of the other images is changed.
  • FIG. 15 is a diagram illustrating an eighth example of functions executed by the wearable device 1.
  • FIG. 15 shows a region (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user, and the back side BH of the user's right hand is directed to the user side.
  • the wearable device 1 displays a web browser screen SC5 in the display area 21 of the display unit 2.
  • two operation examples a first operation example shown in steps S101 to S103 and a second operation example shown in steps S111 to S113, are shown together.
  • step S101 the user superimposes a predetermined character string SC501 on the screen SC5 with the index finger of the hand BH and bends the index finger.
  • the wearable device 1 recognizes that a predetermined character string on the screen SC5 is selected by the user by detecting the position of the index finger of the hand BH in the real space and that the index finger is bent.
  • step S101 that is, in the state where the character string SC501 is selected, when the user rotates the forearm (rotates in the direction of the dotted arrow in FIG. 15), the wearable device 1 rotates. It is detected whether or not an action has been made, and it is determined whether or not the movement of the upper limb position exceeds a predetermined length.
  • step S102 when the wearable device 1 determines that the position of the upper limb after rotating body movement does not change compared to the state of step S101, that is, does not include movement of the upper limb position beyond a predetermined length, Based on this, the wearable device 1 shifts the display to another web browser screen SC6 corresponding to the character string SC501 selected by the user, for example, as shown in step S103.
  • step S111 the user moves the upper limb as shown in step S112 from the state where the hand BH is superimposed on a predetermined position on the screen SC5.
  • Rotating body movements The wearable device 1 detects that the rotating body motion is performed when the user rotates the forearm (in the direction of the dotted arrow in FIG. 15, ie, rotation), and the rotating body motion is detected at the position of the upper limb. It is determined whether or not the movement includes a predetermined length or more.
  • the display control content different from the first operation example is shown in step S113. Instead of transitioning to the web browser screen SC6, the display is transitioned to another web browser screen SC7.
  • the control unit 7 when the control unit 7 detects the rotating body motion, the control unit 7 determines whether the rotating body motion includes the movement of the position of the upper limb more than a predetermined length. And determining whether or not the second rotational body motion does not include movement of the position of the upper limb over a predetermined length, and between the predetermined processing based on the first rotational body motion and the predetermined processing based on the second rotational body motion.
  • the control contents are different.
  • the predetermined display control is performed as the predetermined operation based on the detection of the rotating body motion by the wearable device 1 is illustrated, but the predetermined operation is not limited to the display control.
  • FIG. 16 is a diagram illustrating a ninth example of functions executed by the wearable device 1.
  • FIG. 16 shows an area (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user.
  • the wearable device 1 has activated the imaging function, and displays captured images sequentially captured by the imaging unit 3 on the display unit 2 as a preview window PW.
  • step S121 the user moves the right hand H forward of the wearable device 1 and points the back side of the right hand H toward the wearable device 1.
  • the back side BH of the right hand H is displayed in the preview window PW.
  • step S122 The user rotates the forearm in front of the wearable device 1 while visually recognizing the preview window PW (in FIG. 16, in the direction indicated by the dotted arrow, ie, turns out) (step S122), the wearable device 1 captures the captured image. It is detected that the rotating body motion is made by analyzing the above. And the wearable apparatus 1 changes the process content in an imaging function as a predetermined
  • step S121 the object OB11 indicating that it is the still image capturing mode is displayed, whereas in step S123, the display is changed to the object OB12 indicating that it is the moving image capturing mode.
  • various setting values related to the imaging function based on the rotating body motion include, for example, correction values in exposure correction, ISO sensitivity, It may be configured to change white balance, shutter speed, aperture value, depth of field, focal length, zoom rate, and the like.
  • count of repetition of a rotation body motion may be sufficient.
  • FIG. 17 is a diagram illustrating a tenth example of functions executed by the wearable device 1.
  • FIG. 17 shows an area (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user.
  • step S131 the wearable device 1 displays the display image OB13 on the display unit 2.
  • the notebook personal computer 100 is present as another electronic device at a position close to the user or easily visible.
  • step S131 the user transitions to a state in which the notebook personal computer 100 is visually recognized through the display area 21 of the wearable device 1 by changing the orientation of the head, for example, while the wearable device 1 is worn (step S131). S132).
  • the wearable device 1 determines that the notebook computer 100 is present in front of the wearable device 1 based on the detection result of the detection unit 5 or the captured image of the imaging unit 3.
  • step S132 the user visually recognizes that the display image OB13 is superimposed on the notebook computer 100.
  • the display image OB13 is opaque, and in the region where the display image OB13 and the notebook computer 100 are overlapped, the case where the notebook computer 100 cannot be seen is illustrated, but the display image OB13 is illustrated. May be transparent or translucent. In such a case, the user can easily view the notebook computer 100 through the display image OB13.
  • step S132 the user moves the upper limb within the detection range of the detection unit 5 of the wearable device 1 and points the back side of the upper limb toward the detection unit 5 so that the wearable device 1 is substantially the same as the shape of the upper limb.
  • a hand object OBH having the same shape and representing the back side of the upper limb is displayed on the display unit 2.
  • step S132 the user rotates the forearm (rotating in the direction of the dotted arrow in FIG. 17, ie, turning around) with at least a part of the hand object OBH superimposed on the display image OB13. Is reversed (step S133), the wearable device 1 detects that a rotating body motion has been performed. Then, wearable device 1 hides display image OB13 based on the detection of the rotating body motion (step S134).
  • the control unit 7 determines whether there is another display device in front of the wearable device 1, and the other display device in front of the wearable device 1. When there is a rotating body motion, the display image is not displayed. With such a configuration, when the display image displayed by the wearable device 1 hinders the visual recognition of the display content of the display device, such a hindered state can be immediately performed by a simple operation by the user. Can be resolved.
  • the wearable device 1 when determining whether or not the notebook computer 100 is in front of the wearable device 1, the wearable device 1 includes a part or all of the notebook computer 100 within the detection range 51 of the detection unit 5 or the imaging range of the imaging unit 3. It may be determined that the notebook computer 100 is present in front of the wearable device 1 based on the detection of the detection range 51 or a predetermined range in the imaging range (for example, in the user's field of view). It may be determined that the notebook computer 100 is present in front of the wearable device 1 based on the detection of a part or all of the notebook computer 100 within an easy-to-enter range of about 30 degrees.
  • FIG. 18 is a diagram illustrating an eleventh example of functions executed by the wearable device 1.
  • the eleventh example is an example in which the wearable device 1 executes predetermined communication processing with other display devices based on the user's physical motion.
  • FIG. 18 shows an area (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user.
  • step S141 the wearable device 1 displays an image list OB14 in which a plurality of display images including the display image OB141 are displayed as a list on the display unit 2.
  • the notebook computer 100 is present as another electronic device at a position close to the user or easily visible.
  • step S141 when the user wearing the wearable device 1 changes the orientation of the head and changes to a state in which the notebook computer 100 is viewed through the display area 21 (step S142), the wearable device 1 detects the detection unit. 5 or a captured image of the imaging unit 3, it is determined that the notebook computer 100 is present in front of the wearable device 1.
  • the wearable device 1 changes the display mode of the plurality of display images displayed in the image list OB14 based on the determination that the notebook computer 100 is present in front of the wearable device 1, for example, As shown in step S142, in the display area 21, the respective display images are rearranged and displayed at positions where they are not superimposed on the notebook personal computer 100 or are not visually recognized.
  • step S142 the user moves the upper limb within the detection range of the detection unit 5 of the wearable device 1 and points the back side of the upper limb toward the detection unit 5 so that the wearable device 1 is substantially the same as the shape of the upper limb.
  • a hand object OBH having the same shape and representing the back side of the upper limb is displayed on the display unit 2.
  • step S142 the user rotates the forearm (in the direction of a dotted arrow in FIG. 18, ie, rotation) in a state where at least a part of the hand object OBH is superimposed on the display image OB151, thereby the hand object OBH.
  • step S143 the wearable device 1 detects that a rotating body motion has been performed.
  • the wearable device 1 considers that the display image OB141 has been selected by the user based on the detection of the rotating body motion, and changes the display mode of the display image OB141.
  • Wearable device 1 changes the display mode so that display image OB141 is in front of hand OPH after the rotating body motion.
  • step S143 the user rotates the forearm (rotates in the direction of the dotted arrow in FIG. 18, ie, pronation) with at least a part (fingertip) of the hand OPH superimposed on the display image OB141. That is, when the position of the fingertip is moved to a region overlapping the display unit of the notebook computer 100 in the display region 21 while performing the rotating body motion (step S144), the wearable device 1 displays the display image OB141 by the user. It is determined that an operation for transferring the corresponding image data to the notebook computer 100 has been performed. The wearable device 1 establishes a wireless communication connection with the notebook computer 100 and transmits image data to the notebook computer 100. As shown in step S145, the notebook computer 100 displays the display image OB141 'having the same content as the display image OB141 on the display unit 2 based on the image signal received from the wearable device 1.
  • the wearable device 1 includes the communication unit 8 that communicates with other electronic devices, and the control unit 7 determines whether there is another display device in front of the wearable device 1.
  • the control unit 7 determines whether there is another display device in front of the wearable device 1.
  • a rotating body motion is detected when another display device is present in front of the wearable device 1 as a predetermined process
  • a second process including a data transfer process through communication with another electronic device is executed as a predetermined process It has the composition to do.
  • the wearable device 1 is configured such that at least a part (fingertip) of the hand OPH is overlapped with the display unit 2 of the notebook personal computer 100 in the display region 21 from a position where the hand OPH is superimposed on the display image OB141 with a rotating body motion.
  • the position after the movement may be detected, and the notebook personal computer 100 may be controlled so that the display image OB141 ′ is displayed at a position overlapping with the detected position or a nearby position.
  • the wearable device 1 moves from the position where at least a part (fingertip) of the hand OPH is superimposed on the display image OB141 to the area where the display area 21 is superimposed on the display unit of the notebook computer 100 without performing the rotating body movement. In such a case, it may be determined that the operation is not an operation for transferring the image data corresponding to the display image OB 141 to the notebook computer 100.
  • FIG. 19 is a diagram for explaining a twelfth example of functions executed by the wearable device 1.
  • the twelfth example is an example in which the wearable device 1 executes a predetermined communication process with another display device based on the user's physical motion, similarly to the eleventh example.
  • FIG. 19 shows an area (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user.
  • step S151 the wearable device 1 displays an image list OB15 in which a plurality of display images including the display image OB151 are displayed as a list on the display unit 2.
  • the notebook computer 100 is present as another electronic device at a position close to the user or easily visible.
  • step S151 when the user wearing the wearable device 1 changes the orientation of the head and changes to a state in which the notebook computer 100 is viewed through the display area 21 (step S152), the wearable device 1 5 or a captured image of the imaging unit 3, it is determined that the notebook computer 100 is present in front of the wearable device 1.
  • step S152 when the user moves the upper limb within the detection range of the detection unit 5 of the wearable device 1 and directs the back side of the upper limb to the detection unit 5, the wearable device 1 is substantially the same as the shape of the upper limb.
  • a hand object OBH having the same shape and representing the back side of the upper limb is displayed on the display unit 2.
  • step S152 the user rotates the forearm (in FIG. 19, in the direction of the dotted arrow in FIG. 19), with the at least part of the hand object OBH superimposed on the display image OB151, thereby rotating the hand object OBH.
  • step S153 the wearable device 1 detects that a rotating body motion has been performed. Then, when the wearable device 1 detects the rotating body motion, whether or not at least a part of the display image OB151 on which the user has superimposed at least a part of the hand object OBH is superimposed on the display unit of the notebook computer 100. If it is determined that the images are superimposed, it is assumed that the user has performed an operation to transfer the image data corresponding to the display image OB151 to the notebook computer 100.
  • the wearable device 1 then establishes a wireless communication connection with the notebook computer 100 and transmits image data to the notebook computer 100.
  • the notebook computer 100 displays the display image OB151 'having the same content as the display image OB151 on the display unit 2 based on the image signal received from the wearable device 1.
  • the wearable device 1 detects the rotating body motion, whether or not at least a part of the display image OB151 on which the user has superimposed at least a part of the hand object OBH is superimposed on the display unit of the notebook computer 100. If it is determined that the image data corresponding to the display image OB151 is not superimposed, it is assumed that the operation for transferring the image data corresponding to the display image OB151 is not performed.
  • FIG. 20 is a diagram for explaining a thirteenth example of functions executed by the wearable device 1.
  • the thirteenth example is an example in which the wearable device 1 executes a predetermined communication process with another display device based on the user's body movement, similarly to the eleventh example and the twelfth example.
  • FIG. 20 shows a region (corresponding to the XY plane in FIG. 3) that can be viewed two-dimensionally by the user.
  • step S161 the user is viewing the television 200 as another electronic device over the display area 21 of the display unit 2.
  • the user is viewing the video displayed on the television 200 through the display area 21 of the display unit 2.
  • step S162 the user moves the upper limb within the detection range 51 of the detection unit 5 of the wearable device 1 and points the back side of the upper limb to the detection unit 5 side, so that the wearable device 1 has the shape of the upper limb.
  • a hand object OBH having substantially the same shape and representing the back side of the upper limb is displayed on the display unit 2.
  • step S162 when the user rotates the forearm (in the direction of the dotted arrow in FIG. 20, that is, turns around), the hand object OBH is inverted (step S162), and the wearable device 1 is rotated. Detect that. Then, when the wearable device 1 detects the rotating body motion, at least a part of the hand object OBH in the front-rear direction of the wearable device 1 or the direction where the hand object OBH intersects the XY plane at a predetermined angle is the TV 200 or It is determined whether or not a rotating body motion has been performed in a state of being superimposed on the display unit of the television 200.
  • the wearable device 1 determines whether or not the rotating body motion has been detected in the state specified by the user with respect to the television 200 or the video displayed on the television 200.
  • the wearable device 1 has detected a rotating body motion in a state specified by the user with respect to the TV 200 or the video displayed on the TV 200, that is, at least a part of the hand object OBH is detected by the TV 200 or the TV 200.
  • a wireless communication connection is established with the television 200, and a transmission request for image data is made to the television 200.
  • the television 200 transmits image data corresponding to the video displayed on the television 200 to the wearable device 1.
  • Wearable device 1 causes display unit 2 to display video SC8 similar to the video displayed on television 200 based on the image data received from television 200 (step S163).
  • the wearable device 1 may recognize in advance that the transmission request destination of the image data is the television 200 according to the setting of the user before detecting the rotating body movement.
  • step S163 the user changes the shape of the hand object OBH in the state where the operation for displaying the video SC8 on the display unit 2 of the wearable device 1 is completed (step S163), and rotates the forearm in the changed state.
  • step S164 the display is switched to the program list SC9 that can be broadcasted and received by the television 200 as an image different from the video SC8 (step S165).
  • a number of examples of functions executed by the wearable device 1 have been shown with reference to the above embodiments.
  • the operation is performed while visually recognizing the upper limb existing in the real space without displaying the object OH as in the first example, or the object OH is displayed as in the second example.
  • the present invention is not limited to this.
  • the configuration in which the operation is performed while visually recognizing the upper limb existing in the real space without displaying the object OH, and the object OH is displayed.
  • any of the configurations in which the operation is performed while visually recognizing the object OH is applicable.
  • the wearable device 1 may reduce or display one of the two display images based on the detection of the rotating body motion, and display the other display image in an enlarged manner.
  • the wearable device 1 executes a predetermined action based on the detection of a rotating body action accompanied by the rotation of the arm in the upper limb among the body actions, or the imaging unit 3 (or detection)
  • the first state in which the upper limb included in the captured image captured by the infrared imaging unit as the unit 5 is on the palm side and the second state on the back side of the hand are discriminated, and the first state and the second state are determined.
  • An example of a configuration that executes a predetermined motion triggered by the detection of a rotating body motion accompanied by a reversal from one to the other is illustrated.
  • the upper limb is the upper right limb
  • the present invention is not limited thereto, and the upper limb may be the left upper limb. Further, both the upper right limb and the left upper limb may be used.
  • the wearable device 1 has an operation in which a part of the upper limb (for example, the upper right limb) moves away from the wearable device 1 and an operation in which the other part of the upper limb (for example, the upper left limb) approaches the wearable device 1 based on the detection result of the detection unit 5. Based on the fact that a specific body motion involving both of these is detected, the predetermined processing exemplified in the above embodiments may be executed.
  • the wearable device 1 performs a motion of pulling the left hand toward the user at the same time that the user pushes the right hand forward as a specific body motion, the motion is similar to the above-described rotational body motion.
  • the above-described various predetermined operations may be executed.
  • the wearable device 1 performs, as the predetermined process based on the rotating body motion, the first process related to the display image, the second process including the data transfer process by communication with other electronic devices,
  • the example of the predetermined process is not limited to this.
  • the wearable device 1 recognizes the input character based on the detection of the rotating body motion. / Kanji conversion, Japanese / English translation, conversion to a prediction candidate predicted based on the input character, or the like may be executed as a predetermined process.
  • the wearable device 1 may sequentially change conversion candidates in the kana / kanji conversion based on the detected number of rotations of the rotating body motion. Similarly, the wearable device 1 sequentially changes a translation word candidate in Japanese / English translation or a prediction candidate predicted based on input characters based on the detected number of rotations of the rotating body motion. You may do it.
  • the wearable device 1 has been shown to have an eyeglass shape, but the shape of the wearable device 1 is not limited to this.
  • the wearable device 1 may have a helmet-type shape that covers substantially the upper half of the user's head.
  • the wearable device 1 may have a mask type shape that covers almost the entire face of the user.
  • the display unit 2 has been illustrated as having a pair of display units 2a and 2b provided in front of the user's left and right eyes. May have a configuration having one display unit provided in front of one of the left and right eyes of the user.
  • the configuration in which the edge of the front part surrounds the entire circumference of the edge of the display area of the display unit 2 is not limited to this, but the display area of the display unit 2 is not limited to this.
  • the structure which has enclosed only a part of edge may be sufficient.
  • a configuration is shown in which the hand or finger is detected by the imaging unit (or detection unit) as the user's upper limb, but the hand or finger is in a state in which a glove, a glove, or the like is worn. However, it can be similarly detected.
  • the present invention is not limited to this and may be configured as a method or program including each component.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本出願に係るウェアラブル装置は、検出部と、制御部と、を備える。検出部は、現実の空間に在る利用者の上肢を検出可能である。制御部は、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する。ウェアラブル装置は、頭部に装着可能なものである。

Description

ウェアラブル装置、制御方法及び制御プログラム
 この出願は、ユーザの頭部に装着可能なウェアラブル装置、制御方法及び制御プログラムに関する。
 上記のウェアラブル装置として、近年、眼前に配置されるディスプレイと、手指の動きを認識可能な赤外線検知ユニットと、を備え、手のジェスチャによって操作が行われるヘッドマウントディスプレイ装置が開示されている(特許文献1参照)。
国際公開第2014/128751号
 上記のようなウェアラブル装置においては、より使い勝手の良いものが望まれる。
 本出願の目的は、より使い勝手の良いウェアラブル装置を提供することにある。
 1つの態様に係るウェアラブル装置は、現実の空間に在る利用者の上肢を検出可能な検出部と、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能なものである。
 また、1つの態様に係るウェアラブル装置は、撮像部と、前記撮像部が撮像する撮像画像から利用者の上肢を検出する制御部と、を備える、利用者に装着可能なウェアラブル装置であって、前記制御部は、前記撮像画像に含まれる前記上肢が手の平側となる第1状態と前記撮像画像に含まれる前記上肢が手の甲側となる第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定の処理を実行する。
 また、1つの態様に係るウェアラブル装置は、現実の空間に在る利用者の上肢を検出可能な検出部と、前記検出部の検出結果から、前記上肢の一部が前記ウェアラブル装置から離れる動作と、前記上肢の他部が前記ウェアラブル装置に近づく動作と、の双方を伴う特定の身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能なものである。
 1つの態様に係る制御方法は、現実の空間に在る利用者の上肢を検出可能な検出部と、制御部と、を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、前記制御部は、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する。
 1つの態様に係る制御プログラムは、現実の空間に在る利用者の上肢を検出可能な検出部と、制御部と、を備える、頭部に装着可能なウェアラブル装置において、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記制御部に所定の処理を実行させる。
ウェアラブル装置1の斜視図である。 ウェアラブル装置1のブロック図である。 検出部5の検出範囲51と、表示部2a及び2bの表示領域21とを模式的に示した斜視図である。 図3Aの上面図である。 図3Aの側面図である。 ウェアラブル装置1により実行される機能の第1例を説明する図である。 ウェアラブル装置1により実行される機能の第1例を説明する図である。 ウェアラブル装置1により実行される機能の第2例を説明する図である。 ウェアラブル装置1により実行される機能の第3例を説明する図である。 ウェアラブル装置1により実行される機能の第4例を説明する図である。 ウェアラブル装置1により実行される機能の第5例を説明する図である。 ウェアラブル装置1により実行される機能の第6例を説明する図である。 第3例~第6例における第1の変形例を説明する図である。 第3例~第6例における第2の変形例を説明する図である。 第3例~第6例における第3の変形例を説明する図である。 ウェアラブル装置1により実行される機能の第7例を説明する図である。 ウェアラブル装置1により実行される機能の第8例を説明する図である。 ウェアラブル装置1により実行される機能の第9例を説明する図である。 ウェアラブル装置1により実行される機能の第10例を説明する図である。 ウェアラブル装置1により実行される機能の第11例を説明する図である。 ウェアラブル装置1により実行される機能の第12例を説明する図である。 ウェアラブル装置1により実行される機能の第13例を説明する図である。
 本出願に係るウェアラブル装置1を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
 まず、図1を参照しながら、ウェアラブル装置1の全体的な構成について説明する。図1は、ウェアラブル装置1の斜視図である。図1に示すように、ウェアラブル装置1は、利用者の頭部に装着されるヘッドマウントタイプ(或いはメガネ型)の装置である。
 ウェアラブル装置1は、前面部1aと、側面部1bと、側面部1cとを有する。前面部1aは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部1bは、前面部1aの一方の端部に接続され、側面部1cは、前面部1aの他方の端部に接続される。側面部1b及び側面部1cは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置1を安定させる。側面部1b及び側面部1cは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。
 前面部1aは、装着時に利用者の目と対向する面に表示部2a及び表示部2bを備える。表示部2aは、装着時に利用者の右目と対向する位置に配設され、表示部2bは、装着時に利用者の左目と対向する位置に配設される。表示部2aは、右目用の画像を表示し、表示部2bは、左目用の画像を表示する。なお、装着時に利用者のそれぞれの目に対応した画像を表示する表示部2a及び表示部2bを備えることにより、ウェアラブル装置1は、両眼の視差を利用した3次元表示を実現することができる。
 表示部2a及び表示部2bは、一対の透過又は半透過のディスプレイであるが、これに限定されない。例えば、表示部2a及び表示部2bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部2a及び表示部2bを設けてもよい。表示部2a及び表示部2bは、利用者の右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてもよい。
 前面部1aには、撮像部3(アウトカメラ)が備えられている。撮像部3は、前面部1aの中央部分に配置されている。撮像部3は、利用者の前方の風景における所定範囲の画像を取得する。また、撮像部3は、利用者の視界に相当する範囲の画像を取得することも可能である。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。なお、撮像部3は、前面部1aの一方の端部(装着時の右目側)の近傍に配設される撮像部と、前面部1aの他方の端部(装着時の左目側)の近傍に配設される撮像部との2つから構成されていても良い。この場合、前面部1aの一方の端部(装着時の右目側)の近傍に配設される撮像部によって、利用者の右目の視界に相当する範囲の画像が取得され、前面部1aの一方の端部(装着時の左目側)の近傍に配設される撮像部によって、利用者の左目の視界に相当する範囲の画像が取得される。
 また、前面部1aには、撮像部4(インカメラ)が備えられている。撮像部4は、ウェアラブル装置1が利用者の頭部に装着されたときに、前面部1aにおける、利用者の顔面側に配置されている。撮像部4は、利用者の顔面、例えば目の画像を取得する。
 また、前面部1aには、検出部5が備えられる。検出部5は、前面部1aの中央部分に配置されている。また、側面部1cには、操作部6が備えられる。検出部5、操作部6については後述する。
 ウェアラブル装置1は、利用者に各種情報を視認させる機能を有する。ウェアラブル装置1は、表示部2a及び表示部2bが表示を行っていない場合、表示部2a及び表示部2bを透して前景を利用者に視認させる。ウェアラブル装置1は、表示部2a及び表示部2bが表示を行っている場合、表示部2a及び表示部2bを透した前景と、表示部2a及び表示部2bの表示内容とを利用者に視認させる。
 次に、図2を参照しながら、ウェアラブル装置1の機能的な構成について説明する。図2は、ウェアラブル装置1のブロック図である。図2に示すように、ウェアラブル装置1は、表示部2a及び2bと、撮像部3(アウトカメラ)及び撮像部4(インカメラ)、検出部5、操作部6、制御部7、通信部8、記憶部9とを有する。
 表示部2a及び2bは、液晶ディスプレイ(Liquid Crystal Display)、有機EL(Organic Electro-Luminessence)パネル等の半透過または透過の表示デバイスを備える。表示部2a及び2bは、制御部7から入力される制御信号に従って各種の情報を画像として表示する。表示部2a及び2bは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。この場合、眼鏡を模したウェアラブル装置1のレンズ部分にハーフミラーを設置して、別途設けられるプロジェクタから照射される画像が投影される構成であってもよい(図1に示す例において、表示部2a及び2bは、矩形状のハーフミラーを示している)。また、前述したように、表示部2a及び2bは、各種の情報を3次元的に表示しても良い。また、各種の情報を利用者の前方(利用者から離れた位置)にあたかも存在するかのように表示しても良い。このように情報を表示する方式としては、例えば、フレームシーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップアンドボトム方式、サイドバイサイド方式、アナグリフ方式、レンチキュラ方式、パララックスバリア方式、液晶パララックスバリア方式、2視差方式等の多視差方式の何れかが採用されて良い。
 撮像部3、4は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部3、4は、撮像した画像を信号に変換して制御部7へ出力する。
 検出部5は、利用者の前景に存在する現実の物体(所定物)を検出する。検出部5は、例えば、現実の物体のうち、予め登録された物体(例えば、人間の手や指)又は、予め登録された形状(例えば、人間の手や指等の形状)にマッチする物体を検出する。検出部5は、現実の物体を検出するセンサを有する。検出部5は、例えば、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な、センサとしての赤外線撮像部と、からなる。赤外線照射部は、ウェアラブル装置1の前面部1aに設けられることによって、利用者の前方に赤外線を照射可能となる。また、赤外線撮像部は、ウェアラブル装置1の前面部1aに設けられることによって、利用者の前方に在る所定物から反射される赤外線を検出可能となる。なお、検出部5は、赤外線の他にも、例えば、可視光、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、現実の物体を検出しても良い。
 本実施形態においては、撮像部3(アウトカメラ)は、検出部5を兼ねても良い。すなわち、撮像部3は、撮像される画像を解析することによって、撮像範囲内の物体を検出する。撮像部3は、利用者の前方の所定物を撮像可能なように、図1に示すような、ウェアラブル装置1の前面部1aに設けられる。
 操作部6は、例えば、側面部1cに配設されるタッチセンサである。タッチセンサは、利用者の接触を検出可能であり、検出結果に応じて、ウェアラブル装置1の起動、停止、動作モードの変更等の基本的な操作を受け付ける。本実施例では、操作部6が側面部1cに配置されている例を示しているが、これに限定されず、側面部1bに配置されても良いし、側面部1bと側面部1cにとの双方に配置されても良い。
 制御部7は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部7は、記憶部9に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をCPUに実行させる。そして、制御部7は、CPUによる命令の実行結果に応じて、メモリ及び記憶部9に対してデータの読み書きを行ったり、表示部2a、2b等の動作を制御したりする。CPUが命令を実行するに際しては、メモリに展開されているデータや検出部5等を介して検出される操作がパラメータや判定条件の一部として利用される。また、制御部7は、通信部8を制御することによって、通信機能を有する他の電子機器との通信を実行させる。
 通信部8は、無線により通信する。通信部8によってサポートされる無線通信規格には、例えば、2G、3G、4G等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy-phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信部8は、上述した通信規格の1つ又は複数をサポートしていてもよい。ウェアラブル装置1は、例えば、無線通信機能を有する他の電子機器(スマートフォン、ノートパソコン、テレビ等)と無線通信接続を行うことにより、各種信号の送受信を行うことが出来る。
 なお、通信部8は、上記携帯電子機器等の他の電子機器と有線接続されることによって、通信しても良い。この場合、ウェアラブル装置1は、他の電子機器が接続されるコネクタを備える。コネクタは、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタは、Dockコネクタのような専用の端子でもよい。コネクタは、上記の電子機器以外にも、例えば、外部ストレージ、スピーカ、及び通信装置を含むあらゆる装置に接続されて良い。
 記憶部9は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部9に記憶されるプログラムには、制御プログラム90が含まれる。記憶部9は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム90は、記憶媒体に記憶されていてもよい。また、制御プログラム90は、無線通信または有線通信によってサーバ装置や、スマートフォン、ノートパソコン、テレビ等から取得されてもよい。
 制御プログラム90は、ウェアラブル装置1を稼働させるための各種制御に関する機能を提供する。制御プログラム90は、検出処理プログラム90aと、表示制御プログラム90bとを含む。検出処理プログラム90aは、検出部5の検出結果から、利用者の前景に存在する所定物を検出するための機能を提供する。検出処理プログラム90aは、検出部5の検出結果から、利用者の前景における所定物の位置、及び、所定物の動作を検出する機能を提供する。表示制御プラグラム90bは、利用者に視認可能なように画像を表示し、所定物の動作に応じて、画像の表示の態様を変更する機能を提供する。
 次に、図3A~図3Cを参照し、検出部5の検出範囲と、表示部2a及び2bの表示領域との関係について説明する。なお、本実施形態では、検出部5が赤外線によって現実の所定物を検出するセンサであるものとして説明していく。検出部5は、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な(赤外感度を有する)赤外線撮像部とからなるものとして説明していく。即ち、制御部7は、赤外線撮像部の撮像画像から、現実の所定物を検出する。また、本実施形態では、表示部2a及び2bがウェアラブル装置1から離れた位置にあたかも存在するかのように表示画像を表示させるものとして説明していく。
 図3Aは、検出部5の検出範囲51と、表示部2a及び2bの表示領域21とを模式的に示した斜視図である。図3Bは、図3Aの上面図であり、図3Cは、図3Aの側面図である。図3において、X軸、Y軸、Z軸からなる三次元直交座標系が定義される。X軸方向は、水平方向を指し、Y軸方向は、鉛直方向或いは利用者の体の長軸方向を指す。Z軸方向は、利用者の前後方向である。また、Z軸正方向は、検出部5が含む赤外線照射部の照射におけるより大きい深度の方向を指す。なお、図3Cは、利用者が前方を視認した際の視界に相当する。
 図3A~図3Cから解るように、検出範囲51は、3次元空間を有する。赤外線照射部と赤外線撮像部とからなる検出部5は、利用者の前方の所定物を2次元的な画像として検出するとともに、該所定物の形状を検出することができる。また、検出部5は、所定物を2次元的な画像として検出するとともに、該画像の各画素の位置座標データに対応する深度データを取得することができる(即ち深度データが付加された深度画像を取得することができる)。深度データは、検出部5と、2次元的な画像における各画素に対応する現実の物体(所定物)までの距離を示すデータである。制御部7は、検出部5の検出結果に基づき、例えば、所定物が利用者の腕、手、又は指、或いはこれらを組み合わせたもの(上肢と総称する)である場合の該所定物の動作として、指の曲げ動作・伸展動作、手首の曲げ、前腕の回転(回内又は回外)、又は、前腕の回転に伴う手又は指の回転、等の身体動作を検出できる。なお、前腕の回転(回内又は回外)又は、前腕の回転に伴う手又は指の回転を、「回転身体動作」と称する。「回転身体動作」は、前腕の180度の回転によって手の平側と手の甲側とが入れ替わる動作は勿論、前腕の180度未満の回転に起因する手や指の180度未満の回転、又は、前腕の180度よりも大きい角度の回転に起因する手や指の回転も含む。
 なお、制御部7は、上記の身体動作の他に、上肢の特定箇所の位置が、検出範囲51内において移動をすることを身体動作として検出しても良い。また、制御部7は、上肢が特定の形状を形成したことを身体動作として検出しても良い。例えば、親指を上方に伸ばしつつ他の指を握った形態(グッドサイン)等が身体動作として検出されて良い。
 ここで、制御部7は、上記の身体動作の内の回転身体動作を検出するに際しては、前腕の回転の過程における、検出部5によって検出される上肢の形状の変化に基づいて、実際に回転身体動作を検出できる。また、制御部7は、前腕の回転の過程における、検出部5によって検出される上肢の形状の変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
 また、制御部7は、前腕の回転の過程における上肢の深度データの変化に基づいて、実際に回転身体動作を検出することができる。制御部7は、上肢における少なくとも2つの領域を予め定め、前腕の回転の過程において、当該2つの領域の深度データが相対的に変化したことに基づいて回転身体動作を検出することもできる。例えば、上肢における5指の内の2つの指を伸展させた状態で、前腕の回転動作(回内又は回外)を行うと、該回転に従って一方の指は検出部5により近い位置に移動し、他方の指は検出部5からより離れた位置に移動することから、それらの位置の移動に基づく深度データの変化を検出することによって回転身体動作を実際に検出することができる。また、制御部7は、前腕の回転動作に従って変化する深度データの変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
 また、回転身体動作の検出方法としては、上記の他に、深度データに基づき、検出部5によって検出される上肢の画像が手の平側であるか手の甲側であるかを判定可能とし、身体動作によって手の平側の状態と手の甲側の状態の内の一方から他方へ変化したことに基づいて、回転身体動作を検出する方法を採用しても良い。ここで、制御部7は、赤外線撮像部によって取得される画像中に含まれる手の領域の中央部が深度方向において凹状であれば、検出される上肢が手の平側であり、一方、中央部が深度方向において凸状であれば手の甲側であると判定することができる。
 なお、撮像部3(アウトカメラ)を検出部として適用した場合であっても、上記検出部5と同様に、制御部7は、検出範囲内(撮像範囲内)に在る所定物の検出、所定物の動作等の検出が可能である。
 ここで、制御部7は、上記の身体動作の内の回転身体動作を検出するに際しては、前腕の回転の過程における、撮像部3の撮像画像中における上肢の形状の変化に基づいて、実際に回転身体動作を検出できる。制御部7は、前腕の回転の過程における、撮像画像中の上肢の形状の変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
 また、制御部7は、撮像画像を解析し、該撮像画像における手と認識した領域に、手の爪が検出されたか否かによって、手の平側であるか手の甲側であるかを判定可能であり(即ち、爪が検出さなければ手の平側と判定し、爪が検出されると手の甲側と判定する)、身体動作によって手の平側と手の甲側の内の一方から他方へ変化したことに基づいて、回転身体動作がなされたものと検出しても良い。制御部7は、前腕の回転の過程における、撮像画像中の手の爪の形状の変化、又は、爪と見なした領域の大きさの変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
 また、回転身体動作の検出方法としては、上記の他に、撮像画像における手と認識した領域に、掌紋(手のしわ)があるか否かに基づいて、手の平側であるか手の甲側であるかを判定可能とし、身体動作によって手の平側と手の甲側の内の一方から他方へ変化したことに基づいて、回転身体動作を検出する方法を採用しても良い。
 なお、回転身体動作、及び、回転身体動作による上肢の回転角度の検出方法は、上記以外に公知の種々の方法が採用されても良い。
 次に、表示部2a、2bは、図3A~図3Cから解るように、実際に設けられたウェアラブル装置1の部分ではなく、ウェアラブル装置1から離れた位置となる表示領域21において利用者によって視認可能なように画像を表示する(以下、表示部2a、2bが表示する画像を表示画像と称することもある)。このとき、表示部2a及び2bは、表示画像を、奥行きを持つ立体形状の3Dオブジェクトとして表示しても良い。なお、当該奥行きは、Z軸方向における厚みに対応する。しかしながら、表示部2a、2bは、ウェアラブル装置1から離れた表示領域21において視認可能なように画像を表示するのではなく、実際に設けられたウェアラブル装置1の表示部2a、2bの部分に画像を表示しても良い。
 次に、図4~図20を参照して、本実施形態に係るウェアラブル装置1により実行される機能の概要を説明する。以下に示す各種の機能は、制御プログラム90によって提供される。図4は、ウェアラブル装置1により実行される機能の第1例を説明する図である。   
 図4には、ウェアラブル装置1の表示部2a或いは2b(以後、単に表示部2と称することもある)、表示領域21、及び利用者の上肢が示されている。図4においては、ウェアラブル装置1における他の構成部の図示を省略している。また、図4は、凡そ、利用者によって2次元的に視認され得る領域として示されている。なお、後述する図5~図20の例においても同様である。
 ステップS1において、利用者は、表示領域21越しに、利用者の上肢として、右手Hにおける手の甲側BH(以後、単に手BHと称することもある)を視認している。ここで、手BHは、検出部5の検出範囲51内に在り、従って、ウェアラブル装置1は検出部5の検出結果に基づき、手BHの存在を認識しているものとする。なお、後述する図5~図20の例においても同様である。また、ウェアラブル装置1は、利用者の操作(選択・実行等の指示操作)によって、予め対応付けられている所定の機能を実行可能である旨を示した複数のアイコンからなるアイコン群OB1を表示部2に表示している。アイコン群OB1は、第1例においては透明又は半透明な画像として表示しており、従って、利用者は、アイコン群OB1越しに上肢を視認可能な状態となっているが、これに限定されず、アイコン群OB1は、不透明な画像として表示されても良い。
 ステップS1において、利用者が、アイコン群OB1における一のアイコンOB101の表示範囲に手BHの人差し指の指先が重畳するように該手BHを移動させると、ウェアラブル装置1は、アイコンOB101が利用者によって選択されたものと見なし、アイコンOB101の表示態様を変更する(ステップS2)。なお、ウェアラブル装置1は、利用者によって表示領域21と重畳して視認される現実の空間の範囲を予め推定しており、従って、その範囲内における人差し指の検出位置に応じて表示領域21の何れの位置と重畳して視認されるかを推定可能としている。なお、本実施形態において、アイコン又はアイコン群は、表示画像の一つであるものと規定される。
 そして、ステップS2に示す状態、即ち、アイコンOB101が選択された状態において、利用者が前腕を回転(図4においては点線矢印方向へ回転、即ち回外)させることによって、手BHが反転すると(ステップS3)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、アイコンOB101に対応付けられた機能の実行操作が利用者によってなされたと見なし、機能の実行を開始する(ステップS4)。ステップS4において、ウェアラブル装置1は、アイコンOB101に対応付けられた機能の実行に伴い、当該機能の実行画面SC1を表示部2の表示領域21に表示する。なお、ステップS3、S4に示すように、右手Hにおける手の平側を手PHと称する。
 上記のように、本実施形態に係るウェアラブル装置1は、現実の空間に在る利用者の上肢を検出可能な検出部5と、検出部5の検出結果から、上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理(第1例では、アイコンOB101に対応付けられた機能の起動)を実行する制御部7と、を備える。
 また、本実施形態に係るウェアラブル装置1は、利用者の眼前に表示画像を表示する表示部2を備え、制御部7は、所定の処理として、表示画像に関する第1の処理(第1例では、アイコンOB101に対応付けられた機能の実行、或は、実行画面SC1の表示)を実行する構成を有する。以後、説明する「第1の処理」は、主に所定の表示の制御に係る処理である。
 例えば、現実の空間に在る利用者の上肢の動作として、上肢が所定の位置に移動したことに基づいて、所定の機能を実行させる構成においては、利用者が意図せず上肢を移動させてしまったときでも、機能を実行させてしまうため、結果として誤操作が生じる。一方で、本実施形態に係るウェアラブル装置1では、上肢の移動に基づいて所定の機能を実行させる構成ではなく、意図せず動作してしまう可能性がより低い、前腕の回転動作を伴う身体動作に基づいて所定の機能を実行させる構成を有するため、誤操作を生じ難くすることができる。
 また、上記の例では、検出部5が赤外線照射部と赤外線撮像部とからなる構成を示したが、前述したように、検出部を撮像部3が兼ねても良い。
 また、本実施形態に係るウェアラブル装置1は、撮像部(撮像部3でも良いし、上記の検出部5における赤外線撮像部でも良い)と、撮像部が撮像する撮像画像から利用者の上肢を検出する制御部7と、を備える、利用者に装着可能なウェアラブル装置であって、制御部7は、撮像画像に含まれる上肢が手の平側となる第1状態と撮像画像に含まれる上肢が手の甲側となる第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定の処理を実行するものと特徴付けられても良い。
 なお、第1例においては、ウェアラブル装置1が、手の甲側から手の平側への反転、即ち、前腕の180度の回転を伴う身体動作を検出したことに基づいて、回転身体動作を検出する構成の例を図示したが、これに限定されず、前腕の回転に伴う、上肢の所定角度以上の回転を検出したことに基づいて、回転身体動作を検出する構成としても良い。
 また、第1例においては、回転身体動作を行う前と後とで、右手Hの人差し指の指先の位置が凡そ変化しない場合を例示した。このような場合、利用者は、伸展した人差し指を回転軸として回転身体動作を行っている。しかしながら、回転身体動作の態様はこれに限定されない。回転軸が人差し指と一致せず、回転身体動作を行う前と後とで人差し指の指先の位置が異なるような身体動作であっても、回転身体動作として検出する構成であっても良い。即ち、ウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作の検出前の時点における上肢の位置に基づいて選択された表示画像(第1例におけるオブジェクトOB101(ステップS2))に関する第1の処理を実行するようにして良い。反対に、ウェアラブル装置1は、回転身体動作を行う前と後とで人差し指の指先(上肢における所定領域)の位置が異なる場合には、該回転身体動作によっては所定の処理を実行することなく、回転身体動作を行う前と後とで人差し指の指先(上肢における所定領域)の位置が凡そ一致する場合には、該回転身体動作の検出に基づいて所定の処理を実行するようにしても良い。
 図5は、図4に引き続き、ウェアラブル装置1により実行される機能の第1例を説明する図である。図5に示すステップS4は、図4に示すステップS4と同様の状態、即ち、アイコンOB101に基づく機能が実行されている状態である。ステップS4に示す状態において、利用者が前腕を図4のステップS2における方向とは反対方向に回転(図5においては点線矢印方向へ回転、即ち回内)させることによって、手PHが反転すると、ウェアラブル装置1は、アイコンOB101に対応付けられた機能の実行の終了操作が利用者によってなされたと見なし、機能の実行を終了する(ステップS5)。ステップS5において、ウェアラブル装置1は、機能実行の終了に伴い、実行画面SC1を非表示とする。
 上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作として、腕の回内動作と回外動作の内の一方を伴う身体動作(第1例では、回外動作)を検出したことに基づいて所定の処理を実行し、第1の処理の実行中に、回内動作と回外動作の内の他方を伴う身体動作(第1例では、回内動作)を検出したことに基づいて、第1の処理を終了する構成を有する。ここで、第1例における所定の処理の実行とは、アイコンOB101に対応付けられた機能の実行でも良いし、当該機能の実行に伴う、第1の処理としての機能実行画面SC1の表示でも良い。また、第1例における第1の処理の終了とは、アイコンOB101に対応付けられた機能の実行を終了することであっても良いし、当該終了に伴う、第1の処理としての機能実行画面SC1の非表示であっても良い。
 また、本実施形態に係るウェアラブル装置1は、上記構成とは異なり、制御部7は、回転身体動作として、腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて所定の処理を実行し、当該第1の処理の実行後の所定時間内に、回内動作と回外動作の内の他方を伴う身体動作を検出したことに基づいて、第1の処理と対の制御内容を含む第2の処理を実行する構成としても良い。例えば、腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて、当該身体動作前に選択されていた電子ファイルを削除した場合に、当該削除がなされてから所定時間内に、腕の回内動作と回外動作の内の他方を検出すると、削除されていた電子ファイルを元の位置に戻す(或は復元する)ようにしても良い。
 なお、ウェアラブル装置1は、回転身体動作を検出すると、当該回転身体動作が腕の回内動作と回外動作の何れを伴うかを記憶するとともに、所定の処理を実行し、当該所定の処理の実行中、又は、実行後の所定時間内は、記憶した回転身体動作とは逆の回転身体動作が検出されるかを監視するようにしても良い。
 また、第1例においては、手の甲側BHから手の平側PHへの遷移に基づいて機能を実行し、手の平側PHから手の甲側BHへの遷移に基づいて機能を停止する構成を例示したが、これに限定されず、逆の構成であっても良い。即ち、手の平側PHから手の甲側BHへの遷移に基づいて機能を実行し、手の甲側BHから手の平側PHへの遷移に基づいて機能を停止しても良い。また、本実施形態に係るウェアラブル装置1は、前腕の第1方向への回転動作(例えば回外動作)を伴う身体動作と、前腕の第1方向とは反対側の第2方向への回転動作(例えば回内動作)を伴う身体動作と、の何れによっても同一の所定の処理を実行するものとして特徴付けられても良い。
 図6は、ウェアラブル装置1により実行される機能の第2例を説明する図である。第2例において、ウェアラブル装置1は、表示部2の表示領域21に利用者の上肢を模した手オブジェクトOHを表示している。手オブジェクトOHは、検出部5によって検出される、現実の所定空間における利用者の上肢の位置に基づく表示位置に、検出部5によって検出される利用者の上肢の形状と略同形状の画像として表示される。当該構成に依れば、ウェアラブル装置1は、検出部5の検出範囲51の内、表示領域21の位置指定のための検出範囲を適宜設定できるため、例えば、利用者の視線の高さまで上肢を上げなくても、該上肢の身体動作に基づく操作が可能となる。
 ステップS11において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けているものとする。検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示部2に、上肢の手の甲側が表された手オブジェクトOBHを表示している。
 また、ステップS11において、ウェアラブル装置1は、複数のアイコンからなるアイコン群OB1を表示している。ここで、利用者が、現実の空間において上肢を移動させることによって、手オブジェクトOBHを移動させ、手オブジェクトOBHの指先をアイコンOB101の表示範囲に重畳させると、ウェアラブル装置1は、アイコンOB101が利用者によって選択されたものと見なし、アイコンOB101の表示態様を変更する(ステップS12)。
 そして、アイコンOB101が選択された状態において、利用者が前腕を回転(図6においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、手の甲側の状態である手オブジェクトOBHの表示態様を、手の平側の状態に反転させる(ステップS13)。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、アイコンOB101に対応付けられた機能を実行させる操作が利用者によってなされたと見なし、機能の実行を開始する(ステップS14)。ステップS14において、ウェアラブル装置1は、アイコンOB101に対応付けられた機能の実行に伴い、当該機能の実行画面SC1を表示部2の表示領域21に表示する。なお、ステップS13、S14に示すように、手の平側の状態にある手オブジェクトOHを、手オブジェクトOPHと表記している。
 なお、第2例のような、現実の空間に在る上肢の位置及び形状に基づく手オブジェクトOHを表示部2に表示する構成においては、回転身体動作がなされる前と回転身体動作がなされた後において、互いに重畳するアイコンOB101と手オブジェクトOHとの前後関係を変更しても良い。図6に示すように、回転身体動作がなされる前においては、手オブジェクトOHをアイコンOB101よりも前方、即ち、手オブジェクトOHがオブジェクトOB101よりも優先されて表示される表示態様とし、一方で、回転身体動作がなされた後においては、手オブジェクトOHをオブジェクトOB101よりも後方、即ち、アイコンOB101が手オブジェクトOHよりも優先されて表示される表示態様に変更して良い。このようにすることで、回転身体動作が検出されたことを利用者が視認しやすくなるため、ウェアラブル装置1の使い勝手が向上する。なお、2つの画像の一部が互いに重畳し、一方の表示画像の一部が、他方の画像の一部よりも優先されて表示される表示態様を、「複数の表示画像が互いに前後関係を有して表示されている」と称する。
 図7は、ウェアラブル装置1により実行される機能の第3例を説明する図である。第3例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。
 また、ウェアラブル装置1は、オブジェクトOB2及びオブジェクトOB3を表示部2の表示領域21に表示している。オブジェクトOB2とオブジェクトOB3とは、一部が重畳して表示されている。オブジェクトOB2はオブジェクトOB3よりも前方、即ち、オブジェクトOB2がオブジェクトOB3よりも優先されて表示されている。即ち、複数の表示画像(オブジェクトОB2及びOB3)は、互いに前後関係を有して表示されている。なお、本明細書において、「オブジェクト(手オブジェクトを除く)」と称するものは何れも、表示画像に該当するものとして説明する。
 ステップS21において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。ウェアラブル装置1は、検出部5の検出結果より利用者の上肢の手の甲側を検出したことに基づいて、表示領域21に、上肢の手の甲側が表された手オブジェクトOBHを表示している。利用者が人差し指と親指とを互いに離間させていることにより、手オブジェクトOBHにおける、人差し指の指先Fと、親指の指先Tとは、互いに離間して表示されている。手オブジェクトOBHにおける、人差し指の指先Fは、オブジェクトOB3と重畳し、親指の指先Tは、オブジェクトOB2と重畳している。このとき、ウェアラブル装置1は、オブジェクトOB2とオブジェクトOB3の双方が利用者によって選択されたものと見なしている。なお、図7に示すように、オブジェクトOB2とオブジェクトOB3の其々が選択されていることを視認しやすくするために、ウェアラブル装置1は、手オブジェクトOBHにおける、人差し指の指先Fの周囲と親指の指先Tの周囲に円形の表示エフェクトをそれぞれ表示している。
 ステップS21において、利用者が前腕を回転(図7においては点線矢印方向へ回転、即ち回外)させると(ステップS22)、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、オブジェクトOB2とオブジェクトOB3との前後関係を変更する(ステップS23)。ステップS23に示すように、回転身体動作による前後関係の変更に基づいて、オブジェクトOB3はオブジェクトOB2よりも前方、即ち、オブジェクトOB3がオブジェクトOB2よりも優先されて表示される表示態様に変更されている。ウェアラブル装置1は、回転身体動作を検出した後に、上肢の手の平側が表された手オブジェクトOPHを表示領域21に表示している。
 上記のように、本実施形態に係るウェアラブル装置1において、表示部2は、複数の表示画像を表示し、制御部7は、複数の表示画像が指定された状態で回転身体動作を検出すると、前記第1の処理を実行する構成を有する。
 また、当該構成において、制御部7は、上肢が現実の空間における所定位置に在ることにより、上肢の位置に基づいて表示される手オブジェクトOHが表示画像と重畳したことに基づいて、複数の表示画像が指定されたものとみなすことができる。なお、現実の空間における上肢の位置が表示画像を重畳しているように利用者によって視認されると推定した場合においても、上肢によって表示画像が指定されたものと見なすようにしても良い。
 さらに、制御部7は、複数の表示画像の内の第1表示画像が上肢の一部(人差し指の指先)によって指定され、当該複数の表示画像の内の第2表示画像が上肢の他部(親指の指先)によって指定された状態で回転身体動作を検出すると、第1の処理を実行することができるようにしても良い。
 さらに、制御部7は、第1の処理として、複数の表示画像の前後関係を変更する構成を有する。なお、第3例では、オブジェクトOBHにおける、親指の指先TがオブジェクトOB2と重畳したことによって該オブジェクトOB2が指定され、人差し指の指先FがオブジェクトOB3と重畳したことによって該オブジェクトOB3が指定される構成を例示したが、当該構成に限定されない。
 図8は、ウェアラブル装置1により実行される機能の第4例を説明する図である。第4例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。
 また、ウェアラブル装置1は、オブジェクトOB4及びオブジェクトOB5を表示部2の表示領域21に表示している。オブジェクトOB4とオブジェクトOB5とは、其々の大部分が重畳して表示されている。オブジェクトOB4はオブジェクトOB5よりも前方、即ち、オブジェクトOB4がオブジェクトOB5よりも優先されて表示されている。
 ステップS31において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。ウェアラブル装置1における検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示部2に、上肢の手の甲側が表された手オブジェクトOBHを表示している。また、利用者は、現実の空間において、上肢を所定の位置へ移動させることにより、手オブジェクトOBHをオブジェクトOB4と重畳する位置へ移動させる。このとき、ウェアラブル装置1は、検出部5の検出結果から手オブジェクトOBHの一部がオブジェクトOB4と重畳していることを認識する。
 ステップS31において、利用者が前腕を回転(図8においては点線矢印方向へ回転、即ち回外)させると(ステップS31)、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、オブジェクトOB4とオブジェクトOB5との前後関係を変更する。(ステップS32)。ステップS32に示すように、回転身体動作による前後関係の変更に基づいて、オブジェクトOB5はオブジェクトOB4よりも前方、即ち、オブジェクトOB5がオブジェクトOB4よりも優先されて表示される表示態様に変更されている。
 第4例において例示した構成によれば、第3例のような、上肢の一部である親指の指先TをオブジェクトOB2に重畳させることでオブジェクトOB2を指定し、上肢の他部である人差し指の指先FをオブジェクトOB3に重畳させることでオブジェクトOB3を指定する構成としなくとも、回転身体動作によって、互いに前後関係を有する複数の表示画像の該前後関係を変更することができる。
 図9は、ウェアラブル装置1により実行される機能の第5例を説明する図である。第5例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。
 また、ウェアラブル装置1は、オブジェクトOB6及びオブジェクトOB7を表示部2の表示領域21に表示している。オブジェクトOB6とオブジェクトOB7とは、一部が重畳して表示されている。オブジェクトOB6はオブジェクトOB7よりも前方、即ち、オブジェクトOB6がオブジェクトOB7よりも優先されて表示されている。
 ステップS41において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示部2に、上肢の手の甲側が表された手オブジェクトOBHを表示している。利用者が人差し指と親指とを互いに離間させていることにより、手オブジェクトOBHにおける、人差し指の指先と親指の指先とは、互いに離間して表示されている。手オブジェクトOBHにおける、人差し指の指先はオブジェクトOB7と重畳し、親指の指先はオブジェクトOB6と重畳している。このとき、ウェアラブル装置1は、オブジェクトOB6とオブジェクトOB7の双方が利用者によって選択されたものと見なしている。なお、図9に示すように、オブジェクトOB6とオブジェクトOB7の其々が選択されていることを視認しやすくするために、ウェアラブル装置1は、オブジェクトOBHにおける、人差し指の指先の周囲と親指の指先の周囲に表示エフェクトを、それぞれ表示している。
 ステップS41において、利用者が前腕を回転(図9においては点線矢印方向へ回転、即ち回外)させると(ステップS42)、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、指定されたオブジェクトOB6とオブジェクトOB7の表示位置を入れ替える(ステップS43)。
 このとき、ウェアラブル装置1は、オブジェクトOB6とオブジェクトOB7の表示位置を入れ替えるに際して、オブジェクトOB6におけるオブジェクトOB7に最も近い側の角部(ステップS42においては右上の角部)が、回転身体動作前(ステップS42)におけるオブジェクトOB7の右上の角部と一致する位置に表示位置を変更する。また、ウェアラブル装置1は、オブジェクトOB7におけるオブジェクトOB6に最も近い側の角部(ステップS42においては左下の角部)が、回転身体動作前(ステップS42)におけるオブジェクトOB6の左下の角部と一致する位置に表示位置を変更する。
 しかしながら、オブジェクトOB6とオブジェクトOB7の表示位置を入れ替える態様はこれに限定されない。例えば、ウェアラブル装置1は、オブジェクトOB6における特定の点(例えば、オブジェクトOB6の中心位置)と、オブジェクトOB7における、オブジェクトOB6の特定の点に対応する点(オブジェクトOB7の中心位置)と、が入れ替わるように、其々のオブジェクトの表示位置を入れ替えるようにしても良い。また、ウェアラブル装置1は、回転身体動作を検出すると、2つの表示画像のそれぞれを指定する上肢の一部と他部とが並ぶ方向、或は、回転身体動作における回転方向(何れも第5例においては、X軸方向であるものとする)を検出し、当該検出した方向(X軸方向)において、2つの表示画像の表示位置の相対的な関係を入れ替えるようにしても良い。この場合、2つの表示画像の表示位置を変更するに際して、Y軸方向における2つの表示画像の相対的な表示位置の関係は如何様にしても良い。また、上記の例とは異なり、2つの表示画像のそれぞれを指定する上肢の一部と他部とが並ぶ方向、或は、回転身体動作における回転方向がY軸方向である場合には、2つの表示画像の表示位置のY軸方向における相対的な関係を入れ替えるようにしても良い。また、ウェアラブル装置1は、手オブジェクトOHの親指の指先と重畳するオブジェクトOB6を、回転身体動作後の親指の指先と少なくとも重畳する位置へ表示位置を移動させ、一方で、手オブジェクトOHの人差し指の指先と重畳するオブジェクトOB7を、回転身体動作後の人差し指の指先と少なくとも重畳する位置へ表示位置を移動させるようにしても良い。
 上記のように、本実施形態に係るウェアラブル装置1において制御部7は、回転身体動作を検出したことに基づいて、第1の処理として、複数の表示画像の表示位置を入れ替える構成を有する。上記の例では、2つの表示画像を2本の指でそれぞれ指定した後、回転身体動作を行うと、該回転身体動作によって、2本の指の指先位置が入れ替わるため、このような態様に沿って、複数の表示画像の表示位置を入れ替える動作は、ユーザにとってより優れた操作感を得ることができる。
 なお、第5例では、複数の表示画像が指定された状態で回転身体動作を検出すると、表示制御として、回転身体動作の前と後とで、複数の表示画像の表示位置を単に入れ替える構成を例示したが、このような構成に限定されない。
 図10は、ウェアラブル装置1により実行される機能の第6例を説明する図である。図10における左側には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示され、右側には、利用者の頭部の上方から鉛直方向へ視たときに視認される領域(図3におけるX-Z面に相当)が示されている。
 第6例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。また、ウェアラブル装置1は、オブジェクトOB8及びオブジェクトOB9を表示領域21に表示している。
 ステップS51において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示領域21に、上肢の手の甲側が表された手オブジェクトOBHを表示している(ステップS51の左側)。利用者が人差し指と親指とを互いに離間させていることにより、手オブジェクトOBHにおける、人差し指の指先にFと親指の指先Tとは、互いに離間して表示されている。手オブジェクトOBHにおける、人差し指の指先FはオブジェクトOB9と重畳し、親指の指先領域TはオブジェクトOB8と重畳している。このとき、ウェアラブル装置1は、オブジェクトOB8とオブジェクトOB9の双方が利用者によって選択されたものと見なしている。
 ステップS51の右側に示すように、利用者の上肢における、人差し指の指先Fと親指の指先Tとは、Z軸方向において凡そ同距離の位置に在る状態となっている。即ち、ステップS51に示す状態は、利用者によって人差し指の指先Fと親指の指先Tの双方が利用者から凡そ同距離だけ離れた位置に在るように視認している状態である。また、ステップS51において、人差し指の指先Fと親指の指先Tとは、X軸方向において、両矢印で示す距離d1だけ離間している。
 ウェアラブル装置1は、ステップS51において、回転身体動作がなされたことを検出するとともに、人差し指の指先Fと親指の指先Tとの間の距離におけるX軸方向成分d2を検出する。ステップS52における、距離d2は、ステップS51における距離d1よりも小さくなる。ウェアラブル装置1は、回転身体動作によって人差し指の指先Fと親指の指先Tとの間の距離dが変化したことに基づいて、当該距離dの変化量に対応する角度を、回転身体動作における回転角度として検出する。
 ウェアラブル装置1は、ステップS51において、回転身体動作を検出したことを契機に、人差し指の指先Fと親指の指先Tとの距離が距離d1から距離d2へと小さくなったことに基づいて、オブジェクトOB8とオブジェクトOB9とのX軸方向における距離を小さくする(ステップS52)。
 次に、ステップS52において、利用者が前腕をさらに回転(図10においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、人差し指の指先Fと親指の指先Tとの間の距離dの変化量を再度検出する。ウェアラブル装置1は、回転身体動作に基づき、人差し指の指先Fと親指の指先Tとの間の距離dがゼロとなる状態を経て距離d3となったことを検出し、これによって人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことを検出する。言い換えると、ウェアラブル装置1は、ステップS52においては、人差し指の指先Fが親指の指先Tよりも右側に位置していたことに対し、ステップS53においては、人差し指の指先Fが親指の指先Tよりも左側に位置していることを検出する。ウェアラブル装置1は、人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことに基づいて、ステップS53に示すように、オブジェクトOB8とオブジェクトOB9とのX軸方向における相対的な位置を変更している。ウェアラブル装置1は、ステップS52においては、オブジェクトOB9がオブジェクトOB8よりも右側に位置するように其々のオブジェクトを表示していたのに対し、ステップS53においては、オブジェクトOB9がオブジェクトOB8よりも左側に位置するように其々のオブジェクトの表示位置を変更するとともに、人差し指の指先Fと親指の指先Tとの距離d3に応じた距離だけオブジェクトOB9とオブジェクトOB8とを離間させて表示している。
 上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作に伴う上肢の一部(人差し指の指先)と他部(親指の指先)との間の距離における所定方向の成分(距離d)の変化に応じて、第1表示画像と第2表示画像との相対位置を変更する構成を有する。なお、ウェアラブル装置1は、回転身体動作に伴う上肢の一部と他部との間の距離における所定方向の成分(距離d)の変化ではなく、回転身体動作における回転角度に応じて、第1表示画像と第2表示画像との相対位置を変更しても良い。
 再度、図10を参照すると、ステップS51において、利用者が前腕を回転(図10においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、該回転身体動作における上肢の回転角度を検出する。回転角度は、例えば、図10の右側に示すように、人差し指の指先Fにおける任意の点(例えば中心)と親指の指先Tにおける任意の点(例えば中心)との間の仮想線vと、X軸と平行な基準線xと、がなす角度θの変化量としても良い。ステップS51に示す状態は、人差し指の指先Fと親指の指先Tの双方が利用者から凡そ同距離だけ離れた位置に在る、即ち、仮想線v1が基準線xと平行であるため、角度θ1はゼロである。一方で、ステップS52においては、回転身体動作がなされたことにより、仮想線v2が基準線xに対して非平行となっており、角度θは、角度θ1から角度θ2へ変化する。なお、回転角度は、任意の点、例えば、人差し指の指先Fと親指の指先Tとの間の線分の中心点を回転中心として、当該線分が傾いた角度と規定しても良い。なお、回転角度の検出方法は、上述した種々の方法や他の公知の方法が適宜採用されて良い。
 ウェアラブル装置1は、回転身体動作によって、仮想線vと基準線xとがなす角度θが角度θ1からθ2へと変化したこと(0°≦θ1<θ2≦90°)に基づき、X軸方向において、人差し指の指先Fと親指の指先Tとが互いに近づいたものと見なし、これを契機に、オブジェクトOB8とオブジェクトOB9とのX軸方向における距離を小さくするよう表示位置を変更する(ステップS52)。ウェアラブル装置1は、オブジェクトOB8とオブジェクトOB9とのX軸方向における距離を小さくして表示するに際して、オブジェクトOB8とオブジェクトOB9とを一部重畳させて表示している。
 次に、ステップS52において、利用者が前腕をさらに回転(図10においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、上肢の回転角度即ち、角度θの変化量を再度検出する。ウェアラブル装置1は、回転身体動作により、ステップS52からステップS53へ遷移したことによって、仮想線vと基準線xとのなす角度θが角度θ2(0°≦θ2≦90°)から角度θ3(90°≦θ3≦180°)へと変化したことに基づいて、人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことを検出する。ウェアラブル装置1は、ステップS53に示すように、人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことに基づいて、オブジェクトOB8とオブジェクトOB9とのX軸方向における相対的な表示位置を変更している。ウェアラブル装置1は、オブジェクトOB8とオブジェクトOB9との位置を変更するとともに、角度θ3に応じた距離だけオブジェクトOB9とオブジェクトOB8とを離間させて表示している。ここで、ウェアラブル装置1は、角度θが0°≦θ≦90°の範囲内においては、角度θが大きくなる程、オブジェクトOB8とオブジェクトOB9とがより近づくように表示態様を変更し、一方で、角度θが90°≦θ≦180°の範囲内においては、角度θが大きくなる程、オブジェクトOB8とオブジェクトOB9とがより離れるように表示態様を変更する。なお、ステップS53において、仮想線v3は、基準線xに対して非平行となっている。
 上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作における回転角度(角度θの変化量)を検出し、第1の処理として、回転角度(角度θの変化量)に応じて、複数の表示画像の相対位置を変更する構成を有する。
 なお、第6例においては、回転身体動作に伴う上肢の一部と他部との間の距離における所定方向の成分の変化、又は、回転身体動作における回転角度に応じて、複数の表示画像の相対位置を変更する構成を例示したがこれに限定されない。例えば、ウェアラブル装置1は、回転身体動作の開始を検出すると、当該回転身体動作の継続時間を計時し、継続時間に基づいて、複数の相対位置を変更しても良い。ここで、ウェアラブル装置1は、例えば、上肢の一部が第1所定距離だけウェアラブル装置1に近づき、一方で、上肢の他部が第2所定距離だけウェアラブル装置1から離れたことを検出したことに基づいて、回転身体動作が開始したものと見なして良い。
 また、第3例~第6例においては、手オブジェクトOHの少なくとも一部が2つの表示画像の内の少なくとも一方に重畳した状態で回転身体動作が検出されたことに基づいて、当該2つの表示画像の前後関係、又は、表示位置を変更する構成を例示したが、このような構成に限定されない。例えば、図11に示すように、手オブジェクトOBHの人差し指をオブジェクトOB8に重畳させた状態で人差し指を曲げることにより、オブジェクトOB8を選択した状態とし(ステップS61)、次に、手オブジェクトOBHの人差し指をオブジェクトOB9に重畳させた状態で人差し指を曲げることにより、オブジェクトOB9を選択した状態とする(ステップS62)。オブジェクトOB8及びOB9を選択した状態で該オブジェクトOB8及びOB9に手オブジェクトOBHを重畳させていない状態で、回転身体動作を行うと(ステップS63)、ウェアラブル装置1は、回転身体動作を検出したことに基づいてオブジェクトOB8とオブジェクトOB9との表示位置を入れ替える(ステップS64)。
 また、図12に示すように、ウェアラブル装置1は、オブジェクトOB8の表示位置とオブジェクトOB9の表示位置とによって規定される方向P1を予め認識している(ステップS71)。なお、図12に示す例において、方向P1は、オブジェクトOB8の所定箇所(例えば中心の座標位置)と、これに対応するオブジェクトOB9の所定箇所(中心の座標位置)と、を通過する仮想線によって規定されている。そして、ウェアラブル装置1は、手オブジェクトOBHの人差し指と親指が伸展している状態で、上肢の回転身体動作を検出すると、該回転身体動作がなされる直前の手オブジェクトOBHにおける人差し指の指先と親指の指先とを通過する仮想線によって規定される方向P2を検出する。そして、ウェアラブル装置1は、方向P1と方向P2とがなす角度が所定の範囲にあるかを判定し、所定の範囲にあると判定した場合には、オブジェクトOB8とオブジェクトOB9との表示位置を入れ替える(ステップS72)。このような構成によっても、上肢を表示画像に重畳させることなく、複数の表示画像の前後関係、又は、表示位置を変更することができる。なお、所定の角度の範囲は、例えば、30°未満であるものと規定されて良い。
 また、ウェアラブル装置1は、方向P1と方向P2とを比較するのではなく、例えば、方向P1と方向P2のそれぞれを、X軸方向の成分とY軸方向の成分とに分解し、より大きい一方の方向が一致する場合には、回転身体動作に基づいて、複数の表示画像の前後関係、又は、表示位置を変更するようにしても良い。図12の例では、方向P1、方向P2共に、X軸方向の成分の方がY軸方向の成分よりも大きいため、検出した回転身体動作が第1処理のための操作として有効であると制御部7によって判定される。
 また、図13に示すように、ウェアラブル装置1は、手オブジェクトOBHの人差し指と親指が伸展している状態で、上肢の回転身体動作を検出すると、該回転身体動作がなされる直前の手オブジェクトOBHにおける人差し指の指先と親指の指先とを通過する仮想線P3を生成する(ステップS81)。そして、ウェアラブル装置1は、仮想線P3がオブジェクトOB8とオブジェクトOB9の双方を通過し得るかを判定し、通過し得ると判定した場合には、オブジェクトOB8とオブジェクトOB9との表示位置を入れ替える(ステップS82)。このような構成によっても、上肢を表示画像に重畳させることなく、複数の表示画像の前後関係、又は、表示位置を変更することができる。
 なお、第6例においては、回転身体動作における回転角度に応じて異なる表示制御を実行する構成として、複数の表示画像の相対位置を変更する構成を例示したが、これに限定されない。
 図14は、ウェアラブル装置1により実行される機能の第7例を説明する図である。図14における左側には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示され、利用者の右手における手の甲側BHが利用者側へ向けられている。このとき、手BHの人差し指が伸展された状態であり、該人差し指の伸展方向をY’軸、Y’軸方向と垂直な方向をX’軸と定義する(ここで、X’-Y’面はX-Y面と略平行な面であるものと仮定する)。図14における右側には、Y’軸の上方から人差し指の指先を視たときの該人差し指の図が示されている。
 ステップS91において、ウェアラブル装置1は、表示部2の表示領域21に利用者の選択、実行操作によって、メール機能を実行可能である旨のアイコンOB10を表示している。ステップS91において、ウェアラブル装置1は、アイコンOB10の表示範囲に手BHの人差し指の指先が重畳されていることに基づいて、アイコンOB10が利用者によって選択されたものと見なしている。なお、ウェアラブル装置1は、利用者によって表示領域21と重畳して視認される現実の空間の範囲を予め推定しており、従って、その範囲内における人差し指の検出位置に応じて表示領域21の何れの位置と重畳して視認されるかを推定可能としている。
 そして、ステップS91に示す状態、即ち、アイコンOB10が選択された状態において、利用者が、人差し指の伸展方向を軸として、前腕を第1所定角度θ1だけ回転(図14においては点線矢印方向へ回転、即ち回外)させると、ステップS92に示す状態に遷移する。ウェアラブル装置1は、回転身体動作がなされたことを検出すると、第1回転角度θ1を検出する。ウェアラブル装置1は、回転身体動作の検出に基づき、アイコンOB10に対応付けられた機能を実行させる操作が利用者によってなされたと見なし、機能の実行を開始する(ステップS92)。ステップS92において、ウェアラブル装置1は、アイコンOB10に対応付けられた機能の実行に伴い、当該機能の実行画面SC2、SC3を表示部2に表示する。実行画面SC2、SC3は、メール相手毎の最新のメールのやり取りにおける簡易な情報を示す画像である。
 ステップS92に示す状態から、利用者が、前腕を第1所定角度θ1よりも大きい第2所定角度θ2だけ回転させると、ステップS93に示す状態に遷移する。ステップS93において、ウェアラブル装置1は、回転身体動作における回転角度が第1所定角度θ1よりも大きい第2所定角度θ2となったことに基づいて、第1所定角度θ1の場合における実行画面SC2、SC3よりも詳細な情報量(例えば、メール文の一部が新たに付加されている)であり、また、より大きな画像の実行画面SC2、SC3を表示部2に表示する。また、ウェアラブル装置1は、回転身体動作における回転角度が第1所定角度θ1よりも大きい第2所定角度θ2となったことに基づいて、実行画面SC2、SC3に加えて、実行画面SC4を表示部2に表示する。実行画面SC4は、例えば、実行画面SC2、SC3におけるメール相手とは異なるメール相手との最新のメールのやり取りにおける情報を示す画像である。
 ステップS93に示す状態から、利用者が、前腕を第2所定角度θ2よりも大きい第3所定角度θ3だけ回転させると、ステップS94に示す状態に遷移する。ステップS94において、ウェアラブル装置1は、回転身体動作における回転角度が第2所定角度θ2よりも大きい第3所定角度θ3となったことに基づいて、第2所定角度θ2の場合における実行画面SC2よりも詳細な情報量(例えば、過去のメール内容を閲覧可能な画面)であり、又より大きな画像の実行画面SC2を表示部2に表示する。第2所定角度θ2の場合における実行画面SC2よりも大きな画像の実行画面SC2を表示するに際して、実行画面SC3、SC4は非表示となっている。
 上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作における回転角度を検出し、第1の処理として、回転角度に応じた処理を実行する。そして、制御部7は、第1の処理として、表示画像に関連する少なくとも一つの他の画像(第7例においては実行画面SC)を表示し、回転角度に応じて、他の画像に含まれる情報量、又は、他の画像の大きさ、又は、前記他の画像の数、を変更する構成を有する。
 図15は、ウェアラブル装置1により実行される機能の第8例を説明する図である。図15には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示され、利用者の右手における手の甲側BHが利用者側へ向けられている。ウェアラブル装置1は、表示部2の表示領域21にウェブブラウザ画面SC5を表示している。図15では、ステップS101~S103に示す第1の操作例とステップS111~S113に示す第2の操作例との2つの操作例が併せて示されている。
 まず、第1の操作例では、ステップS101に示すように、利用者は、画面SC5における所定の文字列SC501を手BHの人差し指で重畳させ、人差し指を曲げている。ウェアラブル装置1は、現実の空間における手BHの人差し指の位置、及び人差し指が曲げられていることを検出することによって、画面SC5における所定の文字列が利用者によって選択されていることを認識する。
 ステップS101に示す状態、即ち、文字列SC501が選択された状態において、利用者が、前腕を回転(図15においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、上肢の位置の所定長さ以上の移動を含むか否かを判定する。ステップS102に示すように、回転身体動作後の上肢の位置がステップS101の状態と比較して変化しない、即ち、上肢の位置の所定長さ以上の移動を含まないとウェアラブル装置1が判定すると、これに基づいて、ウェアラブル装置1は、例えば、ステップS103に示すように、利用者によって選択されていた文字列SC501に対応する、他のウェブブラウザ画面SC6に表示を遷移させる。
 一方、第2の操作例では、ステップS111に示すように、利用者は、画面SC5における所定の位置に手BHを重畳させている状態から、ステップS112に示すように、上肢の移動を伴って、回転身体動作を行っている。ウェアラブル装置1は、利用者が前腕を回転(図15においては点線矢印方向へ回転、即ち回外)させると、回転身体動作がなされたことを検出するとともに、該回転身体動作が上肢の位置の所定長さ以上の移動を含むか否かを判定する。そして、ウェアラブル装置1は、上肢の位置の所定長さ以上の移動として、距離d4の移動を含む回転身体動作を検出すると、第1の操作例とは異なる表示制御内容として、ステップS113に示すように、ウェブブラウザ画面SC6へ遷移させるのではなく、他のウェブブラウザ画面SC7へ表示を遷移させる。
 上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、該回転身体動作が上肢の位置の所定長さ以上の移動を含む第1回転身体動作か、上肢の位置の所定長さ以上の移動を含まない第2回転身体動作か、を判定し、第1回転身体動作に基づく所定の処理と第2回転身体動作に基づく所定の処理との間で、制御内容を異ならせる構成を有する。
 以上の各実施例では、ウェアラブル装置1が回転身体動作を検出したことに基づいて、所定動作として、所定の表示制御を実行する構成を例示したが、所定動作は表示制御に限定されない。
 図16は、ウェアラブル装置1により実行される機能の第9例を説明する図である。図16には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示されている。また、第9例において、ウェアラブル装置1は、撮像機能を起動しており、撮像部3によって逐次撮像される撮像画像をプレビューウィンドウPWとして表示部2に表示している。
 ステップS121において、利用者は、右手Hをウェアラブル装置1の前方に移動させ、ウェアラブル装置1に対して右手Hの手の甲側を向けている。右手Hの手の甲側が撮像部3によって撮像されることにより、プレビューウィンドウPWには、右手Hの手の甲側BHが表示されている。
 利用者は、プレビューウィンドウPWを視認しながら、ウェアラブル装置1の前方で前腕を回転(図16においては点線矢印方向へ回転、即ち回外)させると(ステップS122)、ウェアラブル装置1は、撮像画像を解析することによって回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作を検出したことを契機に、所定の処理として、撮像機能における処理内容を変更する。ステップS123に示すように、ウェアラブル装置1は、回転身体動作を検出したことを契機に、静止画像の撮像モードから動画像の撮像モードに変更する。これに伴い、ステップS121では、静止画像の撮像モードである旨を示すオブジェクトOB11が表示されていたのに対し、ステップS123では動画像の撮像モードである旨を示すオブジェクトOB12へ表示が変更されている。なお、回転身体動作に基づいて変更する撮像機能の種類は、これに限定されず、回転身体動作に基づいて、撮像機能に係る種々の設定値として、例えば、露出補正における補正値、ISO感度、ホワイトバランス、シャッタースピード、絞り値、被写界深度、焦点距離、ズーム率等を変更する構成であって良い。また、回転身体動作の繰り返し回数に基づいて、撮像機能に係る種々の設定値を連続的に、或は段階的に変更する構成であっても良い。
 図17は、ウェアラブル装置1により実行される機能の第10例を説明する図である。図17には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示されている。
 ステップS131において、ウェアラブル装置1は、表示部2に表示画像OB13を表示している。また、ステップS131において、利用者から近い位置、或いは容易に視認可能な位置に、他の電子機器として、ノートパソコン100が在る。
 ステップS131において、利用者は、ウェアラブル装置1を装着した状態で、例えば、頭部の向きを変更することにより、ウェアラブル装置1の表示領域21越しにノートパソコン100を視認する状態に遷移する(ステップS132)。このとき、ウェアラブル装置1は、検出部5の検出結果或いは撮像部3の撮像画像に基づいて、ウェアラブル装置1の前方にノートパソコン100が在るものと判定する。ステップS132において、利用者は、表示画像OB13がノートパソコン100に重畳しているように視認している。ここで、表示画像OB13が不透明であり、表示画像OB13とノートパソコン100とが重畳している領域においては、ノートパソコン100を視認できない状態となっている場合が例示されているが、表示画像OB13が透明又は半透明であっても良く、このような場合には、利用者は、表示画像OB13越しにノートパソコン100を視認し易くなる。
 ステップS132において、利用者がウェアラブル装置1の検出部5の検出範囲内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
 ステップS132において、利用者が手オブジェクトOBHの少なくとも一部を表示画像OB13に重畳させた状態で、前腕を回転(図17においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS133)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、表示画像OB13を非表示とする(ステップS134)。
 上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、ウェアラブル装置1の前方に他の表示機器が在るか否かを判定し、ウェアラブル装置1の前方に他の表示機器が在る場合に、回転身体動作を検出すると、表示画像を非表示にする構成を有する。このような構成とすることで、ウェアラブル装置1が表示する表示画像によって、表示機器の表示内容等の視認が妨げられるときに、利用者による簡単な操作で、そのような妨げられる状態を即座に解消することができる。
 なお、ウェアラブル装置1の前方にノートパソコン100が在るか否かを判定するに際して、ウェアラブル装置1は、検出部5の検出範囲51或いは撮像部3の撮像範囲にノートパソコン100の一部又は全部が検出されたことに基づいて、ウェアラブル装置1の前方にノートパソコン100が在ると判定しても良いし、検出範囲51或いは撮像範囲における予め設定された所定範囲(例えば、利用者の視界に入りやすい、画角30度程度の範囲)にノートパソコン100の一部又は全部が検出されたことに基づいて、ウェアラブル装置1の前方にノートパソコン100が在ると判定しても良い。
 図18は、ウェアラブル装置1により実行される機能の第11例を説明する図である。第11例ではウェアラブル装置1が、利用者の身体動作に基づいて、他の表示機器と所定の通信処理を実行する例である。図18には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示されている。
 ステップS141において、ウェアラブル装置1は、表示部2に表示画像OB141を含む複数の表示画像が一覧表示された画像一覧OB14を表示している。また、ステップS141において、利用者から近い位置、或いは容易に視認可能な位置に、他の電子機器として、ノートパソコン100が在る。
 ステップS141において、ウェアラブル装置1を装着した利用者が頭部の向きを変更することにより、表示領域21越しにノートパソコン100を視認する状態に遷移すると(ステップS142)、ウェアラブル装置1は、検出部5の検出結果或いは撮像部3の撮像画像に基づいて、ウェアラブル装置1の前方にノートパソコン100が在るものと判定する。そして、ウェアラブル装置1は、ウェアラブル装置1の前方にノートパソコン100が在るものと判定したことに基づいて、画像一覧OB14中に一覧表示されていた複数の表示画像の表示態様を変更し、例えば、ステップS142に示すように、表示領域21おいて、ノートパソコン100と重畳しない、或いは重畳して視認されない位置にそれぞれの表示画像を再配置して表示する。
 ステップS142において、利用者がウェアラブル装置1の検出部5の検出範囲内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
 ステップS142において、利用者が手オブジェクトOBHの少なくとも一部を表示画像OB151に重畳させた状態で、前腕を回転(図18においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS143)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、利用者によって表示画像OB141が選択されたものと見なし、表示画像OB141の表示態様を変更する。また、ウェアラブル装置1は、表示画像OB141が回転身体動作後の手OPHよりも手前となるように表示態様を変更する。
 ステップS143に示す状態において、利用者が手OPHの少なくとも一部(指先)を表示画像OB141に重畳させた状態で、前腕を回転(図18においては点線矢印方向へ回転、即ち回内)させつつ、即ち、回転身体動作を行いつつ、指先の位置を表示領域21におけるノートパソコン100の表示部と重畳する領域に移動させると(ステップS144)、ウェアラブル装置1は、利用者によって、表示画像OB141に対応する画像データをノートパソコン100へ転送する操作がなされたものと判定する。ウェアラブル装置1は、ノートパソコン100と無線通信接続を確立させ、画像データをノートパソコン100に送信する。ステップS145に示すように、ノートパソコン100は、ウェアラブル装置1から受信した画像信号に基づき、表示画像OB141と同内容の表示画像OB141’を表示部2に表示する。
 上記のように、本実施形態に係るウェアラブル装置1は、他の電子機器と通信する通信部8を備え、制御部7は、ウェアラブル装置1の前方に他の表示機器が在るか否かを判定し、ウェアラブル装置1の前方に他の表示機器が在る場合に、回転身体動作を検出すると、所定の処理として、他の電子機器との通信によるデータ転送処理を含む第2の処理を実行する構成を有する。
 なお、ウェアラブル装置1は、手OPHの少なくとも一部(指先)が、回転身体動作を伴って、表示画像OB141に重畳した位置から、表示領域21におけるノートパソコン100の表示部2と重畳する領域に移動したことを検出すると、該移動後の位置を検出し、検出した位置と重畳する位置、又は近傍の位置に表示画像OB141’を表示するように、ノートパソコン100を制御しても良い。
 また、ウェアラブル装置1は、回転身体動作を行うことなく、手OPHの少なくとも一部(指先)を表示画像OB141に重畳した位置から、表示領域21におけるノートパソコン100の表示部と重畳する領域に移動させた場合には、表示画像OB141に対応する画像データをノートパソコン100へ転送する操作ではないものと判定して良い。
 図19は、ウェアラブル装置1により実行される機能の第12例を説明する図である。第12例は、第11例と同様、ウェアラブル装置1が、利用者の身体動作に基づいて、他の表示機器と所定の通信処理を実行する例である。図19には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示されている。
 ステップS151において、ウェアラブル装置1は、表示部2に表示画像OB151を含む複数の表示画像が一覧表示された画像一覧OB15を表示している。また、ステップS151において、利用者から近い位置、或いは容易に視認可能な位置に、他の電子機器として、ノートパソコン100が在る。
 ステップS151において、ウェアラブル装置1を装着した利用者が頭部の向きを変更することにより、表示領域21越しにノートパソコン100を視認する状態に遷移すると(ステップS152)、ウェアラブル装置1は、検出部5の検出結果或いは撮像部3の撮像画像に基づいて、ウェアラブル装置1の前方にノートパソコン100が在るものと判定する。
 ステップS152において、利用者がウェアラブル装置1の検出部5の検出範囲内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
 ステップS152において、利用者が手オブジェクトOBHの少なくとも一部を表示画像OB151に重畳させた状態で、前腕を回転(図19においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS153)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作を検出すると、利用者が手オブジェクトOBHの少なくとも一部が重畳していた表示画像OB151の少なくとも一部が、ノートパソコン100の表示部と重畳しているか否かを判定し、重畳していると判定した場合には、利用者によって、表示画像OB151に対応する画像データをノートパソコン100へ転送する操作がなされたものと見なす。そして、ウェアラブル装置1は、ノートパソコン100との無線通信接続を確立し、画像データをノートパソコン100に送信する。ステップS154に示すように、ノートパソコン100は、ウェアラブル装置1から受信した画像信号に基づき、表示画像OB151と同内容の表示画像OB151’を表示部2に表示する。
 なお、ウェアラブル装置1は、回転身体動作を検出すると、利用者が手オブジェクトOBHの少なくとも一部が重畳していた表示画像OB151の少なくとも一部が、ノートパソコン100の表示部と重畳しているか否かを判定し、重畳していないと判定した場合には、表示画像OB151に対応する画像データをノートパソコン100へ転送する操作はなされていないものと見なす。
 図20は、ウェアラブル装置1により実行される機能の第13例を説明する図である。第13例は、第11例、第12例と同様、ウェアラブル装置1が、利用者の身体動作に基づいて、他の表示機器と所定の通信処理を実行する例である。図20には、利用者によって2次元的に視認され得る領域(図3におけるX-Y面に相当)が示されている。
 ステップS161において、利用者は、表示部2の表示領域21越しに、他の電子機器として、テレビ200を視認している。利用者は、表示部2の表示領域21越しに、テレビ200が表示している映像を視聴している。
 ステップS162において、利用者がウェアラブル装置1の検出部5の検出範囲51内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
 ステップS162において、利用者が前腕を回転(図20においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS162)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作を検出すると、手オブジェクトOBHがウェアラブル装置1の前後方向、或いは、X-Y面に所定角度で交わる方向において、手オブジェクトOBHの少なくとも一部がテレビ200或いはテレビ200の表示部と重畳した状態で回転身体動作がなされたか否かを判定する。即ち、ウェアラブル装置1は、テレビ200或いはテレビ200が表示する映像に対して、利用者による指定がなされた状態で回転身体動作を検出したか否かを判定する。ウェアラブル装置1は、テレビ200或いはテレビ200が表示する映像に対して、利用者による指定がなされた状態で回転身体動作を検出した、即ち、手オブジェクトOBHの少なくとも一部がテレビ200或いはテレビ200が表示する映像と重畳した状態で回転身体動作がなされたと判定すると、テレビ200と無線通信接続を確立させ、テレビ200に対し、画像データの送信要求を行う。テレビ200は、ウェアラブル装置1からの画像データの送信要求を受信すると、テレビ200が表示している映像に対応する画像データをウェアラブル装置1へ送信する。ウェアラブル装置1は、テレビ200から受信した画像データに基づき、テレビ200が表示している映像と同様の映像SC8を表示部2に表示させる(ステップS163)。なお、ウェアラブル装置1は、回転身体動作を検出する前の時点において、利用者の設定によって、画像データの送信要求先がテレビ200であることを予め認識していても良い。
 次に、利用者は、映像SC8をウェアラブル装置1の表示部2に表示させるための操作を終えた状態(ステップS163)における手オブジェクトOBHの形状を変更し、該変更した状態で、前腕を回転させると(ステップS164)、映像SC8と異なる画像として、テレビ200が放送受信可能な番組一覧表SC9に表示を切り替える(ステップS165)。
 以上に、本出願に係る実施形態を説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本出願の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を1つに組み合わせたり、或いは分割したりすることが可能である。
 以上の各実施例を参照して、ウェアラブル装置1によって実行される機能の多数の例を示した。それぞれの例においては、第1例のような、オブジェクトOHを表示することなく、現実の空間に存在する上肢を視認しながら操作を行う構成か、第2例のような、オブジェクトOHを表示して、該オブジェクトOHを視認しながら操作を行う構成か、の何れかの場合を適用して説明してきたが、これに限定されないことに注意されたい。以上に示した、ウェアラブル装置1によって実行される機能の全ての例において、オブジェクトOHを表示することなく、現実の空間に存在する上肢を視認しながら操作を行う構成と、オブジェクトOHを表示して、該オブジェクトOHを視認しながら操作を行う構成と、の何れもが適用可能であることは勿論である。
 また、上記の第3例~第6例においては、回転身体動作が検出されたことに基づいて、2つの表示画像の表示態様の変更として、当該2つの表示画像の前後関係、又は、表示位置を変更する構成を例示したが、表示態様の変更内容は、これらに限定されない。例えば、ウェアラブル装置1は、回転身体動作が検出されたことに基づいて、2つの表示画像の内、一方の表示画像を縮小表示又は非表示とし、他方の表示画像を拡大表示しても良い。
 また、上記の各実施例では、ウェアラブル装置1は、身体動作の内、上肢における腕の回転を伴う回転身体動作を検出したことに基づいて所定動作を実行する、又は、撮像部3(または検出部5としての赤外線撮像部)が撮像する撮像画像に含まれる上肢が手の平側となる第1状態と、手の甲側となる第2状態と、を判別し、第1状態と第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定動作を実行する構成を例示した。何れの例においても、上肢が右上肢である場合を例示したが、これに限定されず、上肢が左上肢であっても良い。また、右上肢と左上肢の双方であっても良い。さらに、ウェアラブル装置1は、検出部5の検出結果から、上肢の一部(例えば右上肢)がウェアラブル装置1から離れる動作と、上肢の他部(例えば左上肢)がウェアラブル装置1に近づく動作と、の双方を伴う特定の身体動作を検出したことに基づいて、上記の各実施例で例示した所定の処理を実行する構成を有していても良い。例えば、ウェアラブル装置1は、特定の身体動作として、利用者が右手を前に押し出すと同時に、左手を利用者側に引く動作を行ったとすると、当該動作を上記の回転身体動作と同様の身体動作とみなし、上記の各種の所定動作を実行すれば良い。
 また、上記の各実施例では、ウェアラブル装置1が回転身体動作に基づく所定の処理として、表示画像に関する第1の処理や、他の電子機器との通信によるデータ転送処理を含む第2の処理や、撮像機能の変更等を実行する例を示したが、所定の処理の例はこれに限定されない。例えば、利用者の所定の操作により文字入力が実行され、表示部2に文字が表示されている場合において、ウェアラブル装置1は、回転身体動作を検出したことに基づいて、入力された文字のかな/漢字変換、又は、日本語/英語翻訳、又は、入力された文字に基づいて予測される予測候補への変換、等を所定の処理として実行して良い。また、ウェアラブル装置1は、検出した回転身体動作の繰り返し回数に基づいて、かな/漢字変換における変換候補を順次変更しても良い。同様に、ウェアラブル装置1は、検出した回転身体動作の繰り返し回数に基づいて、日本語/英語翻訳における翻訳語の候補、又は、入力された文字に基づいて予測される予測候補、等を順次変更しても良い。
 また、上記の実施例では、ウェアラブル装置1が、眼鏡形状を有する例を示してきたが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、ウェアラブル装置1は、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。
 また、上記の実施例では、表示部2がユーザの左右の目の前に設けられる一対の表示部2a、2bを有している構成を例示してきたが、これに限定されず、表示部2は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
 また、上記の実施例では、正面部の縁部が、表示部2の表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部2の表示領域の縁の一部のみを囲っている構成であっても良い。
 また、上記の実施例では、利用者の上肢として手や指を撮像部(或いは検出部)によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても同様にして検出可能である。
 上記の実施例では、ウェアラブル装置1の構成と動作について説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。
1 ウェアラブル装置
1a 前面部
1b 側面部
1c 側面部
2  表示部
3  撮像部
4  撮像部
5  検出部
6  操作部
7  制御部
8  通信部
9  記憶部

Claims (22)

  1.  現実の空間に在る利用者の上肢を検出可能な検出部と、
     前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能な
     ウェアラブル装置。
  2.  利用者の眼前に表示画像を表示する表示部を備え、
     前記制御部は、前記所定の処理として、前記表示画像に関する第1の処理を実行する
     請求項1に記載のウェアラブル装置。
  3.  前記制御部は、前記回転身体動作として、前記腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて前記所定の処理を実行し、
     前記所定の処理の実行中に、前記回内動作と前記回外動作の内の他方を伴う身体動作を検出したことに基づいて、前記所定の処理を終了する
     請求項1又は2に記載のウェアラブル装置。
  4.  前記制御部は、前記回転身体動作として、前記腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて前記所定の処理を実行し、
     前記所定の処理の実行後の所定時間内に、前記回内動作と前記回外動作の内の他方を伴う身体動作を検出したことに基づいて、前記所定の処理と対の制御内容を含む第2の処理を実行する
     請求項1又は2に記載のウェアラブル装置。
  5.  前記制御部は、前記回転身体動作を検出すると、当該回転身体動作の検出前の時点における前記上肢の位置に基づいて選択された前記表示画像に対する前記第1の処理を実行する
     請求項2から4の何れか一項に記載のウェアラブル装置。
  6.  前記表示部は、複数の前記表示画像を表示し、
     前記制御部は、前記複数の表示画像が指定された状態で前記回転身体動作を検出すると、前記第1の処理を実行する
     請求項2から5の何れか一項に記載のウェアラブル装置。
  7.  前記制御部は、前記上肢が前記現実の空間における所定位置に在ることに基づいて、前記複数の表示画像が指定されたものとみなす
     請求項6に記載のウェアラブル装置。
  8.  前記制御部は、前記複数の表示画像の内の第1表示画像が前記上肢の一部によって指定され、当該複数の表示画像の内の第2表示画像が前記上肢の他部によって指定された状態で前記回転身体動作を検出すると、前記第1の処理を実行する
     請求項6又は7に記載のウェアラブル装置。
  9.  前記制御部は、前記第1の処理として、前記複数の表示画像の前後関係を変更する
     請求項6から8の何れか一項に記載のウェアラブル装置。
  10.  前記制御部は、前記第1の処理として、前記複数の表示画像の表示位置を入れ替える
     請求項6から8の何れか一項に記載のウェアラブル装置。
  11.  前記制御部は、前記回転身体動作を検出すると、当該回転身体動作に伴う前記一部と前記他部との間の距離における所定方向の成分の変化に応じて、前記第1表示画像と前記第2表示画像との相対位置を変更する
     請求項8に記載のウェアラブル装置。
  12.  前記制御部は、前記回転身体動作を検出すると、当該回転身体動作における回転角度を検出し、前記第1の処理として、前記回転角度に応じて、前記複数の表示画像の相対位置を変更する
     請求項6から8の何れか一項に記載のウェアラブル装置。
  13.  前記制御部は、前記回転身体動作を検出すると、当該回転身体動作における回転角度を検出し、前記第1の処理として、前記回転角度に応じた処理を実行する
     請求項2から8の何れか一項に記載のウェアラブル装置。
  14.  前記制御部は、前記第1の処理として、前記表示画像に関連する少なくとも一つの他の画像を表示し、
     前記回転角度に応じて、
      前記他の画像に含まれる情報量、又は
      前記他の画像の大きさ、又は、
      前記他の画像の数、を変更する
     請求項13に記載のウェアラブル装置。
  15.  前記制御部は、前記回転身体動作を検出すると、該回転身体動作が前記上肢の位置の所定長さ以上の移動を含む第1回転身体動作か、前記上肢の位置の所定長さ以上の移動を含まない第2回転身体動作か、を判定し、
     前記第1回転身体動作に基づく前記所定の処理と前記第2回転身体動作に基づく前記所定の処理との間で、制御内容を異ならせる
     請求項2から8の何れか一項に記載のウェアラブル装置。
  16.  前記制御部は、前記第1の処理として、前記表示画像を非表示にする
     請求項2に記載のウェアラブル装置。
  17.  前記制御部は、前記ウェアラブル装置の前方に他の表示機器が在るか否かを判定し、
     前記ウェアラブル装置の前方に他の表示機器が在る場合に、前記回転身体動作を検出すると、前記表示画像を非表示にする
     請求項16に記載のウェアラブル装置。
  18.  他の電子機器と通信する通信部を備え、
     前記制御部は、前記ウェアラブル装置の前方に他の表示機器が在るか否かを判定し、
     前記ウェアラブル装置の前方に前記他の表示機器が在る場合に、前記回転身体動作を検出すると、前記所定の処理として、前記他の電子機器との通信によるデータ転送処理を含む第2の処理を実行する
     請求項1に記載のウェアラブル装置。
  19.  撮像部と、
     前記撮像部が撮像する撮像画像から利用者の上肢を検出する制御部と、を備える、利用者に装着可能なウェアラブル装置であって、
     前記制御部は、前記撮像画像に含まれる前記上肢が手の平側となる第1状態と前記撮像画像に含まれる前記上肢が手の甲側となる第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定の処理を実行する
     ウェアラブル装置。
  20.  現実の空間に在る利用者の上肢を検出可能な検出部と、
     前記検出部の検出結果から、前記上肢の一部が前記ウェアラブル装置から離れる動作と、前記上肢の他部が前記ウェアラブル装置に近づく動作と、の双方を伴う特定の身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能な
     ウェアラブル装置。
  21.  現実の空間に在る利用者の上肢を検出可能な検出部と、制御部と、を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     前記制御部は、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する
     制御方法。
  22.  現実の空間に在る利用者の上肢を検出可能な検出部と、制御部と、を備える、頭部に装着可能なウェアラブル装置において、
     前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記制御部に所定の処理を実行させる
     制御プログラム。
PCT/JP2016/071936 2015-07-29 2016-07-26 ウェアラブル装置、制御方法及び制御プログラム WO2017018428A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017530889A JP6510648B2 (ja) 2015-07-29 2016-07-26 ウェアラブル装置、制御方法及び制御プログラム
US15/747,754 US20180217680A1 (en) 2015-07-29 2016-07-26 Wearable device, control method, and control code

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015149242 2015-07-29
JP2015-149242 2015-07-29

Publications (1)

Publication Number Publication Date
WO2017018428A1 true WO2017018428A1 (ja) 2017-02-02

Family

ID=57884709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071936 WO2017018428A1 (ja) 2015-07-29 2016-07-26 ウェアラブル装置、制御方法及び制御プログラム

Country Status (3)

Country Link
US (1) US20180217680A1 (ja)
JP (1) JP6510648B2 (ja)
WO (1) WO2017018428A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10379613B2 (en) * 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10341648B1 (en) * 2017-09-20 2019-07-02 Amazon Technologies, Inc. Automated detection of problem indicators in video of display output
US10521011B2 (en) * 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10782651B2 (en) * 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
WO2020209624A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US11531392B2 (en) 2019-12-02 2022-12-20 Finchxr Ltd. Tracking upper arm movements using sensor modules attached to the hand and forearm
US12032736B2 (en) * 2022-02-23 2024-07-09 International Business Machines Corporation Gaze based text manipulation
US20240070995A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Wrist rotation manipulation of virtual objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505508A (ja) * 2009-09-22 2013-02-14 ペブルステック リミテッド コンピュータ装置の遠隔制御
JP2014119295A (ja) * 2012-12-14 2014-06-30 Clarion Co Ltd 制御装置、及び携帯端末
WO2014181380A1 (ja) * 2013-05-09 2014-11-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508274A (ja) * 2005-09-13 2009-02-26 スペースタイムスリーディー・インコーポレーテッド 3次元グラフィカル・ユーザ・インターフェースを提供するシステム及び方法
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US10019144B2 (en) * 2013-02-15 2018-07-10 Quick Eye Technologies Inc. Organizer for data that is subject to multiple criteria

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505508A (ja) * 2009-09-22 2013-02-14 ペブルステック リミテッド コンピュータ装置の遠隔制御
JP2014119295A (ja) * 2012-12-14 2014-06-30 Clarion Co Ltd 制御装置、及び携帯端末
WO2014181380A1 (ja) * 2013-05-09 2014-11-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法

Also Published As

Publication number Publication date
JPWO2017018428A1 (ja) 2018-03-29
JP6510648B2 (ja) 2019-05-08
US20180217680A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
WO2017018428A1 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP6400197B2 (ja) ウェアラブル装置
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
JP6595597B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
US20200209961A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR101983725B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR102458344B1 (ko) 카메라의 초점을 변경하는 방법 및 장치
US9904360B2 (en) Head tracking based gesture control techniques for head mounted displays
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
TW201403380A (zh) 手勢辨識系統及可辨識手勢動作的眼鏡
US20220012922A1 (en) Information processing apparatus, information processing method, and computer readable medium
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
KR102039948B1 (ko) 증강현실이나 가상현실에 기초하여 가상의 인체 장기를 렌더링하는 이동 단말기 및 이를 이용하는 시스템
WO2016006070A1 (ja) 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ
JP6686319B2 (ja) 画像投影装置及び画像表示システム
US8970483B2 (en) Method and apparatus for determining input
JP6999822B2 (ja) 端末装置および端末装置の制御方法
KR20180097031A (ko) 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
TW201445366A (zh) 手勢辨識系統及可辨識手勢動作的眼鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830533

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017530889

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15747754

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16830533

Country of ref document: EP

Kind code of ref document: A1