WO2016136838A1 - ウェアラブル装置、制御方法及び制御プログラム - Google Patents

ウェアラブル装置、制御方法及び制御プログラム Download PDF

Info

Publication number
WO2016136838A1
WO2016136838A1 PCT/JP2016/055522 JP2016055522W WO2016136838A1 WO 2016136838 A1 WO2016136838 A1 WO 2016136838A1 JP 2016055522 W JP2016055522 W JP 2016055522W WO 2016136838 A1 WO2016136838 A1 WO 2016136838A1
Authority
WO
WIPO (PCT)
Prior art keywords
predetermined
wearable device
imaging
upper limb
user
Prior art date
Application number
PCT/JP2016/055522
Other languages
English (en)
French (fr)
Inventor
須藤 智浩
紗綾 三浦
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2017502443A priority Critical patent/JP6409118B2/ja
Priority to US15/553,236 priority patent/US10477090B2/en
Publication of WO2016136838A1 publication Critical patent/WO2016136838A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a wearable device that can be worn on a user's head, a control method, and a control program.
  • a head-mounted display device that includes a display arranged in front of the eyes and an infrared detection unit capable of recognizing the movement of a finger and is operated by a gesture of both hands has been disclosed (patent) Reference 1).
  • An object of the present invention is to provide a wearable device that is easier to use.
  • a wearable device is a wearable device that can be worn on a head, an imaging unit that captures a landscape in front of a user, and a control unit that detects a shielding object from a captured image captured by the imaging unit The control unit executes the acquisition of the captured image when the shielding object moves from the imaging range of the imaging unit to the outside of the imaging range.
  • the control method which concerns on one aspect is a control method performed with the wearable apparatus which can be mounted
  • a control program includes: a step of imaging a landscape in front of a user by an imaging unit on a wearable device that can be worn on a head; and a step of detecting a shielding object from a captured image captured by the imaging unit; And the step of executing acquisition of the captured image triggered by the movement of the shielding object from the imaging range of the imaging unit to the outside of the imaging range.
  • a wearable device is a wearable device that can be worn on a head, an imaging unit that captures a scene in front of a user, and a predetermined image detected from a captured image captured by the imaging unit, And a control unit that performs a predetermined change process according to the change in the size of the predetermined region in the captured image when it is detected that the size of the predetermined region has changed.
  • the control method which concerns on one aspect is a control method performed with the wearable apparatus which can be mounted
  • a control program includes: a step of capturing a scene in front of a user by an imaging unit on a wearable device that can be worn on a head; and a step of detecting a predetermined object from a captured image captured by the imaging unit; When detecting that the size of the predetermined area of the predetermined object in the captured image has changed, a step of performing a predetermined change process according to the change in the size is executed.
  • a wearable device is a wearable device that can be worn on a head, a distance measuring unit that detects a distance between the device itself and a predetermined object, and detecting the change in the distance, the distance And a control unit that performs a predetermined change process according to the change.
  • a control method is a control method executed by a wearable device that can be worn on a head, the step of detecting the distance between the user's own device and a predetermined object in the front-rear direction of the user, and the distance is And a step of performing a predetermined change process according to the change of the distance when the change is detected.
  • control program detects a change in the distance between the user's own device and the predetermined object in the front-rear direction of the user on the wearable device that can be worn on the head, Performing a predetermined change process according to a change in distance.
  • a wearable device is a wearable device that can be worn on a head, a display unit disposed in front of a user's eyes, an imaging unit that captures a scene in front of the user, and the imaging unit that captures an image.
  • a control unit that detects a predetermined object from the captured image and detects a predetermined operation of the predetermined object, and performs a predetermined change process according to the displacement of the predetermined object associated with the predetermined operation. The change rate per unit displacement of the predetermined object in the changing process is changed according to the size of the predetermined object.
  • a control method is a control method executed by a wearable device that can be mounted on a head, including a display unit arranged in front of a user's eyes, and images an image of a scene in front of the user by the imaging unit. And a step of performing a predetermined change process according to the displacement of the predetermined object accompanying the predetermined operation when detecting a predetermined object from the captured image captured by the imaging unit and detecting a predetermined operation of the predetermined object; The change rate per unit displacement of the predetermined object in the change process is changed according to the size of the predetermined object in the captured image.
  • a control program includes: a step of imaging a scene in front of the user by an imaging unit on a wearable device that can be worn on a head including a display unit disposed in front of the user's eyes; and And a step of performing a predetermined change process according to the displacement of the predetermined object accompanying the predetermined operation when a predetermined object is detected from a captured image to be captured and a predetermined operation of the predetermined object is detected.
  • the change rate per unit displacement of the predetermined object in the changing process is changed according to the size of the predetermined object in the captured image.
  • a wearable device is a wearable device that can be worn on a head, and detects a distance between a display unit arranged in front of a user's eyes and a user's own device and a predetermined object in a front-rear direction of the user.
  • a control unit that performs a predetermined change process, and a change rate per unit displacement of the predetermined object in the change process is changed according to a distance between the device and the predetermined object.
  • a control method is a control method executed by a wearable device that can be worn on a head, including a display unit that is arranged in front of a user's eyes, and the user's own device and a predetermined object in the front-rear direction
  • a step of detecting a distance between the detection unit, a step of detecting an object that actually exists by the detection unit, and detecting a predetermined operation of a predetermined object that actually exists from the detection result of the detection unit, accompanying the predetermined operation Performing a predetermined change process according to the displacement of the predetermined object, and a change rate per unit displacement of the predetermined object in the change process according to a distance between the device and the predetermined object Is changed.
  • a control program detects a distance between the user's own device and a predetermined object in the front-rear direction of the user in a wearable device that can be worn on the head, including a display unit arranged in front of the user's eyes.
  • Performing a predetermined change process wherein a change rate per unit displacement of the predetermined object in the change process is changed according to a distance between the device and the predetermined object. Is done.
  • a wearable device is a wearable device that can be worn on the head, and is disposed in front of the user's eyes and displays an object between the user's own device and a predetermined object in the front-rear direction.
  • a distance measuring unit that detects a distance between the first state and a second state in which the distances are different from each other, and a predetermined process for the object can be executed in the first state. In the second state, the process cannot be executed.
  • a wearable device is a wearable device that can be worn on a head, and includes a detection unit that detects an upper limb in an actual space, and a predetermined state in the upper limb is determined from a detection result of the detection unit. The number of fingers held is detected, and based on the number of fingers, change processing relating to a predetermined function is executed.
  • a control method is a control method executed by a wearable device that can be worn on a head, the step of detecting an upper limb in an actual space by a detection unit, and a detection result of the detection unit Detecting the number of fingers having a predetermined state in the upper limb, and executing a changing process related to a predetermined function based on the number of fingers.
  • a control program includes a step of detecting an upper limb in an actual space by a detection unit in a wearable device that can be worn on a head, and a predetermined state of the upper limb from a detection result of the detection unit. Detecting the number of fingers, and executing a change process relating to a predetermined function based on the number of fingers.
  • FIG. 1 is a perspective view of a wearable device.
  • FIG. 2 is a front view of the wearable device worn by the user.
  • FIG. 3 is a block diagram of the wearable device.
  • FIG. 4 is a diagram illustrating an example of an imaging function by the wearable device.
  • FIG. 5 is a diagram illustrating another example of the imaging function by the wearable device.
  • FIG. 6 is a flowchart illustrating a processing procedure related to imaging control by the wearable device.
  • FIG. 7 is a diagram illustrating an example of control related to still image capturing by the wearable device.
  • FIG. 8 is a diagram illustrating an example of control related to imaging of a moving image by the wearable device.
  • FIG. 1 is a perspective view of a wearable device.
  • FIG. 2 is a front view of the wearable device worn by the user.
  • FIG. 3 is a block diagram of the wearable device.
  • FIG. 4 is a diagram illustrating an example of an imaging function by the wearable
  • FIG. 9 is a flowchart illustrating a processing procedure related to imaging control of still images and moving images by the wearable device.
  • FIG. 10 is a diagram illustrating an example of control related to zoom imaging by the wearable device.
  • FIG. 11 is a diagram illustrating another example of control related to zoom imaging performed by the wearable device.
  • FIG. 12 is a flowchart illustrating a processing procedure related to zoom imaging control by the wearable device.
  • FIG. 13 is a diagram illustrating an example of control related to imaging using a preview image by the wearable device.
  • FIG. 14 is a flowchart illustrating a control processing procedure related to imaging using a preview image by the wearable device.
  • FIG. 15 is a diagram illustrating an example of control related to zoom imaging using a preview image by the wearable device.
  • FIG. 16 is a flowchart illustrating a control processing procedure related to zoom imaging using a preview image by the wearable device.
  • FIG. 17 is a diagram for describing an example of control provided by the control program of the wearable device.
  • FIG. 18 is a flowchart illustrating a processing procedure related to imaging control by the wearable device.
  • FIG. 19 is a diagram illustrating an example in which various change processes are performed.
  • FIG. 20 is a diagram for describing an example of control provided by the control program of the wearable device.
  • FIG. 21A is a diagram for describing an example in which the size of the display image is changed based on the motion of the upper limb.
  • FIG. 21B is a diagram for describing an example in which the size of the display image is changed based on the motion of the upper limb.
  • FIG. 21C is a diagram for describing an example in which the size of the display image is changed based on the motion of the upper limb.
  • FIG. 21D is a diagram for describing an example in which the size of the display image is changed based on the motion of the upper limb.
  • FIG. 22 is a diagram for describing another example of the control provided by the control program of the wearable device.
  • FIG. 23 is a diagram illustrating an example of a conversion table in which the size of the upper limb in the captured image is associated with the converted value.
  • FIG. 24 is a flowchart illustrating a processing procedure related to imaging control by the wearable device.
  • FIG. 25 is a diagram for explaining another example of the control provided by the control program of the wearable device.
  • FIG. 26 is a diagram for describing another example of the control provided by the control program of the wearable device.
  • FIG. 27 is a diagram for describing another example of the control provided by the control program of the wearable device.
  • FIG. 28 is a diagram for explaining another example of the control provided by the control program of the wearable device.
  • FIG. 29 is a diagram for explaining another example of the control provided by the control program of the wearable device.
  • FIG. 30 is a flowchart illustrating a processing procedure related to imaging control by the wearable device.
  • FIG. 1 is a perspective view of the wearable device 1.
  • FIG. 2 is a front view of the wearable device 1 worn by the user.
  • the wearable apparatus 1 is a head-mounted type apparatus with which a user's head is mounted
  • the wearable device 1 has a front surface portion 1a, a side surface portion 1b, and a side surface portion 1c.
  • Front part 1a is arranged in front of the user so as to cover both eyes of the user when worn.
  • the side surface portion 1b is connected to one end portion of the front surface portion 1a
  • the side surface portion 1c is connected to the other end portion of the front surface portion 1a.
  • the side surface portion 1b and the side surface portion 1c are supported by a user's ear like a vine of glasses when worn, and stabilize the wearable device 1.
  • the side surface portion 1b and the side surface portion 1c may be configured to be connected to the back surface of the user's head when worn.
  • the front part 1a is provided with a display part 32a and a display part 32b on the surface facing the user's eyes when worn.
  • the display unit 32a is disposed at a position facing the user's right eye when worn, and the display unit 32b is disposed at a position facing the user's left eye when worn.
  • the display unit 32a displays a right-eye image, and the display unit 32b displays a left-eye image.
  • the display unit 32a and the display unit 32b are a pair of transflective displays, but are not limited thereto.
  • the display unit 32a and the display unit 32b may be provided with lenses such as an eyeglass lens, a sunglasses lens, and an ultraviolet cut lens, and the display unit 32a and the display unit 32b may be provided separately from the lens.
  • the display unit 32a and the display unit 32b may be configured by one display device as long as different images can be independently provided to the right eye and the left eye of the user.
  • the front surface portion 1a includes an imaging unit 40 and an imaging unit 42 on a surface opposite to the surface on which the display unit 32a and the display unit 32b are provided.
  • the imaging unit 40 is disposed in the vicinity of one end (the right eye side at the time of mounting) of the front surface 1a, and the imaging unit 42 is in the vicinity of the other end (the left eye side at the time of mounting) of the front surface 1a.
  • the imaging unit 40 acquires an image in a range corresponding to the field of view of the user's right eye.
  • the imaging unit 42 acquires an image in a range corresponding to the field of view of the user's left eye.
  • the field of view means, for example, the field of view when the user is looking at the front.
  • the wearable device 1 has a function of visually recognizing various information on the foreground that the user is viewing.
  • the foreground means a landscape in front of the user.
  • the wearable device 1 allows the user to visually recognize the foreground through the display unit 32a and the display unit 32b.
  • the wearable device 1 allows the user to visually recognize the foreground through the display unit 32a and the display unit 32b and the display contents of the display unit 32a and the display unit 32b.
  • the wearable device 1 may display three-dimensional information on the display unit 32a and the display unit 32b.
  • the wearable device 1 and 2 show an example in which the wearable device 1 has a shape like glasses, but the shape of the wearable device 1 is not limited to this.
  • the wearable device 1 may have a goggle shape.
  • the wearable device 1 may be configured to be connected to an external device such as an information processing device or a battery device in a wired or wireless manner, for example.
  • FIG. 3 is a block diagram of the wearable device 1.
  • the wearable device 1 includes an operation unit 13, a control unit 22, a storage unit 24, display units 32 a and 32 b, imaging units 40 and 42, a detection unit 44, and a distance measurement unit 46. And have.
  • the operation unit 13 accepts basic operations such as starting and stopping the wearable device 1 and changing the operation mode.
  • the display units 32a and 32b include a transflective display device such as a liquid crystal display (Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like.
  • the display units 32 a and 32 b display various types of information according to control signals input from the control unit 22.
  • the display units 32a and 32b may be projection devices that project an image onto a user's retina using a light source such as a laser beam.
  • the imaging units 40 and 42 electronically capture an image using an image sensor such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging units 40 and 42 convert the captured images into signals and output the signals to the control unit 22.
  • the detection unit 44 detects an actual object (predetermined object) existing in the vicinity of the image pickup range of the image pickup units 40 and 42 and the vicinity of the image pickup range (or the foreground). For example, the detection unit 44 matches an object (for example, a shape of a human hand or a finger) registered in advance among real objects existing in the imaging range (a shielding object that shields the foreground, a predetermined object, or the like). ). The detection unit 44 detects the range (shape and size) of the actual object in the image based on the brightness, saturation, hue edge, and the like of the pixel even for an object whose shape is not registered in advance. May be configured.
  • the detection unit 44 includes a sensor that detects a real object existing in the imaging range.
  • the sensor is, for example, a sensor that detects an actual object existing in the imaging range using at least one of visible light, infrared light, ultraviolet light, radio waves, sound waves, magnetism, and capacitance.
  • the detection unit 44 detects, for example, the movement of an object from the imaging range to the outside of the imaging range based on a plurality of detection results.
  • the detection unit 44 may be able to detect an actual object that exists in a wider range than the imaging range.
  • the distance measuring unit 46 measures the distance to the actual object.
  • the distance to the actual object is measured for each eye based on the position of each eye of the user wearing the wearable device 1. For this reason, when the reference position where the distance measuring unit 46 measures the distance is shifted from the position of each eye, the measured value of the distance measuring unit 46 indicates the distance to the eye position according to the difference. It is corrected to represent.
  • the distance measuring unit 46 includes a sensor that detects a distance to an actual object.
  • the sensor is, for example, a sensor that detects the distance to an actual object using at least one of visible light, infrared light, ultraviolet light, radio waves, sound waves, magnetism, and capacitance.
  • the control unit 22 described later can calculate the distance in the front-rear direction of the user between the wearable device 1 and a predetermined object (for example, the user's upper limb) based on the detection result of the distance measuring unit 46.
  • the imaging units 40 and 42 also serve as the detection unit 44 and the distance measurement unit 46. That is, the imaging units 40 and 42 detect an object within the imaging range by analyzing the captured image. The imaging units 40 and 42 estimate changes in the distance between the object in the imaging range and the device itself by analyzing the captured image. Alternatively, the imaging units 40 and 42 detect whether an object within the imaging range has moved to a position closer to the own device or a position farther away. Further, the imaging units 40 and 42 serving as the distance measuring unit 46 compare the object included in the image captured by the imaging unit 40 with the object included in the image captured by the imaging unit 42, so that The distance may be measured (calculated).
  • the control unit 22 includes a CPU (Central Processing Unit) that is a calculation means and a memory that is a storage means, and implements various functions by executing programs using these hardware resources. Specifically, the control unit 22 reads a program or data stored in the storage unit 24 and expands it in a memory, and causes the CPU to execute instructions included in the program expanded in the memory. The control unit 22 reads / writes data from / to the memory and the storage unit 24 and controls operations of the display units 32a, 32b and the like according to the execution result of the instruction by the CPU. When the CPU executes an instruction, the data developed in the memory and the operation detected via the detection unit 44 are used as a part of parameters and determination conditions.
  • a CPU Central Processing Unit
  • the storage unit 24 includes a non-volatile storage device such as a flash memory, and stores various programs and data.
  • the program stored in the storage unit 24 includes a control program 24a.
  • the data stored in the storage unit 24 includes imaging data 24b.
  • the storage unit 24 may be configured by a combination of a portable storage medium such as a memory card and a read / write device that reads from and writes to the storage medium.
  • the control program 24a and the imaging data 24b may be stored in a storage medium.
  • the control program 24a may be acquired from another device such as a server device by wireless communication or wired communication.
  • the control program 24 a provides functions related to various controls for operating the wearable device 1.
  • the functions provided by the control program 24a include a function for controlling the imaging of the imaging units 40 and 42, a function for controlling the display of the display units 32a and 32b, and the like.
  • the control program 24a includes a detection processing unit 25 and a display control unit 26.
  • the detection processing unit 25 provides a function for detecting an actual object existing in the imaging range of the imaging units 40 and 42.
  • the function provided by the detection processing unit 25 includes a function of measuring the distance to each detected object.
  • the display control unit 26 provides a function for managing the correspondence between the display states of the display units 32a and 32b and the imaging range.
  • the control program 24a includes a function of detecting the presence / absence of the action of the actual object or the type of action from the captured images taken by the imaging units 40 and 42, the detection result of the detection unit 44, and the like.
  • the imaging data 24b is data indicating an image obtained by imaging the imaging range by the imaging units 40 and 42.
  • the imaging data 24b may be data obtained by combining images captured by the imaging units 40 and 42, or data indicating the images of the imaging units 40 and 42, respectively.
  • the imaging data 24b includes still image data and moving image data.
  • FIG. 4 is a diagram illustrating an example of an imaging function by the wearable device 1.
  • FIG. 5 is a diagram illustrating another example of the imaging function of the wearable device 1.
  • the same components are denoted by the same reference numerals, and redundant descriptions may be omitted.
  • the visual recognition content indicates the foreground 100 in the imaging range R viewed through the display units 32a and 32b in a state in which the user wears the wearable device 1 on the head.
  • the states of the imaging units 40 and 42 indicate the states of the imaging units 40 and 42 corresponding to the visually recognized content.
  • the imaging units 40 and 42 have states such as an unstarted state, an imaging standby state, and an imaging state, for example.
  • the unstarted state is a state in which the imaging units 40 and 42 are not started.
  • the imaging standby state is a state in which acquisition of captured images by the imaging units 40 and 42 is on standby.
  • the imaging state is a state in which images captured by the imaging units 40 and 42 are acquired.
  • the imaging range R is a range obtained by combining the imaging ranges of the imaging units 40 and 42.
  • the user views the foreground 100 in the imaging range R of the imaging units 40 and 42 through the display units 32a and 32b.
  • the foreground 100 outside the imaging range R is omitted, but the user visually recognizes the foreground 100 even between the front surface 1a (frame) of the wearable device 1 and the imaging range R. ing.
  • the wearable device 1 does not display a frame of the imaging range R. For this reason, the user does not visually recognize the frame in the imaging range R.
  • the wearable device 1 detects an object by the detection unit 44 while maintaining the unactivated state of the imaging units 40 and 42.
  • step S11 the user moves the right hand H with the index finger raised from the front right side of the wearable device 1 toward the center.
  • the user views the right hand H moving in front of the wearable device 1 and the foreground 100 within the imaging range R through the display units 32a and 32b.
  • “Viewing within the imaging range R” means that the user is viewing the space in front of the user corresponding to the imaging range R.
  • the wearable device 1 determines whether the right hand H has moved from outside the imaging range R into the imaging range R based on the detected change in the position of the right hand H. .
  • the wearable device 1 detects the movement into the imaging range R, the wearable device 1 activates the imaging units 40 and 42 to shift the imaging units 40 and 42 from the unactivated state to the imaging standby state.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S12 when the user moves the right hand H to the vicinity of the center in front of the wearable device 1, the user turns around the center of the wearable device 1 and moves it in the reverse direction toward the right side of the wearable device 1. In this case, the user visually recognizes the right hand H moving in front of the wearable device 1 toward the outside of the imaging range R and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • the wearable device 1 determines whether the right hand H has moved out of the imaging range R from the imaging range R based on the detection result of the detection unit 44 in step S12. When the wearable device 1 determines that the right hand H has moved outside the imaging range R, the wearable device 1 causes the foreground 100 to be imaged with the imaging units 40 and 42 in the imaging state.
  • the imaging units 40 and 42 image the foreground 100 with a preset focus.
  • the wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the wearable device 1 acquires the captured image 71 captured by the imaging units 40 and 42 when the user's upper limb moves from the imaging range R of the imaging units 40 and 42 to the outside of the imaging range R. To do.
  • the user can take a forward image by the imaging units 40 and 42 only by performing a gesture of moving the upper limb in front of the wearable device 1. For example, even if a photo opportunity occurs suddenly, the user can take an image of the photo opportunity by performing the above gesture.
  • the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • “upper limb” means a person's arm or hand, and is defined as including at least one of the upper arm, forearm, hand, or finger.
  • the wearable device 1 activates the imaging units 40 and 42 when the detection unit 44 detects the user's upper limb within the imaging range R. Thereby, since the wearable apparatus 1 starts the imaging parts 40 and 42 at the timing which a user images, it can aim at power saving. For example, the wearable device 1 is effectively applied to glasses-type and head-mounted devices that are difficult to mount a large-capacity battery.
  • the example shown in FIG. 5 is a modification of the example shown in FIG. 4 and shows an example of control in the case where the wearable device 1 detects the focal point to be imaged based on the movement trajectory of the user's upper limb.
  • step S11 shown in FIG. 5 the user moves the right hand H with the index finger raised from the front right side of the wearable device 1 toward the center. In this case, the user views the right hand H moving in front of the wearable device 1 and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • Wearable device 1 determines whether right hand H has moved from outside imaging range R into imaging range R based on a change in the position of right hand H when detection unit 44 detects right hand H at step S11. When the wearable device 1 detects the movement into the imaging range R, the wearable device 1 activates the imaging units 40 and 42 to shift the imaging units 40 and 42 from the unactivated state to the imaging standby state. The wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S12 when the user moves the right hand H to the focal position of the foreground 100 to be imaged, the user turns the right hand H back at the focal position and moves it in the reverse direction toward the right side of the wearable device 1. In this case, the user visually recognizes in the imaging range R the right hand H and the foreground 100 that move in front of the wearable device 1 from the focal position toward the outside of the imaging range R through the display units 32a and 32b. .
  • the wearable device 1 determines whether the right hand H has moved out of the imaging range R from the imaging range R based on the detection result of the detection unit 44 in step S12. When the wearable device 1 determines that the right hand H has moved outside the imaging range R, the wearable device 1 estimates the movement locus L within the imaging range R of the right hand H based on the stored video data 70.
  • the wearable device 1 estimates the movement locus L that reaches outside the imaging range R, focusing on the fingertip of the right hand H or the like.
  • the wearable device 1 estimates a start position where the user moves the right hand H out of the imaging range R based on the estimated movement locus L.
  • the estimation method of the start position includes, for example, a method of estimating based on a change point of the movement locus L before moving outside the imaging range R.
  • a position where the right hand H resumes movement after stopping for a predetermined time may be regarded as a change point of the movement locus L.
  • the start position is estimated by using a position where the direction of the trajectory changes for the first time as a change point of the trajectory L from the predetermined position of the right hand H where the right hand H has moved outside the imaging range R. May be considered.
  • the wearable device 1 estimates the focal position Lc based on the movement locus L of the right hand H in step S13, the focus of the imaging units 40 and 42 is set to the focal position Lc, and the imaging units 40 and 42 are in the imaging state. 100 is imaged.
  • the imaging units 40 and 42 capture the foreground 100 with the set focus.
  • the focal position Lc is, for example, a changing point of the movement locus L described above.
  • the wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the method of defining the focal position Lc a method other than the method of estimating based on the changing point of the movement locus L may be adopted. For example, after detecting the movement of the right hand H in the imaging range R in the forward direction (or the direction opposite to the forward direction) based on the detection results of the detection unit 44 and the distance measuring unit 46, the right hand H is in the imaging range. When it is detected that it has moved out of R, the position at which the movement of the right hand H in the forward direction is detected may be regarded as the focal position Lc.
  • the wearable device 1 has the imaging unit 40 at a focal point corresponding to the movement trajectory L of the upper limb when the user's upper limb moves from the imaging range R of the imaging units 40 and 42 to the outside of the imaging range R. And the captured image 71 which 42 and 42 imaged is acquired. Thereby, the user can image the front image with the designated focus by the imaging units 40 and 42 only by performing a gesture of moving the upper limb in front of the wearable device 1. As a result, the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • FIG. 6 is a flowchart illustrating a processing procedure related to imaging control by the wearable device 1.
  • the processing procedure shown in FIG. 6 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 6 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether the upper limb has been detected within the imaging range R as step S ⁇ b> 101. Specifically, the control unit 22 determines that the upper limb has been detected when the detection unit 44 detects the upper limb. When the upper limb is not detected (No at Step S102), the process at Step S101 is performed again.
  • step S102 When the upper limb is detected (step S102, Yes), the control unit 22 advances the process to step S103.
  • the control part 22 starts the imaging parts 40 and 42 as step S103.
  • step S104 the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42.
  • the control unit 22 determines whether the upper limb has moved out of the imaging range R from the imaging range R based on the detection result of step S104 as step S105. Specifically, the control unit 22 determines that the upper limb has moved out of the imaging range R when it detects that all of the upper limb has moved out of the imaging range R so that the upper limb is not reflected in the captured image 71. . If it has not moved outside the imaging range R (No at Step S106), the control unit 22 re-executes the processing after Step S104.
  • step S106 When moving outside the imaging range R (step S106, Yes), the control unit 22 advances the process to step S107.
  • the control part 22 sets an in-focus position as step S107. Specifically, the control unit 22 sets a focus position that is a preset initial value. Alternatively, the control unit 22 estimates the focal position Lc based on the movement locus L of the upper limb, and sets the focal position Lc.
  • the control unit 22 acquires the captured image 71 as step S108. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with the focal point set in step S107, acquires the captured image 71, and stores the acquired captured image 71 as imaging data 24b. To remember. Then, the control part 22 stops the imaging parts 40 and 42 as step S109. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • FIG. 7 is a diagram illustrating an example of control related to still image capturing by the wearable device 1.
  • the wearable device 1 When the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44 in step S20 illustrated in FIG. 7, the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state.
  • the wearable device 1 displays icons 51 and 52 on the display units 32a and 32b that allow the user to select a still image and a moving image so as to be within the imaging range R.
  • the wearable device 1 displays an icon 51 indicating a still image on the left side of the imaging range R and an icon 52 indicating a moving image on the right side.
  • the wearable device 1 will describe a case where the icons 51 and 52 are displayed within the imaging range R, but may be displayed outside the imaging range R.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S20 when the user moves the right hand H from outside the imaging range R of the imaging units 40 and 42 into the imaging range R, the icons 51 and 52 are visually recognized on the display units 32a and 32b, and the display units 32a and 32b are displayed. Through the foreground 100 and the right hand H. The user can recognize that the wearable device 1 can capture an image by visually recognizing the icons 51 and 52.
  • step S21 when it is desired to capture a still image, the user moves the right hand H so that the right hand H in the imaging range R passes the icon 51 and is outside the imaging range R.
  • the user views the right hand H moving in front of the wearable device 1 from the icon 51 side to the outside of the imaging range R and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • the wearable device 1 determines whether the right hand H has moved out of the imaging range R from the imaging range R based on the detection result of the detection unit 44 in step S21. The wearable device 1 determines that the right hand H has moved out of the imaging range R and detects that the right hand H has passed the icon 51 (or the movement direction of the right hand H is directed to the still image icon 51). When the direction is detected), it is determined that the user has selected still image capturing. The wearable device 1 sets the imaging units 40 and 42 to the imaging state, and images the foreground 100 with a still image. The imaging units 40 and 42 capture a still image of the foreground 100 with a preset focus.
  • the wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • FIG. 8 is a diagram illustrating an example of control related to capturing a moving image by the wearable device 1.
  • the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state when the detection unit 44 detects that the right hand H has entered the imaging range R in step S20 shown in FIG.
  • the wearable device 1 displays icons 51 and 52 on the display units 32a and 32b that allow the user to select a still image and a moving image so as to be within the imaging range R.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S20 when the user moves the right hand H from outside the imaging range R of the imaging units 40 and 42 into the imaging range R, the icons 51 and 52 are visually recognized on the display units 32a and 32b, and the display units 32a and 32b are displayed. Through the foreground 100 and the right hand H. The user can recognize that the wearable device 1 can capture an image by visually recognizing the icons 51 and 52.
  • step S22 when the user wants to capture a moving image, the user moves the right hand H so that the right hand H positioned in the imaging range R is positioned outside the imaging range R after passing through the icon 52. In this case, the user visually recognizes the right hand H moving in front of the wearable device 1 from the moving image icon 52 side to the outside of the imaging range R and the foreground 100 in the imaging range R through the display units 32a and 32b. Yes.
  • the wearable device 1 determines whether the right hand H has moved out of the imaging range R from the imaging range R based on the detection result of the detection unit 44 in step S22. The wearable device 1 determines that the right hand H has moved outside the imaging range R and detects that the right hand H has passed the icon 52 (or the movement direction of the right hand H is directed to the still image icon 52). When the direction is detected), it is determined that the start of moving image capturing has been selected by the user. The wearable device 1 places the imaging units 40 and 42 in the moving image capturing state, and starts capturing the foreground 100 with a moving image. The imaging units 40 and 42 start imaging the foreground 100 with a moving image with a preset focus.
  • step S23 when the user wants to stop the moving image being shot, the user moves the right hand H so that the right hand H outside the imaging range R passes through the icon 52 and is within the imaging range R.
  • the user enters the imaging range R with the right hand H and the foreground 100 moving from the outside of the imaging range R on the icon 52 side into the imaging range R through the display units 32a and 32b. It is visually recognized.
  • the case where the user moves the right hand H into the imaging range R through the icon 52 will be described, but the present invention is not limited to this.
  • the user may move the right hand H into the imaging range R without passing through the icon 52.
  • the wearable device 1 determines whether the right hand H has moved from outside the imaging range R into the imaging range R based on the detection result of the detection unit 44 in step S23. When the wearable device 1 determines that the right hand H has moved into the imaging range R, the wearable device 1 determines that the end of imaging of the moving image has been selected by the user. The wearable device 1 places the imaging units 40 and 42 in the imaging end state and stops the imaging of the moving image. The wearable device 1 acquires a captured image 72 of a moving image captured by the imaging units 40 and 42 and stores the captured image 72 in the storage unit 24 as imaging data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the wearable device 1 when the wearable device 1 detects that the user's upper limb has moved from within the imaging range R of the imaging units 40 and 42 to the outside of the imaging range R, the wearable device 1 uses a moving image based on the moving direction of the upper limb. Switch the imaging mode to capture images or still images. Thereby, the user can switch the imaging modes of the imaging units 40 and 42 only by switching the moving direction of the upper limbs into the imaging range R. As a result, the wearable device 1 does not need to be provided with a switch, an interface, or the like for switching the shooting mode, and can improve the operability and convenience of the imaging units 40 and 42.
  • zoom processing may be performed by performing a predetermined operation.
  • the brightness of a moving image to be acquired may be changed by a predetermined operation.
  • the wearable device 1 includes a microphone and can collect a user's voice or the like during the acquisition of a moving image
  • a predetermined operation is performed during the shooting of the moving image, so that the amplification degree of the audio signal is increased.
  • the (collection volume) may be changed.
  • a touch sensor that can detect a user's contact is arranged on the side surface (1b or 1c) having a shape like a vine, and a finger is in contact with the side surface.
  • It may be an operation for performing an operation of moving in the direction (slide operation).
  • an aspect may be employed in which a zoom-in process is performed when the user slides a finger from the rear to the front, and a zoom-out process is performed when the user slides the finger from the front to the publication.
  • a predetermined operation has been performed based on the detection of the user's upper limb being within a predetermined range in the detection range of the detection unit 44 during moving image shooting. It may be a configuration. At this time, a predetermined association between the detection range of the detection unit 44 and the display region of the display unit is made, and the position in the display region of the display unit can be specified by the position of the upper limb within the detection range of the detection unit 44 In such a case, it may be determined that a predetermined operation has been performed based on the fact that a predetermined position in the display area of the display unit has been designated by the user.
  • an icon indicating an operation related to moving image shooting is displayed in a predetermined area in the display areas of the display units 32a and 32b, and the icon is displayed when a position is designated by the user's upper limb in the icon display area. You may make it perform operation based on.
  • the wearable device 1 has described the case where the icons 51 and 52 that guide the switching of the imaging mode are displayed on the display units 32a and 32b.
  • the present invention is not limited to this.
  • the display unit 1 may be configured to switch the imaging mode in a moving direction outside the predetermined imaging range R without displaying the icons 51 and 52.
  • the wearable device 1 described above is used when the upper limb is moved out of the imaging range R from the upper and lower portions of the imaging range R where the icons 51 and 52 are not provided. , May be configured to stop imaging.
  • the wearable device 1 has described the case where the icons 51 and 52 that guide the switching of the imaging mode are displayed on the display units 32a and 32b.
  • the present invention is not limited to this.
  • the wearable device 1 may be configured to switch the imaging mode in a moving direction outside the predetermined imaging range R without displaying the icons 51 and 52.
  • FIG. 9 is a flowchart showing a processing procedure related to imaging control of still images and moving images by the wearable device 1.
  • the processing procedure shown in FIG. 9 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 9 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether an upper limb has been detected within the imaging range R as step S ⁇ b> 201.
  • the process at Step S201 is re-executed.
  • step S202 When the upper limb is detected (step S202, Yes), the control unit 22 advances the process to step S203.
  • the control part 22 starts the imaging parts 40 and 42 as step S203.
  • step S204 the control unit 22 displays the icons 51 and 52 on the display units 32a and 32b.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S205.
  • step S206 the control unit 22 determines whether the upper limb has moved out of the imaging range R from the imaging range R based on the detection result in step S205. Specifically, the control unit 22 determines that the upper limb has moved out of the imaging range R when it detects that all of the upper limb has moved out of the imaging range R so that the upper limb is not reflected in the captured image 71. . If it has not moved outside the imaging range R (No at Step S207), the control unit 22 re-executes the processing after Step S205.
  • step S207 When moving outside the imaging range R (step S207, Yes), the control unit 22 advances the process to step S208.
  • step S208 the control unit 22 determines whether the moving direction of the upper limb is the direction of the still image icon 51. Specifically, when the control unit 22 detects that the upper limb has passed the icon 51 and moved out of the imaging range R based on the video data 70 of the imaging units 40 and 42, the still image icon 51 is displayed. The direction is determined.
  • step S210 the control unit 22 advances the process to step S210.
  • the control part 22 sets a focus position as step S210. Specifically, the control unit 22 sets a focus position that is a preset initial value.
  • the control part 22 acquires the captured image 71 which is a still image as step S211. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 as a still image with the focus set in step S210, acquires the captured image 71, and uses the acquired captured image 71 as the imaging data 24b. Store in the storage unit 24. Thereafter, the control unit 22 stops the imaging units 40 and 42 in step S217. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • step S212 the control unit 22 causes the imaging units 40 and 42 to start capturing moving images.
  • the control part 22 determines whether the upper limb was detected within the imaging range R as step S213. When the upper limb has not been detected (No at Step S214), the process at Step S213 is executed again.
  • step S215 the control unit 22 ends the moving image capturing by the imaging units 40 and 42.
  • the control part 22 acquires the captured image 72 which is a moving image as step S216. Specifically, the control unit 22 acquires the captured image 72 of the moving image captured by the imaging units 40 and 42, and stores the captured image 72 in the storage unit 24 as the imaging data 24b. Thereafter, the control unit 22 stops the imaging units 40 and 42 in step S217. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • FIG. 10 is a diagram illustrating an example of control related to zoom imaging performed by the wearable device 1.
  • the wearable device 1 When the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44 in step S31 illustrated in FIG. 10, the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state. The wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S31 the user moves the right hand H from the outside of the imaging range R of the imaging units 40 and 42 into the imaging range R while being close to the wearable device 1.
  • the user visually recognizes the index finger F of the right hand H and the foreground 100 moving from the outside of the imaging range R into the imaging range R in the imaging range R through the display units 32a and 32b. is doing.
  • the user moves the right hand H away from the vicinity of the wearable device 1 in the forward direction.
  • the wearable device 1 detects the distance to the right hand H when detecting the forward movement of the right hand H within the imaging range R based on the detection results of the detection unit 44 and the distance measurement unit 46 in step S32.
  • a zoom process based on the detected distance is executed.
  • the zoom process is a process of specifying a zoom range R1 to be zoomed in or zoomed out in the imaging range R based on the detected distance and the conversion table, for example.
  • the wearable device 1 displays the specified zoom range R1 on the display units 32a and 32b so as to be within the imaging range R.
  • step S32 the user visually recognizes in the imaging range R the right hand H that moves in front of the wearable device 1 in the forward direction within the imaging range R and the foreground 100 through the display units 32a and 32b.
  • the user visually recognizes the zoom range R1 displayed on the display units 32a and 32b.
  • the user moves the right hand H moved forward in the imaging range R toward the outside of the imaging range R.
  • the wearable device 1 determines whether the right hand H has moved out of the imaging range R from the imaging range R based on the detection result of the detection unit 44 in step S33. When the wearable device 1 determines that the right hand H has moved outside the imaging range R, the wearable device 1 sets the imaging units 40 and 42 to the imaging state, sets the focal position in the specified zoom region R1, and images the foreground 100. The imaging units 40 and 42 capture the foreground 100 with the set focus. The wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • step S33 the user visually recognizes in the imaging range R the right hand H that moves in front of the wearable device 1 in the forward direction within the imaging range R and the foreground 100 through the display units 32a and 32b. In this case, the user visually recognizes that the zoom range R1 displayed on the display units 32a and 32b is erased.
  • the wearable device 1 has been described with respect to the case where the imaging range R is enlarged according to the distance from which the upper limb is separated from the device itself, but is not limited thereto.
  • the wearable device 1 may reduce the imaging range R in accordance with the distance that the upper limb approaches the device.
  • the wearable device 1 estimates the change in the distance between the own device and the upper limb in the imaging range R, changes the enlargement / reduction ratio of the imaging range R according to the change in the distance, and the upper limb is outside the imaging range R.
  • the captured image 71 captured by the imaging units 40 and 42 with the changed scaling ratio is acquired.
  • the user can change the enlargement / reduction ratio of the imaging range R only by changing the distance between the upper limb and the user's own device within the imaging range R.
  • the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • FIG. 11 is a diagram illustrating another example of control related to zoom imaging performed by the wearable device 1.
  • the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state when the detection unit 44 detects that the left hand H1 has entered the imaging range R in step S41 shown in FIG.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • this embodiment demonstrates the case where a user operates with the left hand H1, you may operate with the right hand H.
  • the wearable device 1 regards the zoom range R1 as an imaging range, and when the upper limb moves from the zoom range R1 to the outside of the zoom range R1, the imaging unit 40 and the imaging It is good also as a structure which acquires the captured image 71 which the part 42 imaged.
  • step S41 the user moves the left hand H1 from outside the imaging range R of the imaging units 40 and 42 into the imaging range R.
  • the user visually recognizes in the imaging range R the left hand H1 and the foreground 100 that move the front of the wearable device 1 from the outside of the imaging range R into the imaging range R through the display units 32a and 32b.
  • the user changes the shape of the left hand H1 within the imaging range R to a predetermined shape corresponding to the zoom function.
  • the predetermined shape is a shape in which the left hand H1 is opened, but is not limited thereto.
  • Wearable device 1 detects the operation which opens left hand H1 based on the detection result of detection part 44 as Step S42.
  • the wearable device 1 detects an operation of opening the left hand H1
  • the wearable device 1 executes zoom processing.
  • the wearable device 1 displays the current zoom range R1 on the display units 32a and 32b so as to be within the imaging range R.
  • step S42 the user visually recognizes the left hand H1 and the foreground 100 performing the opening operation through the display units 32a and 32b in the imaging range R.
  • the user visually recognizes the zoom range R1 displayed on the display units 32a and 32b.
  • the user performs a predetermined operation of rotating the left hand H1 in the open state within the imaging range R.
  • Wearable device 1 detects the predetermined operation which rotates left hand H1 based on the detection result of detection part 44 as Step S43.
  • the wearable device 1 executes zoom processing based on the rotation amount.
  • the zoom process is a process of specifying a zoom range R1 to zoom in on the imaging range R, for example, based on the detected rotation amount of the left hand H1 and the conversion table.
  • the wearable device 1 displays the specified zoom range R1 on the display units 32a and 32b so as to be within the imaging range R.
  • step S43 the user visually recognizes the left hand H1 and the foreground 100 performing the rotation operation in the imaging range R through the display units 32a and 32b.
  • the user visually recognizes the zoom range R1 displayed on the display units 32a and 32b and changing according to the rotation amount. Thereafter, when the zoom range R1 changes to a desired size, the user moves the left hand H1 in an open state toward the outside of the imaging range R.
  • the wearable device 1 determines whether the left hand H1 has moved out of the imaging range R from the imaging range R based on the detection result of the detection unit 44 in step S44. When the wearable device 1 determines that the left hand H1 has moved outside the imaging range R, the wearable device 1 sets the imaging units 40 and 42 to the imaging state, sets the focal position in the specified zoom region R1, and images the foreground 100. The imaging units 40 and 42 capture the foreground 100 with the set focus. The wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • step S44 the user visually recognizes in the imaging range R the left hand H1 that moves in front of the wearable device 1 in the forward direction within the imaging range R and the foreground 100 through the display units 32a and 32b. In this case, the user visually recognizes that the zoom range R1 displayed on the display units 32a and 32b is erased.
  • the wearable device 1 has been described with respect to the case where the imaging range R is enlarged based on the amount of rotation of the left hand H1 in the opened state, but the present invention is not limited to this.
  • the wearable device 1 may be configured to switch enlargement / reduction based on the rotation direction of the left hand H1 in the opened state.
  • the wearable device 1 may be configured to switch the enlargement / reduction based on whether the wearer 1 is the left hand H1 or the right hand H.
  • the wearable device 1 detects the predetermined motion of the upper limb in the imaging range R, changes the enlargement / reduction ratio of the imaging range R according to the detected predetermined motion, and indicates that the upper limb has moved out of the imaging range R.
  • the captured image 71 captured by the imaging units 40 and 42 with the changed scaling ratio is acquired.
  • the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • FIG. 12 is a flowchart illustrating a processing procedure related to zoom imaging control by the wearable device 1.
  • the processing procedure shown in FIG. 12 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 12 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether the upper limb has been detected within the imaging range R as step S301. When the upper limb is not detected (No at Step S302), the process at Step S301 is performed again.
  • step S302 When the upper limb is detected (step S302, Yes), the control unit 22 advances the process to step S303.
  • the control part 22 starts the imaging parts 40 and 42 as step S303.
  • the control unit 22 detects a predetermined motion of the upper limb within the imaging range R as step S304. Specifically, the control unit 22 detects a predetermined operation based on the detection result of the detection unit 44, for example, when detecting an operation in which the upper limb moves back and forth, an operation to change the shape of the upper limb, or the like. Is determined.
  • step S305 When the predetermined operation is detected (step S305, Yes), the control unit 22 advances the process to step S306.
  • the control unit 22 executes zoom processing by the imaging units 40 and 42 as step S306. Specifically, the control unit 22 specifies the zoom range R1 in the imaging range R in which the imaging units 40 and 42 zoom in and out based on the detected predetermined operation and the conversion table, and the specified result is stored in the storage unit. 24.
  • step S307 the control unit 22 displays the zoom range R1 specified in step S306 on the display units 32a and 32b.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S308.
  • the control unit 22 determines whether the upper limb has moved out of the imaging range R from the imaging range R based on the detection result in step S308. Specifically, the control unit 22 determines that the upper limb has moved out of the imaging range R when it detects that all of the upper limb has moved out of the imaging range R so that the upper limb is not reflected in the captured image 71. .
  • the control unit 22 re-executes the processing after step S304.
  • step S310 When moving outside the imaging range R (step S310, Yes), the control unit 22 advances the process to step S311.
  • the control unit 22 sets a focus position as step S311. Specifically, the control unit 22 sets a focus position that is a preset initial value. Alternatively, the control unit 22 estimates the focal position Lc corresponding to the zoom range R1, and sets the focal position Lc.
  • the control unit 22 acquires the captured image 71 as step S312. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with the focal point set in step S311, acquires the captured image 71, and stores the acquired captured image 71 as imaging data 24b. To remember. Then, the control part 22 stops the imaging parts 40 and 42 as step S313. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • control unit 22 executes the processes after Step S308 already described. Then, the control part 22 complete
  • FIG. 13 is a diagram illustrating an example of control related to imaging using a preview image by the wearable device 1.
  • step S51 shown in FIG. 13 the user visually recognizes the foreground 100 in the imaging range R of the imaging units 40 and 42 through the display units 32a and 32b. The user does not visually recognize the frame in the imaging range R.
  • the wearable device 1 detects an object by the detection unit 44 while the imaging units 40 and 42 are not activated.
  • step S52 the user moves the index finger F from the front right side toward the center of the wearable device 1 so that only the index finger F enters the imaging range R.
  • the user views the index finger F moving in front of the wearable device 1 and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • Wearable device 1 determines whether it moved from outside imaging range R into imaging range R based on the position of index finger F, if index finger F is detected by detection part 44 as Step S52. When the wearable device 1 detects the movement into the imaging range R, the wearable device 1 activates the imaging units 40 and 42 to shift the imaging units 40 and 42 from the unactivated state to the imaging standby state. The wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • the wearable device 1 displays the video data 70 on the display units 32a and 32b as a preview image 60 so as to be within the imaging range R in step S53.
  • the range of the preview image 60 may be the same size as the imaging range R or may be a range narrower than the imaging range R.
  • the wearable device 1 describes a case where the preview image 60 is displayed on the upper right in the imaging range R, but is not limited thereto.
  • the preview image 60 may be displayed at a position in the foreground 100 that does not overlap with the index finger F. By doing in this way, wearable device 1 can make it easy to grasp the position of index finger F in foreground 100 when the user performs zoom processing or the like based on the operation of index finger F, for example.
  • step S53 the user visually recognizes the index finger F moving in front of the wearable device 1 and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • the user visually recognizes the preview image 60 displayed on the display units 32a and 32b.
  • the user recognizes that his / her index finger F is displayed on the preview image 60.
  • step S54 the user moves the index finger F toward the outside of the imaging range R so that the index finger F disappears from the preview image 60.
  • the wearable device 1 determines whether the index finger F has moved out of the range (imaging range R) of the preview image 60 based on the detection result of the detection unit 44 in step S54. When the wearable device 1 determines that the index finger F has moved out of the range, the forefinger F disappears from the preview image 60, and thus the foreground 100 is imaged with the imaging units 40 and 42 in the imaging state. The imaging units 40 and 42 image the foreground 100 with a preset focus. The wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the wearable device 1 displays the preview image 60 in the imaging range R, and acquires the captured image 71 captured by the imaging units 40 and 42 when detecting that the upper limb has disappeared from the preview image 60.
  • the user can capture the front image by the imaging units 40 and 42 only by moving the upper limb so as to disappear while visually recognizing the preview image 60.
  • the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • FIG. 14 is a flowchart illustrating a control processing procedure related to imaging using a preview image by the wearable device 1.
  • the processing procedure shown in FIG. 14 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 14 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether an upper limb has been detected within the imaging range R as step S401. If the upper limb is not detected (No at Step S402), the control unit 22 re-executes the process at Step S401.
  • step S402 When the upper limb is detected (step S402, Yes), the control unit 22 advances the process to step S403.
  • the control unit 22 activates the imaging units 40 and 42 as step S403.
  • step S404 the control unit 22 controls the display units 32a and 32b to display the preview screen 60 within the imaging range R.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S405.
  • the control unit 22 determines whether the upper limb has moved out of the range of the preview image 60 based on the detection result in step S405. Specifically, the control unit 22 moves out of the range of the preview image 60 when it detects that all of the upper limbs have moved out of the range of the preview image 60 so that the upper limb is not reflected in the captured image 71. It is determined that
  • step S407 If it has not moved out of the range of the preview image 60 (step S407, No), the control unit 22 advances the process to step S408.
  • step S408 the control unit 22 causes the display units 32a and 32b to update the display of the preview image 60. Thereafter, the control unit 22 re-executes the processes after step S405.
  • step S407 When moving outside the range of the preview image 60 (step S407, Yes), the control unit 22 advances the process to step S409.
  • the control part 22 acquires the captured image 71 as step S409. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with a preset focus, acquires the captured image 71, and stores the acquired captured image 71 as the captured data 24b in the storage unit 24. Remember. Then, the control part 22 stops the imaging parts 40 and 42 as step S410. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • FIG. 15 is a diagram illustrating an example of control related to zoom imaging using a preview image by the wearable device 1.
  • the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state when the detection unit 44 detects that the index finger F has entered the imaging range R in step S61 shown in FIG.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • the wearable device 1 displays the video data 70 on the display units 32a and 32b as a preview image 60 so as to be within the imaging range R.
  • step S61 the user sees the foreground 100 in the imaging range R of the imaging units 40 and 42 through the display units 32a and 32b. The user visually recognizes the preview image 60 displayed on the display units 32a and 32b.
  • step S61 the user moves the index finger F in the forward direction within the imaging range R to a position corresponding to the zoom range R2 where zooming is planned.
  • step S62 the user moves the index finger F to a position corresponding to the planned zoom range R2, so that the index finger F is located within the imaging range R and is out of the planned zoom range R2.
  • Wearable device 1 detects the distance to index finger F when detecting forward movement of index finger F based on the detection results of detection unit 44 and distance measurement unit 46 in step S62, and based on the detected distance. Execute zoom processing.
  • the zoom process is a process of specifying a zoom range R2 to zoom in on the imaging range R based on the detected distance and the conversion table, for example.
  • the wearable device 1 changes the focus of the imaging units 40 and 42 when the zoom process is executed.
  • the wearable device 1 displays the zoomed video data 70 as a preview image 60 on the display units 32a and 32b.
  • step S62 the index finger F has disappeared from the preview screen 60 due to the zoom process. Note that the wearable device 1 does not execute the acquisition of the captured image 71 by the imaging units 40 and 42 depending on the disappearance of the index finger F at this time. This will be described later.
  • step S63 when the preview screen 60 is at a desired zoom, the user moves the index finger F that has disappeared from the preview image 60 so as to be displayed on the preview screen 60 again. Thereafter, when the index finger F is displayed on the preview image 60, the user disappears the index finger F from the preview image 60 again.
  • step S63 the wearable device 1 indicates that the index finger F has moved from outside the zoom range R2 into the zoom range R2 and then moved outside the zoom range R2 based on the detection results of the detection unit 44 and the distance measurement unit 46. Is detected.
  • the wearable device 1 causes the foreground 100 to be imaged with the imaging units 40 and 42 in the imaging state.
  • the imaging units 40 and 42 capture the foreground 100 with the focus already set.
  • the wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the wearable device 1 does not acquire the captured image 71 in the imaging range R when the index finger F disappears from the preview screen 60 (zoom range) by the zoom process. Thereafter, the wearable device 1 acquires the captured image 71 captured at the enlargement / reduction ratio changed by the imaging units 40 and 42 when the upper limb moves from the preview image 60 to the outside of the preview image 60. As a result, the wearable device 1 allows the captured image of the imaging range R even if the user changes the distance between the upper limb and the own device within the imaging range R so that the upper limb disappears from the imaging range R. 71 is not acquired. As a result, the wearable device 1 can improve the detection accuracy of the opportunity to acquire the captured image 71.
  • FIG. 16 is a flowchart showing a control processing procedure related to zoom imaging using a preview image by the wearable device 1.
  • the processing procedure illustrated in FIG. 16 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 16 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether an upper limb has been detected within the imaging range R as step S501. When the upper limb is not detected (No at Step S502), the control unit 22 re-executes the process at Step S501.
  • step S503 When the upper limb is detected (step S502, Yes), the control unit 22 advances the process to step S503.
  • the control part 22 starts the imaging parts 40 and 42 as step S503.
  • step S504 the control unit 22 causes the display units 32a and 32b to display the preview screen 60 within the imaging range R.
  • the control unit 22 detects a predetermined motion of the upper limb within the imaging range R as step S505. Specifically, based on the detection result of the detection unit 44, the control unit 22 determines that a predetermined operation has been detected, for example, when an operation in which the upper limb moves back and forth in the forward direction is detected.
  • step S506 If the predetermined operation is detected (step S506, Yes), the control unit 22 advances the process to step S507.
  • the control unit 22 executes zoom processing by the imaging units 40 and 42 in step S507. Specifically, the control unit 22 specifies the zoom range R2 in the imaging range R in which the imaging units 40 and 42 zoom in and out based on the detected predetermined operation and the conversion table, and stores the specified result in the storage unit. 24.
  • step S508 the control unit 22 displays the zoomed preview image 60 in the imaging range R in the zoom range R2. Specifically, the control unit 22 displays the preview screen 60 on the display units 32a and 32b so that the image data 70 of the image capturing units 40 and 42 after zooming is within the image capturing range R.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S509.
  • step S510 the control unit 22 determines whether the upper limb has moved out of the range of the preview image 60 based on the detection result in step S509. Specifically, the control unit 22 moves out of the range of the preview image 60 when it detects that all of the upper limbs have moved out of the range of the preview image 60 so that the upper limb is not reflected in the captured image 71. It is determined that
  • step S511, No If the preview image 60 has not been moved outside the range (step S511, No), the control unit 22 re-executes the processing after step S505.
  • step S511, Yes the control unit 22 advances the process to step S512.
  • the control part 22 acquires the captured image 71 as step S512. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with the focus already set, acquires the captured image 71, and stores the acquired captured image 71 as the imaging data 24b. To remember. Then, the control part 22 stops the imaging parts 40 and 42 as step S513. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • Step S506 the control unit 22 advances the process to Step S514.
  • step S514 the control unit 22 causes the display units 32a and 32b to update the display of the preview image 60. Thereafter, the control unit 22 re-executes the processes after step S509 described above.
  • each program shown in FIG. 3 may be divided into a plurality of modules, or may be combined with other programs.
  • the wearable device 1 has been described with respect to the case where the imaging units 40 and 42 are stopped when the captured images 71 of the imaging units 40 and 42 are acquired.
  • the wearable device 1 may be configured to stop the imaging units 40 and 42 when the user requests the imaging units 40 and 42 to stop.
  • Said wearable apparatus 1 may be comprised so that a user may be notified of acquisition of the captured image 71, when the captured image 71 of the imaging parts 40 and 42 is acquired.
  • the wearable device 1 is configured to display the activation icons of the imaging units 40 and 42 on the display units 32a and 32b, and activate the imaging units 40 and 42 when a predetermined gesture for the activation icon is detected. May be. Said wearable apparatus 1 may be comprised so that the imaging parts 40 and 42 may always be in a starting standby state.
  • the wearable device 1 includes the operation unit 13 on the side surface 1b or the side surface 1c, and is configured to control activation and stop of the imaging units 40 and 42 according to a predetermined operation on the operation unit 13. Also good.
  • the wearable device 1 has the index finger F disappeared from the preview screen 60 (zoom range R 1) by the zoom process in the imaging range R.
  • the configuration is shown in which the captured image 71 is not acquired and the captured image 71 is acquired when the upper limb moves from the preview image 60 to the outside of the preview image 60 after that, but is not limited thereto.
  • the wearable device 1 may be configured to perform zoom processing around the index finger F. With this configuration, the wearable device 1 does not lose the index finger F from the preview image 60 (zoom range R1) due to zoom processing.
  • the shielding object existing in the imaging range R has been described as the user's upper limb.
  • the shielding object is not limited to the user's upper limb.
  • the shielding object may be a predetermined object that the user has.
  • the predetermined object possessed by the user is, for example, a rod-like object such as a pen.
  • the predetermined item that the user has may be a portable electronic device such as a mobile phone held by the user, or an electronic device such as a wristwatch-type terminal worn on the upper limb of the user.
  • the content (brightness and the like) captured by the imaging units 40 and 42 of the wearable device 1 is determined by a predetermined operation on the mobile phone.
  • the captured image is acquired in a state where the imaging content is changed.
  • FIG. 17 is a diagram for describing an example of control provided by the control program 24a of the wearable device 1.
  • the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state when the detection unit 44 detects that the right hand H has entered the imaging range R in step S130 shown in FIG.
  • the wearable device 1 displays the icons 53 to 55 on the display units 32a and 32b so as to be within the imaging range R.
  • the icon 53 is, for example, an image indicating that a still image is captured by the imaging units 40 and 42.
  • the icon 54 is, for example, an image indicating that a moving image is captured by the imaging units 40 and 42.
  • the icon 55 is, for example, an image for canceling the imaging standby state of the imaging units 40 and 42 (stopping imaging).
  • the icons 53 to 55 are displayed in parallel in the region along the right side of the imaging range R.
  • the wearable device 1 describes a case where the icons 53 to 55 are displayed within the imaging range R, but may be displayed outside the imaging range R.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S130 when the user moves the right hand H from outside the imaging range R of the imaging units 40 and 42 into the imaging range R, the icons 53 to 55 are visually recognized on the display units 32a and 32b, and the display units 32a and 32b are displayed. Through the foreground 100 and the right hand H. The user can recognize that the wearable device 1 can capture an image by visually recognizing the icons 53 to 55.
  • the wearable device 1 determines that the preset part of the right hand H has moved through the icon 53 and moved out of the imaging range R based on the detection result of the detection unit 44. Then, the wearable device 1 sets the imaging units 40 and 42 to the imaging state, and images the foreground 100 with a still image.
  • the wearable device 1 determines that the preset part of the right hand H has moved through the icon 54 and moved out of the imaging range R based on the detection result of the detection unit 44.
  • the wearable device 1 sets the imaging units 40 and 42 to the imaging state, and starts imaging with a moving image.
  • the wearable device 1 determines that the preset portion of the right hand H has passed the icon 55 and moved out of the imaging range R based on the detection result of the detection unit 44. Then, the wearable device 1 cancels the imaging standby state of the imaging units 40 and 42.
  • each of the icons 53 to 55 is displayed on the display units 32a and 32b as an image larger than a preset portion of the right hand H as shown in step S130.
  • the preset part of the right hand H includes, for example, a part closer to the fingertip than the first joint of the index finger of the right hand H.
  • the preset part of the right hand H may be, for example, a part from the base of the finger (third joint) to the fingertip.
  • any two of the fingertips, the first joint, the second joint, and the third joint are selected, and the part between the two is preset. It may be a part.
  • a circular (or elliptical or rectangular) region having a predetermined size based on the size of the finger or hand may be set as a preset portion.
  • the preset part may be displayed on the display parts 32a and 32b as a predetermined
  • step S131 when the user moves the right hand H to a position closer to the wearable device 1, only the index finger F of the right hand H is visually recognized in the imaging range R. At this time, the index finger F of the right hand H is visually recognized in a state larger than the index finger in step S130. That is, the size of the index finger F in the captured images (video data 70 temporarily stored in the storage unit 24) sequentially transmitted from the imaging units 40 and 42 in the imaging standby state is compared with the index finger in the case of step S130. Become bigger. At this time, the wearable device 1 displays the images of the icons 53 to 55 on the display units 32a and 32b as images larger than the icons 53 to 55 displayed in the case of step S130, as shown in step S131.
  • step S131 the wearable device 1 displays the icons 53 to 55 from the display position in step S130 in order to display the icons 53 to 55 as an image larger than the size of the icon 53 to 55 in step S130. change.
  • the icon 53 is an area along the right side of the imaging range R
  • the icon 54 is an area along the upper side of the imaging range R
  • the icon 55 is an area along the left side of the imaging range R.
  • each of the icons 53 to 55 in step S131 is displayed on the display units 32a and 32b as an image larger than a preset part of the right hand H (for example, a part closer to the fingertip than the first joint in the index finger F). Has been.
  • the wearable device 1 allows the pre-registered portion of the right hand H to pass through a plurality of icons 53 to 55 and select the plurality of icons. It can be made difficult to occur. That is, the wearable device 1 can make it easy to select one icon desired by the user.
  • the process of changing the size of the icons 53 to 55 as described above is referred to as a change process.
  • the wearable device 1 detects the upper limb (predetermined object) from the captured images captured by the imaging units 40 and 42, and indicates that the size of the predetermined region of the upper limb in the captured image has changed. When detected, a predetermined change process according to the change in the size is performed. Accordingly, the wearable device 1 can easily select one icon desired by the user with the upper limb (or a predetermined region in the upper limb) in a configuration in which the icon is selected by moving the user's upper limb (or a predetermined region in the upper limb). As described above, the size of the icon can be changed, and the usability is improved.
  • the wearable device 1 may display the icon on the display units 32a and 32b so that the size of the icon is larger than that of the upper limb (or a predetermined region in the upper limb). That is, the control unit 22 displays an icon (predetermined image displayed on the display unit) that the user visually recognizes on the display units 32a and 32b, or an upper limb (or on the upper limb) that the user visually recognizes via the display units 32a and 32b. The size of the icon is changed so as to be larger than the predetermined area.
  • the wearable device 1 is configured to execute a function based on an icon by superimposing an upper limb (or a predetermined region in the upper limb) and an icon (a predetermined image displayed on the display unit), for example, in a predetermined portion of the upper limb. It is possible to make it difficult for a plurality of icons to be selected by superimposing them on a plurality of images.
  • the control unit 22 allows the user to display the display unit 32a and
  • region in an upper limb) visually recognized via 32b may be sufficient.
  • the “size of the icon (image) that the user visually recognizes on the display units 32a and 32b” in the above configuration is the ratio of the display area of the icon (image) to the entire display area (the entire imaging range R). It may be defined virtually.
  • the size of the upper limb (or a predetermined area in the upper limb) that the user visually recognizes via the display units 32a and 32b” is the upper limb in the captured image with respect to the entire captured image (the entire captured range R). Alternatively, it may be virtually defined as a ratio of a predetermined area in the upper limb).
  • the size of the icon (image) that the user visually recognizes on the display units 32a and 32b” and “the upper limb that the user visually recognizes via the display units 32a and 32b (or The size of the icon (image) may be changed based on “the size of the predetermined region in the upper limb” ”.
  • the wearable device 1 may display the icon on the display units 32a and 32b so that the size of the icon is larger than the upper limb (or a predetermined region in the upper limb) in the captured image.
  • “the size of the icon is larger than the upper limb (or a predetermined region in the upper limb)” means that the icon is in the upper limb (or the upper limb) in any of two directions orthogonal to each other (for example, the vertical direction and the horizontal direction) Larger than a predetermined area).
  • the wearable device 1 When an icon is displayed in the end region in the horizontal direction of the imaging range R, the upper limb is moved in the horizontal direction in order to move the icon outside the imaging range R while passing through the icon. Therefore, the wearable device 1 is configured so that if the size of the icon in the direction (vertical direction) perpendicular to the moving direction of the upper limb is larger than that of the upper limb (or a predetermined region in the upper limb), It can be made difficult for a plurality of icons to be selected by superimposing a region) on a plurality of images. Similarly, when the wearable device 1 displays an icon in the end region in the vertical direction of the imaging range R (in the case of the icon 54), the size of the icon in the horizontal direction may be larger than that of the upper limb. .
  • the wearable device 1 allows the control unit 22 to change the display positions of the icons 53 to 55 (display image) as the sizes of the icons 53 to 55 (display image) change. You may have the structure to change.
  • FIG. 18 is a flowchart illustrating a processing procedure related to imaging control by the wearable device 1.
  • the processing procedure shown in FIG. 18 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 18 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether an upper limb has been detected within the imaging range R as step S1101. Specifically, the control unit 22 determines that the upper limb has been detected when the detection unit 44 detects the upper limb. When the upper limb is not detected (No at Step S1102), the process at Step S1101 is re-executed.
  • step S1102 When the upper limb is detected (step S1102, Yes), the control unit 22 advances the process to step S1103.
  • the control part 22 starts the imaging parts 40 and 42 as step S1103.
  • step S1104 the control unit 22 displays icons 53 to 55 on the display units 32a and 32b.
  • step S1105 the control unit 22 controls the upper limb (or a predetermined region in the upper limb) in the captured image (video data 70 temporarily stored in the storage unit 24) sequentially transmitted from the video data 70 of the imaging units 40 and 42.
  • the size of the upper limb (or the predetermined region in the upper limb) may be a ratio of the upper limb (or the predetermined region in the upper limb) to the entire captured image.
  • the control part 22 determines whether the magnitude
  • step S1107 the size of the changed upper limb (or the predetermined region in the upper limb). Based on the size, the size and position of the icons 53 to 55 are changed. After finishing the process in step S1107, the control unit 22 proceeds to the process in step S1108.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S1108.
  • step S1109 the control unit 22 determines whether the upper limb has moved out of the imaging range R from the imaging range R based on the detection result of step S1108. Specifically, the control unit 22 determines that the upper limb has moved out of the imaging range R when detecting that the entire upper limb has moved out of the imaging range R so that the upper limb is not reflected in the captured image.
  • the control unit 22 re-executes the processing after step S1108.
  • the control unit 22 re-executes the processing after step S1105 instead of re-executing the processing after step S1108. Good.
  • step S1110 When moving outside the imaging range R (step S1110, Yes), the control unit 22 advances the process to step S1111.
  • step S1111 the control unit 22 determines the type of icon that the upper limb (or a predetermined portion of the upper limb) has passed.
  • step S1112 the control unit 22 determines in step S1112 that the upper limb (or a predetermined region in the upper limb) has passed the still image icon 53 (an image indicating that still images are to be captured by the imaging units 40 and 42) (step S1112).
  • step S1112 Yes
  • the process proceeds to step S1113.
  • the control part 22 acquires the captured image which is a still image as step S1113.
  • control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with a preset focus, acquires the captured image, and stores the acquired captured image in the storage unit 24 as imaging data 24b. Then, the control part 22 stops the imaging parts 40 and 42 as step S1121. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • step S1112 if the control unit 22 does not determine that the upper limb (or a predetermined region in the upper limb) has passed the still image icon 53 (step S1112, No), the process proceeds to step S1114.
  • step S1114 determines in step S1114 that the upper limb (or a predetermined region in the upper limb) has passed the moving image icon 54 (an image indicating that moving images are to be captured by the imaging units 40 and 42) (step S1114). , Yes)
  • step S1115 the control unit 22 causes the imaging units 40 and 42 to start capturing moving images.
  • step S1116 the control unit 22 determines whether the upper limb has been detected within the imaging range R. When it determines with not detecting the upper limb (step S1117, No), the control part 22 re-executes the process of step S1116.
  • step S1117 When it is determined that the upper limb has been detected (step S1117, Yes), the control unit 22 advances the process to step S1118.
  • the control unit 22 ends the moving image capturing by the image capturing units 40 and 42 in step S1118.
  • the control part 22 acquires the captured image which is a moving image as step S1119. Specifically, the control unit 22 acquires a captured image that is a moving image captured by the imaging units 40 and 42 and stores the captured image in the storage unit 24 as imaging data 24b. Then, the control part 22 stops the imaging parts 40 and 42 as step S1121. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • step S1114 determines in step S1114 that the upper limb has not passed the moving image icon 54 (step S1114, No)
  • step S1120 determines in step S1120 that the upper limb has passed the imaging stop icon 55 (an image to cancel the imaging standby state of the imaging units 40 and 42) (step S1120, Yes)
  • step S1121 Proceed with the process.
  • the control part 22 stops the imaging parts 40 and 42 as step S1121. When the imaging units 40 and 42 are stopped, the control unit 22 ends the processing procedure illustrated in FIG.
  • step S1120 when it is determined that the upper limb does not pass the imaging stop icon 55 (No in step S1120), the control unit 22 re-executes the process in step S1108. That is, when the upper limb moves outside the imaging range R and the upper limb does not pass any of the icons 53 to 55, the control unit 22 does not acquire a captured image and enters the imaging standby state. maintain. Thereby, the wearable device 1 can omit the process of starting the imaging units 40 and 42 again when the upper limb that has moved outside the imaging range R moves into the imaging range R.
  • the wearable device 1 has a configuration in which an imaging stop icon 55 (an image for canceling the imaging standby state of the imaging units 40 and 42) is displayed. It is not limited to this. Other configurations in which the imaging stop icon 55 is not displayed may be employed. For example, when the upper limb moves out of the imaging range R and the upper limb does not pass a predetermined icon (the above icons 53, 54, etc.), the wearable device 1 stops the imaging units 40 and 42. It is good also as a structure.
  • the wearable device 1 detects the distance between the wearable device 1 (self device) and the upper limb (predetermined object) in the front-rear direction of the user by the distance measuring unit 46, and the distance changes. It may be configured to perform change processing according to the change in the distance when it is detected.
  • the control part 22 of the wearable apparatus 1 is the magnitude
  • the control unit 22 of the wearable device 1 displays according to the distance.
  • the configuration may be such that the process of changing the size of the image is not performed.
  • the control unit 22 of the wearable device 1 displays the display image according to the size of the predetermined area.
  • the process of changing the size of may not be performed. For example, if the upper limb is detected in the captured image with an unreasonably small size, such as detecting the upper limb of another person who is in front of the user, the display image size is not changed. No need to bother.
  • the control unit 22 of the wearable device 1 displays according to the distance.
  • the configuration may be such that the process of changing the size of the image is not performed.
  • control unit 22 may determine whether the upper limb detected in the captured image is the upper right limb or the left upper limb, and may change the display position of the plurality of icons (images) according to the determination result.
  • the control unit 22 determines that the upper limb is the upper right limb
  • the plurality of icons are displayed in parallel along the right side edge in the display area (or the imaging range R) of the display units 32a and 32b.
  • the icons 53 to 55 are arranged along the left side edge in the display area (or the imaging range R) of the display units 32a and 32b. You may make it display in parallel.
  • the control unit 22 displays, for example, a plurality of icons.
  • the control unit 22 displays, for example, a plurality of icons.
  • the display may be divided into a region along the left edge and a region along the lower edge in the display regions 32a and 32b.
  • the wearable device 1 appropriately displays the icons 53 to 55 regardless of whether the size of the icons 53 to 55 is changed or whether the upper limb detected in the captured image is the upper right limb or the left upper limb. It may be displayed at any position.
  • the control unit 22 may display the icons 53 to 55 on the lower side in the display area (or the imaging range R). Since the wearable device 1 according to this embodiment is worn on the head, the upper limb of the user is usually positioned below the imaging range R of the wearable device 1. In this case, the user needs to raise the upper limb upward in order to position the upper limb in the imaging range R, while the user lowers the upper limb in order to move the upper limb into the imaging range R. Is easy to do. Therefore, the configuration in which the icons 53 to 55 (display images) are displayed below the display area (or the imaging range R) is convenient for the user.
  • the wearable device 1 determines the edge of the imaging range R on the side where the upper limb has entered, and icons 53 to 55 (images). May be displayed on the determined edge side in the display area (or imaging range R) of the display units 32a and 32b. For example, when the upper limb enters from the right side of the imaging range R, the control unit 22 displays the icons 53 to 55 on the right side in the display area (or the imaging range R) of the display units 32a and 32b.
  • the display position of the icon may be displayed at an appropriate position depending on the content of the icon.
  • the icon to be displayed is the icon 55 (imaging stop icon)
  • the icon 55 may be displayed in a relatively small area such as the upper right corner (or upper left corner) in the imaging range R. In this way, when the user does not intentionally move the upper limb, the upper limb hardly passes the icon 55.
  • the wearable device 1 may be applied when, for example, a work procedure in farm work or the like is recorded as a moving image.
  • the user wearing the wearable device 1 may acquire the work as a moving image by the wearable device 1 attached while performing the actual work.
  • the icon 55 (imaging stop icon) is passed. Since it is difficult, it is not necessary to end the work recording at an incorrect timing.
  • the wearable device 1 moves the moving image when the upper limb does not pass any of the icons when the upper limb moves outside the imaging range R. Acquisition may be interrupted and resumed when the upper limb enters the imaging range R. As a result, the wearable device 1 can omit the recording of a moving image in a time zone that is not related to the work to be recorded, and does not have to create a redundant moving image.
  • Wearable device 1 may newly provide an icon (interruption icon) for interrupting a moving image.
  • the wearable device 1 interrupts the recording of the moving image when the upper limb moves from the imaging range R to the outside of the imaging range R while passing the interruption icon, while the upper limb passes the interruption icon.
  • the wearable device 1 interrupts the recording of the moving image when the upper limb moves from the imaging range R to the outside of the imaging range R while passing the interruption icon, while the upper limb passes the interruption icon.
  • recording of moving images may be resumed.
  • the configuration in which the control unit 22 of the wearable device 1 executes a function based on the icon that the upper limb (or a predetermined region in the upper limb) passes among the plurality of icons 53 to 55 is exemplified.
  • the control unit 22 assumes that an icon in which the upper limb (or a predetermined region in the upper limb) is superimposed for a predetermined time or more is selected from the plurality of icons 53 to 55, and performs a function based on the icon. It may be configured to execute.
  • the icon is displayed outside the imaging range R, the upper limb does not enter the captured image when the captured image is acquired.
  • the function based on the icon is a function (acquisition of still image, acquisition of moving image) related to the acquisition processing method of the captured image (video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state).
  • the function based on the icon may be a function related to a processing method for the captured image 71 acquired by the imaging units 40 and 42.
  • an icon indicating a function of saving the acquired captured image in a predetermined folder (an icon imitating a folder) or a function of shifting to an e-mail creation screen (captured image as attached data to an e-mail) is illustrated. Examples include icons, icons indicating functions of electronic bulletin boards, blogs, SNSs (Social Networking Services) and the like (functions for using captured images on electronic bulletin boards, blogs, SNSs, etc.).
  • the wearable device 1 has a size of a display image (icon) as a predetermined change process according to a change in the size of the upper limb in the captured image or a change in the distance between the own device and the upper limb.
  • a size of a display image (icon) as a predetermined change process according to a change in the size of the upper limb in the captured image or a change in the distance between the own device and the upper limb.
  • FIG. 19 is a diagram illustrating an example of performing various types of change processing.
  • FIG. 19 shows an example in which various types of change processing are performed in accordance with a change in the size of the upper limb in the captured image or a change in the distance between the own apparatus and the upper limb.
  • three patterns are shown as a table as the change processing.
  • FIG. 19 shows the content of the captured image 71 captured by the imaging units 42 and 44 in the upper part of the table.
  • FIG. 19 shows a case where the upper limb in the captured image 71 is large (the distance between the own device and the upper limb is small) on the left side.
  • FIG. 19 shows a case where the upper limb in the captured image 71 is large (the distance between the own device and the upper limb is small) on the left side.
  • FIG. 19 shows a case where the upper limb in the captured image 71 is small (the distance between the own device and the upper limb is small) on the right side.
  • FIG. 19 shows a display image 56 displayed on the display units 32a and 32b in the lower part of the table.
  • the display image 56 is, for example, an image including character information and a photograph (or an illustration).
  • Pattern 1 shows an example in which the display image 56 is enlarged or reduced regardless of the position of the upper limb as the change process.
  • the display image 56 changes from the state (1-1) to the state (1-2).
  • the enlarged display with the center of the display image 56 as the center of enlargement / reduction is performed.
  • the display image 56 is enlarged and displayed at an enlargement ratio proportional to the amount of change in the size of the upper limb in the captured image 71.
  • FIG. 19 a configuration in which the display image 56 is enlarged when the size of the upper limb in the captured image 71 becomes smaller (or when the distance between the own device and the upper limb becomes larger) is illustrated.
  • the example shown in FIG. 19 may be configured to reduce the display image 56 when the size of the upper limb in the captured image 71 becomes smaller (or when the distance between the own apparatus and the upper limb becomes larger).
  • the portion of the display image 56 that is enlarged and displayed in the state (1-2) is shown as a virtual broken line in the state (1-1).
  • Pattern 2 shows an example in which the display image 56 is enlarged or reduced depending on the position of the upper limb as the change process.
  • the display image 56 changes from the state (2-1) to the state (2-2).
  • the enlarged display with the predetermined area (for example, fingertip position) of the upper limb of the display image 56 as the center of enlargement / reduction is performed.
  • a position designated by a predetermined region (for example, fingertip position) of the upper limb in the display image 56 is indicated by a broken virtual line.
  • the structure displayed as a visually recognizable image may be taken.
  • FIG. 19 a configuration in which the display image 56 is enlarged when the size of the upper limb in the captured image 71 becomes smaller (or when the distance between the own device and the upper limb becomes larger) is illustrated.
  • the example shown in FIG. 19 may be configured to reduce the display image 56 when the size of the upper limb in the captured image 71 becomes smaller (or when the distance between the own device and the upper limb becomes larger). .
  • Pattern 3 shows an example in which only the characters included in the predetermined area 57 determined by the position of the upper limb are enlarged or reduced as the changing process.
  • the display image 56 changes from the state (3-1) to the state (3-2).
  • the characters included in the region 57 are enlarged and displayed.
  • FIG. 19 the configuration in which the region 57 is enlarged when the size of the upper limb in the captured image 71 becomes smaller (or when the distance between the own apparatus and the upper limb becomes larger) is illustrated.
  • the present invention is not limited to this.
  • the example shown in FIG. 19 may be configured to reduce the region 57 when the size of the upper limb in the captured image 71 becomes smaller (or when the distance between the own apparatus and the upper limb becomes larger).
  • the change process may take various forms other than patterns 1 to 3.
  • the change processing may be configured to enlarge only the character information without enlarging the photograph, or the character information may be enlarged. It may be the composition which expands only a photograph, without doing.
  • a slider for example, a knob-shaped operation portion displayed at the time of starting the application may be enlarged or reduced.
  • the slider includes a change bar for changing the volume at the time of music playback when the music playback application is activated.
  • the slider includes a seek bar for displaying the data playback location and changing the playback location by a predetermined operation when the moving image playback application is activated.
  • the change process may associate the coordinate position in the imaging range R of the imaging units 40 and 42 and the detection range of the detection unit 44 with the coordinate position in the display area of the display units 32a and 32b.
  • the change process may be a state in which the slider is selected based on the presence of the upper limb at a predetermined position in the imaging range R (detection range) corresponding to the coordinate position where the slider is displayed in the display area.
  • the change process when the upper limb moves with the slider selected, the display position of the slider in the display area is moved based on the movement of the position coordinates of the upper limb in the imaging range R (detection range). Then, the change process changes the volume and the playback position based on the movement of the display position of the slider.
  • the slider is expanded, that is, the area of the coordinate that is regarded as the display position of the slider is expanded. Therefore, in the wearable device 1, the range in which the slider can be selected by the upper limb in the imaging range R (detection range) is expanded.
  • the change process is not limited to this.
  • the playback volume of the music is used as a predetermined change process according to a change in the size of the upper limb in the captured image or a change in the distance between the own device and the upper limb.
  • the playback speed, tone, etc. may be changed to any one of a plurality of patterns.
  • the changing process can change the ISO sensitivity, white balance, shutter speed, aperture value, depth of field, focal length, and the like when the imaging units 40 and 42 of the wearable device 1 acquire the captured image. It may be.
  • the wearable device 1 may have a configuration in which a predetermined image is enlarged or reduced by a predetermined operation of the upper limb in the captured images captured by the imaging units 40 and 42.
  • the points described below are different from the above-described embodiment.
  • FIG. 20 is a diagram for describing an example of control provided by the control program 24a of the wearable device 1.
  • the example illustrated in FIG. 20 is an example of control related to imaging using a preview image by the wearable device 1.
  • the wearable device 1 When the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44 in step S140 illustrated in FIG. 20, the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state. The wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S140 the wearable device 1 displays the video data 70 on the display units 32a and 32b as the preview image 60 so as to be within the imaging range R.
  • the range of the preview image 60 may be the same size as the imaging range R or may be a range narrower than the imaging range R. In the example illustrated in FIG. 20, the wearable device 1 will describe a case where the preview image 60 is displayed on the upper right in the imaging range R.
  • step S140 the user views the foreground 100 and the preview image 60 in the imaging range R of the imaging units 40 and 42 through the display units 32a and 32b.
  • step S141 the user moves the right hand H to the position where the preview image 60 is superimposed when viewed from the user in the imaging range R viewed through the display units 32a and 32b. At this time, the user's right hand H is in a state where the index finger and thumb belly are in contact with each other (picked).
  • step S142 the user performs an operation of separating the forefinger and the thumb from each other with the right hand H superimposed on the preview image 60.
  • the wearable device 1 enlarges the preview image 60 by detecting an operation in which the index finger and the thumb are separated from each other. That is, the operation of separating the index finger and the thumb from each other is an operation for executing the enlargement process of the preview image 60.
  • the wearable device 1 enlarges the image at an enlargement ratio based on the distance between the index finger and the thumb.
  • the operation in which the index finger and the thumb are separated from each other when the index finger and the thumb are in contact with each other but also the operation in which the index finger and the thumb are further separated from the state in which the index finger and the thumb are originally separated from each other is executed.
  • the operation may be as follows.
  • the wearable device 1 may execute a reduction process of the preview image 60 when detecting an operation in which the index finger and the thumb approach each other.
  • the wearable device 1 detects a predetermined region (a right hand H or a pre-registered portion of the right hand H) of the upper limb or the upper limb from the captured images captured by the imaging units 40 and 42.
  • An enlargement / reduction process (change process) of an image displayed on the display units 32a and 32b can be executed by a predetermined operation of the upper limb or the upper limb in the captured image.
  • the wearable device 1 can change the image to a size desired by the user, which improves usability.
  • step S142 the user sees the right hand H moving in front of the wearable device 1 and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • the user visually recognizes the preview image 60 displayed on the display units 32a and 32b.
  • the user recognizes that his / her right hand H is displayed on the preview image 60.
  • step S143 the user moves the right hand H toward the outside of the imaging range R so that the right hand H disappears from the preview image 60.
  • Wearable device 1 determines whether right hand H has moved out of the range (imaging range R) of preview image 60 based on the detection result of detection unit 44 in step S143. When the wearable device 1 determines that the right hand H has moved out of the range, the right hand H disappears from the preview image 60, and thus the foreground 100 is imaged with the imaging units 40 and 42 in the imaging state.
  • the imaging units 40 and 42 image the foreground 100 with a preset focus.
  • the wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • FIGS. 21A to 21D are diagrams for describing an example in which the size of the display image is changed based on the motion of the upper limb.
  • 21A and 21B and FIGS. 21C and 21D show a case where the length between the wearable device 1 and the upper limb (hand) is different from each other.
  • 21A and 21C show how the preview image 60 is enlarged by a predetermined motion of the upper limb, respectively.
  • 21A and 21C are schematic diagrams illustrating the distance L between the wearable device 1 and the upper limb (right hand H) in the front-rear direction of the user.
  • the wearable device 1 detects the upper limb (predetermined object) from the captured images captured by the imaging units 40 and 42, and performs a predetermined operation (index finger) of the upper limb. And the movement of the thumb apart from each other). Wearable device 1 executes enlargement / reduction processing of preview image 60 based on an operation in which the index finger and the thumb move away from each other.
  • the enlargement / reduction process changes the size of the image with a predetermined enlargement / reduction ratio, and is therefore referred to as a change process.
  • the enlargement / reduction rate M in the enlargement / reduction processing (change processing) is referred to as a change rate.
  • the distance D is, for example, a linear distance between a predetermined position of the tip of the index finger and a predetermined position of the tip of the thumb in the captured images captured by the imaging units 40 and 42. Therefore, if the user separates the index finger and the thumb by a larger distance, the preview image 60 is enlarged with a larger enlargement ratio.
  • the enlargement / reduction rate M (change rate) in the enlargement / reduction processing (change processing) is set to the size P of the upper limb (or a predetermined region in the upper limb) in the captured image.
  • the conversion value P ′ is defined such that the larger the size P of the upper limb (or a predetermined region in the upper limb), the smaller the value.
  • the wearable device 1 stores a conversion table between the size P of the upper limb (or a predetermined region in the upper limb) and the converted value P ′ in the storage unit 24 and refers to the conversion table based on the detected size P.
  • the conversion value P ′ is acquired.
  • the upper limb (right hand H) is closer to the wearable device 1 than in the case of FIGS. 21A and 21B (see FIG. 21D and the like).
  • the upper limb (right hand H) is visually recognized in a larger state than in the case of FIGS. 21A and 21B (see FIG. 21C).
  • the wearable device 1 refers to the conversion table from the size P of the upper limb (right hand H) in the captured image, and the conversion value Pa ′ in the case of FIGS. 21A and 21B and the conversion value in the case of FIGS. 21C and 21D.
  • Pb ′ is acquired. Note that the converted value Pb 'is smaller than the converted value Pa' in the case of FIGS. 21A and 21B.
  • Equation 2 (calculation means depending on the converted value P ′) may be applied.
  • Expression 2 in the case of FIGS. 21C and 21D, the preview image 60 is enlarged at the enlargement ratio Mb multiplied by the conversion value Pb ′ smaller than the conversion value Pa ′ in the case of FIGS. 21A and 21B. Therefore, the size of the enlarged preview image 61 can be made closer to the enlarged preview image 61 in the case of FIGS. 21A and 21B.
  • 21A to 21D illustrate the case where the conversion values Pa ′ and Pb ′ are set so that Ma and Mb are the same.
  • the wearable device 1 detects a predetermined object (an upper limb (or a predetermined area in the upper limb) from a captured image captured by the imaging units 40 and 42 and performs a predetermined operation of the predetermined object.
  • a wearable device 1 including a control unit 22 that performs a predetermined change process (image enlargement / reduction process) according to the displacement (distance D) of a predetermined object associated with the predetermined operation upon detecting (an operation in which the index finger and the thumb are separated).
  • the wearable device 1 is configured to change the change rate (enlargement / reduction rate M) of the predetermined object per unit displacement in the change process according to the size of the predetermined object in the captured image.
  • the wearable device 1 described above is based on the distance L between the wearable device 1 (own device) and the upper limb (predetermined object) detected by the distance measuring unit 46 in the front-rear direction of the user. ) May be changed.
  • the wearable device 1 converts the conversion value converted based on the distance L between the wearable device 1 (self device) and the upper limb (predetermined object) to L ′ (conversion for obtaining the conversion value L ′ from the distance L).
  • the conversion value L ′ is defined such that the larger the distance L between the wearable device 1 (self device) and the upper limb (predetermined object), the larger the value.
  • the upper limb (right hand H) is closer to the wearable device 1 than in the case of FIGS. 21A and 21B (see FIG. 21D).
  • the upper limb (right hand H) is visually recognized in a larger state than in the case of FIGS. 21A and 21B (see FIG. 21C).
  • the wearable device 1 refers to the conversion table from the distance L between the device itself and the upper limb (right hand H), and refers to the conversion value La ′ in the case of FIGS. 21A and 21B and the conversion value Lb in the case of FIGS. 21C and 21D. 'And get respectively.
  • the converted value Lb ′ is smaller than the converted value La ′ in the case of FIGS. 21A and 21B.
  • the wearable device 1 can make the size of the enlarged preview image 61 closer to the enlarged preview image 61 in the case of FIGS. 21A and 21B.
  • FIG. 22 is a diagram for explaining another example of the control provided by the control program 24a of the wearable device 1.
  • FIG. 20 the process of enlarging / reducing the preview image by the predetermined action of the upper limb has been described.
  • FIG. 22 an example of performing the zoom process by the predetermined action of the upper limb will be described.
  • the wearable device 1 When the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44 in step S150 illustrated in FIG. 22, the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state. The wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • the wearable device 1 displays the video data 70 on the display units 32a and 32b as a preview image 60 so as to be within the imaging range R in step S150.
  • wearable device 1 displays preview image 60 on the upper right in imaging range R.
  • step S151 the user is in a state where the belly of the index finger of the right hand H and the belly of the thumb are in contact with each other (picked).
  • step S152 the user performs an operation of separating the index finger and the thumb from each other at a position where the right hand H does not overlap the preview image 60 in the imaging range R. Then, the wearable device 1 executes zoom processing (change processing) by detecting an operation in which the index finger and the thumb are separated from each other in step S152. The wearable device 1 detects a distance where the index finger and the thumb are separated from each other, and performs a zoom process based on the detected distance.
  • the zoom process is a process of specifying a zoom range to zoom in or zoom out in the imaging range R based on the detected distance and the conversion table, for example.
  • the wearable device 1 may display the specified zoom range on the display units 32a and 32b so as to be within the imaging range R when the zoom process is executed. Note that not only the movement of the index finger and thumb away from each other from the state in which the index finger and the thumb are in contact with each other does not correspond to the operation for performing the zoom process, but also the index finger from the state in which the index finger and the thumb are separated from each other. The operation of separating the thumb from the thumb also corresponds to the operation for executing the zoom process.
  • the wearable device 1 may execute a reduction process of the preview image 60 when detecting an operation in which the index finger and the thumb approach each other.
  • the wearable device 1 detects a predetermined part of the upper limb or the upper limb (a right hand H or a pre-registered part of the right hand H) from the captured images captured by the imaging units 40 and 42.
  • the zoom process can be executed by a predetermined motion of the upper limb or the upper limb in the captured image.
  • the wearable device 1 can acquire the video data 70 in a size desired by the user, which improves usability.
  • step S152 the user sees the right hand H moving in front of the wearable device 1 and the foreground 100 in the imaging range R through the display units 32a and 32b.
  • the user visually recognizes the preview image 60 displayed on the display units 32a and 32b.
  • the user recognizes that his / her right hand H is displayed on the preview image 60.
  • step S153 the user moves the right hand H toward the outside of the imaging range R so that the right hand H disappears from the preview image 60.
  • Wearable device 1 determines whether right hand H has moved out of the range (imaging range R) of preview image 60 based on the detection result of detection unit 44 in step S153. When the wearable device 1 determines that the right hand H has moved out of the range (or determines that the right hand H has disappeared from the preview image 60), the wearable device 1 causes the imaging units 40 and 42 to capture the foreground 100. The imaging units 40 and 42 image the foreground 100 with a preset focus. The wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the wearable device 1 displays the preview image 60 in the imaging range R, and when the wearable device 1 detects that the right hand H (upper limb) has disappeared from the preview image 60, acquires the captured image 71 captured by the imaging units 40 and 42. To do.
  • the user can capture the front image by the imaging units 40 and 42 only by moving the upper limb so as to disappear while visually recognizing the preview image 60.
  • the wearable device 1 can improve the operability and convenience of the imaging units 40 and 42.
  • the wearable device 1 detects a predetermined object (upper limb (or a predetermined region in the upper limb)) from the captured images captured by the imaging units 40 and 42, as in the example illustrated in FIG. 20.
  • the wearable device 1 includes a control unit 22 that detects a predetermined action of a predetermined object (an action in which the index finger and the thumb separate) and executes a change process (zoom process) based on the predetermined action.
  • Wearable device 1 may change the change rate (zoom rate) in change processing according to the size of the predetermined thing in a picked-up image.
  • imaging control zoom processing
  • a predetermined operation gesture
  • the wearable device 1 is based on the distance L between the wearable device 1 (self device) and the upper limb (predetermined object) detected by the distance measuring unit 46 in the front-rear direction of the user, as described above.
  • the change rate (zoom rate) may be changed.
  • FIG. 23 shows an example of a conversion table in which the size P of the upper limb in the captured image (or the distance L between the upper limb and the own device) and the converted value P ′ (or L ′) are associated with each other.
  • FIG. Hereinafter, an example relating to the changing process based on the size P of the upper limb in the captured image will be described.
  • FIG. 23 shows two patterns.
  • the pattern P1 is an image in which the converted value changes stepwise as the size P of the upper limb in the captured image changes stepwise, and at the unit movement distance of the upper limb (for example, when the index finger and the thumb are 1 cm apart).
  • An example is shown in which the enlargement / reduction ratio (change rate) changes stepwise. That is, the pattern P1 is a pattern that is changed at a change rate to which the converted value is applied.
  • the present embodiment is not limited to the pattern P1.
  • the pattern P2 is an example in which the change process based on the change rate is not performed while the size P of the upper limb in the captured image is within a predetermined range.
  • the conversion value is not applied, that is, the change process based on the change rate is not performed, and another change process is performed.
  • another changing process a process of changing the size of the display image so that two opposite corners of the predetermined image are matched with (attached to) the position of the fingertip of the index finger and the position of the fingertip of the thumb. It is. Note that, in the pattern P2, when the size P of the upper limb in the captured image is 20% or less, the change process based on the change rate is executed in the same manner as the pattern P1 described above.
  • FIG. 24 is a flowchart illustrating a processing procedure related to imaging control by the wearable device 1.
  • the processing procedure shown in FIG. 24 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 24 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether an upper limb has been detected within the imaging range R as step S1201. Specifically, the control unit 22 determines that the upper limb has been detected when the detection unit 44 detects the upper limb. When the upper limb is not detected (No at Step S1202), the control unit 22 re-executes the process at Step S1201.
  • step S1202 When the upper limb is detected (step S1202, Yes), the control unit 22 advances the process to step S1203.
  • the control unit 22 activates the imaging units 40 and 42 as step S1203.
  • step S1204 the control unit 22 displays the preview image 60 on the display units 32a and 32b.
  • step S1205 the control unit 22 controls the upper limb (or a predetermined region in the upper limb) in the captured image (video data 70 temporarily stored in the storage unit 24) sequentially transmitted from the video data 70 of the imaging units 40 and 42.
  • the size of the upper limb (or the predetermined region in the upper limb) may be a ratio of the upper limb (or the predetermined region in the upper limb) to the entire captured image.
  • the control part 22 determines whether the magnitude
  • step S1206 When it is determined that the size of the upper limb has changed in step S1206 (step S1206, Yes), the control unit 22 sets a change rate based on the changed size of the upper limb as step S1207. After finishing the process in step S1207, the control unit 22 proceeds to the process in step S1208.
  • the control unit 22 determines whether a predetermined motion of the upper limb in the imaging range R has been detected based on the video data 70 of the imaging units 40 and 42 as step S1208.
  • the predetermined operation is, for example, an operation of separating (or bringing the index finger and thumb) apart, and does not correspond to the movement operation of the upper limb determined in step S1213 described later. If it is determined that the predetermined motion of the upper limb has not been detected (step S1208, No), the control unit 22 advances the process to step S1213 described later.
  • step S1208 If it is determined in step S1208 that the predetermined motion of the upper limb has been detected (step S1208, Yes), the control unit 22 determines the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S1209. Detect position.
  • step S1210 the control unit 22 determines whether the position of the upper limb detected in step S1209 is a position that overlaps the preview image 60 in the imaging range R. When it is determined that the position of the upper limb is in a position where it is superimposed on the preview image 60 (step S1210, Yes), the control unit 22 advances the process to step S1211.
  • step S1211 the control unit 22 changes the size of the preview image 60 (performs enlargement / reduction processing).
  • the enlargement / reduction processing of the preview image 60 is executed based on the change rate (enlargement / reduction rate) set in step S1207. After finishing the process in step S1211, the control unit 22 advances the process to step S1213 described later.
  • step S1210 when it is not determined in step S1210 that the position of the upper limb is in a position overlapping the preview image 60 (No in step S1210), the control unit 22 advances the process to step S1212.
  • the control unit 22 executes zoom processing by the imaging units 40 and 42 as step S1212.
  • the zoom process is executed based on the change rate (zoom rate) set in step S1207.
  • the control unit 22 advances the process to step S1213.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S1213.
  • the control unit 22 determines whether the upper limb has moved out of the imaging range R from the imaging range R based on the detection result in step S1213. Specifically, the control unit 22 determines that the upper limb has moved out of the imaging range R when detecting that the entire upper limb has moved out of the imaging range R so that the upper limb is not reflected in the captured image.
  • the control part 22 re-executes the process after step S1213.
  • step S1215 the control unit 22 acquires a captured image. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with a preset focus, acquires the captured image 71, and stores the acquired captured image 71 as the captured data 24b in the storage unit 24. Remember. Then, the control part 22 stops the imaging parts 40 and 42 as step S1216. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • FIG. 25 is a diagram for explaining another example of the control provided by the control program 24a of the wearable device 1.
  • FIG. 25 is an example of control for performing enlargement / reduction processing of the preview image by the wearable device 1 as in the case of FIG.
  • step S160 illustrated in FIG. 25 the user moves the right hand H to the position where the preview image 60 is superimposed when viewed from the user in the imaging range R viewed through the display units 32a and 32b. . At this time, the user's right hand H is in a state where the index finger and thumb belly are in contact with each other (picked).
  • the detection unit 44 detects that the right hand H has entered the imaging range R, and the imaging units 40 and 42 are in an imaging standby state. At this time, the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S161 the user performs an operation of separating the index finger and the thumb from each other with the right hand H superimposed on the preview image 60.
  • the wearable device 1 enlarges the preview image 60 by detecting an operation in which the index finger and the thumb are separated from each other.
  • the wearable device 1 detects a direction (first direction; T1) in which the index finger and the thumb are separated from each other, and temporarily stores the direction T1.
  • the first direction T1 may be a direction in which the index finger is separated from the thumb, or may be a direction in which the thumb is separated from the index finger.
  • step S162 the user moves the upper limb in a second direction T2 that intersects the first direction T1 at a predetermined angle or more (in step S62, the second direction T2 is substantially orthogonal to the first direction T1).
  • the wearable device 1 detects that the upper limb has moved in the second direction T2.
  • the wearable device 1 determines that the operation of separating the index finger and the thumb from each other has been completed with the detection of the movement of the upper limb in the second direction T2.
  • the wearable device 1 moves in the second direction of the upper limb, which is difficult to interact with the operation (the operation of separating the index finger and the thumb in the first direction) involved in the image scaling operation. ), The enlargement / reduction operation can be completed. Therefore, the operation is not troublesome, and the usability is improved.
  • the operation for performing the image enlargement / reduction operation and the operation for completing the image enlargement / reduction operation are distinguished from each other by operations in different directions.
  • the present invention is not limited to this. .
  • FIG. 26 is a diagram for describing another example of the control provided by the control program 24a of the wearable device 1.
  • FIG. 26 is an example of control for performing enlargement / reduction processing of the preview image by the wearable device 1 as in the case of FIG.
  • the display contents of the display units 32a and 32b display contents in the display area in the area overlapping the imaging range R
  • the distance L between the wearable device 1 and the upper limb Respectively.
  • the distance L between the wearable device 1 and the upper limb in the front-rear direction of the user is detected by the distance measuring unit 46.
  • step S170 the user moves the right hand H to the position where it is superimposed on the preview image 60 when viewed from the user in the imaging range R viewed through the display units 32a and 32b. At this time, the user's right hand H is in a state where the index finger and thumb belly are in contact with each other (picked).
  • step S170 the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44, and sets the imaging units 40 and 42 in the imaging standby state. At this time, the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • the distance between wearable device 1 and the upper limb (right hand H) is distance L1.
  • step S171 the user performs an operation of separating the index finger and the thumb from each other with the right hand H superimposed on the preview image 60.
  • the wearable device 1 enlarges the preview image 60 to the preview image 61 by detecting the movement of the index finger and the thumb away from each other in step S171.
  • the distance between the wearable device 1 and the upper limb (right hand H) is the distance L1 as in step S170.
  • step S172 the user moves the right hand H closer to the front than in the case of step S171.
  • the distance between the wearable device 1 and the upper limb (right hand H) is a distance L2 that is smaller than the distance L1.
  • the wearable device 1 does not execute the enlargement / reduction process of the preview image 60 even if it is detected that a predetermined operation (an operation of releasing the index finger and the thumb) is performed.
  • the wearable device 1 has the first state and the second state in which the distance L between the user's own device and the upper limb (predetermined object) in the front-rear direction of the user is different. Detect and distinguish. Wearable device 1 performs predetermined processing (processing for enlarging / reducing preview image 60 by moving the index finger and thumb apart (or closer)) to preview image 60 (object) in the first state (distance at distance L1). enable. On the other hand, the wearable device 1 disables the process in the second state (the state at the distance L2).
  • the wearable device 1 is different from the finger motion involved in the image enlargement / reduction operation (the motion of moving the upper limb in a direction toward or away from the wearable device 1).
  • the enlargement / reduction operation can be completed, the operation is not troublesome, and the usability is improved.
  • a configuration may be used in which the distance between the device itself and the upper limb (predetermined object) is estimated based on the size of the upper limb in the captured images captured by the imaging units 40 and 42.
  • the image enlargement / reduction process is exemplified as the predetermined process, but the present invention is not limited to this and may be applied to other processes.
  • the predetermined process for the object may be a process for performing a drag operation of the object. An example of this case will be described with reference to a schematic diagram of the distance between the wearable device 1 and the upper limb in FIG. In a state where the distance L between the wearable device 1 and the upper limb is the predetermined distance L2, the wearable device 1 is in a state where the drag operation cannot be performed.
  • the wearable device 1 When the user performs an operation of moving the upper limb in a direction away from the wearable device 1 (an operation of pushing the upper limb back), the wearable device 1 has a distance L1 that is greater than the distance L2. It is good also as a state which can perform drag operation. In this way, when the user is performing an operation of pushing the upper limb back, a drag operation can be performed, and the user performs an operation of pulling the upper limb forward at a position desired by the user. By doing so, it is possible to drop the object (cancel the selected state).
  • the drag operation is regarded as a state where the object is selected by superimposing the upper limb on the display position of the object for a predetermined time or more, and in the selected state, the movement of the object follows the movement of the position of the upper limb. Includes operations to move the display position.
  • the wearable device 1 is configured to display the size of the icon to be displayed and the image enlargement / reduction processing (change processing) based on the size of the upper limb in the captured image (or the distance between the wearable device 1 and the upper limb).
  • FIG. 27 is a diagram for explaining another example of the control provided by the control program 24a of the wearable device 1.
  • FIG. 27 is an example of control for changing the display area of the wearable device 1.
  • the display contents of the display units 32a and 32b display contents in the display area in the area overlapping the imaging range R
  • the distance L between the wearable device 1 and the upper limb Respectively.
  • the distance L between the wearable device 1 and the upper limb in the front-rear direction of the user is detected by the distance measuring unit 46.
  • step S180 the upper limb (right hand H) is located at a distance L1 forward from the wearable device 1.
  • the wearable device 1 sets the display application area of the display units 32a and 32b as a region 81 in accordance with the distance L1 between the wearable device 1 and the upper limb.
  • the display application area is an area including the position based on the position of the upper limb in the imaging range R.
  • an icon group 58 that can execute a predetermined process by superimposing an upper limb (right hand H) is displayed.
  • step S181 the user has moved the upper limb (right hand H) to the front rather than in the case of step S180.
  • the distance between the wearable device 1 and the upper limb (right hand H) is a distance L2 that is smaller than the distance L1.
  • size of the upper limb (right hand H) which a user visually recognizes via the display parts 32a and 32b becomes larger than the case of step S180.
  • the wearable device 1 has a display application region that is larger than the region 81 in accordance with the distance L2 between the wearable device 1 and the upper limb (the upper limb (right hand H) being visually recognized). It is said.
  • an icon group 58 that can execute a predetermined process by superimposing an upper limb (right hand H) is displayed.
  • the wearable device 1 estimates the change in the size of the upper limb (right hand H) that the user visually recognizes via the display units 32a and 32b based on the change in the distance L between the wearable device 1 and the upper limb, Based on the estimated size, the size of the display application area is changed.
  • the wearable device 1 applies display based on the size of the upper limb in the captured images captured by the imaging units 40 and 42 instead of detecting the distance L by the distance measuring unit 46. It is good also as a structure which changes the magnitude
  • the change process may be a process using a change bar having a bar-shaped operation area.
  • the change bar displays a data reproduction location when starting a music playback application, a change bar for changing the volume at the time of music playback, or a video playback application, and plays back by a predetermined operation. Includes a seek bar to change the location. For example, when the size of the upper limb detected in the captured image (the ratio of the upper limb region to the entire captured image) is greater than or equal to a predetermined value, the change process displays the change bar having the first length on the display unit.
  • the change bar having the second length smaller than the first length is displayed on the display units 32a and 32b. You can do it.
  • the slider for example, a knob-shaped operation portion
  • the slider can be slid within a range suitable for the movable range of the upper limb. it can.
  • the slider may be inappropriate due to a slight movement of the upper limb (a slight movement of the position of the upper limb).
  • this is unlikely to occur.
  • the “change process” in the above embodiment refers to, for example, a process for changing a physical quantity, a set value, a parameter, or a sensory quantity realized by a user, which changes continuously or stepwise with respect to execution of a predetermined function.
  • the target of the change process is a correction value in exposure correction related to the imaging function, ISO sensitivity, white balance, shutter speed, aperture value, depth of field, focal length, zoom rate, volume in music playback, video playback, etc. Playback location, volume of microphones, display image size, display position, display image enlargement / reduction ratio, and the like. Note that the process of selecting one of a plurality of selection targets (for example, a plurality of display images) based on the number of fingers having a predetermined state is not included in the “change process”.
  • FIG. 28 is a diagram for explaining another example of the control provided by the control program 24a of the wearable device 1.
  • the wearable device 1 When the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44 in step S230 illustrated in FIG. 28, the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state.
  • the wearable device 1 displays the icons 65 and 66 on the display units 32a and 32b so as to be within the imaging range R.
  • the icon 65 is one of imaging functions, for example.
  • the icon 65 is a display image showing a function for changing the ISO sensitivity.
  • the icon 66 is one of imaging functions, for example.
  • the icon 66 is a display image showing a function for changing a correction value in exposure correction.
  • the wearable device 1 will describe a case where the icons 65 and 66 are displayed within the imaging range R, but may be displayed outside the imaging range R.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • step S230 when the user moves the right hand H from outside the imaging range R of the imaging units 40 and 42 into the imaging range R, the icons 65 and 66 are visually recognized on the display units 32a and 32b, and the display units 32a and 32b are displayed. Through the foreground 100 and the right hand H. The user can recognize that the wearable device 1 can capture an image by visually recognizing the icons 65 and 66.
  • the user extends the index finger of the right hand H.
  • the extension of the finger means that the finger has a predetermined state.
  • the predetermined area of the index finger may function as a pointer that can specify the predetermined position of the display area of the display units 32a and 32b.
  • the predetermined region of the index finger may be defined as, for example, a portion closer to the fingertip than the first joint of the index finger, a nail of the index finger of the right hand H, or the like.
  • step S230 the user superimposes a predetermined area of the index finger on the icon 65 in the display area of the display units 32a and 32b.
  • the user visually recognizes that a predetermined area of the index finger is superimposed on the icon 65 in the imaging range R.
  • the wearable device 1 substantially matches the imaging range R with the display areas of the display units 32a and 32b. Therefore, the wearable device 1 recognizes that the user is viewing such that the predetermined area of the index finger and the icon 65 are superimposed.
  • Wearable device 1 puts icon 65 in a selected state based on the fact that a predetermined area of the index finger is superimposed on icon 65.
  • the icon 65 may be selected based on the fact that the predetermined area of the index finger is superimposed on the icon 65 for a predetermined time or longer.
  • the wearable device 1 moves to step S231.
  • step S231 the wearable device 1 displays a list 67, which is a new display image, based on the selection of the icon 65.
  • the list 67 is a list of setting values based on the display content of the icon 65 (ISO sensitivity changing function).
  • the types of setting values are defined as five or less types so that each can be selected according to the number of fingers extended.
  • four types of setting values are defined. Each setting value is numbered.
  • the list 67 does not necessarily have a configuration in which each setting value is numbered.
  • step S231 as in step S232, based on the fact that the number of fingers having a predetermined state (extended state) is 1 (only the index finger), the first (one of the four types of setting values) A setting value (400) of (upper stage) is set.
  • the list 67 is displayed at a position superimposed on the icon 66 in step S230, but may be displayed at a position other than this.
  • step S232 it is assumed that the user extends the middle finger and the ring finger in addition to the index finger. Then, based on the fact that the number of fingers having a predetermined state (stretched state) has changed to 3, the third set value (1600) among the four types of set values is set.
  • step S233 the user moves the right hand H from the imaging range R to the outside of the imaging range R. At this time, the user moves the right hand H without changing the number of extending fingers.
  • the wearable device 1 determines whether the right hand H has moved from within the imaging range R to outside the imaging range R based on the detection result of the detection unit 44, the wearable device 1 causes the foreground 100 to be imaged with the imaging units 40 and 42 being in the imaging state.
  • the imaging units 40 and 42 capture the foreground 100 with the ISO sensitivity (1600) set in step S32.
  • the wearable device 1 acquires a captured image 71 captured by the imaging units 40 and 42 and stores the captured image 71 in the storage unit 24 as captured data 24b. After that, the wearable device 1 stops the imaging units 40 and 42 and shifts the imaging units 40 and 42 to an unstarted state.
  • the control unit 22 in the wearable device 1 detects the number of fingers (extended fingers) having a predetermined state in the upper limb from the detection results of the imaging units 40 and 42 serving as the detection unit 44, and Based on the number, change processing related to a predetermined function (in the above example, change of ISO sensitivity in the imaging function) is executed. Thereby, the wearable device 1 can be operated by a simple and intuitive operation.
  • the changing process may be any process capable of changing a predetermined setting value related to the execution content of the predetermined function, in addition to the above-described change in ISO sensitivity.
  • the predetermined position of the display area is designated based on the position of the predetermined area of the index finger within the imaging range R.
  • the present invention is not limited to this.
  • a configuration in which a predetermined position of the display region is designated based on the position of the predetermined region of the index finger within the detection range of the detection unit 44 other than the imaging units 40 and 42 may be used.
  • FIG. 29 is a diagram for explaining another example of the control provided by the control program 24a of the wearable device 1.
  • the wearable device 1 When the wearable device 1 detects that the right hand H has entered the imaging range R by the detection unit 44 in step S240 shown in FIG. 29, the wearable device 1 shifts the imaging units 40 and 42 to the imaging standby state.
  • the wearable device 1 displays the icons 65 and 66 on the display units 32a and 32b in the same manner as in the example shown in FIG.
  • the wearable device 1 temporarily stores the video data 70 sequentially transmitted from the imaging units 40 and 42 in the imaging standby state in the storage unit 24.
  • the user visually recognizes the icons 65 and 66 on the display portions 32a and 32b, and visually recognizes the foreground 100 and the right hand H through the display portions 32a and 32b.
  • step S240 the user extends the index finger of the right hand H.
  • a predetermined region of the index finger (a portion closer to the fingertip than the first joint in the index finger) is assumed to function as a pointer that can specify a predetermined position in the display region of the display units 32a and 32b.
  • step S240 the user superimposes a predetermined area of the index finger on the display area of the icon 65 in the display units 32a and 32b.
  • the wearable device 1 recognizes that the user is visually recognizing the predetermined area of the index finger and the icon 65 superimposed on each other, and can use this as a trigger to execute a change process related to the function based on the icon 65 To.
  • step S241 the wearable device 1 displays a list 67 of setting values based on the display content of the icon 65 (ISO sensitivity changing function), as in the example shown in FIG.
  • the list 67 is defined as five or less types so that each can be selected according to the number of fingers extended.
  • the user in the state where the predetermined area of the index finger is superimposed on the display area of the icon 65 in the display units 32a and 32b (the state in which the change process based on the icon 65 can be performed), the user can The ring finger is extended.
  • wearable device 1 changes the third set value (1600) of the four types of set values based on the number of fingers having a predetermined state (stretched state) having changed to three. To do.
  • the control unit 22 in the wearable device 1 determines whether the predetermined area of the index finger is included in the actual first predetermined space from the captured images captured by the imaging units 40 and 42.
  • the first predetermined space is a space that can be visually recognized by the user superimposed on the icon 65 via the display units 32a and 32b.
  • the control unit 22 in the wearable device 1 determines whether or not the user visually recognizes that the predetermined area of the index finger and the display area of the icon 65 are superimposed.
  • the wearable device 1 determines that the predetermined area of the index finger is visually recognized by the user so as to overlap the display area of the icon 61 Similarly, the change process can be executed as in the example shown in FIG.
  • step S242 the user superimposes a predetermined area of the index finger on the display area of the icon 66.
  • the control unit 22 in the wearable device 1 determines that there is a predetermined region of the index finger in a space (first predetermined space) that can be visually recognized by the user superimposed on the icon 66 via the display units 32a and 32b. And the control part 22 enables execution of a change process.
  • wearable device 1 displays a list 68 of setting values based on the display content (exposure correction function) of icon 66.
  • the control unit 22 determines that, based on the number of fingers having a predetermined state (extended state) being 4, among the five types of setting values in the exposure correction of the list 68, A fourth set value (+1) is set.
  • control unit 22 in the wearable device 1 determines whether the predetermined portion of the upper limb is included in the actual first predetermined space, and determines that the predetermined portion of the upper limb is included in the actual first predetermined space. In this case, the execution of the change process is permitted. Accordingly, since the changing process is not performed except when the user intends to position the predetermined portion of the upper limb in the first predetermined space, erroneous operations can be reduced.
  • the wearable device 1 is configured to detect the position of the upper limb (or a predetermined region of the upper limb) in the actual space from the captured images captured by the imaging units 40 and 42. It is not limited to this.
  • the wearable device 1 may detect the position of the upper limb in the actual space by the detection unit 44 other than the imaging units 40 and 42.
  • the space in front of the user is defined by a three-dimensional coordinate system with the forward direction as the z axis, and the position (x, y) of the upper limb in the space is detected, and the predetermined position in the display area is set.
  • a predetermined position in the display area of the display units 32a and 32b may be designated according to the position of the upper limb.
  • FIG. 30 is a flowchart illustrating a processing procedure related to imaging control by the wearable device 1.
  • the processing procedure shown in FIG. 30 is realized by the control unit 22 executing the control program 24a.
  • the processing procedure shown in FIG. 30 is repeatedly executed when the wearable device 1 is worn on the head, when the wearable device 1 is operating, or the like.
  • the control unit 22 of the wearable device 1 determines whether an upper limb has been detected within the imaging range R as step S2101. Specifically, the control unit 22 determines that the upper limb has been detected when the detection unit 44 detects the upper limb. When it determines with not detecting the upper limb (step S2102, No), the control part 22 re-executes the process of step S2101.
  • step S2102 If it is determined that the upper limb has been detected (step S2102, Yes), the control unit 22 advances the process to step S2103.
  • the control unit 22 activates the imaging units 40 and 42 as step S2103.
  • step S2104 the control unit 22 displays the icons 65 and 66 on the display units 32a and 32b.
  • step S2105 the control unit 22 estimates the position of the predetermined region of the upper limb in the real space from the captured images sequentially transmitted from the video data 70 of the imaging units 40 and 42.
  • step S2106 based on the position of the upper limb estimated in step S2105, it is determined whether the predetermined region of the upper limb is included in the actual first predetermined space. In other words, the control unit 22 determines whether or not the predetermined area of the index finger is being visually recognized by the user so as to overlap the display area of the icon 65.
  • step S2106 If it is determined that the upper limb is included in the first predetermined space (step S2106, Yes), the control unit 22 advances the process to step S2107. On the other hand, when it is determined that the upper limb is not included in the first predetermined space (step S2106, No), the process of step S2105 is performed again.
  • the control unit 22 sets the state in which the change process can be executed in step S2107. In this case, the control unit 22 displays a list 67 of setting values on the display units 32a and 32b.
  • the control unit 22 detects the number of fingers having a predetermined state as step S2108. And control part 22 performs change processing based on the number of fingers with a predetermined state as Step S2109. Specifically, the control unit 22 changes the setting value related to the imaging function to a setting value based on the number of fingers having a predetermined state.
  • the control unit 22 detects the movement of the upper limb in the imaging range R based on the video data 70 of the imaging units 40 and 42 as step S2110. In step S2111, the control unit 22 determines whether the upper limb has moved out of the imaging range R from the imaging range R based on the detection result in step S2110. Specifically, the control unit 22 determines that the upper limb has moved out of the imaging range R when detecting that the entire upper limb has moved out of the imaging range R so that the upper limb is not reflected in the captured image. When it determines with not having moved out of the imaging range R (step S2111, No), the control part 22 re-executes the process after step S2110.
  • step S21112 When it determines with having moved out of the imaging range R (step S2111, Yes), the control part 22 advances a process to step S2112.
  • the control part 22 acquires a captured image as step S2112. Specifically, the control unit 22 causes the imaging units 40 and 42 to capture the foreground 100 with the setting value set in step S2109, obtains the captured image 71, and uses the acquired captured image 71 as the imaging data 24b. Is stored in the storage unit 24. Thereafter, the control unit 22 stops the imaging units 40 and 42 as step S2113. When the imaging units 40 and 42 stop, the control unit 22 ends the processing procedure shown in FIG.
  • the wearable device 1 has a configuration in which change processing can be executed when a predetermined portion of the upper limb is superimposed on the icon 65 (or 66) related to the imaging function.
  • the wearable device 1 performs change processing based on the number of fingers having a predetermined state at the time of entry when a predetermined portion of the upper limb enters the imaging range R (or the detection range of the detection unit 44). May be executed.
  • the change process is not limited to only the process related to the imaging function.
  • the display image when the wearable device 1 displays a predetermined display image, the display image may be enlarged or reduced based on the number of fingers having a predetermined state as the change process.
  • the configuration when the display image is composed of character information and a photograph (or an image diagram), the configuration may be such that only the character information is enlarged based on the number of fingers having a predetermined state. The configuration may be such that only the photo is enlarged based on the number of the images.
  • the extended finger is caused to function as a pointer, and the display area of the display units 32a and 32b is determined in accordance with the position of the predetermined area of the extended finger in the real space (or the position of the predetermined area of the extended finger in the captured image). When the position can be designated, only a predetermined display area including the designated position may be enlarged or reduced.
  • the change process may be, for example, a process of changing the volume at the time of music playback based on the number of extended fingers when the music playback application is activated.
  • the change process may be, for example, a process of changing the data playback location based on the number of extended fingers when the video playback application is activated.
  • the state in which the finger is bent may be set as the predetermined state.
  • the finger being bent may mean that the finger joint (any of the first to third joints) is bent by a predetermined angle or more (on the other hand, the finger joint). Can be considered as if the finger is extended). If the finger is bent for more than a certain period of time, it may be considered that the finger has a predetermined state, or a transition from a state where the finger is extended to a state where the finger is bent Therefore, it may be regarded as having a predetermined state.
  • the wearable device 1 detects that a predetermined portion of the upper limb has entered the imaging range R (or the detection range of the detection unit 44), the wearable device 1 has a finger having a predetermined state at the time of detection (when the upper limb enters).
  • the change process based on the number may not be executed.
  • the control unit 22 determines whether a predetermined part of the upper limb has entered the actual second predetermined space (imaging range R), and the predetermined part of the upper limb enters the actual second predetermined space. If it is determined that the change has been made, the change processing based on the number of fingers having the predetermined state at the time of entering may not be executed. In this case, it is not necessary to cause an unexpected change process when the user moves the upper limb into the imaging range R.
  • the wearable device 1 determines whether the combination of the plurality of fingers is a predetermined combination when the extended fingers are a plurality of fingers of the five fingers. Instead of the change process based on the number of fingers having a state, another process may be executed.
  • Wearable device 1 determines whether the combination of the plurality of fingers is a predetermined combination when the extended fingers are a plurality of fingers of the five fingers, and when the combination is a predetermined combination Determining whether or not the finger extended within the first predetermined time has performed a predetermined operation, and when the predetermined operation has been performed, instead of the change processing based on the number of fingers having the predetermined state, A process based on a predetermined operation may be executed.
  • the extending finger is an index finger and a thumb
  • the index finger and the thumb are separated from each other as another process, or The user may perform a process of enlarging or reducing the display image or the like by performing an operation of bringing them close to each other.
  • the predetermined part of the index finger and the predetermined part of the thumb are set as the predetermined operation of the index finger and the thumb within the first predetermined time from the detection time. Are determined to be separated or close to each other, and if it is determined that the operation has been performed, other processing based on the operation (such as processing for enlarging or reducing the display image) can be performed. Also good. In the case where the predetermined part of the index finger and the predetermined part of the thumb are not separated from each other or are not brought close to each other within the first predetermined time from the detection that the extending fingers are the index finger and the thumb. The changing process based on the number of extended fingers may be executed.
  • control unit 22 in the wearable device 1 may execute the change process when the number of fingers extended and the position of the upper limb in the actual space have not changed for a predetermined time or more.
  • the change process is not performed only when the user performs the finger extension operation unintentionally or when the position of the upper limb is stopped unintentionally, so that the possibility of erroneous operation can be reduced. .
  • control unit 22 in the wearable device 1 makes the change process executable in response to the finger extension operation in the upper limb, and when the change process is executable, The change process may be executed when the extension operation is performed again.
  • the change process is not performed depending on the operation, and the next process is performed. Since the change process is performed by the extension operation, the change process is not unexpectedly performed by the first extension operation.
  • the configuration in which the captured image acquisition process is executed when the upper limb moves from the imaging range R to the outside of the imaging range R has been described.
  • the control unit 22 does not execute the changing process based on the changed number of fingers. You may do it.
  • the upper limb moves from the imaging range R to the outside of the imaging range R, and a part of the upper limb (right hand H or the like) is outside the imaging range R, the number of fingers extended Even if there is a change, the change process based on this is not executed.
  • the number of fingers extended in a state where the upper limb (may be the right hand H) is within the imaging range R is stored, and after the upper limb (may be the right hand H) is moved out of the imaging range R. Apply to the change process based on the number.
  • the set value is divided into five stages (five types) based on the fact that the number of fingers that can take a predetermined state is 1 to 5 in only one hand (right hand H) is shown.
  • the set value may be divided into 10 steps (or 6 to 9 steps), and the change process may be performed based on the number of fingers having a predetermined state in both hands.
  • the configuration in which the setting value is divided into five stages based on the fact that the number of fingers that can take a predetermined state is 1 to 5 with only one hand (right hand H) is shown, but the present invention is not limited to this.
  • the setting value is divided into four stages, and when the number of fingers having a predetermined state is any one of 2 to 5, the setting value is changed to any one of the four stages based on the number It is good.
  • the number of fingers having a predetermined state is 1, it may function as a pointer for designating a predetermined position in the display area of the display units 32a and 32b based on the movement of the finger.
  • a larger set value is set, i.e., the number of fingers having the predetermined state is set larger or smaller.
  • the configuration may be such that a smaller set value is set as the number of fingers having a predetermined state increases.
  • the magnitude of the number of fingers having a predetermined state and the magnitude of the set value to be set may not be associated with each other and may be associated with each other at random.
  • the wearable apparatus 1 when the magnitude
  • the wearable device 1 calculates the distance between the user's own device in the front-rear direction of the user and the predetermined object (upper limb) existing in the actual space, which is calculated from the detection result of the distance measuring unit 46, when the distance is equal to or less than the predetermined distance.
  • the change process based on the number of fingers having a predetermined state may be disabled.
  • control unit 22 of the wearable device 1 performs a change process based on the number of fingers having a predetermined state when the size of the predetermined region of the predetermined object (upper limb) in the captured image is less than the predetermined size. May be disabled. For example, when the upper limb is detected in the captured image with an unreasonably small size, such as detecting the other person's upper limb in front of the user, the change process is not performed, so the user feels bothersome. I don't have to.
  • Wearable device 1 is calculated when the distance between the user's own device in the front-rear direction of the user and the predetermined object (upper limb) existing in the actual space is greater than or equal to the predetermined distance, calculated from the detection result of distance measurement unit 46.
  • the change process based on the number of fingers having a predetermined state may be disabled.
  • the wearable device 1 has a glasses shape
  • the shape of the wearable device 1 is not limited to this.
  • the wearable device 1 may have a helmet-type shape that covers substantially the upper half of the user's head.
  • the wearable device 1 may have a mask type shape that covers almost the entire face of the user.
  • the configuration in which the display unit has the pair of display units 32a and 32b provided in front of the left and right eyes of the user has been exemplified.
  • the structure which has one display part provided in front of one of the left and right eyes of a person may be sufficient.
  • the configuration in which the edge portion of the front portion surrounds the entire periphery of the display area of the display portions 32a and 32b is not limited to this, and the display portions 32a and 32b are not limited thereto.
  • a configuration in which only a part of the edge of the display area is enclosed may be employed.
  • a configuration is shown in which a hand or finger is detected by the imaging unit (or detection unit) as the user's upper limb, but the hand or finger is in a state in which gloves, gloves, or the like are worn. However, it can be similarly detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

 従来のウェアラブル装置は、より使い勝手のよいものが望まれていた。態様の一つに係るウェアラブル装置1は、頭部に装着可能な装置である。ウェアラブル装置1は、撮像部40、42と、制御部22とを備える。撮像部40、42は、ユーザの前方の風景を撮像する。制御部22は、撮像部40、42が撮像する撮像画像から遮蔽物を検出する。制御部22は、遮蔽物が撮像部40、42の撮像範囲内から撮像範囲外へ移動したことを契機に、撮像画像の取得を実行する。

Description

ウェアラブル装置、制御方法及び制御プログラム
 この発明は、ユーザの頭部に装着可能なウェアラブル装置、制御方法及び制御プログラムに関する。
 上記のウェアラブル装置として、近年、眼前に配置されるディスプレイと、手指の動きを認識可能な赤外線検知ユニットと、を備え、両手のジェスチャによって操作が行われるヘッドマウントディスプレイ装置が開示されている(特許文献1参照)。
国際公開第2014/128751号
 上記のようなウェアラブル装置においては、より使い勝手のよいものが望まれる。本発明の目的は、より使い勝手のよいウェアラブル装置を提供することにある。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの前方の風景を撮像する撮像部と、前記撮像部が撮像する撮像画像から遮蔽物を検出する制御部と、を備え、前記制御部は、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行する。
 態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、撮像部によってユーザの前方の風景を撮像するステップと、前記撮像部が撮像する撮像画像から遮蔽物を検出するステップと、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行するステップと、を含む。
 態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、撮像部によってユーザの前方の風景を撮像するステップと、前記撮像部が撮像する撮像画像から遮蔽物を検出するステップと、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行するステップと、を実行させる。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの前方の景色を撮像する撮像部と、前記撮像部が撮像する撮像画像から所定物を検出し、前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行う制御部と、を備える。
 態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するステップと、前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行うステップと、を含む。
 態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するステップと、前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行うステップと、を実行させる。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、自装置と所定物との距離を検出する測距部と、前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行う制御部と、を備える。
 態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、ユーザの前後方向における自装置と所定物との距離を検出するステップと、前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行うステップと、を含む。
 態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、ユーザの前後方向における自装置と所定物との距離を検出するステップと、前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行うステップと、を実行させる。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの眼前に配置される表示部と、ユーザの前方の景色を撮像する撮像部と、前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
 態様の一つに係る制御方法は、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
 態様の一つに係る制御プログラムは、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、撮像部によってユーザの前方の景色を撮像するステップと、前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの眼前に配置される表示部と、ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、現実に存在する物体を検出する検出部と、前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
 態様の一つに係る制御方法は、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、検出部によって現実に存在する物体を検出するステップと、前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
 態様の一つに係る制御プログラムは、ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、検出部によって現実に存在する物体を検出するステップと、前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、ユーザの眼前に配置され、オブジェクトを表示する表示部と、ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、前記距離が異なる第1状態と第2状態とを区別して検出する制御部と、を備え、前記第1状態において、前記オブジェクトに対する所定の処理を実行可能にし、前記第2状態において、前記処理を実行不可能にする。
 態様の一つに係るウェアラブル装置は、頭部に装着可能なウェアラブル装置であって、現実の空間に在る上肢を検出する検出部を備え、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行する。
 態様の一つに係る制御方法は、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、検出部によって現実の空間に在る上肢を検出するステップと、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行するステップと、を含む。
 態様の一つに係る制御プログラムは、頭部に装着可能なウェアラブル装置に、検出部によって現実の空間に在る上肢を検出するステップと、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行するステップと、を実行させる。
図1は、ウェアラブル装置の斜視図である。 図2は、利用者によって装着されたウェアラブル装置を正面から見た図である。 図3は、ウェアラブル装置のブロック図である。 図4は、ウェアラブル装置による撮像機能の例を示す図である。 図5は、ウェアラブル装置による撮像機能の他の例を示す図である。 図6は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。 図7は、ウェアラブル装置による静止画の撮像に係る制御の例を示す図である。 図8は、ウェアラブル装置による動画の撮像に係る制御の例を示す図である。 図9は、ウェアラブル装置による静止画、動画の撮像制御に係る処理手順を示すフローチャートである。 図10は、ウェアラブル装置によるズーム撮像に係る制御の例を示す図である。 図11は、ウェアラブル装置によるズーム撮像に係る制御の他の例を示す図である。 図12は、ウェアラブル装置によるズームの撮像制御に係る処理手順を示すフローチャートである。 図13は、ウェアラブル装置によるプレビュー画像を用いた撮像に係る制御の例を示す図である。 図14は、ウェアラブル装置によるプレビュー画像を用いた撮像に係る制御の処理手順を示すフローチャートである。 図15は、ウェアラブル装置によるプレビュー画像を用いたズーム撮像に係る制御の例を示す図である。 図16は、ウェアラブル装置によるプレビュー画像を用いたズーム撮像に係る制御の処理手順を示すフローチャートである。 図17は、ウェアラブル装置の制御プログラムが提供する制御の例について説明するための図である。 図18は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。 図19は、各種の変更処理を行う例を示す図である。 図20は、ウェアラブル装置の制御プログラムが提供する制御の例について説明するための図である。 図21Aは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図21Bは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図21Cは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図21Dは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。 図22は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図23は、撮像画像中の上肢の大きさと換算値とが対応付けられた変換テーブルの一例を示す図である。 図24は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。 図25は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図26は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図27は、ウェアラブル装置の制御プログラムが提供する制御の他の例について説明するための図である。 図28は、ウェアラブル装置の制御プログラムが提供する制御の他の例を説明するための図である。 図29は、ウェアラブル装置の制御プログラムが提供する制御の他の例を説明するための図である。 図30は、ウェアラブル装置による撮像制御に係る処理手順を示すフローチャートである。
 以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
(実施形態)
 まず、図1及び図2を参照しながら、ウェアラブル装置1の全体的な構成について説明する。図1は、ウェアラブル装置1の斜視図である。図2は、利用者によって装着されたウェアラブル装置1を正面から見た図である。図1及び図2に示すように、ウェアラブル装置1は、利用者の頭部に装着されるヘッドマウントタイプの装置である。
 ウェアラブル装置1は、前面部1aと、側面部1bと、側面部1cとを有する。前面部1aは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部1bは、前面部1aの一方の端部に接続され、側面部1cは、前面部1aの他方の端部に接続される。側面部1b及び側面部1cは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置1を安定させる。側面部1b及び側面部1cは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。
 前面部1aは、装着時に利用者の目と対向する面に表示部32a及び表示部32bを備える。表示部32aは、装着時に利用者の右目と対向する位置に配設され、表示部32bは、装着時に利用者の左目と対向する位置に配設される。表示部32aは、右目用の画像を表示し、表示部32bは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部32a及び表示部32bを備えることにより、ウェアラブル装置1は、両眼の視差を利用した3次元表示を実現することができる。
 表示部32a及び表示部32bは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部32a及び表示部32bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部32a及び表示部32bを設けてもよい。表示部32a及び表示部32bは、利用者の右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてよい。
 前面部1aは、表示部32a及び表示部32bが設けられている面とは反対側の面に撮像部40及び撮像部42を備える。撮像部40は、前面部1aの一方の端部(装着時の右目側)の近傍に配設され、撮像部42は、前面部1aの他方の端部(装着時の左目側)の近傍に配設される。撮像部40は、利用者の右目の視界に相当する範囲の画像を取得する。撮像部42は、利用者の左目の視界に相当する範囲の画像を取得する。視界とは、例えば、利用者が正面を見ているときの視界を意味する。
 ウェアラブル装置1は、利用者が視認している前景に各種情報を視認させる機能を有する。前景とは、利用者の前方の風景を意味する。ウェアラブル装置1は、表示部32a及び表示部32bが表示を行っていない場合、表示部32a及び表示部32bを透して前景を利用者に視認させる。ウェアラブル装置1は、表示部32a及び表示部32bが表示を行っている場合、表示部32a及び表示部32bを透した前景と、表示部32a及び表示部32bの表示内容とを利用者に視認させる。ウェアラブル装置1は、3次元的な情報を表示部32a及び表示部32bに表示させてよい。
 図1及び図2では、ウェアラブル装置1が、眼鏡のような形状を有する例を示したが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、ゴーグルの形状を有してよい。ウェアラブル装置1は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってよい。
 次に、図3を参照しながら、ウェアラブル装置1の機能的な構成について説明する。図3は、ウェアラブル装置1のブロック図である。図3に示すように、ウェアラブル装置1は、操作部13と、制御部22と、記憶部24と、表示部32a及び32bと、撮像部40及び42と、検出部44と、測距部46とを有する。操作部13は、ウェアラブル装置1の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
 表示部32a及び32bは、液晶ディスプレイ(Liquid Crystal Display)、有機EL(Organic Electro-Luminessence)パネル等の半透過または透過の表示デバイスを備える。表示部32a及び32bは、制御部22から入力される制御信号に従って各種の情報を表示する。表示部32a及び32bは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。
 撮像部40及び42は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部40及び42は、撮像した画像を信号に変換して制御部22へ出力する。
 検出部44は、撮像部40及び42の撮像範囲及び撮像範囲の周囲近傍(或いは、前景)に存在する現実の物体(所定物)を検出する。検出部44は、例えば、撮像範囲に存在する現実の物体のうち、予め登録された形状(例えば、人間の手、指等の形状)にマッチする物体(前景を遮蔽する遮蔽物、所定物等に相当する)を検出する。検出部44は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲(形状及び大きさ)を検出するように構成されてよい。
 検出部44は、撮像範囲に存在する現実の物体を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、撮像範囲に存在する現実の物体を検出するセンサである。検出部44は、複数の検出結果に基づいて、例えば、撮像範囲内から撮像範囲外への物体の移動を検出する。また、検出部44は、撮像範囲よりも広い範囲に存在する現実の物体を検出可能であってよい。
 測距部46は、現実の物体までの距離を測定する。現実の物体までの距離は、ウェアラブル装置1を装着している利用者のそれぞれの目の位置を基準として目毎に測定される。このため、測距部46が距離を測定する基準位置がそれぞれの目の位置とずれている場合には、測距部46の測定値は、そのずれに応じて、目の位置までの距離を表すように補正される。
 測距部46は、現実の物体までの距離を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、現実の物体までの距離を検出するセンサである。後述する制御部22は、測距部46の検出結果に基づいて、ウェアラブル装置1と所定物(例えば、利用者の上肢)との、利用者の前後方向における距離を算出することができる。
 本実施形態においては、撮像部40及び42は、検出部44及び測距部46を兼ねる。すなわち、撮像部40及び42は、撮像される画像を解析することによって、撮像範囲内の物体を検出する。また、撮像部40及び42は、撮像される画像を解析することによって、撮像範囲内の物体と自装置との距離の変化を推定する。或いは、撮像部40及び42は、撮像範囲内の物体が自装置により近い位置へ移動したか、或いは、より遠い位置に移動したかを検出する。さらに、測距部46としての撮像部40及び42は、撮像部40によって撮像される画像に含まれる物体と撮像部42によって撮像される画像に含まれる物体とを比較することにより、物体との距離を測定(算出)してもよい。
 制御部22は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部22は、記憶部24に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をCPUに実行させる。そして、制御部22は、CPUによる命令の実行結果に応じて、メモリ及び記憶部24に対してデータの読み書きを行ったり、表示部32a、32b等の動作を制御したりする。CPUが命令を実行するに際しては、メモリに展開されているデータや検出部44を介して検出される操作がパラメータや判定条件の一部として利用される。
 記憶部24は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部24に記憶されるプログラムには、制御プログラム24aが含まれる。記憶部24に記憶されるデータには、撮像データ24bが含まれる。記憶部24は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム24a、撮像データ24bは、記憶媒体に記憶されていてもよい。また、制御プログラム24aは、無線通信または有線通信によってサーバ装置等の他の装置から取得されてもよい。
 制御プログラム24aは、ウェアラブル装置1を稼働させるための各種制御に関する機能を提供する。制御プログラム24aが提供する機能には、撮像部40及び42の撮像を制御する機能、表示部32a、32bの表示を制御する機能等が含まれる。
 制御プログラム24aは、検出処理部25と、表示制御部26とを含む。検出処理部25は、撮像部40及び42の撮像範囲に存在する現実の物体を検出するための機能を提供する。検出処理部25が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。表示制御部26は、表示部32a及び32bの表示状態と撮像範囲との対応関係を管理するための機能を提供する。制御プログラム24aは、撮像部40及び42が撮像した撮像画像や、検出部44の検出結果等から、現実の物体の動作の有無又は動作の種類を検出する機能が含まれる。
 撮像データ24bは、撮像部40及び42によって撮像範囲を撮像した画像を示すデータである。撮像データ24bは、撮像部40及び42によって撮像された画像を合成したデータでもよいし、撮像部40及び42のそれぞれの画像を示すデータでもよい。撮像データ24bには、静止画データと動画データとが含まれる。
 次に、図4及び図5を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する撮像機能に基づく制御の例について説明する。図4は、ウェアラブル装置1による撮像機能の例を示す図である。図5は、ウェアラブル装置1による撮像機能の他の例を示す図である。以下の説明においては、同様の構成要素には同一の符号を付し、重複する説明は省略することがある。
 図4及び図5において、視認内容は、利用者がウェアラブル装置1を頭部に装着した状態で、表示部32a及び32bを透して視認している撮像範囲R内の前景100を示している。撮像部40及び42の状態は、視認内容に対応した撮像部40及び42の状態を示している。撮像部40及び42は、例えば、未起動状態、撮像待機状態、撮像状態といった状態を有する。未起動状態は、撮像部40及び42が起動していない状態である。撮像待機状態は、撮像部40及び42による撮像画像の取得を待機している状態である。撮像状態は、撮像部40及び42による撮像画像を取得する状態である。撮像範囲Rは、撮像部40及び42の撮像範囲を合成した範囲である。
 図4に示すステップS10では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100を視認している。なお、本実施形態では、撮像範囲Rの外側の前景100については省略しているが、利用者は、ウェアラブル装置1の前面部1a(フレーム)と撮像範囲Rとの間でも前景100を視認している。図4に示す例では、ウェアラブル装置1は、撮像範囲Rのフレームを表示していない。このため、利用者は、撮像範囲Rのフレームは視認していない。ウェアラブル装置1は、ステップS10として、撮像部40及び42の未起動状態を維持したまま、検出部44による物体の検出を行っている。
 ステップS11では、利用者は、人差し指を立てた状態の右手Hを、ウェアラブル装置1の前方の右側から中央に向かって移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲R内にて視認している。撮像範囲R内にて視認しているとは、撮像範囲Rに相当する利用者の前方の空間を視認していることを意味している。
 ウェアラブル装置1は、ステップS11として、検出部44によって右手Hを検出すると、検出した右手Hの位置の変化に基づいて、右手Hが撮像範囲R外から撮像範囲R内へ移動したかを判定する。撮像範囲R内へ移動したことを検出した場合、ウェアラブル装置1は、撮像部40及び42を起動させることで、撮像部40及び42を未起動状態から撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS12では、利用者は、右手Hをウェアラブル装置1の前方の中央付近まで移動させると、ウェアラブル装置1の中央付近で折り返し、ウェアラブル装置1の右側に向かった逆方向に移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R外へ向かって移動する右手Hと前景100とを撮像範囲Rにて視認している。
 ウェアラブル装置1は、ステップS12として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定すると、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 このように、ウェアラブル装置1は、利用者の上肢が撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動したことを契機に、撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、上肢をウェアラブル装置1の前方で移動させるジェスチャを行うだけで、撮像部40及び42によって前方の画像を撮像することができる。例えば、シャッターチャンスが突然発生しても、利用者は、咄嗟に上記のジェスチャを行うことでシャッターチャンスに撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。なお、本明細書における「上肢」とは、人の腕や手を意味し、上腕、前腕、手、又は指の内の少なくとも1つを含んでいるものと定義される。
 ウェアラブル装置1は、検出部44によって撮像範囲R内に利用者の上肢を検出した場合に、撮像部40及び42を起動させる。これにより、ウェアラブル装置1は、利用者が撮像するタイミングで撮像部40及び42を起動させるので、省電力化を図ることができる。例えば、ウェアラブル装置1は、大容量のバッテリを搭載することが困難なメガネタイプ、ヘッドマウントタイプの装置に有効的に応用される。
 図5に示す例は、上記の図4に示す例を変形し、ウェアラブル装置1が利用者の上肢の移動軌跡に基づいて、撮像する焦点を検出する場合の制御の例を示している。
 図5に示すステップS11では、利用者は、人差し指を立てた状態の右手Hを、ウェアラブル装置1の前方の右側から中央に向かって移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲R内に視認している。
 ウェアラブル装置1は、ステップS11として、検出部44によって右手Hを検出すると、右手Hの位置の変化に基づいて、右手Hが撮像範囲R外から撮像範囲R内へ移動したかを判定する。撮像範囲R内へ移動したことを検出した場合、ウェアラブル装置1は、撮像部40及び42を起動させることで、撮像部40及び42を未起動状態から撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS12では、利用者は、撮像したい前景100の焦点位置まで右手Hを移動させると、当該焦点位置で右手Hを折り返し、ウェアラブル装置1の右側に向かった逆方向に移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を焦点位置から撮像範囲R外へ向かって移動する右手Hと前景100とを撮像範囲Rに視認している。
 ウェアラブル装置1は、ステップS12として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定すると、保存している映像データ70に基づいて、右手Hの撮像範囲R内における移動軌跡Lを推定する。
 例えば、ウェアラブル装置1は、右手Hの指先等に着目して、撮像範囲R外に至る移動軌跡Lを推定する。ウェアラブル装置1は、推定した移動軌跡Lに基づいて、利用者が右手Hを撮像範囲R外へ移動させる開始位置を推定する。開始位置の推定方法は、例えば、撮像範囲R外へ移動する前の移動軌跡Lの変化点に基づいて推定する方法を含む。開始位置の推定方法は、例えば、右手Hが所定時間停止後に移動を再開した位置を移動軌跡Lの変化点と見なしてよい。また、開始位置の推定方法は、右手Hが撮像範囲R外へ移動した該右手Hの所定位置から移動軌跡Lを遡って、該軌跡の方向が初めて変化する位置を移動軌跡Lの変化点と見なしてよい。
 ウェアラブル装置1は、ステップS13として右手Hの移動軌跡Lに基づいて焦点位置Lcを推定すると、撮像部40及び42の焦点を当該焦点位置Lcに設定し、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、設定された焦点で前景100を撮像する。ここで、焦点位置Lcは、例えば上述した移動軌跡Lの変化点である。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、当該撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 また、焦点位置Lcの規定方法には、移動軌跡Lの変化点に基づいて推定する方法以外の方法が採られてよい。例えば、検出部44及び測距部46の検出結果に基づいて、撮像範囲R内における右手Hの前方方向(或いは前方方向とは反対の方向)への移動を検出した後に、右手Hが撮像範囲R外へ移動したことを検出した場合には、右手Hの前方方向への移動を検出した位置が焦点位置Lcであると見なされてよい。
 このように、ウェアラブル装置1は、利用者の上肢が撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動したことを契機に、上肢の移動軌跡Lに応じた焦点で撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、上肢をウェアラブル装置1の前方で移動させるジェスチャを行うだけで、撮像部40及び42によって前方の画像を指定した焦点で撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
 図6を参照しながら、ウェアラブル装置1による撮像に関する制御の処理手順について説明する。図6は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図6に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図6に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図6に示すように、ウェアラブル装置1の制御部22は、ステップS101として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していない場合(ステップS102,No)、ステップS101の処理を再実行する。
 上肢を検出した場合(ステップS102,Yes)、制御部22は、処理をステップS103に進める。制御部22は、ステップS103として、撮像部40及び42を起動させる。制御部22は、ステップS104として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。
 制御部22は、ステップS105として、ステップS104の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS106,No)、制御部22は、ステップS104以降の処理を再実行する。
 撮像範囲R外へ移動した場合(ステップS106,Yes)、制御部22は、処理をステップS107に進める。制御部22は、ステップS107として、合焦位置を設定する。具体的には、制御部22は、予め設定された初期値である焦点位置を設定する。あるいは、制御部22は、上肢の移動軌跡Lに基づいて焦点位置Lcを推定し、当該焦点位置Lcを設定する。
 制御部22は、ステップS108として、撮像画像71を取得する。具体的には、制御部22は、ステップS107で設定した焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS109として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図6に示す処理手順を終了する。
 次に、図7及び図8を参照しながら、制御プログラム24aが提供する撮像機能に基づく制御の例について説明する。図7は、ウェアラブル装置1による静止画の撮像に係る制御の例を示す図である。
 ウェアラブル装置1は、図7に示すステップS20として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、静止画と動画を利用者に選択させるアイコン51及び52を表示部32a及び32bに表示させる。図7に示す例では、ウェアラブル装置1は、撮像範囲Rの左側に静止画を示すアイコン51、右側に動画を示すアイコン52を表示している。本実施形態では、ウェアラブル装置1は、アイコン51及び52を撮像範囲R内に表示する場合について説明するが、撮像範囲R外に表示してもよい。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS20では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン51及び52を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン51及び52を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
 ステップS21では、静止画を撮像したい場合に、利用者は、撮像範囲R内の右手Hがアイコン51を通過して撮像範囲R外となるように、右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方をアイコン51側から撮像範囲R外へ移動する右手Hと前景100とを撮像範囲Rに視認している。
 ウェアラブル装置1は、ステップS21として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定し、かつ、右手Hがアイコン51を通過したことを検出した場合(或いは、右手Hの移動方向が静止画のアイコン51へ向かう方向であったことを検出した場合)、静止画の撮像が利用者によって選択されたと判定する。ウェアラブル装置1は、撮像部40及び42を撮像状態とし、静止画で前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100の静止画を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、当該撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 図8は、ウェアラブル装置1による動画の撮像に係る制御の例を示す図である。ウェアラブル装置1は、図8に示すステップS20として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、静止画と動画とを利用者に選択させるアイコン51及び52を表示部32a及び32bに表示させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS20では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン51及び52を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン51及び52を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
 ステップS22では、動画を撮像したい場合に、利用者は、撮像範囲R内に位置する右手Hがアイコン52を通過した後に撮像範囲R外に位置するように、右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を動画のアイコン52側から撮像範囲R外へ移動する右手Hと前景100とを撮像範囲Rに視認している。
 ウェアラブル装置1は、ステップS22として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定し、かつ、右手Hがアイコン52を通過したことを検出した場合(或いは、右手Hの移動方向が静止画のアイコン52へ向かう方向であったことを検出した場合)、動画の撮像開始が利用者によって選択されたと判定する。ウェアラブル装置1は、撮像部40及び42を動画撮像状態とし、動画での前景100の撮像を開始させる。撮像部40及び42は、予め設定された焦点で動画による前景100の撮像を開始する。
 ステップS23では、撮影している動画を停止したい場合に、利用者は、撮像範囲R外の右手Hがアイコン52を通過して撮像範囲R内となるように、右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方をアイコン52側の撮像範囲R外から撮像範囲R内へ移動する右手Hと前景100とを撮像範囲Rに視認している。なお、本実施形態では、利用者は、アイコン52を通過して撮像範囲R内へ右手Hを移動させる場合について説明するが、これに限定されない。例えば、利用者は、アイコン52を通過せずに、右手Hを撮像範囲R内へ移動させてよい。
 ウェアラブル装置1は、ステップS23として、検出部44の検出結果に基づいて、右手Hが撮像範囲R外から撮像範囲R内へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R内へ移動したと判定した場合に、動画の撮像終了が利用者によって選択されたと判定する。ウェアラブル装置1は、撮像部40及び42を撮像終了状態とし、動画の撮像を停止させる。ウェアラブル装置1は、撮像部40及び42が撮像した動画の撮像画像72を取得し、当該撮像画像72を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 このように、ウェアラブル装置1は、利用者の上肢が撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動したことを検出した場合に、当該上肢の移動方向に基づいて、動画で撮像するか静止画で撮像するかの撮像モードを切り換える。これにより、利用者は、撮像範囲R内へ向かう上肢の移動方向を切り換えるだけで、撮像部40及び42の撮影モードを切り換えることができる。その結果、ウェアラブル装置1は、撮影モードを切り換えるためのスイッチ、インターフェース等を設ける必要がなくなり、撮像部40及び42の操作性及び利便性を向上させることができる。
 なお、動画像の撮影中においては、例えば、所定の操作を行うことにより、ズーム処理を行えるようにしてもよい。また、ズーム処理の他にも、所定の操作によって、取得する動画像の明るさを変更できるようにしてもよい。また、ウェアラブル装置1がマイクを備え、動画像の取得中にユーザの音声等を集音可能である場合等においては、動画像の撮影中に所定の操作を行うことにより、音声信号の増幅度合(集音量)を変更できるようにしてもよい。所定の操作としては、例えば、蔓のような形状を有する側面部(1b又は1c)に利用者の接触を検出可能なタッチセンサを配設し、該側面部に指を接触させたまま任意の方向へ移動させる操作(スライド操作)を行う操作であってよい。この場合、例えば、ユーザにとって後方から前方へ指をスライドさせるとズームイン処理を行い、ユーザにとって前方から公報へ指をスライドさせるとズームアウト処理を行う、等の態様が採られてよい。
 また、上記の他にも、動画像の撮影中に検出部44の検出範囲における所定範囲に、ユーザの上肢が在ることを検出したことに基づいて、所定の操作がなされたものと判定する構成であってもよい。このとき、検出部44の検出範囲と表示部の表示領域との所定の対応付けを行い、検出部44の検出範囲内における上肢の位置によって、表示部の表示領域における位置を指定可能とする構成とした場合には、表示部の表示領域における所定位置がユーザによって指定されたことに基づいて、所定の操作がなされたものと判定してもよい。また、表示部32a及び32bの表示領域における所定領域に動画像撮影に関する操作の旨を示したアイコンを表示し、該アイコンの表示領域内においてユーザの上肢による位置指定がなされたときに、該アイコンに基づく操作を実行するようにしてもよい。
 上記の本実施形態では、ウェアラブル装置1は、撮像モードの切り換えを誘導するアイコン51及び52を表示部32a及び32bに表示する場合について説明したが、これに限定されない。例えば、表示措置1は、アイコン51及び52を表示せずに、予め定めた撮像範囲R外への移動方向で撮像モードを切り換えるように構成されてよい。
 なお、上記のウェアラブル装置1は、上肢が撮像範囲R内から撮像範囲R外へ、アイコン51及び52が設けられていない撮像範囲Rの上部及び下部から上肢が撮像範囲R外へ移動した場合に、撮像を中止するように構成されてよい。
 上記の本実施形態では、ウェアラブル装置1は、撮像モードの切り換えを誘導するアイコン51及び52を表示部32a及び32bに表示する場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、アイコン51及び52を表示せずに、予め定めた撮像範囲R外への移動方向で撮像モードを切り換えるように構成されてよい。
 図9を参照しながら、ウェアラブル装置1による静止画、動画の撮像に関する制御の処理手順について説明する。図9は、ウェアラブル装置1による静止画、動画の撮像制御に係る処理手順を示すフローチャートである。図9に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図9に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図9に示すように、ウェアラブル装置1の制御部22は、ステップS201として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS202,No)、ステップS201の処理を再実行する。
 上肢を検出した場合(ステップS202,Yes)、制御部22は、処理をステップS203に進める。制御部22は、ステップS203として、撮像部40及び42を起動させる。制御部22は、ステップS204として、表示部32a及び32bにアイコン51及び52を表示させる。
 制御部22は、ステップS205として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS206として、ステップS205の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS207,No)、制御部22は、ステップS205以降の処理を再実行する。
 撮像範囲R外へ移動した場合(ステップS207,Yes)、制御部22は、処理をステップS208に進める。制御部22は、ステップS208として、上肢の移動方向が静止画のアイコン51方向であるかを判定する。具体的には、制御部22は、撮像部40及び42の映像データ70に基づいて、上肢がアイコン51を通過して撮像範囲R外に移動したことを検出した場合に、静止画のアイコン51方向であると判定する。
 静止画のアイコン51方向である場合(ステップS209,Yes)、制御部22は、処理をステップS210に進める。制御部22は、ステップS210として、合焦位置を設定する。具体的には、制御部22は、予め設定された初期値である焦点位置を設定する。
 制御部22は、ステップS211として、静止画である撮像画像71を取得する。具体的には、制御部22は、ステップS210で設定した焦点で撮像部40及び42に前景100を静止画で撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS217として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図9に示す処理手順を終了する。
 静止画のアイコン51方向ではない場合(ステップS209,No)、制御部22は、処理をステップS212に進める。制御部22は、ステップS212として、撮像部40及び42による動画の撮像を開始させる。
 制御部22は、ステップS213として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS214,No)、ステップS213の処理を再実行する。
 上肢を検出した場合(ステップS214,Yes)、制御部22は、処理をステップS215に進める。制御部22は、ステップS215として、撮像部40及び42による動画の撮像を終了させる。制御部22は、ステップS216として、動画である撮像画像72を取得する。具体的には、制御部22は、撮像部40及び42が撮像した動画の撮像画像72を取得し、当該撮像画像72を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS217として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図9に示す処理手順を終了する。
 次に、図10及び図11を参照しながら、制御プログラム24aが提供する撮像機能に基づく制御の例について説明する。図10は、ウェアラブル装置1によるズーム撮像に係る制御の例を示す図である。
 ウェアラブル装置1は、図10に示すステップS31として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS31では、利用者は、ウェアラブル装置1に接近した状態で、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R外から撮像範囲R内へ移動する右手Hの人差し指Fと前景100とを撮像範囲Rに視認している。その後、利用者は、右手Hをウェアラブル装置1の近傍から前方方向へ離すように移動させている。
 ウェアラブル装置1は、ステップS32として、検出部44及び測距部46の検出結果に基づいて、撮像範囲R内における右手Hの前方方向への移動を検出すると、右手Hまでの距離を検出し、検出した距離に基づいたズーム処理を実行する。ズーム処理は、例えば、検出した距離と変換テーブルとに基づいて、撮像範囲Rにおけるズームインまたはズームアウトするズーム範囲R1を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、特定したズーム範囲R1を表示部32a及び32bに表示させる。
 ステップS32では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R内の前方方向へ移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1を視認している。その後、利用者は、撮像範囲R内の前方へ移動させた右手Hを撮像範囲R外へ向けて移動させている。
 ウェアラブル装置1は、ステップS33として、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、右手Hが撮像範囲R外へ移動したと判定すると、撮像部40及び42を撮像状態とし、特定したズーム領域R1に焦点位置を設定して前景100を撮像させる。撮像部40及び42は、設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 ステップS33では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R内の前方方向へ移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1が消去されるのを視認している。
 上記の実施形態では、ウェアラブル装置1は、自装置から上肢が離れる距離に応じて撮像範囲Rを拡大させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、自装置から上肢が近付く距離に応じて撮像範囲Rを縮小させてもよい。
 このように、ウェアラブル装置1は、撮像範囲Rにおける自装置と上肢との距離の変化を推定し、距離の変化に応じて撮像範囲Rの拡大縮小率を変更し、上肢が撮像範囲R外へ移動したことを契機に、撮像部40及び42が変更した拡大縮小率で撮像した撮像画像71を取得する。これにより、利用者は、撮像範囲R内で上肢と自装置との距離を変化させるだけで、撮像範囲Rの拡大縮小率を変更することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
 図11は、ウェアラブル装置1によるズーム撮像に係る制御の他の例を示す図である。ウェアラブル装置1は、図11に示すステップS41として、検出部44によって左手H1が撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。なお、本実施形態では、利用者は、左手H1で操作する場合について説明するが、右手Hで操作してもよい。
 また、ウェアラブル装置1は、ズーム処理を行う実施形態においては、ズーム範囲R1を撮像範囲と見なし、該ズーム範囲R1内からズーム範囲R1外へ上肢が移動したことを契機に、撮像部40及び撮像部42が撮像した撮像画像71を取得する構成としてもよい。
 ステップS41では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に左手H1を移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R外から撮像範囲R内へ移動する左手H1と前景100とを撮像範囲Rに視認している。その後、利用者は、撮像範囲R内において、左手H1の形状をズーム機能に対応した所定形状に変化させている。本実施形態では、所定形状は、左手H1を開いた形状としているが、これに限定されない。
 ウェアラブル装置1は、ステップS42として、検出部44の検出結果に基づいて、左手H1を開く動作を検出する。ウェアラブル装置1は、左手H1を開く動作を検出すると、ズーム処理を実行する。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、現在のズーム範囲R1を表示部32a及び32bに表示させる。
 ステップS42では、利用者は、表示部32a及び32bを透して、開く動作を行っている左手H1と前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1を視認している。その後、利用者は、撮像範囲R内において、開いた状態の左手H1を回転させる所定動作を行っている。
 ウェアラブル装置1は、ステップS43として、検出部44の検出結果に基づいて、左手H1を回転させる所定動作を検出する。ウェアラブル装置1は、左手H1を回転させる所定動作を検出すると、その回転量に基づいたズーム処理を実行する。ズーム処理は、例えば、検出した左手H1の回転量と変換テーブルとに基づいて、撮像範囲Rにおけるズームインするズーム範囲R1を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、特定したズーム範囲R1を表示部32a及び32bに表示させる。
 ステップS43では、利用者は、表示部32a及び32bを透して、回転動作を行っている左手H1と前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示され、回転量に応じて変化するズーム範囲R1を視認している。その後、ズーム範囲R1は所望のサイズに変化すると、利用者は、開いた状態の左手H1を撮像範囲R外へ向けて移動させている。
 ウェアラブル装置1は、ステップS44として、検出部44の検出結果に基づいて、左手H1が撮像範囲R内から撮像範囲R外へ移動したかを判定する。ウェアラブル装置1は、左手H1が撮像範囲R外へ移動したと判定すると、撮像部40及び42を撮像状態とし、特定したズーム領域R1に焦点位置を設定して前景100を撮像させる。撮像部40及び42は、設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 ステップS44では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を撮像範囲R内の前方方向へ移動する左手H1と前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたズーム範囲R1が消去されるのを視認している。
 上記の実施形態では、ウェアラブル装置1は、開いた状態の左手H1の回転量に基づいて撮像範囲Rを拡大させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、開いた状態の左手H1の回転方向に基づいて拡大縮小を切り換えるように構成されてもよい。例えば、ウェアラブル装置1は、左手H1であるか右手Hであるかに基づいて、拡大縮小を切り換えるように構成されてもよい。
 このように、ウェアラブル装置1は、撮像範囲Rにおける上肢の所定動作を検出し、検出した所定動作に応じて撮像範囲Rの拡大縮小率を変更し、上肢が撮像範囲R外へ移動したことを契機に、撮像部40及び42が変更した拡大縮小率で撮像した撮像画像71を取得する。これにより、利用者は、撮像範囲R内で上肢を変化させるだけで、撮像範囲Rの拡大縮小率を変更することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
 図12を参照しながら、ウェアラブル装置1によるズーム撮像に関する制御の処理手順について説明する。図12は、ウェアラブル装置1によるズームの撮像制御に係る処理手順を示すフローチャートである。図12に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図12に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図12に示すように、ウェアラブル装置1の制御部22は、ステップS301として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS302,No)、ステップS301の処理を再実行する。
 上肢を検出した場合(ステップS302,Yes)、制御部22は、処理をステップS303に進める。制御部22は、ステップS303として、撮像部40及び42を起動させる。
 制御部22は、ステップS304として、撮像範囲R内における上肢の所定動作を検出する。具体的には、制御部22は、検出部44の検出結果に基づいて、例えば、上肢が前方方向に前後する動作、上肢の形状を変化させる動作等を検出した場合に、所定動作を検出したと判定する。
 所定動作を検出した場合(ステップS305,Yes)、制御部22は、処理をステップS306に進める。制御部22は、ステップS306として、撮像部40及び42によるズーム処理を実行する。具体的には、制御部22は、検出した所定動作と変換テーブルとに基づいて、撮像部40及び42がズームイン、ズームアウトする撮像範囲Rにおけるズーム範囲R1を特定し、特定した結果を記憶部24に記憶する。制御部22は、ステップS307として、ステップS306で特定したズーム範囲R1を表示部32a及び32bに表示させる。
 制御部22は、ステップS308として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS309として、ステップS308の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS310,No)、制御部22は、ステップS304以降の処理を再実行する。
 撮像範囲R外へ移動した場合(ステップS310,Yes)、制御部22は、処理をステップS311に進める。制御部22は、ステップS311として、合焦位置を設定する。具体的には、制御部22は、予め設定された初期値である焦点位置を設定する。あるいは、制御部22は、ズーム範囲R1に対応した焦点位置Lcを推定し、当該焦点位置Lcを設定する。
 制御部22は、ステップS312として、撮像画像71を取得する。具体的には、制御部22は、ステップS311で設定した焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS313として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図12に示す処理手順を終了する。
 所定動作を検出していない場合(ステップS305,No)、制御部22は、既に説明したステップS308以降の処理を実行する。その後、制御部22は、図12に示す処理手順を終了する。
 次に、図13を参照しながら、制御プログラム24aが提供する撮像機能に基づく他の制御の例について説明する。図13は、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の例を示す図である。
 図13に示すステップS51では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100を視認している。利用者は、撮像範囲Rのフレームは視認していない。ウェアラブル装置1は、ステップS51として、撮像部40及び42の未起動状態を維持したまま、検出部44による物体の検出を行っている。
 ステップS52では、利用者は、人差し指Fのみが撮像範囲Rに入るように、人差し指Fをウェアラブル装置1の前方の右側から中央に向かって移動させている。この場合、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する人差し指Fと前景100とを撮像範囲Rに視認している。
 ウェアラブル装置1は、ステップS52として、検出部44によって人差し指Fを検出すると、人差し指Fの位置に基づいて撮像範囲R外から撮像範囲R内へ移動したかを判定する。撮像範囲R内へ移動したことを検出した場合、ウェアラブル装置1は、撮像部40及び42を起動させることで、撮像部40及び42を未起動状態から撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ウェアラブル装置1は、ステップS53として、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。プレビュー画像60の範囲は、撮像範囲Rと同じサイズであってもよいし、撮像範囲Rよりも狭い範囲であってもよい。図13に示す例では、ウェアラブル装置1は、撮像範囲R内の右上にプレビュー画像60を表示する場合について説明するが、これに限定されない。例えば、プレビュー画像60は、前景100における、人差し指Fと重畳しない位置に表示されてもよい。このようにすることで、ウェアラブル装置1は、例えば、利用者が人差し指Fの動作に基づいてズーム処理等を実行させる際に、前景100における該人差し指Fの位置を把握させやすくすることができる。
 ステップS53では、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する人差し指Fと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。利用者は、プレビュー画像60に自身の人差し指Fが表示されていることを認識する。その後、ステップS54では、利用者は、人差し指Fがプレビュー画像60から消失するように、人差し指Fを撮像範囲R外へ向けて移動させている。
 ウェアラブル装置1は、ステップS54として、検出部44の検出結果に基づいて、人差し指Fがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動したかを判定する。ウェアラブル装置1は、人差し指Fが範囲外へ移動したと判定すると、プレビュー画像60から人差し指Fが消失しているため、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 このように、ウェアラブル装置1は、撮像範囲Rにプレビュー画像60を表示し、プレビュー画像60から上肢が消失したことを検出すると、撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、プレビュー画像60を視認しながら、上肢を消失させるように移動させるだけで、撮像部40及び42によって前方の画像を撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
 図14を参照しながら、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の処理手順について説明する。図14は、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の処理手順を示すフローチャートである。図14に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図14に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図14に示すように、ウェアラブル装置1の制御部22は、ステップS401として、撮像範囲R内で上肢を検出したかを判定する。制御部22は、上肢を検出していない場合(ステップS402,No)、ステップS401の処理を再実行する。
 上肢を検出した場合(ステップS402,Yes)、制御部22は、処理をステップS403に進める。制御部22は、ステップS403として、撮像部40及び42を起動させる。制御部22は、ステップS404として、表示部32a及び32bを制御して、プレビュー画面60を撮像範囲R内に表示させる。
 制御部22は、ステップS405として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS406として、ステップS405の検出結果に基づいて、上肢がプレビュー画像60の範囲内から範囲外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てがプレビュー画像60の範囲外へ移動したことを検出した場合に、プレビュー画像60の範囲外へ移動したと判定する。
 プレビュー画像60の範囲外へ移動していない場合(ステップS407,No)、制御部22は、処理をステップS408に進める。制御部22は、ステップS408として、表示部32a及び32bにプレビュー画像60の表示を更新させる。その後、制御部22は、ステップS405以降の処理を再実行する。
 プレビュー画像60の範囲外へ移動した場合(ステップS407,Yes)、制御部22は、処理をステップS409に進める。制御部22は、ステップS409として、撮像画像71を取得する。具体的には、制御部22は、予め設定された焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS410として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図14に示す処理手順を終了する。
 次に、図15を参照しながら、制御プログラム24aが提供する撮像機能に基づく他の制御の例について説明する。図15は、ウェアラブル装置1によるプレビュー画像を用いたズーム撮像に係る制御の例を示す図である。
 ウェアラブル装置1は、図15に示すステップS61として、検出部44によって人差し指Fが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。ウェアラブル装置1は、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。
 ステップS61では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100を視認している。利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。ステップS61では、利用者は、ズームを予定しているズーム範囲R2に対応した位置まで人差し指Fを、撮像範囲R内の前方方向へ移動させている。
 ステップS62では、利用者は、ズーム予定範囲R2に対応した位置まで人差し指Fを移動することにより、人差し指Fが撮像範囲R内に位置しかつ予定するズーム範囲R2から外れている。
 ウェアラブル装置1は、ステップS62として、検出部44及び測距部46の検出結果に基づいて、人差し指Fの前方方向への移動を検出すると、人差し指Fまでの距離を検出し、検出した距離に基づいたズーム処理を実行する。ズーム処理は、例えば、検出した距離と変換テーブルとに基づいて、撮像範囲Rにおけるズームインするズーム範囲R2を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像部40及び42の焦点を変更する。ウェアラブル装置1は、ズームした映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。ステップS62では、ズーム処理によってプレビュー画面60から人差し指Fが消失している。なお、ウェアラブル装置1は、このときの人差し指Fの消失によっては、撮像部40及び42による撮像画像71の取得が実行されるものではない。これについては後述する。
 ステップS63では、利用者は、プレビュー画面60が所望のズームになっていると、プレビュー画像60から消失した人差し指Fを、再びプレビュー画面60に表示させるように移動させる。その後、利用者は、人差し指Fがプレビュー画像60に表示されると、再び人差し指Fをプレビュー画像60から消失させる。
 ウェアラブル装置1は、ステップS63として、検出部44及び測距部46の検出結果に基づいて、人差し指Fがズーム範囲R2外からズーム範囲R2内へ移動し、その後、ズーム範囲R2外へ移動したことを検出する。人差し指Fがズーム範囲R2外への移動を検出すると、ウェアラブル装置1は、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、既に設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 このように、ウェアラブル装置1は、撮像範囲Rにおいて、ズーム処理によってプレビュー画面60(ズーム範囲)から人差し指Fが消失した場合、撮像画像71を取得しない。その後、ウェアラブル装置1は、上肢がプレビュー画像60内からプレビュー画像60外へ移動したことを契機に、撮像部40及び42が変更した拡大縮小率で撮像した撮像画像71を取得する。これにより、ウェアラブル装置1は、利用者によって撮像範囲R内で上肢と自装置との距離が変化されて、撮像範囲Rから上肢が消失するように変更されても、当該撮像範囲Rの撮像画像71は取得しない。その結果、ウェアラブル装置1は、撮像画像71を取得する契機の検出精度を向上させることができる。
 図16を参照しながら、ウェアラブル装置1によるプレビュー画像を用いたズーム撮像に係る制御の処理手順について説明する。図16は、ウェアラブル装置1によるプレビュー画像を用いたズーム撮像に係る制御の処理手順を示すフローチャートである。図16に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図16に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図16に示すように、ウェアラブル装置1の制御部22は、ステップS501として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していない場合(ステップS502,No)、制御部22は、ステップS501の処理を再実行する。
 上肢を検出した場合(ステップS502,Yes)、制御部22は、処理をステップS503に進める。制御部22は、ステップS503として、撮像部40及び42を起動させる。制御部22は、ステップS504として、表示部32a及び32bにプレビュー画面60を撮像範囲R内に表示させる。
 制御部22は、ステップS505として、撮像範囲R内における上肢の所定動作を検出する。具体的には、制御部22は、検出部44の検出結果に基づいて、例えば、上肢が前方方向に前後する動作を検出した場合に、所定動作を検出したと判定する。
 所定動作を検出した場合(ステップS506,Yes)、制御部22は、処理をステップS507に進める。制御部22は、ステップS507として、撮像部40及び42によるズーム処理を実行する。具体的には、制御部22は、検出した所定動作と変換テーブルとに基づいて、撮像部40及び42がズームイン、ズームアウトする撮像範囲Rにおけるズーム範囲R2を特定し、特定した結果を記憶部24に記憶する。制御部22は、ステップS508として、ズーム範囲R2にズーム後のプレビュー画像60を撮像範囲R内に表示させる。具体的には、制御部22は、ズーム後の撮像部40及び42の映像データ70を、撮像範囲R内となるように、プレビュー画面60を表示部32a及び32bに表示させる。
 制御部22は、ステップS509として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS510として、ステップS509の検出結果に基づいて、上肢がプレビュー画像60の範囲内から範囲外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像71に映り込まないように、上肢の全てがプレビュー画像60の範囲外へ移動したことを検出した場合に、プレビュー画像60の範囲外へ移動したと判定する。
 プレビュー画像60の範囲外へ移動していない場合(ステップS511,No)、制御部22は、ステップS505以降の処理を再実行する。プレビュー画像60の範囲外へ移動した場合(ステップS511,Yes)、制御部22は、処理をステップS512に進める。制御部22は、ステップS512として、撮像画像71を取得する。具体的には、制御部22は、既に設定されている焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS513として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図16に示す処理手順を終了する。
 所定動作を検出していない場合(ステップS506,No)、制御部22は、処理をステップS514に進める。制御部22は、ステップS514として、表示部32a及び32bにプレビュー画像60の表示を更新させる。その後、制御部22は、既に説明したステップS509以降の処理を再実行する。
 本出願の開示する実施形態は、発明の要旨及び範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
 例えば、図3に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
 上記の実施形態では、ウェアラブル装置1は、撮像部40及び42の撮像画像71を取得すると、撮像部40及び42を停止させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置1は、利用者から撮像部40及び42の停止を要求された場合、撮像部40及び42を停止させるように構成されてもよい。上記のウェアラブル装置1は、撮像部40及び42の撮像画像71を取得した場合に、撮像画像71の取得を利用者に通知するように構成されてもよい。
 上記のウェアラブル装置1は、撮像部40及び42の起動アイコンを表示部32a及び32bに表示し、当該起動アイコンに対する所定のジェスチャを検出した場合に、撮像部40及び42を起動するように構成されてもよい。上記のウェアラブル装置1は、常時、撮像部40及び42を起動待機状態とするように構成されてもよい。上記のウェアラブル装置1は、側面部1bまたは側面部1cに操作部13を設け、当該操作部13に対する所定の操作に応じて、撮像部40及び42の起動及び停止を制御するように構成されてもよい。
 また、上記のウェアラブル装置1によるプレビュー画像60を用いた撮像に係る制御の例においては、ウェアラブル装置1は、撮像範囲Rにおいて、ズーム処理によってプレビュー画面60(ズーム範囲R1)から人差し指Fが消失した場合、撮像画像71を取得せず、その後、上肢がプレビュー画像60内からプレビュー画像60外へ移動したことを契機に、撮像画像71を取得する構成を示したが、これに限定されない。例えば、ウェアラブル装置1は、人差し指Fを中心としたズーム処理を行う構成としてもよい。このような構成とすることにより、ウェアラブル装置1は、ズーム処理によってプレビュー画像60(ズーム範囲R1)から人差し指Fが消失するといったことがなくなる。
 また、上記の実施形態は、撮像範囲Rに存在する遮蔽物が利用者の上肢であるものとして説明してきたが、前述したように、遮蔽物は利用者の上肢のみに限定されない。例えば、遮蔽物は、利用者が持つ所定物であってもよい。ここで利用者が持つ所定物は、例えば、ペン等の棒状物である。また、ここで利用者が持つ所定物は、ユーザが把持する携帯電話機等の携帯電子機器であったり、利用者の上肢に装着される腕時計型端末等の電子機器であってよい。このような構成とすることで、例えば、携帯電話機がウェアラブル装置1と通信可能である場合に、携帯電話機に対する所定操作によって、ウェアラブル装置1の撮像部40及び42による撮像内容(明るさ等)が変更され、携帯電話機を把持している上肢を撮像部40及び42の撮像範囲R内から撮像範囲R外へ移動させることによって、撮像内容が変更された状態で、撮像画像が取得される。
 次に、図17を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する制御の第3例について説明する。図17は、ウェアラブル装置1の制御プログラム24aが提供する制御の例について説明するための図である。
 ウェアラブル装置1は、図17に示すステップS130として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、アイコン53~55を表示部32a及び32bに表示させる。アイコン53は、例えば、撮像部40及び42による静止画像の撮像を実行する旨の画像である。アイコン54は、例えば、撮像部40及び42による動画像の撮像を実行する旨の画像である。アイコン55は、例えば、撮像部40及び42の撮像待機状態を解除する(撮像を中止する)旨の画像である。アイコン53~55は、撮像範囲Rの右辺に沿った領域において、それぞれが並列配置されて表示されている。本実施形態では、ウェアラブル装置1は、アイコン53~55を撮像範囲R内に表示する場合について説明するが、撮像範囲R外に表示してもよい。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS130では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン53~55を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン53~55を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
 ここで、静止画を撮像したい場合に、利用者は、撮像範囲R内の右手Hの予め設定された部分(或いは上肢における所定領域とも称する)がアイコン53を通過して撮像範囲R外となるように、右手Hを移動させればよい。ここで、右手Hの予め設定された部分とは、例えば、右手Hの人差し指における第1関節よりも指先に近い部分や右手Hの人差し指の爪であってよいし、右手H全体であってよい。このとき、ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hの予め設定された部分がアイコン53を通過して撮像範囲R外へ移動したと判定する。そして、ウェアラブル装置1は、撮像部40及び42を撮像状態とし、静止画で前景100を撮像させる。
 また、動画を撮像したい場合に、利用者は、右手Hの予め設定された部分がアイコン54を通過して撮像範囲R外となるように、右手Hを移動させればよい。このとき、ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hの予め設定された部分がアイコン54を通過して撮像範囲R外へ移動したと判定する。そして、ウェアラブル装置1は、撮像部40及び42を撮像状態とし、動画での撮像を開始する。
 また、撮像を実行させることなく撮像待機状態を解除させたい場合に、利用者は、右手Hの予め設定された部分がアイコン55を通過して撮像範囲R外となるように、右手Hを移動させればよい。このとき、ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hの予め設定された部分がアイコン55を通過して撮像範囲R外へ移動したと判定する。そして、ウェアラブル装置1は、撮像部40及び42の撮像待機状態を解除する。
 ここで、アイコン53~55のそれぞれは、ステップS130に示すように、右手Hの予め設定された部分よりも大きい画像として表示部32a及び32bに表示されている。右手Hの予め設定された部分は、例えば、右手Hの人差し指における第1関節よりも指先に近い部分等を含む。このような構成とすることで、ウェアラブル装置1は、右手Hの予め登録された部分が、アイコン53~55の内の複数のアイコンを通過し難くなり、利用者の所望とする1つのアイコンに基づく機能を実行させ易くすることができる。
 なお、右手Hの予め設定された部分は、上記の他にも、例えば、指の付け根(第3関節)から指先に至る部分であってよい。また、右手Hの予め設定された部分は、指の指先、第1関節、第2関節、第3関節の内の何れか2つを選定して、該2つの間の部分を、予め設定された部分としてよい。また、指或いは手の大きさに基づいた所定の大きさを有する円形状(或いは楕円形状、或いは四角形状、等)の領域を予め設定された部分としてよい。そして、予め設定された部分は、利用者が視認可能なように、所定の画像として表示部32a及び32bに表示されてよい。
 次に、ステップS131に示すように、利用者が、右手Hをウェアラブル装置1により近い位置に移動させると、撮像範囲R内には、右手Hの人差し指Fのみが視認される。このとき、右手Hの人差し指Fは、ステップS130における人差し指よりも大きい状態で視認される。即ち、撮像待機状態の撮像部40及び42から逐次伝送される撮像画像(一時的に記憶部24に保存される映像データ70)における人差し指Fの大きさが、ステップS130の場合における人差し指と比較して大きくなる。このとき、ウェアラブル装置1は、ステップS131に示すように、アイコン53~55の画像を、ステップS130の場合において表示されるアイコン53~55よりも大きい画像として表示部32a及び32bに表示させる。ステップS131において、ウェアラブル装置1は、アイコン53~55をステップS130におけるアイコン53~55の画像の大きさよりも大きい画像として表示させるために、該アイコン53~55の表示位置をステップS130における表示位置から変更する。ステップS131に示すように、アイコン53は、撮像範囲Rの右辺に沿った領域に、アイコン54は、撮像範囲Rの上辺に沿った領域に、アイコン55は、撮像範囲Rの左辺に沿った領域に、それぞれ表示される。ここで、ステップS131におけるアイコン53~55のそれぞれは、右手Hの予め設定された部分(例えば、人差し指Fにおける第1関節よりも指先に近い部分)よりも大きい画像として表示部32a及び32bに表示されている。このような構成とすることで、ウェアラブル装置1は、右手Hの予め登録された部分が、アイコン53~55の内の複数のアイコンを跨った状態で通過して該複数のアイコンが選択されてしまう、といったことを生じ難くすることができる。即ち、ウェアラブル装置1は、利用者が所望とする1つのアイコンを選択し易くすることができる。なお、本実施形態においては、上記のようにアイコン53~55の大きさを変更する処理を変更処理と称する。
 ステップS131にて説明したように、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢(所定物)を検出し、撮像画像中における上肢の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行う。これにより、ウェアラブル装置1は、ユーザの上肢(或いは上肢における所定領域)の移動によってアイコンを選択する構成において、上肢(或いは上肢における所定領域)によって利用者が所望とする1つのアイコンを選択し易いように、該アイコンの大きさを変更でき、使い勝手が良くなる。
 また、上述したように、ウェアラブル装置1は、上肢(或いは上肢における所定領域)よりもアイコンの大きさが大きくなるように該アイコンを表示部32a及び32bに表示してよい。即ち、制御部22は、利用者が表示部32a及び32bにて視認するアイコン(表示部が表示する所定の画像)が、利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)よりも大きくなるように、アイコンの大きさを変更する。
 これにより、ウェアラブル装置1は、例えば、上肢(或いは上肢における所定領域)とアイコン(表示部が表示する所定の画像)とが重畳することによってアイコンに基づく機能を実行させる構成において、上肢の所定部分が複数の画像に重畳することによって複数のアイコンが選択されてしまう、といったことを生じ難くすることができる。
 このとき、制御部22は、予め設定された撮像部40及び42の撮像範囲Rと、撮像画像中の上肢(或いは上肢における所定領域)の大きさと、に基づいて、利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)の大きさを推定する構成であってもよい。
 なお、上記構成における「利用者が表示部32a及び32bにて視認するアイコン(画像)の大きさ」は、表示領域の全域(撮像範囲Rの全域)に対するアイコン(画像)の表示領域の割合として仮想的に規定されてよい。一方で、「利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)の大きさ」は、撮像画像の全域(撮像範囲Rの全域)に対する該撮像画像中の上肢(或いは上肢における所定領域)の領域の割合として仮想的に規定されてよい。そして、これらの規定に基づいて得られる、「利用者が表示部32a及び32bにて視認するアイコン(画像)の大きさ」と「利用者が表示部32a及び32bを介して視認する上肢(或いは上肢における所定領域)の大きさ」とに基づいて、アイコン(画像)の大きさが変更されてよい。
 上述したように、ウェアラブル装置1は、撮像画像中の上肢(或いは上肢における所定領域)よりもアイコンの大きさが大きくなるように該アイコンを表示部32a及び32bに表示してよい。このとき、「アイコンの大きさが上肢(或いは上肢における所定領域)よりも大きい」とは、例えば、互いに直交する2方向(例えば縦方向と横方向)の何れにおいても、アイコンが上肢(或いは上肢における所定領域)よりも大きいこと、としてよい。また、「アイコンの大きさが上肢(或いは上肢における所定領域)よりも大きい」とは、例えば、互いに直交する2方向(例えば縦方向と横方向)の内の何れか一方の方向において、アイコンが上肢(或いは上肢における所定領域)よりも大きいこと、としてよい。この場合、例えば図17のステップS131のように、撮像範囲Rの横方向における端領域にアイコンを表示する場合(アイコン53、55の場合)には、縦方向における該アイコンの大きさが上肢(或いは上肢における所定領域)よりも大きくなるようにしてよい。撮像範囲Rの横方向における端領域にアイコンを表示する場合は、該アイコンを通過させつつ撮像範囲R外へと移動させるために、上肢を横方向へ移動させる。従って、ウェアラブル装置1は、上肢の移動方向とは垂直な方向(縦方向)におけるアイコンの大きさが上肢(或いは上肢における所定領域)よりも大きくなるようにすれば、該上肢(或いは上肢における所定領域)が複数の画像に重畳することによって複数のアイコンが選択されてしまう、といったことを生じ難くすることができる。同様に、ウェアラブル装置1は、撮像範囲Rの縦方向における端領域にアイコンを表示する場合(アイコン54の場合)には、横方向における該アイコンの大きさが上肢よりも大きくなるようにしてよい。
 また、ステップS131にて説明したように、ウェアラブル装置1は、制御部22がアイコン53~55(表示画像)の大きさの変更に伴って、該アイコン53~55(表示画像)の表示位置を変更する構成を有していてよい。
 図18を参照しながら、ウェアラブル装置1による制御の処理手順について説明する。図18は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図18に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図18に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図18に示すように、ウェアラブル装置1の制御部22は、ステップS1101として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していない場合、(ステップS1102,No)、ステップS1101の処理を再実行する。
 制御部22は、上肢を検出した場合(ステップS1102,Yes)、処理をステップS1103に進める。制御部22は、ステップS1103として、撮像部40及び42を起動させる。制御部22は、ステップS1104として、表示部32a及び32bにアイコン53~55を表示させる。
 制御部22は、ステップS1105として、撮像部40及び42の映像データ70から逐次伝送される撮像画像(一時的に記憶部24に保存される映像データ70)中の上肢(或いは上肢における所定領域)の大きさを検出する。ここで、上肢(或いは上肢における所定領域)の大きさは、撮像画像全域に対する上肢(或いは上肢における所定領域)の割合であってよい。
 制御部22は、ステップS1106として、ステップS1105の検出結果に基づいて、上肢(或いは上肢における所定領域)の大きさが変化したかを判定する。制御部22は、上肢(或いは上肢における所定領域)の大きさが変化していないと判定した場合(ステップS1106,No)、処理をステップS1108へ進める。
 制御部22は、ステップS1106において、上肢(或いは上肢における所定領域)の大きさが変化したと判定した場合(ステップS1106,Yes)、ステップS1107として、変化した上肢(或いは上肢における所定領域)の大きさに基づいてアイコン53~55の大きさ及び位置を変更する。制御部22は、ステップS1107における処理を終えた後、ステップS1108の処理へ移行する。
 制御部22は、ステップS1108として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS1109として、ステップS1108の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していない場合(ステップS1110,No)、制御部22は、ステップS1108以降の処理を再実行する。なお、制御部22は、撮像範囲R外へ移動していない場合(ステップS1110,No)に、ステップS1108以降の処理を再実行する代わりに、ステップS1105以降の処理を再実行するようにしてもよい。
 撮像範囲R外へ移動した場合(ステップS1110,Yes)、制御部22は、処理をステップS1111へ進める。制御部22は、ステップS1111として、上肢(或いは上肢の所定部分)が通過したアイコンの種類を判定する。制御部22は、ステップS1112として、上肢(或いは上肢における所定領域)が静止画のアイコン53(撮像部40及び42による静止画像の撮像を実行する旨の画像)を通過したと判定した場合(ステップS1112,Yes)、ステップS1113へ処理を進める。制御部22は、ステップS1113として、静止画である撮像画像を取得する。このとき、制御部22は、例えば、予め設定した焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像を取得し、取得した撮像画像を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS1121として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図18に示す処理手順を終了する。
 他方、ステップS1112において、制御部22は、上肢(或いは上肢における所定領域)が静止画のアイコン53を通過したと判定していない場合(ステップS1112,No)、ステップS1114へ処理を進める。制御部22は、ステップS1114として、上肢(或いは上肢における所定領域)が動画のアイコン54(撮像部40及び42による動画像の撮像を実行する旨の画像)を通過したと判定した場合(ステップS1114,Yes)、ステップS1115へ処理を進める。制御部22は、ステップS1115として、撮像部40及び42による動画の撮像を開始させる。制御部22は、ステップS1116として、撮像範囲R内で上肢を検出したかを判定する。上肢を検出していないと判定した場合(ステップS1117,No)、制御部22は、ステップS1116の処理を再実行する。
 制御部22は、上肢を検出したと判定した場合(ステップS1117,Yes)、処理をステップS1118に進める。制御部22は、ステップS1118として、撮像部40及び42による動画の撮像を終了させる。制御部22は、ステップS1119として、動画である撮像画像を取得する。具体的には、制御部22は、撮像部40及び42が撮像した動画である撮像画像を取得し、当該撮像画像を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS1121として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図18に示す処理手順を終了する。
 他方、ステップS1114において、制御部22は、上肢が動画のアイコン54を通過していないと判定した場合(ステップS1114,No)、ステップS1120へ処理を進める。制御部22は、ステップS1120として、上肢が撮像停止のアイコン55(撮像部40及び42の撮像待機状態を解除する旨の画像)を通過したと判定した場合(ステップS1120,Yes)、ステップS1121へ処理を進める。制御部22は、ステップS1121として、撮像部40及び42を停止させる。撮像部40及び42が中止すると、制御部22は、図18に示す処理手順を終了する。
 ステップS1120において、制御部22は、上肢が撮像停止のアイコン55を通過しないと判定した場合(ステップS1120,No)、ステップS1108の処理を再実行する。即ち、制御部22は、上肢が撮像範囲R外に移動した際に該上肢がアイコン53~55のいずれも通過しなかった場合には、撮像画像の取得を行うことなく、かつ撮像待機状態を維持する。これにより、ウェアラブル装置1は、撮像範囲R外に移動した上肢が撮像範囲R内に移動した際に、撮像部40及び42を再度起動させる処理を省略させることができる。
 なお、図17、図18の例では、ウェアラブル装置1において、撮像中止のアイコン55(撮像部40及び42の撮像待機状態を解除する旨の画像)が表示される構成を有していたが、これに限定されない。撮像中止のアイコン55が表示されない他の構成が採用されてもよい。例えば、上肢が撮像範囲R外に移動した際に該上肢が所定のアイコン(上記のアイコン53,54等)を通過しなかった場合には、ウェアラブル装置1は、撮像部40及び42を中止させる構成としてもよい。
 また、図17、図18の例では、撮像画像中の上肢の大きさに基づいて変更処理(表示画像の大きさを変更する処理)を行う構成を示したが、これに限定されない。本実施形態に係る他の例として、ウェアラブル装置1は、測距部46によって、ユーザの前後方向におけるウェアラブル装置1(自装置)と上肢(所定物)との距離を検出し、該距離が変化したことを検出すると、該距離の変化に応じた変更処理を行う構成であってもよい。例えば、ウェアラブル装置1と上肢との距離が小さくなる程、撮像画像範囲R内において視認される上肢の大きさ(或いは、撮像画像中に含まれる上肢の撮像画像全域に対する大きさ)が大きくなるため、該上肢(右手H)の予め登録された部分よりも大きい画像に変更されれば、予め登録された部分による画像の選択操作が行われ易い。
 また、上記実施形態において、ウェアラブル装置1の制御部22は、撮像画像中の所定物(上肢)の所定領域の大きさが第1の大きさ以上である場合には、該所定領域の大きさに応じて表示画像の大きさを変更する処理を行わないようにしてもよい。例えば、ウェアラブル装置1は、利用者がウェアラブル装置1に触れる等の、操作とは異なる動作を行うことによって、不当に大きい大きさで上肢が撮像画像にて検出される場合には、表示画像の大きさの変更を行わないので、利用者が煩わしい思いをさせないで済む。
 なお、ウェアラブル装置1の制御部22は、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が第2距離以下である場合には、該距離に応じて表示画像の大きさを変更する処理を行わないようにする構成であってもよい。
 また、ウェアラブル装置1の制御部22は、撮像画像中の所定物(上肢)の所定領域の大きさが第2の大きさ以下である場合には、該所定領域の大きさに応じて表示画像の大きさを変更する処理を行わないようにしてもよい。例えば、利用者の前方に居る他者の上肢を検出する等の、不当に小さい大きさで上肢が撮像画像にて検出される場合には、表示画像の大きさの変更を行わないので、利用者が煩わしい思いをしないで済む。
 また、ウェアラブル装置1の制御部22は、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が第1距離以上である場合には、該距離に応じて表示画像の大きさを変更する処理を行わないようにする構成であってもよい。
 以下に種々の変形例を示す。上記の実施形態では、複数アイコン53~55の大きさの変更に伴って、該アイコン53~55の表示位置を変更する構成が例示されたが、これに限定されない。例えば、制御部22は、撮像画像中に検出する上肢が右上肢か左上肢かを判定し、判定結果に応じて、複数アイコン(画像)の表示位置を変更してもよい。
 例えば、制御部22は、上肢が右上肢であると判定した場合に、複数のアイコンを表示部32a及び32bの表示領域(或いは撮像範囲R)における右側の端辺に沿うように並列させて表示する。この表示状態において、制御部22は、上肢が左上肢であると判定した場合に、アイコン53~55を表示部32a及び32bの表示領域(或いは撮像範囲R)における左側の端辺に沿うように並列させて表示するようにしてよい。また、上肢が右上肢であると判定した場合で、かつ、撮像画像中における上肢の大きさが所定以上の大きさとなっている場合には、制御部22は、例えば、複数のアイコンを表示部32a及び32bの表示領域における右側の端辺に沿う領域と下側の端辺に沿う領域とに分けて表示するようにしてもよい。一方、上肢が左上肢であると判定した場合で、かつ、撮像画像中における上肢の大きさが所定以上の大きさとなっている場合には、制御部22は、例えば、複数のアイコンを表示部32a及び32bの表示領域における左側の端辺に沿う領域と下側の端辺に沿う領域とに分けて表示するようにしてよい。
 また、上記のように、ウェアラブル装置1は、アイコン53~55の大きさの変更の有無や、撮像画像中に検出する上肢が右上肢か左上肢か、に依らず、アイコン53~55を適切な位置に表示してもよい。例えば、ウェアラブル装置1は、制御部22が、アイコン53~55を表示領域(或いは撮像範囲R)における下側に表示させてよい。本実施形態に係るウェアラブル装置1は頭部に装着されるものであるため、通常、利用者の上肢がウェアラブル装置1の撮像範囲Rの下側に位置する。この場合、利用者が上肢を撮像範囲R内に位置させるために上肢を上方向に上げる必要があり、一方で利用者が上肢を撮像範囲R内に移動させるために上肢を下方向へ下げる動作は行い易い。従って、アイコン53~55(表示画像)を表示領域(或いは撮像範囲R)における下側に表示させる構成は、利用者にとって使い勝手がよい。
 また、ウェアラブル装置1は、制御部22が、上肢が撮像範囲R内に進入したことを検出すると、撮像範囲Rにおける、上肢が進入した側の端辺を判定し、アイコン53~55(画像)を表示部32a及び32bの表示領域(或いは撮像範囲R)における判定された端辺側に表示してよい。例えば、制御部22は、上肢が撮像範囲Rの右側から進入した場合には、表示部32a及び32bの表示領域(或いは撮像範囲R)における右側にアイコン53~55を表示する。
 また、アイコンの表示位置は、該アイコンの内容に依って適切な位置に表示されてもよい。例えば、表示するアイコンが、上記のアイコン55(撮像中止のアイコン)である場合、アイコン55は、撮像範囲Rにおける右上角部(或いは左上角部)等の比較的小さな領域に表示されてよい。このようにすれば、利用者が意図的に上肢を移動させない場合は、上肢がアイコン55を通過し難くなる。ここで、ウェアラブル装置1は、例えば、農作業等における作業手順を動画像として記録する場合に応用されてよい。例えば、ウェアラブル装置1を装着した利用者が実際の作業を行いつつ、該装着されたウェアラブル装置1によって、作業を動画像として取得されてよい。このような場合、作業中(動画像の取得中)において、該作業によって上肢が撮像範囲R内から撮像範囲R外へ移動してしまったとしても、アイコン55(撮像中止のアイコン)を通過し難いため、誤ったタイミングで作業記録を終了させずに済む。
 また、作業手順を動画像として記録する場合において、実際の作業を行う利用者が皆、手際良く動画像の記録を行える者とは限らない。例えば、人によっては、動画の記録が伴うことによって、作業が通常よりも冗長となってしまい、記録した動画の内容が冗長なものとなってしまいかねない。このような場合、図17、図18で例示したように、ウェアラブル装置1は、上肢が撮像範囲R外に移動した際に該上肢がアイコンのいずれをも通過しなかった場合には、動画像の取得を中断し、上肢が撮像範囲R内に進入したときに再開すればよい。その結果、ウェアラブル装置1は、記録したい作業とは関係のない時間帯での動画像の記録を省くことができ、冗長な動画を作成してしまわずに済む。また、ウェアラブル装置1は、動画像の中断を行うためのアイコン(中断アイコン)を新たに設けてもよい。この場合、ウェアラブル装置1は、上肢が中断アイコンを通過しつつ撮像範囲R内から撮像範囲R外へ移動した場合には、動画像の記録を中断し、一方で、上肢が中断アイコンを通過しつつ撮像範囲R外から撮像範囲R内へ移動した場合には、動画像の記録を再開する構成であってよい。
 上記の実施形態では、ウェアラブル装置1の制御部22が複数のアイコン53~55の内、上肢(或いは上肢における所定領域)が通過したアイコンに基づく機能を実行する構成を例示したが、これに限定されない。例えば、ウェアラブル装置1における、制御部22が、複数のアイコン53~55の内、上肢(或いは上肢における所定領域)が所定時間以上重畳したアイコンが選択されたものとみなして該アイコンに基づく機能を実行するようにする構成であってもよい。このような構成を採用する場合においては、前述したように、アイコンを撮像範囲R外に表示するようにすれば、撮像画像の取得に際して該撮像画像中に上肢が入り込まずに済む。
 上記の実施形態では、アイコンに基づく機能が、撮像画像(撮像待機状態の撮像部40及び42から逐次伝送される映像データ70)の取得処理方法に係る機能(静止画像の取得、動画像の取得、撮像待機状態の解除、等)である場合を例示したがこれに限定されない。例えば、アイコンに基づく機能が、撮像部40及び42が取得する撮像画像71に対する処理方法に係る機能であってもよい。例えば、取得した撮像画像を所定のフォルダに保存する機能を示すアイコン(フォルダを模したアイコン等)や、電子メール作成画面に移行する(撮像画像を電子メールへの添付データとする)機能を示すアイコンや、電子掲示板、ブログ、SNS(Social Networking Service)等の画面に移行する(撮像画像を電子掲示板、ブログ、SNS等で使用する)機能を示すアイコン等が挙げられる。
 また、本実施形態におけるウェアラブル装置1は、撮像画像中における上肢の大きさの変化、或いは、自装置と上肢との距離の変化に応じた所定の変更処理として、表示画像(アイコン)の大きさを変更する。上記の例では、表示画像(アイコン)の大きさの変更として、表示画像(アイコン)の表示領域の大きさを変更する構成を示したが、本実施形態ではこれに限定されない。他の変更処理の例を図19に示す。
 図19は、各種の変更処理を行う例を示す図である。図19では、撮像画像中における上肢の大きさの変化、或いは、自装置と上肢との距離の変化に応じて、各種の変更処理を行う例を示している。図19では、変更処理として3つのパターンを表として示している。図19は、表の上段に、撮像部42及び44が撮像する撮像画像71の内容を示している。図19は、左側には撮像画像71中の上肢が大きい(自装置と上肢との距離が小さい)場合を示している。図19は、右側には撮像画像71中の上肢が小さい(自装置と上肢との距離が小さい)場合を示している。図19は、表の下段には、表示部32a及び32bが表示する表示画像56を示している。表示画像56は、例えば、文字情報と写真(或いはイラスト等)とを含む画像である。
 パターン1では、変更処理として、上肢の位置に依らずに表示画像56を拡大縮小する例が示されている。撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56は、(1-1)の状態から(1-2)の状態へと遷移し、表示画像56の中心を拡大縮小中心とした拡大表示がなされている。ここで、表示画像56は、撮像画像71中における上肢の大きさの変化量に比例した拡大率にて拡大表示される。なお、図19に示す例では、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56を拡大する構成が例示されているが、これに限定されない。例えば、図19に示す例は、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56を縮小する構成であってよい。なお、図19では、表示画像56が拡大されて(1-2)の状態において表示される部分が、(1-1)の状態では仮想の破線として示されている。
 パターン2では、変更処理として、上肢の位置に依って表示画像56を拡大縮小する例が示されている。撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56は、(2-1)の状態から(2-2)の状態へと遷移し、表示画像56の上肢の所定領域(例えば指先位置)を拡大縮小中心とした拡大表示がなされている。(2-1)の状態では、表示画像56において上肢の所定領域(例えば指先位置)によって指定される位置が破線の仮想線で示されている。従って、実際には視認されるように表示されるものではないが、これに限定されず、本実施形態では、視認可能な画像(カーソル)として表示される構成が採られてもよい。なお、図19に示す例では、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56が拡大される構成が例示されているが、これに限定されない。例えば、図19に示す例は、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56を縮小する構成であってもよい。
 パターン3では、変更処理として、上肢の位置に依って定められる所定領域57に含まれる文字のみを拡大縮小する例が示されている。撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、表示画像56は、(3-1)の状態から(3-2)の状態へと遷移し、領域57に含まれる文字の拡大表示がなされている。なお、図19に示す例では、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、領域57を拡大する構成を例示しているが、これに限定されない。例えば、図19に示す例は、撮像画像71中における上肢の大きさがより小さくなると(或いは、自装置と上肢との距離がより大きくなると)、領域57を縮小する構成であってよい。
 変更処理は、パターン1~3の他にも種々の態様が採られてよい。例えば、表示画像が文字情報と写真(或いはイラスト等)とを含む画像である場合に、変更処理として、写真を拡大することなく文字情報のみを拡大する構成であってよいし、文字情報を拡大することなく写真のみを拡大する構成であってよい。
 また、変更処理として、上記に例示した表示画像の表示態様の変更の他に、アプリケーションの起動時において、表示されるスライダー(例えば、つまみ状の操作部分)を拡大縮小してよい。例えば、スライダーは、楽曲再生アプリケーションの起動時において、楽曲の再生時の音量を変更するための変更バーを含む。例えば、スライダーは、動画再生アプリケーションの起動時において、データの再生箇所を表示すると共に、所定操作によって再生箇所を変更するためのシークバーを含む。このような場合、例えば、変更処理は、撮像部40及び42の撮像範囲Rや検出部44の検出範囲における座標位置と表示部32a及び32bの表示領域における座標位置とを対応付けてもよい。変更処理は、表示領域においてスライダーが表示される座標位置と対応する撮像範囲R(検出範囲)の所定位置に上肢が在ることに基づいて、スライダーが選択される状態としてもよい。そして、変更処理は、スライダーが選択された状態で上肢が移動すると、撮像範囲R(検出範囲)での上肢の位置座標の移動に基づいて、表示領域におけるスライダーの表示位置を移動させる。そして、変更処理は、スライダーの表示位置の移動に基づいて、音量や再生箇所を変更させる。
 ここで、例えば、変更処理は、撮像画像中における上肢の大きさがより大きくなると、スライダーを拡大させる、即ち、スライダーの表示位置と見なされる座標の領域を拡大させる。従って、ウェアラブル装置1は、撮像範囲R(検出範囲)における、上肢によってスライダーを選択可能な範囲が拡大される。
 また、上記の実施形態では、変更処理として、表示画像の拡大縮小を行う例を示したが、変更処理はこれに限定されない。例えば、ウェアラブル装置1において楽曲再生がなされている場合に、撮像画像中における上肢の大きさの変化、或いは、自装置と上肢との距離の変化に応じた所定の変更処理として、楽曲の再生音量、再生速度、曲調等を複数のパターンの内の何れかに変更できるようにしてもよい。また、例えば、変更処理は、ウェアラブル装置1の撮像部40及び42が撮像画像を取得する際のISO感度、ホワイトバランス、シャッタースピード、絞り値、被写界深度、焦点距離、等を変更できるようにしてもよい。
 ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像中の上肢の所定動作によって、所定画像の拡大縮小処理を実行する構成を有していてもよい。本実施形態では、以下に説明する点が上記の実施形態とは異なる。
 図20を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する制御の例について説明する。図20は、ウェアラブル装置1の制御プログラム24aが提供する制御の例について説明するための図である。図20に示す例は、ウェアラブル装置1によるプレビュー画像を用いた撮像に係る制御の例である。
 ウェアラブル装置1は、図20に示すステップS140として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ウェアラブル装置1は、ステップS140として、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。プレビュー画像60の範囲は、撮像範囲Rと同じサイズであってもよいし、撮像範囲Rよりも狭い範囲としてもよい。図20に示す例では、ウェアラブル装置1は、撮像範囲R内の右上にプレビュー画像60を表示する場合について説明する。ステップS140では、利用者は、表示部32a及び32bを透して、撮像部40及び42の撮像範囲Rに前景100とプレビュー画像60とを視認している。
 ステップS141では、利用者は、表示部32a及び32bを透して視認している撮像範囲Rにおいて、利用者から見てプレビュー画像60と重畳する位置まで右手Hを移動させている。このとき利用者の右手Hは、人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態となっている。
 ステップS142では、利用者は、右手Hがプレビュー画像60と重畳している状態で、人差し指と親指とを互いに離す動作を行っている。そして、ウェアラブル装置1は、人差し指と親指とが互いに離れる動作を検出したことによって、プレビュー画像60を拡大している。即ち、人差し指と親指とが互いに離れる動作は、プレビュー画像60の拡大処理を実行させるための動作である。ウェアラブル装置1は、人差し指と親指とが互いに離れた距離に基づいた拡大率にて画像を拡大する。なお、人差し指と親指とが互いに接触した状態から、人差し指と親指とが互いに離れる動作ではなく、元々人差し指と親指とが離れた状態から、人差し指と親指とがより離れる動作も拡大処理を実行させるための動作としてよい。
 また、ウェアラブル装置1は、人差し指と親指とが互いに近づく動作を検出した場合には、プレビュー画像60の縮小処理を実行してもよい。
 ステップS142にて説明したように、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢或いは上肢の所定領域(右手H、或いは、右手Hの予め登録された部分)を検出し、撮像画像中の上肢或いは上肢の所定動作によって表示部32a及び32bが表示する画像の拡大縮小処理(変更処理)を実行することができる。これにより、ウェアラブル装置1は、画像を利用者が所望とする大きさに変更でき、ひいては使い勝手が良くなる。
 再度、ステップS142を参照すると、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。利用者は、プレビュー画像60に自身の右手Hが表示されていることを認識する。その後、ステップS143では、利用者は、右手Hがプレビュー画像60から消失するように、右手Hを撮像範囲R外へ向けて移動させている。
 ウェアラブル装置1は、ステップS143として、検出部44の検出結果に基づいて、右手Hがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動したかを判定する。ウェアラブル装置1は、右手Hが範囲外へ移動したと判定すると、プレビュー画像60から右手Hが消失しているため、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 なお、右手Hがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動すると、プレビュー画像60から上肢が消失するため、利用者は、プレビュー画像60を視認しながら、上肢を消失させるように移動させるだけで、撮像部40及び42によって前方の画像を撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
 次に、図21A乃至図21Dを参照し、上肢の動作に基づいて表示画像の大きさを変更する(画像を拡大縮小する)構成の例を詳細に説明する。図21A乃至図21Dは、上肢の動作に基づいて表示画像の大きさを変更する例を説明するための図である。図21A及び21Bと図21C及び21Dとでは、ウェアラブル装置1と上肢(手)との間の長さが互いに異なる場合が示されている。図21A及び図21Cには、ぞれぞれ、上記のプレビュー画像60を上肢の所定動作によって拡大させる様子が示されている。なお、図21A及び図21Cでは、拡大される前のプレビュー画像60を破線で示し、拡大された後のプレビュー画像61を実線で示している。図21B及び図21Dには、ウェアラブル装置1と上肢(右手H)とのユーザの前後方向における距離Lを示す模式図が示されている。
 図21A乃至図21Dにおいても、図20で説明した内容と同様に、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢(所定物)を検出するとともに、上肢の所定動作(人差し指と親指とが互いに離れる動作)を検出する。そして、ウェアラブル装置1は、人差し指と親指とが互いに離れる動作に基づいてプレビュー画像60の拡大縮小処理を実行する。拡大縮小処理は、所定の拡大縮小率で画像の大きさを変更するものであるため、変更処理と称する。そして、拡大縮小処理(変更処理)における拡大縮小率Mを変更率と称する。ここで、拡大縮小処理における拡大縮小率Mは、人差し指と親指とが互いに離れる距離Dに応じて変更される。即ち、拡大縮小率Mは、式1(式1:拡大縮小率M=aD×100(aは定数))として規定される。ここで、距離Dは、例えば、撮像部40及び42が撮像する撮像画像中における人差し指の先端部の所定位置と親指の先端部の所定位置との間の直線距離である。従って、利用者が人差し指と親指とをより大きい距離だけ離間させれば、より大きい拡大率にてプレビュー画像60が拡大されることとなる。
 本実施形態に係るウェアラブル装置1は、上記構成において、さらに、拡大縮小処理(変更処理)における拡大縮小率M(変更率)を、撮像画像中の上肢(或いは上肢における所定領域)の大きさPに応じて変更する構成を有していてよい。即ち、上肢(或いは上肢における所定領域)の大きさPに基づいて換算される換算値をP’とすれば、拡大縮小率Mは、式2(式2;拡大縮小率M=aD×P’×100(aは定数))として規定される。ここで、換算値P’は、上肢(或いは上肢における所定領域)の大きさPがより大きい値となる程、より小さい値となるように規定される。ウェアラブル装置1は、上肢(或いは上肢における所定領域)の大きさPと換算値P’との変換テーブルを記憶部24に記憶しておき、検出した大きさPに基づいて、変換テーブルを参照し、換算値P’を取得する。
 図21C及び図21Dの場合における上肢(右手H)は、図21A及び図21Bの場合よりもウェアラブル装置1に近い位置に在る(図21D等参照)。そして、上肢(右手H)は、図21A及び図21Bの場合よりも大きい状態で視認される(図21C参照)。ウェアラブル装置1は、撮像画像中の上肢(右手H)の大きさPから、変換テーブルを参照して、図21A及び図21Bの場合における換算値Pa’と図21C及び図21Dの場合における換算値Pb’とをそれぞれ取得する。なお、換算値Pb’は、図21A及び図21Bの場合における換算値Pa’よりも小さい値となる。
 ここで、例えば、図21A及び図21Bの場合と図21C及び図21Dの場合とにおいて、利用者が、同一の距離W(現実空間における距離)だけ親指と人差し指とを離したとすると(即ち、同一の動作を行ったとすると)、図21A及び図21Bの場合においては、撮像画像から人差し指と親指とが離れる距離Daが制御部22により検出され、一方で、図21C及び図21Dの場合においては、Daよりも大きい距離Dbが制御部22により検出される。そして、上記式1(換算値P’に依らない算出式)の算出手段によれば、図21C及び図21Dの場合においては、図21A及び図21Bの場合における拡大率Maよりも大きい拡大率Mbによってプレビュー画像60が拡大される。
 しかしながら本実施形態に係るウェアラブル装置1によれば、式2(換算値P’に依る算出手段)が適用されてもよい。上記式2を適用すると、図21C及び図21Dの場合において、図21A及び図21Bの場合における換算値Pa’よりも小さい換算値Pb’が乗ぜられた拡大率Mbにてプレビュー画像60が拡大されるので、拡大後のプレビュー画像61の大きさを図21A及び図21Bの場合における拡大後のプレビュー画像61に、より近くすることができる。なお、図21A乃至図21Dにおいては、MaとMbとが同一となるように換算値Pa’とPb’とが設定されている場合が例示されている。
 以上に説明してきたように、本実施形態に係るウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から所定物(上肢(或いは上肢における所定領域)を検出するとともに該所定物の所定動作(人差し指と親指とが離れる動作)を検出すると、該所定動作に伴う所定物の変位(距離D)に応じた所定の変更処理(画像の拡大縮小処理)を行う制御部22を備えるウェアラブル装置1である。ウェアラブル装置1は、撮像画像中の所定物の大きさに応じて、変更処理における、所定物の単位変位当りの変更率(拡大縮小率M)が変更されるものである。これにより、例えば、上肢がウェアラブル装置1から遠い位置に在る場合と、上肢がウェアラブル装置1から近い位置に在る場合と、で該上肢の所定動作(ジェスチャ)に基づく表示制御を概略同じにすることができるので、ひいては使い勝手が良くなる。
 なお、上記の例では、撮像画像中の上肢の大きさに基づいて変更処理における変更率(拡大縮小率)が変更される構成を示したが、これに限定されない。例えば、上記のウェアラブル装置1は、測距部46によって検出された、ユーザの前後方向におけるウェアラブル装置1(自装置)と上肢(所定物)との距離Lに基づいて、変更率(拡大縮小率)が変更される構成としてもよい。
 この場合、ウェアラブル装置1は、ウェアラブル装置1(自装置)と上肢(所定物)との距離Lに基づいて換算される換算値をL’(距離Lから換算値L’を取得するための変換テーブルは記憶部にて記憶される)とすれば、拡大縮小率Mは、式3(式3;拡大率M=aD×L’×100(aは定数))として規定される。ここで、換算値L’は、ウェアラブル装置1(自装置)と上肢(所定物)との距離Lがより大きい値となる程、より大きい値となるように規定される。
 図21C及び図21Dの場合における上肢(右手H)は、図21A及び図21Bの場合よりもウェアラブル装置1に近い位置に在る(図21D参照)。そして、上肢(右手H)は、図21A及び図21Bの場合よりも大きい状態で視認される(図21C参照)。ウェアラブル装置1は、自装置と上肢(右手H)との距離Lから、変換テーブルを参照して、図21A及び図21Bの場合における換算値La’と図21C及び図21Dの場合における換算値Lb’とをそれぞれ取得する。換算値Lb’は、図21A及び図21Bの場合における換算値La’よりも小さい値となる。
 そして、上記式3を適用すると、図21C及び図21Dの場合において、図21A及び図21Bの場合における換算値La’よりも小さい換算値Lb’が乗ぜられた拡大率Mbにてプレビュー画像60が拡大される。その結果、ウェアラブル装置1は、拡大後のプレビュー画像61の大きさを図21A及び図21Bの場合における拡大後のプレビュー画像61により近くすることができる。
 図22を参照しながら、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明する。図22は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図20に示す例では、上肢の所定動作によってプレビュー画像を拡大縮小する処理を説明したが、図22に示す例では、上肢の所定動作によってズーム処理を行う例を説明する。
 ウェアラブル装置1は、図22に示すステップS150として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ウェアラブル装置1は、ステップS150として、撮像範囲R内となるように、映像データ70をプレビュー画像60として表示部32a及び32bに表示させる。図22に示す例では、ウェアラブル装置1は、撮像範囲R内の右上にプレビュー画像60を表示する。
 ステップS151では、利用者は、右手Hの人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態を取っている。
 ステップS152では、利用者は、右手Hが撮像範囲R内におけるプレビュー画像60と重畳しない位置で、人差し指と親指とを互いに離す動作を行っている。そして、ウェアラブル装置1は、ステップS152として、人差し指と親指とが互いに離れる動作を検出したことによって、ズーム処理(変更処理)を実行する。ウェアラブル装置1は、人差し指と親指とが互いに離れた距離を検出し、検出した距離に基づいたズーム処理を行う。ズーム処理は、例えば、検出した距離と変換テーブルとに基づいて、撮像範囲Rにおけるズームインまたはズームアウトするズーム範囲を特定する処理である。ウェアラブル装置1は、ズーム処理を実行すると、撮像範囲R内となるように、特定したズーム範囲を表示部32a及び32bに表示させてもよい。なお、人差し指と親指とが互いに接触した状態から、人差し指と親指とが互いに離れる動作のみがズーム処理を実行させるための動作に該当するのではなく、人差し指と親指とが互いに離れた状態から、人差し指と親指とがより離れる動作もズーム処理を実行させるための動作に該当する。
 また、ウェアラブル装置1は、人差し指と親指とが互いに近づく動作を検出した場合には、プレビュー画像60の縮小処理を実行してもよい。
 ステップS152にて説明したように、ウェアラブル装置1は、撮像部40及び42が撮像する撮像画像から上肢或いは上肢の所定部分(右手H、或いは、右手Hの予め登録された部分)を検出し、撮像画像中の上肢或いは上肢の所定動作によってズーム処理を実行することができる。これにより、ウェアラブル装置1は、利用者が所望とする大きさで映像データ70を取得することができ、ひいては使い勝手が良くなる。
 再度、ステップS152を参照すると、利用者は、表示部32a及び32bを透して、ウェアラブル装置1の前方を移動する右手Hと前景100とを撮像範囲Rに視認している。この場合、利用者は、表示部32a及び32bに表示されたプレビュー画像60を視認している。利用者は、プレビュー画像60に自身の右手Hが表示されていることを認識する。その後、ステップS153では、利用者は、右手Hがプレビュー画像60から消失するように、右手Hを撮像範囲R外へ向けて移動させている。
 ウェアラブル装置1は、ステップS153として、検出部44の検出結果に基づいて、右手Hがプレビュー画像60の範囲(撮像範囲R)内から範囲外へ移動したかを判定する。ウェアラブル装置1は、右手Hが範囲外へ移動したと判定すると(或いは、プレビュー画像60から右手Hが消失したと判定すると)、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、予め設定された焦点で前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 このように、ウェアラブル装置1は、撮像範囲Rにプレビュー画像60を表示し、プレビュー画像60から右手H(上肢)が消失したことを検出すると、撮像部40及び42が撮像した撮像画像71を取得する。これにより、利用者は、プレビュー画像60を視認しながら、上肢を消失させるように移動させるだけで、撮像部40及び42によって前方の画像を撮像することができる。その結果、ウェアラブル装置1は、撮像部40及び42の操作性及び利便性を向上させることができる。
 図22に示す例では、図20に示す例と同様にして、ウェアラブル装置1が、撮像部40及び42が撮像する撮像画像から所定物(上肢(或いは上肢における所定領域))を検出するとともに該所定物の所定動作(人差し指と親指とが離れる動作)を検出し、該所定動作に基づいた変更処理(ズーム処理)を実行する制御部22を備えるウェアラブル装置1である。ウェアラブル装置1は、変更処理における変更率(ズーム率)が撮像画像中の所定物の大きさに応じて変更されるものであってもよい。これにより、例えば、上肢がウェアラブル装置1から遠い位置に在る場合と、上肢がウェアラブル装置1から近い位置に在る場合と、で該上肢の所定動作(ジェスチャ)に基づく撮像制御(ズーム処理)を概略同じにすることができるので、ひいては使い勝手が良くなる。
 なお、ウェアラブル装置1は、前述と同様に、他の例として、測距部46によって検出された、ユーザの前後方向におけるウェアラブル装置1(自装置)と上肢(所定物)との距離Lに基づいて、変更率(ズーム率)が変更される構成としてもよい。
 図23は、撮像画像中の上肢の大きさP(或いは、上肢と自装置との距離L)と、換算値P’(或いは、L’)と、が対応付けられた変換テーブルの一例を示す図である。以下、撮像画像中の上肢の大きさPに基づく変更処理に関する例を述べる。
 図23には、2つのパターンを示している。パターンP1は、撮像画像中の上肢の大きさPが段階的に変化するにつれて、換算値が段階的に変化すると共に、上肢の単位移動距離(例えば、人差し指と親指とが1cm離れるとき)における画像の拡大縮小率(変更率)が段階的に変化する例が示されている。即ち、パターンP1は、換算値を適用した変更率にて変更処理がなされるパターンである。しかしながら本実施形態においては、パターンP1に限定されない。パターンP2は、撮像画像中の上肢の大きさPが所定の範囲内にある間は、変更率に基づく変更処理の実行を行わない例である。例えば、撮像画像中の上肢の大きさPが21%以上の場合には、換算値を適用せず、即ち、変更率に基づく変更処理の実行を行わず、他の変更処理を行う。他の変更処理としては、所定画像の互いに対向する2つの角を、人差し指の指先の位置と親指の指先の位置に合わせるように(添わせるように)、該表示画像の大きさを変更する処理である。なお、パターンP2は、撮像画像中の上肢の大きさPが20%以下の場合には、前述のパターンP1と同様、変更率に基づく変更処理を実行する。
 図24を参照しながら、ウェアラブル装置1による制御の処理手順について説明する。図24は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図24に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図24に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図24に示すように、ウェアラブル装置1の制御部22は、ステップS1201として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していない場合、(ステップS1202,No)、制御部22は、ステップS1201の処理を再実行する。
 上肢を検出した場合(ステップS1202,Yes)、制御部22は、処理をステップS1203に進める。制御部22は、ステップS1203として、撮像部40及び42を起動させる。制御部22は、ステップS1204として、表示部32a及び32bにプレビュー画像60を表示させる。
 制御部22は、ステップS1205として、撮像部40及び42の映像データ70から逐次伝送される撮像画像(一時的に記憶部24に保存される映像データ70)中の上肢(或いは上肢における所定領域)の大きさを検出する。ここで、上肢(或いは上肢における所定領域)の大きさは、撮像画像全域に対する上肢(或いは上肢における所定領域)の割合としてよい。
 制御部22は、ステップS1206として、ステップS1205の検出結果に基づいて、上肢の大きさが変化したかを判定する。上肢の大きさが変化していないと判定された場合(ステップS1206,No)、制御部22は、処理を後述するステップS1208へ進める。
 制御部22は、ステップS1206において、上肢の大きさが変化したと判定した場合(ステップS1206,Yes)、ステップS1207として、変化した上肢の大きさに基づいた変更率を設定する。制御部22は、ステップS1207における処理を終えた後、ステップS1208の処理へ移行する。
 制御部22は、ステップS1208として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の所定動作を検出したかを判定する。ここで、所定動作とは、例えば、人差し指と親指とを離す(或いは近づける)動作であり、後述するステップS1213で判定する上肢の移動動作は該当しない。上肢の所定動作を検出していないと判定された場合(ステップS1208,No)、制御部22は、処理を後述するステップS1213へ進める。
 制御部22は、ステップS1208において、上肢の所定動作を検出したと判定した場合(ステップS1208,Yes)、ステップS1209として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の位置を検出する。
 制御部22は、ステップS1210において、ステップS1209で検出された上肢の位置が撮像範囲R内におけるプレビュー画像60と重畳する位置であるかを判定する。上肢の位置がプレビュー画像60と重畳する位置にあると判定された場合(ステップS1210,Yes)、制御部22は、処理をステップS1211へ進める。制御部22は、ステップS1211として、プレビュー画像60の大きさを変更する(拡大縮小処理を行う)。ここで、プレビュー画像60の拡大縮小処理は、ステップS1207において設定された変更率(拡大縮小率)に基づいて実行される。制御部22は、ステップS1211における処理を終えた後、処理を後述するステップS1213へ進める。
 一方、ステップS1210において、上肢の位置がプレビュー画像60と重畳する位置にあると判定されなかった場合(ステップS1210,No)、制御部22は、処理をステップS1212へ進める。制御部22は、ステップS1212として、撮像部40及び42によるズーム処理を実行する。ここで、ズーム処理は、ステップS1207において設定された変更率(ズーム率)に基づいて実行される。制御部22は、ステップS1212における処理を終えた後、処理をステップS1213へ進める。
 制御部22は、ステップS1213として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS1214として、ステップS1213の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していないと判定した場合(ステップS1214,No)、制御部22は、ステップS1213以降の処理を再実行する。
 撮像範囲R外へ移動したと判定した場合(ステップS1214,Yes)、制御部22は、処理をステップS1215へ進める。制御部22は、ステップS1215として、撮像画像を取得する。具体的には、制御部22は、予め設定された焦点で撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS1216として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図24に示す処理手順を終了する。
 図25を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図25は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図25は、図20の場合と同様、ウェアラブル装置1によるプレビュー画像の拡大縮小処理を行う制御の例である。
 図25に示すステップS160において、利用者は、表示部32a及び32bを透して視認している撮像範囲Rにおいて、利用者から見てプレビュー画像60と重畳する位置まで右手Hを移動させている。このとき利用者の右手Hは、人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態となっている。なお、ステップS160においては、検出部44によって右手Hが撮像範囲R内に進入したことが検出され、撮像部40及び42が撮像待機状態となっている。このとき、ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS161では、利用者は、右手Hがプレビュー画像60と重畳している状態で、人差し指と親指とを互いに離す動作を行っている。そして、ウェアラブル装置1は、人差し指と親指とが互いに離れる動作を検出したことによって、プレビュー画像60を拡大している。このとき、ウェアラブル装置1は、人差し指と親指とが離れる方向(第1方向;T1)を検出し、該方向T1を一時的に記憶する。ここで、第1方向T1は、人差し指が親指から離れる方向であってもよいし、親指が人差し指から離れる方向であってもよい。
 次に、ステップS162において、利用者は、上肢を第1方向T1と所定角度以上で交わる第2方向T2へ移動させている(ステップS62において、第2方向T2は、第1方向T1と略直交する方向である)。このとき、ウェアラブル装置1は、上肢が第2方向T2へ移動したことを検出する。そして、ウェアラブル装置1は、第2方向T2への上肢の移動の検出を契機に、人差し指と親指とが互いに離れる動作が完了したものと判定する。
 このような構成を有することにより、ウェアラブル装置1は、画像の拡大縮小操作に関与する動作(人差し指と親指とを第1方向に離す動作)に相互作用し難い動作(上肢の第2方向へ移動)に基づいて、拡大縮小操作を完了させることができるため、操作が煩わしくならず、ひいては使い勝手が良くなる。
 下記に種々の変形例を示す。
 上記の実施形態では、画像の拡大縮小操作を行うための動作と、画像の拡大縮小操作を完了するための動作と、を互いに異なる方向への動作によって区別させる構成としたが、これに限定されない。
 図26を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図26は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図26は、図20の場合と同様、ウェアラブル装置1によるプレビュー画像の拡大縮小処理を行う制御の例である。図26に示す例では、各ステップ毎に、表示部32a及び32bの表示内容(表示領域における、撮像範囲Rと重畳する領域での表示内容)と、ウェアラブル装置1と上肢との距離Lと、をそれぞれ示している。ウェアラブル装置1と上肢とのユーザの前後方向における距離Lは、測距部46によって検出される。
 ステップS170において、利用者は、表示部32a及び32bを透して視認している撮像範囲Rにおいて、利用者から見てプレビュー画像60と重畳する位置まで右手Hを移動させている。このとき利用者の右手Hは、人差し指の腹と親指の腹とが互いに接触している(摘まんでいる)状態となっている。ウェアラブル装置1は、ステップS170として、検出部44によって右手Hが撮像範囲R内に進入したことを検出し、撮像部40及び42を撮像待機状態としている。このとき、ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。なお、ステップS170において、ウェアラブル装置1と上肢(右手H)との距離は、距離L1である。
 ステップS171では、利用者は、右手Hがプレビュー画像60と重畳している状態で、人差し指と親指とを互いに離す動作を行っている。ウェアラブル装置1は、ステップS171として、人差し指と親指とが互いに離れる動作を検出したことによって、プレビュー画像60をプレビュー画像61へ拡大している。なお、ステップS171において、ウェアラブル装置1と上肢(右手H)との距離は、ステップS170と同様、距離L1である。
 ステップS172では、利用者は、右手HをステップS171の場合よりも手前に移動させている。ウェアラブル装置1と上肢(右手H)との距離は、距離L1よりも小さい距離L2となっている。この状態では、ウェアラブル装置1は、所定動作(人差し指と親指とを離す動作)がなされたことを検出しても、プレビュー画像60の拡大縮小処理を実行しない。
 このように、図26等に示す例に係る構成によれば、ウェアラブル装置1は、自装置と上肢(所定物)とのユーザの前後方向における距離Lが異なる第1状態と第2状態とを区別して検出する。ウェアラブル装置1は、第1状態(距離L1の状態)において、プレビュー画像60(オブジェクト)に対する所定の処理(人差し指と親指とを離す(或いは近づける)動作によってプレビュー画像60を拡大縮小させる処理)を実行可能にする。一方で、ウェアラブル装置1は、第2状態(距離L2の状態)において、前記処理を実行不可能にする。
 このような構成を有することにより、ウェアラブル装置1は、画像の拡大縮小操作に関与する指の動作とは区別される他の動作(上肢をウェアラブル装置1に近づく方向或いは遠ざかる方向に移動させる動作)によって、拡大縮小操作を完了させることができるため、操作が煩わしくならず、ひいては使い勝手が良くなる。
 なお、図26等に示す例では、自装置と上肢(所定物)との距離Lが異なる第1状態と第2状態とを区別するに際して、測距部46による距離Lの検出の代わりに、撮像部40及び42によって撮像される撮像画像中における上肢の大きさに基づいて、自装置と上肢(所定物)との距離を推定する構成としてもよい。
 そして、図26等に示す例では、所定の処理として画像の拡大縮小処理を例示したが、これに限定されず、他の処理にも適用されてよい。例えば、オブジェクトに対する所定の処理は、オブジェクトのドラッグ操作を行う処理であってもよい。この場合の一例を、図26におけるウェアラブル装置1と上肢との距離の模式図を参照して説明する。ウェアラブル装置1と上肢との距離Lが所定距離L2である状態において、ウェアラブル装置1は、ドラッグ操作を実行不可能な状態とする。利用者が、ウェアラブル装置1から遠ざかる方向に上肢を移動させる動作(上肢を奥に押し込む動作)を行うことで、ウェアラブル装置1は、距離Lが距離L2よりも大きい距離L1となった場合に、ドラッグ操作を実行可能な状態としてよい。このようにすると、利用者が上肢を奥に押し込む動作を行っている場合には、ドラッグ操作を行うことができ、利用者が所望とする位置において、利用者が上肢を手前に引く動作を行うことによって、オブジェクトをドロップする(選択状態を解除する)ことができる。ドラッグ操作は、例えば、上肢がオブジェクトの表示位置に所定時間以上、重畳したことによって、オブジェクトが選択された状態と見なされ、該選択された状態で、上肢の位置の移動に追従してオブジェクトの表示位置を移動させる操作を含む。
 上記の実施形態では、ウェアラブル装置1は、撮像画像中における上肢の大きさ(或いは、ウェアラブル装置1と上肢との距離)に基づいて、表示するアイコンの大きさや、画像の拡大縮小処理(変更処理)における拡大縮小率(変更率)を変更する構成を例示したが、これに限定されない。
 図27を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図27は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例について説明するための図である。図27は、ウェアラブル装置1の表示領域の変更を行う制御の例である。図27に示す例では、各ステップ毎に、表示部32a及び32bの表示内容(表示領域における、撮像範囲Rと重畳する領域での表示内容)と、ウェアラブル装置1と上肢との距離Lと、をそれぞれ示している。ウェアラブル装置1と上肢とのユーザの前後方向における距離Lは、測距部46によって検出される。
 ステップS180において、上肢(右手H)は、ウェアラブル装置1から前方へ距離L1の位置に在る。このとき、ウェアラブル装置1は、ウェアラブル装置1と上肢とが距離L1であることに応じて、表示部32a及び32bの表示適用領域を領域81としている。表示適用領域は、撮像範囲R内の上肢の位置に基づき、該位置を含む領域となっている。領域81内には、上肢(右手H)が重畳することによって所定処理を実行させることが可能なアイコン群58が表示されている。
 ステップS181では、利用者は、上肢(右手H)をステップS180の場合よりも手前に移動させている。ウェアラブル装置1と上肢(右手H)との距離は、距離L1よりも小さい距離L2となっている。このとき、利用者が表示部32a及び32bを介して視認する上肢(右手H)の大きさが、ステップS180の場合よりも大きくなる。そして、ウェアラブル装置1は、ウェアラブル装置1と上肢との距離が距離L2であること(上肢(右手H)が大きく視認されていること)に応じて、表示適用領域を領域81よりも大きい領域82としている。なお、領域82内には、上肢(右手H)が重畳することによって所定処理を実行させることが可能なアイコン群58が表示されている。
 このようにウェアラブル装置1は、ウェアラブル装置1と上肢との距離Lの変化に基づいて、利用者が表示部32a及び32bを介して視認する上肢(右手H)の大きさの変化を推定し、該推定した大きさに基づいて、表示適用領域の大きさを変更する。このような構成により、表示部32a及び32bの表示領域における所定箇所に上肢(右手H)を重畳させる等によって操作を行うに際して、上肢(右手H)の大きさによって、適切な範囲を操作領域にすることができるので、上肢(右手H)を大きく動かすことなく、操作を行うことが可能となる。
 なお、図27に示す例では、ウェアラブル装置1は、測距部46による距離Lの検出の代わりに、撮像部40及び42によって撮像される撮像画像中における上肢の大きさに基づいて、表示適用領域の大きさを変更する構成としてもよい。
 上記の実施形態では、変更処理が表示画像の拡大縮小処理や、ズーム処理である場合を例示したがこれに限定されない。例えば、変更処理は、棒状の操作領域を有する変更バーを用いた処理であってもよい。例えば、変更バーは、楽曲再生アプリケーションの起動時において、楽曲の再生時の音量を変更するための変更バーや、動画再生アプリケーションの起動時において、データの再生箇所を表示すると共に、所定操作によって再生箇所を変更するためのシークバー、等を含む。例えば、変更処理は、撮像画像中に検出される上肢の大きさ(撮像画像全体に対する、上肢の領域の割合)が所定値以上である場合には、第1長さを有する変更バーを表示部32a及び32bに表示し、撮像画像中に検出される上肢の大きさが所定値未満である場合には、第1長さよりも小さい第2長さを有する変更バーを表示部32a及び32bに表示してよい。このような構成により、変更バーに表示されたスライダー(例えば、つまみ状の操作部分)を上肢の位置の移動に基づいてスライドさせるに際して、上肢の移動可能範囲に適した範囲で、スライドさせることができる。例えば、利用者が表示部32a及び32bを介して視認する上肢(右手H)の大きさが不当に大きい場合には、上肢の僅かな動作(上肢の位置の僅かな移動)によって、スライダーが不当に大きな距離移動してしまうが、本実施形態に係るウェアラブル装置1ではこのようなことが起こり難くなる。
 上記の実施形態における「変更処理」とは、例えば、所定機能の実行に関し、連続的又は段階的に変化する、物理量、設定値、パラメータ、又は利用者によって実感される感覚量等を変更する処理である。例えば、変更処理の対象は、撮像機能に係る露出補正における補正値、ISO感度、ホワイトバランス、シャッタースピード、絞り値、被写界深度、焦点距離、ズーム率、楽曲再生等における音量、動画再生等における再生箇所、マイク等の集音量、表示画像の大きさ、表示位置、表示画像の拡大縮小操作における拡大縮小率、等を含む。なお、所定状態を有した指の数に基づいて、複数の選択対象(例えば、複数の表示画像)の内の何れかを選択する処理は「変更処理」に含まれない。
 次に、図28を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図28は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例を説明するための図である。
 ウェアラブル装置1は、図28に示すステップS230として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、撮像範囲R内となるように、アイコン65、66を表示部32a及び32bに表示させる。アイコン65は、例えば、撮像機能の1つである。アイコン65は、ISO感度を変更する機能を示した表示画像である。アイコン66は、例えば、撮像機能の1つである。アイコン66は、露出補正における補正値を変更する機能を示した表示画像である。本実施形態では、ウェアラブル装置1は、アイコン65、66を撮像範囲R内に表示する場合について説明するが、撮像範囲R外に表示してもよい。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。
 ステップS230では、利用者は、撮像部40及び42の撮像範囲R外から撮像範囲R内に右手Hを移動させると、表示部32a及び32bにアイコン65、66を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。利用者は、アイコン65、66を視認することで、ウェアラブル装置1が撮像可能であることを認識することができる。
 ステップS230において、利用者は、右手Hの人差し指を伸展させている。ここで、指が伸展しているとは、指が所定状態を有していることを意味する。そして、例えば、ステップS230に示すような人差し指のみが伸展している場合においては、該人差し指の所定領域を、表示部32a及び32bの表示領域の所定位置を指定可能なポインタとして機能させてもよい。ここで、人差し指の所定領域とは、例えば、人差し指における第1関節よりも指先に近い部分や右手Hの人差し指の爪等と規定されてもよい。
 ステップS230において、利用者は、人差し指の所定領域を表示部32a及び32bの表示領域におけるアイコン65に重畳させている。利用者は、撮像範囲R内において人差し指の所定領域がアイコン65に重畳していることを視認している。このとき、ウェアラブル装置1は、撮像範囲Rと表示部32a及び32bの表示領域とを略一致させている。従って、ウェアラブル装置1は、人差し指の所定領域とアイコン65とが重畳しているように利用者が視認していることを認識する。ウェアラブル装置1は、人差し指の所定領域がアイコン65に重畳したことに基づいて、アイコン65を選択状態にする。なお、人差し指の所定領域がアイコン65に所定時間以上重畳したことに基づいてアイコン65が選択される構成であってもよい。アイコン65が選択状態となると、ウェアラブル装置1は、ステップS231に移る。
 ステップS231において、ウェアラブル装置1は、アイコン65が選択されたことに基づいて、新たな表示画像である一覧67を表示する。一覧67は、アイコン65の表示内容(ISO感度の変更機能)に基づいた設定値の一覧である。設定値の種類は、後述するが、伸展した指の本数によってそれぞれが選択可能なように、5以下の種類に規定されている。ステップS231の例では、設定値は、4種類に規定されている。各設定値には、それぞれ番号が付されている。なお、一覧67は、必ずしも、各設定値に番号が付されている構成である必要はない。ステップS231では、ステップS232と同様に、所定状態(伸展している状態)を有した指の数が1(人差し指のみ)であることに基づいて、4種類の設定値の内、1番目(一番上段)の設定値(400)が設定されている。なお、ステップS231において、一覧67は、ステップS230におけるアイコン66に重畳する位置に表示されているが、これ以外の位置に表示されてもよい。
 次に、ステップS232に示すように、利用者が人差し指に加えて、中指、薬指を伸展させたとする。すると、所定状態(伸展している状態)を有した指の数が3に変化したことに基づいて、4種類の設定値の内、3番目の設定値(1600)が設定される。
 次に、ステップS233に示すように、利用者は、右手Hが撮像範囲R内から撮像範囲R外へ移動させる。このとき利用者は、伸展している指の数を変えることなく右手Hを移動させている。ウェアラブル装置1は、検出部44の検出結果に基づいて、右手Hが撮像範囲R内から撮像範囲R外へ移動したかを判定すると、撮像部40及び42を撮像状態として前景100を撮像させる。撮像部40及び42は、ステップS32で設定されたISO感度(1600)にて前景100を撮像する。ウェアラブル装置1は、撮像部40及び42が撮像した撮像画像71を取得し、撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、ウェアラブル装置1は、撮像部40及び42を停止させ、撮像部40及び42を未起動状態に移行させる。
 上記のように、ウェアラブル装置1における制御部22は、検出部44としての撮像部40及び42の検出結果から上肢における所定状態を有した指(伸展した指)の数を検出し、該指の数に基づいて、所定機能に関する変更処理(上記の例では、撮像機能におけるISO感度の変更)を実行する。これにより、ウェアラブル装置1は、簡易で直感的な動作によって操作が可能となる。ここで、変更処理は、上記のISO感度の変更以外にも、所定機能の実行内容に関する所定の設定値を変更可能な如何なる処理であってもよい。
 なお、上記の実施形態では、撮像範囲R内における人差し指の所定領域の位置に基づいて表示領域の所定位置を指定する構成としたが、これに限定されない。例えば、撮像部40及び42以外の検出部44の検出範囲内における人差し指の所定領域の位置に基づいて表示領域の所定位置を指定する構成(ポインタとして機能させる構成)であってもよい。
 次に、図29を参照しながら、制御プログラム24aが提供する制御の他の例について説明する。図29は、ウェアラブル装置1の制御プログラム24aが提供する制御の他の例を説明するための図である。
 ウェアラブル装置1は、図29に示すステップS240として、検出部44によって右手Hが撮像範囲R内に進入したことを検出すると、撮像部40及び42を撮像待機状態に移行させる。ウェアラブル装置1は、図28に示す例と同様にして、アイコン65、66を表示部32a及び32bに表示させる。ウェアラブル装置1は、撮像待機状態の撮像部40及び42から逐次伝送される映像データ70を、一時的に記憶部24に保存する。利用者は、表示部32a及び32bにアイコン65、66を視認し、表示部32a及び32bを透して前景100と右手Hを視認する。
 ステップS240において、利用者は、右手Hの人差し指を伸展させている。そして、人差し指の所定領域(人差し指における第1関節よりも指先に近い部分)を、表示部32a及び32bの表示領域の所定位置を指定可能なポインタとして機能させているものとする。
 ステップS240において、利用者は、人差し指の所定領域を表示部32a及び32bにおけるアイコン65の表示領域に重畳させている。ウェアラブル装置1は、人差し指の所定領域とアイコン65とが重畳しているように利用者が視認していることを認識し、これを契機として、アイコン65に基づく機能に関する変更処理を実行可能な状態にする。
 ステップS241において、ウェアラブル装置1は、図28に示す例と同様にして、アイコン65の表示内容(ISO感度の変更機能)に基づいた設定値の一覧67を表示する。一覧67は、伸展した指の本数によってそれぞれが選択可能なように、5以下の種類に規定されている。ここで、利用者は、人差し指の所定領域を表示部32a及び32bにおけるアイコン65の表示領域に重畳させている状態(アイコン65に基づく変更処理を実行可能な状態)において、人差し指に加えて、中指、薬指を伸展させている。すると、ウェアラブル装置1は、所定状態(伸展している状態)を有した指の数が3に変化したことに基づいて、4種類の設定値の内、3番目の設定値(1600)を変更する。
 ステップS240、S241において、ウェアラブル装置1における制御部22は、撮像部40及び42が撮像する撮像画像から、人差し指の所定領域が現実の第1所定空間に含まれるかを判定している。ここで、第1所定空間は、利用者が表示部32a及び32bを介して、アイコン65と重畳して視認し得る空間である。言い換えると、ウェアラブル装置1における制御部22は、利用者が、人差し指の所定領域とアイコン65の表示領域とが重畳しているように視認しているか否かを判定する。そして、人差し指の所定領域が第1所定空間に含まれる、即ち、ウェアラブル装置1は、人差し指の所定領域がアイコン61の表示領域と重畳しているように利用者によって視認されていると判定した場合に、図28に示す例と同様に変更処理を実行可能にする。
 次に、ステップS242において、利用者は、人差し指の所定領域をアイコン66の表示領域に重畳させる。このとき、ウェアラブル装置1における制御部22は、利用者が表示部32a及び32bを介してアイコン66と重畳して視認し得る空間(第1所定空間)に人差し指の所定領域があると判定する。そして、制御部22は、変更処理を実行可能にする。ステップS242において、ウェアラブル装置1は、アイコン66の表示内容(露出補正機能)に基づいた設定値の一覧68を表示する。ステップS242に示す例では、制御部22は、所定状態(伸展している状態)を有した指の数が4であることに基づいて、一覧68の露出補正における5種類の設定値の内、4番目の設定値(+1)が設定される。
 以上のように、ウェアラブル装置1における制御部22は、上肢の所定部分が現実の第1所定空間に含まれるかを判定し、上肢の所定部分が現実の第1所定空間に含まれると判定した場合に、変更処理の実行を許可にする。これにより、利用者が意図して上肢の所定部分を第1所定空間に位置させる場合以外は、変更処理を行わないので、誤操作を減らすことが出来る。
 なお、上記の例では、ウェアラブル装置1は、撮像部40及び42によって撮像される撮像画像より、現実の空間における上肢(或は上肢の所定領域)の位置を検出する構成を示しているが、これに限定されない。例えば、ウェアラブル装置1は、撮像部40及び42以外の検出部44によって、現実の空間中における上肢の位置が検出されてもよい。このとき、例えば、利用者の前方の空間を、該前方方向をz軸とした3次元座標系で定義し、該空間における上肢の位置(x、y)を検出し、表示領域における所定位置に対応づけることで、上肢の位置によって、表示部32a及び32bの表示領域における所定位置の指定を行えるようにしてもよい。
 図30を参照しながら、ウェアラブル装置1による制御の処理手順の一例について説明する。図30は、ウェアラブル装置1による撮像制御に係る処理手順を示すフローチャートである。図30に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。図30に示す処理手順は、ウェアラブル装置1が頭部に装着されている場合、ウェアラブル装置1が動作している場合等で繰り返し実行される。
 図30に示すように、ウェアラブル装置1の制御部22は、ステップS2101として、撮像範囲R内で上肢を検出したかを判定する。具体的には、制御部22は、検出部44が上肢を検出している場合に、上肢を検出したと判定する。上肢を検出していないと判定した場合(ステップS2102,No)、制御部22は、ステップS2101の処理を再実行する。
 上肢を検出したと判定した場合(ステップS2102,Yes)、制御部22は、処理をステップS2103に進める。制御部22は、ステップS2103として、撮像部40及び42を起動させる。制御部22は、ステップS2104として、表示部32a及び32bにアイコン65、66を表示させる。
 制御部22は、ステップS2105として、撮像部40及び42の映像データ70から逐次伝送される撮像画像から、現実の空間における上肢の所定領域の位置を推定する。次に、ステップS2106において、ステップS2105で推定した上肢の位置に基づいて、上肢の所定領域が現実の第1所定空間に含まれるかを判定する。言い換えると、制御部22は、人差し指の所定領域がアイコン65の表示領域と重畳しているように、利用者によって視認されているか否かを判定する。
 上肢が第1所定空間に含まれると判定した場合(ステップS2106,Yes)、制御部22は、処理をステップS2107に進める。一方、上肢が第1所定空間に含まれないと判定した場合(ステップS2106,No)、ステップS2105の処理を再実行する。
 制御部22は、ステップS2107として、変更処理を実行可能な状態とする。この場合、制御部22は、設定値の一覧67を表示部32a及び32bに表示させる。
 制御部22は、ステップS2108として、所定状態を有した指の数を検出する。そして、制御部22は、ステップS2109として、所定状態を有した指の数に基づいて、変更処理を実行する。具体的には、制御部22は、撮像機能に関する設定値を、所定状態を有した指の数に基づいた設定値に変更する。
 制御部22は、ステップS2110として、撮像部40及び42の映像データ70に基づいて、撮像範囲Rにおける上肢の移動を検出する。制御部22は、ステップS2111として、ステップS2110の検出結果に基づいて、上肢が撮像範囲R内から撮像範囲R外へ移動したかを判定する。具体的には、制御部22は、上肢が撮像画像に映り込まないように、上肢の全てが撮像範囲R外へ移動したことを検出した場合に、撮像範囲R外へ移動したと判定する。撮像範囲R外へ移動していないと判定した場合(ステップS2111,No)、制御部22は、ステップS2110以降の処理を再実行する。
 撮像範囲R外へ移動したと判定した場合(ステップS2111,Yes)、制御部22は、処理をステップS2112へ進める。制御部22は、ステップS2112として、撮像画像を取得する。具体的には、制御部22は、ステップS2109において設定された設定値にて、撮像部40及び42に前景100を撮像させ、当該撮像画像71を取得し、取得した撮像画像71を撮像データ24bとして記憶部24に記憶する。その後、制御部22は、ステップS2113として、撮像部40及び42を停止させる。撮像部40及び42が停止すると、制御部22は、図30に示す処理手順を終了する。
 上記の図28及び図29に示す例では、ウェアラブル装置1は、上肢の所定部分が撮像機能に関するアイコン65(或は66)に重畳したことを契機に変更処理を実行可能とする構成を示したが、これに限定されない。例えば、ウェアラブル装置1は、上肢の所定部分が撮像範囲R(或は検出部44の検出範囲)に進入したことを契機に、該進入時における所定状態を有した指の数に基づいて変更処理を実行してもよい。これにより、変更処理される機能が予め定められている場合には、利用者がこれを把握しておくことで、表示画像等を確認しながら行う必要などなく操作できる。また、変更処理は、撮像機能に関する処理のみに限定されない。例えば、ウェアラブル装置1が所定の表示画像を表示している場合に、変更処理として、所定状態を有した指の数に基づいて表示画像を拡大縮小してもよい。また、表示画像が文字情報と写真(或いはイメージ図)とからなる場合に、所定状態を有した指の数に基づいて文字情報のみを拡大する構成であってもよいし、所定状態を有した指の数に基づいて写真のみを拡大する構成であってもよい。また、伸展した指をポインタとして機能させ、該伸展した指の所定領域の現実空間における位置(或いは、伸展した指の所定領域の撮像画像中における位置)によって表示部32a及び32bの表示領域の所定位置を指定可能とした場合に、該指定した位置を含む所定の表示領域のみを拡大縮小できるようにしてもよい。
 また、変更処理としては、例えば、楽曲再生アプリケーションの起動時において、楽曲の再生時の音量を、伸展した指の数に基づいて変更する処理であってもよい。
 また、変更処理としては、例えば、動画再生アプリケーションの起動時において、データの再生箇所を、伸展した指の数に基づいて変更する処理であってもよい。
 また、上記の実施形態では、所定状態を有した指として、伸展した指の数を検出する構成を示したが、これに限定されない。例えば、指の曲げられている状態を所定状態としてもよい。ここで、指が曲げられているとは、指の関節(第1~第3関節の内のいずれの関節でもよい。)が所定角度以上曲げられていることとしてよい(一方で、指の関節が所定角度未満しか曲げられていない場合には、指が伸展しているものと見なしてもよい)。指が曲げられている状態が所定時間以上継続している場合に、所定状態を有しているものと見なしてもよいし、指が伸展している状態から指が曲げられている状態へ遷移したことをもって所定状態を有したものと見なしてもよい。
 また、ウェアラブル装置1は、上肢の所定部分が撮像範囲R(或は検出部44の検出範囲)に進入したことを検出すると、該検出時(上肢の進入時)における所定状態を有した指の数に基づいた変更処理を実行しないようにしてもよい。例えば、ウェアラブル装置1は、制御部22が、上肢の所定部分が現実の第2所定空間(撮像範囲R)に進入したかを判定し、上肢の所定部分が現実の前記第2所定空間に進入したと判定した場合には、該進入した時点における前記所定状態を有した指の数に基づいた前記変更処理を実行しない構成を有していてもよい。この場合、利用者が上肢を撮像範囲R内に進入させた時点で不意に変更処理がなされる、といったことを生じさせずに済む。
 また、ウェアラブル装置1は、伸展した指が5指の内の複数の指である場合、該複数の指の組み合わせが所定の組み合わせであるかを判定し、所定の組み合わせである場合には、所定状態を有した指の数に基づいた変更処理に替えて他の処理を実行するようにしてもよい。
 また、ウェアラブル装置1は、伸展した指が5指の内の複数の指である場合、該複数の指の組み合わせが所定の組み合わせであるかを判定し、組み合わせが所定の組み合わせである場合には、第1所定時間内に伸展した指が所定の動作をしたかを判定し、該所定の動作をした場合には、前記所定状態を有した指の数に基づいた前記変更処理に替えて該所定の動作に基づく処理を実行するようにしてもよい。
 例えば、伸展している指が人差し指と親指である場合、伸展した指の数が2であることに基づいた変更処理を行うのではなく、他の処理として、人差し指と親指とを互いに離す、或いは互いに近づける動作を利用者が行うことによって、表示画像等を拡大縮小する処理を行えるようにしてもよい。
 また、例えば、伸展している指が人差し指と親指であると検出した場合、該検出時から第1所定時間内に、人差し指と親指の所定の動作として、人差し指の所定部分と親指の所定部分とを互いに離す、或いは互いに近づける動作がなされるかを判定し、該動作がなされたと判定した場合には、該動作に基づく他の処理(表示画像等を拡大縮小する処理等)を行えるようにしてもよい。また、伸展している指が人差し指と親指であると検出した時から第1所定時間内に、人差し指の所定部分と親指の所定部分とを互いに離す、或いは互いに近づける動作がなされなかった場合には、伸展した指の数に基づく変更処理を実行してもよい。
 また、ウェアラブル装置1における制御部22は、伸展した指の数及び現実の空間における上肢の位置が所定時間以上、変化しなかった場合に、変更処理を実行するようにしてもよい。これにより、利用者が意図せず指の伸展動作を行った場合、又は、意図せず上肢の位置を止めた場合のみにおいては変更処理がなされないので誤操作を招く可能性を低減することができる。
 また、ウェアラブル装置1における制御部22は、上肢における指の伸展動作がなされたことを契機に、前記変更処理を実行可能な状態とし、変更処理が実行可能な状態であるときに、上肢における指の伸展動作が再度なされたことを契機に、変更処理を実行するようにしてもよい。これにより、例えば、利用者がウェアラブル装置1に変更処理を実行させるための操作として、指の伸展動作(最初の伸展動作)を行ったとしても、該操作によっては変更処理が行なわれず、次の伸展動作によって変更処理が行われるので、最初の伸展動作によって不意に変更処理される、といったことがなくなる。
 また、上記の実施形態では、上肢が撮像範囲R内から撮像範囲R外へ移動したことを契機に、撮像画像の取得処理を実行する構成を示した。ここで、制御部22は、上肢が撮像範囲R内から撮像範囲R外へ移動したことによって、伸展した指の数が変化した場合には、該変化した指の数に基づく変更処理は実行しないようにしてもよい。具体的には、上肢が撮像範囲R内から撮像範囲R外へ移動することによって、上肢(右手H等でもよい)の一部が撮像範囲R外に在る場合は、伸展した指の数に変化があっても、これに基づく変更処理は実行しない。すなわち、上肢(右手H等でもよい)が撮像範囲R内にある状態での、伸展した指の数を記憶しておき、上肢(右手H等でもよい)が撮像範囲R外に移動した後も、その数に基づいて変更処理に適用する。
 また、上記の実施形態では、片手(右手H)のみにおいて、所定状態を取り得る指が1~5であることに依って、設定値を5段階(5種類)に分ける構成を示したが、これに限定されず、例えば、設定値を10段階(或いは、6~9段階)に分け、両手における所定状態を有した指の数に基づいて、変更処理を行えるようにしてもよい。
 また、上記の実施形態では、片手(右手H)のみにおいて、所定状態を取り得る指が1~5であることに依って、設定値を5段階に分ける構成を示したが、これに限定されない。例えば、設定値を4段階に分け、所定状態を有する指の数が2~5の何れかである場合に、該数に基づいて、4段階の内の何れかの設定値に変更される構成としてもよい。この場合、所定状態を有した指の数が1である場合には、該指の移動に基づいて表示部32a及び32bの表示領域の所定位置を指定するためのポインタとして機能させてよい。
 また、上記の実施形態では、所定状態を有した指の数が多くなるにつれてより大きい設定値が設定される、即ち、所定状態を有した指の数の大小と設定される設定値の大小とが対応付けられている例を示したが、これに限定されない。所定状態を有した指の数が多くなるにつれてより小さい設定値が設定される構成であってもよい。また、所定状態を有した指の数の大小と設定される設定値の大小とが対応付けられておらず、ランダムに対応付けられていてもよい。
 また、上記実施形態において、ウェアラブル装置1は、撮像画像中の所定物(上肢)の所定領域の大きさが所定の大きさ以上である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。例えば、利用者がウェアラブル装置1に触れる等の、操作とは異なる動作を行うことによって、不当に大きい大きさで上肢が撮像画像にて検出される場合には、変更処理を行わないので、利用者が煩わしい思いをしないで済む。
 また、ウェアラブル装置1は、測距部46の検出結果から算出される、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が所定距離以下である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。
 また、ウェアラブル装置1の制御部22は、撮像画像中の所定物(上肢)の所定領域の大きさが所定の大きさ未満である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。例えば、利用者の前方に居る他者の上肢を検出する等の、不当に小さい大きさで上肢が撮像画像にて検出される場合には、変更処理を行わないので、利用者が煩わしい思いをしないで済む。
 また、ウェアラブル装置1は、測距部46の検出結果から算出される、ユーザの前後方向における自装置と現実の空間に存在する所定物(上肢)との距離が所定距離以上である場合には、所定状態を有した指の数に基づく変更処理を実行不可能にしてもよい。
 上記の実施形態では、ウェアラブル装置1が、眼鏡形状を有する例を示してきたが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していてもよい。或いは、ウェアラブル装置1は、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していてもよい。
 上記の実施形態では、表示部が利用者の左右の目の前に設けられる一対の表示部32a、32bを有している構成を例示してきたが、これに限定されず、表示部は、利用者の左右の目の内の一方の前に設けられる一つの表示部を有している構成であってもよい。
 また、上記の実施形態では、正面部の縁部が、表示部32a、32bの表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部32a、32bの表示領域の縁の一部のみを囲っている構成であってもよい。
 また、上記の実施形態では、利用者の上肢として手や指を撮像部(或いは検出部)によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても同様にして検出可能である。
 添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
1 ウェアラブル装置
1a 前面部
1b 側面部
1c 側面部
13 操作部
22 制御部
24 記憶部
24a 制御プログラム
24b 撮像データ
25 検出処理部
26 表示制御部
32a、32b 表示部
40、42 撮像部
44 検出部
46 測距部
71 撮像画像
R 撮像範囲

Claims (69)

  1.  頭部に装着可能なウェアラブル装置であって、
     ユーザの前方の風景を撮像する撮像部と、
     前記撮像部が撮像する撮像画像から遮蔽物を検出する制御部と、を備え、
     前記制御部は、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行する
     ウェアラブル装置。
  2.  前記ユーザの前方に前記遮蔽物が存ずるか否かを検出可能な検出部をさらに備え、
     前記撮像部は、前記ユーザの前方に前記遮蔽物が存ずることを契機に前記風景の撮像動作を開始する請求項1に記載のウェアラブル装置。
  3.  前記制御部は、前記遮蔽物が前記撮像範囲内から前記撮像範囲外へ移動する軌跡を推定し、該軌跡の始点を前記撮像画像の取得における合焦位置に設定する請求項1又は2に記載のウェアラブル装置。
  4.  前記制御部は、前記遮蔽物の移動方向に基づいて、前記撮像画像の取得内容、又は前記取得した撮像画像に対する処理内容を変更する請求項1から3のいずれか1項に記載のウェアラブル装置。
  5.  前記制御部は、前記遮蔽物の移動方向に基づいて、動画像の取得を開始した場合、前記撮像範囲外から前記撮像範囲内へ移動したことを契機に、前記動画像の取得を停止又は中断する請求項4に記載のウェアラブル装置。
  6.  前記制御部は、前記撮像範囲内における前記遮蔽物の所定動作に基づいて、前記撮像部にズーム処理を実行させる請求項1から5のいずれか1項に記載のウェアラブル装置。
  7.  前記制御部は、自装置と前記遮蔽物との距離の変化を推定し、該距離の変化に応じて前記撮像範囲の拡大縮小率を変更する請求項6に記載のウェアラブル装置。
  8.  前記遮蔽物は、ユーザの上肢であり、
     前記制御部は、前記上肢が所定形状を形成したことを契機に、前記ズーム処理を実行可能な状態にする請求項6又は7に記載のウェアラブル装置。
  9.  前記制御部は、前記ズーム処理を実行可能な状態において、前記上肢が前記所定形状を形成しつつ、所定ジェスチャがなされたことを検出すると、該ジェスチャに応じて前記撮像範囲の拡大縮小率を変更する請求項8に記載のウェアラブル装置。
  10.  前記遮蔽物は、ユーザの上肢、ユーザが持つ所定物のうちのいずれかである
     請求項1から7のいずれか1項に記載のウェアラブル装置。
  11.  前記ユーザが持つ所定物は、ユーザの上肢に装着される他の電子機器である
     請求項10に記載のウェアラブル装置。
  12.  ユーザの眼前に配置され、前記撮像画像を表示する表示部をさらに備え、
     前記制御部は、
     前記撮像画像から前記遮蔽物が消失したことを契機に、前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したものと判定して前記撮像画像の取得を実行し、
     前記ズーム処理によって、前記撮像画像から前記遮蔽物が消失した場合には、前記撮像画像の取得を実行しない請求項6から11のいずれか1項に記載のウェアラブル装置。
  13.  頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     撮像部によってユーザの前方の風景を撮像するステップと、
     前記撮像部が撮像する撮像画像から遮蔽物を検出するステップと、
     前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行するステップと、
     を含む制御方法。
  14.  頭部に装着可能なウェアラブル装置に、
     撮像部によってユーザの前方の風景を撮像するステップと、
     前記撮像部が撮像する撮像画像から遮蔽物を検出するステップと、
     前記遮蔽物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行するステップと、
     を実行させる制御プログラム。
  15.  頭部に装着可能なウェアラブル装置であって、
     ユーザの前方の景色を撮像する撮像部と、
     前記撮像部が撮像する撮像画像から所定物を検出し、
     前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行う制御部と、を備える
     ウェアラブル装置。
  16.  ユーザの眼前に配置される表示部を備え、
     前記制御部は、前記変更処理として、前記表示部が表示する表示画像の大きさを変更する処理を行い、
     前記撮像画像中の前記所定物の所定領域の大きさの変化に応じて、前記表示画像の大きさを変更する
     請求項15に記載のウェアラブル装置。
  17.  前記制御部は、ユーザが前記表示部にて視認する前記表示画像が、前記ユーザが前記表示部を介して視認する前記所定物の所定領域の大きさよりも大きくなるように、当該表示画像の大きさを変更する
     請求項16に記載のウェアラブル装置。
  18.  前記制御部は、予め設定された前記撮像部の撮像範囲と、前記撮像画像中における前記所定物の所定領域の大きさと、に基づいて、前記ユーザが前記表示部を介して視認する前記所定物の所定領域の大きさを推定する
     請求項17に記載のウェアラブル装置。
  19.  前記制御部は、前記撮像画像中の前記所定物の所定領域の大きさが第1の大きさ以上である場合には、該所定領域の大きさに応じて前記表示画像の大きさを変更する処理を行わない
     請求項16から18のいずれか1項に記載のウェアラブル装置。
  20.  前記制御部は、前記撮像画像中の前記所定物の所定領域の大きさが第2の大きさ以下である場合には、該所定領域の大きさに応じて前記表示画像の大きさを変更する処理を行わない
     請求項16から19のいずれか1項に記載のウェアラブル装置。
  21.  頭部に装着可能なウェアラブル装置であって、
     ユーザの前後方向における自装置と所定物との距離を検出する測距部と、
     前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行う制御部と、を備える
     ウェアラブル装置。
  22.  ユーザの眼前に配置される表示部を備え、
     前記制御部は、前記変更処理として、前記表示部が表示する表示画像の大きさを変更する処理を行い、
     前記距離の変化に応じて、前記表示画像の大きさを変更する
     請求項21に記載のウェアラブル装置。
  23.  前記制御部は、前記距離が第1距離以上である場合には、前記距離に応じて前記表示画像の大きさを変更する処理を行わない
     請求項22に記載のウェアラブル装置。
  24.  前記制御部は、前記距離が第2距離以下である場合には、前記距離に応じて前記表示画像の大きさを変更する処理を行わない
     請求項22又は23に記載のウェアラブル装置。
  25.  前記制御部は、前記表示画像の大きさの変更に伴って、該表示画像の表示位置を変更する
     請求項16又は22に記載のウェアラブル装置。
  26.  前記制御部は、前記表示部が複数の前記表示画像を表示する場合、該複数の表示画像の各々が前記表示部の表示領域の異なる端辺に沿うように、前記表示位置の変更を行う
     請求項25に記載のウェアラブル装置。
  27.  前記所定物は、ユーザの上肢であり、
     前記制御部は、前記上肢が右上肢か左上肢かを判定し、
     前記判定した結果に応じて、前記表示画像の表示位置を変更する
     請求項25に記載のウェアラブル装置。
  28.  前記制御部は、前記上肢が右上肢であると判定した場合に、前記表示画像を前記表示部の表示領域における右側、又は、前記撮像範囲における右側に表示し、
     前記上肢が左上肢であると判定した場合に、前記表示画像を前記表示部の表示領域における左側、又は、前記撮像範囲における左側に表示する
     請求項27に記載のウェアラブル装置。
  29.  現実の物体を検出する検出部をさらに備え、
     前記制御部は、前記検出部の検出結果から、前記所定物が前記撮像部の撮像範囲外から該撮像範囲内に進入したことを検出したことを契機に、前記撮像部による前記景色の撮像を開始する
     請求項15から28のいずれか1項に記載のウェアラブル装置。
  30.  ユーザの眼前に配置される表示部を備え、
     前記制御部は、前記撮像範囲における、前記所定物が進入した側の端辺を判定し、
     前記表示部の表示領域における前記端辺側に前記表示画像を表示する
     請求項29に記載のウェアラブル装置。
  31.  前記制御部は、前記検出部の検出結果から、前記所定物が前記撮像部の撮像範囲外から該撮像範囲内に進入したことを検出したことを契機に、前記表示画像を表示する
     請求項30に記載のウェアラブル装置。
  32.  前記制御部は、前記所定物が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得を実行する
     請求項15から31のいずれか1項に記載のウェアラブル装置。
  33.  前記制御部は、複数の前記表示画像の内、前記所定物が通過した表示画像に基づく機能を実行する
     請求項32に記載のウェアラブル装置。
  34.  前記機能は、前記撮像画像の取得処理方法に係る機能である
     請求項33に記載のウェアラブル装置。
  35.  前記機能は、前記撮像部が取得する撮像画像に対する処理方法に係る機能である
     請求項33に記載のウェアラブル装置。
  36.  頭部に装着可能なウェアラブル装置であって、
     ユーザの眼前に配置される表示部と、
     ユーザの前方の景色を撮像する撮像部と、
     前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、
     前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
     ウェアラブル装置。
  37.  前記変更率は、前記撮像画像中の前記所定物の大きさが大きくなる程、小さくなる
     請求項36に記載のウェアラブル装置。
  38.  前記所定物は、ユーザの上肢であり、
     前記制御部は、前記上肢における一の指と他の指とが離れる動作、或いは、前記上肢における一の指と他の指とが近づく動作を前記所定動作として検出する
     請求項36又は37に記載のウェアラブル装置。
  39.  前記制御部は、前記変更処理として、前記表示部が表示する表示画像の大きさを変更する処理を行い、
     前記撮像画像中の前記所定物の大きさが所定の範囲内にある場合は、前記変更率に基づく前記変更処理の実行を行わず、
     前記上肢における一の指の位置と他の指の位置とに基づく他の変更処理を行う
     請求項38に記載のウェアラブル装置。
  40.  前記表示画像の互いに対向する2つの角部のそれぞれが、前記一の指の位置と他の指の位置のそれぞれに対応するように、該表示画像の大きさを変更する
     請求項39に記載のウェアラブル装置。
  41.  前記制御部は、前記一の指と他の指とが離れる、或いは、前記一の指と他の指とが近づく第1方向を検出し、
     前記所定動作がなされた後に、前記第1方向と所定角度以上で交わる方向に前記上肢が移動したことを検出したことを契機に前記所定動作が完了したものと判定する
     請求項38に記載のウェアラブル装置。
  42.  頭部に装着可能なウェアラブル装置であって、
     ユーザの眼前に配置される表示部と、
     ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、
     現実に存在する物体を検出する検出部と、
     前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行う制御部と、を備え、
     前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
     ウェアラブル装置。
  43.  前記変更率は、前記自装置と所定物との間の距離が大きくなる程、大きくなる
     請求項42に記載のウェアラブル装置。
  44.  頭部に装着可能なウェアラブル装置であって、
     ユーザの眼前に配置され、オブジェクトを表示する表示部と、
     ユーザの前後方向における自装置と所定物との間の距離を検出する測距部と、
     前記距離が異なる第1状態と第2状態とを区別して検出する制御部と、を備え、
     前記第1状態において、前記オブジェクトに対する所定の処理を実行可能にし、前記第2状態において、前記処理を実行不可能にする
     ウェアラブル装置。
  45.  前記オブジェクトに対する所定の処理は、当該オブジェクトのドラッグ操作を行う処理である
     請求項44に記載のウェアラブル装置。
  46.  頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     撮像部によってユーザの前方の景色を撮像するステップと、
     前記撮像部が撮像する撮像画像から所定物を検出するステップと、
     前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行うステップと、
     を含む制御方法。
  47.  頭部に装着可能なウェアラブル装置に、
     撮像部によってユーザの前方の景色を撮像するステップと、
     前記撮像部が撮像する撮像画像から所定物を検出するステップと、
     前記撮像画像中における前記所定物の所定領域の大きさが変化したことを検出すると、該大きさの変化に応じた所定の変更処理を行うステップと、
     を実行させる制御プログラム。
  48.  頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     ユーザの前後方向における自装置と所定物との距離を検出するステップと、
     前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行うステップと、
     を含む制御方法。
  49.  頭部に装着可能なウェアラブル装置に、
     ユーザの前後方向における自装置と所定物との距離を検出するステップと、
     前記距離が変化したことを検出すると、該距離の変化に応じた所定の変更処理を行うステップと、
     を実行させる制御プログラム。
  50.  ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     撮像部によってユーザの前方の景色を撮像するステップと、
     前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、
     前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
     制御方法。
  51.  ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、
     撮像部によってユーザの前方の景色を撮像するステップと、
     前記撮像部が撮像する撮像画像から所定物を検出するとともに該所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、
     前記撮像画像中の前記所定物の大きさに応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
     制御プログラム。
  52.  ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、
     検出部によって現実に存在する物体を検出するステップと、
     前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を含み、
     前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
     制御方法。
  53.  ユーザの眼前に配置される表示部を備える、頭部に装着可能なウェアラブル装置に、
     ユーザの前後方向における自装置と所定物との間の距離を検出するステップと、
     検出部によって現実に存在する物体を検出するステップと、
     前記検出部の検出結果から現実に存在する所定物の所定動作を検出すると、該所定動作に伴う前記所定物の変位に応じた所定の変更処理を行うステップと、を実行させる制御プログラムであって、
     前記自装置と所定物との間の距離に応じて、前記変更処理における、前記所定物の単位変位当りの変更率が変更される
     制御プログラム。
  54.  頭部に装着可能なウェアラブル装置であって、
     現実の空間に在る上肢を検出する検出部を備え、
     前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行する
     ウェアラブル装置。
  55.  制御部を備え、
     前記制御部は、前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行する
     請求項54に記載のウェアラブル装置。
  56.  前記変更処理は、前記所定機能の実行内容に関する所定の設定値を前記指の数に基づいた値に変更する処理である
     請求項54又は55に記載のウェアラブル装置。
  57.  前記指における所定状態とは、指が伸展している状態である
     請求項54から56のいずれか1項に記載のウェアラブル装置。
  58.  前記制御部は、前記上肢の所定部分が現実の第1所定空間に含まれるかを判定し、
     前記上肢の所定部分が現実の前記第1所定空間に含まれると判定した場合に、前記変更処理の実行を許可にする
     請求項55から57のいずれか1項に記載のウェアラブル装置。
  59.  前記制御部は、前記上肢の所定部分が現実の第2所定空間に進入したかを判定し、
     前記上肢の所定部分が現実の前記第2所定空間に進入したと判定した場合には、該進入した時点における前記所定状態を有した指の数に基づいた前記変更処理を実行しない
     請求項55から57のいずれか1項に記載のウェアラブル装置。
  60.  前記制御部は、前記伸展した指が5指の内の複数の指である場合、該複数の指の組み合わせが所定の組み合わせであるかを判定し、
     前記組み合わせが前記所定の組み合わせである場合には、前記所定状態を有した指の数に基づいた前記変更処理に替えて他の処理を実行する
     請求項55から59のいずれか1項に記載のウェアラブル装置。
  61.  前記制御部は、前記伸展した指が5指の内の複数の指である場合、該複数の指の組み合わせが所定の組み合わせであるかを判定し、
     前記組み合わせが前記所定の組み合わせである場合には、第1所定時間内に前記伸展した指が所定の動作をしたかを判定し、該所定の動作をした場合には、前記所定状態を有した指の数に基づいた前記変更処理に替えて該所定の動作に基づく処理を実行する
     請求項57から59のいずれか1項に記載のウェアラブル装置。
  62.  前記所定の動作は、前記伸展した複数の指の所定部分が互いに離れる、又は近づく動作である
     請求項61に記載のウェアラブル装置。
  63.  前記制御部は、前記伸展した指の数及び現実の空間における前記上肢の位置が所定時間以上、変化しなかった場合に、前記変更処理を実行する
     請求項57から62のいずれか1項に記載のウェアラブル装置。
  64.  前記制御部は、前記上肢における指の伸展動作がなされたことを契機に、前記変更処理を実行可能な状態とし、
     前記変更処理が実行可能な状態であるときに、前記上肢における前記指の伸展動作が再度なされたことを契機に、前記変更処理を実行する
     請求項57に記載のウェアラブル装置。
  65.  前記検出部として、ユーザの前方の風景を撮像する撮像部を備え、
     前記撮像部が撮像する撮像画像中の前記上肢を検出するとともに、該上肢における所定状態を有した指の数を検出し、該指の数に基づいて、前記変更処理を実行する
     請求項55から64のいずれか1項に記載のウェアラブル装置。
  66.  前記制御部は、前記上肢が前記撮像部の撮像範囲内から撮像範囲外へ移動したことを契機に、前記撮像画像の取得処理を実行する
     請求項65に記載のウェアラブル装置。
  67.  前記制御部は、前記上肢が撮像範囲内から撮像範囲外へ移動したことによって、前記伸展した指の数が変化した場合には、該変化した指の数に基づく前記変更処理は実行しない
     請求項66に記載のウェアラブル装置。
  68.  頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
     検出部によって現実の空間に在る上肢を検出するステップと、
     前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行するステップと、
     を含む制御方法。
  69.  頭部に装着可能なウェアラブル装置に、
     検出部によって現実の空間に在る上肢を検出するステップと、
     前記検出部の検出結果から前記上肢における所定状態を有した指の数を検出し、該指の数に基づいて、所定機能に関する変更処理を実行するステップと、
     を実行させる制御プログラム。
PCT/JP2016/055522 2015-02-25 2016-02-24 ウェアラブル装置、制御方法及び制御プログラム WO2016136838A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017502443A JP6409118B2 (ja) 2015-02-25 2016-02-24 ウェアラブル装置、制御方法及び制御プログラム
US15/553,236 US10477090B2 (en) 2015-02-25 2016-02-24 Wearable device, control method and non-transitory storage medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2015-035830 2015-02-25
JP2015035830 2015-02-25
JP2015-068613 2015-03-30
JP2015068614 2015-03-30
JP2015068613 2015-03-30
JP2015-068614 2015-03-30

Publications (1)

Publication Number Publication Date
WO2016136838A1 true WO2016136838A1 (ja) 2016-09-01

Family

ID=56789310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055522 WO2016136838A1 (ja) 2015-02-25 2016-02-24 ウェアラブル装置、制御方法及び制御プログラム

Country Status (3)

Country Link
US (1) US10477090B2 (ja)
JP (5) JP6409118B2 (ja)
WO (1) WO2016136838A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150831A1 (ja) * 2017-02-16 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2019179387A (ja) * 2018-03-30 2019-10-17 Necソリューションイノベータ株式会社 モーション判定装置、モーション判定方法、及びプログラム
JPWO2018185830A1 (ja) * 2017-04-04 2019-12-26 株式会社オプティム 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム
WO2020145212A1 (en) * 2019-01-11 2020-07-16 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
JP2020113974A (ja) * 2019-01-11 2020-07-27 株式会社リコー 撮像装置、方法およびプログラム
JP2020198108A (ja) * 2017-04-28 2020-12-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2021519996A (ja) * 2019-02-01 2021-08-12 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド ユーザの姿勢変化に基づく仮想対象の制御
JP2022140636A (ja) * 2015-02-25 2022-09-26 京セラ株式会社 ウェアラブル装置、方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846825B2 (en) * 2015-03-31 2020-11-24 Pioneer Corporation Display control apparatus, information processing apparatus, display control method, program for display control, and recording medium
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
US10043487B2 (en) * 2015-06-24 2018-08-07 Samsung Electronics Co., Ltd. Apparatus and method for split screen display on mobile device
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
JP7562282B2 (ja) 2019-06-28 2024-10-07 キヤノン株式会社 撮像表示装置、およびウェアラブルデバイス
JP7478291B1 (ja) 2023-08-08 2024-05-02 ユーソナー株式会社 情報処理システム、情報処理装置、プログラム、アプリケーションソフトウェア、端末装置及び情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138858A (ja) * 1998-11-02 2000-05-16 Fuji Photo Film Co Ltd 電子カメラシステム
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010213057A (ja) * 2009-03-11 2010-09-24 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体
JP2013190925A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP2013210643A (ja) * 2013-04-26 2013-10-10 Sony Corp 表示装置、表示方法
JP2014241099A (ja) * 2013-06-12 2014-12-25 株式会社ニコン 撮像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3867039B2 (ja) * 2002-10-25 2007-01-10 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005047331A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 制御装置
JP2006279793A (ja) 2005-03-30 2006-10-12 Fuji Photo Film Co Ltd カメラ用クレードル及び撮影システム
US8217895B2 (en) * 2006-04-28 2012-07-10 Mtekvision Co., Ltd. Non-contact selection device
JP4203863B2 (ja) 2007-07-27 2009-01-07 富士フイルム株式会社 電子カメラ
JP5299127B2 (ja) * 2009-07-01 2013-09-25 カシオ計算機株式会社 撮像装置及びプログラム
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
JP5641970B2 (ja) * 2011-02-18 2014-12-17 シャープ株式会社 操作装置、再生装置及びテレビ受信装置
CN103608761B (zh) * 2011-04-27 2018-07-27 日本电气方案创新株式会社 输入设备、输入方法以及记录介质
JP5885395B2 (ja) 2011-04-28 2016-03-15 オリンパス株式会社 撮影機器及び画像データの記録方法
JP2013190941A (ja) * 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
JP5962403B2 (ja) * 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
WO2014128751A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US9367169B2 (en) * 2014-03-31 2016-06-14 Stmicroelectronics Asia Pacific Pte Ltd Method, circuit, and system for hover and gesture detection with a touch screen
US10477090B2 (en) * 2015-02-25 2019-11-12 Kyocera Corporation Wearable device, control method and non-transitory storage medium
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138858A (ja) * 1998-11-02 2000-05-16 Fuji Photo Film Co Ltd 電子カメラシステム
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010213057A (ja) * 2009-03-11 2010-09-24 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体
JP2013190925A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP2013210643A (ja) * 2013-04-26 2013-10-10 Sony Corp 表示装置、表示方法
JP2014241099A (ja) * 2013-06-12 2014-12-25 株式会社ニコン 撮像装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022140636A (ja) * 2015-02-25 2022-09-26 京セラ株式会社 ウェアラブル装置、方法及びプログラム
US11170580B2 (en) 2017-02-16 2021-11-09 Sony Corporation Information processing device, information processing method, and recording medium
JP7095602B2 (ja) 2017-02-16 2022-07-05 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体
CN110506249A (zh) * 2017-02-16 2019-11-26 索尼公司 信息处理设备、信息处理方法和记录介质
JPWO2018150831A1 (ja) * 2017-02-16 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2018150831A1 (ja) * 2017-02-16 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JPWO2018185830A1 (ja) * 2017-04-04 2019-12-26 株式会社オプティム 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム
US11896893B2 (en) 2017-04-28 2024-02-13 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US11077360B2 (en) 2017-04-28 2021-08-03 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US11617942B2 (en) 2017-04-28 2023-04-04 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JP2020198108A (ja) * 2017-04-28 2020-12-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11260287B2 (en) 2017-04-28 2022-03-01 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JP2019179387A (ja) * 2018-03-30 2019-10-17 Necソリューションイノベータ株式会社 モーション判定装置、モーション判定方法、及びプログラム
JP7239132B2 (ja) 2018-03-30 2023-03-14 Necソリューションイノベータ株式会社 モーション判定装置、モーション判定方法、及びプログラム
WO2020145212A1 (en) * 2019-01-11 2020-07-16 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
US11388332B2 (en) 2019-01-11 2022-07-12 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
JP2020113974A (ja) * 2019-01-11 2020-07-27 株式会社リコー 撮像装置、方法およびプログラム
JP7516755B2 (ja) 2019-01-11 2024-07-17 株式会社リコー 撮像装置、方法およびプログラム
US11429193B2 (en) 2019-02-01 2022-08-30 Beijing Sensetime Technology Development Co., Ltd. Control of virtual objects based on gesture changes of users
JP7104179B2 (ja) 2019-02-01 2022-07-20 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド ユーザの姿勢変化に基づく仮想対象の制御
JP2021519996A (ja) * 2019-02-01 2021-08-12 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド ユーザの姿勢変化に基づく仮想対象の制御

Also Published As

Publication number Publication date
JP6409118B2 (ja) 2018-10-17
US20180063397A1 (en) 2018-03-01
JP2020080543A (ja) 2020-05-28
JP2021073579A (ja) 2021-05-13
JP2019036974A (ja) 2019-03-07
US10477090B2 (en) 2019-11-12
JPWO2016136838A1 (ja) 2017-09-14
JP2022140636A (ja) 2022-09-26
JP6652613B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6409118B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP6400197B2 (ja) ウェアラブル装置
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
JP7459798B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2018150831A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN113709410A (zh) 基于mr眼镜的人眼视觉能力增强的方法、系统及设备
CN109644235B (zh) 用于提供混合现实图像的方法、设备和计算机可读介质
JP5766957B2 (ja) ジェスチャ入力装置
JP7009096B2 (ja) 電子機器およびその制御方法
WO2013190906A1 (ja) 表示制御装置および撮像装置ならびに表示制御方法
JP7059934B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
JP2015225374A (ja) 情報処理装置、方法及びプログラム並びに記録媒体
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP2019179080A (ja) 情報処理装置、情報処理方法およびプログラム
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
CN104427226B (zh) 图像采集方法和电子设备
CN113853569A (zh) 头戴式显示器
JP6817350B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP2015056825A (ja) 撮像装置、その制御方法及びプログラム
JP6269692B2 (ja) 表示装置、電子機器、およびプログラム
JP5879856B2 (ja) 表示装置、表示方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16755582

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017502443

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15553236

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16755582

Country of ref document: EP

Kind code of ref document: A1