WO2016208216A1 - ユーザインタフェース装置および距離センサ - Google Patents

ユーザインタフェース装置および距離センサ Download PDF

Info

Publication number
WO2016208216A1
WO2016208216A1 PCT/JP2016/054637 JP2016054637W WO2016208216A1 WO 2016208216 A1 WO2016208216 A1 WO 2016208216A1 JP 2016054637 W JP2016054637 W JP 2016054637W WO 2016208216 A1 WO2016208216 A1 WO 2016208216A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
user
image
distance information
unit
Prior art date
Application number
PCT/JP2016/054637
Other languages
English (en)
French (fr)
Inventor
山本　浩誠
櫛比　裕一
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Publication of WO2016208216A1 publication Critical patent/WO2016208216A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to a user interface device and a distance sensor for detecting a user operation.
  • a user interface device that detects a gesture of a user's hand or finger with respect to an image displayed on a head-mounted display or a flat panel display and enables a non-contact input operation is known.
  • a distance image sensor, a camera, or the like is used to detect an operation of a non-contact user.
  • Patent Document 1 discloses a head-mounted display using a non-contact input device that realizes key operations only with the movement of a finger.
  • a hand is photographed with a camera or the like in the field of view of the head mounted display, the positions and movements of a plurality of fingertips are detected from the photographed image, and each time when three or more fingertips are detected.
  • An icon image is displayed near the fingertip.
  • the key operation of the icon image is executed.
  • Patent Document 1 when detecting a key operation on a user's icon image, positions and movements of a plurality of fingertips are detected from the captured image, and the icon image to be operated is determined based on the detection result of the fingertip in the captured image. Is displayed. For this reason, it is necessary to perform a detection process for detecting the position and movement of the fingertips of the hand on the entire captured image captured within a predetermined range within the field of view of the head mounted display. There was a problem that power consumption was large.
  • the user interface device detects a user operation based on the movement of an object.
  • the user interface device includes an imaging unit, a distance information generation unit, and a control unit.
  • the imaging unit captures an object and generates a captured image.
  • the distance information generation unit generates distance information indicating the distance to the object based on the captured image generated by the imaging unit.
  • the control unit detects a user operation based on the distance information generated by the distance information generation unit. In the distance information, the control unit detects the user's operation from a limited region of the region that can be imaged by the imaging unit.
  • the distance sensor includes an imaging unit and a distance information generation unit.
  • the imaging unit captures an object and generates a captured image.
  • the distance information generation unit generates distance information indicating the distance to the object based on the captured image generated by the imaging unit.
  • the distance sensor outputs distance information based on an instruction from an external device, limited to a part of the area that can be imaged by the imaging unit.
  • the region that is targeted for detection of the user's operation by the control unit is limited to a part of the region that can be imaged by the imaging unit. Power consumption when detecting an operation can be reduced.
  • the distance information is output by limiting the imaging unit to a part of the imageable area based on an instruction from the external device. It is possible to reduce power consumption when detecting a user operation.
  • FIG. 9 is a sequence diagram illustrating a user operation detection operation according to the first embodiment.
  • the figure for demonstrating the distance image in the detection operation of a user's operation The figure for demonstrating the detection operation
  • FIG. 10 is a sequence diagram illustrating a user operation detection operation according to the second embodiment.
  • FIG. 10 is a sequence diagram illustrating a user operation detection operation according to the third embodiment.
  • a distance image sensor will be described as an example of the distance sensor according to the present invention.
  • FIG. 1 is a schematic diagram illustrating an appearance of a smart glass according to the first embodiment.
  • FIG. 2 is a diagram for explaining an example of how to use smart glasses.
  • the smart glass 2 includes a distance image sensor 1 and a display unit 20 as shown in FIG.
  • the smart glass 2 is a wearable terminal equipped with a glasses-type head mounted display.
  • the smart glass 2 is an example of a user interface device that detects a user operation using the distance image sensor 1. As shown in FIG. 1, the user can visually recognize an image displayed by the smart glass 2 by wearing the smart glass 2 and directing his / her line of sight toward the display unit 20 of the head mounted display.
  • the smart glass 2 uses the display unit 20, for example, whether an operation member or the like exists in an area within a range of 10 cm to 1 m in the depth direction of the line of sight.
  • the distance image sensor 1 is used to determine the distance to an object such as a finger 5. Detect and detect user operations.
  • the smart glass 2 is desired to be compact for comfort during use, and the battery must be downsized. For this reason, it is important to reduce power consumption during operation.
  • the power consumption can be reduced by limiting the area where the object is detected using the distance image sensor 1 according to the area where the user can visually recognize the operation member using the display unit 20. .
  • the configuration of the smart glass 2 and the distance image sensor 1 according to the present embodiment will be described.
  • the display unit 20 is a transmissive display device provided with a half mirror as shown in FIG.
  • the display unit 20 displays a predetermined image indicating the operation member and the like, and projects a virtual image through the half mirror, thereby allowing the user to visually recognize the displayed image so as to overlap the user's visual field. Thereby, the user can visually recognize as if an operation member etc. exist in the space in front of eyes.
  • the image displayed by the display unit 20 is an image showing operation members such as a switch, a button, a keyboard, a cursor, and an icon, for example.
  • the distance image sensor 1 is a sensor device that measures a distance in a TOF (Time-Of-Flight) system. As shown in FIG. 2, the distance image sensor 1 is installed in the vicinity of the display unit 20 in the smart glass 2, and the distance measurement direction is directed parallel to the image projection direction by the display unit 20. The distance image sensor 1 generates a distance image indicating the distance to the smart glass 2 in the depth direction across the horizontal direction and the horizontal direction of the user's visual field.
  • the distance image sensor 1 is an example of a distance sensor that generates a distance image as distance information indicating a distance to an object such as a user's finger 5. Details of the configuration of the distance image sensor 1 will be described later.
  • FIG. 3 is a block diagram showing the configuration of the smart glass 2. As shown in FIG. 3, the smart glass 2 includes a control unit 21, a storage unit 22, and a communication unit 23.
  • the control unit 21 is composed of, for example, a CPU and an MPU, and controls the operation of the entire smart glass 2.
  • the control unit 21 implements various functions by executing a predetermined program.
  • the control unit 21 may be realized by a hardware circuit (ASIC, FPGA, etc.) such as a dedicated electronic circuit or a reconfigurable electronic circuit.
  • the control unit 21 detects the object based on the distance image from the distance image sensor 1 and determines the user's operation. Specifically, the control unit 21 performs predetermined image processing on the distance image input from the distance image sensor 1, and controls the area in which the object (user's hand) is reflected in the distance image. The detection processing of the finger 5 and the detection processing of the movement of the finger 5 are performed. In addition, when detecting a specific user operation, the control unit 21 updates the image display of the display unit 20 or executes a predetermined function corresponding to the detected user operation.
  • the storage unit 22 is a storage medium that stores parameters, data, and programs necessary for realizing various functions of the control unit 21, and stores a control program executed by the control unit 21 and various data. ing.
  • the storage unit 22 is composed of, for example, a ROM or a flash memory.
  • the communication unit 23 is an interface circuit for performing information communication with an external device by a wireless signal.
  • the communication unit 23 performs wireless communication with an external device according to a communication method such as Wi-Fi, Bluetooth (registered trademark), 3G, or LTE.
  • the user interface function and the information processing function are integrally realized by causing the control unit 21 to detect a user operation and execute a function corresponding to the user operation.
  • the smart glass 2 may implement only the user interface function. For example, when the control unit 21 determines a user operation, information regarding the user operation detected by the external information processing apparatus via the communication unit 23 is displayed. You may make it transmit.
  • FIG. 4 is a block diagram showing a configuration of the distance image sensor 1 in the smart glass 2.
  • the distance image sensor 1 includes an LED (light emitting diode) 10, a sensor circuit 3, and a TOF signal processing unit 4.
  • the distance image sensor 1 emits light from the LED 10, the reflected light is received by the sensor circuit 3, and the TOF signal processing unit 4 generates a distance image based on the distance according to the propagation period of the reflected light.
  • the distance image sensor 1 includes a lens 11, a holder 12, and a circuit board 13.
  • the LED 10 is attached to the outer surface of the holder 12 as shown in FIG.
  • the LED 10 emits light having a wavelength band in the infrared region (hereinafter referred to as “LED light”) toward the outside of the holder 12.
  • the LED light is irradiated with pulse modulation under the control of the TOF signal processing unit 4.
  • the LED 10 is an example of a light source unit that emits light having a predetermined wavelength band as irradiation light.
  • the sensor circuit 3 is composed of, for example, a charge distribution type CMOS (complementary metal oxide semiconductor) image sensor circuit.
  • the sensor circuit 3 has an imaging surface, and receives and reflects reflected light of the LED light in synchronization with the irradiation of the LED light.
  • the sensor circuit 3 is integrated on one semiconductor chip and attached to the circuit board 13 inside the holder 12.
  • a lens 11 such as a barrel lens is attached to the outer surface of the holder 12 so as to cover the imaging surface of the sensor circuit 3 at a predetermined interval.
  • the lens 11 condenses light from the outside of the holder 12 on the imaging surface of the sensor circuit 3.
  • the sensor circuit 3 is an example of an imaging unit that captures an object in synchronization with the irradiation of LED light and generates a captured image. Details of the configuration of the sensor circuit 3 will be described later.
  • the TOF signal processing unit 4 includes a circuit that performs various signal processing for generating a distance image in the TOF method, and includes a sensor control unit 40, a memory 41, and a distance calculation unit 42.
  • the TOF signal processing unit 4 is composed of, for example, an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), and is integrated on the circuit board 13.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the sensor control unit 40 is configured by a logic circuit or the like, and controls various circuits included in the TOF signal processing unit 4.
  • the sensor control unit 40 controls the LED light of the LED 10 to be pulse-modulated and transmits an imaging command to the sensor circuit 3 to synchronously control the LED 10 and the sensor circuit 3. Control for pulse modulating the LED light of the LED 10 may be performed from the sensor circuit 3.
  • the memory 41 is a storage medium that stores various information such as data and parameters for realizing the function of the distance image sensor 1.
  • the memory 41 is constituted by a flash memory, for example.
  • the distance calculation unit 42 is composed of an arithmetic circuit capable of performing four arithmetic operations.
  • the distance calculation unit 42 calculates a distance based on the propagation period of the reflected light received by the sensor circuit 3 based on the imaging result of the sensor circuit 3.
  • the distance calculation unit 42 calculates distance data indicating a distance for each pixel and generates a distance image.
  • the distance calculation unit 42 is an example of a distance information generation unit that generates a distance image as distance information.
  • FIG. 5 is a block diagram showing a configuration of the sensor circuit 3 in the distance image sensor 1.
  • the sensor circuit 3 includes a plurality of pixel circuits 30 and peripheral circuits such as a gate drive circuit 31, a vertical scanning circuit 32, and a horizontal readout circuit 33.
  • the plurality of pixel circuits 30 are arranged in a matrix in the horizontal direction and the vertical direction on the imaging surface.
  • the pixel circuit 30 includes a photodiode and a MOS transistor, and holds charges according to the amount of light received as a result of imaging. For example, in the charge distribution method, each pixel circuit 30 accumulates charges corresponding to a plurality of received light amounts in time division in synchronization with the irradiation of LED light.
  • the gate driving circuit 31 is a circuit for driving various MOS transistors included in the pixel circuit 30 in accordance with an imaging command from the sensor control unit 40 and controlling a light receiving operation during imaging.
  • the sensor circuit 3 generates a captured image having information of reflected light of the LED light by causing the pixel circuit 30 to receive light in synchronization with the irradiation of the LED light by driving the gate driving circuit 31.
  • the vertical scanning circuit 32 is a circuit for vertically scanning the pixel circuits 30 arranged in a matrix in the reading operation of the imaging result to the outside of the sensor circuit 3.
  • the vertical scanning circuit 32 sequentially outputs a selection signal for each pixel circuit 30 arranged in one row.
  • the horizontal readout circuit 33 is a circuit for reading out imaging data, which is image data indicating an image captured by the sensor circuit 3, to the TOF signal processing unit 4.
  • the horizontal readout circuit 33 has a plurality of A / D (analog / digital) converters 35.
  • the horizontal readout circuit 33 converts the received light amount of the analog value from the pixel circuit 30 to which the selection signal is input from the vertical scanning circuit 32 into a digital value (A / D conversion), and uses the TOF signal processing unit 4 as imaging data. It outputs to the distance calculation part 42.
  • the imaging data includes, for example, a plurality of image data in which the amount of reflected light received is distributed in synchronization with LED light irradiation.
  • FIG. 6A shows a display example of the operation screen by the smart glass 2.
  • FIG. 6B is a diagram for explaining a detection area of the distance image sensor 1.
  • FIG. 6C shows a display example of the operation screen when the user performs an operation.
  • FIG. 6D is a diagram for explaining a detection target area of a user operation on the operation screen.
  • the user wearing the smart glass 2 visually recognizes the operation screen A1 by displaying an image showing the operation screen A1.
  • the operation screen A1 includes icon images corresponding to various functions of the smart glass 2 and text images explaining functions corresponding to the icon images.
  • the display unit 20 appropriately sets the display position of the operation screen A1 in a predetermined displayable area according to the use state of the user.
  • the operation screen A1 is visually recognized at the display position of the distance d1 in the depth direction of the user's visual field within the displayable area.
  • the distance image sensor 1 captures a region image (detection area A2) including a display position where the operation screen A1 is visually recognized. Generate.
  • the control unit 21 of the smart glass 2 is based on the distance image from the distance image sensor 1.
  • the coordinate and distance of the finger are detected, and the pressed icon image is determined.
  • the control unit 21 updates the image display such as emphasizing the text image corresponding to the pressed icon image.
  • the detection area A2 of the distance image sensor 1 is displayed as shown in FIG. It is set over the entire displayable area of the unit 20.
  • the distance image of the distance image sensor 1 also includes distance data related to coordinates away from the coordinates of the display position of the operation screen A1, so that the image processing of the distance image by the control unit 21 is irrelevant to the user's operation. A processing load on the distance data is generated.
  • an area (hereinafter referred to as “detection target area”) R1 for detecting an operation on the operation screen A1 is set.
  • the control unit 21 restricts the area for detecting the user operation to a part of the detection area A2 detected by the distance image sensor 1. Thereby, the processing load of the image processing by the control part 21 is reduced, and the reduction of the power consumption and the responsiveness in the detection operation of the user operation can be improved.
  • FIG. 7 is a sequence diagram illustrating a user operation detection operation according to the present embodiment.
  • FIG. 8 is a diagram for explaining a distance image in the detection operation of the user's operation.
  • control unit 21 causes the display unit 20 to display an image corresponding to the operation screen A1 (S1).
  • the operation screen A1 is visually recognized at a specific display position in the displayable area of the display unit 20 by the user wearing the smart glass 2 (see FIGS. 6A and 6B).
  • control unit 21 sets the detection target region R1 based on the display position of the operation screen A1 (S2).
  • the control unit 21 calculates the coordinates of the detection target region R1 on the distance image based on the display position of the operation screen A1, and records the coordinate information indicating the coordinates of the detection target region R1 in the storage unit 22.
  • control unit 21 sends a distance image generation command to the TOF signal processing unit 4 of the distance image sensor 1 in order to collect distance data in the set detection target region R1 (S3).
  • the sensor control unit 40 of the TOF signal processing unit 4 transmits to the sensor circuit 3 an imaging command for imaging in synchronization with the irradiation of the LED light from the LED 10 ( S11).
  • Sensor circuit 3 receives an imaging command from sensor control unit 40 (S21).
  • the sensor circuit 3 images the detection area A2 by driving the pixel circuit 30 at a timing based on the received imaging command and receiving the reflected light of the LED light (S22).
  • the amount of light received by each pixel circuit 30 is A / D converted by the horizontal readout circuit 33 to generate imaging data.
  • the sensor circuit 3 transmits the generated imaging data to the TOF signal processing unit 4 (S23).
  • the TOF signal processing unit 4 receives imaging data from the sensor circuit 3 (S12).
  • the distance calculation unit 42 of the TOF signal processing unit 4 generates a distance image by calculating a distance based on the propagation period of the reflected light received for each pixel circuit 30 based on the received imaging data (S13).
  • the TOF signal processing unit 4 outputs the generated image data of the distance image to the control unit 21 (S14).
  • the control unit 21 acquires the image data of the distance image from the distance image sensor 1 (S4).
  • FIG. 8A shows an example of the distance image G1 acquired from the distance image sensor 1.
  • the user's hand and the background are shown in the distance image G1, indicating that the hand is at a distance closer to the background and the display position of the operation screen A1.
  • the image data of the distance image G1 from the distance image sensor 1 is image data over the entire detection area A2 (see FIG. 6B) of the distance image sensor 1.
  • the control unit 21 detects an object such as a user's hand or finger based on the distance image G2 limited to the detection target region R1 (S5).
  • the distance image G2 that is a detection target of the user's operation is limited within the range of the detection target region R1.
  • the control unit 21 performs image processing for separating and recognizing an area where the object is reflected on the distance image, and detection processing of the position of the fingertip in the area where the hand (object) is reflected.
  • the hand is reflected at a distance closer than the distance d1 (see FIG. 6B) to the operation screen A1, while the background is displayed. It is reflected at a position farther than the distance d1.
  • the control unit 21 extracts data of pixels at a distance closer than a predetermined distance (for example, distance d1) in the image processing with respect to the distance image G2 illustrated in FIG.
  • a predetermined distance for example, distance d1
  • the control unit 21 detects the position of the fingertip of the hand by extracting the coordinates and distance values of the tip portion in the distance image G2 'shown in FIG.
  • the distance image G2 FIG. 8B
  • the size of the image data to be processed by the control unit 21 is reduced, and the detection of the object is performed. Data amount and operation amount can be reduced.
  • the control unit 21 determines whether or not an operation such as pressing the icon image being visually recognized by the user with a finger has been performed (S6). For example, the control unit 21 detects the user operation by comparing the display position of the icon image on the operation screen A1 and the detected position of the fingertip on the distance image G2 'shown in FIG. 8C.
  • the control unit 21 repeatedly performs the processing after step S3 until it detects a user operation (No in S6).
  • the control unit 21 repeatedly acquires a distance image from the distance image sensor 1 (S4) and detects the object (S5) to detect the movement of the object.
  • the control unit 21 When the control unit 21 detects a user operation (Yes in S6), the control unit 21 updates the display by the display unit 20 according to the detected operation (S7). For example, when the control unit 21 detects an operation of pushing an icon image on the operation screen A1, the control unit 21 determines an icon image that is a target of the push operation, and corresponds to the determined icon image to be displayed on the display unit 20. The text image is changed (see FIG. 6C).
  • the region where the control unit 21 performs image processing as a target of detection of the user's operation is limited to the detection target region R1, and thus the user's operation is detected.
  • the power consumption by the control unit 21 at the time can be reduced.
  • the detection processing load is reduced. For this reason, while being able to reduce power consumption, for example, it is possible to detect the movement of the object while maintaining a desired period such as 1/30 second, and to improve the responsiveness to the user's operation.
  • the smart glass 2 is a user interface device that detects a user operation based on the movement of an object such as the finger 5.
  • the smart glass 2 includes a sensor circuit 3, a distance calculation unit 42, and a control unit 21.
  • the sensor circuit 3 captures an object and generates imaging data.
  • the distance calculation unit 42 generates a distance image indicating the distance to the object based on the imaging data generated by the sensor circuit 3.
  • the control unit 21 detects a user operation based on the distance image generated by the distance calculation unit 42. In the distance image, the control unit 21 detects a user operation from a limited region R1 in a part of the detection area A2 that the sensor circuit 3 can capture.
  • the detection target region R1 that is the target of the detection of the user's operation by the control unit 21 is limited to a part of the region that can be imaged by the sensor circuit 3. Power consumption when detecting an operation can be reduced.
  • control unit 21 acquires a distance image from the distance calculation unit 42, and in the acquired distance image, a region in which a user operation is detected in a part of the detection area A2 that can be imaged by the sensor circuit 3. May be restricted. Thereby, the data amount of the distance information to be processed by the control unit 21 is reduced, and the processing load on the control unit 21 can be reduced.
  • the smart glass 2 may further include a display unit 20 that displays an image.
  • the detection area A2 that can be imaged by the sensor circuit 3 may include a display position where an image is visually recognized by the user. Thereby, when detecting operation with respect to the image which a user visually recognizes, power consumption can be reduced.
  • the image displayed by the display unit 20 may include an operation member. Thereby, the user can visually recognize the operation member and operate the smart glass 2.
  • the detection target region R1 may be a region corresponding to a region for detecting a user operation. Therefore, when detecting a user operation for executing a predetermined function such as a user operation on the icon image on the operation screen A1, power consumption can be reduced.
  • FIG. 9A shows a detection area of the range image sensor for smart glasses according to the present embodiment.
  • FIG. 9B shows an example of a distance image generated by the distance image sensor shown in FIG.
  • the detection area A2 of the distance image sensor 1A is the displayable area of the display unit 20 as in the distance image sensor 1 of the first embodiment. It is set throughout.
  • the distance image sensor 1A restricts the area for calculating the distance in the imaging result of the detection area A2 based on the detection target area R1.
  • the distance calculation unit 42 (see FIG. 3) of the distance image sensor 1A calculates the distance for the data outside the detection target region R1, as shown in FIG.
  • the distance is calculated only for the data in the detection target region R1 without performing the above.
  • the processing load is reduced by generating the distance image G2a limited to the detection target region R1 in the distance image sensor 1A, and the power consumption of the distance image sensor 1A can be further reduced.
  • FIG. 10 is a sequence diagram illustrating a user operation detection operation according to the present embodiment.
  • steps S3A and S13A are performed instead of steps S3 and S13 in FIG. 7 in the first embodiment.
  • step S3A the control unit 21 transmits the coordinate information of the detection target region R1 to the TOF signal processing unit 4 together with the distance image generation command.
  • the coordinate information of the detection target region R1 is recorded in the memory 41 of the TOF signal processing unit 4.
  • the TOF signal processing unit 4 When receiving the imaging data from the sensor circuit 3 (S12), the TOF signal processing unit 4 refers to the coordinate information recorded in the memory 41, calculates the distance only in the detection target region R1 in the distance calculation unit 42, A distance image G2a is generated (S13A). Thereby, since the number of pixels for calculating the distance is reduced, the power consumption in the distance image sensor 1 can be reduced.
  • the control unit 21 of the smart glass 2A acquires the distance image G2a that is limited in advance to the detection target region R1 from the distance image sensor 1A, so that it is possible to reduce the load of image processing and to reduce power consumption. . Also in the distance image sensor 1A, power consumption can be reduced by reducing the number of pixels for calculating the distance.
  • the distance calculation unit 42 generates distance information in a part of the entire area in the imaging data generated by the sensor circuit 3. Limit. Thereby, by generating the distance image limited to the detection target region R1 by the distance calculation unit 42, the processing load of the distance calculation unit 42 is reduced, and the power consumption can be reduced.
  • the distance image sensor 1A includes a sensor circuit 3 and a distance calculation unit 42.
  • the sensor circuit 3 captures an object such as the finger 5 and generates image data.
  • the distance calculation unit 42 generates a distance image indicating the distance to the object based on the imaging data generated by the sensor circuit 3.
  • the range image sensor 1A outputs a range image by limiting to a part of the detection target region R1 in the detection area A2 that can be imaged by the sensor circuit 3 based on an instruction from the control unit 21 of the smart glass 2A. . Thereby, the power consumption at the time of detecting a user's operation in the control part 21 can be reduced.
  • the distance image sensor 1A may further include an LED 10 that irradiates an object with LED light.
  • the distance image may be generated based on a propagation period of reflected light in the LED light object.
  • the distance calculation unit 42 of the distance image sensor 1A limits the area in which the distance is calculated.
  • the area to be imaged is limited by the sensor circuit of the distance image sensor. This also makes it possible to further reduce power consumption due to the operation of the distance image sensor.
  • the smart glass and the distance image sensor according to the present embodiment will be described.
  • FIG. 11 shows the detection area of the distance image sensor of the smart glass which concerns on this embodiment.
  • FIG.11 (b) shows an example of the distance image produced
  • FIG. 12 is a block diagram illustrating a configuration of a sensor circuit of the distance image sensor according to the present embodiment.
  • the detection area A2 ′ of the distance image sensor 1B includes a part including the detection target region R1 in the entire displayable area of the display unit 20. Restrict to the area. For this reason, as shown in FIG. 11B, the sensor circuit 3 of the distance image sensor 1B captures only the inside of the detection target region R1 without capturing the region outside the detection target region R1.
  • the sensor circuit 3 of the distance image sensor 1B limits the pixel circuit 30 that performs an imaging operation in accordance with an ROI (Region-Of-Interest) command input from the sensor control unit 40 of the distance image sensor 1B. It has a function.
  • the ROI command is a command for designating a partial area on the light receiving surface and operating the pixel circuit 30 only in the designated area.
  • the ROI command designates a pixel area corresponding to the detection area A2 'on the imaging surface of the sensor circuit (see FIG. 5).
  • the readout operation by the vertical scanning circuit 32 and the horizontal readout circuit 33 is limited to the pixel circuit 30 corresponding to the outside of the detection target region R1 illustrated in FIG.
  • movement can be reduced.
  • the gate drive circuit 31 may be controlled by the ROI command to limit the light receiving operation of the pixel circuit 30. In this case, the power consumption of the light receiving operation for each pixel circuit 30 of the sensor circuit 3 can also be reduced.
  • FIG. 12 is a sequence diagram illustrating a user operation detection operation according to the present embodiment.
  • steps S11, S21, and S22 of FIG. 10 instead of steps S11, S21, and S22 of FIG. 10 in the second embodiment, steps S11A, S21A, and S22A are performed.
  • step S11A the sensor control unit 40 of the TOF signal processing unit 4 generates a ROI command for designating the detection area A2 ′ surrounding the detection target region R1 based on the coordinate information from the control unit 21, and together with the imaging command. Transmit to the sensor circuit 3.
  • the sensor circuit 3 receives the ROI command and the imaging command from the TOF signal processing unit 4 (S21A). Based on the received ROI command and imaging command, the sensor circuit 3 limits the detection target area to the detection area A2 'and performs an imaging operation (S22A). As a result, the number of pixel circuits 30 to be subjected to the imaging operation is reduced, so that power consumption in the sensor circuit 3 of the distance image sensor 1B can be reduced.
  • the power consumption at the time of imaging of the sensor circuit 3 can be reduced in the distance image sensor 1B. Moreover, since the control part 21 of the smart glass 2B acquires the distance image G2b previously restricted to the detection target region R1 from the distance image sensor 1B, it is possible to reduce power consumption in image processing and the like.
  • the sensor circuit 3 restricts an area in which imaging data is generated to a part of the area of pixels that can image an object. Thereby, since the number of pixels used for the imaging operation is reduced, the power consumption in the sensor circuit 3 of the distance image sensor 1B can be further reduced.
  • the detection target region R1 is set based on the image display of the display unit 20, but the detection target region that is a detection target of the user operation is set without being related to the image being displayed. May be.
  • the detection target area of the user operation may be set to a predetermined area as a part of the detection area. This will be specifically described with reference to FIG.
  • the smart glass 2 is in a standby state, and the display unit 20 does not display an image.
  • the standby state when the user performs an operation such as holding the finger 5 over a space at a specific position fixed to the smart glass 2, an image is newly displayed on the display unit 20, or the smart glass 2 is displayed.
  • the distance image sensor 1 is used to detect a user operation. In this way, by setting the detection target region R2 that is a target for detecting the user's operation as a predetermined region in the detection area A2 of the distance image sensor 1, the power consumption in the standby state is reduced. be able to.
  • the TOF type distance image sensor 1 is shown as an example of the distance sensor.
  • the distance sensor according to the present invention is not limited to the TOF type distance image sensor. It may be a sensor, a stereo camera, an infrared camera, or the like.
  • the distance is measured by triangulation.
  • the detection area limit is set by providing a margin from the region that is actually detected by the user's operation in the horizontal direction in consideration of parallax in triangulation.
  • the distance is calculated by comparing data between captured pixels. For this reason, even when a pattern irradiation type distance image sensor is used as the distance sensor, the detection area is limited by setting a margin from the area that is actually detected by the user's operation.
  • the sensor control unit 40 and the distance calculation unit 42 are separately configured in the TOF signal processing unit 4.
  • the present invention is not limited thereto, and the sensor control unit 40 and the distance calculation in the TOF signal processing unit 4. You may implement
  • control unit 21 when the control unit 21 detects a user operation, the control unit 21 updates the image display on the display unit 20.
  • the control unit 21 instead of updating the image display, for example, reproduction of sound data or communication with an external device is performed.
  • a predetermined function such as communication may be executed.
  • the display unit 20 is a transmissive display device that projects a virtual image.
  • the display unit 20 is not limited thereto, and for example, a display device that displays parallax images for both eyes can be used.
  • a predetermined image may be visually recognized in the space before.
  • the display unit may be a flat panel display.
  • a predetermined image for example, a hologram
  • the detection target region may be set for the stereoscopically viewed image.
  • a detection target region may be set in a space covering the display surface.
  • the smart glasses 2 that are eyeglass-type wearable terminals are illustrated as an example of the user interface device, but the user interface device according to the present invention is not limited thereto.
  • it may be another wearable terminal such as a clock type, or a user interface device mounted on a smartphone, a tablet terminal, a mobile phone, a notebook PC (personal computer), a digital camera, a portable game machine, or the like. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザインタフェース装置（２）は、対象物（５）の動きに基づきユーザの操作を検出する。ユーザインタフェース装置（２）は、撮像部（３）と、距離情報生成部（４２）と、制御部（２１）とを備える。撮像部は、対象物を撮像し、撮像画像を生成する。距離情報生成部は、により生成された撮像画像に基づいて、対象物までの距離を示す距離情報を生成する。制御部は、距離情報生成部によって生成された距離情報に基づいて、ユーザの操作を検出する。制御部は、距離情報において、撮像部が撮像可能な領域（Ａ１）の内の一部の制限された領域（Ｒ１）から、ユーザの操作を検出する。

Description

ユーザインタフェース装置および距離センサ
　本発明は、ユーザの操作を検出するユーザインタフェース装置および距離センサに関する。
　ヘッドマウントディスプレイやフラットパネルディスプレイなどに表示される画像に対して、ユーザの手や指などによるジェスチャーを検出し、非接触の入力操作を可能にするユーザインタフェース装置が知られている。ユーザインタフェース装置では、非接触のユーザの操作を検出するために、距離画像センサやカメラなどが用いられる。
　特許文献１は、指の動きのみでキー操作を実現する非接触入力装置を用いたヘッドマウントディスプレイを開示している。特許文献１の非接触入力装置では、ヘッドマウントディスプレイの視野において手をカメラなどで撮影し、撮影画像から複数の指先の位置及び動きを検出し、三本以上の指先が検出されたときに各指先の近傍にアイコン画像を表示している。特許文献１では、撮影画像から検出した指先の位置関係に基づいて、いずれかの指先が相対的にずれたことを検出したときに、アイコン画像のキー操作を実行している。
特開２０１３－６１８４８号公報
　特許文献１では、ユーザのアイコン画像へのキー操作を検出する際に、撮影画像から複数の指先の位置及び動きが検出され、撮影画像における指先の検出結果に基づいて、操作対象のアイコン画像が表示される。このため、ヘッドマウントディスプレイの視野内の所定範囲で撮影された撮影画像全体に対して、映り込んだ手の指先の位置や動きを検出するための検出処理を行う必要があり、処理負荷を費やして消費電力が大きいという問題があった。
　本発明は、ユーザの操作の検出を行う際の消費電力を低減することができるユーザインタフェース装置、及び距離センサを提供することを目的とする。
　本発明の一態様に係るユーザインタフェース装置は、対象物の動きに基づきユーザの操作を検出する。ユーザインタフェース装置は、撮像部と、距離情報生成部と、制御部とを備える。撮像部は、対象物を撮像し、撮像画像を生成する。距離情報生成部は、撮像部により生成された撮像画像に基づいて、対象物までの距離を示す距離情報を生成する。制御部は、距離情報生成部によって生成された距離情報に基づいて、ユーザの操作を検出する。制御部は、距離情報において、撮像部が撮像可能な領域の内の一部の制限された領域から、ユーザの操作を検出する。
　また、本発明の一態様に係る距離センサは、撮像部と、距離情報生成部とを備える。撮像部は、対象物を撮像し、撮像画像を生成する。距離情報生成部は、撮像部により生成された撮像画像に基づいて、対象物までの距離を示す距離情報を生成する。距離センサは、外部機器からの指示に基づいて、撮像部が撮像可能な領域の内の一部の領域に制限して、距離情報を出力する。
　本発明の一態様に係るユーザインタフェース装置によると、制御部がユーザの操作の検出の対象とする領域が、撮像部が撮像可能な領域の内の一部の領域に制限されるので、ユーザの操作の検出を行う際の消費電力を低減することができる。
　本発明の一態様に係る距離センサによると、外部機器からの指示に基づいて、撮像部が撮像可能な領域の内の一部の領域に制限して、距離情報を出力するので、外部機器においてユーザの操作の検出を行う際の消費電力を低減することができる。
実施の形態１に係るスマートグラスの外観を示す模式図 スマートグラスの使用方法の一例を説明するための図 スマートグラスの構成を示すブロック図 距離画像センサの外観および組み立て状態を示す斜視図 距離画像センサにおけるセンサ回路の構成例を示すブロック図 実施の形態１に係るスマートグラスの動作を説明するための図 実施の形態１に係るユーザの操作の検出動作を示すシーケンス図 ユーザの操作の検出動作における距離画像を説明するための図 実施の形態２に係るユーザの操作の検出動作を説明するための図 実施の形態２に係るユーザの操作の検出動作を示すシーケンス図 実施の形態３に係るユーザの操作の検出動作を説明するための図 実施の形態３に係るユーザの操作の検出動作を示すシーケンス図 スマートグラスの使用方法の変形例を説明するための図
　以下、添付の図面を参照して、本発明に係るユーザインタフェース装置の一例として、スマートグラスについて説明する。また、本発明に係る距離センサの一例として距離画像センサについて説明する。
　各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。実施の形態２以降では実施の形態１と共通の事項についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態毎には逐次言及しない。
（実施の形態１）
１．構成
１－１．概要
　本実施形態に係るスマートグラスの概要について、図１及び図２を参照して説明する。図１は、実施の形態１に係るスマートグラスの外観を示す模式図である。図２は、スマートグラスの使用方法の一例を説明するための図である。
　本実施形態に係るスマートグラス２は、図１に示すように、距離画像センサ１と、表示部２０とを備える。スマートグラス２は、眼鏡型のヘッドマウントディスプレイを搭載したウェアラブル端末である。スマートグラス２は、距離画像センサ１を用いてユーザの操作を検出するユーザインタフェース装置の一例である。図１に示すように、ユーザは、スマートグラス２を装着して、ヘッドマウントディスプレイの表示部２０に視線を向けることで、スマートグラス２が表示する画像を視認することができる。
　本実施形態では、スマートグラス２は、図２に示すように、表示部２０を用いて、例えば視線の奥行き方向における１０ｃｍ以上１ｍ以下の範囲内の領域に、あたかも操作部材等が存在するかのように、ユーザに視認させる。また、ユーザが視認する操作部材に対して触ったり、押し込んだりするようなジェスチャーによる直観的な入力操作機能を実現するため、距離画像センサ１を用いて、指５などの対象物までの距離を検知し、ユーザの操作を検出する。
　スマートグラス２は、使用時の快適性等のためにコンパクトであることが望まれ、バッテリーの小型化が要求される。このため、動作時の消費電力を低減することが重要である。本実施形態では、表示部２０を用いてユーザに操作部材を視認させる領域に応じて、距離画像センサ１を用いて対象物の検知を行う領域を制限することにより、消費電力の低減を実現する。以下、本実施形態に係るスマートグラス２及び距離画像センサ１の構成について説明する。
１－２．スマートグラスの構成
　本実施形態に係るスマートグラス２の構成について、図１，２，３を参照して説明する。
　表示部２０は、図１に示すようにハーフミラーなどを備えた透過型ディスプレイデバイスある。表示部２０は、操作部材等を示す所定の画像を表示してハーフミラーを介して虚像を投影することにより、表示する画像がユーザの視野に重なるように、ユーザに視認させる。これにより、ユーザはあたかも目の前の空間中に操作部材等が存在するかのように視認することができる。表示部２０が表示する画像は、例えばスイッチ、ボタン、キーボード、カーソル、アイコンなどの操作部材を示す画像である。
　距離画像センサ１は、ＴＯＦ（Time-Of-Flight）方式において距離を測定するセンサ装置である。距離画像センサ１は、図２に示すように、スマートグラス２において表示部２０の近傍に設置され、距離の測定方向が表示部２０による画像の投影方向と平行に向けられる。距離画像センサ１は、ユーザの視野の水平方向及び水平方向に渡って、奥行き方向におけるスマートグラス２までの距離を示す距離画像を生成する。距離画像センサ１は、ユーザの指５などの対象物までの距離を示す距離情報として距離画像を生成する距離センサの一例である。距離画像センサ１の構成の詳細については後述する。
　図３は、スマートグラス２の構成を示すブロック図である。スマートグラス２は、図３に示すように、制御部２１と、記憶部２２と、通信部２３とを備える。
　制御部２１は、例えばＣＰＵやＭＰＵで構成され、スマートグラス２全体の動作を制御する。制御部２１は、所定のプログラムを実行することによって、各種の機能を実現する。制御部２１は、専用に設計された電子回路や再構成可能な電子回路などのハードウェア回路（ＡＳＩＣ，ＦＰＧＡ等）で実現されてもよい。
　制御部２１は、距離画像センサ１からの距離画像に基づき、対象物を検知して、ユーザの操作を判断する。具体的に、制御部２１は、距離画像センサ１から入力された距離画像に所定の画像処理を行い、距離画像の中で対象物（ユーザの手）を映した領域に対して、手の中の指５の検知処理や指５の動きの検知処理を行う。また、制御部２１は、特定のユーザの操作を検出すると、表示部２０の画像表示を更新させたり、検出したユーザの操作に応じた所定の機能を実行させたりする。
　記憶部２２は、制御部２１の各種の機能を実現するために必要なパラメータ、データ、及びプログラムを記憶する記憶媒体であり、制御部２１で実行される制御プログラムや、各種のデータを格納している。記憶部２２は、例えばＲＯＭやフラッシュメモリで構成される。
　通信部２３は、外部機器と無線信号により情報通信を行うためのインタフェース回路である。通信部２３は、例えばＷｉ-ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、ＬＴＥ等の通信方式に従い外部機器と無線通信を行う。
　本実施形態に係るスマートグラス２では、制御部２１がユーザの操作を検出するとともにユーザの操作に応じた機能を実行させることにより、ユーザインタフェース機能と情報処理機能を一体的に実現している。しかし、スマートグラス２はユーザインタフェース機能のみを実現してもよく、例えば、制御部２１がユーザの操作を判断したとき、通信部２３を介して外部の情報処理装置に検出したユーザ操作に関する情報を送信するようにしてもよい。
１－３．距離画像センサの構成
　次に、距離画像センサ１の構成の詳細について、図３，４を参照して説明する。図４は、スマートグラス２における距離画像センサ１の構成を示すブロック図である。
　距離画像センサ１は、図３に示すように、ＬＥＤ（発光ダイオード）１０と、センサ回路３と、ＴＯＦ信号処理部４とを備える。距離画像センサ１は、ＬＥＤ１０から光の照射を行い、その反射光をセンサ回路３で受光して、ＴＯＦ信号処理部４において反射光の伝播期間に応じた距離に基づく距離画像を生成する。
　図４（ａ），（ｂ）に示すように、距離画像センサ１は、レンズ１１と、ホルダ１２と、回路基板１３とを備える。
　ＬＥＤ１０は、図４（ａ）に示すように、ホルダ１２の外面に取り付けられている。ＬＥＤ１０は、赤外領域の波長帯を有する光（以下、「ＬＥＤ光」という）を、ホルダ１２の外部に向けて照射する。ＬＥＤ光は、ＴＯＦ信号処理部４の制御により、パルス変調して照射される。ＬＥＤ１０は、所定の波長帯を有する光を照射光として照射する光源部の一例である。
　センサ回路３は、例えば電荷振り分け方式のＣＭＯＳ（相補型金属酸化物半導体）イメージセンサ回路で構成される。センサ回路３は撮像面を有し、ＬＥＤ光の照射に同期してＬＥＤ光の反射光を受光して撮像する。センサ回路３は、図４（ｂ）に示すように、１つの半導体チップに集積されており、ホルダ１２の内部で回路基板１３に取り付けられている。ホルダ１２の外面には、バレルレンズなどのレンズ１１が、所定の間隔でセンサ回路３の撮像面を覆うように取り付けられている。レンズ１１は、ホルダ１２の外部からの光をセンサ回路３の撮像面に集光する。センサ回路３は、ＬＥＤ光の照射に同期して対象物を撮像し、撮像画像を生成する撮像部の一例である。センサ回路３の構成の詳細については後述する。
　ＴＯＦ信号処理部４は、ＴＯＦ方式において距離画像を生成するための種々の信号処理を行う回路を含み、センサ制御部４０と、メモリ４１と、距離演算部４２とを含む。ＴＯＦ信号処理部４は、例えばＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）で構成され、回路基板１３に集積されている。
　ＴＯＦ信号処理部４において、センサ制御部４０は、ロジック回路などで構成され、ＴＯＦ信号処理部４に含まれる各種の回路を制御する。また、センサ制御部４０は、ＬＥＤ１０のＬＥＤ光をパルス変調するように制御するとともにセンサ回路３に撮像命令を送信して、ＬＥＤ１０とセンサ回路３を同期制御する。ＬＥＤ１０のＬＥＤ光をパルス変調する制御はセンサ回路３から行ってもよい。
　メモリ４１は、距離画像センサ１の機能を実現するためのデータやパラメータなど各種の情報を記憶する記憶媒体である。メモリ４１は、例えばフラッシュメモリで構成される。
　距離演算部４２は、四則演算等が可能な演算回路で構成される。距離演算部４２は、センサ回路３の撮像結果に基づいて、センサ回路３が受光した反射光の伝播期間に基づく距離を演算する。距離演算部４２は、画素毎の距離を示す距離データを算出して、距離画像を生成する。距離演算部４２は、距離情報として距離画像を生成する距離情報生成部の一例である。
１－３－１．センサ回路の構成
　次に、センサ回路３の構成の詳細について、図５を参照して説明する。図５は、距離画像センサ１におけるセンサ回路３の構成を示すブロック図である。
　図５に示すように、センサ回路３は、複数の画素回路３０と、ゲート駆動回路３１、垂直走査回路３２及び水平読出し回路３３などの周辺回路とを備える。
　複数の画素回路３０は、撮像面上の水平方向及び垂直方向において、マトリクス状に配置される。画素回路３０は、フォトダイオードやＭＯＳトランジスタを備えて構成され、撮像結果の受光量に応じた電荷を保持する。各画素回路３０は、例えば電荷振り分け方式において、ＬＥＤ光の照射に同期して時分割で複数の受光量に応じた電荷を蓄積する。
　ゲート駆動回路３１は、センサ制御部４０からの撮像命令に応じて画素回路３０に含まれる種々のＭＯＳトランジスタを駆動し、撮像時の受光動作を制御するための回路である。センサ回路３は、ゲート駆動回路３１の駆動によってＬＥＤ光の照射に同期して画素回路３０に受光させることで、ＬＥＤ光の反射光の情報を有する撮像画像を生成する。
　垂直走査回路３２は、センサ回路３の外部への撮像結果の読出し動作において、マトリクス状に並んだ画素回路３０を垂直走査するための回路である。垂直走査回路３２は、一行に並んだ画素回路３０毎に順次、選択信号を出力する。
　水平読出し回路３３は、センサ回路３の撮像画像を示す画像データである撮像データをＴＯＦ信号処理部４に読み出すための回路である。水平読出し回路３３は、複数のＡ／Ｄ（アナログ／デジタル）変換器３５を有する。水平読出し回路３３は、垂直走査回路３２から選択信号が入力された画素回路３０からのアナログ値の受光量をデジタル値に変換（Ａ／Ｄ変換）して、撮像データとしてＴＯＦ信号処理部４の距離演算部４２に出力する。撮像データは、例えばＬＥＤ光の照射に同期して反射光の受光量が振り分けられた複数の画像データを含む。
２．動作
２－１．動作の概要
　本実施形態に係るスマートグラス２の動作の概要について、図６（ａ）～（ｄ）を参照して説明する。図６（ａ）は、スマートグラス２による操作画面の表示例を示す。図６（ｂ）は、距離画像センサ１の検知エリアを説明するための図である。図６（ｃ）は、ユーザの操作がされた場合の操作画面の表示例を示す。図６（ｄ）は、操作画面に対するユーザの操作の検出対象の領域を説明するための図である。
　スマートグラス２を装着したユーザは、例えば図６（ａ）に示すように、表示部２０が操作画面Ａ１を示す画像を表示することにより、操作画面Ａ１を視認する。操作画面Ａ１は、スマートグラス２の種々の機能に対応するアイコン画像や、各アイコン画像に応じた機能を説明するテキスト画像を含む。
　表示部２０は、所定の表示可能エリアにおいて、ユーザの使用状態に応じて適宜、操作画面Ａ１の表示位置を設定する。操作画面Ａ１は、図６（ｂ）に示すように、表示可能エリア内でユーザの視野の奥行き方向における距離ｄ１の表示位置に視認される。操作画面Ａ１を触ったり押したりするジェスチャーによるユーザの操作を検出するために、距離画像センサ１は、操作画面Ａ１が視認される表示位置を含む領域（検知エリアＡ２）を撮像して距離画像を生成する。
　例えば、図６（ｃ）に示すように、ユーザが操作画面Ａ１のアイコン画像を指５で押すジェスチャーを行った場合、スマートグラス２の制御部２１は、距離画像センサ１からの距離画像に基づき指の座標及び距離を検知し、押されたアイコン画像を判断する。制御部２１は、この判断結果に基づき、例えば、押されたアイコン画像に対応するテキスト画像を強調するなどの画像表示の更新を行う。
　ここで、表示部２０において種々の表示位置に設定された操作画面Ａ１に対するユーザの操作を検出可能にするため、距離画像センサ１の検知エリアＡ２は、図６（ｂ）に示すように、表示部２０の表示可能エリア全体に渡って設定される。この場合、距離画像センサ１の距離画像には操作画面Ａ１の表示位置の座標から離れた座標に関する距離データも含まれるので、制御部２１による距離画像の画像処理において、ユーザの操作とは無関係な距離データに対する処理負荷が生じてしまう。
　そこで、本実施形態では、図６（ｄ）に示すように、操作画面Ａ１に対する操作を検出する領域（以下、「検出対象領域」という）Ｒ１を設定する。このように、距離画像において制御部２１はユーザ操作を検出する領域を、距離画像センサ１によって検知される検知エリアＡ２の内の一部の領域に制限する。これにより、制御部２１による画像処理の処理負荷が低減され、ユーザ操作の検出動作における消費電力の低減および応答性を向上することができる。
２－２．ユーザの操作の検出動作
　本実施形態に係るユーザの操作の検出動作について、図６，７，８を参照して説明する。図７は、本実施形態に係るユーザの操作の検出動作を示すシーケンス図である。図８は、ユーザの操作の検出動作における距離画像を説明するための図である。
　まず、制御部２１は、表示部２０に、操作画面Ａ１に対応する画像を表示させる（Ｓ１）。操作画面Ａ１は、スマートグラス２を装着したユーザによって、表示部２０の表示可能エリアの中で特定の表示位置に視認される（図６（ａ），（ｂ）参照）。
　次に、制御部２１は、操作画面Ａ１の表示位置に基づいて、検出対象領域Ｒ１を設定する（Ｓ２）。制御部２１は、操作画面Ａ１の表示位置に基づいて、距離画像上の検出対象領域Ｒ１の座標を計算し、検出対象領域Ｒ１の座標を示す座標情報を記憶部２２に記録する。
　次に、制御部２１は、設定した検出対象領域Ｒ１内における距離データを収集するために、距離画像センサ１のＴＯＦ信号処理部４に距離画像の生成命令を発信する（Ｓ３）。
　ＴＯＦ信号処理部４のセンサ制御部４０は、制御部２１から距離画像の生成命令を受信すると、センサ回路３に、ＬＥＤ１０によるＬＥＤ光の照射と同期して撮像させるための撮像命令を送信する（Ｓ１１）。
　センサ回路３は、センサ制御部４０からの撮像命令を受信する（Ｓ２１）。センサ回路３は、受信した撮像命令に基づくタイミングで画素回路３０を駆動してＬＥＤ光の反射光を受光することにより、検知エリアＡ２の撮像を行う（Ｓ２２）。各画素回路３０の受光量は、水平読出し回路３３においてＡ／Ｄ変換され、撮像データが生成される。センサ回路３は、生成した撮像データをＴＯＦ信号処理部４に送信する（Ｓ２３）。
　ＴＯＦ信号処理部４は、センサ回路３から撮像データを受信する（Ｓ１２）。ＴＯＦ信号処理部４の距離演算部４２は、受信した撮像データに基づき、画素回路３０毎に受光した反射光の伝播期間に基づく距離を演算することにより、距離画像を生成する（Ｓ１３）。ＴＯＦ信号処理部４は、生成した距離画像の画像データを制御部２１に出力する（Ｓ１４）。
　制御部２１は、距離画像センサ１から距離画像の画像データを取得する（Ｓ４）。図８（ａ）に、距離画像センサ１から取得される距離画像Ｇ１の一例を示す。図８（ａ）においては、距離画像Ｇ１にユーザの手と背景とが映っており、手が背景および操作画面Ａ１の表示位置よりも近い距離にあることを示している。本実施形態では、距離画像センサ１からの距離画像Ｇ１の画像データは、距離画像センサ１の検知エリアＡ２（図６（ｂ）参照）全体に渡る画像データである。
　次に、制御部２１は、検出対象領域Ｒ１に制限した距離画像Ｇ２に基づいて、ユーザの手や指などの対象物を検知する（Ｓ５）。ずなわち、図８（ｂ）に示すように、ユーザの操作の検出対象となる距離画像Ｇ２が、検出対象領域Ｒ１の範囲内に制限される。ステップＳ５の処理において、制御部２１は、距離画像上で対象物が映った領域を分離認識するための画像処理や、手（対象物）が映った領域における指先の位置の検知処理を行う。
　例えば、図８（ｂ）に示す検出対象領域Ｒ１内の距離画像Ｇ２には、手が操作画面Ａ１までの距離ｄ１（図６（ｂ）参照）よりも近い距離で映っている一方、背景が距離ｄ１よりも遠い位置で映っている。このため、図８（ｂ）に示す距離画像Ｇ２に対して、制御部２１が画像処理において所定距離（例えば距離ｄ１）よりも近い距離の画素のデータを抽出することにより、図８（ｃ）に示すように、距離画像Ｇ２’上で手が映った領域が背景から分離される。さらに、制御部２１は、図８（ｃ）に示す距離画像Ｇ２’における先端部分の座標及び距離の値を抽出することにより、手の指先の位置を検知する。以上のように、図８（ａ）から制限した距離画像Ｇ２（図８（ｂ））を用いることにより、制御部２１の処理の対象となる画像データのサイズが縮小され、対象物の検知のためのデータ量や動作量を低減できる。
　次に、制御部２１は、対象物の検知結果に基づいて、ユーザが視認中のアイコン画像を指で押すなどの操作がなされたか否かを判断する（Ｓ６）。例えば、制御部２１は、図８（ｃ）に示す距離画像Ｇ２’上で、操作画面Ａ１のアイコン画像の表示位置と、検知した指先の位置とを比較することによりユーザの操作を検出する。
　制御部２１は、ユーザの操作を検出するまで、ステップＳ３以降の処理を繰り返し行う（Ｓ６でＮｏ）。制御部２１は、繰り返し距離画像センサ１から距離画像を取得し（Ｓ４）、対象物を検知することで（Ｓ５）、対象物の動きを検知する。
　制御部２１は、ユーザの操作を検出したとき（Ｓ６でＹｅｓ）、検出された操作に応じて、表示部２０による表示を更新する（Ｓ７）。例えば、制御部２１は、操作画面Ａ１におけるアイコン画像を押し込む操作を検出した場合、押し込む操作の対象となったアイコン画像を判断し、表示部２０に表示させるための、判断したアイコン画像に対応するテキスト画像を変更する（図６（ｃ）参照）。
　表示部２０による表示の更新がなされることで、本処理は終了する。
　以上の処理により、距離画像センサ１からの距離画像において、制御部２１がユーザの操作の検出の対象として画像処理を行う領域が、検出対象領域Ｒ１に制限されるため、ユーザの操作を検出する際の制御部２１による消費電力を低減することができる。
　以上の処理において、ユーザ操作を検出する距離画像の領域を制限することにより、検出処理の負荷が低減される。このため、消費電力を低減できるとともに、例えば１／３０秒などの所望の周期を維持して対象物の動きの検知が行え、ユーザの操作に対する応答性を向上することができる。
３．まとめ
　以上のように、本実施形態に係るスマートグラス２は、指５などの対象物の動きに基づきユーザの操作を検出するユーザインタフェース装置である。スマートグラス２は、センサ回路３と、距離演算部４２と、制御部２１とを備える。センサ回路３は、対象物を撮像し、撮像データを生成する。距離演算部４２は、センサ回路３により生成された撮像データに基づいて、対象物までの距離を示す距離画像を生成する。制御部２１は、距離演算部４２によって生成された距離画像に基づいて、ユーザの操作を検出する。制御部２１は、距離画像において、センサ回路３が撮像可能な検知エリアＡ２の内の一部の制限された領域Ｒ１から、ユーザの操作を検出する。
　以上のスマートグラス２によると、制御部２１がユーザの操作の検出の対象とする検出対象領域Ｒ１が、センサ回路３が撮像可能な領域の内の一部の領域に制限されるので、ユーザの操作の検出を行う際の消費電力を低減することができる。
　また、制御部２１は、距離演算部４２から距離画像を取得し、取得した距離画像において、センサ回路３が撮像可能な検知エリアＡ２の内の一部の領域に、ユーザの操作を検出する領域を制限してもよい。これにより、制御部２１の処理の対象となる距離情報のデータ量が縮小され、制御部２１による処理負荷を低減できる。
　また、スマートグラス２は、画像を表示する表示部２０をさらに備えてもよい。センサ回路３が撮像可能な検知エリアＡ２は、画像がユーザに視認される表示位置を含んでもよい。これにより、ユーザが視認する画像に対する操作を検出する際に、消費電力を低減できる。
　また、表示部２０が表示する画像は、操作部材を含んでもよい。これにより、ユーザは操作部材を視認してスマートグラス２を操作することができる。
　また、検出対象領域Ｒ１は、ユーザの操作を検出する領域に対応した領域であってもよい。これにより、操作画面Ａ１のアイコン画像に対するユーザ操作など、所定の機能を実行するためのユーザの操作を検出する際に、消費電力を低減することができる。
（実施の形態２）
　実施の形態１では、距離画像センサ１から取得した距離画像に対して、制御部２１が対象物の検知を行う領域を制限した。実施の形態２では、距離画像センサにおいて、距離の演算を行う領域を制限する。これにより、さらに、距離画像センサの動作による消費電力を低減することができる。以下、本実施形態に係るスマートグラス及び距離画像センサについて説明する。
１．概要
　本実施形態に係る距離画像センサの動作の概要について、図９（ａ）、（ｂ）を参照して説明する。図９（ａ）は、本実施形態に係るスマートグラスの距離画像センサの検知エリアを示す。図９（ｂ）は、図９（ａ）の距離画像センサにより生成される距離画像の一例を示す。
　本実施形態に係るスマートグラス２Ａにおいて、図９（ａ）に示すように、距離画像センサ１Ａの検知エリアＡ２は、実施の形態１の距離画像センサ１と同様に、表示部２０の表示可能エリア全体に渡って設定される。本実施形態では、距離画像センサ１Ａが、検出対象領域Ｒ１に基づいて、検知エリアＡ２の撮像結果のうちの距離の演算を行う領域を制限する。
　距離画像センサ１Ａの距離演算部４２（図３参照）は、検知エリアＡ２を撮像した撮像データにおいて、図９（ｂ）に示すように、検出対象領域Ｒ１外のデータに対しては距離の演算を行わずに検出対象領域Ｒ１内のデータに対してのみ距離の演算を行う。これにより、距離画像センサ１Ａにおいて検出対象領域Ｒ１に制限された距離画像Ｇ２ａを生成することで処理負荷が削減され、距離画像センサ１Ａの消費電力をさらに低減することができる。
２．動作
　次に、本実施形態に係るスマートグラス２Ａの動作について、図１０を参照して説明する。図１０は、本実施形態に係るユーザの操作の検出動作を示すシーケンス図である。
　本実施形態では、図１０に示すように、実施の形態１における図７のステップＳ３，Ｓ１３に代えて、ステップＳ３Ａ，Ｓ１３Ａの処理を行う。
　ステップＳ３Ａにおいて、制御部２１は距離画像の生成命令とともに、検出対象領域Ｒ１の座標情報をＴＯＦ信号処理部４に送信する。検出対象領域Ｒ１の座標情報は、ＴＯＦ信号処理部４のメモリ４１に記録される。
　ＴＯＦ信号処理部４は、センサ回路３から撮像データを受信すると（Ｓ１２）、メモリ４１に記録された座標情報を参照し、距離演算部４２において検出対象領域Ｒ１内のみ距離の演算を行って、距離画像Ｇ２ａを生成する（Ｓ１３Ａ）。これにより、距離の演算を行う画素数が減るため、距離画像センサ１における消費電力を低減できる。
　以上の処理によると、スマートグラス２Ａの制御部２１は、距離画像センサ１Ａから予め検出対象領域Ｒ１に制限された距離画像Ｇ２ａを取得するので、画像処理の負荷を軽減でき、消費電力を低減できる。また、距離画像センサ１Ａにおいても、距離の演算を行う画素数を減らした分、消費電力を低減できる。
３．まとめ
　以上のように、本実施形態に係るスマートグラス２Ａによると、距離演算部４２は、センサ回路３により生成された撮像データにおける全領域の内の一部の領域に、距離情報を生成する領域を制限する。これにより、距離演算部４２によって検出対象領域Ｒ１に制限された距離画像を生成することで、距離演算部４２の処理負荷が削減され、消費電力を低減することができる。
　また、本実施形態に係る距離画像センサ１Ａは、センサ回路３と、距離演算部４２とを備える。センサ回路３は、指５などの対象物を撮像し、撮像データを生成する。距離演算部４２は、センサ回路３により生成された撮像データに基づいて、対象物までの距離を示す距離画像を生成する。距離画像センサ１Ａは、スマートグラス２Ａの制御部２１からの指示に基づいて、センサ回路３が撮像可能な検知エリアＡ２の内の一部の検出対象領域Ｒ１に制限して、距離画像を出力する。これにより、制御部２１においてユーザの操作の検出を行う際の消費電力を低減することができる。
　距離画像センサ１Ａは、対象物にＬＥＤ光を照射するＬＥＤ１０をさらに備えてもよい。距離画像は、ＬＥＤ光の対象物における反射光の伝播期間に基づいて生成されてもよい。これにより、距離画像の画素毎に独立して距離を演算できるため、距離画像において余分なマージンを設けることなく検出対象領域Ｒ１に制限することができる。
（実施の形態３）
　実施の形態２では、距離画像センサ１Ａの距離演算部４２において、距離の演算を行う領域を制限した。実施の形態３では、距離画像センサのセンサ回路によって撮像する領域を制限する。これによっても、距離画像センサの動作による消費電力をより低減することができる。以下、本実施形態に係るスマートグラス及び距離画像センサについて説明する。
１．構成
　本実施形態に係る距離画像センサの構成について、図１１、１２を参照して説明する。図１１（ａ）は、本実施形態に係るスマートグラスの距離画像センサの検知エリアを示す。図１１（ｂ）は、図１１（ａ）の距離画像センサにより生成される距離画像の一例を示す。図１２は、本実施形態に係る距離画像センサのセンサ回路の構成を示すブロック図である。
　本実施形態に係るスマートグラス２Ｂでは、図１１（ａ）に示すように、距離画像センサ１Ｂの検知エリアＡ２’を、表示部２０の表示可能エリア全体の内の検出対象領域Ｒ１を含む一部のエリアに制限する。このため、距離画像センサ１Ｂのセンサ回路３は、図１１（ｂ）に示すように、検出対象領域Ｒ１外の領域を撮像せず、検出対象領域Ｒ１の内部のみ撮像する。
　本実施形態の距離画像センサ１Ｂのセンサ回路３は、距離画像センサ１Ｂのセンサ制御部４０から入力されるＲＯＩ（Region-Of-Interest）コマンドに応じて、撮像動作を行う画素回路３０を制限する機能を有する。ＲＯＩコマンドは、受光面における一部の領域を指定して、指定した領域のみ画素回路３０を動作させるためのコマンドである。
　本実施形態では、ＲＯＩコマンドにより、センサ回路の撮像面において検知エリアＡ２’に対応する画素の領域が指定される（図５参照）。例えば、ＲＯＩコマンドによって、図１１（ｂ）に示す検出対象領域Ｒ１の外部に対応する画素回路３０に対して、垂直走査回路３２及び水平読出し回路３３による読出し動作を制限する。これにより、読み出し動作におけるＡ／Ｄ変換にかかる消費電力を低減することができる。なお、ＲＯＩコマンドによりゲート駆動回路３１を制御して、画素回路３０の受光動作を制限してもよい。この場合、センサ回路３の画素回路３０毎の受光動作の消費電力も低減することができる。
２．動作
　次に、本実施形態に係るスマートグラス２Ｂの動作について、図１２を参照して説明する。図１２は、本実施形態に係るユーザの操作の検出動作を示すシーケンス図である。
　本実施形態では、図１２に示すように、実施の形態２における図１０のステップＳ１１，Ｓ２１，Ｓ２２に代えて、ステップＳ１１Ａ，Ｓ２１Ａ，Ｓ２２Ａの処理を行う。
　ステップＳ１１Ａにおいて、ＴＯＦ信号処理部４のセンサ制御部４０は、制御部２１からの座標情報に基づいて、検出対象領域Ｒ１を囲む検知エリアＡ２’を指定するＲＯＩコマンドを生成して、撮像命令とともにセンサ回路３に送信する。
　センサ回路３は、ＴＯＦ信号処理部４からＲＯＩコマンドと撮像命令を受信する（Ｓ２１Ａ）。センサ回路３は、受信したＲＯＩコマンドと撮像命令に基づいて、検出対象領域を検知エリアＡ２’に制限して、撮像動作を行う（Ｓ２２Ａ）。これにより、撮像動作の対象となる画素回路３０の数が減るため、距離画像センサ１Ｂのセンサ回路３における消費電力を低減できる。
　以上の処理によると、距離画像センサ１Ｂにおいて、センサ回路３の撮像時の消費電力を低減できる。また、スマートグラス２Ｂの制御部２１は、距離画像センサ１Ｂから予め検出対象領域Ｒ１に制限された距離画像Ｇ２ｂを取得するので、画像処理などにおける消費電力を低減できる。
３．まとめ
　以上のように、本実施形態に係るスマートグラス２Ｂによると、センサ回路３は、対象物を撮像可能な画素の領域の内の一部の領域に、撮像データを生成する領域を制限する。これにより、撮像動作に用いる画素数が減るため、距離画像センサ１Ｂのセンサ回路３における消費電力をさらに低減できる。
（他の実施の形態）
　上記の各実施形態では、表示部２０の画像表示に基づいて検出対象領域Ｒ１が設定されたが、ユーザ操作の検出対象となる検出対象領域は、表示中の画像とは関連せずに設定されてもよい。例えば、ユーザ操作の検出対象領域を、検知エリアの一部の所定の領域に設定してもよい。図１３を用いて、具体的に説明する。
　図１３に示す例では、スマートグラス２は待機状態にあり、表示部２０は画像を表示していない。待機状態において、ユーザがスマートグラス２に対して固定された特定の位置にある空間に指５をかざす等の操作を行ったときに、表示部２０に画像を新たに表示させたり、スマートグラス２の所定の機能を起動させたりするために、距離画像センサ１を用いてユーザの操作を検出する。このように、ユーザの操作を検出する対象となる検出対象領域Ｒ２を、距離画像センサ１の検知エリアＡ２の中の一部の所定の領域に設定することにより、待機状態における消費電力を低減することができる。
　また、上記各実施形態において、距離センサの一例としてＴＯＦ方式の距離画像センサ１を示したが、本発明に係る距離センサはＴＯＦ方式の距離画像センサに限らず、例えば、パターン照射型の距離画像センサや、ステレオカメラ、赤外線カメラなどであってもよい。距離センサとしてステレオカメラを用いる場合、距離の測定は三角測量によって行われる。このため、例えば水平方向に並列したステレオカメラを用いる場合、検知エリアの制限は三角測量における視差を考慮して、水平方向において、実際にユーザの操作の検出対象となる領域からマージンを設けて設定する。また、パターン照射型の距離画像センサでは、撮像された画素間のデータを比較することにより距離が計算される。このため、距離センサとしてパターン照射型の距離画像センサを用いる場合においても、検知エリアの制限は、実際にユーザの操作の検出対象となる領域からマージンを設けて設定する。
　また、上記の各実施形態では、ＴＯＦ信号処理部４においてセンサ制御部４０と距離演算部４２とを別個に構成したが、これに限らず、ＴＯＦ信号処理部４においてセンサ制御部４０と距離演算部４２の機能を一体的に実現してもよい。
　また、上記の各実施形態では、制御部２１はユーザの操作を検出したとき、表示部２０の画像表示を更新したが、画像表示の更新に代えて、例えば音データの再生や外部機器との通信などの所定の機能を実行させてもよい。
　また、上記の各実施形態では、表示部２０は虚像を投影する透過型ディスプレイデバイスであったが、これに限らず、例えば両目に対して視差画像を表示するディスプレイデバイスを用いて、ユーザの目の前の空間中に所定の画像を視認させてもよい。また、表示部はフラットパネルディスプレイであってもよい。例えば、フラットパネルディスプレイの表示面上にユーザが立体視可能な所定の画像（例えばホログラム）を表示して、立体視される画像に対して検出対象領域を設定してもよい。また、表示面上に表示された平面画像に対して、非接触で操作するために、表示面を覆う空間中に検出対象領域を設定してもよい。
　また、上記の各実施形態では、ユーザインタフェース装置の一例として、眼鏡型のウェアラブル端末であるスマートグラス２を例示したが、本発明に係るユーザインタフェース装置はこれに限らない。例えば、時計型などの他のウェアラブル端末であってもよいし、スマートフォンやタブレット端末、携帯電話、ノート型ＰＣ（パーソナルコンピュータ）、デジタルカメラ、携帯型ゲーム機などに搭載されるユーザインタフェース装置であってもよい。
　　１　　　距離画像センサ
　　１０　　ＬＥＤ
　　２　　　スマートグラス
　　２０　　表示部
　　３　　　センサ回路
　　３０　　画素回路
　　４　　　ＴＯＦ信号処理部
　　４０　　センサ制御部
　　４２　　距離演算部

Claims (9)

  1. 　対象物の動きに基づきユーザの操作を検出するユーザインタフェース装置であって、
    　前記対象物を撮像し、撮像画像を生成する撮像部と、
    　前記撮像部により生成された撮像画像に基づいて、前記対象物までの距離を示す距離情報を生成する距離情報生成部と、
    　前記距離情報生成部によって生成された距離情報に基づいて、前記ユーザの操作を検出する制御部とを備え、
    　前記制御部は、前記距離情報において、前記撮像部が撮像可能な領域の内の一部の制限された領域から、前記ユーザの操作を検出する
    ユーザインタフェース装置。
  2. 　前記制御部は、前記距離情報生成部から前記距離情報を取得し、取得した距離情報において、前記撮像部が撮像可能な領域の内の一部の領域に、前記ユーザの操作を検出する領域を制限する
    請求項１に記載のユーザインタフェース装置。
  3. 　前記距離情報生成部は、前記撮像部により生成された撮像画像における全領域の内の一部の領域に、前記距離情報を生成する領域を制限する
    請求項１に記載のユーザインタフェース装置。
  4. 　前記撮像部は、前記対象物を撮像可能な画素の領域の内の一部の領域に、前記撮像画像を生成する領域を制限する
    請求項１に記載のユーザインタフェース装置。
  5. 　画像を表示する表示部をさらに備え、
    　前記撮像部が撮像可能な領域は、前記画像がユーザに視認される表示位置を含む
    請求項１～４のいずれか１項に記載のユーザインタフェース装置。
  6. 　前記画像は、操作部材を示す画像を含む
    請求項５に記載のユーザインタフェース装置。
  7. 　前記一部の制限された領域は、ユーザの操作を検出する領域に対応した領域である
    請求項１～６のいずれか１項に記載のユーザインタフェース装置。
  8. 　対象物を撮像し、撮像画像を生成する撮像部と、
    　前記撮像部により生成された撮像画像に基づいて、前記対象物までの距離を示す距離情報を生成する距離情報生成部とを備え、
    　外部機器からの指示に基づいて、前記撮像部が撮像可能な領域の内の一部の領域に制限して、前記距離情報を出力する
    距離センサ。
  9. 　前記対象物に照射光を照射する光源部をさらに備え、
    　前記距離情報は、前記照射光の前記対象物における反射光の伝播期間に基づいて生成される
    請求項８に記載の距離センサ。
PCT/JP2016/054637 2015-06-22 2016-02-18 ユーザインタフェース装置および距離センサ WO2016208216A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015124768A JP2018124597A (ja) 2015-06-22 2015-06-22 ユーザインタフェース装置および距離センサ
JP2015-124768 2015-06-22

Publications (1)

Publication Number Publication Date
WO2016208216A1 true WO2016208216A1 (ja) 2016-12-29

Family

ID=57584811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054637 WO2016208216A1 (ja) 2015-06-22 2016-02-18 ユーザインタフェース装置および距離センサ

Country Status (2)

Country Link
JP (1) JP2018124597A (ja)
WO (1) WO2016208216A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112262451A (zh) * 2018-07-10 2021-01-22 欧姆龙株式会社 输入装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244272A (ja) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 手位置追跡方法、装置、およびプログラム
JP2014056462A (ja) * 2012-09-13 2014-03-27 Toshiba Alpine Automotive Technology Corp 操作装置
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244272A (ja) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 手位置追跡方法、装置、およびプログラム
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ
JP2014056462A (ja) * 2012-09-13 2014-03-27 Toshiba Alpine Automotive Technology Corp 操作装置
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112262451A (zh) * 2018-07-10 2021-01-22 欧姆龙株式会社 输入装置
CN112262451B (zh) * 2018-07-10 2024-04-23 欧姆龙株式会社 输入装置

Also Published As

Publication number Publication date
JP2018124597A (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
JP6256339B2 (ja) 制御装置および記憶媒体
US20140037135A1 (en) Context-driven adjustment of camera parameters
KR20160046706A (ko) 이동단말기 및 그 제어방법
KR20170006559A (ko) 이동단말기 및 그 제어방법
KR20160036359A (ko) 전자 장치의 홍채 인식 방법 및 장치
US11663992B2 (en) Fade-in user interface display based on finger distance or hand proximity
CN108353129B (zh) 拍摄设备及其控制方法
US20190384419A1 (en) Handheld controller, tracking method and system using the same
TW201710641A (zh) 可調適的深度感測系統
KR20160143029A (ko) 이동 단말기
KR20170134212A (ko) 이동 단말기
US20180220066A1 (en) Electronic apparatus, operating method of electronic apparatus, and non-transitory computer-readable recording medium
CN106201284B (zh) 用户界面同步系统、方法
WO2018006481A1 (zh) 一种移动终端的体感操作方法及装置
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
WO2016170804A1 (ja) ユーザインタフェース装置及びユーザインタフェースシステム
WO2016208216A1 (ja) ユーザインタフェース装置および距離センサ
US20140055354A1 (en) Multi-mode interactive projection system, pointing device thereof, and control method thereof
US10859835B2 (en) Head-mounted display apparatus and method for controlling imaging data of head-mounted display apparatus using release code
US20210250436A1 (en) Mobile terminal and control method thereof
US20190129609A1 (en) Electronic apparatus
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR20070117338A (ko) 포커스 영역 설정 기능을 갖는 이동통신 단말기 및 이를이용한 방법
JPWO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813987

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16813987

Country of ref document: EP

Kind code of ref document: A1