WO2017051720A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017051720A1
WO2017051720A1 PCT/JP2016/076558 JP2016076558W WO2017051720A1 WO 2017051720 A1 WO2017051720 A1 WO 2017051720A1 JP 2016076558 W JP2016076558 W JP 2016076558W WO 2017051720 A1 WO2017051720 A1 WO 2017051720A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
housing
control unit
information processing
display
Prior art date
Application number
PCT/JP2016/076558
Other languages
English (en)
French (fr)
Inventor
翼 塚原
木村 淳
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/752,757 priority Critical patent/US10691250B2/en
Publication of WO2017051720A1 publication Critical patent/WO2017051720A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and particularly relates to an information processing device, an information processing method, and a program that can improve the operability of the HMD.
  • HMD Head-Mounted Display
  • the HMD has a function of providing an image to a user who wears the HMD.
  • HMDs have a display device attached to the temple part of the eyeglass-type frame.
  • Patent Document 1 discloses a configuration in which a display device can be attached to and detached from both the left and right temple portions of the eyeglass-type frame.
  • Patent Document 1 does not mention the difference in operation on the display device between when the display device is attached on the left side and when the display device is attached on the right side.
  • This technology has been made in view of such a situation, and makes it possible to further improve the operability of the HMD.
  • An information processing apparatus suppresses reflection of an operation to an operation reception unit provided in the housing on output based on a mounting state of the housing mounted on the user's head.
  • An output control unit is provided.
  • An information processing method suppresses reflection of an operation to an operation reception unit provided in the housing on output based on a mounting state of the housing mounted on the user's head. Includes steps.
  • a program according to an aspect of the present technology suppresses reflection of an operation to an operation reception unit provided in a case on a computer based on a mounting state of the case attached to a user's head.
  • the process including the step to perform is performed.
  • the operability of the HMD can be further improved.
  • FIG. 1 shows a configuration example of a display module according to the present embodiment.
  • the display module 10 and the eyeglass-type frame 20 constitute an HMD (Head-Mounted Display).
  • the display module 10 as an information processing apparatus is attached to the right temple part (right eye side) of the pair of temple parts of the eyeglass-type frame 20 attached to the user's head.
  • the display module 10 includes a control unit 11, a display unit 12, and an optical unit 13.
  • the control unit 11 is connected to the display unit 12 and the eyeglass-type frame 20. Specifically, the end of the casing of the control unit 11 in the long side direction is coupled to the display unit 12, and the side surface of the casing of the control unit 11 is connected to the temple portion of the glasses-type frame 20 via a connecting member.
  • the control unit 11 incorporates a control board for controlling the operation of the display module 10.
  • the control unit 11 includes a control board having a CPU (Central Processing Unit) or a RAM (Random Access Memory).
  • the touch surface 21 a of the touch sensor 21 is provided on the upper surface of the casing of the control unit 11. As will be described later, a touch surface 21b (not shown) of the touch sensor 21 is provided on the lower surface of the housing of the control unit 11.
  • the touch surfaces 21a and 21b receive user operations.
  • the touch surfaces 21a and 21b are more than the surface of the casing of the control unit 11 on which they are provided so that the user can recognize the positions of the touch surfaces 21a and 21b by touching the surface of the casing of the control unit 11. Make it indented.
  • the touch surfaces 21a and 21b may be made of a material different from the surface of the housing of the control unit 11 on which the touch surfaces 21a and 21b are provided.
  • the control unit 11 is connected to the optical unit 13 via the display unit 12.
  • the display unit 12 connects the control unit 11 and the optical unit 13 and supports the optical unit 13. Specifically, the display unit 12 is coupled to the end of the control unit 11 and the end of the optical unit 13 to fix the optical unit 13.
  • the display unit 12 includes a signal line for communicating data relating to an image provided from the control unit 11 to the optical unit 13 and a display for projecting the image onto the optical unit 13.
  • the optical unit 13 projects image light to the outside of the display module 10. Specifically, the optical unit 13 sends image light provided from the control unit 11 via the display unit 12 to the outside of the display module 10 through the eyepiece, that is, to the eyes of the user wearing the display module 10. Project.
  • FIG. 2 is a perspective view showing a configuration example of the optical unit 13
  • FIG. 3 is a cross-sectional view showing a configuration example of the optical unit 13.
  • FIG. 4 is a diagram illustrating an example of a state in which the display module 10 is mounted on the user.
  • the optical unit 13 includes a light guide unit 31, a reflection unit 32, and an eyepiece 33.
  • the projection unit 41 is a display panel that displays an image provided from the control unit 11, and emits image light toward the light guide unit 31 by displaying the image.
  • the projection unit 41 is configured by, for example, an organic EL (Electro-Luminescence) display.
  • the light guide unit 31 guides the incident image light to the reflection unit 32.
  • the light guide unit 31 is, for example, a columnar member as shown in FIG. As shown in FIG. 3, the light guide unit 31 guides the image light so that the image light projected from the projection unit 41 reaches the reflection unit 32 without leaking outside the display module 10.
  • the light guide part 31 may be a cylindrical member having a hollow inside, or may be a transparent member that transmits image light.
  • the reflection unit 32 reflects the reaching image light toward the eyepiece 33.
  • the reflection unit 32 reflects the image light guided by the light guide unit 31 toward the position of the eyepiece lens 34.
  • the eyepiece 33 enlarges the image. Specifically, the eyepiece 33 refracts the image light reflected by the reflection unit 32 and enlarges the image related to the image light.
  • the optical unit 13 is formed such that the length in the direction in which the light is emitted toward the user's pupil is shorter than the other direction in the region where the light is emitted toward the user's pupil is equal to or shorter than the upper limit of pupil diameter variation. Is done. Specifically, the optical unit 13 is formed so that the width of the optical unit 13 in the short direction is equal to or less than the average pupil diameter.
  • the optical unit 13 is formed such that the length L2 of the width in the short direction of the optical unit 13 is equal to or less than the average pupil diameter L1, for example. Since the human pupil diameter L1 generally varies in the range of about 2 mm to 8 mm, L2 is set to 8 mm or less, for example, 4 mm. Further, in the optical unit 13, the shape of the region where light is emitted may be a circle, an ellipse, or another polygon in addition to a rectangle.
  • FIG. 5 is a cross-sectional view showing an example of the internal configuration of the control unit 11.
  • a touch sensor 21 is provided on the front side of the control unit 11 (the lens part side of the spectacles-type frame 20).
  • the touch surface 21a of the touch sensor 21 is provided on the first surface (upper surface in FIG. 5) of the housing of the control unit 11, and the touch surface 21b is on the opposite side of the first surface of the housing of the control unit 11. It is provided on the second surface (the lower surface in FIG. 5).
  • the touch sensor 21 is a capacitive touch sensor that detects a capacitance generated between the electrode and the object.
  • the touch surfaces 21a and 21b are configured by arranging a plurality of touch electrodes on each of two substrates provided on the upper surface side and the lower surface side of the housing of the control unit 11.
  • the two substrates constituting each of the touch surfaces 21a and 21b are electrically connected to each other by a flexible flat cable (FFC) 51.
  • FFC flexible flat cable
  • a sensor chip may be provided for each substrate constituting one touch surface.
  • the wireless antenna 52 is provided on the rear side of the control unit 11 (on the side opposite to the lens portion of the spectacles frame 20).
  • the wireless antenna 52 performs wireless communication with an external device (for example, a mobile terminal owned by a user) using, for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • an external device for example, a mobile terminal owned by a user
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the display module 10 including the control unit 11 can be connected to any one of the temple portions of the eyeglass-type frame 20.
  • the display module 10 is assumed to be attached to the right temple portion (right eye side) of the temple portions of the eyeglass-type frame 20. Further, as shown in FIG. 6, the display module 10 can be attached to the left temple portion (left eye side) of the temple portions of the eyeglass-type frame 20.
  • the touch surface 21 b of the touch sensor 21 is provided on the upper surface of the housing of the control unit 11, and the touch surface 21 a (not shown) of the touch sensor 21 is disposed on the lower surface of the housing of the control unit 11. Will be provided.
  • the display module 10 can be attached to any of the left and right temple portions of the glasses-type frame 20. The user can operate the touch sensor 21 with the same operability.
  • FIG. 7 illustrates a functional configuration example of the display module 10 according to the first embodiment of the present technology.
  • the display module 10 shown in FIG. 7 includes operation reception units 111a and 111b, a mounting state determination unit 112, a display control unit 113, and a display unit 114.
  • the operation reception units 111 a and 111 b correspond to the touch surfaces 21 a and 21 b of the touch sensor 21.
  • the operation reception units 111a and 111b receive user operations such as taps, long taps, and swipes.
  • the operation reception units 111a and 111b supply a signal corresponding to the received user operation to the display control unit 113.
  • the mounting state determination unit 112 determines the mounting state of the housing of the control unit 11. Specifically, the wearing state determination unit 112 determines which of the pair of temple portions of the eyeglass-type frame 20 the control unit 11 (housing) is connected to. The wearing state determination unit 112 supplies a signal representing the determination result to the display control unit 113.
  • the wearing state determination unit 112 is configured to include an acceleration sensor, and determines which of the temple units is connected by determining the posture of the housing based on the output of the acceleration sensor.
  • the wearing state determination unit 112 is configured to include a gyro sensor, and determines the position of the housing based on the output of the gyro sensor, thereby determining which of the temple units is connected. May be.
  • the wearing state determining unit 112 may determine which of the temple units is connected by performing near field communication such as NFC (Near Field Communication) with the glasses-type frame 20. Further, the mounting state determination unit 112 may determine which of the temple units is connected based on the positional relationship between the control unit 11 and the optical unit 13.
  • NFC Near Field Communication
  • the wearing state determination unit 112 may determine which of the temple units is connected based on information preset by the user. For example, in the setting mode in which various settings of the display module 10 are performed, the user can select which of the temple parts to connect to, so that the wearing state determination unit 112 can determine whether the temple part has You may make it discriminate
  • the display control unit 113 is configured as an output control unit that controls output according to an operation on the operation receiving units 111a and 111b, depending on the determined mounting state of the control unit 11 (housing). Specifically, the display control unit 113 controls the display of an image on the display unit 114 based on signals from the operation receiving units 111a and 111b and the wearing state determination unit 112.
  • the display unit 114 corresponds to the display unit 12 and the optical unit 13. As shown in FIGS. 1 and 6, the display unit 114 may be provided in the vicinity of the lens unit of the spectacles type frame 20 or may be provided in the lens unit of the spectacles type frame 20 itself. Good.
  • Display module display processing Next, display processing of the display module 10 will be described with reference to the flowchart of FIG. The process of FIG. 8 is started when, for example, the display module 10 (the housing of the control unit 11) is connected to one of the temple parts of the eyeglass-type frame 20.
  • step S11 the wearing state determination unit 112 determines whether the housing of the control unit 11 is connected to the left or right temple unit.
  • the wearing state determination unit 112 supplies a signal representing the determination result to the display control unit 113.
  • step S12 the display control unit 113 displays a screen on the display unit 114 in a direction corresponding to which of the left and right temple units is connected based on the signal from the mounting state determination unit 112.
  • the output of the acceleration sensor or gyro sensor constituting the mounting state determination unit 112 is treated as being inverted depending on which of the left and right temple portions is connected to the case. Also become. Specifically, the output of the acceleration sensor or the gyro sensor itself may be reversed, or the display control unit 113 may recognize that the output of the acceleration sensor or the gyro sensor is reversed.
  • the display control unit 113 may display on the display unit 114 information indicating which of the left and right temple units the casing of the control unit 11 is connected to.
  • the housing of the control unit 11 when the housing of the control unit 11 is connected to the left temple portion in the upper state of FIG. 9, the housing displayed on the upper left of the screen displayed on the display unit 114 as shown in the lower portion of FIG.
  • the wording 132 of “left side mode” indicating that the body is connected to the left temple part is displayed.
  • the screen shown in FIG. 9 is an example of a menu screen of an application related to display provided by the display module 10.
  • icons representing the menu B, the menu C, and the menu D are displayed.
  • the icon representing the menu C is displayed larger than the other icons in the center of the menu screen and is in a selectable state.
  • the icon displayed on the menu screen is scroll-displayed in the horizontal direction (left-right direction) by a user operation on the touch sensor 21.
  • the display control unit 113 determines whether or not a touch surface facing down among the touch surfaces 21 a and 21 b of the touch sensor 21 has been operated. Specifically, when the housing of the control unit 11 is connected to the right temple portion (FIG. 1), it is determined whether or not the touch surface 21b has been operated. On the other hand, when the housing of the control unit 11 is connected to the left temple portion (FIG. 6), it is determined whether or not the touch surface 21a has been operated.
  • step S13 If it is determined in step S13 that the touch surface facing downward has been operated, the process proceeds to step S14.
  • step S14 the display control unit 113 performs screen display on the display unit 114 in accordance with a user operation on the touch surface facing downward.
  • step S13 if it is determined in step S13 that the touch surface facing downward is not operated, the display control unit 113 does nothing until the touch surface facing downward is operated. Therefore, even if the touch surface facing upward is operated, the menu screen shown in the upper part of FIGS. 10 and 11 does not scroll.
  • the display control unit 113 suppresses the reflection of the operation on the touch surface facing upward on the output. Specifically, the display control unit 113 invalidates the operation on the touch surface facing upward. In other words, even if the touch surface facing upward is operated, the display control unit 113 does not determine that there is an operation or does not perform display control after determining that there is an operation. Thereby, the user's operation on the touch surface facing upward is not reflected on the screen displayed on the display unit 114. In addition, the display control unit 113 turns off the power supply to the electrode corresponding to the touch surface facing upward among the touch surfaces of the touch sensor 111, so that the user's operation to the touch surface facing upward can be performed. You may make it not reflect on the screen currently displayed on the display part 114. FIG.
  • one of the two touch surfaces corresponds to an operation on the touch surface facing downward.
  • Screen display is performed.
  • the user can realize the same screen display by the same operation in each case.
  • the operability of the HMD can be further improved.
  • the display control unit 113 disables the operation to the operation reception unit 111a or 111b so that the user operation is not reflected on the screen displayed on the display unit 114.
  • the user's operation may not be reflected on the screen displayed on the display unit 114 but may be made difficult to be reflected.
  • the display control unit 113 reduces the gain of the output amount with respect to the operation input amount of the operation receiving unit 111a or 111b based on the mounting state of the housing of the control unit 11.
  • the display control unit 113 may tighten the detection conditions for the operation to the operation receiving unit 111a or 111b based on the mounting state of the housing of the control unit 11. For example, based on the mounting state of the casing of the control unit 11, the capacitance value serving as a reference for detecting a user operation (tap or swipe) on the touch surface facing upward is increased.
  • the display control unit 113 may reduce the range in which an operation to the operation receiving unit 111a or 111b can be detected based on the mounting state of the housing of the control unit 11.
  • the display control unit 113 may lower the detection sensitivity of the operation to the operation receiving unit 111a or 111b based on the mounting state of the housing of the control unit 11.
  • the operation reception units 111a and 111b correspond to the touch surfaces 21a and 21b of the touch sensor 21, but may correspond to other configurations.
  • the operation receiving units 111a and 111b may be physical input devices such as buttons and dials.
  • the operation receiving units 111a and 111b may be sensors that detect a user's gesture or line of sight by detecting visible light, infrared light, radio waves, sound waves, or the like.
  • a swipe operation in the left-right direction that is, a planar operation on the touch surface may be accepted. Further, a direction in which the finger is separated from the touch surface may be detected, and a three-dimensional operation on the touch surface may be accepted.
  • the housing of the control unit 11 includes, for example, left and right temple portions so that the front and rear directions of the display unit 12 and the optical unit 13 are switched so that the surface on which the touch surface is provided is always directed downward. It shall have a structure connectable to.
  • the relative finger of the touch surface to the touch surface is determined depending on whether the housing of the control unit 11 is connected to the left temple portion or the right temple portion.
  • the direction of movement is opposite to the direction of finger movement detected by the touch surface.
  • the display control unit 111 switches the output (screen display) according to the operation on the touch surface so as to be reversed based on the mounting state of the housing of the control unit 11. For example, the display control unit 111 reverses the display control for the signal from the touch surface depending on whether the housing of the control unit 11 is connected to the right temple unit or the left temple unit. .
  • the casing of the control unit 11 is connected to the right temple part and the menu screen shown in the upper part of FIG.
  • the direction of the finger movement detected by the touch surface is the direction from the far side to the near side from the connecting portion with the temple portion.
  • the menu screen scrolls to the left.
  • the icon representing the menu C displayed on the right side of the menu screen is displayed largely in the center of the menu screen.
  • the display control unit 111 inverts the signal from the touch surface depending on whether the housing of the control unit 11 is connected to the right temple unit or the left temple unit.
  • the screen display may be reversed.
  • FIG. 12 is an external view showing another configuration example of the display module according to the first embodiment.
  • the display module 10 shown in FIG. 12 further includes a camera 151 in addition to the configuration of the display module 10 shown in FIG.
  • the camera 151 is provided on the surface of the housing of the control unit 11 on the surface side of the eyeglass-type frame 20 so that the lens is exposed.
  • the camera 151 captures an image of the visual field direction of the eyeglass-type frame 20.
  • FIG. 13 shows a functional configuration example of the display module 10 shown in FIG.
  • the display module 10 shown in FIG. 13 further includes an imaging unit 171 and a recording unit 172 in addition to the configuration of the display module 10 shown in FIG.
  • the imaging unit 171 corresponds to the camera 151.
  • the imaging unit 171 supplies the captured image data to the display control unit 113.
  • the display control unit 113 displays an image on the display unit 114 based on the data from the imaging unit 171.
  • the imaging unit 171 supplies the captured image data to the recording unit 172. That is, the recording unit 172 records the image captured by the imaging unit 171.
  • FIG. 14 Images capture processing of display module
  • the display module 10 the housing of the control unit 11
  • step S31 the mounting state determination unit 112 determines whether the housing (control unit 11) is connected to the left or right temple unit.
  • the wearing state determination unit 112 supplies a signal representing the determination result to the display control unit 113.
  • step S ⁇ b> 32 the display control unit 113 displays a live view, a so-called live view, in a direction corresponding to which of the left and right temples is connected to the display unit based on the signal from the mounting state determination unit 112. 114.
  • the image light projected from the optical unit 13 has a top-and-bottom direction as viewed from the user.
  • the display control unit 113 switches the top-to-bottom direction of the through image displayed on the display unit 114 depending on which of the left and right temple units the casing is connected to.
  • the display control unit 113 may display on the display unit 114 information indicating which of the left and right temple units the casing of the control unit 11 is connected to.
  • step S ⁇ b> 33 the display control unit 113 determines whether or not the touch surface facing down of the touch surfaces 21 a and 21 b of the touch sensor 21 has been tapped, for example. Specifically, when the housing of the control unit 11 is connected to the right temple, it is determined whether or not the touch surface 21b has been operated. On the other hand, when the housing of the control unit 11 is connected to the left temple, it is determined whether or not the touch surface 21a has been operated.
  • step S33 If it is determined in step S33 that the touch surface facing downward has been operated, the process proceeds to step S34.
  • step S34 the imaging unit 171 causes the recording unit 172 to record a still image captured when the touch surface facing downward is operated.
  • This still image is also an image oriented according to whether the housing is connected to the left or right temple part.
  • step S33 if it is determined in step S33 that the touch surface facing downward is not operated, the still image is not recorded until the touch surface facing downward is operated. Therefore, even if the touch surface facing upward is operated, a still image is not recorded.
  • FIG. 15 illustrates a functional configuration example of the display module 10 according to the second embodiment of the present technology.
  • 15 includes an operation reception unit 211, an exercise state acquisition unit 212, a display control unit 213, and a display unit 214.
  • the operation reception unit 211 corresponds to the touch surfaces 21 a and 21 b of the touch sensor 21.
  • the operation reception unit 211 receives user operations such as tap, long tap, and swipe.
  • the operation reception unit 211 supplies a signal corresponding to the received user operation to the display control unit 213.
  • the exercise state acquisition unit 212 acquires information regarding the exercise state of the user wearing the display module 10. Specifically, the exercise state acquisition unit 212 acquires the user's exercise amount (strength of exercise) as information on the exercise state.
  • the intensity of exercise is calculated by, for example, biological sensing (sensing of biological information such as heart rate, sweating, body temperature, blood pressure, myoelectric potential, brain wave, respiration, etc.). Further, the intensity of exercise may be calculated based on the movement speed of the user and the result of action recognition such as whether the user is stationary, walking, or running.
  • the exercise state acquisition unit 212 supplies a signal representing information about the acquired exercise state to the display control unit 113.
  • the exercise state acquisition unit 212 is configured to include an acceleration sensor, and acquires the output of the acceleration sensor as information related to the user's exercise state. Further, the exercise state acquisition unit 212 may be configured to include a GPS (Global Positioning System) sensor, and the output of the GPS sensor may be acquired as information on the user's exercise state.
  • GPS Global Positioning System
  • the display control unit 213 controls display of an image on the display unit 214.
  • the display control unit 213 is configured as an output control unit that controls an output to the operation receiving unit 211 based on the acquired information on the user's exercise state. Specifically, the display control unit 213 controls an output for an operation on an image displayed on the display unit 214 based on a signal from the exercise state acquisition unit 212.
  • the display unit 214 corresponds to the display unit 12 and the optical unit 13. As shown in FIGS. 1 and 6, the display unit 214 may be provided in the vicinity of the lens unit of the glasses-type frame 20 or may be provided in the lens unit of the glasses-type frame 20 itself. Good.
  • Display module input / output control processing Next, display processing of the display module 10 will be described with reference to the flowchart of FIG. The process of FIG. 16 is started in a state in which the eyeglass frame 20 to which the display module 10 is connected is attached to the user and a predetermined screen is displayed on the display unit 214.
  • step S71 the exercise state acquisition unit 212 acquires information related to the user's exercise state.
  • the exercise state acquisition unit 212 supplies a signal representing information related to the user's exercise state to the display control unit 213.
  • step S72 the display control unit 213 determines whether or not the user's exercise state is a predetermined exercise state based on the signal from the exercise state acquisition unit 212. Specifically, the display control unit 213 determines whether or not the amount of exercise exceeds a predetermined amount (predetermined level) based on the amount of exercise (intensity of exercise) of the user. For example, the display control unit 213 can determine that the amount of exercise of the user exceeds a predetermined amount when the movement speed of the user exceeds a predetermined speed. Further, the display control unit 213 can determine that the amount of exercise of the user exceeds a predetermined amount when the user is traveling.
  • a predetermined amount predetermined level
  • the display control unit 213 determines that the user's exercise amount exceeds the predetermined amount based on the biological information obtained by the biological sensing. Can be determined. Furthermore, the display control unit 213 calculates the vibration of the display module 10 (control unit 11) from the output of the acceleration sensor included in the motion state acquisition unit 212, and when the period of the vibration is shorter than a predetermined time, When the amplitude of vibration is larger than a predetermined amount, it can be determined that the user's momentum exceeds a predetermined amount.
  • step S72 If it is determined in step S72 that the user's exercise state is a predetermined exercise state, that is, the user's exercise amount (intensity of exercise) exceeds a predetermined amount (predetermined level), the process proceeds to step S73. move on.
  • step S ⁇ b> 73 the display control unit 213 displays an operation on the operation reception unit 211 on the display unit 214 by controlling an output to the operation reception unit 211 with respect to the screen displayed on the display unit 214. Suppress the reflection on the screen. Specifically, the operation to the operation reception unit 211 is invalidated. In other words, even if the operation receiving unit 211 is operated, the display control unit 213 does not determine that there is an operation or does not perform display control after determining that there is an operation. Thereby, the user's operation is not reflected on the screen displayed on the display unit 214.
  • the display control unit 213 may display information indicating a change in the exercise state of the user on the screen displayed on the display unit 214.
  • the color of the indicator 251 displayed at the upper right of the menu screen shown in FIG. 18 may be changed according to the user's exercise state. Specifically, in a state where the intensity of the user's exercise does not exceed a predetermined level, the color of the indicator 251 is, for example, white or green as shown in the upper part of FIG. When the intensity of the user's exercise exceeds a predetermined level, the color of the indicator 251 changes to, for example, black or red as shown in the lower part of FIG.
  • step S72 when it is determined in step S72 that the user's exercise state is not the predetermined exercise state, that is, the intensity of the user's exercise does not exceed the predetermined level, the process proceeds to step S71. Returning, the processes of steps S71 and S72 are repeated.
  • the display control unit 213 does not determine that there is an operation or does not perform display control after determining that there is an operation. The user operation is no longer reflected on the screen displayed on the display unit 214.
  • the display control unit 213 may turn off the power supply to the operation reception unit 211 so that the user's operation is not reflected on the screen displayed on the display unit 214.
  • the user operation may not be reflected on the screen displayed on the display unit 214 but may be made difficult to reflect.
  • the display control unit 213 reduces the gain of the output amount with respect to the operation input amount of the operation receiving unit 211 based on the user's exercise state. For example, when the user's exercise intensity exceeds a predetermined level, the scroll amount of the menu screen relative to the finger movement amount in the swipe operation to the operation reception unit 211 is normal (the user's exercise intensity is predetermined). (If the level is not exceeded).
  • the display control unit 213 may tighten the detection conditions for the operation to the operation receiving unit 211 based on the user's exercise state. For example, based on the user's exercise state, the capacitance value serving as a reference for detecting a user operation (tap or swipe) in the operation reception unit 211 may be increased. Thereby, when the intensity of the user's exercise exceeds a predetermined level, the detection sensitivity of the operation reception unit 211 itself can be lowered.
  • the display control unit 213 may reduce the range in which an operation to the operation receiving unit 211 can be detected based on the user's exercise state.
  • the display control unit 213 may reduce the detection sensitivity of the operation to the operation receiving unit 211 based on the user's exercise state.
  • the display control unit 213 may cause the operation receiving unit 211 to output an operation after a predetermined operation based on the user's exercise state. For example, when the intensity of the user's exercise exceeds a predetermined level, an output for a normal tap or swipe is made after a long tap for a predetermined time or longer is given to the operation reception unit 211. As a result, the user performs an operation on the operation receiving unit 211 after suppressing the exercise, and as a result, an erroneous operation can be prevented.
  • the display control unit 213 may invalidate a steady operation on the operation receiving unit 211 based on the user's exercise state. For example, when the intensity of the user's exercise exceeds a predetermined level, the continuous touch on the operation reception unit 211 is ignored. Thereby, even if the decoration of the helmet worn by the user, the user's own hair, etc. are always touching the touch surface of the touch sensor 21, it is possible to prevent erroneous operations caused by the touch. .
  • the output for the operation to the operation reception unit 211 is controlled based on the amount of exercise of the user, but the output for the operation is further controlled based on the direction of movement of the user. Good.
  • the output for the operation is controlled.
  • the operation of the operation reception unit 211 is more difficult when the user is running with a lot of vertical movement. Therefore, even when the amount of exercise is the same, when the amount of exercise in the vertical direction exceeds a predetermined amount, reflection of the operation on the output is suppressed. Thereby, it becomes possible to prevent an erroneous operation by a user who is running.
  • the operation reception unit 211 corresponds to the touch surfaces 21a and 21b of the touch sensor 21, but may correspond to other configurations.
  • the operation reception unit 211 may be a physical input device such as a button or a dial.
  • the operation reception unit 211 may be sensors that detect a user's gesture or line of sight by detecting visible light, infrared light, radio waves, sound waves, or the like. ⁇ 4. Other>
  • the first embodiment described above can have the following configuration.
  • the HMD 410 including the operation receiving units 111a and 111b, the wearing state determining unit 112, and the display unit 114 and the information processing apparatus 420 including the display control unit 113 are configured as separate units. You may make it mutually perform wireless communication using wired communication or Wi-Fi (trademark), Bluetooth (trademark), etc. mutually.
  • the information processing apparatus 420 is configured as a mobile terminal such as a smartphone.
  • the HMD 410 and the information processing apparatus 420 may be connected via a network 430 such as the Internet or an intranet.
  • the information processing apparatus 420 is configured as a server on a network, for example.
  • the second embodiment described above can have the following configuration.
  • an HMD 510 including an operation receiving unit 211, an exercise state acquiring unit 212, and a display unit 214 and an information processing device 520 including a display control unit 213 are configured as separate units, Wired communication or wireless communication using Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like may be performed.
  • the information processing device 520 is configured as a mobile terminal such as a smartphone.
  • the HMD 510 and the information processing apparatus 520 may be connected via a network 530 such as the Internet or an intranet.
  • the information processing apparatus 520 is configured as a server on a network.
  • the display module 10 as the information processing apparatus of the present technology is configured to include the touch sensor and the display unit, but may be configured not to include the display unit, or vice versa.
  • the touch sensor may not be included.
  • the display method of the display module 10 is such that the length in the direction in which the length is shorter than the other direction of the region where the light is emitted toward the pupil of the user is equal to or less than the upper limit of the pupil diameter variation. That is, a method using an eyepiece optical system, that is, the user's pupil is divided into a portion where light related to an external image is incident and a portion where light related to an electronically generated image is incident, and an external image In the above description, the generated image is superposed optically (pupil division method).
  • the display method of the display module 10 may be a prism method, a hologram method, or other so-called see-through type or see-around type display method.
  • the present technology can be applied to a transmissive display type or video see-through type HMD.
  • the present technology may be applied to an HMD other than the glasses type, for example, a hat type HMD, or may be applied to other wearable terminals such as a wristwatch type or a wristband type.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU 901 In the computer, a CPU 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903 are connected to each other by a bus 904.
  • a bus 904. In the computer, a CPU 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903 are connected to each other by a bus 904.
  • An input / output interface 905 is further connected to the bus 904.
  • An input unit 906, an output unit 907, a storage unit 908, a communication unit 909, and a drive 910 are connected to the input / output interface 905.
  • the input unit 906 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 907 includes a display, a speaker, and the like.
  • the storage unit 908 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 909 includes a network interface or the like.
  • the drive 910 drives a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 908 to the RAM 903 via the input / output interface 905 and the bus 904 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 901) can be provided by being recorded on a removable medium 911 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 908 via the input / output interface 905 by attaching the removable medium 911 to the drive 910.
  • the program can be received by the communication unit 909 via a wired or wireless transmission medium and installed in the storage unit 908.
  • the program can be installed in the ROM 902 or the storage unit 908 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • An information processing apparatus comprising: an output control unit that suppresses reflection of an operation to an operation receiving unit provided in the housing based on a mounting state of the housing mounted on a user's head.
  • the housing is connected to one of a pair of temple parts of a spectacle-type frame to be worn on the user's head, The operation receiving unit is provided on each of the first surface of the housing and the second surface on the opposite side, Based on the mounting state of the housing, the output control unit is configured to send the operation reception unit provided on a surface facing upward among the first surface and the second surface of the housing.
  • the information processing apparatus wherein the operation is invalidated and an output for the operation to the operation reception unit provided on the surface facing downward is performed.
  • the output control unit determines the orientation of the image displayed on the display unit in the top-to-bottom direction according to which of the pair of temple units is connected as the mounting state of the housing. Switching The information processing apparatus according to (4).
  • the housing further includes an imaging unit that images the viewing direction of the glasses-type frame, The imaging unit switches the orientation of the image to be picked up in the vertical direction according to which of the pair of temple units is connected as the mounting state of the casing.
  • the information processing apparatus according to any one of (5).
  • the output control unit reduces a gain of an output amount with respect to an operation input amount to the operation receiving unit based on a mounting state of the housing.
  • the output control unit tightens a detection condition for an operation to the operation receiving unit based on a mounting state of the housing.
  • the information processing apparatus wherein the output control unit reduces a range in which an operation to the operation receiving unit can be detected based on a mounting state of the housing. (10) The information processing apparatus according to (1), wherein the output control unit reduces detection sensitivity of an operation to the operation receiving unit based on a mounting state of the housing. (11) The information processing apparatus according to (1), wherein the output control unit switches the output corresponding to the operation to the operation reception unit to be reversed based on the mounting state of the housing. (12) The information processing apparatus according to (11), wherein the output control unit switches the display of the display unit corresponding to the operation to the operation reception unit to be reversed based on the mounting state of the housing.
  • the information processing apparatus according to any one of (1) to (12), wherein the operation reception unit includes a touch surface of a touch sensor.
  • the touch surface provided on each of the first surface of the housing and the second surface opposite to the first surface is electrically connected to one chip.
  • the touch surface is formed to be recessed from a surface of the housing on which the touch surface is provided.
  • the touch surface is made of a material different from a surface on which the touch surface of the housing is provided.
  • An information processing method including a step of suppressing, in an output, an operation to an operation receiving unit provided in the casing based on a mounting state of the casing mounted on a user's head.
  • a program for executing a process including a step of suppressing the reflection of an operation to an operation receiving unit provided in the casing on an output based on a mounting state of the casing mounted on the user's head.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、HMDの操作性を向上させることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 出力制御部は、ユーザの頭部に装着される筐体の装着状態に基づいて、筐体に設けられた操作受付部への操作の、出力への反映を抑制する。本技術は、HMDを構成するディスプレイモジュールに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
 本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、HMDの操作性を向上させることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
 近年、頭部に装着される情報処理装置に関する技術開発が行われている。このような情報処理装置は、HMD(Head-Mounted Display)と呼ばれる。HMDは、それを装着するユーザに画像を提供する機能を有する。
 HMDの中には、眼鏡型フレームのテンプル部に表示装置を取り付けるタイプのものがある。例えば、特許文献1には、眼鏡型フレームの左右のテンプル部のいずれにも、表示装置を着脱可能にした構成が開示されている。
特開2014-137522号公報
 しかしながら、特許文献1においては、表示装置が左側に取り付けられた場合と、右側に取り付けられた場合とでの、表示装置に対する操作の違いについて言及されていない。
 本技術は、このような状況に鑑みてなされたものであり、HMDの操作性をより向上させることができるようにするものである。
 本技術の一側面の情報処理装置は、ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する出力制御部を備える。
 本技術の一側面の情報処理方法は、ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制するステップを含む。
 本技術の一側面のプログラムは、コンピュータに、ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制するステップを含む処理を実行させる。
 本技術の一側面においては、ユーザの頭部に装着される筐体の装着状態に基づいて、筐体に設けられた操作受付部への操作の、出力への反映が抑制される。
 本技術の一側面によれば、HMDの操作性をより向上させることが可能となる。
本実施の形態に係るディスプレイモジュールの構成例を示す外観図である。 光学ユニットの構成例を示す斜視図である。 光学ユニットの構成例を示す断面図である。 ディスプレイモジュールがユーザに装着された状態の例を示す図である。 制御ユニットの内部の構成例を示す図である。 ディスプレイモジュールの構成例を示す外観図である。 第1の実施の形態のディスプレイモジュールの機能構成例を示すブロック図である。 表示処理について説明するフローチャートである。 光学ユニットに表示される画像の例を示す図である。 光学ユニットに表示される画像の例を示す図である。 光学ユニットに表示される画像の例を示す図である。 ディスプレイモジュールの他の構成例を示す外観図である。 制御ユニットの他の機能構成例を示すブロック図である。 撮像処理について説明するフローチャートである。 第2の実施の形態のディスプレイモジュールの機能構成例を示すブロック図である。 入出力制御処理について説明するフローチャートである。 光学ユニットに表示される画像の例を示す図である。 光学ユニットに表示される画像の例を示す図である。 第1の実施の形態の他の機能構成例を示すブロック図である。 第1の実施の形態のさらに他の機能構成例を示すブロック図である。 第2の実施の形態の他の機能構成例を示すブロック図である。 第2の実施の形態のさらに他の機能構成例を示すブロック図である。 コンピュータの機能構成例を示すブロック図である。
 以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
 1.ディスプレイモジュールの概略
 2.第1の実施の形態(取り付け位置に応じてタッチセンサの出力を制御する例)
 3.第2の実施の形態(運動状態に応じてタッチセンサの出力を制御する例)
 4.その他
<1.ディスプレイモジュールの概略>
 図1は、本実施の形態に係るディスプレイモジュールの構成例を示している。
 図1に示されるように、ディスプレイモジュール10および眼鏡型フレーム20は、HMD(Head-Mounted Display)を構成する。情報処理装置としてのディスプレイモジュール10は、ユーザの頭部に装着される眼鏡型フレーム20の一対のテンプル部のうちの右側のテンプル部(右眼側)に取り付けられる。
 ディスプレイモジュール10は、制御ユニット11、表示ユニット12、および光学ユニット13から構成される。
 制御ユニット11は、表示ユニット12および眼鏡型フレーム20と接続される。具体的には、制御ユニット11の筐体の長辺方向の端部は表示ユニット12と結合され、制御ユニット11の筐体の側面は接続部材を介して眼鏡型フレーム20のテンプル部と接続される。
 制御ユニット11は、ディスプレイモジュール10の動作を制御するための制御基板を内蔵する。具体的には、制御ユニット11は、CPU(Central Processing Unit)またはRAM(Random Access Memory)などを有する制御基板を備える。
 制御ユニット11の筐体の上面には、タッチセンサ21のタッチ面21aが設けられる。また、後述するが、制御ユニット11の筐体の下面には、タッチセンサ21のタッチ面21b(図示せず)が設けられる。タッチ面21a,21bは、ユーザの操作を受け付ける。
 ユーザが、ディスプレイモジュール10(眼鏡型フレーム20)を装着しているとき、ユーザは、制御ユニット11の筐体に設けられるタッチ面21a,21bを視認することができない。そこで、ユーザが、制御ユニット11の筐体の面に触れることでタッチ面21a,21bの位置を認識できるように、タッチ面21a,21bは、それらが設けられる制御ユニット11の筐体の面よりくぼんで形成されるようにする。なお、タッチ面21a,21bが、それらが設けられる制御ユニット11の筐体の面と異なる材質により構成されるようにしてもよい。
 制御ユニット11は、表示ユニット12を介して光学ユニット13と接続される。
 表示ユニット12は、制御ユニット11と光学ユニット13とを接続し、光学ユニット13を支持する。具体的には、表示ユニット12は、制御ユニット11の端部および光学ユニット13の端部とそれぞれ結合され、光学ユニット13を固定する。表示ユニット12は、制御ユニット11から光学ユニット13に提供される画像に係るデータを通信するための信号線、および、その画像を光学ユニット13に投影するためのディスプレイを内蔵する。
 光学ユニット13は、画像光をディスプレイモジュール10の外部に投射する。具体的には、光学ユニット13は、制御ユニット11から表示ユニット12を経由して提供される画像光を、接眼レンズを通じてディスプレイモジュール10の外部、すなわちディスプレイモジュール10を装着するユーザの目に向かって投射する。
(光学ユニットの構成)
 ここで、図2乃至図4を参照して、光学ユニット13の構成について詳細に説明する。
 図2は、光学ユニット13の構成例を示す斜視図であり、図3は、光学ユニット13の構成例を示す断面図である。また、図4は、ディスプレイモジュール10がユーザに装着された状態の例を示す図である。
 図2および図3に示されるように、光学ユニット13は、導光部31、反射部32および接眼レンズ33から構成される。
 導光部31には、表示ユニット12に設けられた投射部41からの画像光が射出される。投射部41は、制御ユニット11から提供される画像を表示する表示パネルであり、画像の表示によって画像光を導光部31に向けて射出する。投射部41は、例えば有機EL(Electro-Luminescence)ディスプレイにより構成される。
 導光部31は、入射された画像光を反射部32に誘導する。導光部31は、例えば、図2に示されるような柱状の部材である。導光部31は、図3に示されるように、投射部41から投射される画像光が、ディスプレイモジュール10の外部に漏れることなく反射部32に到達するように画像光を誘導する。なお、導光部31は、内部が中空である筒状の部材であってもよく、画像光を透過させる透明な部材であってもよい。
 反射部32は、到達する画像光を接眼レンズ33に向けて反射させる。例えば、反射部32は、図3に示されるように、導光部31によって誘導された画像光を接眼レンズ34の位置に向かうように反射させる。
 接眼レンズ33は、画像を拡大させる。具体的には、接眼レンズ33は、反射部32によって反射された画像光を屈折させ、画像光に係る画像を拡大する。
 また、光学ユニット13は、光がユーザの瞳孔に向けて出射される領域の他の方向よりも長さが短い方向の長さが、瞳孔の径の変動上限以下の長さであるように形成される。具体的には、光学ユニット13は、光学ユニット13の短手方向の幅の長さが平均的な瞳孔径以下になるように形成される。
 図4に示されるように、光学ユニット13は、例えば、光学ユニット13の短手方向の幅の長さL2が、平均的な瞳孔径L1以下になるように形成される。なお、人間の瞳孔径L1は、概して2mm乃至8mm程度の範囲で変動するため、L2は8mm以下、例えば4mmなどとされる。また、光学ユニット13において、光が射出される領域の形状は、矩形のほか、円形、楕円形または他の多角形であってもよい。
(制御ユニットの構成)
 次に、図5を参照して、制御ユニット11の構成について詳細に説明する。
 図5は、制御ユニット11の内部の構成例を示す断面図である。
 図5に示されるように、制御ユニット11の前側(眼鏡型フレーム20のレンズ部側)には、タッチセンサ21が設けられる。タッチセンサ21のタッチ面21aは、制御ユニット11の筐体の第1の面(図5では上面)に設けられ、タッチ面21bは、制御ユニット11の筐体の第1の面の反対側の第2の面(図5では下面)に設けられる。
 タッチセンサ21は、電極と対象物との間に発生する静電容量を検出する静電容量方式のタッチセンサである。タッチ面21a,21bは、制御ユニット11の筐体の上面側と下面側に設けられた2枚の基板それぞれに、複数のタッチ電極が配置されることで構成される。タッチ面21a,21bそれぞれを構成する2枚の基板は、フレキシブルフラットケーブル(FFC)51により互いに電気的に接続される。このような構成により、複数のタッチ面を、1つのセンサチップにより制御することができ、センサチップのコストを抑えることができる。
 なお、1つのタッチ面を構成する基板毎に、センサチップを設けるようにしてもよい。
 また、タッチ電極周辺は、GNDに接続される必要があるので、タッチ面21a,21bそれぞれに挟まれた領域(空間)はシールドされる。したがって、図5に示されるように、制御ユニット11の後ろ側(眼鏡型フレーム20のレンズ部とは反対側)に、無線アンテナ52を設けるようにする。
 無線アンテナ52は、外部の機器(例えば、ユーザが所有する携帯端末など)と、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)などを用いた無線通信を行う。
 なお、制御ユニット11を含むディスプレイモジュール10は、眼鏡型フレーム20のテンプル部のうちのいずれか一方に接続可能とされる。
 すなわち、図1の例では、ディスプレイモジュール10は、眼鏡型フレーム20のテンプル部のうちの右側のテンプル部(右眼側)に取り付けられるものとした。また、ディスプレイモジュール10は、図6に示されるように、眼鏡型フレーム20のテンプル部のうちの左側のテンプル部(左眼側)に取り付けられるようにすることもできる。
 図6の例では、制御ユニット11の筐体の上面に、タッチセンサ21のタッチ面21bが設けられ、制御ユニット11の筐体の下面に、タッチセンサ21のタッチ面21a(図示せず)が設けられるようになる。
 制御ユニット11の筐体の上面および下面のそれぞれに、タッチセンサ21のタッチ面を設けるようにすることで、ディスプレイモジュール10は、眼鏡型フレーム20の左右のテンプル部のいずれに取り付けられた場合でも、ユーザは、同じ操作性でタッチセンサ21を操作することができる。
<2.第1の実施の形態(取り付け位置に応じてタッチセンサの出力を制御する例)>
 以下においては、本技術の第1の実施の形態に係るディスプレイモジュール10について説明する。
(ディスプレイモジュールの機能構成例)
 図7は、本技術の第1の実施の形態に係るディスプレイモジュール10の機能構成例を示している。
 図7に示されるディスプレイモジュール10は、操作受付部111a,111b、装着状態判別部112、表示制御部113、および表示部114を備える。
 操作受付部111a,111bは、タッチセンサ21のタッチ面21a,21bに対応する。操作受付部111a,111bは、タップやロングタップ、スワイプといった、ユーザの操作を受け付ける。操作受付部111a,111bは、受け付けたユーザの操作に応じた信号を、表示制御部113に供給する。
 装着状態判別部112は、制御ユニット11の筐体の装着状態を判別する。具体的には、装着状態判別部112は、制御ユニット11(筐体)が、眼鏡型フレーム20の一対のテンプル部のいずれに接続されているかを判別する。装着状態判別部112は、判別した結果を表す信号を表示制御部113に供給する。
 例えば、装着状態判別部112は、加速度センサを含むように構成され、その加速度センサの出力に基づいて筐体の姿勢を判定することで、テンプル部のいずれに接続されているかを判別する。また、装着状態判別部112は、ジャイロセンサを含むように構成され、そのジャイロセンサの出力に基づいて筐体の姿勢を判定することで、テンプル部のいずれに接続されているかを判別するようにしてもよい。
 さらに、装着状態判別部112は、眼鏡型フレーム20と、NFC(Near Field Communication)などの近接無線通信を行うことで、テンプル部のいずれに接続されているかを判別するようにしてもよい。また、装着状態判別部112は、制御ユニット11と光学ユニット13との位置関係に基づいて、テンプル部のいずれに接続されているかを判別するようにしてもよい。
 さらにまた、装着状態判別部112は、ユーザによりあらかじめ設定された情報により、テンプル部のいずれに接続されているかを判別するようにしてもよい。例えば、ディスプレイモジュール10の各種の設定を行う設定モードにおいて、ユーザに、テンプル部のいずれに接続するかを選択させることで、装着状態判別部112が、ユーザの選択結果に基づいて、テンプル部のいずれに接続されているかを判別するようにしてもよい。
 表示制御部113は、判別された制御ユニット11(筐体)の装着状態により、操作受付部111a,111bに対する操作に応じた出力の制御を行う出力制御部として構成される。具体的には、表示制御部113は、操作受付部111a,111bおよび装着状態判別部112からの信号に基づいて、表示部114への画像の表示を制御する。
 表示部114は、表示ユニット12および光学ユニット13に対応する。表示部114は、図1や図6に示されるように、眼鏡型フレーム20のレンズ部の近傍に設けられるようにしてもよいし、眼鏡型フレーム20のレンズ部自体に設けられるようにしてもよい。
(ディスプレイモジュールの表示処理)
 次に、図8のフローチャートを参照して、ディスプレイモジュール10の表示処理について説明する。図8の処理は、例えば、ディスプレイモジュール10(制御ユニット11の筐体)が、眼鏡型フレーム20のテンプル部のいずれかに接続されると開始される。
 ステップS11において、装着状態判別部112は、制御ユニット11の筐体が左右どちらのテンプル部に接続されているかを判別する。装着状態判別部112は、判別した結果を表す信号を表示制御部113に供給する。
 ステップS12において、表示制御部113は、装着状態判別部112からの信号に基づいて、筐体が左右どちらのテンプル部に接続されているかに応じた向きの画面を、表示部114に表示する。制御ユニット11の筐体が、右側のテンプル部に接続されている場合(図1)と、左側のテンプル部に接続されている場合(図6)とでは、光学ユニット13から投射される画像光は、ユーザからみて天地方向が逆になる。そこで、表示制御部113は、筐体が左右のテンプル部のうちのいずれに接続されているかに応じて、表示部114に表示される画像の天地方向の向きを切り替える。また、この場合、筐体が左右のテンプル部のうちのいずれに接続されているかに応じて、装着状態判別部112を構成する加速度センサやジャイロセンサの出力が反転されたものとして扱われるようにもなる。具体的には、加速度センサやジャイロセンサ自体の出力が反転するようにしてもよいし、表示制御部113が、加速度センサやジャイロセンサの出力を反転したものとして認識するようにしてもよい。
 このとき、表示制御部113は、制御ユニット11の筐体が、左右のテンプル部のうちのいずれに接続されているかを表す情報を、表示部114に表示するようにしてもよい。
 例えば、制御ユニット11の筐体が右側のテンプル部に接続されている場合には、図9の上段に示されるように、表示部114へ表示される画面の右上に、筐体が右側のテンプル部に接続されていることを表す「右側モード」の文言131が表示されるようにする。
 また、図9の上段の状態で、制御ユニット11の筐体が左側のテンプル部に接続されると、図9の下段に示されるように、表示部114へ表示される画面の左上に、筐体が左側のテンプル部に接続されていることを表す「左側モード」の文言132が表示されるようにする。
 なお、図9に示される画面は、ディスプレイモジュール10により提供される、表示に関するアプリケーションのメニュー画面の例である。図9の例では、メニューB、メニューC、およびメニューDそれぞれを表すアイコンが表示されている。そのうちのメニューCを表すアイコンが、メニュー画面の中央に、他のアイコンより大きく表示され、選択可能な状態にある。メニュー画面に表示されるアイコンは、タッチセンサ21に対するユーザの操作により、水平方向(左右方向)にスクロール表示される。
 図8のフローチャートに戻り、表示制御部113は、タッチセンサ21のタッチ面21a,21bのうち、下を向いているタッチ面が操作されたか否かを判定する。具体的には、制御ユニット11の筐体が右側のテンプル部に接続されている場合(図1)には、タッチ面21bが操作されたか否かが判定される。一方、制御ユニット11の筐体が左側のテンプル部に接続されている場合(図6)には、タッチ面21aが操作されたか否かが判定される。
 ステップS13において、下を向いているタッチ面が操作されたと判定された場合、処理はステップS14に進む。
 ステップS14において、表示制御部113は、下を向いているタッチ面に対するユーザの操作に応じて、表示部114への画面表示を行う。
 例えば、図10の上段に示されるメニュー画面が、表示部114に表示されている状態で、下を向いているタッチ面に対して、後方から前方に向かってのスワイプ操作がなされた場合、メニュー画面は左側にスクロールする。その結果、図10の下段に示されるように、メニュー画面の右側に表示されていたメニューCを表すアイコンが、メニュー画面の中央に大きく表示される。
 また、図11の上段に示されるメニュー画面が、表示部114に表示されている状態で、下を向いているタッチ面に対して、前方から後方に向かってのスワイプ操作がなされた場合、メニュー画面は右側にスクロールする。その結果、図11の下段に示されるように、メニュー画面の左側に表示されていたメニューBを表すアイコンが、メニュー画面の中央に大きく表示される。
 一方、ステップS13において、下を向いているタッチ面が操作されていないと判定された場合、下を向いているタッチ面が操作されるまで、表示制御部113は何もしない。したがって、上を向いているタッチ面が操作されたとしても、図10や図11の上段に示されるメニュー画面はスクロールしない。
 すなわち、表示制御部113は、上を向いているタッチ面への操作の、出力への反映を抑制する。具体的には、表示制御部113は、上を向いているタッチ面への操作を無効にする。言い換えると、表示制御部113は、上を向いているタッチ面が操作されたとしても、操作があったと判定しないか、または、操作があったと判定した上で表示制御を行わない。これにより、上を向いているタッチ面へのユーザの操作は、表示部114に表示されている画面に反映されない。また、表示制御部113は、タッチセンサ111のタッチ面のうち、上を向いているタッチ面に対応する電極への給電をOFFすることで、上を向いているタッチ面へのユーザの操作が表示部114に表示されている画面に反映されなくなるようにしてもよい。
 以上の処理によれば、ディスプレイモジュールが、眼鏡型フレームの左右のテンプル部のいずれに接続された場合であっても、2つのタッチ面のうち、下を向いているタッチ面に対する操作に応じた画面表示が行われる。言い換えると、ディスプレイモジュールが、眼鏡型フレームの左右のテンプル部のいずれに接続された場合であっても、ユーザは、それぞれの場合で、同じ操作で同一の画面表示を実現することができる。結果として、HMDの操作性をより向上させることが可能となる。
 以上においては、表示制御部113が、操作受付部111aまたは111bへの操作を無効にすることで、ユーザの操作が表示部114に表示されている画面に反映されなくなるようにした。これに限らず、ユーザの操作が表示部114に表示されている画面に反映されなくするのではなく、反映されにくくするようにしてもよい。
 例えば、表示制御部113が、制御ユニット11の筐体の装着状態に基づいて、操作受付部111aまたは111bの操作入力量に対する出力量のゲインを小さくするようにする。
 また、表示制御部113が、制御ユニット11の筐体の装着状態に基づいて、操作受付部111aまたは111bへの操作の検出条件を厳しくするようにしてもよい。例えば、制御ユニット11の筐体の装着状態に基づいて、上を向いているタッチ面におけるユーザの操作(タップやスワイプ)の検出の基準となる静電容量の値が高くなるようにする。
 さらに、表示制御部113が、制御ユニット11の筐体の装着状態に基づいて、操作受付部111aまたは111bへの操作が検出可能な範囲を小さくするようにしてもよい。
 また、表示制御部113が、制御ユニット11の筐体の装着状態に基づいて、操作受付部111aまたは111bへの操作の検出感度を低くするようにしてもよい。
 以上においては、操作受付部111a,111bは、タッチセンサ21のタッチ面21a,21bに対応するものとしたが、他の構成に対応するものであってもよい。例えば、操作受付部111a,111bは、ボタンやダイヤルなどの物理的な入力装置であってもよい。また、操作受付部111a,111bは、可視光線や赤外線、電波や音波などを検知することにより、ユーザのジェスチャや視線を検出するセンサ類であってもよい。
(変形例)
 なお、下を向いているタッチ面に対する操作として、前後方向のスワイプ操作に加え、左右方向のスワイプ操作、すなわち、タッチ面に対する平面的な操作が受け付けられるようにしてもよい。さらに、タッチ面から指が離れる方向が検出されるようにして、タッチ面に対する立体的な操作が受け付けられるようにしてもよい。
 また、以上においては、制御ユニット11の筐体の上面および下面それぞれに、2つのタッチ面が設けられるものとしたが、制御ユニット11の筐体の1面のみに、1つのタッチ面が設けられるようにしてもよい。この場合、制御ユニット11の筐体は、例えば、タッチ面が設けられている面が常に下を向くように、表示ユニット12および光学ユニット13の前後方向の向きが入れ替わるようにして左右のテンプル部に接続可能な構成を有するものとする。
 なお、このような構成においては、制御ユニット11の筐体が左側のテンプル部に接続されている場合と、右側のテンプル部に接続されている場合とでは、タッチ面への相対的な指の動きの向きと、タッチ面が検知する指の動きの向きとは逆になる。
 そこで、このような構成においては、表示制御部111は、制御ユニット11の筐体の装着状態に基づいて、タッチ面に対する操作に応じた出力(画面表示)が反転するように切り替えるようにする。例えば、表示制御部111は、制御ユニット11の筐体が右側のテンプル部に接続されているか、左側のテンプル部に接続されているかによって、タッチ面からの信号に対する表示制御を反転するようにする。
 例えば、制御ユニット11の筐体が右側のテンプル部に接続され、かつ、図10の上段に示されるメニュー画面が、表示部114に表示されている状態で、タッチ面に対して、右から左に向かってのスワイプ操作がなされたとする。このとき、タッチ面が検知する指の動きの向きは、テンプル部との接続部から遠い側から近い側への向きとなる。この場合、メニュー画面は左側にスクロールする。その結果、図10の下段に示されるように、メニュー画面の右側に表示されていたメニューCを表すアイコンが、メニュー画面の中央に大きく表示される。
 一方、制御ユニット11の筐体が左側のテンプル部に接続され、かつ、図10の上段に示されるメニュー画面が、表示部114に表示されている状態で、タッチ面に対して、上述した例と同じ右から左に向かってのスワイプ操作がなされたとする。このとき、タッチ面が検知する指の動きの向きは、上述した例とは逆になり、テンプル部との接続部から近い側から遠い側への向きとなる。この場合であっても、メニュー画面は左側にスクロールする。その結果、図10の下段に示されるように、メニュー画面の右側に表示されていたメニューCを表すアイコンが、メニュー画面の中央に大きく表示される。
 なお、上述した例において、表示制御部111が、制御ユニット11の筐体が右側のテンプル部に接続されているか、左側のテンプル部に接続されているかによって、タッチ面からの信号自体を反転させることで、画面表示を反転させるようにしてもよい。
 さらに、以上においては、制御ユニット11の筐体の上面および下面それぞれに設けられた2つのタッチ面のうち、下を向いているタッチ面への操作のみが受け付けられるものとしたが、上を向いているタッチ面への操作のみが受け付けられてもよいし、両方のタッチ面への操作が受け付けられてもよい。両方のタッチ面への操作が受け付けられるようにした場合、例えば、両方のタッチ面へのタップ操作やスワイプ操作が同時にされることで、所定のコマンドが開始されるなどしてもよい。
(ディスプレイモジュールの他の構成例)
 図12は、第1の実施の形態に係るディスプレイモジュールの他の構成例を示す外観図である。
 図12に示されるディスプレイモジュール10は、図1に示されるディスプレイモジュール10の構成に加え、カメラ151をさらに備える。
 カメラ151は、制御ユニット11の筐体の、眼鏡型フレーム20の視野方向側の面に、レンズを露出するようにして設けられる。カメラ151は、眼鏡型フレーム20の視野方向を撮像する。
(ディスプレイモジュールの機能構成例)
 図13は、図12に示されるディスプレイモジュール10の機能構成例を示している。
 図13に示されるディスプレイモジュール10は、図7に示されるディスプレイモジュール10の構成に加え、撮像部171および記録部172をさらに備える。
 撮像部171は、カメラ151に対応する。撮像部171は、撮像した画像のデータを表示制御部113に供給する。表示制御部113は、撮像部171からのデータに基づいて、表示部114に画像を表示する。
 また、撮像部171は、撮像した画像のデータを記録部172に供給する。すなわち、記録部172は、撮像部171が撮像した画像を記録する。
(ディスプレイモジュールの撮像処理)
 次に、図14のフローチャートを参照して、図13のディスプレイモジュール10の撮像処理について説明する。図14の処理は、ディスプレイモジュール10(制御ユニット11の筐体)が、眼鏡型フレーム20のテンプル部のいずれかに接続されると開始される。
 ステップS31において、装着状態判別部112は、筐体(制御ユニット11)が左右どちらのテンプル部に接続されているかを判別する。装着状態判別部112は、判別した結果を表す信号を表示制御部113に供給する。
 ステップS32において、表示制御部113は、装着状態判別部112からの信号に基づいて、筐体が左右どちらのテンプル部に接続されているかに応じた向きのスルー画、いわゆるライブビューを、表示部114に表示する。制御ユニット11の筐体が、右側のテンプル部に接続されている場合と、左側のテンプル部に接続されている場合とでは、光学ユニット13から投射される画像光は、ユーザからみて天地方向が逆になる。そこで、表示制御部113は、筐体が左右のテンプル部のうちのいずれに接続されているかに応じて、表示部114に表示されるスルー画の天地方向の向きを切り替える。
 このとき、表示制御部113は、制御ユニット11の筐体が、左右のテンプル部のうちのいずれに接続されているかを表す情報を、表示部114に表示してもよい。
 ステップS33において、表示制御部113は、タッチセンサ21のタッチ面21a,21bのうち、下を向いているタッチ面が、例えばタップ操作されたか否かを判定する。具体的には、制御ユニット11の筐体が右側のテンプル部に接続されている場合には、タッチ面21bが操作されたか否かが判定される。一方、制御ユニット11の筐体が左側のテンプル部に接続されている場合には、タッチ面21aが操作されたか否かが判定される。
 ステップS33において、下を向いているタッチ面が操作されたと判定された場合、処理はステップS34に進む。
 ステップS34において、撮像部171は、下を向いているタッチ面が操作されたときに撮像された静止画像を、記録部172に記録させる。この静止画像もまた、筐体が左右どちらのテンプル部に接続されているかに応じた向きの画像となる。
 一方、ステップS33において、下を向いているタッチ面が操作されていないと判定された場合、下を向いているタッチ面が操作されるまで、静止画像は記録されない。したがって、上を向いているタッチ面が操作されたとしても、静止画像は記録されない。
 以上の処理によれば、ディスプレイモジュールが、眼鏡型フレームの左右のテンプル部のいずれに接続された場合であっても、2つのタッチ面のうち、下を向いているタッチ面に対する操作に応じて、静止画像が記録される。言い換えると、ディスプレイモジュールが、眼鏡型フレームの左右のテンプル部のいずれに接続された場合であっても、ユーザは、それぞれの場合で、同じ操作で撮像を実現することができる。結果として、HMDの操作性をより向上させることが可能となる。
<3.第2の実施の形態(運動状態に応じてタッチセンサの出力を制御する例)>
 以下においては、本技術の第2の実施の形態に係るディスプレイモジュール10について説明する。
(ディスプレイモジュールの機能構成例)
 図15は、本技術の第2の実施の形態に係るディスプレイモジュール10の機能構成例を示している。
 図15に示されるディスプレイモジュール10は、操作受付部211、運動状態取得部212、表示制御部213、および表示部214を備える。
 操作受付部211は、タッチセンサ21のタッチ面21a,21bに対応する。操作受付部211は、タップやロングタップ、スワイプといったユーザの操作を受け付ける。操作受付部211は、受け付けたユーザの操作に応じた信号を、表示制御部213に供給する。
 なお、この例では、操作受付部211に対応するタッチ面21a,21bのいずれが操作されたかについては問わないものとする。すなわち、第1の実施の形態のように、下を向いているタッチ面のみが操作を受け付けるようにしてもよいし、いずれのタッチ面が操作を受け付けるようにしてもよい。
 運動状態取得部212は、ディスプレイモジュール10を装着しているユーザの運動状態に関する情報を取得する。具体的には、運動状態取得部212は、運動状態に関する情報として、ユーザの運動量(運動の激しさ)を取得する。運動の激しさは、例えば、生体センシング(心拍、発汗、体温、血圧、筋電位、脳波、呼吸などの生体情報のセンシング)により算出される。また、運動の激しさは、ユーザの移動速度や、静止しているか、歩行しているか、または走行しているか等の行動認識の結果により算出されるようにしてもよい。運動状態取得部212は、取得した運動状態に関する情報を表す信号を表示制御部113に供給する。
 例えば、運動状態取得部212は、加速度センサを含むように構成され、その加速度センサの出力を、ユーザの運動状態に関する情報として取得する。また、運動状態取得部212は、GPS(Global Positioning System)センサを含むように構成され、そのGPSセンサの出力を、ユーザの運動状態に関する情報として取得するようにしてもよい。
 表示制御部213は、表示部214への画像の表示を制御する。
 また、表示制御部213は、取得されたユーザの運動状態に関する情報に基づいて、操作受付部211への操作に対する出力を制御する出力制御部として構成される。具体的には、表示制御部213は、運動状態取得部212からの信号に基づいて、表示部214に表示される画像についての操作に対する出力を制御する。
 表示部214は、表示ユニット12および光学ユニット13に対応する。表示部214は、図1や図6に示されるように、眼鏡型フレーム20のレンズ部の近傍に設けられるようにしてもよいし、眼鏡型フレーム20のレンズ部自体に設けられるようにしてもよい。
(ディスプレイモジュールの入出力制御処理)
 次に、図16のフローチャートを参照して、ディスプレイモジュール10の表示処理について説明する。図16の処理は、ディスプレイモジュール10が接続されている眼鏡型フレーム20がユーザに装着され、表示部214に所定の画面が表示されている状態で開始される。
 ステップS71において、運動状態取得部212は、ユーザの運動状態に関する情報を取得する。運動状態取得部212は、ユーザの運動状態に関する情報を表す信号を表示制御部213に供給する。
 ステップS72において、表示制御部213は、運動状態取得部212からの信号に基づいて、ユーザの運動状態が所定の運動状態であるか否かを判定する。具体的には、表示制御部213は、ユーザの運動量(運動の激しさ)に基づいて、その運動量が所定量(所定のレベル)を超えているか否かを判定する。例えば、表示制御部213は、ユーザの移動速度が所定の速度を超えている場合に、ユーザの運動量が所定量を超えていると判定することができる。また、表示制御部213は、ユーザが走行している場合に、ユーザの運動量が所定量を超えていると判定することができる。さらに、表示制御部213は、生体センシングにより得られた生体情報に基づいて、生体情報で示される値、例えば心拍の数値が所定値より高い場合に、ユーザの運動量が所定量を超えていると判定することができる。さらにまた、表示制御部213は、運動状態取得部212に含まれる加速度センサの出力から、ディスプレイモジュール10(制御ユニット11)の振動を算出し、その振動の周期が所定時間より短い場合や、その振動の振幅が所定量より大きい場合に、ユーザの運動量が所定量を超えていると判定することもできる。
 ステップS72において、ユーザの運動状態が所定の運動状態である、すなわち、ユーザの運動量(運動の激しさ)が所定量(所定のレベル)を超えていると判定された場合、処理はステップS73に進む。
 ステップS73において、表示制御部213は、表示部214に表示されている画面に対する、操作受付部211への操作に対する出力を制御することで、操作受付部211への操作の、表示部214に表示されている画面への反映を抑制する。具体的には、操作受付部211への操作を無効にする。言い換えると、表示制御部213は、操作受付部211が操作されたとしても、操作があったと判定しないか、または、操作があったと判定した上で表示制御を行わない。これにより、ユーザの操作は、表示部214に表示されている画面に反映されない。
 このとき、表示制御部213は、表示部214に表示されている画面に、ユーザの運動状態の変化を示す情報を表示するようにしてもよい。
 例えば、図17の上段に示されるメニュー画面が表示されている状態で、ユーザの運動の激しさが所定のレベルを超えた場合、図17の下段に示されるように、メニュー画面の右上に、ユーザの操作が制限されていることを表す「入力制限モード」の文言231が表示されるようにする。
 また、図18に示されるメニュー画面の右上に表示されるインジケータ251の色が、ユーザの運動状態に応じて変化するようにしてもよい。具体的には、ユーザの運動の激しさが所定のレベルを超えない状態では、図18の上段に示されるように、インジケータ251の色は、例えば白色や緑色とされる。そして、ユーザの運動の激しさが所定のレベルを超えると、図18の下段に示されるように、インジケータ251の色は、例えば黒色や赤色に変化する。
 図16のフローチャートに戻り、ステップS72において、ユーザの運動状態が所定の運動状態ではない、すなわち、ユーザの運動の激しさが所定のレベルを超えていないと判定された場合、処理はステップS71に戻り、ステップS71,S72の処理が繰り返される。
 以上の処理によれば、ユーザの運動の激しさが所定のレベルを超えた場合、タッチセンサのタッチ面への操作が無効にされる。したがって、ディスプレイモジュール10が接続されている眼鏡型フレーム20を装着しているユーザが、運動をしながらタッチセンサを操作した場合であっても、誤った操作をするおそれはなくなり、HMDに対する誤操作を防ぐことが可能となる。
 以上においては、表示制御部213が、操作受付部211が操作されたとしても、操作があったと判定しないか、または、操作があったと判定した上で表示制御を行わないようにすることで、ユーザの操作が表示部214に表示されている画面に反映されなくなるようにした。これ以外にも、表示制御部213が、操作受付部211への給電をOFFすることで、ユーザの操作が表示部214に表示されている画面に反映されなくなるようにしてもよい。
 また、ユーザの操作が表示部214に表示されている画面に反映されなくするのではなく、反映されにくくするようにしてもよい。
 例えば、表示制御部213が、ユーザの運動状態に基づいて、操作受付部211の操作入力量に対する出力量のゲインを小さくするようにする。例えば、ユーザの運動の激しさが所定のレベルを超えた場合、操作受付部211へのスワイプ操作における指の移動量に対するメニュー画面のスクロール量が、通常時(ユーザの運動の激しさが所定のレベルを超えない場合)の3分の1となるようにする。
 また、表示制御部213が、ユーザの運動状態に基づいて、操作受付部211への操作の検出条件を厳しくするようにしてもよい。例えば、ユーザの運動状態に基づいて、操作受付部211におけるユーザの操作(タップやスワイプ)の検出の基準となる静電容量の値が高くなるようにしてもよい。これにより、ユーザの運動の激しさが所定のレベルを超えた場合、操作受付部211自体の検出感度を低くすることができる。
 さらに、表示制御部213が、ユーザの運動状態に基づいて、操作受付部211への操作が検出可能な範囲を小さくするようにしてもよい。
 また、表示制御部213が、ユーザの運動状態に基づいて、操作受付部211への操作の検出感度を低くするようにしてもよい。
 さらに、表示制御部213が、ユーザの運動状態に基づいて、操作受付部211への所定の操作以降の操作に対する出力を行わせるようにしてもよい。例えば、ユーザの運動の激しさが所定のレベルを超えた場合、操作受付部211に対して所定時間以上のロングタップがされた後に、通常のタップやスワイプに対する出力がされるようにする。これにより、ユーザは、一旦運動を抑えてから操作受付部211への操作を行うようになり、結果として、誤操作を防ぐことができるようになる。
 また、表示制御部213が、ユーザの運動状態に基づいて、操作受付部211への定常的な操作を無効にするようにしてもよい。例えば、ユーザの運動の激しさが所定のレベルを超えた場合、操作受付部211への継続的なタッチが無視されるようにする。これにより、ユーザが身に着けているヘルメットの装飾や、ユーザ自身の髪などが、タッチセンサ21のタッチ面に常に触れている場合であっても、それによる誤操作を防ぐことができるようになる。
 以上においては、ユーザの運動量に基づいて、操作受付部211への操作に対する出力が制御されるものとしたが、さらに、ユーザの運動方向に基づいて、操作に対する出力が制御されるようにしてもよい。
 例えば、ユーザの運動方向が所定の方向で、かつ、ユーザの運動量が所定量を超えている場合に、操作に対する出力が制御されるようにする。例えば、ユーザが、ランニングをしている場合と自転車に乗っている場合とでは、縦方向の動きが多いランニングをしている場合の方が、操作受付部211への操作が難しくなる。そこで、同じ運動量であっても、縦方向の運動量が所定量を超えている場合に、操作の出力への反映が抑制されるようにする。これにより、ランニングをしているユーザによる誤操作を防ぐことができるようになる。
 以上においては、操作受付部211は、タッチセンサ21のタッチ面21a,21bに対応するものとしたが、他の構成に対応するものであってもよい。例えば、操作受付部211は、ボタンやダイヤルなどの物理的な入力装置であってもよい。また、操作受付部211は、可視光線や赤外線、電波や音波などを検知することにより、ユーザのジェスチャや視線を検出するセンサ類であってもよい。
<4.その他>
 なお、上述した第1および第2の実施の形態に係る構成を、それぞれ組み合せるようにしてもよい。
 また、上述した第1の実施の形態は、以下のような構成をとることができる。
 例えば、図19に示されるように、操作受付部111a,111b、装着状態判別部112、および表示部114を備えるHMD410と、表示制御部113を備える情報処理装置420とが別体として構成され、互いに、有線通信またはWi-Fi(登録商標)やBluetooth(登録商標)などを用いた無線通信を行うようにしてもよい。この場合、情報処理装置420は、例えばスマートフォンなどの携帯端末として構成される。
 さらに、図20に示されるように、HMD410と情報処理装置420とが、インターネットやイントラネットなどのネットワーク430を介して接続されるようにしてもよい。この場合、情報処理装置420は、例えばネットワーク上のサーバなどとして構成される。
 また、上述した第2の実施の形態は、以下のような構成をとることができる。
 例えば、図21に示されるように、操作受付部211、運動状態取得部212、および表示部214を備えるHMD510と、表示制御部213を備える情報処理装置520とが別体として構成され、互いに、有線通信またはWi-Fi(登録商標)やBluetooth(登録商標)などを用いた無線通信を行うようにしてもよい。この場合、情報処理装置520は、例えばスマートフォンなどの携帯端末として構成される。
 さらに、図22に示されるように、HMD510と情報処理装置520とが、インターネットやイントラネットなどのネットワーク530を介して接続されるようにしてもよい。この場合、情報処理装置520は、ネットワーク上のサーバなどとして構成される。
 以上においては、本技術の情報処理装置としてのディスプレイモジュール10は、タッチセンサと表示部とを含むように構成されるものとしたが、表示部を含まないように構成されてもよいし、逆に、タッチセンサを含まないように構成されてもよい。
 また、以上においては、ディスプレイモジュール10の表示方式が、光がユーザの瞳孔に向けて出射される領域の他の方向よりも長さが短い方向の長さが瞳孔の径の変動上限以下の長さである接眼光学系を用いた方式、すなわち、ユーザの瞳孔を外界像に係る光が入射される部分と電子的に生成された画像に係る光が入射される部分とに分割し、外界像に生成画像を光学的に重畳する方式(瞳分割方式)であるものとして説明してきた。しかしながら、ディスプレイモジュール10の表示方式は、プリズム方式、ホログラム方式、またはその他のいわゆるシースルー型もしくはシーアラウンド型の表示方式であってもよい。
 すなわち、本技術は、透過ディスプレイ型やビデオシースルー型のHMDに適用することができる。
 さらに、本技術は、眼鏡型以外のHMD、例えば帽子型のHMDに適用するようにしてもよいし、腕時計型やリストバンド型などのその他のウェアラブル端末に適用するようにしてもよい。
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図23は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 コンピュータにおいて、CPU901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
 バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、入力部906、出力部907、記憶部908、通信部909、およびドライブ910が接続されている。
 入力部906は、キーボード、マウス、マイクロフォンなどよりなる。出力部907は、ディスプレイ、スピーカなどよりなる。記憶部908は、ハードディスクや不揮発性のメモリなどよりなる。通信部909は、ネットワークインタフェースなどよりなる。ドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア911を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア911に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、本技術は以下のような構成をとることができる。
(1)
 ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する出力制御部
 を備える情報処理装置。
(2)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作を無効にする
 (1)に記載の情報処理装置。
(3)
 前記筐体は、前記ユーザの頭部に装着される眼鏡型フレームの一対のテンプル部のうちのいずれか一方に接続され、
 前記操作受付部は、前記筐体の第1の面およびその反対側の第2の面のそれぞれに設けられ、
 前記出力制御部は、前記筐体の装着状態に基づいて、前記筐体の前記第1の面および前記第2の面のうち、上を向いている面に設けられた前記操作受付部への操作を無効にし、下を向いている面に設けられた前記操作受付部への操作に対する出力を行わせる
 (2)に記載の情報処理装置。
(4)
 前記眼鏡型フレームのレンズ部またはその近傍に設けられる表示部をさらに備え、
 前記出力制御部は、前記操作受付部への操作に応じて、前記表示部の表示を制御する
 (3)に記載の情報処理装置。
(5)
 前記出力制御部は、前記筐体の装着状態として、前記筐体が一対の前記テンプル部のうちのいずれに接続されているかに応じて、前記表示部へ表示される画像の天地方向の向きを切り替える
 (4)に記載の情報処理装置。
(6)
 前記筐体に、前記眼鏡型フレームの視野方向を撮像する撮像部をさらに備え、
 前記撮像部は、前記筐体の装着状態として、前記筐体が一対の前記テンプル部のうちのいずれに接続されているかに応じて、撮像される画像の天地方向の向きを切り替える
 (3)乃至(5)のいずれかに記載の情報処理装置。
(7)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作入力量に対する出力量のゲインを小さくする
 (1)に記載の情報処理装置。
(8)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作の検出条件を厳しくする
 (1)に記載の情報処理装置。
(9)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作が検出可能な範囲を小さくする
 (1)に記載の情報処理装置。
(10)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作の検出感度を低くする
 (1)に記載の情報処理装置。
(11)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作に対応する出力を反転するように切り替える
 (1)に記載の情報処理装置。
(12)
 前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作に対応する表示部の表示を反転するように切り替える
 (11)に記載の情報処理装置。
(13)
 前記操作受付部は、タッチセンサのタッチ面により構成される
 (1)乃至(12)のいずれかに記載の情報処理装置。
(14)
 前記筐体の第1の面およびその反対側の第2の面のそれぞれに設けられる前記タッチ面は、1つのチップに電気的に接続される
 (13)に記載の情報処理装置。
(15)
 前記タッチ面は、前記筐体の前記タッチ面が設けられる面よりくぼんで形成される
 (13)に記載の情報処理装置。
(16)
 前記タッチ面は、前記筐体の前記タッチ面が設けられる面と異なる材質により構成される
 (13)に記載の情報処理装置。
(17)
 ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する
 ステップを含む情報処理方法。
(18)
 コンピュータに、
 ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する
 ステップを含む処理を実行させるためのプログラム。
 10 ディスプレイモジュール, 11 制御ユニット, 12 表示ユニット, 13 光学ユニット, 20 眼鏡型フレーム, 21 タッチセンサ, 21a,21b タッチ面, 111a,111b 操作受付部, 112 装着状態判別部, 113 表示制御部, 114 表示部, 151 カメラ, 171 撮像部, 172 記録部, 211 操作受付部, 212 運動状態取得部, 213 表示制御部, 214 表示部

Claims (18)

  1.  ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する出力制御部
     を備える情報処理装置。
  2.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作を無効にする
     請求項1に記載の情報処理装置。
  3.  前記筐体は、前記ユーザの頭部に装着される眼鏡型フレームの一対のテンプル部のうちのいずれか一方に接続され、
     前記操作受付部は、前記筐体の第1の面およびその反対側の第2の面のそれぞれに設けられ、
     前記出力制御部は、前記筐体の装着状態に基づいて、前記筐体の前記第1の面および前記第2の面のうち、上を向いている面に設けられた前記操作受付部への操作を無効にし、下を向いている面に設けられた前記操作受付部への操作に対する出力を行わせる
     請求項2に記載の情報処理装置。
  4.  前記眼鏡型フレームのレンズ部またはその近傍に設けられる表示部をさらに備え、
     前記出力制御部は、前記操作受付部への操作に応じて、前記表示部の表示を制御する
     請求項3に記載の情報処理装置。
  5.  前記出力制御部は、前記筐体の装着状態として、前記筐体が一対の前記テンプル部のうちのいずれに接続されているかに応じて、前記表示部へ表示される画像の天地方向の向きを切り替える
     請求項4に記載の情報処理装置。
  6.  前記筐体に、前記眼鏡型フレームの視野方向を撮像する撮像部をさらに備え、
     前記撮像部は、前記筐体の装着状態として、前記筐体が一対の前記テンプル部のうちのいずれに接続されているかに応じて、撮像される画像の天地方向の向きを切り替える
     請求項5に記載の情報処理装置。
  7.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作入力量に対する出力量のゲインを小さくする
     請求項1に記載の情報処理装置。
  8.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作の検出条件を厳しくする
     請求項1に記載の情報処理装置。
  9.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作が検出可能な範囲を小さくする
     請求項1に記載の情報処理装置。
  10.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作の検出感度を低くする
     請求項1に記載の情報処理装置。
  11.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作に対応する出力を反転するように切り替える
     請求項1に記載の情報処理装置。
  12.  前記出力制御部は、前記筐体の装着状態に基づいて、前記操作受付部への操作に対応する表示部の表示を反転するように切り替える
     請求項11に記載の情報処理装置。
  13.  前記操作受付部は、タッチセンサのタッチ面により構成される
     請求項1に記載の情報処理装置。
  14.  前記筐体の第1の面およびその反対側の第2の面のそれぞれに設けられる前記タッチ面は、1つのチップに電気的に接続される
     請求項13に記載の情報処理装置。
  15.  前記タッチ面は、前記筐体の前記タッチ面が設けられる面よりくぼんで形成される
     請求項13に記載の情報処理装置。
  16.  前記タッチ面は、前記筐体の前記タッチ面が設けられる面と異なる材質により構成される
     請求項13に記載の情報処理装置。
  17.  ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する
     ステップを含む情報処理方法。
  18.  コンピュータに、
     ユーザの頭部に装着される筐体の装着状態に基づいて、前記筐体に設けられた操作受付部への操作の、出力への反映を抑制する
     ステップを含む処理を実行させるためのプログラム。
PCT/JP2016/076558 2015-09-24 2016-09-09 情報処理装置、情報処理方法、およびプログラム WO2017051720A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/752,757 US10691250B2 (en) 2015-09-24 2016-09-09 Information processing device, information processing method, and program for preventing reflection of an operation in an output

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-187341 2015-09-24
JP2015187341 2015-09-24

Publications (1)

Publication Number Publication Date
WO2017051720A1 true WO2017051720A1 (ja) 2017-03-30

Family

ID=58386547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076558 WO2017051720A1 (ja) 2015-09-24 2016-09-09 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US10691250B2 (ja)
WO (1) WO2017051720A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6662599B2 (ja) * 2015-10-05 2020-03-11 ミツミ電機株式会社 表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008013111A1 (fr) * 2006-07-25 2008-01-31 Nikon Corporation dispositif de sortie
JP2009171505A (ja) * 2008-01-21 2009-07-30 Nikon Corp ヘッドマウントディスプレイ
JP2010146002A (ja) * 2008-12-16 2010-07-01 Pegatron Corp ディスプレイ
JP2013250846A (ja) * 2012-06-01 2013-12-12 Nikon Corp 情報入出力装置、及び情報入出力プログラム
JP2013258573A (ja) * 2012-06-13 2013-12-26 Sony Corp 頭部装着型映像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5131254B2 (ja) * 2009-07-15 2013-01-30 ブラザー工業株式会社 Hmd用アタッチメント装置
US9575721B2 (en) * 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR102083596B1 (ko) * 2013-09-05 2020-03-02 엘지전자 주식회사 디스플레이장치 및 디스플레이장치의 동작방법
KR102201736B1 (ko) * 2014-01-15 2021-01-12 엘지전자 주식회사 탈착형 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US9664902B1 (en) * 2014-02-05 2017-05-30 Google Inc. On-head detection for wearable computing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008013111A1 (fr) * 2006-07-25 2008-01-31 Nikon Corporation dispositif de sortie
JP2009171505A (ja) * 2008-01-21 2009-07-30 Nikon Corp ヘッドマウントディスプレイ
JP2010146002A (ja) * 2008-12-16 2010-07-01 Pegatron Corp ディスプレイ
JP2013250846A (ja) * 2012-06-01 2013-12-12 Nikon Corp 情報入出力装置、及び情報入出力プログラム
JP2013258573A (ja) * 2012-06-13 2013-12-26 Sony Corp 頭部装着型映像表示装置

Also Published As

Publication number Publication date
US10691250B2 (en) 2020-06-23
US20180239487A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
US10261579B2 (en) Head-mounted display apparatus
US10635182B2 (en) Head mounted display device and control method for head mounted display device
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
JP6277673B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20180082253A (ko) 영상 출력 방법 및 이를 지원하는 전자 장치
JP2018101019A (ja) 表示装置及び表示装置の制御方法
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US11284058B2 (en) Utilizing dual cameras for continuous camera capture
JP6405991B2 (ja) 電子機器、表示装置、及び、電子機器の制御方法
JP2018082363A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR20160056133A (ko) 이미지 표시 제어 방법 및 이를 지원하는 장치
US11675217B2 (en) Wearable proximity sensing array for the visually impaired
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN112578562A (zh) 显示系统、显示方法以及记录介质
WO2017051720A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017051721A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180260068A1 (en) Input device, input control method, and computer program
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848508

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15752757

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16848508

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP