WO2020031493A1 - 端末装置および端末装置の制御方法 - Google Patents

端末装置および端末装置の制御方法 Download PDF

Info

Publication number
WO2020031493A1
WO2020031493A1 PCT/JP2019/022902 JP2019022902W WO2020031493A1 WO 2020031493 A1 WO2020031493 A1 WO 2020031493A1 JP 2019022902 W JP2019022902 W JP 2019022902W WO 2020031493 A1 WO2020031493 A1 WO 2020031493A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
operation target
user
size
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/022902
Other languages
English (en)
French (fr)
Inventor
繁 赤松
浅野　浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to US17/265,654 priority Critical patent/US11449135B2/en
Priority to JP2020536350A priority patent/JP6999822B2/ja
Publication of WO2020031493A1 publication Critical patent/WO2020031493A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present invention relates to a terminal device and a control method of the terminal device.
  • a technique for providing a user wearing a head-mounted display with a virtual or realistic space in which various objects are combined has been known.
  • Such a space is provided as a three-dimensional space by a computer or the like.
  • the following technology has been proposed as a technology for supporting input in the three-dimensional space.
  • the user wears a dedicated device such as a glove having a motion sensor, the dedicated device detects a hand movement by the user, and the detected hand movement is applied to, for example, an object arranged in a virtual space.
  • a technique has been proposed in which contact is accepted as an input operation on the object (for example, see Patent Document 1).
  • the head mount display is configured with, for example, a smartphone and goggles
  • the configuration in which the user wears a dedicated device such as a glove not only gives the user trouble, This is a factor that hinders simplification.
  • a terminal device includes a photographing device that photographs a direction in which a user faces, and a virtual or real image of a pointer photographed by the photographing device.
  • a display control unit that combines the image with the image of the space and displays the image on the display device, and a first determination unit that is displayed on the display device at a first time point and determines whether the pointer in the space satisfies the initial condition.
  • An operation control unit that stores reference size information relating to the size of the pointer when it is determined that the initial condition is satisfied, and a reference distance in a storage device, and a second time point after the initial condition is satisfied.
  • the pointer is associated with the reference size information as viewed from the user. Whether it is a position nearer than the point in the reference distance, or, and a second determination unit determines whether the position of the distance.
  • the size of the pointer displayed in the virtual or real space is compared based on the size of the pointer that satisfies the initial condition. Is also determined to be a position in front of the vehicle or a position far from the vehicle. For this reason, as a terminal device, a smartphone having a photographing device or the like can be applied, and when supporting input in the virtual space using the depth of the pointer viewed from the user in the virtual space, a dedicated glove including a sensor is used. Devices can be eliminated.
  • FIG. 3 is a block diagram illustrating a configuration of a terminal device.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a function configured in the terminal device.
  • FIG. 2 is a diagram illustrating an example of a virtual space provided by a display device of a terminal device.
  • FIG. 7 is a diagram illustrating an example in which a pointer is displayed in a virtual space.
  • FIG. 8 is a diagram illustrating an example of an operation by a user.
  • 5 is a flowchart illustrating an example of an operation of the terminal device. It is a figure showing an example of a screen by a display. It is a figure showing an example of judgment of an initial condition.
  • FIG. 8 is a diagram illustrating an example of an operation by a user. It is a figure showing an example of judgment at the time of displaying an operation object.
  • FIG. 9 is a diagram illustrating an example of a relationship between a specific action and an instruction content after a touch.
  • FIG. 3 is a diagram illustrating a concept in which operation target objects are continuously arranged in a depth direction in a virtual space.
  • FIG. 1 is a diagram for explaining an outline of a head mounted display (hereinafter abbreviated as HMD) 1.
  • the HMD 1 includes a terminal device 10 according to the embodiment and a goggle 20 to which the terminal device 10 is attached.
  • the goggles 20 are worn on the head of the user 3 by the headband 22 at a position where the terminal device 10 is in front of the user 3 with both eyes.
  • the terminal device 10 is, for example, a smartphone, and a surface facing the user 3 is a front surface.
  • a display device is arranged on the surface, which is hidden in the figure.
  • the mounting surface of the terminal device 10 is not particularly shown, but an opening for allowing only the left-eye image to be visually recognized by the left eye of the user 3 and only the right-eye image is visually recognized by the right eye of the user 3 And an opening portion to be formed.
  • the display device of the terminal device 10 displays the image for the left eye in the area corresponding to the opening of the left eye and the image for the right eye in the area
  • the user 3 can view the virtual space indicated by the images three-dimensionally.
  • the imaging device 110 is located on the back surface of the terminal device 10, that is, the front surface in FIG.
  • the terminal device 10 is not limited to a smartphone, and may be a display device dedicated to the HMD attached to goggles. Further, the HMD device may be provided with goggles (that is, the HMD device cannot be detached from the goggles).
  • FIG. 2 is a diagram illustrating a hardware configuration of the terminal device 10.
  • the terminal device 10 is realized by a computer system including a processing device 102, a storage device 104, a sensor 106, a display device 108, and a photographing device 110.
  • Each element of the terminal device 10 is mutually connected by one or a plurality of buses.
  • the term “apparatus” in the present description may be replaced with another term such as a circuit, a device, or a unit.
  • each element of the terminal device 10 is configured by a single device or a plurality of devices. Some elements of the terminal device 10 may be omitted.
  • the processing device 102 is a processor that controls the entire terminal device 10, and is configured by, for example, a single chip or a plurality of chips.
  • the processing device 102 includes, for example, a central processing unit (CPU) including an interface with a peripheral device, an arithmetic device, a register, and the like. Some or all of the functions of the processing device 102 are realized by hardware such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). May be.
  • the processing device 102 executes various kinds of processing in parallel or sequentially.
  • the storage device 104 is a recording medium that can be used by the processing device 102, and stores a plurality of programs executed by the processing device 102 and various data used by the processing device 102.
  • the plurality of programs executed by the processing device 102 include an OS (Operating System), an application program that provides a virtual space to the user 3, and the like, and various data include, as described later,
  • OS Operating System
  • application program that provides a virtual space to the user 3
  • various data include, as described later
  • the storage device 104 includes one or more types of storage circuits such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory).
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrically Erasable Programmable ROM
  • RAM Random Access Memory
  • the sensor 106 is, for example, a three-axis angle sensor for detecting the posture and movement of the terminal device 10.
  • the display device 108 displays various images (including still images and moving images) under the control of the processing device 102. In particular, in the present embodiment, the display device 108 displays the left-eye image and the right-eye image indicating the virtual space described above. Note that various display panels such as a liquid crystal display panel and an organic EL display panel are suitably used as the display device 108.
  • the photographing device 110 is a rear camera arranged on the back of the terminal device 10. When the user 3 wears the goggles 20 to which the terminal device 10 is attached, the photographing device 110 photographs the direction in which the user 3 faces.
  • FIG. 3 is a block diagram illustrating a functional configuration realized by the processing device 102 of the terminal device 10 executing a program for providing a virtual space.
  • an operation control unit 150 a posture detection unit 152, a display control unit 154, a first determination unit 156, and a second determination unit 158 are constructed.
  • the posture detection unit 152 processes the detection result output from the sensor 106, and outputs the processed result to the posture information of the terminal device 10.
  • the posture detection unit 152 processes the detection result of the sensor 106, that is, the detection result of each acceleration in the horizontal X axis, the vertical Y axis, and the depth Z axis as shown in FIG. Then, the attitude information of the terminal device 10 is output periodically, for example, every 0.03 seconds.
  • the display control unit 154 generates and controls a screen displayed by the display device 108.
  • the display control unit 154 generates an image for the left eye and an image for the right eye for stereoscopically viewing the virtual space, and corresponds to the opening of the left eye in the display area of the display device 108.
  • the left-eye image is displayed in the area corresponding to the opening area
  • the right-eye image is displayed in the area corresponding to the opening of the right eye.
  • the virtual space is a space that simulates the reality generated in the terminal device 10.
  • the virtual space is a concept that extends in all directions around the user 3.
  • the omnidirectional space a space corresponding to the direction in which the face of the user 3 is detected based on the posture information of the terminal device 10 is partially cut out and displayed on the display device 108.
  • FIG. 4 is a diagram for explaining a virtual space provided by the terminal device 10.
  • the symbol W is a visual field frame that becomes a cutout frame of the virtual space when the user 3 wearing the goggles 20 to which the terminal device 10 is attached is facing his or her face in a certain direction.
  • This figure is an example in which a natural scene is provided as a virtual space. Since the virtual space is provided to the user 3 in a stereoscopic view using the left-eye image and the right-eye image, the visual field frame W does not necessarily indicate the screen itself displayed on the display device 108.
  • posture information corresponding to the rotation is output from the posture detection unit 152.
  • the display control unit 154 that has acquired the posture information moves the visual field frame W as indicated by the broken line in FIG. 4 to move the virtual space provided to the user 3 to the left.
  • the virtual space moves in accordance with the direction in which the face turns, so that the user 3 can obtain through the visual sense a sensation as if the user is in a space where a natural scenery exists.
  • the display control unit 154 displays the image of the operation tool.
  • the image is cut out from the background image in the real space by image processing, and the cut out image of the operating tool is combined with the image in the virtual space and displayed.
  • the operating tool having a predetermined shape is, for example, a hand from the fingertip of the user 3 to the wrist.
  • the operating body having the predetermined shape is not limited to the hand, but may be any that can be photographed by the photographing device 110 and that can be moved by the user 3.
  • the operating tool may be, for example, a pen tip operated by the user 3 or the like.
  • the operation control unit 150 may control each unit of the posture detection unit 152, the display control unit 154, the first determination unit 156, and the second determination unit 158.
  • FIG. 5 is an example showing an image of the right hand (right @ hand) of the user 3 displayed in the virtual space provided by the terminal device 10.
  • FIG. 6 shows an operation performed by the user 3 at the time of the display.
  • the displayed right hand is a pointer P operated by the user 3 in the virtual space as described later.
  • the pointer P may include a forearm and an upper arm.
  • the pointer P may be an image cut out from the background by image processing, or may be an image in which the inside of the outline of the cut out image is filled.
  • the first determination unit 156 determines whether or not the pointer P satisfies an initial condition to be described later. If it is determined, the reference size information relating to the size of the displayed pointer P and the reference distance are stored in the storage device 104 in association with each other.
  • the second determination unit 158 compares the size of the pointer displayed in the virtual space with the size when the initial condition is satisfied at a second time point after the satisfaction of the initial condition, and determines that the pointer P It is determined whether or not it is at a position before the point at the reference distance or at a position far from the point.
  • FIG. 7 is a flowchart illustrating an operation when the pointer P is displayed in the virtual space. This operation is executed when the user 3 places his / her hand or the like in the imaging area of the imaging device 110 and the pointer P is displayed in the virtual space. In other words, this operation is not executed unless the user 3 enters his / her hand or the like into the imaging area of the imaging device 110 and the pointer P is not displayed in the virtual space.
  • the operation control unit 150 determines whether or not the reference size information relating to the size of the pointer P and the reference distance are stored in the storage device 104 in association with each other (step). S10). If the reference size information relating to the size of the pointer P and the reference distance are stored in the storage device 104 in association with each other (if the determination result in step S10 is “Yes”), the operation control unit 150 proceeds to the next step S11. Since there is no need to execute the initial condition determination processing in S13, the processing procedure skips to step S20.
  • the display control unit 154 displays The reference object is displayed in the virtual space by controlling the device 108 (step S11).
  • the reference object refers to an icon displayed to acquire the size of the pointer P that is used as a reference when the position of the pointer P in the depth direction is relatively determined in a later process, software, or the like. Buttons or display messages.
  • FIG. 8 is a diagram illustrating an example in which the reference object is displayed in the virtual space.
  • the reference object R is displayed as a rectangular frame including a message at substantially the center of the visual field frame W of the virtual space provided to the user 3.
  • the display control unit 154 displays the reference object R at a point where the reference object R is a reference distance from the user 3.
  • the reference distance is a value that serves as a reference in a subsequent relative determination, and the value itself has no special meaning.
  • the first determination unit 156 determines whether or not the reference object R and the pointer P satisfy the initial condition (Step S12).
  • the first determination unit 156 determines that the initial condition has been satisfied, for example, when the pointer P can be regarded as pointing to the reference object R.
  • the first determination unit 156 initializes the state as shown in FIG. It is determined that the condition is satisfied. That is, the initial condition is satisfied when the user 3 points the reference object R displayed at a point located at a reference distance from the user 3 with his / her finger at a position easy to operate in the depth direction regardless of the reference distance. Is done.
  • the initial condition may be further weighted by the fact that this state has continued for a certain period of time (for example, 2 seconds).
  • step S12 If it is determined that the initial condition is not satisfied (if the determination result in step S12 is “No”), the first determination unit 156 performs the determination in step S12 again.
  • the first determination unit 156 determines that the initial condition is Step S12 is repeated until it is determined that the condition is satisfied.
  • the operation control unit 150 sets reference size information on the size of the pointer P when the initial condition is satisfied, for example, The area of the pointer P displayed in the virtual space (the number of pixels constituting the pointer P) is acquired from the display control unit 154, and the information is stored in the storage device 104 in association with the reference distance (step S13).
  • the reference size information relating to the size of the pointer P when the initial condition is satisfied may be other than the area, such as the size in the X direction and the size in the Y direction.
  • the operation control unit 150 determines whether or not the operation target object is displayed in the virtual space (Step S20).
  • the operation target object refers to an icon, a software button, or the like that is operated by the pointer P in the virtual space.
  • the operation target object is displayed at a point at a reference distance as viewed from the user 3.
  • FIGS. 10, 11, and 12 are diagrams each showing an example in which the operation target object is displayed in the virtual space.
  • operation target objects Ob1 and Ob2 are displayed in the virtual space.
  • the operation target object Ob1 is a software button for allowing the user 3 to select a positive answer to the question when responding to an arbitrary question
  • the operation target object Ob2 is a negative answer to the question. Is a software button for allowing the user to select
  • step S20 If it is determined that the operation target object is not displayed in the virtual space (if the determination result in step S20 is “No”), the operation control unit 150 returns the processing procedure to step S20 again. That is, the operation control unit 150 repeats step S20 (that is, goes into a standby state) until some operation target object is displayed in the virtual space after the initial condition is satisfied.
  • step S20 determines whether the operation target object is displayed in the virtual space (if the determination result in step S20 is “Yes”)
  • the operation control unit 150 determines the size of the pointer P stored in the storage device 104. Then, the reference size information and the reference distance are read out and supplied to the second determination unit 158.
  • the second determination unit 158 touches the operation target object based on the position of the pointer P currently displayed in the virtual space on the XY plane (two-dimensional coordinates) and the coordinate of the depth in the Z-axis direction. It is determined whether such an operation has been performed (step S21).
  • the position of the pointer P displayed in the virtual space on the XY plane is determined by the second determination unit 158 as follows. That is, the second determination unit 158 determines that the pointer P is within the frame of the operation target object on the XY plane when the index finger of the pointer P is positioned within the square frame of the operation target object.
  • the second determination unit 158 determines the position of the depth of the pointer P displayed in the virtual space in the Z-axis direction as follows.
  • the second determination unit 158 compares the size of the pointer P currently displayed in the virtual space with the size of the pointer P indicated by the reference size information read from the storage device 104, and determines that the difference in size is a predetermined value. It is determined whether it is within the range. Specifically, the second determination unit 158 compares the size of the pointer P displayed in the virtual space with the size of the pointer P indicated by the reference size information, and determines that the difference between the former and the latter is within a predetermined range. For example, it is determined that the pointer P displayed in the virtual space is within a certain range from a point at a reference distance in the Z-axis direction as viewed from the user 3.
  • the second determination unit 158 determines that the pointer P displayed in the virtual space is closer to the reference distance than a point at a reference distance from the user 3. And if the difference in size is smaller than the lower limit of the predetermined range, the pointer P displayed in the virtual space is farther than a certain range from the point at the reference distance as viewed from the user 3. It is determined that there is a point.
  • the second determination unit 158 determines that the pointer P is within the frame of the operation target object on the XY plane and the pointer P displayed in the virtual space is within a certain range of a point at the reference distance as viewed from the user 3. If there is, it is determined that the pointer P touches the operation target object.
  • the operation control unit 150 reverses the color of the operation target object to notify the user 3 of the determination. Alternatively, the color may be changed, or the HMD 1 may be vibrated.
  • the user 3 wearing the goggles 20 moves his or her right index finger at the point a in the shooting area of the shooting device 110.
  • the case of pointing will be described.
  • the distance from the user 3 (strictly speaking, the photographing device 110) to the right hand of the user is almost the same as the distance to the right hand when the initial conditions are satisfied, and thus the distance is displayed in the virtual space.
  • the difference between the size of the pointer P and the size of the pointer P indicated by the reference size information falls within a predetermined range. Therefore, in this case, the second determination unit 158 determines that the pointer P has touched the operation target object Ob2.
  • the distance from the user 3 to the right hand of the user 3 is shorter than the distance to the right hand when the initial conditions are satisfied.
  • the size is Sb and the size of the pointer P indicated by the reference size information is Sm
  • the difference (Sb ⁇ Sm) of Sb to Sm is larger (Sb> Sm) so as to be out of the predetermined range.
  • the second determination unit 158 determines that the pointer P displayed in the virtual space is at the reference distance from the user 3 even if the pointer P is within the frame of the operation target object Ob2 on the XY plane. Since it is located before the point, it is not determined that the pointer P has touched the operation target object Ob2.
  • the second determination unit 158 determines that the pointer P displayed in the virtual space has a reference distance as viewed from the user 3. Since it is farther away than the point, it is not determined that the pointer P has touched the operation target object.
  • the pointer P displayed in the virtual space is located farther than the reference distance as viewed from the user 3, the pointer P is hidden behind the operation target object at the reference distance, as shown in FIG. It may be displayed in a state where it is displayed.
  • the operation target object is displayed as if the operation target object is at a point away from the user 3 by the reference distance.
  • it does not necessarily need to be displayed at the point of the reference distance.
  • the depth of the operation target object is determined by processing the size of the pointer P associated with the reference distance.
  • the size of the pointer P associated with the reference distance may be processed by determining the depth direction of the operation target object displayed at a point farther than the reference distance point. A smaller value may be used for the determination.
  • step S21 When it is determined that the pointer P is not touching the operation target object when the operation target object is displayed (when the determination result in step S21 is “No”), the operation control unit 150 Is returned to step S21. That is, the operation control unit 150 repeats step S21 until it is determined that the pointer P has touched the operation target object.
  • the second determination unit 158 determines whether a specific action has been performed by the pointer P. A determination is made (step S22).
  • the specific action is, for example, when the operation target object is a software button, touching of the operation target object is continued for a predetermined time (for example, one second).
  • step S22 determines that the touch has been released, and returns the processing procedure to step S21 again.
  • step S22 when it is determined that a specific action has been performed (when the determination result in step S22 is “Yes”), the operation control unit 150 reports to the OS or the application program that a command corresponding to the action has been performed ( Step S23).
  • Step S23 when the touch on the operation target object Ob2 as shown in FIG. 10 continues for a certain period of time, a command corresponding to the operation target object Ob2 is executed.
  • step S23 the operation control unit 150 returns the processing procedure to step S10 again.
  • the flowchart shown in FIG. 7 is executed when the pointer P is displayed in the virtual space as described above, so that the hand falls out of the shooting area of the shooting device 110 and the pointer P moves out of the virtual space. If it has disappeared, the operation of the flowchart ends.
  • the depth direction of the pointer P displayed in the virtual space is determined by comparing with the size of the pointer P stored when the initial condition is satisfied. There is no need for the user 3 to wear the dedicated device. Therefore, the depth direction of the pointer P can be determined with a simple configuration without giving the user any trouble.
  • the depth direction is determined based on the position of the hand placed at a point where the user 3 can easily operate when the initial conditions are satisfied. For this reason, the user 3 can specify the operation target object within a reasonable operation range of the hand.
  • FIG. 14 is a diagram when three operation target objects ObL, ObC, and ObR are displayed along the X-axis direction.
  • the operation target object ObC is displayed in the front direction L1 (Z-axis direction) as viewed from the user 3, the operation target object ObL is displayed on the left side of the operation target object ObC, and the operation target object ObR is displayed on the right side.
  • L1 Z-axis direction
  • the operation target objects ObL and ObR are arranged farther apart from the operation target object ObC as viewed from the user 3 in space.
  • the user 3 draws an arc around his or her elbow or shoulder when moving his or her hand.
  • the second determination unit 158 changes the broken line N1 to the broken line N2.
  • the range in which the second determination unit 158 determines that these operation target objects have been touched may be a second range wider than the first range of the operation target object ObC displayed in front of the user.
  • the first range (the difference between the size of the pointer P and the size indicated by the reference size information) in which the second determination unit 158 determines that the operation target object ObC displayed in the front direction has been touched.
  • the position of the pointer P on the broken line N1 is determined from the difference (Sm-Ss) between the size (Sm) of the pointer P when the pointer P is positioned on the broken line M and the size (Ss) indicated by the reference size information.
  • the range ie, the range from Sm-Ss to Sn1-Ss) up to the difference (Sn1-Ss) between the size (Sn1) of the pointer P and the size (Ss) indicated by the reference size information.
  • the second range is expanded to a range larger than the range (first range) from the difference (Sm-Ss) at the broken line M to the difference (Sn1-Ss) at the broken line N1.
  • the second range ranges from the difference (Sm-Ss) at the dashed line M to the difference (Sn2-Ss) at the dashed line N2 indicating a boundary wider than the dashed line N1 (that is, from Sm-Ss to Sn2 ⁇ Ss) (Sn2> Sm> Ss).
  • the operability of the user 3 is improved by expanding the range that satisfies the condition for determining whether or not the operation target object has been touched.
  • the range for determining that the operation target object ObR (or ObL) displayed in the right direction L3 (or the left direction L2) has been touched has a large angle ⁇ from the front direction L1 as viewed from the user 3. (The operation target object ObR (or ObL) is further away from the user 3).
  • the operation selection object is regarded as being selected, and the command corresponding to the operation target object is executed.
  • the action after the touch may be other than the state where the touch is continued for one second.
  • FIG. 15 is a diagram illustrating an example of an action after a touch, which is an alternative example of the embodiment. For example, if the touched state is 1 second or more and less than 3 seconds, it may be determined to be a tap, and if the touched state is 3 seconds or more, it may be determined to be a long tap. In addition, if the index finger tip S moves in any direction after the touch, it may be regarded that the swipe has been performed in the moving direction, and a command corresponding to the swipe may be executed.
  • a plurality of operation target objects may be displayed continuously in the depth direction as viewed from the user 3.
  • the operation target objects Ob1, Ob2, and Ob3 may be displayed sequentially from the near side as viewed from the user 3 over the Z-axis direction in the depth direction.
  • the operation target objects in the depth direction When continuously displaying the operation target objects in the depth direction, it is determined whether or not these operation target objects have been operated as if the pointer P has been touched, by relating the operation target objects to the reference distance as described above.
  • the size of the pointer P indicated by the obtained reference size information may be processed and used according to the change from the reference distance to the distance of the operation target object in the Z-axis direction.
  • thumbnail images of temporally continuous frames in a moving image are continuously displayed in the depth direction as viewed from the user 3 as the operation target object, and the operation target object (thumbnail image) touched by the pointer P May be displayed in a separate frame.
  • an image displayed in a separate frame is displayed frame-by-frame according to the moving speed of the pointer P. Will be displayed.
  • the HMD 1 that provides a virtual space to the user 3 has been described as an example.
  • an image of an operation object is synthesized with an image of a real space captured by the imaging device 110, and the image is combined with the real space. It can also be applied when displaying operation objects.
  • Each function illustrated in FIG. 3 is realized by an arbitrary combination of hardware and software.
  • each function may be realized by a single device, or may be realized by two or more devices configured separately from each other.
  • a program whether referred to as software, firmware, middleware, microcode or a hardware description language, or by another name, includes instructions, instruction sets, codes, code segments, program codes, subprograms, software modules, applications , Software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures or functions, and the like.
  • software, instructions, and the like may be transmitted and received via a transmission medium.
  • a transmission medium such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a wireless technology such as infrared, wireless and microwave, the website, server, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • the embodiments / aspects described in this specification include LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA.
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • SUPER 3G IMT-Advanced
  • 4G 5G
  • FRA Full Radio Access
  • W-CDMA Wideband
  • GSM registered trademark
  • CDMA2000 Code Division Multiple Access 2000
  • UMB User Mobile Broadband
  • IEEE 802.11 Wi-Fi
  • IEEE 802.16 WiMAX
  • IEEE 802.20 UWB (Ultra-WideBand
  • the present invention may be applied to a system using Bluetooth (registered trademark), another appropriate system, and / or a next-generation system extended based on the system.
  • the input and output information may be stored in a specific place (for example, a memory) or may be managed by a management table. Information that is input and output can be overwritten, updated, or added. The output information or the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made based on a value represented by 1 bit (0 or 1), a Boolean value (Boolean: true or false), or a comparison of numerical values (for example, a predetermined value). Value).
  • the information, signals, etc., described herein may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that can be referred to throughout the above description are not limited to voltages, currents, electromagnetic waves, magnetic or magnetic particles, light fields or photons, or any of these. May be represented by a combination of
  • the information described in this specification may be represented by an absolute value, a relative value from a predetermined value, or another corresponding information.
  • a mobile station such as a smart phone is suitable as described above.
  • a mobile station can be a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless terminal, by one of ordinary skill in the art. It may also be called a terminal, a remote terminal, a handset, a user agent, a mobile client, a client, or some other suitable term.
  • connection means any direct or indirect connection or coupling between two or more elements, and between two elements “connected” to each other. May include the presence of one or more intermediate elements.
  • the coupling or connection between the elements may be physical, logical, or a combination thereof.
  • two elements are defined by the use of one or more electrical wires, cables and / or printed electrical connections, and, as some non-limiting and non-exhaustive examples, radio frequency
  • electromagnetic energy such as electromagnetic energy having wavelengths in the region, microwave region and light (both visible and invisible) region, it can be considered to be "connected” to each other.
  • a recording circuit such as a ROM and a RAM is illustrated as the storage device 104.
  • a flexible disk for example, a compact disk, a digital versatile disk, a Blu-ray (registered trademark) disk
  • Cards for example, cards, sticks, key drives
  • CD-ROMs Compact Discs
  • registers removable disks, hard disks, floppy disks, magnetic strips, databases, servers and other suitable It is a storage medium.
  • the program may be transmitted via a telecommunication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

端末装置は、ユーザの顔の向く方向を撮影する撮影装置と、前記撮影装置が撮影したポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させる表示制御部と、第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定する第１判定部と、前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と、基準距離とを関連付けて記憶装置に記憶させる動作制御部と、前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する第２判定部とを有する。

Description

端末装置および端末装置の制御方法
　本発明は、端末装置および端末装置の制御方法に関する。
　近年、ヘッドマウントディスプレイを装着したユーザに、種々のオブジェクトが合成された仮想的または現実的な空間を提供する技術が知られている。このような空間はコンピュータ等によって三次元的な空間として提供されるが、三次元的な空間での入力を支援する技術としては、例えば次のような技術が提案されている。具体的には、ユーザが、モーションセンサーを有するグローブなどの専用デバイスを装着し、該専用デバイスがユーザによる手の動きを検出し、検出した手の動きが例えば仮想空間に配置されたオブジェクトへの接触であれば、該オブジェクトに対する入力操作として受け付ける技術が提案されている（例えば特許文献１参照）。
特開２０１８－３２３８３号公報
　しかしながら、簡易化を図るために、上記ヘッドマウントディプレイを、例えばスマートホンおよびゴーグルで構成する場合、グローブなどの専用デバイスをユーザが装着する構成は、ユーザに煩わしさを与えるだけでなく、上記簡易化を阻害する要因となる。
　上述した目的の一つを解決するために、本発明の一態様に係る端末装置は、ユーザの顔の向く方向を撮影する撮影装置と、前記撮影装置が撮影したポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させる表示制御部と、第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定する第１判定部と、前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と、基準距離とを関連付けて記憶装置に記憶させる動作制御部と、前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する第２判定部とを有する。
　上記一態様に係る端末装置によれば、仮想または現実の空間において表示されたポインタの大きさが初期条件を充足したポインタの大きさを基準として比較されて、該ポインタがユーザからみて基準距離よりも手前の位置か否か、または、遠い位置か否かが判定される。このため、端末装置として、撮影装置を有するスマートホンなどを適用できるので、仮想空間においてユーザからみたポインタの奥行きを用いて該仮想空間での入力を支援する場合に、センサーを含むグローブなどの専用デバイスを不要とできる。
実施形態に係る端末装置が適用されたヘッドマウントディスプレイを示す図である。 端末装置の構成を示すブロック図である。 端末装置で構築される機能の構成の一例を示すブロック図である。 端末装置の表示装置で提供される仮想空間の一例を示す図である。 仮想空間にポインタが表示された一例を示す図である。 ユーザによる操作の一例を示す図である。 端末装置の動作の一例を示すフローチャートである。 表示装置による画面の一例を示す図である。 初期条件の判定の一例を示す図である。 表示装置による画面の一例を示す図である。 表示装置による画面の一例を示す図である。 表示装置による画面の一例を示す図である。 ユーザによる操作の一例を示す図である。 操作対象オブジェクトを表示させたとき判定の一例を示す図である。 タッチ後における特定のアクションと指示内容との関係の一例を示す図である。 仮想空間において操作対象オブジェクトを奥行き方向に連続して配置した一理を示す図である。
　以下、本発明を実施するための形態について図面を参照して説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるので、技術的に好ましい種々の限定が付されている。ただし、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
＜実施形態＞
　図１は、ヘッドマウントディスプレイ（以下、ＨＭＤと略称する）１の概略を説明するための図である。
　この図に示されるようにＨＭＤ１は、実施形態に係る端末装置１０と、該端末装置１０が取り付けられたゴーグル２０とを含む。ゴーグル２０は、該端末装置１０がユーザ３の両眼手前となる位置に、ヘッドバンド２２によってユーザ３の頭部に装着される。
　端末装置１０は、例えばスマートホンであり、ユーザ３に対向する面が表（おもて）面である。該表面には、図では隠れているが、表示装置が配置されている。ゴーグル２０において、端末装置１０の取り付け面には、特に図示しないが、左眼用画像だけをユーザ３の左眼に視認させる開孔部と、右眼用画像だけをユーザ３の右眼に視認させる開孔部とをそれぞれ有する。このため、端末装置１０の表示装置が、仮想空間を提供するために、左眼の開孔部に相当するエリアに左眼用画像を、右眼の開孔部に相当するエリアに右眼用画像を、それぞれ視差を与えて表示させた場合、ユーザ３は該画像で示される仮想空間を立体的に視認できる。
　端末装置１０の裏面、すなわち図１でいえば、手前側の面には、撮影装置１１０が位置する。
　なお、端末装置１０は、スマートホンに限られず、ゴーグルに取り付けられるＨＭＤ専用の表示装置であってもよい。また、ゴーグルを備える（すなわち、ゴーグルから着脱不能な）ＨＭＤ装置であってもよい。
　図２は、端末装置１０におけるハードウェアの構成を示す図である。
　この図に示されるように、端末装置１０は、処理装置１０２と記憶装置１０４とセンサー１０６と表示装置１０８と撮影装置１１０とを具備するコンピュータシステムにより実現される。
　端末装置１０の各要素は、単体または複数のバスで相互に接続される。なお、本説明における「装置」という用語は、回路、デバイスまたはユニット等の他の用語に読替えても良い。また、端末装置１０の各要素は、単数または複数の機器で構成される。端末装置１０の一部の要素を省略しても良い。
　処理装置１０２は、端末装置１０の全体を制御するプロセッサであり、例えば単数または複数のチップで構成される。処理装置１０２は、例えば、周辺装置とのインターフェイス、演算装置およびレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。
　なお、処理装置１０２の機能の一部または全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現しても良い。処理装置１０２は、各種の処理を並列的または逐次的に実行する。
　記憶装置１０４は、処理装置１０２が利用可能な記録媒体であり、処理装置１０２が実行する複数のプログラムと、処理装置１０２が使用する各種のデータと、を記憶する。ここで、処理装置１０２が実行する複数のプログラムには、ＯＳ（Operating System）や、ユーザ３に仮想空間を提供するアプリケーションプログラムなどが含まれ、また、各種のデータには、後述するように、初期条件を充足したと判定された場合のポインタの大きさに関する基準サイズ情報や、該情報に関連付けられる基準距離などがある。
　なお、記憶装置１０４は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。
　センサー１０６は、端末装置１０の姿勢や動きを検出するための、例えば３軸角度センサーである。
　表示装置１０８は、処理装置１０２による制御のもとで各種の画像（静止画および動画を含む）を表示する。特に、本実施形態においては、上述した仮想空間を示す左眼用画像と右眼用画像とが表示装置１０８によって表示される。
　なお、例えば液晶表示パネルまたは有機ＥＬ表示パネル等の各種の表示パネルが表示装置１０８として好適に利用される。
　撮影装置１１０は、端末装置１０の裏面に配置されたリアカメラである。該端末装置１０が取り付けられたゴーグル２０をユーザ３が装着した場合、撮影装置１１０は、該ユーザ３の顔が向く方向を撮影する。
　図３は、仮想空間を提供するプログラムを端末装置１０の処理装置１０２が実行することにより実現される機能構成を示すブロック図である。
　この図に示されるように、端末装置１０では、動作制御部１５０、姿勢検出部１５２、表示制御部１５４、第１判定部１５６および第２判定部１５８が構築される。
　姿勢検出部１５２は、センサー１０６から出力される検出結果を処理して、処理した結果を端末装置１０の姿勢情報を出力する。詳細には、姿勢検出部１５２は、センサー１０６の検出結果、すなわち、図１に示されるように水平方向のＸ軸、垂直方向のＹ軸および奥行き方向のＺ軸における各加速度の検出結果を処理して、端末装置１０の姿勢情報を周期的に、例えば０．０３秒毎に出力する。
　表示制御部１５４は、表示装置１０８が表示する画面の生成および制御を実行する。詳細には、表示制御部１５４は、仮想空間を立体視させるための左眼用画像および右眼用画像をそれぞれ生成して、表示装置１０８の表示領域のうち、左眼の開孔部に相当するエリアに左眼用画像を、右眼の開孔部に相当するエリアに右眼用画像を、それぞれ表示させる。
　なお、仮想空間とは、端末装置１０において生成された現実を模擬した空間である。仮想空間は、ユーザ３を中心に全方位に拡がった概念である。そして、全方位の空間のうち、端末装置１０の姿勢情報に基づいて検出されたユーザ３の顔が向く方向に対応する空間が部分的に切り出されて、表示装置１０８に表示される。
　図４は、端末装置１０で提供される仮想空間を説明するための図である。この図において、符号Ｗは、端末装置１０が取り付けられたゴーグル２０を装着したユーザ３が、顔をある方向に向けている場合に、仮想空間の切り出し枠となる視野枠である。
　なお、この図は、仮想空間として自然風景が提供された例である。仮想空間は左眼用画像および右眼用画像による立体視でユーザ３に提供されるので、視野枠Ｗは、表示装置１０８で表示される画面そのものを示しているわけではない。
　ユーザ３が顔をある方向に向け、図４において実線の視野枠Ｗによって図に示されるような自然風景の仮想空間が提供されている場合に、ユーザ３が頭部を回転させて、顔を左側（Ｘ軸方向）に向けると、該回転に対応した姿勢情報が姿勢検出部１５２から出力される。
　該姿勢情報を取得した表示制御部１５４は、視野枠Ｗを図４の破線で示されるように移動させて、ユーザ３に提供する仮想空間を左側に移動させる。このように顔の向く方向に応じて仮想空間が移動するので、ユーザ３は、あたかも自然風景が存在する空間にいるかのような感覚を、視覚を通じて得ることができる。
　表示制御部１５４は、仮想空間の画像を表示装置１０８に表示させている場合に、撮影装置１１０によって予め定められた形状の操作体を含む現実空間が撮影されたとき、該操作体の画像を画像処理によって現実空間の背景画像から切り出し、該切り出した操作体の画像を仮想空間の画像に合成して表示させる。ここで、予め定められた形状の操作体とは、例えばユーザ３の指先から手首までの手先（hand）である。予め定められた形状の操作体としては、手先に限られず、撮影装置１１０に撮影され得るものであって、ユーザ３の意思によって移動可能なものであればよい。操作体としては、例えばユーザ３によって操作されるペン先等などであってもよい。なお、動作制御部１５０が、姿勢検出部１５２、表示制御部１５４、第１判定部１５６および第２判定部１５８の各部を制御してもよい。
　図５は、端末装置１０で提供される仮想空間に表示されたユーザ３の右手先（right hand）の画像を示す一例であり、図６は、上記表示の際にユーザ３が行った動作を示す図である。
　図６に示されるように、端末装置１０が取り付けられたゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指で何かを指し示すかのような仕草をした場合、図５に示されるように、撮影エリアの背景画像から切り出された右手先の画像が仮想空間の画像に合成されて、当該仮想空間に表示される。
　表示される右手先は、本件では、後述するように仮想空間においてはユーザ３の操作によるポインタＰである。なお、図５では、ポインタＰとして右手先が示されているが、前腕（forearm）および上腕（upper arm）を含んでもよい。
　ポインタＰは、仮想空間において表示される場合に、画像処理によって、背景から切り出した画像としてもよいし、切り出した画像の輪郭内側を塗り潰した画像としてもよい。
　第１判定部１５６は、任意の時点（第１の時点）においてポインタＰが仮想空間に表示される場合に、該ポインタＰが後述する初期条件を充足したか否かを判定し、充足したと判定した場合に、該表示されたポインタＰの大きさに関する基準サイズ情報と基準距離とを関連付けて記憶装置１０４に記憶させる。
　第２判定部１５８は、初期条件の充足後の第２の時点に、仮想空間において表示されたポインタの大きさを、初期条件充足時の大きさと比較して、該ポインタＰがユーザ３からみて基準距離にある地点よりも手前の位置にあるか否か、または、遠くの位置にあるか否か等を判定する。
　図７は、ポインタＰが仮想空間内に表示された場合の動作を示すフローチャートである。
　なお、この動作は、ユーザ３が手先等を撮影装置１１０の撮影エリア内に入れて、ポインタＰが仮想空間に表示されたことを契機として実行される。換言すれば、この動作は、ユーザ３が手先等を撮影装置１１０の撮影エリア内に入らず、ポインタＰが仮想空間に表示されていなければ実行されない。
　まず、ポインタＰが表示された場合において、動作制御部１５０は、ポインタＰの大きさに関する基準サイズ情報と基準距離とが互いに関連付けられて記憶装置１０４に記憶されているか否かを判定する（ステップＳ１０）。ポインタＰの大きさに関する基準サイズ情報と基準距離とが関連付けられて記憶装置１０４に記憶されていれば（ステップＳ１０の判定結果が「Ｙｅｓ」であれば）、動作制御部１５０が次のステップＳ１１～Ｓ１３における初期条件の判定処理を実行する必要がないので、処理手順はステップＳ２０にスキップする。
　一方、ポインタＰの大きさに関する基準サイズ情報と基準距離とが関連付けられて記憶装置１０４に記憶されていなければ（ステップＳ１０の判定結果が「Ｎｏ」であれば）、表示制御部１５４は、表示装置１０８を制御し、仮想空間に基準オブジェクトを表示させる（ステップＳ１１）。
　ここで、基準オブジェクトとは、後の処理においてポインタＰの奥行き（depth）方向の位置を相対的に判断する際に基準となるポインタＰの大きさを取得するために表示されるアイコンや、ソフトウェアボタン、または表示メッセージなどをいう。
　図８は、仮想空間に基準オブジェクトが表示された例を示す図である。この図に示されるように、基準オブジェクトＲは、ユーザ３に提供される仮想空間の視野枠Ｗの内のほぼ中心に、メッセージを含む四角枠として表示される。
　なお、表示制御部１５４は、基準オブジェクトＲがユーザ３から基準距離の地点に基準オブジェクトＲを表示させる。なお、基準距離とは、後の相対的な判断において基準となる値であり、値そのものに特別な意味がある訳ではない。
　第１判定部１５６は、基準オブジェクトＲとポインタＰとが初期条件を充足したか否かを判定する（ステップＳ１２）。ここで、第１判定部１５６は、例えば、ポインタＰが、基準オブジェクトＲを指し示したと同視できるような状態になった場合、初期条件を充足したと判定する。具体的には、本実施形態では、例えば図９に示すような状態、すなわち、ポインタＰにおける人差し指の先端Ｓが、基準オブジェクトＲにおける四角枠内に位置した場合に、第１判定部１５６は初期条件を充足したと判定する。
　すなわち、ユーザ３が、自身から基準距離にある地点に表示された基準オブジェクトＲを、自身の指で、奥行き方向において基準距離とは関係なく操作しやすい位置にて指し示した場合に初期条件が充足される。なお、初期条件には、この状態が一定時間（例えば２秒間）継続したことをさらに加重してもよい。
　初期条件が充足されていないと判定されれば（ステップＳ１２の判定結果が「Ｎｏ」であれば）、再び第１判定部１５６は、ステップＳ１２の判定を実行する。ポインタＰが仮想空間内に表示された場合において、ポインタＰの大きさに関する基準サイズ情報と基準距離とが関連付けられて記憶装置１０４に記憶されていなければ、第１判定部１５６は、初期条件が充足されたと判定されるまで、ステップＳ１２を繰り返す。
　初期条件が充足されたと判定されれば（ステップＳ１２の判定結果が「Ｙｅｓ」であれば）、動作制御部１５０は、初期条件を充足したときのポインタＰの大きさに関する基準サイズ情報、例えば、仮想空間内に表示されるポインタＰの面積（ポインタＰを構成する画素数）を表示制御部１５４から取得し、該情報を基準距離と関連付けて記憶装置１０４に記憶させる（ステップＳ１３）。
　なお、初期条件を充足したときのポインタＰの大きさに関する基準サイズ情報としては、面積以外でもよく、例えばＸ方向のサイズ、Ｙ方向のサイズなどでもよい。
　次に、動作制御部１５０は、仮想空間において操作対象オブジェクトが表示されているか否かを判定する（ステップＳ２０）。
　ここで、操作対象オブジェクトとは、仮想空間においてポインタＰによって操作の対象となるアイコン、または、ソフトウェアボタンなどをいう。なお、操作対象オブジェクトは、ユーザ３からみて基準距離の地点に表示される。
　図１０、図１１および図１２の各々は、仮想空間に操作対象オブジェクトが表示された例を示す図である。これらの図に示されるように、仮想空間には、操作対象オブジェクトＯｂ１およびＯｂ２が表示されている。なお、操作対象オブジェクトＯｂ１は、ユーザ３に、任意の質問に対して返答させるにあたって、質問に対する肯定的な回答を選択させるためのソフトウェアボタンであり、操作対象オブジェクトＯｂ２は、質問に対する否定的な回答を選択させるためのソフトウェアボタンである。
　仮想空間に操作対象オブジェクトが表示されていないと判定されれば（ステップＳ２０の判定結果が「Ｎｏ」であれば）、動作制御部１５０は、処理の手順を再びステップＳ２０に戻す。すなわち、動作制御部１５０は、初期条件充足後において仮想空間になんらかの操作対象オブジェクトが表示されるまで、ステップＳ２０を繰り返す（すなわち、待機状態となる）。
　一方、仮想空間に操作対象オブジェクトが表示されていると判定されれば（ステップＳ２０の判定結果が「Ｙｅｓ」であれば）、動作制御部１５０は、記憶装置１０４に記憶されたポインタＰの大きさに関する基準サイズ情報と基準距離とを読み出し、第２判定部１５８に供給する。
　第２判定部１５８は、現時点において仮想空間に表示されたポインタＰの、ＸＹ平面（二次元座標）上の位置と奥行きのＺ軸方向の座標上の位置とに基づき、操作対象オブジェクトをタッチしたかのような操作がなされたか否かを判定する（ステップＳ２１）。
　まず、仮想空間に表示されたポインタＰについてＸＹ平面上の位置については、次のように第２判定部１５８は判定する。すなわち、第２判定部１５８は、ポインタＰにおける人差し指が操作対象オブジェクトにおける四角枠内に位置した場合に、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にある、と判定する。
　ここで、本実施形態では、操作対象オブジェクトは立体視で提供される仮想空間に表示されるので、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にある、と判定されても、奥行きのＺ軸方向では一致していない場合もあり得る。そこで、仮想空間に表示されたポインタＰのＺ軸方向の奥行きの位置を、第２判定部１５８は、次のようにして判定する。
　すなわち、第２判定部１５８は、現時点において仮想空間に表示されたポインタＰの大きさと記憶装置１０４から読み出した基準サイズ情報が示すポインタＰの大きさとを比較して、大きさの差が所定の範囲内にあるか否かを判定する。具体的には、第２判定部１５８は、仮想空間に表示されたポインタＰの大きさと、基準サイズ情報が示すポインタＰの大きさとを比較し、前者の後者に対する差が所定の範囲内にあれば、仮想空間に表示されたポインタＰがユーザ３からみてＺ軸方向において基準距離にある地点から一定の範囲内にあると判定する。
　また、第２判定部１５８は、大きさの差が所定の範囲の上限値よりも大きければ、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点から一定の範囲よりも手前の地点にあると判定し、大きさの差が所定の範囲の下限値よりも小さければ、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点から一定の範囲よりも遠くの地点にあると判定する。
　したがって、第２判定部１５８は、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にあり、かつ、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点の一定の範囲内にあれば、ポインタＰが操作対象オブジェクトをタッチしていると判定する。なお、動作制御部１５０は、ポインタＰが操作対象オブジェクトをタッチしていると第２判定部１５８によって判定されたとき、その旨をユーザ３に知らせるために、該操作対象オブジェクトの色を反転させたり、色を替えたり、ＨＭＤ１を振動させたりしてもよい。
　例えば、図１０において操作対象オブジェクトＯｂ２をタッチするために、図１３に示されるように、ゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指をａの地点で指し示す場合について説明する。この場合、ユーザ３（厳密にいえば撮影装置１１０）から、自身の右手先までの距離は、初期条件の充足時での右手先までの距離とほぼ同じであるから、仮想空間に表示されるポインタＰの大きさの、基準サイズ情報が示すポインタＰの大きさに対する差が所定の範囲内となる。したがって、この場合、第２判定部１５８は、ポインタＰが操作対象オブジェクトＯｂ２をタッチしたと判定する。
　また、例えば、図１３に示されるように、ゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指をｂの地点で指し示す場合について説明する。この場合、図１１に示されるように、ユーザ３から、自身の右手先までの距離は、初期条件の充足時での右手先までの距離よりも近いので、仮想空間に表示されるポインタＰの大きさをＳbとし、基準サイズ情報が示すポインタＰの大きさをＳmとしたとき、ＳbのＳmに対する差（Ｓb－Ｓm）は、所定の範囲外となるほどに大きい（Ｓb＞Ｓm）。したがって、この場合、第２判定部１５８は、仮に、ポインタＰがＸＹ平面において操作対象オブジェクトＯｂ２の枠内にあったとしても、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点よりも手前の地点にあるので、ポインタＰが操作対象オブジェクトＯｂ２をタッチしたとは判定しない。
　また、例えば、図１３に示されるように、ゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指をｃの地点で指し示す場合、図１２に示されるように、ユーザ３から、自身の右手先までの距離は、初期条件の充足時での右手先までの距離よりも遠いので、仮想空間に表示されるポインタＰの大きさをＳcとしたとき、Ｓcの、基準サイズ情報が示すポインタＰの大きさＳmに対する差（Ｓc－Ｓm）は、所定の範囲外となるほどに小さい（Ｓc＜Ｓm）。したがって、この場合、第２判定部１５８は、仮に、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にあったとしても、仮想空間に表示されたポインタＰがユーザ３からみて基準距離がある地点よりも遠くの地点にあるので、ポインタＰが操作対象オブジェクトをタッチしたとは判定しない。
　なお、仮想空間に表示されるポインタＰがユーザ３からみて基準距離よりも遠くの地点にある場合、図１２に示されるように、ポインタＰを、基準距離にある操作対象オブジェクトの背面側に隠れた状態で表示してもよい。
　また、本実施形態の例では操作対象オブジェクトがユーザ３から基準距離だけ離れた地点にあるかのように操作対象オブジェクトを表示させた。しかし、必ずしも基準距離の地点に表示させなくてもよい。例えば操作対象オブジェクトを基準距離の地点よりも手前の地点に表示させる場合には、当該操作対象オブジェクトの奥行き方向の判定については、基準距離に関連付けられたポインタＰの大きさを加工して、より大きくして判定に用いてもよいし、基準距離の地点よりも遠くの地点に表示させた操作対象オブジェクトの奥行き方向の判定については、基準距離に関連付けられたポインタＰの大きさを加工し、より小さくして判定に用いてもよい。
　操作対象オブジェクトが表示されている場合に、該操作対象オブジェクトをポインタＰがタッチしていないと判定された場合（ステップＳ２１の判定結果が「Ｎｏ」である場合）、動作制御部１５０は、処理の手順を再びステップＳ２１に戻す。すなわち、動作制御部１５０は、ポインタＰが操作対象オブジェクトをタッチしたと判定されるまで、ステップＳ２１を繰り返す。
　一方、操作対象オブジェクトをポインタＰがタッチしたと判定された場合（ステップＳ２１の判定結果が「Ｙｅｓ」である場合）、第２判定部１５８は、ポインタＰによって特定のアクションがなされたか否かを判定する（ステップＳ２２）。特定のアクションとは、操作対象オブジェクトが例えばソフトウェアボタンであれば、該操作対象オブジェクトのタッチを一定時間（例えば１秒間）継続することなどである。
　特定のアクションがなされなかった場合（ステップＳ２２の判定結果が「Ｎｏ」の場合）、動作制御部１５０は、タッチが解除されたとみなして、処理の手順を再びステップＳ２１に戻す。
　一方、特定のアクションがなされたと判定された場合（ステップＳ２２の判定結果が「Ｙｅｓ」である場合）、動作制御部１５０は、該アクションに対応した命令がなされたとＯＳやアプリケーションプログラムに報告する（ステップＳ２３）。この処理により、図１０に示されるような操作対象オブジェクトＯｂ２へのタッチが、一定時間継続した場合、該操作対象オブジェクトＯｂ２に対応した命令が実行される。
　動作制御部１５０は、ステップＳ２３の処理後、処理の手順を再びステップＳ１０に戻す。なお、図７に示したフローチャートは、上述したように仮想空間にポインタＰが表示されたことを契機として実行されるので、手先が撮影装置１１０の撮影エリアから外れて、ポインタＰが仮想空間から消失した場合には、該フローチャートの動作は終了する。
　本実施形態に係る端末装置１０によれば、ユーザ３からみて、仮想空間に表示されたポインタＰの奥行き方向を、初期条件充足時に記憶したポインタＰの大きさと比較して判定するので、グローブなどの専用デバイスをユーザ３が装着する必要がない。このため、ユーザに煩わしさを与えることなく、簡易化な構成で、ポインタＰの奥行き方向を判定できる。
　また、仮想空間に表示された操作対象オブジェクトについては、初期条件の充足時にユーザ３が操作しやすい地点に置いた手先の位置を基準にして奥行き方向が判定される。このため、ユーザ３からすれば、無理のない手先の操作範囲で操作対象オブジェクトを指定することが可能となる。
＜応用／変形の各種態様＞
　図１４は、３個の操作対象オブジェクトＯｂＬ、ＯｂＣ、及びＯｂＲをＸ軸方向に沿って表示させた場合の図である。なお、操作対象オブジェクトＯｂＣは、ユーザ３からみて正面の方向Ｌ１（Ｚ軸方向）に表示され、該操作対象オブジェクトＯｂＣの左側に操作対象オブジェクトＯｂＬが、右側に操作対象オブジェクトＯｂＲが、それぞれ表示された場合の例である。すなわち、操作対象オブジェクトＯｂＬおよびＯｂＲは、空間において、ユーザ３からみて操作対象オブジェクトＯｂＣよりも離れて配置されている。
　一方、ユーザ３は、自身の手先を移動するに際して、自身の肘または肩を中心に弧を描く。このため、正面方向に表示された操作対象オブジェクＯｂＣのタッチを判定するためのＺ軸方向における一定の範囲（ユーザ３からみて破線Ｍから破線Ｎ１までの範囲）をそのまま適用した場合、操作対象オブジェクトＯｂＬまたはＯｂＲについてタッチしたと判定される範囲までのユーザ３からの距離が、操作対象オブジェクトＯｂＣについての範囲までの距離と異なるので、ユーザ３からすれば操作しづらい感じを与えてしまう可能性がある。
　そこで、第２判定部１５８は、ユーザの正面の方向Ｌ１に対して左側の方向Ｌ２または右側の方向Ｌ３に操作対象オブジェクトＯｂＬまたはＯｂＲを表示させた場合、破線Ｎ１を破線Ｎ２に変更することにより、これらの操作対象オブジェクトがタッチされたと第２判定部１５８が判定する範囲を、ユーザの正面方向に表示させた操作対象オブジェクトＯｂＣについての第１の範囲よりも広い第２の範囲としてもよい。
　具体的には、正面方向に表示された操作対象オブジェクトＯｂＣがタッチされたと第２判定部１５８が判定する第１の範囲（ポインタＰの大きさと、基準サイズ情報で示される大きさと、の差の範囲）として、ポインタＰが破線Ｍ上に位置する際のポインタＰの大きさ（Ｓm）と基準サイズ情報で示される大きさ（Ｓs）との差（Ｓm－Ｓs）から、破線Ｎ１上に位置する際のポインタＰの大きさ（Ｓn1）と基準サイズ情報で示される大きさ（Ｓs）との差（Ｓn1－Ｓs）まで、の範囲（すなわち、Ｓm－ＳsからＳn1－Ｓsまでの範囲）を適用する（Ｓn1＞Ｓm＞Ｓs）。これに対し、第２の範囲は、破線Ｍにおける差（Ｓm－Ｓs）から破線Ｎ１における差（Ｓn1－Ｓs）までの範囲（第１の範囲）よりも大きい範囲に拡大される。具体的には、第２の範囲は、破線Ｍにおける差（Ｓm－Ｓs）から、破線Ｎ１よりも広い境界を示す破線Ｎ２における差（Ｓn2－Ｓs）まで、の範囲（すなわち、Ｓm－ＳsからＳn2－Ｓsまでの範囲）である（Ｓn2＞Ｓm＞Ｓs）。このように操作対象オブジェクトにタッチしたか否かの判定条件を充足する範囲を拡大することにより、ユーザ３の操作性が向上する。
　なお、右側の方向Ｌ３（または左側の方向Ｌ２）に表示された操作対象オブジェクトＯｂＲ（またはＯｂＬ）をタッチしたと判定するための範囲が、ユーザ３からみて正面の方向Ｌ１からの角度θが大きくなる（操作対象オブジェクトＯｂＲ（またはＯｂＬ）がユーザ３から離れる）ほどに拡大されることが好ましい。
　上述した実施形態では、操作対象オブジェクトをタッチした状態が一定時間として１秒間継続したときに、該操作選択オブジェクトを選択したとみなして、該操作対象オブジェクトに対応した命令を実行する構成としたが、タッチ後におけるアクションについては、１秒間タッチが継続する状態以外であってもよい。
　図１５は、タッチ後のアクションの例を示す図であり、実施形態の代替例である。例えば、タッチした状態が１秒以上３秒未満であれば、タップと判定してもよいし、タッチした状態が３秒以上であれば、ロングタップと判定してもよい。また、タッチ後に、人差し指先端Ｓがいずれかの方向に移動した場合、該移動方向にスワイプしたとみなして、該スワイプに応じた命令を実行してもよい。
　操作対象オブジェクトについては、ユーザ３からみて奥行き方向にわたって複数個、連続させて表示させてもよい。例えば、図１６に示されるように、奥行き方向のＺ軸方向にわたって、ユーザ３からみて手前側から順に操作対象オブジェクトＯｂ１、Ｏｂ２およびＯｂ３を連続させて表示させてもよい。
　操作対象オブジェクトを奥行き方向に連続して表示させる場合、これらの操作対象オブジェクトを、ポインタＰがタッチしたかのような操作をしたか否かの判定については、上述したように、基準距離に関連付けられた基準サイズ情報が示すポインタＰの大きさを、基準距離から操作対象オブジェクトのＺ軸方向の距離までの変化分に応じて加工して用いればよい。
　また、例えば動画において時間的に連続するフレームのサムネイル画像を、操作対象オブジェクトとして、ユーザ３からみて奥行き方向にわたって複数個、連続させて表示させ、ポインタＰによってタッチされた操作対象オブジェクト（サムネイル画像）を別枠で表示してもよい。
　このようすると、例えばユーザ３が、操作対象オブジェクトをタッチしつつ、ポインタＰをＺ軸方向に移動させた場合に、別枠で表示される画像が、ポインタＰの移動速度に応じて、コマ送りで表示されることになる。
　また、実施形態では、ユーザ３に仮想的な空間を提供するＨＭＤ１を例にとって説明したが、例えば撮影装置１１０によって撮影された現実の空間の画像に操作オブジェクトの画像を合成し、現実の空間に操作オブジェクトを表示する場合にも適用できる。
＜その他＞
　例示したフローチャートにおいて、各ステップの順序を変更しても良い。すなわち、本発明の好適な態様における各処理の順序は、特定の順序に限定されない。
　図３に例示された各機能は、ハードウェアおよびソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されても良いし、相互に別体で構成された２個以上の装置によって実現されても良い。
　プログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順または機能等を意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されても良い。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）などの有線技術および／または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および／または無線技術は、伝送媒体の定義内に含まれる。
　本明細書で説明した実施形態／各態様は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよび／またはこれらに基づいて拡張された次世代システムに適用されても良い。
　入出力された情報等は特定の場所(例えば、メモリ)に保存されても良いし、管理テーブルで管理しても良い。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されても良い。入力された情報等は他の装置へ送信されても良い。
　判定は、１ビットで表される値（０か１か）によって行われても良いし、真偽値（Boolean：trueまたはfalse）によって行われても良いし、数値の比較（例えば、所定の値との比較）によって行われても良い。
　本明細書で説明した各態様／実施形態は単独で用いても良いし、組み合わせて用いても良いし、実行に伴って切り替えて用いても良い。
　本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されても良い。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されても良い。
　本明細書で説明した情報などは、絶対値で表されても良いし、所定の値からの相対値で表されても良いし、対応する別の情報で表されても良い。
　端末装置１０としては、上述したようにスマートホンのような移動局が好適である。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
　「接続された(connected)」という用語、または、このあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであっても良い。本明細書で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよび／またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。
　前述の実施形態では、記憶装置１０４としてＲＯＭおよびＲＡＭ等の記録回路を例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介して送信されても良い。
　本説明において、例えば、英語におけるa、anおよびtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
　本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせても良い。
　１…ＨＭＤ、１０…端末装置、２０…ゴーグル、１０２…処理装置、１５０…動作制御部、１５２…姿勢検出部、１５４…動作制御部、１５６…第１判定部、１５８…第２判定部、Ｐ…ポインタ、Ｒ…基準オブジェクト、Ｏｂ１、Ｏｂ２、Ｏｂ１１～Ｏｂ１３…操作対象オブジェクト。

Claims (6)

  1. 　ユーザの顔の向く方向を撮影する撮影装置と、
    　前記撮影装置により撮影されたポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させる表示制御部と、
    　第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定する第１判定部と、
    　前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と、基準距離とを関連付けて記憶装置に記憶させる動作制御部と、
    　前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する第２判定部と、
    　を有する端末装置。
  2. 　前記第１判定部による判定がなされる場合に、前記表示制御部は、前記空間において前記ユーザから前記基準距離にある地点に基準オブジェクトを表示させ、
    　前記第１判定部は、前記第１時点におけるポインタが前記基準オブジェクトに対して予め定められた位置の関係となったときに、前記初期条件を充足したと判定する
    　請求項１に記載の端末装置。
  3. 　前記表示制御部は、
    　前記空間において前記ポインタによる操作の対象となる操作対象オブジェクトを前記表示装置に表示させ、
    　前記第２判定部は、前記第２時点におけるポインタの一部または全部が前記操作対象オブジェクトと重なり、かつ、当該ポインタの大きさの、前記基準サイズ情報で示される大きさに対する差が所定の範囲内であるときに、当該ポインタが前記操作対象オブジェクトをタッチしたと判定する
    　請求項１または２に記載の端末装置。
  4. 　前記表示制御部は、
    　前記空間において前記ポインタによる操作の対象となる複数の操作対象オブジェクトを前記ユーザからみて左右方向に相異なる位置に表示させ、
    　前記第２判定部は、
    　前記第２時点におけるポインタの一部または全部が前記複数の操作対象オブジェクトのうち一の操作対象オブジェクトと重なり、かつ、当該ポインタの大きさと、前記基準サイズ情報で示される大きさとの差が第１の範囲内であるときに、当該ポインタが前記第１の操作対象オブジェクトをタッチしたと判定し、
    　前記第２時点におけるポインタの一部または全部が前記複数の操作対象オブジェクトのうち、前記一の操作対象オブジェクトよりも前記空間において前記ユーザから離れて配置された他の操作対象オブジェクトと重なり、かつ、当該ポインタの大きさと、前記基準サイズ情報で示される大きさとの差が、前記第１の範囲よりも広い第２の範囲内であるときに、当該ポインタが前記第２の操作対象オブジェクトをタッチしたと判定する
    　請求項１または２に記載の端末装置。
  5. 　前記第２判定部は、
    　前記第２時点におけるポインタが前記操作対象オブジェクトをタッチしたと判定した後、該ポインタが特定のアクションをしたときに、該特定のアクションに応じた命令がなされたと判定する
    　請求項３または４に記載の端末装置。
  6. 　処理装置と、ユーザからみて前方を撮影する撮影装置とを備える端末装置の制御方法であって、
    　前記処理装置は、
    　前記撮影装置が撮影したポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させ、
    　第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定し、
    　前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と基準距離とを関連付けて記憶装置に記憶させ、
    　前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する
    　端末装置の制御方法。
PCT/JP2019/022902 2018-08-08 2019-06-10 端末装置および端末装置の制御方法 Ceased WO2020031493A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/265,654 US11449135B2 (en) 2018-08-08 2019-06-10 Terminal apparatus and method for controlling terminal apparatus
JP2020536350A JP6999822B2 (ja) 2018-08-08 2019-06-10 端末装置および端末装置の制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-149267 2018-08-08
JP2018149267 2018-08-08

Publications (1)

Publication Number Publication Date
WO2020031493A1 true WO2020031493A1 (ja) 2020-02-13

Family

ID=69415511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022902 Ceased WO2020031493A1 (ja) 2018-08-08 2019-06-10 端末装置および端末装置の制御方法

Country Status (3)

Country Link
US (1) US11449135B2 (ja)
JP (1) JP6999822B2 (ja)
WO (1) WO2020031493A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074936A1 (ja) * 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120513464A (zh) * 2023-02-27 2025-08-19 三星电子株式会社 基于虚拟对象之间的距离控制虚拟对象的电子设备及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206990A (ja) * 2014-06-09 2014-10-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
JP2016110249A (ja) * 2014-12-03 2016-06-20 日本ユニシス株式会社 空間手書き入力システム、空間手書き入力方法およびコンピュータプログラム
JP2018010702A (ja) * 2017-10-25 2018-01-18 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
JP6342038B1 (ja) * 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
US20180350055A1 (en) * 2017-06-01 2018-12-06 Tesla, Inc. Augmented reality feature detection
JP6779840B2 (ja) 2017-07-07 2020-11-04 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206990A (ja) * 2014-06-09 2014-10-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
JP2016110249A (ja) * 2014-12-03 2016-06-20 日本ユニシス株式会社 空間手書き入力システム、空間手書き入力方法およびコンピュータプログラム
JP2018010702A (ja) * 2017-10-25 2018-01-18 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074936A1 (ja) * 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US20210303061A1 (en) 2021-09-30
US11449135B2 (en) 2022-09-20
JPWO2020031493A1 (ja) 2021-08-12
JP6999822B2 (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
JP7674441B2 (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
CN106716302B (zh) 用于显示图像的方法、设备和计算机可读介质
US10948993B2 (en) Picture-taking within virtual reality
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN108604175B (zh) 装置和关联方法
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11164546B2 (en) HMD device and method for controlling same
JP6510648B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
CN114648623A (zh) 信息处理装置、信息处理方法以及计算机可读介质
CN107743604A (zh) 增强和/或虚拟现实环境中的触摸屏悬停检测
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
US11675198B2 (en) Eyewear including virtual scene with 3D frames
WO2014188797A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP2012108723A (ja) 指示受付装置
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US12182391B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4652516A1 (en) Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP6999822B2 (ja) 端末装置および端末装置の制御方法
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20250053235A1 (en) Image display device and image display method
US20240402862A1 (en) Devices, methods, and graphical user interfaces for detecting inputs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846819

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020536350

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846819

Country of ref document: EP

Kind code of ref document: A1