WO2020195709A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020195709A1
WO2020195709A1 PCT/JP2020/009681 JP2020009681W WO2020195709A1 WO 2020195709 A1 WO2020195709 A1 WO 2020195709A1 JP 2020009681 W JP2020009681 W JP 2020009681W WO 2020195709 A1 WO2020195709 A1 WO 2020195709A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
input candidate
user
control unit
hmd
Prior art date
Application number
PCT/JP2020/009681
Other languages
English (en)
French (fr)
Inventor
安田　亮平
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080021918.8A priority Critical patent/CN113597594A/zh
Priority to JP2021508940A priority patent/JPWO2020195709A1/ja
Priority to US17/430,550 priority patent/US20220129069A1/en
Priority to EP20778183.2A priority patent/EP3951560A4/en
Publication of WO2020195709A1 publication Critical patent/WO2020195709A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • Patent Document 1 a user's line of sight is detected in the first display area, a character or a code corresponding to the user's line of sight position is selected in the first display area, and the user's line of sight in the second display area is selected.
  • An input method for displaying at the line-of-sight position is disclosed.
  • the information processing apparatus of one form according to the present disclosure is a plurality of key objects for inputting information displayed by the display unit based on the line-of-sight information indicating the user's line of sight.
  • the detection unit that detects the gaze point of the user and the input candidate information corresponding to at least one of the plurality of key objects selected based on the gaze point are based on the position of the detected gaze point.
  • a control unit that controls the display unit so as to display the display unit is provided.
  • the user's note in a plurality of key objects for a computer to input information displayed by a display unit based on line-of-sight information indicating the user's line of sight.
  • the display unit so as to detect the viewpoint and display input candidate information corresponding to at least one of the plurality of key objects selected based on the gaze point with reference to the position of the detected gaze point. Including controlling.
  • the user's gaze point in a plurality of key objects for inputting the information displayed by the display unit based on the line-of-sight information indicating the user's line of sight to the computer.
  • the display unit is controlled so as to detect and display input candidate information corresponding to at least one of the plurality of key objects selected based on the gaze point with reference to the position of the detected gaze point. Let them do what they do.
  • FIG. 1 is a diagram for explaining an example of an information treatment method according to the first embodiment.
  • the head-mounted display (HMD: Head Mounted Display) 10 is an example of an information processing device that is attached to the head of the user U and the generated image is displayed on the display in front of the eyes.
  • the HMD 10 is a shield type in which the entire field of view of the user U is covered will be described, but the HMD 10 may be an open type in which the entire field of view of the user U is not covered.
  • the X-axis shows the horizontal direction
  • the Y-axis shows the vertical direction
  • the Z-axis shows the front-back direction of the user U.
  • the HMD 10 has a configuration capable of wireless communication with the operation input unit 50.
  • the operation input unit 50 has, for example, a function of inputting the operation of the user U.
  • the operation input unit 50 includes, for example, input devices such as a controller of a game machine, hardware buttons, and a touch panel.
  • the operation input unit 50 transmits information indicating the operation result of the user U to the HMD 10.
  • the operation input unit 50 may transmit information to the HMD 10 via, for example, a game machine.
  • the operation input unit 50 may be formed integrally with the HMD 10.
  • the HMD 10 has a function of three-dimensionally displaying the input screen 100 in the virtual space. More specifically, the HMD 10 has a function of adjusting the display positions of the left eye image and the right eye image to promote the adjustment of the user's congestion. That is, the HMD 10 has a function of causing the user U to stereoscopically view the input screen 100.
  • the HMD 10 has an input function for inputting characters, symbols, etc. by combining the movement of the line of sight of the user U on the input screen 100 and the operation of the operation input unit 50. For example, the HMD 10 displays the input screen 100 in the discriminant field of view of the user U.
  • the discriminative field of view is a field of view within the range in which a human can recognize the shape and contents of any kind of display object.
  • the HMD 10 displays the input screen 100 in front of the user U, and detects the input candidate point P on the input screen 100 based on the line-of-sight information of the user U.
  • the input candidate point P may be regarded as corresponding to the gaze point of the user U.
  • the HMD 10 describes the case where the input candidate point P is displayed on the input screen 100, but the input candidate point P may not be displayed on the input screen 100.
  • the input screen 100 has a keyboard 110 and an input field 120.
  • the keyboard 110 has a plurality of key objects 111 (a plurality of input candidate information).
  • the plurality of key objects 111 include software keys for inputting information.
  • the input screen 100 is a virtual plane including a plurality of key objects 111 set in the virtual space.
  • the keyboard 110 describes the case of a QWERTY keyboard, but is not limited thereto.
  • the input field 120 is displayed in a display area different from the display area of the keyboard 110 on the input screen 100. More specifically, the input field 120 is displayed outside the display range of the plurality of key objects 111. In the input field 120, input candidates selected by the keyboard 110 are displayed.
  • the selected key object 111 may be displayed in the vicinity of the input candidate point P and in the input field 120 at the same time.
  • Input candidates include, for example, data such as character strings, characters, symbols, numbers, and pictograms.
  • the plurality of key objects in the present disclosure is not limited to a typical software keyboard.
  • the plurality of key objects may be a plurality of choice objects continuously selected by the user, and may be arranged discretely and arbitrarily.
  • the HMD 10 has a function of detecting an input candidate point P based on the line-of-sight information indicating the line of sight of the user U. That is, the HMD 10 has a line-of-sight input interface.
  • the line-of-sight information is data indicating the line-of-sight L of the user U.
  • the line-of-sight information according to the present embodiment includes, for example, "data indicating the position of the line-of-sight L of the user U" and "data that can be used to specify the position of the line-of-sight L of the user U (or data of the line-of-sight of the user). Data that can be used to estimate the position) ”.
  • Examples of the data indicating the position of the line of sight L of the user U include "coordinate data indicating the position of the line of sight L of the user U on the input screen 100".
  • the position of the line of sight L of the user U on the input screen 100 is represented by, for example, the coordinates in the coordinate system with the reference position on the input screen 100 as the origin.
  • the reference position on the input screen 100 according to the present embodiment may be, for example, a preset fixed position or a position that can be set based on a user operation or the like.
  • the HMD 10 uses, for example, a line of sight detection technique to detect the line of sight of the user U.
  • the position of L is estimated, and coordinate data indicating the position of the line of sight L of the user U on the input screen 100 is calculated. Then, the HMD 10 uses the calculated coordinate data as an input candidate point P on the input screen 100.
  • the line-of-sight detection technique includes, for example, a moving point of the eye (for example, an iris or a pupil) with respect to a reference point of the eye (for example, a point corresponding to an immovable part of the eye such as the inner corner of the eye or the corneal reflex).
  • a method of detecting the line of sight L based on the position of the point corresponding to the moving part in the eye) can be mentioned.
  • the line-of-sight detection technique according to this embodiment is not limited to the above.
  • the HMD10 according to the present embodiment has "corneal reflex method" such as "pupil corneal reflex method", "sclera reflex method", and "feature points obtained from eyes, nose, mouth, etc. after detecting a face". It is also possible to detect the line of sight of the user U by using an arbitrary line-of-sight detection technique using "AAM (Active Apearance Model)" or the like.
  • AAM Active Apearance Model
  • the data indicating the position of the line of sight L of the user U is not limited to the above-mentioned "coordinate data indicating the position of the line of sight L of the user U on the input screen 100".
  • the data indicating the position of the line of sight L of the user U is "in the real object in the real space seen by the user U. It may be "coordinate data indicating a position”.
  • the position of the user U in the real object in the real space is specified (or estimated) based on, for example, a three-dimensional image of the real object and a line-of-sight vector specified (or estimated) using the line-of-sight detection technique. Will be done.
  • the method of specifying the position of the real object in the real space seen by the user U is not limited to the above, and any technique capable of specifying the position of the real object in the real space seen by the user U is used. It is possible.
  • the HMD 10 information processing device
  • the coordinate data indicating the position of the real object in the real space being viewed is acquired from the external device.
  • the real object includes, for example, a photograph of the keyboard, the actual keyboard, and the like.
  • the information processing device identifies (or estimates) the position of the real object in the real space that the user U is looking at by using, for example, a line-of-sight detection technique, so that the real object in the real space that the user is looking at It is also possible to acquire coordinate data indicating the position.
  • the captured image data in which the direction in which the image is displayed on the input screen 100 is captured (from the display screen side). (Captured image data) in which the direction facing the display screen is captured.
  • the data that can be used to identify the position of the line of sight L of the user U according to the present embodiment further includes detection data of an infrared sensor that detects infrared rays in the direction in which an image is displayed on the input screen 100. Detection data of any sensor that obtains a detection value that can be used to improve the estimation accuracy of the position of the user's line of sight may be included.
  • the data that can be used to specify the position of the line of sight L of the user U according to the present embodiment may be, for example, a three-dimensional image of a real object and data related to the specification of the line of sight vector of the user U. ..
  • the HMD 10 according to the present embodiment is, for example, the method for specifying the position of the line of sight L of the user U according to the above embodiment.
  • the position of the line of sight L of the user U is specified (or estimated) by performing the processing related to.
  • the HMD 10 when the user U inputs the character string of "myspace", the input up to "myspace” is completed, and the user U is trying to select the character “c” by moving the line of sight L.
  • the HMD 10 detects the input candidate point P on the input screen 100
  • the HMD 10 displays the key object 111 of "c" of the input screen 100 instructed by the input candidate point P in a size larger than that of the other key objects 111. ..
  • the HMD 10 may change the display color, display mode, and the like of the key object 111 designated by the input candidate point P.
  • the HMD 10 displays the input candidate data 130 indicating the input candidates selected so far on the input screen 100 with the input candidate point P as a reference.
  • the input candidate data may be referred to as input candidate information.
  • the input candidate data 130 is data indicating "myspa" for which input (selection) has been completed.
  • the HMD 10 displays the input candidate data 130 indicating the character string of the five-character "myspa" so as to be distinguishable from the key object 111.
  • the HMD 10 makes it possible to distinguish the input candidate data 130 by displaying it in a display color different from that of the key object 111.
  • the HMD 10 may display the input candidate data 130 in a font, font size, or the like different from that of the key object 111.
  • the HMD 10 arranges the input candidate data 130 in front of the keyboard 110, that is, the key object 111 in the depth direction when viewed from the user U. Therefore, the user U can move the gazing point from the keyboard 110 to the input candidate data 130 by slightly moving the gazing point in the vertical direction or the horizontal direction while adjusting the congestion.
  • the HMD 10 displays the input candidate data 130 so as to follow the input candidate point P.
  • the HMD 10 may move the input candidate data 130 displayed along the path on the input screen 100 to which the input candidate point P has moved.
  • the HMD 10 may move the input candidate data 130 substantially linearly from the start point to the end point of the movement of the input candidate point P with a delay with respect to the movement of the input candidate point P.
  • the input candidate data 130 is temporarily not displayed in the vicinity of the input candidate point P for a predetermined delay time after the input candidate point P is moved. Therefore, the user U can appropriately secure the field of view by moving the input candidate point P.
  • the HMD 10 displays the input candidate data 130 so as to be superimposed on the keyboard 110 in the vicinity of the stopped input candidate point P.
  • the input candidate data 130 is set based on known human visual field characteristics.
  • the neighborhood of the input candidate point P may be regarded as a range set based on the human visual field characteristics.
  • the input candidate data 130 can be set based on the word identification limit, which is the limit range in which humans can read characters.
  • the word identification limit is set based on the distance from the position of the eye EY of the user U to the input candidate point P and the like. It should be noted that the range indicated by the word identification limit may be considered to correspond to the vicinity of the input candidate point P.
  • the input candidate data 130 is displayed in the vicinity of the input candidate point P with the number of characters in the range in which the user U who is visually recognizing the input candidate point P can read the characters. Further, the vicinity of the input candidate point P includes, for example, a display area on the input screen 100 in a limit range in which a human can read characters from the input candidate point P.
  • the user U refers to the input candidate data 130 of "myspa” in which the input candidate point P is located on the key object 111 of "c” on the input screen 100 and is displayed in the vicinity of the input candidate point P. Then, the user U performs a selection operation on the operation input unit 50 in order to select the key object 111 of "c” as an input candidate.
  • the selection operation includes, for example, pressing the confirmation button, the gesture of the user U, and the like.
  • the HMD 10 detects the selection operation of the key object 111 of "c” via the operation input unit 50
  • the HMD 10 accepts the character "c” as an input candidate.
  • the HMD 10 causes the input candidate data 130 of the selected "myspac” to follow the input candidate point P of the input screen 100.
  • the HMD 10 displays the input candidate indicated by the input candidate data 130 in the input field 120 of the input screen 100.
  • the HMD 10 when the input candidate data 130 is displayed on the keyboard 110 of the input screen 100, the HMD 10 also displays the selected input candidates in the input field 120 of the input screen 100, but the present invention is not limited to this.
  • the HMD 10 displays the input candidate data 130, it is not necessary to display the same input candidate as the input candidate data 130 in the input field 120.
  • the HMD 10 may display the confirmed input data in the input field 120.
  • the neighborhood of the input candidate point P may be regarded as a second input field that temporarily shows only the selected but undetermined input candidate information.
  • FIG. 2 is a diagram showing an example of display control of the head-mounted display 10 according to the first embodiment.
  • step S11 shown in FIG. 2 when the user U inputs the character string of "myspace", the input up to "mysp" is completed. "Mysp” are arranged in the order of selection. In FIG. 2, the "mysps” are arranged horizontally.
  • the arrangement direction of the selected input candidate data 130 may be appropriately determined according to the input language. For example, in the HMD 10, when the input language is English, the input candidate data 130 is arranged on the left side of the gazing point.
  • the arrangement direction of the input candidate data 130 may correspond to a predetermined direction in the present disclosure. In FIG.
  • the HMD 10 displays the selected (plural) input candidate data 130 so as to follow the vicinity of the input candidate point P on the input screen 100. Then, the HMD 10 displays the input candidate indicated by the input candidate data 130 in the input field 120 of the input screen 100. As a result, since the user U can confirm the selected input candidate by referring to the input candidate data 130 in the vicinity of the input candidate point P, it is necessary to move the line of sight L from the input candidate point P to the input field 120. Is gone.
  • step S11 the user U moves the line of sight L along the path R1 in order to select the key object 111 of "a" as the next input candidate.
  • the path R1 moves, for example, from the key object 111 of "a” on the key object 111 of "s", “d”, and “f” in order, and then moves the line of sight L to the key object 111 of "c". It is a route.
  • "mysp”, "p” indicating the latest input candidate data 130 is displayed so as to be adjacent to the key object corresponding to the current position of the input candidate point P. Therefore, the user U can easily visually recognize the input candidate data 130 indicating "a” to be selected next.
  • "adjacent” includes “arranging in the vicinity with an interval” and “arranging in the vicinity without an interval”.
  • step S12 the HMD 10 displays the input candidate data 130 indicating the input candidate of the selected "myspa” so as to follow the input candidate point P of the input screen 100. More specifically, the HMD 10 superimposes at least a part including the end of the displayed "myspa” on the key object 111 of "s", “d", and “f" adjacent to the key object 111 of "c". Let me. Then, the HMD 10 displays the input candidate of "myspa” indicated by the input candidate data 130 in the input field 120 of the input screen 100. Then, when the input candidate point P is moving on the path R1, the HMD 10 displays the input candidate data 130 so as to follow the path R1 on which the input candidate point P moves.
  • the HMD 10 displays the input candidate data 130 along the path R1 between the key object 111 of “f” and the key object 111 of “c” with reference to the input candidate point P. ing.
  • the HMD 10 displays the input candidate data 130 in the vicinity of the input candidate point P, starting from the path R1.
  • step S13 the user U refers to the input candidate data 130 of “myspa” displayed in the vicinity of the input candidate point P when the input candidate point P is located on the key object 111 of “c” on the input screen 100. are doing. Then, the user U performs a selection operation on the operation input unit 50 in order to select the key object 111 of "c" as an input candidate. Then, when the selection operation is completed, the user U moves the line of sight L along the path R2 in order to select the key object 111 of "e” as the next input candidate.
  • the HMD 10 detects the selection operation of the key object 111 of "c” via the operation input unit 50, the HMD 10 accepts the character "c" as an input candidate. Then, the HMD 10 displays the input candidate data 130 indicating the input candidate of the selected "myspac" on the input screen 100 with reference to the input candidate point P.
  • the HMD 10 limits the number of display characters (number of data or amount of data) of the input candidate data 130 to 5 characters, and omits (or deletes) the input candidate data 130 that cannot be identified based on the position of the input candidate point P. are doing.
  • the number of data or the amount of data relating to the limitation of the input candidate data 130 to be displayed is an example of a predetermined condition regarding the line-of-sight information in the present disclosure.
  • the number of characters of the input candidate data 130 is 6 characters of "myspac", which exceeds the set number of display characters. Therefore, the HMD 10 displays the input candidate data 130 by omitting the abbreviations. Do.
  • the HMD 10 displays the input candidate data 130 of “... yspac” indicating that the portion exceeding 5 characters is omitted so as to follow the reference with the input candidate point P.
  • the omission of the input candidate data 130 is applied in order from the oldest input candidate data 130.
  • the HMD 10 displays the input candidate of "myspac" indicated by the input candidate data 130 in the input field 120 of the input screen 100 without omitting it.
  • the user U can confirm the input candidate immediately before the selection by referring to the input candidate data 130 in the vicinity of the input candidate point P, so that the line of sight L is moved from the input candidate point P to the input field 120. There is no need to let it.
  • step S14 it is assumed that the user U has not performed the input candidate selection operation by the operation input unit 50.
  • the HMD 10 automatically deletes at least a part of the displayed input candidate data 130 from the input screen 100.
  • the predetermined time for limiting the input candidate data 130 to be displayed is an example of a predetermined condition for the line-of-sight information in the present disclosure.
  • the predetermined time includes, for example, a few seconds, a few minutes, and the like.
  • the predetermined time can be set based on the average time interval when the user U inputs one word.
  • the predetermined time is, for example, 2 seconds based on the input average time of the user U.
  • the HMD 10 causes the input candidate data 130 to fade out from the input screen 100 when the unselected state continues for 2 seconds. Then, even if the input candidate data 130 is deleted from the input screen 100, the HMD 10 maintains the display of the input candidates in the input field 120.
  • the HMD 10 controls the erasure of the input candidate data 130 based on the presence or absence of the selection operation of the user U
  • the HMD 10 may control the erasure of the input candidate data 130 based on whether or not the line of sight L of the user U is moving, whether or not the line of sight L is directed toward the input screen 100, and the like.
  • the HMD 10 at least temporarily inputs the input candidate data 130. to erase.
  • the HMD 10 displays the input candidate data 130 indicating the input candidate selected based on the input candidate point P of the user U with the input candidate point P as a reference. More specifically, the HMD 10 displays the input candidate data 130 in the vicinity of the input candidate point P of the user U, so that the user U can easily notice that the input is erroneously input.
  • the user U since the user U only needs to refer to the input candidate data 130, it is possible to reduce the amount of movement of the line of sight L of the user U rather than moving the line of sight L to the input field 120.
  • the HMD 10 can reduce the amount of movement of the line of sight L of the user U even if the display size of the input screen 100 is increased or the keyboard 110 and the input field 120 are arranged apart from each other. As a result, the HMD 10 can reduce the physical load on the user U and confirm the input result by reducing the amount of movement of the line of sight L of the user U to the input candidate data 130.
  • the HMD 10 displays the input candidate data 130 so as to follow the input candidate point P.
  • the HMD 10 can display the input candidate data 130 in the vicinity of the input candidate point P even if the input candidate point P of the user U moves.
  • the HMD 10 can suppress the amount of movement of the line of sight L for confirming the input result by moving the display position of the input candidate data 130 according to the movement of the line of sight L of the user U.
  • the HMD 10 limits the number of data of the input candidate data 130 to be made to follow the input candidate point P. As a result, the HMD 10 can reduce the number of other key objects 111 on which the input candidate data 130 is superimposed by limiting the number of data of the input candidate data 130 displayed in the vicinity of the input candidate point P. As a result, the HMD 10 can appropriately secure the field of view of the user U even if the input candidate data 130 is followed and displayed.
  • the HMD 10 omits a part of the input candidate data 130 to follow the input candidate point P. That is, when the number of selected input candidate data 130 is larger than the limit number, the HMD 10 limits the number of input candidate data 130 actually displayed to the limit number or less. As a result, the HMD 10 can partially display the input candidate data 130 retroactively from the input candidate last selected by the user U. As a result, the HMD 10 can appropriately secure the field of view of the user U and allow the user U to confirm the input candidate, so that the convenience can be improved.
  • the HMD 10 automatically deletes the input candidate data 130 from the input screen 100 when the state in which the next input candidate is not selected continues for a predetermined time after displaying the input candidate data 130.
  • the HMD 10 suppresses the visibility of the key object 111 currently being visually recognized by the user U and the display object in the vicinity thereof from being hindered by the input candidate data 130.
  • the HMD 10 can suppress the view of the user U from being obstructed by the input candidate data 130, and can improve the operability by using the line of sight L.
  • the HMD 10 erases the input candidate data 130 at least temporarily according to the movement of the line of sight L of the user U. As a result, it is possible to prevent the user U from being obstructed in the situation where it is presumed that the user U is looking at a display object other than the key object 111 and the input candidate data 130. As a result, the HMD 10 can suppress the view of the user U from being obstructed by the input candidate data 130, and can improve the operability by using the line of sight L.
  • the input candidate data 130 selected based on the input candidate point P is adjacent to one of a plurality of key objects 111 corresponding to the current position of the detected input candidate point P (gaze point).
  • the selected input candidate data 130 is displayed so as to be performed. More specifically, the HMD 10 displays a plurality of key objects 111 to be selected by the user U on the input screen 100, and superimposes the selected input candidate data 130 on the key object 111.
  • the display state of the key object 111 may be simply referred to as superimposed display. As a result, the HMD 10 can display the input candidate data 130 and the key object 111 in association with each other.
  • the HMD 10 can allow the user U to intuitively understand the relationship with the input candidates selected in the past. Therefore, it is possible to improve the visibility of virtual objects related to line-of-sight input such as input candidate data 130 and key object 111.
  • the HMD 10 displays the input field 120 at a display position of the input screen 100 different from the plurality of key objects 111, and displays the input candidate selected based on the input candidate point P in the input field 120.
  • the HMD 10 can display the plurality of key objects 111 and the input field 120 separately, so that the design of the input screen 100 can be given a degree of freedom and the size of the input screen 100 can be increased.
  • the HMD 10 can reduce the physical load on the user U and improve the design.
  • the HMD 10 maintains the display of the input candidates in the input field 120 even if the input candidate data 130 superimposed on the key object 111 of the input screen 100 is deleted. As a result, the HMD 10 only needs to temporarily display the input candidate data 130 on the key object 111, so that the time for the input candidate data 130 to be superimposed on the key object 111 can be shortened. As a result, the HMD 10 can suppress the deterioration of the visibility of the virtual object around the input candidate point P by the input candidate data 130.
  • the HMD 10 detects that the input candidate indicated by the input candidate point P has been selected based on the operation result of the operation input unit 50 operated by the user U. As a result, the HMD 10 distinguishes between the operation by the line of sight of the user U and the selection operation of the input candidate by the operation input unit 50, so that the selection operation does not need to be detected by the line of sight L. As a result, the HMD 10 can reduce the amount of movement of the line of sight L of the user U and improve the operability of the input method that combines the line of sight L of the user U and the operation of the operation input unit 50.
  • FIG. 3 is a diagram showing a configuration example of the head-mounted display 10 according to the first embodiment.
  • the HMD 10 includes a display unit 11, a detection unit 12, a communication unit 13, a storage unit 14, and a control unit 15.
  • the display unit 11 includes one or a plurality of display devices.
  • the display device includes, for example, a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display (OELD: Organic Electro-Luminence Display), and the like.
  • the display unit 11 displays various information under the control of the control unit 15.
  • the various information includes, for example, the information of the above input screen 100.
  • the display unit 11 realizes a three-dimensional display utilizing the parallax of both eyes, for example, by displaying an image corresponding to each eye EY of the user U when worn. Then, the display unit 11 displays the input screen 100 in three dimensions.
  • the detection unit 12 detects the input candidate points P in the plurality of key objects 111 based on the line-of-sight information indicating the line-of-sight of the user U.
  • the detection unit 12 estimates the line-of-sight L of the user U using a known line-of-sight estimation method. For example, the detection unit 12 uses a light source and a camera when estimating the line of sight L by the pupillary corneal reflex method. Then, the detection unit 12 analyzes the image obtained by capturing the eye EY of the user U with the camera, detects the bright spot or the pupil, and relates to the bright spot related information including the information regarding the position of the bright spot and the position of the pupil. Generate pupil-related information that contains the information.
  • the detection unit 12 detects (estimates) the line of sight L (optical axis) of the user U based on the bright spot-related information, the pupil-related information, and the like. Then, the detection unit 12 detects the coordinates at which the line of sight L of the user U and the display unit 11 intersect as the input candidate points P based on the positional relationship between the display unit 11 and the eyeball of the user U in the three-dimensional space. The detection unit 12 detects the distance from the input screen 100 to the viewpoint position (eyeball) of the user U. The detection unit 12 outputs the detection result to the control unit 15.
  • the communication unit 13 communicates wirelessly.
  • the communication unit 13 supports a short-range wireless communication system.
  • the communication unit 13 has a function of wirelessly communicating information with the operation input unit 50, an external device, and the like.
  • the communication unit 13 transmits information from the control unit 15 to the operation input unit 50, an external device, and the like.
  • the communication unit 13 outputs information received from the operation input unit 50, an external device, or the like to the control unit 15.
  • the storage unit 14 stores various data and programs.
  • the storage unit 14 can store the detection result of the detection unit 12.
  • the storage unit 14 is electrically connected to, for example, a detection unit 12, a control unit 15, and the like.
  • the storage unit 14 stores, for example, data related to the input screen 100, the above-mentioned input candidate data 130, input data whose input is confirmed, and the like.
  • the storage unit 14 is, for example, a semiconductor memory element such as a RAM or a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 14 may be provided in a cloud server connected to the HMD 10 via a network.
  • the control unit 15 controls the HMD 10 such as the display unit 11.
  • the control unit 15 is realized by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like.
  • the control unit 15 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • the control unit 15 has each functional unit such as a selection unit 15a, an editing unit 15b, and a display control unit 15c.
  • the control unit 15 functions as a selection unit 15a, an editing unit 15b, and a display control unit 15c by executing a program.
  • the selection unit 15a When the selection unit 15a detects the selection operation of the user U via the operation input unit 50, the selection unit 15a selects the input candidate of the key object 111 instructed by the input candidate point P detected by the detection unit 12. The selection unit 15a outputs the selection result to the editing unit 15b, the display control unit 15c, and the like.
  • the selection result includes, for example, information indicating the selected input candidate, the key object 111, and the like.
  • the editing unit 15b edits the input candidate data 130 based on the input candidates selected by the selection unit 15a.
  • the editorial unit 15b newly creates the input candidate data 130 indicating the selected input candidate and stores it in the storage unit 14.
  • the editing unit 15b edits to add the selected input candidate to the input candidate data 130 of the storage unit 14. Do.
  • the display control unit 15c has a function of displaying the input candidate data 130 indicating the input candidate selected based on the input candidate point P detected by the detection unit 12 with the input candidate point P as a reference. For example, the display control unit 15c displays the input candidate data 130 in the vicinity of the input candidate point P in the set display mode.
  • the display mode includes, for example, a display position, a display size, a display color, and the like with reference to the input candidate point P.
  • the display position includes, for example, the left side, the upper side, the periphery, and the like of the input candidate point P.
  • the display mode corresponds to, for example, a state in which the input candidate point P is moving and a state in which the input candidate point P is stationary.
  • the character size can be changed according to the distance from the viewpoint position (eyeball position) of the user U to the input screen 100 in order to ensure the visibility of the input candidate data 130 to which the superimposed display is applied. ..
  • the character size is set so that the angle formed by the size of the character viewed from the viewpoint position is a predetermined size.
  • the angle formed means, for example, the angle from one end to the other end of the character as seen from the viewpoint position. For example, when the angle between Japanese Kanji characters is 25 minutes, the distance is set to 300 mm and the character size is set to 2.2 mm, and the distance is set to 400 mm and the character size is set to 2.9 mm.
  • the HMD 10 has the input candidate data 130 superimposed on the input screen 100 with a character size that guarantees the visibility of the input candidate data 130.
  • the HMD 10 stores a calculation formula, a table, etc. for obtaining the character size based on the distance from the viewpoint position, and when the distance changes, the input candidate data 130 is changed to the character size according to the distance. You may.
  • the display control unit 15c has a function of causing the input candidate data 130 to follow the input candidate point P.
  • the display control unit 15c has a function of controlling the number of data of the input candidate data 130 to be made to follow the input candidate point P.
  • the display control unit 15c has a function of omitting a part of the input candidate data 130 that follows the input candidate point P when the number of data of the input candidate data 130 reaches the limit number.
  • the display control unit 15c has a function of deleting the input candidate data 130 from the input screen 100 when the state in which the next input candidate is not selected continues for a predetermined time after displaying the input candidate data 130. Any time can be set as the predetermined time.
  • the display control unit 15c has a function of displaying a plurality of key objects 111 to be selected by the user U on the input screen 100.
  • the display control unit 15c displays a QWERTY keyboard, a mobile keyboard, a Godan keyboard, and the like on the input screen 100.
  • the QWERTY keyboard is a software keyboard that arranges keys in a QWERTY layout.
  • the mobile keyboard layout keyboard is a software keyboard in which each line of line, line, line, line, line, line, line, line, line, line, line, line, line, line, line, line, line, line, line, line is assigned to a key.
  • the Godan keyboard is a software keyboard in which vowel keys are arranged on the left side and consonant keys are arranged on the right side.
  • the display control unit 15c causes the display unit 11 to display on the input screen 100 having a keyboard of the type set by the user U or the like.
  • the display control unit 15c has a function of displaying the input field 120 at a display position of the input screen 100 different from the plurality of key objects 111.
  • the display control unit 15c has a function of displaying the input candidates selected by the user U in the input field 120 of the input screen 100. For example, the display control unit 15c displays the input candidate selected by the user U, the character string whose input is confirmed, and the like in the input field 120.
  • the functional configuration example of the HMD 10 according to the present embodiment has been described above.
  • the above configuration described with reference to FIG. 3 is merely an example, and the functional configuration of the HMD 10 according to the present embodiment is not limited to such an example.
  • the functional configuration of the HMD 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • the HMD 10 may include an operation input unit 50 in the configuration.
  • the HMD 10 may be formed integrally with the operation input unit 50.
  • FIG. 4 is a flowchart showing an example of a processing procedure executed by the head-mounted display 10 according to the first embodiment.
  • the processing procedure shown in FIG. 4 is realized by the control unit 15 of the HMD 10 executing the program.
  • the processing procedure shown in FIG. 4 is repeatedly executed by the control unit 15 of the HMD 10.
  • the control unit 15 of the HMD 10 starts displaying the input screen 100 (step S100).
  • the control unit 15 requests the display unit 11 to display the input screen 100.
  • the display unit 11 starts displaying the input screen 100, so that the user U visually recognizes the input screen 100 having the keyboard 110 and the input field 120.
  • the control unit 15 advances the process to step S101.
  • the control unit 15 detects the input candidate point P by the detection unit 12 (step S101).
  • the control unit 15 determines on the input screen 100 whether or not the input candidate point P is on the keyboard 110 (step S102). For example, the HMD 10 determines that the input candidate point P is on the keyboard 110 when the coordinates of the input candidate point P are inside the display area for displaying the keyboard 110 of the input screen 100. Then, when the control unit 15 determines that the input candidate point P is not on the keyboard 110 (No in step S102), the control unit 15 proceeds to step S112, which will be described later. Further, when the control unit 15 determines that the input candidate point P is on the keyboard 110 (Yes in step S102), the control unit 15 proceeds to the process in step S103.
  • the control unit 15 executes the key selection process (step S103). For example, the HMD 10 detects the input candidate point P by the detection unit 12 by executing the key selection process, and selects the key object 111 instructed by the input candidate point P. In the present embodiment, the control unit 15 changes the selected key object 111 to a display mode different from that of the other key objects 111 and displays it on the input screen 100. The control unit 15 functions as the selection unit 15a by executing the process of step S103. Then, when the control unit 15 selects the key object 111, the process proceeds to step S104.
  • the control unit 15 determines whether or not the selection operation of the key object 111 has been detected (step S104). For example, the control unit 15 determines that the selection operation of the key object 111 has been detected when the information corresponding to the selection operation is received from the operation input unit 50 via the communication unit 13. When the control unit 15 determines that the selection operation of the key object 111 has been detected (Yes in step S104), the control unit 15 advances the process to step S105.
  • the control unit 15 executes the editing process of the selected character (step S105). For example, the control unit 15 determines the character of the key object 111 instructed by the input candidate point P as an input candidate by executing the editing process. When the input candidate data 130 does not exist, the control unit 15 newly creates the input candidate data 130 indicating the input candidate and stores it in the storage unit 14. When the input candidate data 130 exists, the control unit 15 adds the current input candidate to the input candidate data 130. Then, when the editing process is completed, the control unit 15 advances the process to step S106.
  • the control unit 15 updates the display of the input field 120 of the input screen 100 (step S106). For example, the control unit 15 updates the display contents of the input field 120 based on the edited input candidate data 130. Then, the control unit 15 updates the display content and the display position of the input candidate data 130 (step S107). For example, the control unit 15 determines the display mode of the input candidate data 130 based on the number of data of the input candidate point P and the limited number. Specifically, the control unit 15 determines a first display mode for displaying all input candidates when the number of data is smaller than the limit number. Further, when the number of data is equal to or greater than the limited number, the control unit 15 determines a second display mode in which only the last limited number of input candidates among the plurality of input candidates are displayed.
  • control unit 15 specifies the display position of the input candidate data 130 on the input screen 100 based on the input candidate point P, and requests the display unit 11 to update the input candidate data 130 displayed on the input screen 100. To do. As a result, the display unit 11 updates the display of the input field 120 of the input screen 100 and the input candidate data 130 on the keyboard 110.
  • the control unit 15 starts timing the predetermined time (step S108). For example, the control unit 15 activates a timer that times out after a predetermined time has elapsed. For example, the control unit 15 detects the time when the time measurement is started and stores it in the storage unit 14. Then, when the process of step S108 is completed, the control unit 15 advances the process to step S112, which will be described later.
  • step S109 The control unit 15 determines whether or not the state in which the selection operation has not been detected continues for a predetermined time (step S109). For example, the control unit 15 determines that the timer has continued for a predetermined time when the timer has timed out. For example, the time from the start of timekeeping is calculated, and when the time reaches a predetermined time, it is determined that the time has continued for a predetermined time. Then, when it is determined that the control unit 15 has not continued for a predetermined time (No in step S109), the control unit 15 proceeds to step S112, which will be described later. If the control unit 15 determines that the process has continued for a predetermined time (Yes in step S109), the control unit 15 proceeds to step S110.
  • the control unit 15 deletes the input candidate data 130 from the input screen 100 (step S110). For example, the control unit 15 requests the display unit 11 to erase the input candidate data 130. As a result, the display unit 11 erases the input candidate data 130 from the input screen 100. Then, the control unit 15 ends the time counting of the predetermined time (step S111). When the process of step S111 is completed, the control unit 15 advances the process to step S112.
  • the control unit 15 determines whether or not there is a termination request (step S112). For example, the control unit 15 determines that there is an end request when the end of use of the input operation, the end operation by the user U, or the like is accepted. Then, when the control unit 15 determines that there is no end request (No in step S112), the control unit 15 returns the process to step S101 already described, and repeats a series of processes after step S101. If the control unit 15 determines that there is an end request (Yes in step S112), the control unit 15 proceeds to step S113.
  • the control unit 15 ends the display of the input screen 100 (step S113). For example, the control unit 15 requests the display unit 11 to erase the input screen 100. As a result, the display unit 11 ends the display of the input screen 100. Then, when the processing of step S113 is completed, the control unit 15 ends the processing procedure shown in FIG.
  • control unit 15 functions as the display control unit 15c by executing the processing of step S100, step S106, step S107, step S110 and step S113 has been described. Not limited.
  • the HMD 10 according to the first embodiment can change the display mode of the input screen 100.
  • FIG. 5 is a diagram for explaining an example of the information treatment method according to the first modification of the first embodiment.
  • the HMD 10 may input characters or character strings using the input screen 100A and the operation input unit 50.
  • the operation input unit 50 includes a touch pad 51 and enables a selection operation by the gesture of the user U. Then, the operation input unit 50 detects gestures such as touch and flick via the touch pad 51, and outputs the detection result to the HMD 10.
  • the HMD 10 has a function of three-dimensionally displaying the input screen 100A in the virtual space.
  • the HMD 10 has an input function for inputting characters, symbols, etc. by combining the movement of the line of sight of the user U on the input screen 100A and the operation of the operation input unit 50.
  • the input screen 100A has a keyboard 110A arranged in a mobile phone and an input field 120.
  • the keyboard 110A has a plurality of key objects 111.
  • Each of the plurality of key objects 111 is assigned characters in each of the line, line, line, line, line, line, line, line, line, line, line, line, and line. For example, the key object 111 in that line is assigned the characters "a”, "i", "u”, "e", and "o".
  • the user U when inputting a character string "Hello” in Japanese, are finished up “the crowded", by moving the line of sight L "Chi the” Tagyo " I'm trying to select the character.
  • the HMD 10 detects that the key object 111 of the "ta line” of the input screen 100A is instructed, the "ta”, “chi”, “tsu”, “te”, and “te” of the "ta line” are indicated.
  • Five key objects 112 indicating the characters "and” are superimposed on the key object 111.
  • the HMD 10 superimposes the input candidate data 130 indicating "Hello" on the key object 112 with reference to the input candidate point P.
  • the user U moves the line of sight L to the left while referring to the input candidate data 130, and while visually recognizing the key object 112 of "chi", the user U performs a selection operation with the touch pad 51 of the operation input unit 50.
  • the HMD 10 detects that the input candidate point P indicates the key object 112 of the “chi”
  • the HMD 10 detects the selection operation of the key object 112 of the “chi” via the operation input unit 50.
  • Accepts the character "chi” as an input candidate is accepteds the character "chi” as an input candidate.
  • the HMD 10 causes the selected "hello" input candidate data 130 to follow the input candidate point P of the input screen 100A.
  • the HMD 10 displays the input candidate indicated by the input candidate data 130 in the input field 120 of the input screen 100A.
  • the HMD 10 uses the input candidate data 130 selected based on the input candidate point P of the input screen 100A and the gesture of the user U as the input candidate point P. It is displayed on the input screen 100A as a reference. More specifically, the HMD 10 displays the input candidate data 130 in the vicinity of the input candidate point P on the input screen 100A, so that the user U can easily notice that the input is erroneously input.
  • the HMD 10 since the user U only needs to refer to the input candidate data 130, it is possible to reduce the amount of movement of the line of sight of the user U rather than moving the line of sight L to the input field 120. As a result, the HMD 10 can reduce the physical load on the user U and confirm the input result by reducing the amount of movement of the line of sight L of the user U to the input candidate data 130.
  • the HMD 10 according to the first embodiment can change the display mode of the input candidate data 130.
  • FIG. 6 is a diagram for explaining an example of the information treatment method according to the second modification of the first embodiment.
  • the HMD 10 displays the keyboard 110 and the input field 120 on the input screen 100.
  • the control unit 15 of the HMD 10 has a function of superimposing an input candidate character string including the input candidate data 130 on the key object 111 so that the user U can select it.
  • the control unit 15 displays one or a plurality of input candidate character strings, the selected input candidate character string is set as the input candidate data 130.
  • the HMD 10 searches the conversion database for predictive input candidates including "Apple" of the input candidate data 130.
  • the conversion database is stored in, for example, the storage unit 14 of the HMD 10, the storage device of the information processing server, or the like.
  • the HMD10 extracts three predictive input candidates of "Apple", "Application", and "Application”. That is, the HMD 10 also displays the input candidate data 131 in the vicinity of the input candidate point P and makes the input candidate point P follow the input candidate point P.
  • the HMD 10 displays the input candidate data 131 in which the underline and the down arrow are added to "Apple" so that the user U recognizes that the predictive input candidate exists. Then, the user U performs a reference operation with respect to the down arrow in the operation input unit 50.
  • the reference operation is, for example, an operation different from the selection operation.
  • step S22 the HMD 10 detects the reference operation of the user U, so that the input candidate data 131 is superimposed and displayed below the input candidate of "Apple".
  • the HMD 10 displays "Apple”, “Application”, and “Application” indicating the input candidate data 131 side by side in the vertical direction.
  • each of "Apple”, “Application”, and “Application” indicating the input candidate data 131 can correspond to the predictive input candidate information of the present disclosure.
  • the HMD 10 displays all of the plurality of predictive input candidates so as to be located on the keyboard 110, but displays the predictive input candidates so that some of the predictive input candidates protrude from the keyboard 110. You may.
  • the user U moves the line of sight L to the "Applaud" of the input candidate data 131.
  • the HMD 10 fixes the display position without causing the input candidate data 131 to follow the input candidate point P even if the input candidate point P moves.
  • the user U can move the input candidate point P to the predictive input candidate according to the movement of the line of sight L.
  • step S22 the user U performs a selection operation on the operation input unit 50 in a state where the input candidate point P is located in the predictive input candidate of "Applaud".
  • the HMD 10 detects the selection operation in a state where the input candidate point P indicates the predictive input candidate of "Applaud” via the operation input unit 50, the HMD 10 sets "Applaud” as the input candidate data 131.
  • the HMD 10 displays an animation in which an input candidate (character string) of "Applaud” is moved from the input candidate data 131 toward the input field 120.
  • step S23 the HMD 10 displays the input candidate of "Applaud” indicated by the input candidate data 131 in the input field 120.
  • the HMD 10 causes the input candidate data 131 indicating "Applaud” to follow the input candidate point P.
  • the user U does not move the line of sight L to the input field 120, and confirms the input candidate immediately before the selection while checking the line of sight L. You can continue the input operation using.
  • step S22 it is assumed that the user U has not performed the input candidate selection operation by the operation input unit 50.
  • the HMD 10 deletes the input candidate data 131 from the input screen 100 when the state in which the next input candidate is not selected continues for a predetermined time after displaying the input candidate data 131.
  • the predetermined time can be, for example, a time corresponding to the number of predictive input candidates to be displayed.
  • the predetermined time is, for example, a time obtained by multiplying the input average time by the number of predicted input candidates when the predetermined time is 2 seconds based on the input average time of the user U.
  • the HMD 10 causes the input candidate data 131 to fade out from the input screen 100. Further, the HMD 10 can avoid erasing the input candidate data 131 during the confirmation of the user U by changing the predetermined time according to the number of predictive input candidates.
  • the HMD 10 describes a case where the predictive input candidate is selected by the user U and then the predictive input candidate is made to follow the input candidate point P as the input candidate data 131, but the present invention is not limited to this.
  • the HMD 10 may confirm the input of the input candidate and end the follow-up display of the input candidate data 131 when the predictive input candidate is selected by the user U.
  • the HMD 10 may allow the user U to select a predictive input candidate by operating the operation input unit 50.
  • the operation input unit 50 is a controller of a game machine
  • the HMD 10 may focus a predictive input candidate with the up / down / left / right buttons and select it with the enter button, or focus it with the stick button and select it by pressing the stick button. You may.
  • the predictive input candidates including the input candidates of the input candidate data 131 are superimposed on the key object 111 so that the user U can select them, and the selected predictive input is performed.
  • the candidate is input candidate data 131.
  • the HMD 10 can display the predictive input candidates in the vicinity of the input candidate point P and allow the user U to select them.
  • the HMD 10 can reduce the amount of movement of the line of sight L of the user U, so that the input efficiency using the line of sight L can be improved.
  • FIG. 7 is a diagram showing an example of a display mode of the input candidate data 131 according to the second modification of the first embodiment.
  • the HMD 10 can change the down arrow 131a of the input candidate data 131 to the symbol 131b.
  • the symbol 131b is "*", but is not limited to this, and may be, for example, "+", "-", or the like.
  • the HMD 10 can change the down arrow 131a of the input candidate data 131 to the frame 131c.
  • the frame 131c is a frame surrounding the input candidate of “Apple” indicated by the input candidate data 131.
  • the HMD 10 can change the down arrow 131a of the input candidate data 131 to the omitted data 131d indicating a part of the predictive input candidates.
  • the omitted data 131d indicates the upper half of “Apple” which is one of the predicted input candidates, and the lower half is omitted.
  • the omitted data 131d indicates the lower half of “Apple” which is one of the predicted input candidates, and the upper half may be omitted.
  • modified example 2 of the first embodiment may be combined with the input candidate data 130, 131 and the like of other embodiments and modified examples.
  • the HMD 10 according to the first embodiment can change the layout of the input candidate data 130.
  • the HMD 10 links the input candidate data 130 with the key object 111 instructed by the input candidate point P to superimpose and display the input candidate data 130.
  • the HMD 10 detects that the input candidate point P indicates the key object 111 of "e” while the keyboard 110 of the lowercase alphabet is displayed on the input screen 100.
  • the HMD 10 performs superimposed display in which the input candidate data 130 indicating “nic” is associated with the key object 111 of “e”.
  • the HMD 10 displays the input candidate data 130 on the left side of the key object 111 so that the "nic" indicated by the input candidate data 130 and the character "e” of the key object 111 can be visually recognized as one continuous character string. are doing.
  • the HMD 10 can make the user U recognize the character string of "nice" on the keyboard 110 by the input candidate data 130 and the characters of the key object 111.
  • the HMD 10 detects that the input candidate point P is instructing the key object 111 of "ne” while the Japanese hiragana keyboard 110 is displayed on the input screen 100. .. Unlike FIG. 2, when the input language is a vertically written language such as Japanese or Chinese, the input candidate data 130 may be arranged above the input candidate point P. In this case, the HMD 10 performs superimposed display in which the input candidate data 130 indicating "good” is associated with the key object 111 of "ne". The HMD 10 extends the input candidate data 130 above the key object 111 so that the "good” indicated by the input candidate data 130 and the character "ne” of the key object 111 form one continuous character string. it's shown. As a result, the HMD 10 can make the user U recognize the character string of "Like” on the keyboard 110 by the input candidate data 130 and the characters of the key object 111.
  • the HMD 10 detects that the input candidate point P indicates the key object 111 of "e” while the keyboard 110 of the lowercase alphabet is displayed on the input screen 100. In this case, the HMD 10 performs superimposed display in which the input candidate data 130 indicating "very nic” is associated with the key object 111 of "e". The HMD 10 displays the input candidate data 130 on the curved trajectory 111R of the key object 111 so that the "very nic" indicated by the input candidate data 130 is located around the character "e” of the key object 111. ..
  • the curved trajectory 111R surrounds the key object 111 and is inside the word discrimination limit, for example.
  • the HMD 10 arranges the input candidate data 130 clockwise in the selected order in the circumferential direction centered on the key object 111 corresponding to the current position of the input candidate point P.
  • the HMD 10 can confirm a plurality of input candidates selected so far only by visually recognizing the characters of the key object 111.
  • the HMD 10 displays two words, "very” and "nic", around the key object 111.
  • the HMD 10 detects that the key object 111 of "e” indicated by the input candidate point P is selected by the user U in the state shown in FIG. 8 described above. are doing. In this case, the HMD 10 displays the last character "e” of the input candidate data 130 so as to overlap the character of the key object 111. As a result, the HMD 10 can make the user U recognize that the key object 111 of "e” is selected and the input candidate data 130 has become an input candidate of "nice” without referring to the input field 120. it can.
  • the HMD 10 detects that the input candidate point P indicates the key object 111 of "e” while the keyboard 110 of the lowercase alphabet is displayed on the input screen 100.
  • the HMD 10 performs a superimposed display in which the input candidate data 130 indicating that "very” and “nic” are broken off is associated with the key object 111 of "e".
  • the HMD 10 displays the input candidate data 130 and the key object 111 on the left side of the character "e" of the key object 111 so as to be within the word identification limit.
  • the HMD 10 can confirm the input candidates selected so far only by visually recognizing the characters of the key object 111.
  • the HMD 10 performs superimposed display in which the input candidate data 130 indicating “nic” is associated with the key object 111 of “e”.
  • the HMD 10 displays the input candidate data 130 on the left side of the key object 111 so that the "nic" indicated by the input candidate data 130 and the character “e” of the key object 111 form one continuous character string. There is. Then, the HMD 10 makes the font size of the input candidate data 130 larger than the character size of the key object 111.
  • the HMD 10 surrounds the input candidate of the input candidate data 130 with a frame 132, and fills the background 133 of the input candidate. As a result, the HMD 10 can ensure the visibility of the virtual object around the input candidate point P when the input candidate data 130 is displayed to be superimposed on the key object 111.
  • the HMD 10 performs superimposed display in which the input candidate data 130 indicating “nic” is associated with the key object 111 of “e”.
  • the HMD 10 displays the input candidate data 130 on the left side of the key object 111 so that the "nic” indicated by the input candidate data 130 and the character “e” of the key object 111 form one continuous character string.
  • the HMD 10 makes the visibility of "c” indicated by the input candidate data 130 lower than the visibility of "ni" indicated by the input candidate data 130. It is set.
  • the HMD 10 arranges the part of the input candidate data 130 (“c” in this example) that overlaps with the key object 111 on the back side (back side) of the key object 111 as viewed from the user U.
  • the key object 111 is displayed semi-transparently. That is, the HMD 10 superimposes the key object 111 on the input candidate data 130 while maintaining a state in which the “c” indicated by the input candidate data 130 can be visually recognized. In this state, the HMD 10 can display the input candidate data 130 in a display mode according to the preference of the user U. Therefore, it is possible to suppress a decrease in visibility of the key object 111 corresponding to the input candidate point P.
  • the HMD 10 may dynamically change the character color of the input candidate data 130.
  • the HMD 10 may change the character color of the input candidate data 130 so as not to be assimilated with the background color in consideration of accessibility and the like.
  • the HMD 10 may change the character color of the input candidate data 130 according to environmental conditions such as external light.
  • the HMD 10 according to the third modification of the first embodiment superimposes and displays the input candidate data 130 that links the input candidate data 130 with the key object 111 designated by the input candidate point P.
  • the HMD 10 can provide the user U with various display modes.
  • the HMD 10 improves the input efficiency using the line of sight L and improves the convenience of the user U.
  • modified example 3 of the first embodiment may be combined with the input candidate data 130, 131 and the like of other embodiments and modified examples.
  • the HMD 10 displays the keyboard 110 on the input screen 100
  • the present invention is not limited to this.
  • the HMD 10 may make the user U visually recognize the physical keyboard and superimpose the input candidate data 130 on the physical keyboard.
  • the information processing device is a head-mounted display (HMD) 10 as in the first embodiment.
  • the HMD 10 includes a display unit 11, a detection unit 12, a communication unit 13, a storage unit 14, and a control unit 15.
  • the same configuration as the HMD 10 according to the first embodiment will not be described.
  • the input field 120 in the present embodiment may be regarded as displaying both the selected and confirmed input candidate data 130 and the selected but unconfirmed input candidate data 130.
  • FIG. 15 is a diagram for explaining an example of the information processing method according to the second embodiment.
  • the HMD 10 has a function of three-dimensionally displaying the input screen 100B in the virtual space.
  • the HMD 10 has an input function for inputting characters, symbols, etc. by combining the movement of the line of sight of the user U on the input screen 100B and the operation of the operation input unit 50.
  • the HMD 10 displays the input screen 100B in the discriminant field of view of the user U.
  • the HMD 10 displays the input screen 100B in front of the user U, and detects the input candidate point P on the input screen 100B based on the line-of-sight information of the user U.
  • the input screen 100B has a keyboard 110 and an input field 120.
  • the keyboard 110 has a plurality of key objects 111.
  • the keyboard 110 describes the case of a QWERTY keyboard, but is not limited thereto.
  • the keyboard 110 is moved and displayed according to the movement of the line of sight L of the user U.
  • the input field 120 is displayed at a predetermined position in the virtual space. That is, the HMD 10 displays the keyboard 110, which can move behind the input field 120, on the input screen 100B while the display position of the input field 120 is fixed. In the present embodiment, the HMD 10 moves the keyboard 110 behind the input field 120 according to the line of sight L of the user U.
  • the HMD 10 scrolls the keyboard 110 up / down and left / right with reference to the input field 120.
  • the HMD 10 may display the input field 120 so as not to protrude from the keyboard 110 to the outside, or may display the input field 120 so as not to protrude from the keyboard 110 to the outside. Then, the HMD 10 displays the input candidate data 130 in the input field 120.
  • step S31 shown in FIG. 15 when the user U inputs the character string of "Goodmorning", the input up to "Goodmorni” is completed.
  • the HMD 10 displays the input candidate data 130 indicating "Goodmorni” so as to be superimposed on the input field 120 on the keyboard 110. Then, the user U moves the line of sight L to the vicinity of the key object 111 of "n". In this case, when the HMD 10 detects that the input candidate point P is in the vicinity of the key object 111 of "n”, the key object 111 of "n” indicated by the input candidate point P is located in the input field 120. , Change the display position of the keyboard 110.
  • the HMD 10 brings the key object 111 and the input field 120 close to each other, and displays the key object 111 in the input field 120.
  • the HMD 10 positions the input candidate point P in the input field 120 by scrolling the keyboard 110.
  • the HMD 10 scrolls the keyboard 110 so that the character "n" of the key object 111 is visually recognized as the last character of the input candidate data 130.
  • the HMD 10 can make the user U visually recognize the "Goodmorni" in the input field 120 and the "n” in the key object 111 as a continuous character string.
  • step S32 the HMD 10 displays the input candidate data 130 indicating "Good morning” so as to be superimposed on the input field 120 on the keyboard 110. Then, the user U moves the line of sight L to the vicinity of the key object 111 of "g". In this case, when the HMD 10 detects that the input candidate point P is near the key object 111 of "g", the key object 111 of "g” indicated by the input candidate point P is located in the input field 120. The display position of the keyboard 110 is changed. In the present embodiment, the HMD 10 scrolls the keyboard 110 so that the character "g" of the key object 111 is visually recognized as the last character of the input candidate data 130. As a result, the HMD 10 can make the user U visually recognize the "Goodmorni" in the input field 120 and the "n” in the key object 111 as a continuous character string.
  • the HMD 10 describes a case where the input field 120 is fixedly displayed, but the present invention is not limited to this.
  • the HMD 10 may relatively move the keyboard 110 and the input field 120 based on the movement amount of the line of sight L of the user U, the visual position, and the like.
  • the input field 120 is superimposed on the plurality of key objects 111, and a plurality of key objects 111 designated by the input candidate point P are located in the input field 120. Change the display position of the key object 111.
  • the HMD 10 can reduce the amount of movement that the user U moves the line of sight L to the input field 120.
  • the HMD 10 can reduce the physical load on the user U and confirm the input result by reducing the amount of movement of the line of sight L of the user U to the input candidate data 130.
  • the HMD 10 changes the display positions of the plurality of key objects 111 so that the key object 111 selected by the input candidate point P is located in the input field 120 without changing the display position of the input field 120.
  • the HMD 10 can improve the input operation using the line of sight L by fixing the display position of the input field 120 and moving the key object 111.
  • the HMD 10 can reduce the physical load on the user U and realize a novel input.
  • FIG. 16 is a diagram for explaining an example of the information treatment method according to the third embodiment.
  • the information processing device according to the second embodiment is the tablet terminal 10A.
  • the tablet terminal 10A includes the display unit 11, the detection unit 12, the communication unit 13, the storage unit 14, and the control unit 15 described above.
  • the same configuration as the HMD 10 according to the first embodiment will not be described.
  • the tablet terminal 10A has a function of displaying the input screen 100 on the display unit 11.
  • the tablet terminal 10A has an input function for inputting characters, symbols, etc. by combining the movement of the line of sight L of the user U on the input screen 100 and the operation of the operation input unit 50.
  • the tablet terminal 10A displays the input screen 100 in front of the user U, and the detection unit 12 detects the input candidate point P on the input screen 100 based on the line-of-sight information of the user U.
  • the input screen 100 has a keyboard 110 and an input field 120.
  • the keyboard 110 has a plurality of key objects 111.
  • the input field 120 is displayed in a display area different from the display area of the keyboard 110 on the input screen 100.
  • the input field 120 is displayed at the upper part of the input screen 100 away from the keyboard 110.
  • the tablet terminal 10A has a function of displaying the input screen 100 on the display unit 11.
  • the tablet terminal 10A has an input function for inputting characters, symbols, etc. by combining the movement of the line of sight of the user U on the input screen 100 and the operation of the operation input unit 50.
  • the tablet terminal 10A detects the input candidate point P on the input screen 100 by the detection unit 12 based on the line-of-sight information of the user U who is visually recognizing the tablet terminal 10A.
  • the detection unit 12 detects the distance from the input screen 100 to the viewpoint position E of the user U. In the present embodiment, the detection unit 12 detects the distance D in the viewing angle range R from which the human can recognize the character from the viewpoint position E.
  • the range R is a region connecting a pair of points on the input screen 100 and the viewpoint position E where a straight line passing through a viewing angle ⁇ capable of recognizing characters from the line of sight L and the line of sight L intersect.
  • the range R of the viewing angle at which humans can recognize characters is an example of the vicinity of the input candidate point P in the present disclosure.
  • the display control unit 15c of the tablet terminal 10A has a function of causing the input candidate data 130 to follow the input candidate point P.
  • the display control unit 15c has a function of controlling the number of input candidate data 130 to which the follow-up display is applied.
  • the display control unit 15c has a function of omitting a part of the input candidate data 130 to be displayed so as to follow when the number of data of the input candidate data 130 reaches the limit number.
  • the display control unit 15c has a function of changing the number of input candidate data 130 based on the distance D from the input screen 100 detected by the detection unit 12 to the viewpoint position E.
  • the display control unit 15c calculates the length X on the input screen 100 corresponding to the input candidate point P based on the distance D from the input screen 100 to the viewpoint position E and the viewing angle ⁇ , and the length X is calculated.
  • the number of input candidate data 130 is changed based on X.
  • the display control unit 15c calculates the length X on the input screen 100 by the calculation formula (1).
  • X D * tan ⁇ ⁇ ⁇ ⁇ (1)
  • the display control unit 15c calculates the length X on the input screen 100 to be about 5.2 cm. In this case, the display control unit 15c determines the number of data of the input candidate data 130 so as to fall within the range of the length X. In the example shown in FIG. 16, the display control unit 15c determines the number of data to be 3 characters, and based on the last 3 characters of the input candidates of "very nic", the input candidate data 130 indicating "... nic".
  • the method for determining the number of input candidate data 130 can also be used in the first and second embodiments described above.
  • the tablet terminal 10A may change the number of input candidate data 130 superimposed on the keyboard 110 depending on whether the viewpoint position E of the user U who visually recognizes the input screen 100 is far or near. Further, the tablet terminal 10A may change the font size of the input candidate data 130 to be superimposed based on the distance D from the input screen 100 to the viewpoint position E. Further, the tablet terminal 10A may change the number of data, the font size, and the like of the input candidate data 130 according to the change of the distance D by constantly monitoring the distance D from the input screen 100 to the viewpoint position E.
  • the tablet terminal 10A As described above, in the tablet terminal 10A according to the third embodiment, the number of data of the input candidate data 130 to which the superimposed display is applied based on the distance D from the input screen 100 detected by the detection unit 12 to the viewpoint position E. To change. As a result, the tablet terminal 10A can superimpose and display the input candidate data 130 suitable for the viewpoint position E of the user U. As a result, the tablet terminal 10A can reduce the amount of movement of the user U's line of sight L to the input candidate data 130 and improve the visibility of the superimposed display of the input candidate data 130.
  • FIG. 17 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versaille Disc), a magneto-optical recording medium such as MO (Magnet-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 executes a program loaded on the RAM 1200 to perform a selection unit 15a, an editing unit 15b, a display control unit 15c, and the like.
  • the control unit 15 including the function is realized.
  • the HDD 1400 stores the program related to the present disclosure and the data in the storage unit 14.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • each step related to the processing of the information processing apparatus of the present specification does not necessarily have to be processed in chronological order in the order described in the flowchart.
  • each step related to the processing of the information processing apparatus may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a detection unit that detects the user's gaze point in a plurality of key objects for inputting information displayed by the display unit based on the line-of-sight information indicating the user's line of sight.
  • a control unit that controls the display unit to display input candidate information corresponding to at least one of the plurality of key objects selected based on the gazing point with reference to the detected gazing point position.
  • Information processing device equipped with (2) The information processing device according to (1), wherein the control unit controls the display unit so that the position of the displayed input candidate information follows the position of the gazing point.
  • the control unit limits the number of the selected input candidate information to be displayed to the limit number or less, according to the above (1) to (3).
  • the information processing device according to any one.
  • the control unit deletes at least a part of the displayed input candidate information.
  • the information processing apparatus according to (4) above.
  • the control unit controls the display unit so that the selected input candidate information is adjacent to one of the plurality of key objects corresponding to the current position of the gazing point.
  • Information processing equipment includes a plurality of input candidate information sequentially selected based on the gazing point.
  • the control unit controls the display unit so that the latest input candidate information among the plurality of input candidate information is adjacent to one of the plurality of key objects corresponding to the current position of the gazing point.
  • the information processing device according to (6) above.
  • (8) The information processing device according to (7), wherein the control unit controls the display unit so as to arrange the plurality of input candidate information in a predetermined direction in a selected order.
  • the predetermined direction is the horizontal direction.
  • the control unit controls the display unit so that the plurality of input candidate information is adjacent to the left side of one of the plurality of key objects corresponding to the current position of the gazing point.
  • Information processing equipment. (10)
  • the predetermined direction is the vertical direction.
  • the control unit controls the display unit so that the plurality of input candidate information is adjacent to one of the plurality of key objects corresponding to the current position of the gazing point.
  • Information processing equipment (11)
  • the predetermined direction is a circumferential direction centered on one of the plurality of key objects corresponding to the current position of the gazing point.
  • the information processing device according to (8), wherein the control unit controls the display unit so that the plurality of input candidate information is arranged clockwise along the circumferential direction in the selected order.
  • the control unit causes the display unit to superimpose the end of the plurality of input candidate information on another key object adjacent to one of the plurality of key objects corresponding to the current position of the gazing point.
  • the control unit displays the selected input candidate information in the input field, superimposes the input field on at least one of the plurality of key objects, and corresponds to the current position of the gazing point.
  • the information processing apparatus according to (6), wherein the relative positional relationship between the plurality of key objects and the input field is changed so that one of the key objects is located in the input field.
  • the information processing device according to (13), wherein the control unit changes the display positions of the plurality of key objects without changing the display positions of the input fields.
  • the control unit controls the display unit so that the input candidate information is three-dimensionally arranged in front of the key object in the depth direction when viewed from the user. Any one of (1) to (14).
  • the control unit displays an input field outside the display range of the plurality of key objects, and controls the display unit so that the input candidate information selected based on the gazing point is displayed in the input field.
  • the information processing device according to any one of (1) to (15).
  • the control unit omits or erases at least a part of the input candidate information in the vicinity of the gazing point, and the input candidate in the input field.
  • the information processing apparatus which maintains the display of at least a part of the information.
  • the control unit controls the display unit so as to display the predicted input candidate information that is predicted based on the selected input candidate information and can be selected based on the gazing point in the vicinity of the gazing point.
  • the information processing device according to any one of (1) to (17).
  • the detection unit detects the distance from the virtual plane including the plurality of key objects set in the virtual space to the viewpoint position of the user in the virtual space.
  • the information processing device according to any one of (1) to (18), wherein the control unit changes the number of data of the input candidate information based on the distance to the viewpoint position detected by the detection unit.
  • the computer To detect the gaze point of the user in a plurality of key objects for inputting the information displayed by the display unit based on the line-of-sight information indicating the user's line of sight. This includes controlling the display unit to display input candidate information corresponding to at least one of the plurality of key objects selected based on the gazing point with reference to the position of the detected gazing point.
  • Information processing method is described inputting the information displayed by the display unit based on the gazing point with reference to the position of the detected gazing point.
  • HMD Head-mounted display
  • Display unit 12
  • Detection unit 13
  • Communication unit 14
  • Storage unit 15
  • Control unit 15a
  • Selection unit 15b Editing unit
  • Display control unit 50
  • Operation input unit 100
  • Input screen 110
  • Keyboard 111
  • Input field 130
  • Input candidate data L
  • Line of sight P
  • Input candidate point U user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

情報処理装置は、ユーザの視線を示す視線情報に基づいて、表示部（１１）によって表示された情報を入力するための複数のキーオブジェクトにおける、ユーザの注視点を検出する検出部（１２）と、注視点に基づいて選択された、複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、検出された注視点の位置を基準に表示するよう表示部（１１）を制御する制御部（１５）と、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　特許文献１には、第１の表示領域内においてユーザの視線を検出し、第１の表示領域内においてユーザの視線位置に相当する文字または符合を選択し、第２の表示領域内におけるユーザの視線位置に表示する入力方法が開示されている。
特開平１１－２４９８０４号公報
　上記の従来技術では、ユーザが入力結果を確認する場合、視線位置を入力結果が表示されている表示領域に移動させる必要がある。このため、入力結果を確認する技術では、ユーザの身体的な負荷を軽減することが望まれている。
　そこで、本開示では、ユーザの身体的な負荷を軽減して入力結果を確認させることができる情報処理装置、情報処理方法及びプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出する検出部と、前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御する制御部と、を備える。
　また、本開示に係る一形態の情報処理方法は、コンピュータが、ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御することを含む。
　また、本開示に係る一形態のプログラムは、コンピュータに、ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御することを実行させる。
第１の実施形態に係る情報処置方法の一例を説明するための図である。 第１の実施形態に係るヘッドマウントディスプレイの表示制御の一例を示す図である。 第１の実施形態に係るヘッドマウントディスプレイの構成例を示す図である。 第１の実施形態に係るヘッドマウントディスプレイが実行する処理手順の一例を示すフローチャートである。 第１の実施形態の変形例１に係る情報処置方法の一例を説明するための図である。 第１の実施形態の変形例２に係る情報処置方法の一例を説明するための図である。 第１の実施形態の変形例２に係る入力候補データの表示態様の例を示す図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第１の実施形態の変形例３に係る入力候補データの表示例を説明するための図である。 第２の実施形態に係る情報処理方法の一例を説明するための図である。 第３の実施形態に係る情報処置方法の一例を説明するための図である。 情報処理装置の機能を実現するコンピュータ一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（第１の実施形態）
［第１の実施形態に係る情報処理装置の構成］
　図１は、第１の実施形態に係る情報処置方法の一例を説明するための図である。図１に示すように、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）１０は、ユーザＵの頭部に装着され、生成された像が眼前のディスプレイに表示される情報処理装置の一例である。ＨＭＤ１０は、ユーザＵの視界全体が覆われる遮蔽型である場合について説明するが、ユーザＵの視界全体が覆われていない開放型であってもよい。ここで、図１において、Ｘ軸は水平方向、Ｙ軸は垂直方向、Ｚ軸はユーザＵの前後方向をそれぞれ示している。
　ＨＭＤ１０は、操作入力部５０との無線通信が可能な構成となっている。操作入力部５０は、例えば、ユーザＵの操作を入力する機能を有する。操作入力部５０は、例えば、ゲーム機のコントローラ、ハードウェアボタン、タッチパネル等の入力機器を含む。操作入力部５０は、ユーザＵの操作結果を示す情報をＨＭＤ１０に送信する。なお、操作入力部５０は、例えば、ゲーム機を介してＨＭＤ１０に情報を送信してもよい。操作入力部５０は、ＨＭＤ１０と一体に形成してもよい。
　ＨＭＤ１０は、仮想空間に入力画面１００を立体的に表示する機能を有する。より具体的には、ＨＭＤ１０は、左眼用画像と右眼用画像の表示位置を調整してユーザの輻輳の調整を促す機能を有する。すなわち、ＨＭＤ１０は、ユーザＵに入力画面１００を立体視させる機能を有する。ＨＭＤ１０は、入力画面１００におけるユーザＵの視線の移動と操作入力部５０の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。例えば、ＨＭＤ１０は、入力画面１００をユーザＵの弁別視野に表示する。弁別視野は、人間が任意の種類の表示オブジェクトの形状や内容を認識することができる範囲の視野である。例えば、ＨＭＤ１０は、ユーザＵの眼前に入力画面１００を表示させ、ユーザＵの視線情報に基づいて入力画面１００における入力候補点Ｐを検出する。本開示において、入力候補点Ｐは、ユーザＵの注視点に対応すると見做されてよい。なお、本実施形態では、ＨＭＤ１０は、入力候補点Ｐを入力画面１００上に表示する場合について説明するが、入力候補点Ｐを入力画面１００上に表示しなくてもよい。
　図１に示す例では、入力画面１００は、キーボード１１０と、入力欄１２０と、を有する。キーボード１１０は、複数のキーオブジェクト１１１（複数の入力候補情報）を有する。複数のキーオブジェクト１１１は、情報を入力するためのソフトウェアキーを含む。図１に示す通り、入力画面１００は、仮想空間内に設定された、複数のキーオブジェクト１１１を含む仮想平面である。本実施形態では、キーボード１１０は、ＱＷＥＲＴＹ配列のキーボードの場合について説明するが、これに限定されない。入力欄１２０は、入力画面１００におけるキーボード１１０の表示領域とは異なる表示領域に表示されている。より具体的には、入力欄１２０は、複数のキーオブジェクト１１１の表示範囲外に表示される。入力欄１２０は、キーボード１１０で選択された入力候補が表示される。なお、選択されたキーオブジェクト１１１は、入力候補点Ｐの近傍と入力欄１２０に同時に表示されてもよい。入力候補は、例えば、文字列、文字、記号、数字、絵文字等のデータを含む。また、本開示における複数のキーオブジェクトは、典型的なソフトウェアキーボードに限定されない。複数のキーオブジェクトは、ユーザにより連続的に選択される複数の選択肢オブジェクトであればよく、離散的かつ任意に配置されてもよい。
　ＨＭＤ１０は、ユーザＵの視線を示す視線情報に基づいて、入力候補点Ｐを検出する機能を有する。すなわち、ＨＭＤ１０は、視線入力インターフェイスを有する。視線情報とは、ユーザＵの視線Ｌを示すデータである。本実施形態に係る視線情報としては、例えば、“ユーザＵの視線Ｌの位置を示すデータ”や、“ユーザＵの視線Ｌの位置の特定に用いることが可能なデータ（または、ユーザの視線の位置の推定に用いることが可能なデータ）”が挙げられる。
　ユーザＵの視線Ｌの位置を示すデータとしては、例えば、“入力画面１００におけるユーザＵの視線Ｌの位置を示す座標データ”が挙げられる。入力画面１００におけるユーザＵの視線Ｌの位置は、例えば、入力画面１００における基準位置を原点とする座標系における座標で表される。本実施形態に係る入力画面１００における基準位置は、例えば、予め設定された固定の位置であってもよいし、ユーザ操作などに基づいて設定可能な位置であってもよい。
　本実施形態では、ユーザＵの視線Ｌの位置に関する情報が、入力画面１００におけるユーザＵの視線Ｌの位置を示す座標データである場合、ＨＭＤ１０は、例えば、視線検出技術を用いてユーザＵの視線Ｌの位置を推定し、入力画面１００におけるユーザＵの視線Ｌの位置を示す座標データを算出する。そして、ＨＭＤ１０は、算出した座標データを入力画面１００における入力候補点Ｐとする。
　本実施形態に係る視線検出技術としては、例えば、目の基準点（例えば、目頭や角膜反射などの目における動かない部分に対応する点）に対する、目の動点（例えば、虹彩や瞳孔などの目における動く部分に対応する点）の位置に基づいて、視線Ｌを検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られない。例えば、本実施形態に係るＨＭＤ１０は、“瞳孔角膜反射法”などの“角膜反射法”や、“強膜反射法”、“顔を検出した後に、目・鼻・口などから得られる特徴点を追っていくＡＡＭ（Ａｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌ）”などを利用した、任意の視線検出技術を用いて、ユーザＵの視線を検出することも可能である。
　なお、本実施形態に係るユーザＵの視線Ｌの位置を示すデータは、上記“入力画面１００におけるユーザＵの視線Ｌの位置を示す座標データ”に限られない。
　例えば、ユーザＵが透過型のアイウェアを装着している場合などにおいては、本実施形態に係るユーザＵの視線Ｌの位置を示すデータは、“ユーザＵが見ている実空間の実オブジェクトにおける位置を示す座標データ”であってもよい。
　ユーザＵが見ている実空間の実オブジェクトにおける位置は、例えば、実オブジェクトの三次元画像と、視線検出技術を用いて特定（または推定）される視線ベクトルとに基づいて、特定（または推定）される。なお、ユーザＵが見ている実空間の実オブジェクトにおける位置の特定方法は、上記に限られず、ユーザＵが見ている実空間の実オブジェクトにおける位置を特定することが可能な任意の技術を用いることが可能である。
　本実施形態に係るユーザＵの視線Ｌの位置に関する情報が、ユーザＵが見ている実空間の実オブジェクトにおける位置を示す座標データである場合、ＨＭＤ１０（情報処理装置）は、例えば、ユーザＵが見ている実空間の実オブジェクトにおける位置を示す座標データを外部装置から取得する。実オブジェクトは、例えば、キーボードの写真、実際のキーボード等を含む。また、情報処理装置は、例えば、視線検出技術などを用いてユーザＵが見ている実空間の実オブジェクトにおける位置を特定（または推定）することによって、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを取得することも可能である。
　また、本実施形態に係るユーザＵの視線Ｌの位置の特定に用いることが可能なデータとしては、例えば、入力画面１００において画像が表示される方向が撮像された撮像画像データ（表示画面側から表示画面に対向する方向が撮像された撮像画像データ）が挙げられる。また、本実施形態に係るユーザＵの視線Ｌの位置の特定に用いることが可能なデータには、さらに、入力画面１００において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
　また、本実施形態に係るユーザＵの視線Ｌの位置の特定に用いることが可能なデータは、例えば、実オブジェクトの三次元画像と、ユーザＵの視線ベクトルの特定に係るデータであってもよい。例えば、ユーザＵの視線Ｌの位置の特定に用いることが可能なデータを用いる場合、本実施形態に係るＨＭＤ１０は、例えば上記のような本実施形態に係るユーザＵの視線Ｌの位置の特定方法に係る処理を行い、ユーザＵの視線Ｌの位置を特定する（または推定する）。
　図１に示す一例では、ユーザＵは、「ｍｙｓｐａｃｅ」の文字列を入力する場合に、「ｍｙｓｐａ」までの入力が終了し、視線Ｌを移動させて「ｃ」の文字を選択しようとしている。この場合、ＨＭＤ１０は、入力画面１００における入力候補点Ｐを検出すると、当該入力候補点Ｐが指示する入力画面１００の「ｃ」のキーオブジェクト１１１を他のキーオブジェクト１１１よりも大きなサイズで表示する。なお、ＨＭＤ１０は、入力候補点Ｐが指示するキーオブジェクト１１１の表示色、表示態様等を変化させてもよい。そして、ＨＭＤ１０は、これまでに選択された入力候補を示す入力候補データ１３０を、入力候補点Ｐを基準に入力画面１００に表示する。なお、本開示において入力候補データを、入力候補情報という場合がある。この場合、入力候補データ１３０は、入力（選択）が終了している「ｍｙｓｐａ」を示すデータとなる。そして、ＨＭＤ１０は、５文字の「ｍｙｓｐａ」の文字列を示す入力候補データ１３０を、キーオブジェクト１１１と区別可能に表示する。例えば、ＨＭＤ１０は、入力候補データ１３０をキーオブジェクト１１１とは異なる表示色で表示することで、区別可能としている。例えば、ＨＭＤ１０は、入力候補データ１３０をキーオブジェクト１１１とは異なるフォント、フォントサイズ等で表示してもよい。
　本実施形態では、ＨＭＤ１０は、入力候補データ１３０を、ユーザＵから見て奥行方向においてキーボード１１０、すなわちキーオブジェクト１１１の手前に配置している。したがって、ユーザＵは、輻輳を調整しつつ注視点を上下方向あるいは左右方向に僅かに移動させるだけで、キーボード１１０から入力候補データ１３０に注視点を移動させることができる。
　本実施形態では、ＨＭＤ１０は、入力候補データ１３０を入力候補点Ｐに追従するように表示する。例えば、ＨＭＤ１０は、入力候補点Ｐが移動した入力画面１００上の経路に沿って表示された入力候補データ１３０を移動させてもよい。あるいは、ＨＭＤ１０は、入力候補データ１３０を、入力候補点Ｐの移動に対して遅延を持たせつつ入力候補点Ｐの移動の始点から終点まで実質的に直線的に移動させてもよい。このように入力候補データ１３０を表示することで、入力候補点Ｐを移動させてから所定の遅延時間の間、入力候補点Ｐの近傍に入力候補データ１３０が一時的に表示されなくなる。したがって、ユーザＵは、入力候補点Ｐの移動によって適切に視界を確保することができる。
　ＨＭＤ１０は、入力候補データ１３０を停止している入力候補点Ｐの近傍に、キーボード１１０上に重畳するように表示する。入力候補データ１３０は、公知である人間の視野特性に基づいて設定されている。本開示において、入力候補点Ｐの近傍とは、人間の視野特性に基づいて設定された範囲と見做されてもよい。例えば、入力候補データ１３０は、人間が文字を読むことができる限界の範囲であるワード識別限界に基づいて設定することができる。ワード識別限界は、ユーザＵの眼ＥＹの位置から入力候補点Ｐまでの距離等に基づいて設定される。なお、ワード識別限界が示す範囲が、入力候補点Ｐの近傍に対応すると見做されてもよい。入力候補データ１３０は、入力候補点Ｐを視認しているユーザＵが文字を読むことが可能な範囲の文字数で、入力候補点Ｐの近傍に表示される。また、入力候補点Ｐの近傍は、例えば、入力候補点Ｐから人間が文字を読むことができる限界の範囲の入力画面１００における表示領域を含む。
　ユーザＵは、入力候補点Ｐが入力画面１００における「ｃ」のキーオブジェクト１１１上に位置し、当該入力候補点Ｐの近傍に表示された「ｍｙｓｐａ」の入力候補データ１３０を参照している。そして、ユーザＵは、「ｃ」のキーオブジェクト１１１を入力候補として選択するために、操作入力部５０に選択操作を行っている。選択操作は、例えば、確定ボタンの押下、ユーザＵのジェスチャ等を含む。この場合、ＨＭＤ１０は、操作入力部５０を介して「ｃ」のキーオブジェクト１１１の選択操作を検出すると、「ｃ」の文字を入力候補として受け付ける。そして、ＨＭＤ１０は、選択された「ｍｙｓｐａｃ」の入力候補データ１３０を入力画面１００の入力候補点Ｐに追従させる。ＨＭＤ１０は、当該入力候補データ１３０が示す入力候補を入力画面１００の入力欄１２０に表示する。
　本実施形態では、ＨＭＤ１０は、入力候補データ１３０を入力画面１００のキーボード１１０上に表示する場合に、選択された入力候補を入力画面１００の入力欄１２０にも表示するが、これに限定されない。例えば、ＨＭＤ１０は、入力候補データ１３０を表示している場合、当該入力候補データ１３０と同一の入力候補を入力欄１２０に表示しなくてもよい。そして、ＨＭＤ１０は、入力候補データ１３０の入力が確定したときに、確定した入力データを入力欄１２０に表示するようにしてもよい。本開示において、入力候補点Ｐの近傍は、選択されたものの確定されていない入力候補情報のみを一時的に示す、第２の入力欄としてみなされてもよい。
　図２は、第１の実施形態に係るヘッドマウントディスプレイ１０の表示制御の一例を示す図である。図２に示すステップＳ１１では、ユーザＵは、「ｍｙｓｐａｃｅ」の文字列を入力する場合に、「ｍｙｓｐ」までの入力が終了している。「ｍｙｓｐ」は、選択順に配列されている。図２では、「ｍｙｓｐ」は水平方向に配列されている。なお、選択された入力候補データ１３０の配列方向は、入力言語に応じて適宜決定されてもよい。例えばＨＭＤ１０は、入力言語が英語である場合、入力候補データ１３０は注視点の左側に配置する。入力候補データ１３０の配列方向は、本開示における所定の方向に対応しうる。図２では、ＨＭＤ１０は、選択された（複数の）入力候補データ１３０を、入力画面１００の入力候補点Ｐの近傍に追従するように表示する。そして、ＨＭＤ１０は、入力候補データ１３０が示す入力候補を入力画面１００の入力欄１２０に表示する。その結果、ユーザＵは、入力候補点Ｐの近傍の入力候補データ１３０を参照することで、選択している入力候補を確認できるため、視線Ｌを入力候補点Ｐから入力欄１２０に移動させる必要がなくなる。
　ステップＳ１１では、ユーザＵは、次の入力候補として「ａ」のキーオブジェクト１１１を選択するために、視線Ｌを経路Ｒ１に沿って移動させている。経路Ｒ１は、例えば、「ａ」のキーオブジェクト１１１から「ｓ」、「ｄ」、「ｆ」のキーオブジェクト１１１上を順に移動させてから「ｃ」のキーオブジェクト１１１に、視線Ｌを移動させる経路である。ここで、「ｍｙｓｐ」のうち、最新の入力候補データ１３０を示す「ｐ」は、入力候補点Ｐの現在の位置に対応するキーオブジェクトに隣接するように表示される。したがって、ユーザＵは、次に選択しようとしている、「ａ」を示す入力候補データ１３０を容易に視認することができる。なお、本開示における、“隣接する”とは、“間隔を空けて近傍に配置する”ことと、“間隔を空けずに近傍に配置する”ことを含む点に留意されたい。
　ステップＳ１２では、ＨＭＤ１０は、選択されている「ｍｙｓｐａ」の入力候補を示す入力候補データ１３０を、入力画面１００の入力候補点Ｐに追従するように表示する。より具体的には、ＨＭＤ１０は、表示された「ｍｙｓｐａ」の端部を含む少なくとも一部を、「ｃ」のキーオブジェクト１１１に隣接する「ｓ」「ｄ」「ｆ」のキーオブジェクト１１１に重畳させる。そして、ＨＭＤ１０は、入力候補データ１３０が示す「ｍｙｓｐａ」の入力候補を入力画面１００の入力欄１２０に表示する。そして、ＨＭＤ１０は、入力候補点Ｐが経路Ｒ１を移動している場合、入力候補データ１３０を入力候補点Ｐが移動する経路Ｒ１に沿って追従するように表示する。ステップＳ１２に示す例では、ＨＭＤ１０は、入力候補点Ｐを基準とし、「ｆ」のキーオブジェクト１１１と「ｃ」のキーオブジェクト１１１との間の経路Ｒ１に沿うように入力候補データ１３０を表示している。ＨＭＤ１０は、経路Ｒ１を起点として、入力候補データ１３０を入力候補点Ｐの近傍に表示している。
　ステップＳ１３では、ユーザＵは、入力候補点Ｐが入力画面１００における「ｃ」のキーオブジェクト１１１上に位置し、当該入力候補点Ｐの近傍に表示された「ｍｙｓｐａ」の入力候補データ１３０を参照している。そして、ユーザＵは、「ｃ」のキーオブジェクト１１１を入力候補として選択するために、操作入力部５０に選択操作を行っている。そして、ユーザＵは、選択操作が終了すると、次の入力候補として「ｅ」のキーオブジェクト１１１を選択するために、視線Ｌを経路Ｒ２に沿って移動させている。
　この場合、ＨＭＤ１０は、操作入力部５０を介して「ｃ」のキーオブジェクト１１１の選択操作を検出すると、「ｃ」の文字を入力候補として受け付ける。そして、ＨＭＤ１０は、選択されている「ｍｙｓｐａｃ」の入力候補を示す入力候補データ１３０を、入力候補点Ｐを基準にして入力画面１００に表示する。
　本実施形態では、ＨＭＤ１０は、入力候補データ１３０の表示文字数（データ数あるいはデータ量）を５文字に制限し、入力候補点Ｐの位置を基準として識別できない入力候補データ１３０を省略（あるいは消去）している。表示させる入力候補データ１３０の制限に関するデータ数あるいはデータ量は、本開示における視線情報に関する所定の条件の一例である。そして、ステップＳ１４では、入力候補データ１３０の文字数が「ｍｙｓｐａｃ」の６文字となっており、設定の表示文字数を超えているので、ＨＭＤ１０は、省略記号を用いた入力候補データ１３０の省略表示を行う。例えば、ＨＭＤ１０は、ステップＳ１４に示すように、５文字を超えた部分を省略していることを示す「…ｙｓｐａｃ」の入力候補データ１３０を、入力候補点Ｐに基準に追従するよう表示する。入力候補データ１３０の省略は、古い入力候補データ１３０から順に適用される。一方で、ＨＭＤ１０は、入力候補データ１３０が示す「ｍｙｓｐａｃ」の入力候補を、省略せずに入力画面１００の入力欄１２０に表示する。その結果、ユーザＵは、入力候補点Ｐの近傍の入力候補データ１３０を参照することで、選択している直前の入力候補を確認できるため、視線Ｌを入力候補点Ｐから入力欄１２０に移動させる必要がなくなる。
　例えば、ステップＳ１４では、ユーザＵは、操作入力部５０によって入力候補の選択操作を行っていないとする。この場合、ＨＭＤ１０は、入力候補データ１３０を表示させてから次の入力候補が選択されない状態が所定時間継続すると、表示された入力候補データ１３０の少なくとも一部を入力画面１００から自動的に消去する。表示させる入力候補データ１３０の制限に関する所定時間は、本開示における視線情報に関する所定の条件の一例である。所定時間は、例えば、数秒、数分等を含む。所定時間は、ユーザＵが１単語を入力した時の平均時間間隔に基づいて設定することができる。本実施形態では、所定時間は、例えば、ユーザＵの入力平均時間に基づいて２秒となっている。これにより、ＨＭＤ１０は、選択されない状態が２秒継続すると、入力候補データ１３０を入力画面１００からフェードアウトさせる。そして、ＨＭＤ１０は、入力画面１００から入力候補データ１３０を消去しても、入力欄１２０の入力候補の表示を維持する。
　なお、本実施形態では、ＨＭＤ１０は、ユーザＵの選択操作の有無に基づいて入力候補データ１３０の消去を制御する場合について説明するが、これに限定されない。例えば、ＨＭＤ１０は、ユーザＵの視線Ｌの移動の有無、入力画面１００に視線Ｌが向かっているか否か等に基づいて、入力候補データ１３０の消去を制御してもよい。例えば、ＨＭＤ１０は、ユーザＵの視線Ｌの現在注視しているキーオブジェクト１１１からの移動量、移動速度、移動加速度のうち少なくとも１つが閾値以上になった場合、入力候補データ１３０を少なくとも一時的に消去する。
　以上のように、第１の実施形態に係るＨＭＤ１０は、ユーザＵの入力候補点Ｐに基づいて選択された入力候補を示す入力候補データ１３０を、当該入力候補点Ｐを基準に表示させる。より具体的には、ＨＭＤ１０は、ユーザＵの入力候補点Ｐの近傍に入力候補データ１３０を表示し、誤って入力したことをユーザＵが気付きやすくする。ＨＭＤ１０は、ユーザＵが入力候補データ１３０を参照すればよいので、入力欄１２０に視線Ｌを移動させるよりも、ユーザＵの視線Ｌの移動量を低減させることができる。例えば、ＨＭＤ１０は、入力画面１００の表示サイズを大きくしたり、キーボード１１０と入力欄１２０とを離して配置したりしても、ユーザＵの視線Ｌの移動量を低減させることができる。その結果、ＨＭＤ１０は、入力候補データ１３０へのユーザＵの視線Ｌの移動量を低減させることで、ユーザＵの身体的な負荷を軽減して入力結果を確認させることができる。
　また、ＨＭＤ１０は、入力候補データ１３０を入力候補点Ｐに追従するよう表示する。これにより、ＨＭＤ１０は、ユーザＵの入力候補点Ｐが移動しても、当該入力候補点Ｐの近傍に入力候補データ１３０を表示させることができる。その結果、ＨＭＤ１０は、ユーザＵの視線Ｌの移動に応じて入力候補データ１３０の表示位置を移動させることで、入力結果の確認のための視線Ｌの移動量を抑制することができる。
　また、ＨＭＤ１０は、入力候補点Ｐに追従させる入力候補データ１３０のデータ数を制限する。これにより、ＨＭＤ１０は、入力候補点Ｐの近傍に表示する入力候補データ１３０のデータ数を制限することで、入力候補データ１３０が重畳する他のキーオブジェクト１１１の数を減らすことができる。その結果、ＨＭＤ１０は、入力候補データ１３０の追従表示を行っても、ユーザＵの視界を適切に確保することができる。
　また、ＨＭＤ１０は、入力候補データ１３０のデータ数が制限数になると、入力候補点Ｐに追従させる入力候補データ１３０の一部を省略する。すなわち、ＨＭＤ１０は、選択された入力候補データ１３０の数が制限数より大きい場合、実際に表示される入力候補データ１３０の数を制限数以下に制限する。これにより、ＨＭＤ１０は、ユーザＵが最後に選択した入力候補から遡って部分的に入力候補データ１３０を表示させることができる。その結果、ＨＭＤ１０は、ユーザＵの視界を適切に確保し、入力候補をユーザＵに確認させることができるので、利便性を向上させることができる。
　また、ＨＭＤ１０は、入力候補データ１３０を表示させてから次の入力候補が選択されない状態が所定時間継続すると、当該入力候補データ１３０を入力画面１００から自動で消去する。これにより、ＨＭＤ１０は、ユーザＵが現在視認しているキーオブジェクト１１１とその近傍の表示オブジェクトの視認が、入力候補データ１３０により妨げられることを抑制する。その結果、ＨＭＤ１０は、入力候補データ１３０によってユーザＵの視界が遮られることを抑制するとともに、視線Ｌを利用した操作性の向上を図ることができる。
　また、ＨＭＤ１０は、ユーザＵの視線Ｌの移動に応じて、入力候補データ１３０を少なくとも一時的に消去する。これにより、ユーザＵがキーオブジェクト１１１と入力候補データ１３０以外の表示オブジェクトを視ようとしていると推定される状況で、ユーザＵの視界が妨げられることが抑制される。その結果、ＨＭＤ１０は、入力候補データ１３０によってユーザＵの視界が遮られることを抑制するとともに、視線Ｌを利用した操作性の向上を図ることができる。
　また、ＨＭＤ１０は、入力候補点Ｐに基づいて選択された入力候補データ１３０が、検出された入力候補点Ｐ（注視点）の現在の位置に対応する複数のキーオブジェクト１１１のうち１つに隣接するように、選択された入力候補データ１３０を表示する。より具体的には、ＨＭＤ１０は、ユーザＵに選択させる複数のキーオブジェクト１１１を入力画面１００に表示させ、選択された入力候補データ１３０をキーオブジェクト１１１に重畳する。このキーオブジェクト１１１の表示状態を、単に重畳表示という場合がある。これにより、ＨＭＤ１０は、入力候補データ１３０とキーオブジェクト１１１とを関連付けて表示させることができる。その結果、ＨＭＤ１０は、ユーザＵが入力候補データ１３０とキーオブジェクト１１１の重畳表示を視認したときに、過去に選択された入力候補との関連性をユーザＵに直感的に理解させることができる。したがって、入力候補データ１３０やキーオブジェクト１１１といった視線入力に関連する仮想オブジェクトの視認性を向上させることができる。
　また、ＨＭＤ１０は、複数のキーオブジェクト１１１とは異なる入力画面１００の表示位置に入力欄１２０を表示させ、入力候補点Ｐに基づいて選択された入力候補を入力欄１２０に表示させる。これにより、ＨＭＤ１０は、複数のキーオブジェクト１１１と入力欄１２０とを離して表示させることができるので、入力画面１００のデザインに自由度を持たせ、入力画面１００の大型化を図ることができる。その結果、ＨＭＤ１０は、ユーザＵの身体的な負荷を軽減し、デザイン性を向上させることができる。
　また、ＨＭＤ１０は、入力画面１００のキーオブジェクト１１１に重畳している入力候補データ１３０を消去しても、入力欄１２０の入力候補の表示を維持する。これにより、ＨＭＤ１０は、入力候補データ１３０を一時的にキーオブジェクト１１１に表示すればよくなるので、入力候補データ１３０がキーオブジェクト１１１に重畳する時間を短縮させることができる。その結果、ＨＭＤ１０は、入力候補データ１３０によって入力候補点Ｐの周囲にある仮想オブジェクトの視認性の低下を抑制することができる。
　また、ＨＭＤ１０は、ユーザＵが操作する操作入力部５０の操作結果に基づいて、入力候補点Ｐが指示する入力候補が選択されたことを検出する。これにより、ＨＭＤ１０は、ユーザＵの視線による操作と操作入力部５０による入力候補の選択操作とを区別することで、選択操作を視線Ｌで検出する必要がなくなる。その結果、ＨＭＤ１０は、ユーザＵの視線Ｌの移動量を低減させるとともに、ユーザＵの視線Ｌと操作入力部５０の操作とを組み合わせた入力方法の操作性を向上させることができる。
［第１の実施形態に係るヘッドマウントディスプレイの構成例］
　次に、第１の実施形態に係る情報処理装置の一例として、ヘッドマウントディスプレイ（ＨＭＤ）１０の構成について説明する。図３は、第１の実施形態に係るヘッドマウントディスプレイ１０の構成例を示す図である。図３に示すように、ＨＭＤ１０は、表示部１１と、検出部１２と、通信部１３と、記憶部１４と、制御部１５と、を備える。
　表示部１１は、１または複数の表示デバイスを含む。表示デバイスは、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等を含む。表示部１１は、制御部１５の制御によって各種情報を表示する。各種情報は、例えば、上記の入力画面１００の情報を含む。表示部１１は、例えば、装着時にユーザＵのそれぞれの眼ＥＹに対応した画像を表示することにより、両眼の視差を利用した３次元表示を実現する。そして、表示部１１は、入力画面１００を３次元表示する。
　検出部１２は、ユーザＵの視線を示す視線情報に基づいて、複数のキーオブジェクト１１１における入力候補点Ｐを検出する。検出部１２は、公知の視線推定方法を用いてユーザＵの視線Ｌを推定する。例えば、検出部１２は、瞳孔角膜反射法で視線Ｌを推定する場合、光源とカメラとを用いる。そして、検出部１２は、カメラでユーザＵの眼ＥＹを撮像した画像を解析し、輝点または瞳孔を検出し、輝点の位置に関する情報が含まれる輝点関連情報、および、瞳孔の位置に関する情報が含まれる瞳孔関連情報を生成する。そして、検出部１２は、輝点関連情報、瞳孔関連情報等に基づいてユーザＵの視線Ｌ（光軸）を検出（推定）する。そして、検出部１２は、表示部１１とユーザＵの眼球との３次元空間における位置関係に基づいて、ユーザＵの視線Ｌと表示部１１とが交差する座標を入力候補点Ｐとして検出する。検出部１２は、入力画面１００からユーザＵの視点位置（眼球）までの距離を検出する。検出部１２は、検出結果を制御部１５に出力する。
　通信部１３は、無線により通信する。通信部１３は、近距離無線通信方式をサポートする。通信部１３は、操作入力部５０、外部機器等と情報の無線通信を行う機能を有する。通信部１３は、制御部１５からの情報を操作入力部５０、外部機器等に送信する。通信部１３は、操作入力部５０、外部機器等から受信した情報を制御部１５に出力する。
　記憶部１４は、各種データ及びプログラムを記憶する。例えば、記憶部１４は、検出部１２の検出結果を記憶できる。記憶部１４は、例えば、検出部１２、制御部１５等と電気的に接続されている。記憶部１４は、例えば、入力画面１００に関するデータ、上記の入力候補データ１３０、入力が確定した入力データ等を記憶する。記憶部１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１４は、ネットワークを介してＨＭＤ１０に接続されたクラウドサーバに設けてもよい。
　制御部１５は、表示部１１等のＨＭＤ１０の制御を行う。制御部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって実現される。制御部１５は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により実現されてもよい。
　制御部１５は、選択部１５ａと、編集部１５ｂと、表示制御部１５ｃといった各機能部を有する。制御部１５は、プログラムを実行することにより、選択部１５ａと編集部１５ｂと表示制御部１５ｃとして機能する。
　選択部１５ａは、操作入力部５０を介してユーザＵの選択操作を検出すると、検出部１２によって検出された入力候補点Ｐが指示するキーオブジェクト１１１の入力候補を選択する。選択部１５ａは、選択結果を編集部１５ｂ、表示制御部１５ｃ等に出力する。選択結果は、例えば、選択した入力候補、キーオブジェクト１１１等を示す情報を含む。
　編集部１５ｂは、選択部１５ａが選択した入力候補に基づいて入力候補データ１３０を編集する。入力候補データ１３０が存在していない場合、編集部１５ｂは、選択された入力候補を示す入力候補データ１３０を新規作成して記憶部１４に記憶する。入力候補データ１３０が既に存在する、すなわち、入力候補データ１３０を入力画面１００に表示している場合、編集部１５ｂは、選択された入力候補を記憶部１４の入力候補データ１３０に追加する編集を行う。
　表示制御部１５ｃは、検出部１２が検出した入力候補点Ｐに基づいて選択された入力候補を示す入力候補データ１３０を、当該入力候補点Ｐを基準に表示させる機能を有する。例えば、表示制御部１５ｃは、設定されている表示態様で、入力候補データ１３０を入力候補点Ｐの近傍に表示させる。表示態様は、例えば、入力候補点Ｐを基準とした表示位置、表示サイズ、表示色等を含む。表示位置は、例えば、入力候補点Ｐの左側、上側、周囲等を含む。表示態様は、例えば、入力候補点Ｐが移動している状態と静止している状態とのそれぞれに対応している。
　表示態様は、重畳表示を適用する入力候補データ１３０の視認性を担保するために、ユーザＵの視点位置（眼球の位置）から入力画面１００までの距離に応じて文字サイズを変更することができる。表示態様は、例えば、視点位置から見た文字の大きさがなす角度が、予め決めた大きさになるように、文字サイズを設定している。なす角度は、例えば、視点位置から見た文字の一端から他端までの角度を意味する。例えば、文字が日本語の漢字のなす角度が２５分である場合、距離が３００ｍｍで文字サイズを２．２ｍｍ、距離が４００ｍｍで文字サイズを２．９ｍｍと設定される。例えば、文字がアルファベットのなす角度が１６分である場合、距離が３００ｍｍで文字サイズを１．３ｍｍ、距離が４００ｍｍで文字サイズを１．８ｍｍと設定される。このように、ＨＭＤ１０は、入力候補データ１３０の視認性を担保する文字サイズで、入力候補データ１３０を入力画面１００上に重畳させている。なお、ＨＭＤ１０は、視点位置からの距離に基づいて文字サイズを求める算出式、テーブル等を記憶しておき、距離が変化した場合に、当該距離に応じた文字サイズに入力候補データ１３０を変更してもよい。
　表示制御部１５ｃは、入力候補データ１３０を入力候補点Ｐに追従させる機能を有する。表示制御部１５ｃは、入力候補点Ｐに追従させる入力候補データ１３０のデータ数を制御する機能を有する。表示制御部１５ｃは、入力候補データ１３０のデータ数が制限数になると、入力候補点Ｐに追従させる入力候補データ１３０の一部を省略する機能を有する。表示制御部１５ｃは、入力候補データ１３０を表示させてから次の入力候補が選択されない状態が所定時間継続すると、当該入力候補データ１３０を入力画面１００から消去させる機能を有する。所定時間は、任意の時間を設定することができる。
　表示制御部１５ｃは、ユーザＵに選択させる複数のキーオブジェクト１１１を入力画面１００に表示させる機能を有する。例えば、表示制御部１５ｃは、ＱＷＥＲＴＹ配列キーボード、ケータイ配列キーボード、Ｇｏｄａｎキーボード等を入力画面１００に表示させる。ＱＷＥＲＴＹ配列キーボードは、ＱＷＥＲＴＹ配列でキーを配置するソフトウェアキーボードである。ケータイ配列キーボードは、あ行、か行、さ行、た行、な行、は行、ま行、や行、ら行、わ行の各行をキーに割り当てたソフトウェアキーボードである。Ｇｏｄａｎキーボードは、左側に母音のキー、右側に子音のキーを配列したソフトウェアキーボードである。表示制御部１５ｃは、ユーザＵ等によって設定された種類のキーボードを有する入力画面１００に表示部１１に表示させる。
　表示制御部１５ｃは、複数のキーオブジェクト１１１とは異なる入力画面１００の表示位置に入力欄１２０を表示させる機能を有する。表示制御部１５ｃは、ユーザＵによって選択された入力候補を、入力画面１００の入力欄１２０に表示させる機能を有する。例えば、表示制御部１５ｃは、ユーザＵによって選択された入力候補、入力が確定した文字列等を入力欄１２０に表示させる。
　以上、本実施形態に係るＨＭＤ１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るＨＭＤ１０の機能構成は係る例に限定されない。本実施形態に係るＨＭＤ１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　本実施形態では、ＨＭＤ１０は、操作入力部５０と別体である場合について説明するが、これに限定されない。例えば、ＨＭＤ１０は、操作入力部５０を構成に備えてもよい。例えば、ＨＭＤ１０は、操作入力部５０と一体に形成してもよい。
［第１の実施形態に係るヘッドマウントディスプレイ１０の処理手順］
　次に、第１の実施形態に係るヘッドマウントディスプレイ１０の処理手順の一例について説明する。図４は、第１の実施形態に係るヘッドマウントディスプレイ１０が実行する処理手順の一例を示すフローチャートである。図４に示す処理手順は、ＨＭＤ１０の制御部１５がプログラムを実行することによって実現される。図４に示す処理手順は、ＨＭＤ１０の制御部１５によって繰り返し実行される。
　図４に示すように、ＨＭＤ１０の制御部１５は、入力画面１００の表示を開始する（ステップＳ１００）。例えば、制御部１５は、入力画面１００の表示を表示部１１に要求する。その結果、表示部１１は、入力画面１００の表示を開始することで、キーボード１１０と入力欄１２０とを有する入力画面１００をユーザＵが視認する。制御部１５は、入力画面１００の表示を開始すると、処理をステップＳ１０１に進める。
　制御部１５は、入力候補点Ｐを検出部１２によって検出する（ステップＳ１０１）。制御部１５は、入力画面１００において、入力候補点Ｐがキーボード１１０上にあるか否かを判定する（ステップＳ１０２）。例えば、ＨＭＤ１０は、入力候補点Ｐの座標が入力画面１００のキーボード１１０を表示する表示領域の内部にある場合に、入力候補点Ｐがキーボード１１０上にあると判定する。そして、制御部１５は、入力候補点Ｐがキーボード１１０上にないと判定した場合（ステップＳ１０２でＮｏ）、処理を後述するステップＳ１１２に進める。また、制御部１５は、入力候補点Ｐがキーボード１１０上にあると判定した場合（ステップＳ１０２でＹｅｓ）、処理をステップＳ１０３に進める。
　制御部１５は、キー選択処理を実行する（ステップＳ１０３）。例えば、ＨＭＤ１０は、キー選択処理を実行することで、検出部１２によって入力候補点Ｐを検出し、当該入力候補点Ｐが指示するキーオブジェクト１１１を選択する。本実施形態では、制御部１５は、選択したキーオブジェクト１１１を他のキーオブジェクト１１１とは異なる表示態様に変更して入力画面１００に表示させる。制御部１５は、ステップＳ１０３の処理を実行することで、選択部１５ａとして機能する。そして、制御部１５は、キーオブジェクト１１１を選択すると、処理をステップＳ１０４に進める。
　制御部１５は、キーオブジェクト１１１の選択操作を検出したか否かを判定する（ステップＳ１０４）。例えば、制御部１５は、通信部１３を介して操作入力部５０から選択操作に応じた情報を受信している場合に、キーオブジェクト１１１の選択操作を検出したと判定する。制御部１５は、キーオブジェクト１１１の選択操作を検出したと判定した場合（ステップＳ１０４でＹｅｓ）、処理をステップＳ１０５に進める。
　制御部１５は、選択された文字の編集処理を実行する（ステップＳ１０５）。例えば、制御部１５は、編集処理を実行することで、入力候補点Ｐが指示するキーオブジェクト１１１の文字を入力候補として確定する。制御部１５は、入力候補データ１３０が存在していない場合、入力候補を示す入力候補データ１３０を新規作成して記憶部１４に記憶する。制御部１５は、入力候補データ１３０が存在している場合、当該入力候補データ１３０に今回の入力候補を追加する。そして、制御部１５は、編集処理が終了すると、処理をステップＳ１０６に進める。
　制御部１５は、入力画面１００の入力欄１２０の表示を更新する（ステップＳ１０６）。例えば、制御部１５は、編集した入力候補データ１３０に基づいて入力欄１２０の表示内容を更新する。そして、制御部１５は、入力候補データ１３０の表示内容と表示位置を更新する（ステップＳ１０７）。例えば、制御部１５は、入力候補点Ｐのデータ数と制限数とに基づいて、入力候補データ１３０の表示態様を決定する。詳細には、制御部１５は、データ数が制限数よりも小さい場合、全ての入力候補を表示する第１表示態様を決定する。また、制御部１５は、データ数が制限数以上である場合、複数の入力候補のうちの最後の制限数分の入力候補のみを表示する第２表示態様を決定する。そして、制御部１５は、入力候補点Ｐに基づいて、入力画面１００における入力候補データ１３０の表示位置を特定し、入力画面１００に表示している入力候補データ１３０の更新を表示部１１に要求する。その結果、表示部１１は、入力画面１００の入力欄１２０とキーボード１１０上の入力候補データ１３０の表示を更新する。
　制御部１５は、所定時間の計時を開始する（ステップＳ１０８）。例えば、制御部１５は、所定時間が経過するとタイムアウトするタイマを起動させる。例えば、制御部１５は、計時を開始した時間を検出して記憶部１４に記憶する。そして、制御部１５は、ステップＳ１０８の処理が終了すると、処理を後述するステップＳ１１２に進める。
　また、ＨＭＤ１０は、キーオブジェクト１１１の選択操作を検出していないと判定した場合（ステップＳ１０４でＮｏ）、処理をステップＳ１０９に進める。制御部１５は、選択操作を検出していない状態が、所定時間継続しているか否かを判定する（ステップＳ１０９）。例えば、制御部１５は、タイマがタイムアウトしている場合に、所定時間継続していると判定する。例えば、計時を開始してからの時間を算出し、当該時間が所定時間に達している場合に、所定時間継続していると判定する。そして、制御部１５は、所定時間継続していないと判定した場合（ステップＳ１０９でＮｏ）、処理を後述するステップＳ１１２に進める。また、制御部１５は、所定時間継続していると判定した場合（ステップＳ１０９でＹｅｓ）、処理をステップＳ１１０に進める。
　制御部１５は、入力候補データ１３０を入力画面１００から消去する（ステップＳ１１０）。例えば、制御部１５は、入力候補データ１３０の消去を表示部１１に要求する。その結果、表示部１１は、入力画面１００から入力候補データ１３０を消去する。そして、制御部１５は、所定時間の計時を終了する（ステップＳ１１１）。制御部１５は、ステップＳ１１１の処理が終了すると、処理をステップＳ１１２に進める。
　制御部１５は、終了要求ありか否かを判定する（ステップＳ１１２）。例えば、制御部１５は、入力操作の利用終了、ユーザＵによる終了操作等を受け付けている場合に、終了要求ありと判定する。そして、制御部１５は、終了要求なしと判定した場合（ステップＳ１１２でＮｏ）、処理を既に説明したステップＳ１０１に戻し、ステップＳ１０１以降の一連の処理を繰り返す。また、制御部１５は、終了要求ありと判定した場合（ステップＳ１１２でＹｅｓ）、処理をステップＳ１１３に進める。
　制御部１５は、入力画面１００の表示を終了する（ステップＳ１１３）。例えば、制御部１５は、入力画面１００の消去を表示部１１に要求する。その結果、表示部１１は、入力画面１００の表示を終了する。そして、制御部１５は、ステップＳ１１３の処理を終了すると、図４に示す処理手順を終了させる。
　図４に示す処理手順では、制御部１５は、ステップＳ１００、ステップＳ１０６、ステップＳ１０７、ステップＳ１１０及びステップＳ１１３の処理を実行することで、表示制御部１５ｃとして機能する場合について説明したが、これに限定されない。
　上述の第１の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
［第１の実施形態の変形例１］
　例えば、第１の実施形態に係るＨＭＤ１０は、入力画面１００の表示態様を変更することができる。
　図５は、第１の実施形態の変形例１に係る情報処置方法の一例を説明するための図である。図５に示すように、ＨＭＤ１０は、入力画面１００Ａと操作入力部５０とを用いて文字または文字列を入力させてもよい。この場合、操作入力部５０は、タッチパッド５１を備え、ユーザＵのジェスチャによる選択操作を可能としている。そして、操作入力部５０は、タッチパッド５１を介して、例えば、タッチ、フリック等のジェスチャを検出し、検出結果をＨＭＤ１０に出力する。
　ＨＭＤ１０は、仮想空間に入力画面１００Ａを立体表示する機能を有する。ＨＭＤ１０は、入力画面１００ＡにおけるユーザＵの視線の移動と操作入力部５０の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。入力画面１００Ａは、ケータイ配列のキーボード１１０Ａと、入力欄１２０と、を有する。キーボード１１０Ａは、複数のキーオブジェクト１１１を有する。複数のキーオブジェクト１１１のそれぞれは、あ行、か行、さ行、た行、な行、は行、ま行、や行、ら行、わ行の各行の文字が割り当てられている。例えば、あ行のキーオブジェクト１１１は、「あ」、「い」、「う」、「え」、「お」の文字が割り当てられている。
　図５に示す一例では、ユーザＵは、日本語の「こんにちは」の文字列を入力する場合に、「こんに」までの入力が終了し、視線Ｌを移動させて「た行」の「ち」の文字を選択しようとしている。この場合、ＨＭＤ１０は、入力画面１００Ａの「た行」のキーオブジェクト１１１を指示していることを検出すると、「た行」の「た」、「ち」、「つ」、「て」、「と」の文字を示す５つのキーオブジェクト１１２をキーオブジェクト１１１に重畳させる。そして、ＨＭＤ１０は、「こんに」を示す入力候補データ１３０を、入力候補点Ｐを基準にキーオブジェクト１１２に重畳させる。
　ユーザＵは、入力候補データ１３０を参照しながら視線Ｌを左方向へ移動させ、「ち」のキーオブジェクト１１２を視認した状態で、操作入力部５０のタッチパッド５１で選択操作を行っている。この場合、ＨＭＤ１０は、入力候補点Ｐが「ち」のキーオブジェクト１１２を指示していることを検出した状態で、操作入力部５０を介して「ち」のキーオブジェクト１１２の選択操作を検出すると、「ち」の文字を入力候補として受け付ける。そして、ＨＭＤ１０は、選択された「こんにち」の入力候補データ１３０を入力画面１００Ａの入力候補点Ｐに追従させる。ＨＭＤ１０は、当該入力候補データ１３０が示す入力候補を入力画面１００Ａの入力欄１２０に表示する。
　以上のように、第１の実施形態の変形例１に係るＨＭＤ１０は、入力画面１００Ａの入力候補点ＰとユーザＵのジェスチャとに基づいて選択された入力候補データ１３０を、入力候補点Ｐを基準に入力画面１００Ａに表示させる。より具体的には、ＨＭＤ１０は、入力画面１００Ａの入力候補点Ｐの近傍に入力候補データ１３０を表示し、誤って入力したことをユーザＵが気付きやすくする。ＨＭＤ１０は、ユーザＵが入力候補データ１３０を参照すればよいので、入力欄１２０に視線Ｌを移動させるよりも、ユーザＵの視線の移動量を低減させることができる。その結果、ＨＭＤ１０は、入力候補データ１３０へのユーザＵの視線Ｌの移動量を低減させることで、ユーザＵの身体的な負荷を軽減して入力結果を確認させることができる。
［第１の実施形態の変形例２］
　例えば、第１の実施形態に係るＨＭＤ１０は、入力候補データ１３０の表示態様を変更することができる。
　図６は、第１の実施形態の変形例２に係る情報処置方法の一例を説明するための図である。図６に示すように、ＨＭＤ１０は、キーボード１１０と入力欄１２０とを入力画面１００に表示する。ＨＭＤ１０の制御部１５は、入力候補データ１３０を含む入力候補文字列をユーザＵが選択可能にキーオブジェクト１１１に重畳させる機能を有する。制御部１５は、１または複数の入力候補文字列を表示した場合、選択された入力候補文字列を入力候補データ１３０とする。
　図６に示すステップＳ２１では、ユーザＵは、「Ａｐｐｌａｕｄ」の文字列を入力する場合に、「Ａｐｐｌ」までの入力が終了し、視線Ｌが「ｋ」のキーオブジェクト１１１の近傍を指している。この場合、ＨＭＤ１０は、入力候補データ１３０の「Ａｐｐｌ」を含む予測入力候補を変換データベースから検索する。変換データベースは、例えば、ＨＭＤ１０の記憶部１４、情報処理サーバの記憶装置等に記憶されている。ＨＭＤ１０は、「Ａｐｐｌｅ」、「Ａｐｐｌｉｃａｔｉｏｎ」及び「Ａｐｐｌａｕｄ」の３つの予測入力候補を抽出している。すなわち、ＨＭＤ１０は、入力候補データ１３１もまた、入力候補点Ｐの近傍に表示するとともに、入力候補点Ｐに追従させる。本実施形態では、ＨＭＤ１０は、「Ａｐｐｌ」に下線と下矢印とを付加した入力候補データ１３１を表示することで、ユーザＵに予測入力候補が存在することを認識させている。そして、ユーザＵは、操作入力部５０で下矢印に対する参照操作を行っている。参照操作は、例えば、選択操作とは異なる操作である。
　ステップＳ２２では、ＨＭＤ１０は、ユーザＵの参照操作を検出したことで、「Ａｐｐｌ」の入力候補の下方に入力候補データ１３１の重畳表示を行っている。ＨＭＤ１０は、入力候補データ１３１を示す「Ａｐｐｌｅ」、「Ａｐｐｌｉｃａｔｉｏｎ」及び「Ａｐｐｌａｕｄ」を、上下方向に並べて表示する。なお、入力候補データ１３１を示す「Ａｐｐｌｅ」、「Ａｐｐｌｉｃａｔｉｏｎ」及び「Ａｐｐｌａｕｄ」それぞれが、本開示の予測入力候補情報に対応しうる。本実施形態では、ＨＭＤ１０は、複数の予測入力候補の全てがキーボード１１０上に位置するように表示しているが、キーボード１１０上から予測入力候補の一部がはみ出すように予測入力候補を表示してもよい。そして、ユーザＵは、入力候補データ１３１の「Ａｐｐｌａｕｄ」に視線Ｌを移動させている。この場合、ＨＭＤ１０は、入力候補データ１３１を展開表示させている場合、入力候補点Ｐが移動しても、入力候補データ１３１を入力候補点Ｐに追従させずに表示位置を固定する。その結果、ユーザＵは、視線Ｌの移動に応じて入力候補点Ｐを予測入力候補に移動させることができる。
　ステップＳ２２では、ユーザＵは、「Ａｐｐｌａｕｄ」の予測入力候補に入力候補点Ｐが位置している状態で、操作入力部５０で選択操作を行っている。この場合、ＨＭＤ１０は、操作入力部５０を介して、入力候補点Ｐが「Ａｐｐｌａｕｄ」の予測入力候補を指示している状態で選択操作を検出すると、「Ａｐｐｌａｕｄ」を入力候補データ１３１とする。本実施形態では、ＨＭＤ１０は、「Ａｐｐｌａｕｄ」の入力候補（文字列）を入力候補データ１３１から入力欄１２０に向けて移動するアニメーションを表示している。
　ステップＳ２３では、ＨＭＤ１０は、入力候補データ１３１が示す「Ａｐｐｌａｕｄ」の入力候補を入力欄１２０に表示する。ＨＭＤ１０は、「Ａｐｐｌａｕｄ」を示す入力候補データ１３１を入力候補点Ｐに追従させる。その結果、ユーザＵは、入力候補点Ｐの近傍の入力候補データ１３１を参照することで、視線Ｌを入力欄１２０に移動させることなく、選択している直前の入力候補を確認しながら視線Ｌを利用した入力操作を継続することができる。
　例えば、ステップＳ２２では、ユーザＵは、操作入力部５０によって入力候補の選択操作を行っていないとする。この場合、ＨＭＤ１０は、入力候補データ１３１を表示させてから次の入力候補が選択されない状態が所定時間継続すると、入力候補データ１３１を入力画面１００から消去する。所定時間は、例えば、表示する予測入力候補の数に応じた時間とすることができる。本実施形態では、所定時間は、例えば、ユーザＵの入力平均時間に基づいて２秒となっている場合、入力平均時間に予測入力候補の数を乗じた時間となっている。そして、ＨＭＤ１０は、選択されない状態が所定時間継続すると、入力候補データ１３１を入力画面１００からフェードアウトさせる。また、ＨＭＤ１０は、予測入力候補の数に応じて所定時間を変化させることで、ユーザＵの確認中に入力候補データ１３１を消去することを回避できる。
　なお、本実施形態では、ＨＭＤ１０は、予測入力候補がユーザＵによって選択された後、当該予測入力候補を入力候補データ１３１として入力候補点Ｐに追従させる場合について説明するが、これに限定されない。例えば、ＨＭＤ１０は、予測入力候補がユーザＵに選択された場合に、入力候補の入力を確定させ、入力候補データ１３１の追従表示を終了させてもよい。
　本実施形態では、ＨＭＤ１０は、予測入力候補を操作入力部５０の操作によってユーザＵに選択させてもよい。例えば、操作入力部５０がゲーム機のコントローラである場合、ＨＭＤ１０は、予測入力候補を上下左右ボタンでフォーカスさせて決定ボタンで選択させたり、スティックボタンでフォーカスさせてスティックボタンの押し込みで選択させたりしてもよい。
　以上のように、第１の実施形態の変形例２に係るＨＭＤ１０は、入力候補データ１３１の入力候補を含む予測入力候補をユーザＵが選択可能にキーオブジェクト１１１に重畳させ、選択された予測入力候補を入力候補データ１３１とする。これにより、ＨＭＤ１０は、入力候補点Ｐの近傍に予測入力候補を表示して、ユーザＵに選択させることができる。その結果、ＨＭＤ１０は、ユーザＵの視線Ｌの移動量を低減させることができるので、視線Ｌを利用した入力効率を向上させることができる。
　図７は、第１の実施形態の変形例２に係る入力候補データ１３１の表示態様の例を示す図である。図７に示す変形Ｔ１の例では、ＨＭＤ１０は、入力候補データ１３１の下矢印１３１ａを記号１３１ｂに変更することができる。記号１３１ｂは、「＊」となっているが、これに限定されず、例えば「＋」、「～」等としてもよい。変形Ｔ２の例では、ＨＭＤ１０は、入力候補データ１３１の下矢印１３１ａを枠１３１ｃに変更することができる。枠１３１ｃは、入力候補データ１３１が示す「Ａｐｐｌ」の入力候補を取り囲む枠となっている。変形Ｔ３の例では、ＨＭＤ１０は、入力候補データ１３１の下矢印１３１ａを予測入力候補の一部を示す省略データ１３１ｄに変更することができる。省略データ１３１ｄは、入力候補の下方に表示する場合、予測入力候補の１つである「Ａｐｐｌｅ」の上半分を示し、下半分を省略したデータとなっている。省略データ１３１ｄは、入力候補の上方に表示する場合、予測入力候補の１つである「Ａｐｐｌｅ」の下半分を示し、上半分を省略したデータとしてもよい。
　なお、第１の実施形態の変形例２は、他の実施形態、変形例の入力候補データ１３０、１３１等と組み合わせてもよい。
［第１の実施形態の変形例３］
　例えば、第１の実施形態に係るＨＭＤ１０は、入力候補データ１３０のレイアウトを変更することができる。
　図８乃至図１４は、第１の実施形態の変形例３に係る入力候補データ１３０の表示例を説明するための図である。第１の実施形態の変形例３では、ＨＭＤ１０は、入力候補データ１３０と入力候補点Ｐが指示するキーオブジェクト１１１とを紐付けて入力候補データ１３０の重畳表示を行う。
　図８に示す例では、ＨＭＤ１０は、小文字のアルファベットのキーボード１１０を入力画面１００に表示した状態で、入力候補点Ｐが「ｅ」のキーオブジェクト１１１を指示していることを検出している。この場合、ＨＭＤ１０は、「ｎｉｃ」を示す入力候補データ１３０を、「ｅ」のキーオブジェクト１１１に紐付ける重畳表示を行う。ＨＭＤ１０は、入力候補データ１３０が示す「ｎｉｃ」と、キーオブジェクト１１１の「ｅ」の文字とが連続した１つの文字列と視認されるように、入力候補データ１３０をキーオブジェクト１１１の左側に表示している。これにより、ＨＭＤ１０は、入力候補データ１３０とキーオブジェクト１１１の文字とによって「ｎｉｃｅ」の文字列を、キーボード１１０上でユーザＵに認識させることができる。
　図９に示す例では、ＨＭＤ１０は、日本語のひらがなのキーボード１１０を入力画面１００に表示した状態で、入力候補点Ｐが「ね」のキーオブジェクト１１１を指示していることを検出している。図２とは異なり、入力言語が日本語や中国語といった縦書きの言語の場合、入力候補データ１３０は入力候補点Ｐの上方に配置されてもよい。この場合、ＨＭＤ１０は、「いい」を示す入力候補データ１３０を、「ね」のキーオブジェクト１１１に紐付ける重畳表示を行う。ＨＭＤ１０は、入力候補データ１３０が示す「いい」と、キーオブジェクト１１１の「ね」の文字とが連続した１つの文字列となるように、入力候補データ１３０をキーオブジェクト１１１の上側に延びるように表示している。これにより、ＨＭＤ１０は、入力候補データ１３０とキーオブジェクト１１１の文字とによって「いいね」の文字列を、キーボード１１０上でユーザＵに認識させることができる。
　図１０に示す例では、ＨＭＤ１０は、小文字のアルファベットのキーボード１１０を入力画面１００に表示した状態で、入力候補点Ｐが「ｅ」のキーオブジェクト１１１を指示していることを検出している。この場合、ＨＭＤ１０は、「ｖｅｒｙ　ｎｉｃ」を示す入力候補データ１３０を、「ｅ」のキーオブジェクト１１１に紐付ける重畳表示を行う。ＨＭＤ１０は、キーオブジェクト１１１の「ｅ」の文字の周囲に、入力候補データ１３０が示す「ｖｅｒｙ　ｎｉｃ」が位置するように、入力候補データ１３０をキーオブジェクト１１１の曲線軌道１１１Ｒ上に表示している。曲線軌道１１１Ｒは、例えば、キーオブジェクト１１１を囲み、かつワード識別限界の内部となっている。より具体的には、ＨＭＤ１０は、入力候補点Ｐの現在の位置に対応するキーオブジェクト１１１を中心とした円周方向に、入力候補データ１３０を選択された順で時計回りに配列する。これにより、ＨＭＤ１０は、キーオブジェクト１１１の文字を視認するだけで、これまでに選択した複数の入力候補を確認させることができる。図１０に示す例では、ＨＭＤ１０は、「ｖｅｒｙ」と「ｎｉｃ」の２つの単語をキーオブジェクト１１１の周囲に表示している。
　図１１に示す例では、ＨＭＤ１０は、上述の図８に示した表示を行った状態で、入力候補点Ｐが指示している「ｅ」のキーオブジェクト１１１がユーザＵによって選択されたことを検出している。この場合、ＨＭＤ１０は、入力候補データ１３０の最後の文字である「ｅ」を、キーオブジェクト１１１の文字に重ねるように表示している。これにより、ＨＭＤ１０は、「ｅ」のキーオブジェクト１１１が選択されて入力候補データ１３０が「ｎｉｃｅ」の入力候補となったことを、入力欄１２０を参照することなく、ユーザＵに認識させることができる。
　図１２に示す例では、ＨＭＤ１０は、小文字のアルファベットのキーボード１１０を入力画面１００に表示した状態で、入力候補点Ｐが「ｅ」のキーオブジェクト１１１を指示していることを検出している。この場合、ＨＭＤ１０は、「ｖｅｒｙ」と「ｎｉｃ」とを改行して示す入力候補データ１３０を、「ｅ」のキーオブジェクト１１１に紐付ける重畳表示を行う。ＨＭＤ１０は、キーオブジェクト１１１の「ｅ」の文字の左側に、入力候補データ１３０とキーオブジェクト１１１とがワード識別限界の内部に収まるように表示している。これにより、ＨＭＤ１０は、キーオブジェクト１１１の文字を視認するだけで、これまでに選択した入力候補を確認させることができる。
　図１３に示す例では、ＨＭＤ１０は、上述の図８に示したように、「ｎｉｃ」を示す入力候補データ１３０を、「ｅ」のキーオブジェクト１１１に紐付ける重畳表示を行う。ＨＭＤ１０は、入力候補データ１３０が示す「ｎｉｃ」と、キーオブジェクト１１１の「ｅ」の文字とが連続した１つの文字列となるように、入力候補データ１３０をキーオブジェクト１１１の左側に表示している。そして、ＨＭＤ１０は、入力候補データ１３０のフォントサイズをキーオブジェクト１１１の文字サイズよりも大きくしている。ＨＭＤ１０は、入力候補データ１３０の入力候補を枠１３２で囲み、当該入力候補の背景１３３を塗りつぶしている。これにより、ＨＭＤ１０は、入力候補データ１３０をキーオブジェクト１１１に重畳するよう表示した時の、入力候補点Ｐの周囲にある仮想オブジェクトの視認性を担保することができる。
　図１４に示す例では、ＨＭＤ１０は、上述の図８に示したように、「ｎｉｃ」を示す入力候補データ１３０を、「ｅ」のキーオブジェクト１１１に紐付ける重畳表示を行う。ＨＭＤ１０は、入力候補データ１３０が示す「ｎｉｃ」と、キーオブジェクト１１１の「ｅ」の文字とが連続した１つの文字列となるように、入力候補データ１３０をキーオブジェクト１１１の左側に表示している。ここで、「ｅ」のキーオブジェクト１１１の視認性を高めるために、ＨＭＤ１０は、入力候補データ１３０が示す「ｃ」の視認性を、入力候補データ１３０が示す「ｎｉ」の視認性よりも低く設定している。より具体的には、ＨＭＤ１０は、キーオブジェクト１１１と重なる入力候補データ１３０の部分（ここの例では「ｃ」）を、ユーザＵから視て当該キーオブジェクト１１１の奥側（裏側）に配置し、キーオブジェクト１１１を半透明で表示する。すなわち、ＨＭＤ１０は、入力候補データ１３０が示す「ｃ」を視認できる状態を維持しつつ、キーオブジェクト１１１を入力候補データ１３０に重畳させている。この状態において、ＨＭＤ１０は、ユーザＵの嗜好に応じた表示態様で入力候補データ１３０を表示できる。したがって、入力候補点Ｐに対応するキーオブジェクト１１１の視認性の低下を抑制することができる。
　なお、上述の第１の実施形態に係るＨＭＤ１０は、入力候補データ１３０の文字色を動的に変更してもよい。例えば、ＨＭＤ１０は、アクセシビリティ等を考慮して、背景色と同化しないように入力候補データ１３０の文字色を変更してもよい。例えば、ＨＭＤ１０は、外光などの環境条件に合わせて入力候補データ１３０の文字色を変更してもよい。
　以上のように、第１の実施形態の変形例３に係るＨＭＤ１０は、入力候補データ１３０と入力候補点Ｐが指示するキーオブジェクト１１１とを紐付ける入力候補データ１３０の重畳表示を行う。これにより、ＨＭＤ１０は、ユーザＵに対して様々な表示態様を提供することができる。その結果、ＨＭＤ１０は、視線Ｌを利用した入力効率を向上するとともに、ユーザＵの利便性を向上させる。
　なお、第１の実施形態の変形例３は、他の実施形態、変形例の入力候補データ１３０、１３１等と組み合わせてもよい。
　上記の第１の実施形態では、ＨＭＤ１０は、入力画面１００にキーボード１１０を表示する場合について説明したが、これに限定されない。例えば、ＨＭＤ１０は、物理的なキーボードをユーザＵに視認させ、物理的なキーボード上に入力候補データ１３０を重畳させてもよい。
（第２の実施形態）
［第２の実施形態に係る情報処理装置の概要］
　次に、第２の実施形態について説明する。第２の実施形態に係る情報処理装置は、第１の実施形態と同様に、ヘッドマウントディスプレイ（ＨＭＤ）１０である。ＨＭＤ１０は、表示部１１と、検出部１２と、通信部１３と、記憶部１４と、制御部１５と、を備える。なお、第１の実施形態に係るＨＭＤ１０と同様の構成については、説明を省略する。なお、本実施形態における入力欄１２０は、選択されるとともに確定された入力候補データ１３０と、選択されたものの確定されていない入力候補データ１３０の両方を表示するものと見做されてよい。
　図１５は、第２の実施形態に係る情報処理方法の一例を説明するための図である。図１５に示すように、ＨＭＤ１０は、仮想空間に入力画面１００Ｂを立体表示する機能を有する。ＨＭＤ１０は、入力画面１００ＢにおけるユーザＵの視線の移動と操作入力部５０の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。例えば、ＨＭＤ１０は、入力画面１００ＢをユーザＵの弁別視野に表示する。例えば、ＨＭＤ１０は、ユーザＵの眼前に入力画面１００Ｂを表示させ、ユーザＵの視線情報に基づいて入力画面１００Ｂにおける入力候補点Ｐを検出する。
　図１５に示す例では、入力画面１００Ｂは、キーボード１１０と、入力欄１２０と、を有する。キーボード１１０は、複数のキーオブジェクト１１１を有する。本実施形態では、キーボード１１０は、ＱＷＥＲＴＹ配列のキーボードの場合について説明するが、これに限定されない。キーボード１１０は、ユーザＵの視線Ｌの移動に応じて移動されて表示される。入力欄１２０は、仮想空間における所定位置に表示される。すなわち、ＨＭＤ１０は、入力欄１２０の表示位置を固定した状態で、当該入力欄１２０の背後を移動可能なキーボード１１０を入力画面１００Ｂに表示させる。本実施形態では、ＨＭＤ１０は、入力欄１２０の背後のキーボード１１０をユーザＵの視線Ｌに応じて移動させる。換言すると、ＨＭＤ１０は、入力欄１２０を基準にして、キーボード１１０を上下、左右にスクロールさせる。なお、ＨＭＤ１０は、入力欄１２０をキーボード１１０上から外部にはみ出すように表示してもよいし、入力欄１２０をキーボード１１０上から外部にはみ出さないように表示してもよい。そして、ＨＭＤ１０は、入力候補データ１３０を入力欄１２０に表示する。
　図１５に示すステップＳ３１では、ユーザＵは、「Ｇｏｏｄｍｏｒｎｉｎｇ」の文字列を入力する場合に、「Ｇｏｏｄｍｏｒｎｉ」までの入力が終了している。この場合、ＨＭＤ１０は、「Ｇｏｏｄｍｏｒｎｉ」を示す入力候補データ１３０を、キーボード１１０上の入力欄１２０に重畳するよう表示する。そして、ユーザＵは、「ｎ」のキーオブジェクト１１１近傍に視線Ｌを移動させている。この場合、ＨＭＤ１０は、入力候補点Ｐが「ｎ」のキーオブジェクト１１１の近傍にあることを検出すると、入力候補点Ｐが指示する「ｎ」のキーオブジェクト１１１が入力欄１２０に位置するように、キーボード１１０の表示位置を変更する。すなわち、入力候補点Ｐが指示する「ｎ」のキーオブジェクト１１１が入力欄１２０に位置するように、キーオブジェクト１１１と入力欄１２０との相対的な位置関係を変更する。より具体的には、ＨＭＤ１０は、キーオブジェクト１１１と入力欄１２０を近づけ、入力欄１２０内にキーオブジェクト１１１を表示する。本実施形態では、ＨＭＤ１０は、キーボード１１０をスクロールさせることで、入力候補点Ｐを入力欄１２０に位置付ける。そして、ＨＭＤ１０は、キーオブジェクト１１１の文字「ｎ」が入力候補データ１３０の最後の文字として視認されるように、キーボード１１０をスクロールさせる。その結果、ＨＭＤ１０は、入力欄１２０の「Ｇｏｏｄｍｏｒｎｉ」とキーオブジェクト１１１の「ｎ」とを連続した文字列としてユーザＵに視認させることができる。
　ステップＳ３２では、ＨＭＤ１０は、「Ｇｏｏｄｍｏｒｎｉｎ」を示す入力候補データ１３０を、キーボード１１０上の入力欄１２０に重畳するよう表示する。そして、ユーザＵは、「ｇ」のキーオブジェクト１１１近傍に視線Ｌを移動させている。この場合、ＨＭＤ１０は、入力候補点Ｐが「ｇ」のキーオブジェクト１１１近傍であることを検出すると、入力候補点Ｐが指示する「ｇ」のキーオブジェクト１１１が入力欄１２０に位置するように、キーボード１１０の表示位置を変更する。本実施形態では、ＨＭＤ１０は、キーオブジェクト１１１の文字「ｇ」が入力候補データ１３０の最後の文字として視認されるように、キーボード１１０をスクロールさせる。その結果、ＨＭＤ１０は、入力欄１２０の「Ｇｏｏｄｍｏｒｎｉ」とキーオブジェクト１１１の「ｎ」とを連続した文字列としてユーザＵに視認させることができる。
　なお、本実施形態では、ＨＭＤ１０は、入力欄１２０を固定して表示する場合について説明するが、これに限定されない。例えば、ＨＭＤ１０は、ユーザＵの視線Ｌの移動量、視認位置等に基づいて、キーボード１１０と入力欄１２０とを相対的に移動させてもよい。
　以上のように、第２の実施形態に係るＨＭＤ１０は、複数のキーオブジェクト１１１に入力欄１２０を重畳させ、入力候補点Ｐが指示するキーオブジェクト１１１が入力欄１２０に位置するように、複数のキーオブジェクト１１１の表示位置を変更する。これにより、ＨＭＤ１０は、ユーザＵが入力欄１２０に視線Ｌを移動させる移動量を低減させることができる。その結果、ＨＭＤ１０は、入力候補データ１３０へのユーザＵの視線Ｌの移動量を低減させることで、ユーザＵの身体的な負荷を軽減して入力結果を確認させることができる。
　また、ＨＭＤ１０は、入力欄１２０の表示位置を変更せずに、入力候補点Ｐによって選択されたキーオブジェクト１１１が入力欄１２０に位置するように、複数のキーオブジェクト１１１の表示位置を変更する。これにより、ＨＭＤ１０は、入力欄１２０の表示位置を固定し、キーオブジェクト１１１を移動させることで、視線Ｌを用いた入力操作を向上させることができる。その結果、ＨＭＤ１０は、ユーザＵの身体的な負荷を軽減して斬新な入力を実現させることができる。
　なお、第２の実施形態は、他の実施形態、変形例の入力候補データ１３０、１３１等と組み合わせてもよい。
（第３の実施形態）
［第３の実施形態に係る情報処理装置の概要］
　次に、第２の実施形態について説明する。図１６は、第３の実施形態に係る情報処置方法の一例を説明するための図である。図１６に示すように、第２の実施形態に係る情報処理装置は、タブレット端末１０Ａである。タブレット端末１０Ａは、上述した表示部１１と、検出部１２と、通信部１３と、記憶部１４と、制御部１５と、を備える。なお、第１の実施形態に係るＨＭＤ１０と同様の構成については、説明を省略する。
　タブレット端末１０Ａは、表示部１１に入力画面１００を表示する機能を有する。タブレット端末１０Ａは、入力画面１００におけるユーザＵの視線Ｌの移動と操作入力部５０の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。例えば、タブレット端末１０Ａは、ユーザＵの眼前に入力画面１００を表示させ、ユーザＵの視線情報に基づいて入力画面１００における入力候補点Ｐを検出部１２によって検出する。
　図１６に示す例では、入力画面１００は、キーボード１１０と、入力欄１２０と、を有する。キーボード１１０は、複数のキーオブジェクト１１１を有する。入力欄１２０は、入力画面１００におけるキーボード１１０の表示領域とは異なる表示領域に表示されている。入力欄１２０は、キーボード１１０から離れた入力画面１００の上部に表示されている。
　タブレット端末１０Ａは、表示部１１に入力画面１００を表示する機能を有する。タブレット端末１０Ａは、入力画面１００におけるユーザＵの視線の移動と操作入力部５０の操作とを組み合わせて文字、記号等の入力を行う入力機能を有する。タブレット端末１０Ａは、タブレット端末１０Ａを視認しているユーザＵの視線情報に基づいて、入力画面１００における入力候補点Ｐを検出部１２によって検出する。検出部１２は、入力画面１００からユーザＵの視点位置Ｅまでの距離を検出する。本実施形態では、検出部１２は、視点位置Ｅから人間が文字を認識できる視野角度の範囲Ｒにおける距離Ｄを検出する。範囲Ｒは、視線Ｌから文字を認識できる視野角度θを通る直線と視線Ｌとが交わった入力画面１００の一対の点と視点位置Ｅと結ぶ領域となっている。なお、人間が文字を認識できる視野角度の範囲Ｒは、本開示における入力候補点Ｐの近傍の一例である。
　タブレット端末１０Ａの表示制御部１５ｃは、入力候補データ１３０を入力候補点Ｐに追従させる機能を有する。表示制御部１５ｃは、追従表示を適用する入力候補データ１３０のデータ数を制御する機能を有する。表示制御部１５ｃは、入力候補データ１３０のデータ数が制限数になると、追従するように表示させる入力候補データ１３０の一部を省略する機能を有する。表示制御部１５ｃは、検出部１２が検出した入力画面１００から視点位置Ｅまでの距離Ｄに基づいて入力候補データ１３０のデータ数を変更する機能を有する。例えば、表示制御部１５ｃは、入力画面１００から視点位置Ｅまでの距離Ｄと視野角度θとに基づいて、入力候補点Ｐに対応した入力画面１００上の長さＸを算出し、当該長さＸに基づいて入力候補データ１３０のデータ数を変更する。具体的には、表示制御部１５ｃは、算出式（１）によって入力画面１００上の長さＸを算出する。
　Ｘ＝Ｄ＊ｔａｎθ　・・・（１）
　表示制御部１５ｃは、例えば、視点位置Ｅと入力画面１００との距離が６０ｃｍ、視野角度θが５度である場合、入力画面１００上の長さＸを約５．２ｃｍと算出する。この場合、表示制御部１５ｃは、長さＸの範囲に収まるように、入力候補データ１３０のデータ数を決定する。図１６に示す例では、表示制御部１５ｃは、データ数を３文字と決定し、「ｖｅｒｙ　ｎｉｃ」の入力候補のうちの最後の３文字に基づいて、「…ｎｉｃ」を示す入力候補データ１３０を入力候補点Ｐに追従させる。なお、入力候補データ１３０のデータ数の決定方法は、上述した第１及び第２の実施形態でも用いることができる。
　タブレット端末１０Ａは、入力画面１００を視認するユーザＵの視点位置Ｅが遠い場合と近い場合とで、キーボード１１０上に重畳させる入力候補データ１３０のデータ数を変更してもよい。また、タブレット端末１０Ａは、入力画面１００から視点位置Ｅまでの距離Ｄに基づいて、重畳させる入力候補データ１３０のフォントサイズを変更してもよい。また、タブレット端末１０Ａは、入力画面１００から視点位置Ｅまでの距離Ｄを常時監視することで、距離Ｄの変化に応じて入力候補データ１３０のデータ数、フォントサイズ等を変更してもよい。
　以上のように、第３の実施形態に係るタブレット端末１０Ａは、検出部１２が検出した入力画面１００から視点位置Ｅまでの距離Ｄに基づいて、重畳表示を適用する入力候補データ１３０のデータ数を変更する。これにより、タブレット端末１０Ａは、ユーザＵの視点位置Ｅに適した入力候補データ１３０の重畳表示を行うことができる。その結果、タブレット端末１０Ａは、入力候補データ１３０へのユーザＵの視線Ｌの移動量を低減させるととともに、重畳表示させた入力候補データ１３０の視認性を向上させることができる。
　なお、第３の実施形態に、他の実施形態、変形例の技術思想を組み合わせてもよい。
［ハードウェア構成］
　上述してきた実施形態に係る情報処理装置は、例えば図１７に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置を例に挙げて説明する。図１７は、情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、選択部１５ａ、編集部１５ｂ、表示制御部１５ｃ等の機能を含む制御部１５を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部１４内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、本明細書の情報処理装置の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出する検出部と、
　前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御する制御部と、
　を備える情報処理装置。
（２）
　前記制御部は、前記表示された入力候補情報の位置が前記注視点の位置に追従するよう前記表示部を制御する
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記注視点の位置に追従する、表示される前記選択された入力候補情報の数を制限する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、前記選択された入力候補情報の数が制限数より大きい場合、表示される前記選択された入力候補情報の数を前記制限数以下に制限する
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記制御部は、前記入力候補情報が表示されてから前記複数のキーオブジェクトのいずれも選択されない状態が所定時間継続した場合、前記表示された入力候補情報の少なくとも一部を消去するよう前記表示部を制御する
　前記（４）に記載の情報処理装置。
（６）
　前記制御部は、前記選択された入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つに隣接するように前記表示部を制御する
　前記（２）に記載の情報処理装置。
（７）
　前記選択された入力候補情報は、前記注視点に基づいて順次に選択された複数の入力候補情報を含み、
　前記制御部は、前記複数の入力候補情報のうち最新の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つに隣接するように前記表示部を制御する
　前記（６）に記載の情報処理装置。
（８）
　前記制御部は、前記複数の入力候補情報を、選択された順で所定の方向に配列するよう前記表示部を制御する
　前記（７）に記載の情報処理装置。
（９）
　前記所定の方向は、水平方向であり、
　前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つの左側に隣接するように前記表示部を制御する
　前記（８）に記載の情報処理装置。
（１０）
　前記所定の方向は、上下方向であり、
　前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つの上方に隣接するように前記表示部を制御する
　前記（８）に記載の情報処理装置。
（１１）
　前記所定の方向は、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つを中心とした円周方向であり、
　前記制御部は、前記複数の入力候補情報が、前記選択された順で前記円周方向に沿って時計回りに配列されるよう前記表示部を制御する
　前記（８）に記載の情報処理装置。
（１２）
　前記制御部は、前記複数の入力候補情報の端部を、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つに隣接する他のキーオブジェクトに重畳させるよう前記表示部を制御する
　前記（８）に記載の情報処理装置。
（１３）
　前記制御部は、前記選択された入力候補情報を入力欄内に表示するとともに、前記複数のキーオブジェクトのうち少なくとも１つに入力欄を重畳させ、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つが前記入力欄内に位置するように、前記複数のキーオブジェクトと前記入力欄の相対的な位置関係を変更する
　前記（６）に記載の情報処理装置。
（１４）
　前記制御部は、前記入力欄の表示位置を変更せずに、前記複数のキーオブジェクトの表示位置を変更する
　前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記ユーザから見て奥行方向において、前記入力候補情報が前記キーオブジェクトの手前に立体的に配置されるように前記表示部を制御する
　前記（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
　前記制御部は、前記複数のキーオブジェクトの表示範囲外に入力欄を表示し、前記注視点に基づいて選択された前記入力候補情報を、前記入力欄に表示するよう前記表示部を制御する
　前記（１）から（１５）のいずれかに記載の情報処理装置。
（１７）
　前記制御部は、前記視線情報に関する所定の条件が満たされた場合、前記注視点の近傍にある前記入力候補情報の少なくとも一部の表示を省略あるいは消去しつつ、前記入力欄にある前記入力候補情報の前記少なくとも一部の表示を維持する
　前記（１６）に記載の情報処理装置。
（１８）
　前記制御部は、前記選択された入力候補情報に基づいて予測され、前記注視点に基づいて選択可能である予測入力候補情報を、前記注視点の近傍に表示するよう前記表示部を制御する
　前記（１）から（１７）のいずれかに記載の情報処理装置。
（１９）
　前記検出部は、仮想空間内に設定された前記複数のキーオブジェクトを含む仮想平面から、前記仮想空間内における前記ユーザの視点位置までの距離を検出し、
　前記制御部は、前記検出部が検出した前記視点位置までの距離に基づいて、前記入力候補情報のデータ数を変更する
　前記（１）から（１８）のいずれかに記載の情報処理装置。
（２０）
　コンピュータが、
　ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
　前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
　を含む情報処理方法。
（２１）
　コンピュータに、
　ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
　前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
　を実行させるプログラム。
　１０　ヘッドマウントディスプレイ（ＨＭＤ）
　１１　表示部
　１２　検出部
　１３　通信部
　１４　記憶部
　１５　制御部
　１５ａ　選択部
　１５ｂ　編集部
　１５ｃ　表示制御部
　５０　操作入力部
　１００　入力画面
　１１０　キーボード
　１１１　キーオブジェクト
　１２０　入力欄
　１３０　入力候補データ
　Ｌ　視線
　Ｐ　入力候補点
　Ｕ　ユーザ

Claims (21)

  1. 　ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出する検出部と、
    　前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御する制御部と、
    　を備える情報処理装置。
  2. 　前記制御部は、前記表示された入力候補情報の位置が前記注視点の位置に追従するよう前記表示部を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記注視点の位置に追従する、表示される前記選択された入力候補情報の数を制限する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記選択された入力候補情報の数が制限数より大きい場合、表示される前記選択された入力候補情報の数を前記制限数以下に制限する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記入力候補情報が表示されてから前記複数のキーオブジェクトのいずれも選択されない状態が所定時間継続した場合、前記表示された入力候補情報の少なくとも一部を消去するよう前記表示部を制御する
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記選択された入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つに隣接するように前記表示部を制御する
    　請求項２に記載の情報処理装置。
  7. 　前記選択された入力候補情報は、前記注視点に基づいて順次に選択された複数の入力候補情報を含み、
    　前記制御部は、前記複数の入力候補情報のうち最新の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つに隣接するように前記表示部を制御する
    　請求項６に記載の情報処理装置。
  8. 　前記制御部は、前記複数の入力候補情報を、選択された順で所定の方向に配列するよう前記表示部を制御する
    　請求項７に記載の情報処理装置。
  9. 　前記所定の方向は、水平方向であり、
    　前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つの左側に隣接するように前記表示部を制御する
    　請求項８に記載の情報処理装置。
  10. 　前記所定の方向は、上下方向であり、
    　前記制御部は、前記複数の入力候補情報が、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つの上方に隣接するように前記表示部を制御する
    　請求項８に記載の情報処理装置。
  11. 　前記所定の方向は、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つを中心とした円周方向であり、
    　前記制御部は、前記複数の入力候補情報が、前記選択された順で前記円周方向に沿って時計回りに配列されるよう前記表示部を制御する
    　請求項８に記載の情報処理装置。
  12. 　前記制御部は、前記複数の入力候補情報の端部を、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つに隣接する他のキーオブジェクトに重畳させるよう前記表示部を制御する
    　請求項８に記載の情報処理装置。
  13. 　前記制御部は、前記選択された入力候補情報を入力欄内に表示するとともに、前記複数のキーオブジェクトのうち少なくとも１つに入力欄を重畳させ、前記注視点の現在の位置に対応する前記複数のキーオブジェクトのうち１つが前記入力欄内に位置するように、前記複数のキーオブジェクトと前記入力欄の相対的な位置関係を変更する
    　請求項６に記載の情報処理装置。
  14. 　前記制御部は、前記入力欄の表示位置を変更せずに、前記複数のキーオブジェクトの表示位置を変更する
    　請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記ユーザから見て奥行方向において、前記入力候補情報が前記キーオブジェクトの手前に立体的に配置されるように前記表示部を制御する
    　請求項１に記載の情報処理装置。
  16. 　前記制御部は、前記複数のキーオブジェクトの表示範囲外に入力欄を表示し、前記注視点に基づいて選択された前記入力候補情報を、前記入力欄に表示するよう前記表示部を制御する
    　請求項１に記載の情報処理装置。
  17. 　前記制御部は、前記視線情報に関する所定の条件が満たされた場合、前記注視点の近傍にある前記入力候補情報の少なくとも一部の表示を省略あるいは消去しつつ、前記入力欄にある前記入力候補情報の前記少なくとも一部の表示を維持する
    　請求項１６に記載の情報処理装置。
  18. 　前記制御部は、前記選択された入力候補情報に基づいて予測され、前記注視点に基づいて選択可能である予測入力候補情報を、前記注視点の近傍に表示するよう前記表示部を制御する
    　請求項１に記載の情報処理装置。
  19. 　前記検出部は、仮想空間内に設定された前記複数のキーオブジェクトを含む仮想平面から、前記仮想空間内における前記ユーザの視点位置までの距離を検出し、
    　前記制御部は、前記検出部が検出した前記視点位置までの距離に基づいて、前記入力候補情報のデータ数を変更する
    　請求項１に記載の情報処理装置。
  20. 　コンピュータが、
    　ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
    　前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
    　を含む情報処理方法。
  21. 　コンピュータに、
    　ユーザの視線を示す視線情報に基づいて、表示部によって表示された情報を入力するための複数のキーオブジェクトにおける、前記ユーザの注視点を検出すること、
    　前記注視点に基づいて選択された、前記複数のキーオブジェクトの少なくとも１つに対応する入力候補情報を、前記検出された注視点の位置を基準に表示するよう前記表示部を制御すること
    　を実行させるプログラム。
PCT/JP2020/009681 2019-03-28 2020-03-06 情報処理装置、情報処理方法及びプログラム WO2020195709A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080021918.8A CN113597594A (zh) 2019-03-28 2020-03-06 信息处理装置、信息处理方法和程序
JP2021508940A JPWO2020195709A1 (ja) 2019-03-28 2020-03-06
US17/430,550 US20220129069A1 (en) 2019-03-28 2020-03-06 Information processing apparatus, information processing method, and program
EP20778183.2A EP3951560A4 (en) 2019-03-28 2020-03-06 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019063898 2019-03-28
JP2019-063898 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020195709A1 true WO2020195709A1 (ja) 2020-10-01

Family

ID=72610087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009681 WO2020195709A1 (ja) 2019-03-28 2020-03-06 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20220129069A1 (ja)
EP (1) EP3951560A4 (ja)
JP (1) JPWO2020195709A1 (ja)
CN (1) CN113597594A (ja)
WO (1) WO2020195709A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112371917A (zh) * 2020-11-02 2021-02-19 丹东大王精铸有限公司 一种砂铸产品快速确认ut检测点的工具及制作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249804A (ja) 1998-12-11 1999-09-17 Canon Inc 視線検出を用いた文字，符号等の入力方法および装置
US20170322623A1 (en) * 2016-05-05 2017-11-09 Google Inc. Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
JP2018032383A (ja) * 2017-07-07 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US20180307303A1 (en) * 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182465A (ja) * 1993-12-22 1995-07-21 Hitachi Ltd 文字認識方法
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US8917238B2 (en) * 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
KR102313353B1 (ko) * 2013-07-29 2021-10-18 삼성전자주식회사 캐릭터 입력 방법 및 디스플레이 장치
US20150160855A1 (en) * 2013-12-10 2015-06-11 Google Inc. Multiple character input with a single selection
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249804A (ja) 1998-12-11 1999-09-17 Canon Inc 視線検出を用いた文字，符号等の入力方法および装置
US20170322623A1 (en) * 2016-05-05 2017-11-09 Google Inc. Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US20180307303A1 (en) * 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
JP2018032383A (ja) * 2017-07-07 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3951560A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112371917A (zh) * 2020-11-02 2021-02-19 丹东大王精铸有限公司 一种砂铸产品快速确认ut检测点的工具及制作方法

Also Published As

Publication number Publication date
JPWO2020195709A1 (ja) 2020-10-01
CN113597594A (zh) 2021-11-02
EP3951560A1 (en) 2022-02-09
EP3951560A4 (en) 2022-05-04
US20220129069A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10495878B2 (en) Mobile terminal and controlling method thereof
US9697648B1 (en) Text functions in augmented reality
US9996308B2 (en) Tethering type head mounted display and method for controlling the same
JP6347158B2 (ja) 表示端末装置、プログラム及び表示方法
CN110058759B (zh) 显示装置及图像显示方法
WO2021244145A1 (zh) 头戴显示设备的交互方法、终端设备及存储介质
JP7389270B2 (ja) 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US10241571B2 (en) Input device using gaze tracking
CN108958577B (zh) 基于可穿戴设备的窗口操作方法、装置、穿戴设备及介质
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
US10963063B2 (en) Information processing apparatus, information processing method, and program
US11327630B1 (en) Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
US20180284950A1 (en) Display method and terminal
JP2022000787A (ja) 画像制御方法およびプログラム
WO2020195709A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
US20230259265A1 (en) Devices, methods, and graphical user interfaces for navigating and inputting or revising content
KR102325684B1 (ko) 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
JP2021009552A (ja) 情報処理装置、情報処理方法およびプログラム
KR20230080081A (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778183

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508940

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020778183

Country of ref document: EP

Effective date: 20211028