WO2021256520A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2021256520A1
WO2021256520A1 PCT/JP2021/022928 JP2021022928W WO2021256520A1 WO 2021256520 A1 WO2021256520 A1 WO 2021256520A1 JP 2021022928 W JP2021022928 W JP 2021022928W WO 2021256520 A1 WO2021256520 A1 WO 2021256520A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
condition
determination unit
image
head
Prior art date
Application number
PCT/JP2021/022928
Other languages
English (en)
French (fr)
Inventor
達哉 西▲崎▼
一興 市川
望 松本
怜央 水田
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2022531887A priority Critical patent/JP7497434B2/ja
Publication of WO2021256520A1 publication Critical patent/WO2021256520A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present invention relates to a head-mounted display.
  • Patent Document 1 discloses an HMD (head-mounted display) including a camera. This HMD displays a character input field at a position that does not overlap with the keyboard when both the keyboard and the user's hand are shown in the image generated by the camera.
  • the HMD described in Patent Document 1 has characters in a position that does not overlap with the keyboard when both the keyboard and the user's hand are accidentally shown in the image generated by the camera in a situation where the user does not intend to input characters.
  • the input field is displayed. That is, this HDM may display the character input field at a position that does not overlap with the keyboard, contrary to the intention of the user. Therefore, there is a demand for a technique capable of limiting the display of a character input field at a position that does not overlap with an input device such as a keyboard, contrary to the intention of the user.
  • An object of the present invention is to provide a technique capable of restricting the display of a character input field at a position that does not overlap with an input device, contrary to the intention of the user.
  • the head mount display has a display surface located in the user's field of view and a first input field on the display surface in a state where the head mount display is attached to the user's head.
  • an input determination unit for determining whether or not characters can be input in the first input field from an input device for inputting characters according to an operation performed by the user, and an input determination unit.
  • the presence determination unit for determining whether or not the input device exists in the first portion in the first state, and the determination result of the input determination unit are The first condition determination unit for determining whether or not the first condition including the input condition of being affirmative and the existence condition that the determination result of the existence determination unit is affirmative is satisfied, and the first condition determination. If the determination result of the unit is affirmative, instead of displaying the first image on the display surface, a second input in which characters are input from the input device in an area of the display surface that does not overlap with the input device. A display control unit for displaying a second image representing a column is included.
  • the head-mounted display has a display surface located in the user's field of view and a line of sight indicating the direction of the user's line of sight when the head-mounted display is mounted on the user's head.
  • the line-of-sight determination unit that determines whether or not the user is looking at an input device for inputting characters according to the operation performed by the user, and the orientation data indicating the orientation of the head-mounted display.
  • the orientation determination unit that determines whether or not the head-mounted display is downward by the first angle or more with respect to the horizon, the line-of-sight condition that the determination result of the line-of-sight determination unit is affirmative, and the orientation determination.
  • the orientation condition that the determination result of the unit is affirmative, the second condition determination unit for determining whether or not the second condition including the second condition is satisfied, and the first image representing the first input field are displayed on the display surface. If the determination result of the second condition determination unit is affirmative in the above situation, instead of displaying the first image on the display surface, a second input field in which characters are input from the input device on the display surface.
  • the head-mounted display has a display surface located in the user's field of view and a first input to the display surface in a state where the head-mounted display is attached to the user's head.
  • the input determination unit for determining whether or not the character can be input to the first input field from the input device for inputting the character according to the operation performed by the user.
  • the orientation determination unit for determining whether or not the head-mounted display is downward by the first angle or more with respect to the horizon, and the input determination unit.
  • a third condition determination unit for determining whether or not a third condition including an input condition that the result is affirmative and an orientation condition that the determination result of the orientation determination unit is affirmative is satisfied, and the display surface.
  • the determination result of the third condition determination unit is affirmative in the situation where the first image is displayed, instead of displaying the first image on the display surface, characters from the input device are displayed on the display surface.
  • a display control unit for displaying the second image, which is a second image representing the second input field to which is input and is smaller than the first image.
  • FIG. 1 is a diagram showing a display input system 1.
  • the display input system 1 includes an HMD (Head Mounted Display) 100 and a keyboard 200.
  • HMD Head Mounted Display
  • the HMD100 is, for example, a spectacle-type display device that employs an optical see-through format.
  • the HMD 100 may be a spectacle-type display device that employs a video see-through format.
  • the user U attaches the HMD 100 to the head U2 of the user U in the same manner as the glasses.
  • the state in which the user U wears the HMD 100 is referred to as a "wearing state".
  • the HMD 100 includes a display unit 120, a field of view camera 130, a line-of-sight camera 140, and a touch operation unit 160.
  • the display unit 120 includes a facing surface 120a facing the user U in the mounted state and an outer surface 120b on the opposite side of the facing surface 120a.
  • the facing surface 120a has a first display surface B1 for the right eye and a second display surface B2 for the left eye.
  • first display surface B1 and the second display surface B2 are collectively referred to as "display surface B".
  • the display surface B is located in the field of view of the user U in the mounted state.
  • the display surface B displays various images.
  • the display unit 120 includes an image generation unit and a half mirror.
  • the image generation unit is, for example, a liquid crystal display device or an organic EL (Electronic Luminescent) display device.
  • the image generation unit generates a display image.
  • the half mirror reflects the light indicating the display image output by the image generation unit toward the display surface B. Further, the half mirror passes light from the outer surface 120b side toward the user U's eyes U1. The user U visually recognizes the image formed by the light passing through the half mirror and the display image generated by the image generation unit via the display surface B. The displayed image is superimposed on the image formed by the light passing through the half mirror.
  • the display unit 120 includes a display.
  • the display surface B is the screen of the display.
  • the display unit 120 displays on the display surface B a field image indicated by the field image data generated by the field camera 130 and a display image different from the field image.
  • the display image is superimposed on the field image.
  • the user U visually recognizes the visual field image and the displayed image.
  • the field of view camera 130 includes an image pickup lens and an image sensor.
  • the image sensor is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the field of view camera 130 is provided on the outer surface 120b.
  • the image pickup direction of the field-of-view camera 130 is a direction from the facing surface 120a toward the outer surface 120b. If the direction from the facing surface 120a to the outer surface 120b is used as the imaging direction, the visual field camera 130 may be provided in a portion different from the outer surface 120b in the HMD 100.
  • the field of view camera 130 generates field of view image data indicating the field of view image by capturing the imaging range of the field of view camera 130.
  • the field of view image represents the imaging range of the field of view camera 130.
  • the visual field image represents an image of an object existing in the imaging range of the visual field camera 130.
  • the imaging range of the field-of-view camera 130 is a part of the field of view of the user U.
  • the image pickup range of the field of view camera 130 is an example of the first part of the field of view of the user U.
  • the visual field image indicated by the visual field image data is displayed on the display surface B.
  • the display surface B is located in a part of the field of view of the user U. Therefore, when the HMD 100 is a spectacle-type display device that employs a video see-through format, the display surface B is an example of the first portion of the field of view of the user U.
  • the field of view image data is an example of image data showing the first part of the field of view of the user U.
  • the line-of-sight camera 140 includes an image pickup lens and an image sensor.
  • the image pickup lens of the line-of-sight camera 140 is, for example, a fisheye lens.
  • the line-of-sight camera 140 is provided on the facing surface 120a.
  • the line-of-sight camera 140 generates image capture data around the eyes by imaging the eyes U1 of the user U.
  • the eye area imaging data represents at least one of the two eyes U1 of the user U.
  • the eye area imaging data is an example of line-of-sight data indicating the direction of the line-of-sight of the user U. If the line-of-sight camera 140 can image at least one of the two eyes U1, the line-of-sight camera 140 may be provided on the HMD 100 at a portion different from the facing surface 120a.
  • the touch operation unit 160 is, for example, a pressure sensor.
  • the touch operation unit 160 may include an operation button.
  • the touch operation unit 160 receives a touch operation or the like performed by the user U.
  • the HMD 100 wirelessly communicates with the keyboard 200.
  • the keyboard 200 is an example of an input device for inputting characters according to an operation performed by the user U.
  • the input device is not limited to the keyboard and can be changed as appropriate.
  • FIG. 3 is a diagram showing a first image G1 which is an example of a display image.
  • the first image G1 includes a first input field A1 in which characters and the like are input from the keyboard 200.
  • the first input field A1 is, for example, an input box. When the first input field A1 is selected, a situation occurs in which the user U can input characters or the like from the keyboard 200 into the first input field A1.
  • the first image G1 includes explanatory information C1 for explaining the first image G1 in addition to the first input field A1.
  • the first image G1 may not include the explanatory information C1.
  • the first image G1 is, for example, an image of a search site.
  • the HMD 100 acquires the first image data indicating the first image G1 from a search site or the like via a network such as the Internet.
  • the HMD 100 acquires the first image data from a search site or the like in response to an operation performed by the user U on the HMD 100 in a state of being connected to the Internet without going through a terminal device such as a smartphone.
  • a smartphone is an example of an information processing device.
  • the information processing device is not limited to a smartphone, and may be, for example, a tablet terminal device or a personal computer.
  • the HMD 100 may acquire the first image data via a smartphone connected to the Internet.
  • the smartphone acquires the first image data from the search site or the like and transmits the first image data to the HMD 100 in response to the operation performed by the user U on the smartphone while connected to the Internet.
  • the first image G1 is not limited to the image of the search site.
  • FIG. 4 is a diagram showing a second image G2 which is another example of the display image.
  • the second image G2 includes a second input field A2 in which characters and the like are input from the keyboard 200.
  • the second input field A2 has the same function as that of the first input field A1.
  • the second input field A2 is, for example, an input box.
  • the second image G2 is an image showing only the second input field A2.
  • the second image G2 may include explanatory information for explaining the second image G2 in addition to the second input field A2.
  • the area of the second image G2 is smaller than the area of the first image G1.
  • the area of the portion G2a of the second image G2 different from the second input field A2 is smaller than the area of the portion G1a of the first image G1 different from the first input field A1.
  • the area of the second input field A2 is, for example, equal to or larger than the area of the first input field A1. Therefore, the user U is more likely to input characters in the second input field A2 than in the first input field A1.
  • the second image G2 is also referred to as an image specialized for inputting characters and the like.
  • the area of the second input field A2 may be smaller than the area of the first input field A1.
  • FIG. 5 is a block diagram showing an example of the HMD 100.
  • the HMD 100 includes a display unit 120, a field of view camera 130, a line-of-sight camera 140, a touch operation unit 160, a communication unit 110, an orientation sensor 150, a storage device 170, and a processing device 180.
  • the communication unit 110 includes various wireless communication devices.
  • the communication unit 110 wirelessly communicates with the keyboard 200.
  • the communication unit 110 wirelessly communicates with the keyboard 200 by Bluetooth®.
  • the wireless communication method between the communication unit 110 and the keyboard 200 is not limited to Bluetooth, and may be, for example, an infrared communication method or Wi-Fi (registered trademark). Bluetooth, infrared communication system and Wi-Fi are examples of short-range wireless system.
  • the wireless communication method between the communication unit 110 and the keyboard 200 is not limited to the short-range wireless method, and may be another communication method.
  • the communication unit 110 can also wirelessly communicate with a terminal device such as a smartphone.
  • the communication unit 110 may communicate with the keyboard 200 via the smartphone.
  • the smartphone connects to the keyboard 200 according to the operation performed by the user U, and further connects to the HMD 100 according to the operation performed by the user U.
  • the communication unit 110 may acquire the first image data from a search site or the like via a network such as the Internet.
  • the orientation sensor 150 includes, for example, an acceleration sensor and a gyro sensor.
  • the orientation sensor 150 generates orientation data indicating the orientation of the HMD 100.
  • the orientation of the HMD 100 means the orientation of the head U2 of the user U in the mounted state.
  • the storage device 170 is a recording medium that can be read by the processing device 180.
  • the storage device 170 includes, for example, a non-volatile memory and a volatile memory.
  • the non-volatile memory is, for example, ROM (ReadOnlyMemory), EPROM (ErasableProgrammableReadOnlyMemory), and EEPROM (ElectricallyErasableProgrammableReadOnlyMemory).
  • the volatile memory is, for example, RAM (RandomAccessMemory).
  • the storage device 170 stores a program and various data.
  • the processing device 180 is composed of, for example, one or more processors. As an example, the processing device 180 is composed of one or two or more CPUs (Central Processing Units). Even if some or all of the functions of the processing device 180 are configured by circuits such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), etc. good.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the processing device 180 reads the program from the storage device 170. By executing the program, the processing device 180 functions as an input determination unit 181, an existence determination unit 182, a line-of-sight determination unit 183, an orientation determination unit 184, a condition determination unit 185, and a display control unit 186.
  • the input determination unit 181 determines whether or not characters can be input from the keyboard 200 to the first input field A1.
  • the input determination unit 181 may be configured by an input determination circuit having the same function as the input determination unit 181.
  • the existence determination unit 182 determines whether or not the keyboard 200 is in the first state in the situation where the keyboard 200 is present in the image pickup range of the field of view camera 130 based on the field of view image data. In other words, the existence determination unit 182 determines whether or not the keyboard 200 in the first state is within the imaging range of the visual field camera 130 based on the visual field image data.
  • the first state is, for example, a state in which the user U can receive an operation for inputting a character or the like.
  • An example of the first state is a state in which the degree of coincidence between the image of the keyboard 200 shown by the field image data and the reference image showing the keyboard 200 in a state where the user U can execute an operation of inputting characters and the like is equal to or higher than the threshold value. be.
  • the degree of matching between the keyboard 200 indicated by the field image data and the keyboard 200 indicated by the reference image is also referred to as “image matching degree”.
  • the keyboard 200 in a state in which the user U can execute an operation for inputting characters and the like is, for example, a keyboard 200 placed on a desk with the keys facing up.
  • the keyboard 200 placed on the desk in the inverted state is not in a state in which the user U can execute an operation of inputting characters and the like.
  • the reference image is indicated by the reference image data.
  • the reference image data is stored in the storage device 170 in advance, for example.
  • the existence determination unit 182 uses the reference image data stored in the storage device 170 and the visual field image data to determine whether or not the keyboard 200 in the first state exists in the imaging range of the visual field camera 130. To judge.
  • the existence determination unit 182 may be configured by an existence determination circuit having the same function as the existence determination unit 182.
  • the keyboard 200 in the first state (a state in which an operation for inputting a character or the like from the user U can be received from the user U) is present in the imaging range of the field of view camera 130 by using the field of view image data and the trained model. It may be determined whether or not.
  • the trained model has a correspondence relationship between past visual field image data and information indicating whether or not the keyboard 200 in a state where the user U can input characters and the like is within the imaging range of the visual field camera 130. It has been learned. In this case, the existence determination unit 182 first inputs the visual field image data to the trained model.
  • the existence determination unit 182 determines whether or not the keyboard 200 in the first state exists in the imaging range of the visual field camera 130 based on the information output by the trained model in response to the input of the visual field image data. do.
  • the existence determination unit 182 is in the first state. It is determined that the keyboard 200 is within the imaging range of the field camera 130.
  • the existence determination unit 182 is in the first state. It is determined that the keyboard 200 does not exist in the imaging range of the field camera 130.
  • the line-of-sight determination unit 183 determines whether or not the user U is looking at the keyboard 200 based on the image capture data around the eyes.
  • the line-of-sight determination unit 183 may be configured by a line-of-sight determination circuit having the same function as the line-of-sight determination unit 183.
  • the orientation determination unit 184 determines whether or not the HMD 100 is downward by the first angle or more with respect to the horizon based on the orientation data.
  • the first angle is, for example, 10 degrees.
  • the first angle is not limited to 10 degrees, and may be, for example, an angle within the range of 0 degrees to 90 degrees.
  • the orientation determination unit 184 may be configured by an orientation determination circuit having the same function as the orientation determination unit 184.
  • the condition determination unit 185 determines whether or not the predetermined condition is satisfied.
  • the predetermined conditions include the following conditions. (1) An input condition that the determination result of the input determination unit 181 is affirmative. (2) Existence condition that the determination result of the existence determination unit 182 is affirmative. (3) The line-of-sight condition that the judgment result of the line-of-sight determination unit 183 is affirmative. (4) The orientation condition that the determination result of the orientation determination unit 184 is affirmative.
  • the predetermined condition is an example of each of the first condition, the second condition, and the third condition.
  • the condition determination unit 185 is an example of each of the first condition determination unit, the second condition determination unit, and the third condition determination unit.
  • the condition determination unit 185 may be configured by a condition determination circuit having the same function as the condition determination unit 185.
  • the display control unit 186 controls the display on the display surface B.
  • the display control unit 186 displays the second image G2 in the area of the display surface B that does not overlap with the keyboard 200, instead of displaying the first image G1 on the display surface B. Display it.
  • the display control unit 186 may be configured by a display control circuit or a display controller having the same function as the display control unit 186.
  • FIG. 6 is a flowchart for explaining the operation of the HMD 100.
  • the HMD 100 repeats the operation shown in FIG.
  • step S101 when the first image G1 is displayed on the display surface B, the input determination unit 181 determines whether or not the first input field A1 is in a state where characters and the like can be input from the keyboard 200.
  • a state in which the first input field A1 can input characters or the like from the keyboard 200 can also be referred to as a state in which the first input field A1 can accept characters or the like from the keyboard 200.
  • the first input field A1 is in a state where characters and the like can be received from the keyboard 200 by a selection operation for selecting the first input field A1.
  • the selection operation is executed by the user U.
  • the user U executes the selection operation by operating the touch operation unit 160.
  • the user U first moves the cursor on the display surface B to the first input field A1 by operating the touch operation unit 160.
  • the user U executes a click operation for selecting the first input field A1 by operating the touch operation unit 160.
  • the user U may execute the selection operation by operating the keyboard 200.
  • step S102 the presence determination unit 182 uses the keyboard 200 in the first state (a state in which the user U can input characters and the like) in the image pickup range of the field of view camera 130 based on the field of view image data. Determine if it exists.
  • step S102 the existence determination unit 182 first acquires the field of view image data from the field of view camera 130. Subsequently, the existence determination unit 182 acquires reference image data indicating the reference image from the storage device 170.
  • the existence determination unit 182 determines whether or not the visual field image data indicates the keyboard 200 having an image matching degree equal to or higher than the threshold value.
  • the image matching degree is the matching degree between the keyboard 200 indicated by the field image data and the keyboard 200 indicated by the reference image.
  • the existence determination unit 182 determines that the keyboard 200 in the first state exists in the imaging range of the visual field camera 130.
  • the existence determination unit 182 determines that the keyboard 200 in the first state does not exist in the imaging range of the visual field camera 130. For example, when the visual field image data does not indicate the keyboard 200, the existence determination unit 182 determines that the keyboard 200 in the first state does not exist in the imaging range of the visual field camera 130. Further, when the field of view image data indicates the keyboard 200 in the inverted state, the existence determination unit 182 determines that the keyboard 200 in the first state does not exist in the imaging range of the field of view camera 130.
  • the keyboard 200 in the first state (the state in which the user U can input characters and the like) using the field of view image data and the trained model as described above is the field of view camera 130. It may be determined whether or not the image is within the imaging range of.
  • step S103 the line-of-sight determination unit 183 determines whether or not the user U is looking at the keyboard 200 based on the image capture data around the eyes.
  • the line-of-sight determination unit 183 first acquires the field-of-view image data from the field-of-view camera 130, and also acquires the image capture data around the eyes from the line-of-sight camera 140.
  • the line-of-sight determination unit 183 determines whether or not the user U is looking at the keyboard 200 based on the visual field image data and the eye area imaging data.
  • the line-of-sight determination unit 183 first determines whether or not the keyboard 200 is present in the image pickup range of the field-of-view camera 130 based on the field-of-view image data.
  • the line-of-sight determination unit 183 determines that the keyboard 200 is present in the imaging range of the visual field camera 130, the reference point (for example, the inner corner of the eye) of the user U's eye U1 and the user U's eye U1 are determined based on the eye imaging data. Detects a specific point (pupil, etc.).
  • the line-of-sight determination unit 183 estimates the direction of the line of sight of the user U based on the positional relationship between the reference point and the specific point. For example, the line-of-sight determination unit 183 estimates the direction of the line of sight of the user U by using a table showing the correspondence between the positional relationship between the reference point and the specific point and the direction of the line of sight of the user U.
  • the line-of-sight determination unit 183 identifies the position of the keyboard 200 in the imaging range of the visual field camera 130 based on the visual field image data. Subsequently, the line-of-sight determination unit 183 determines whether or not the keyboard 200 is located in the direction of the line of sight of the user U, that is, whether or not the user U is looking at the keyboard 200.
  • the line-of-sight determination unit 183 may determine that the user U is looking at the keyboard 200 when the direction of the line of sight of the user U faces the area where the keyboard 200 is assumed to exist (the area where the keyboard 200 is assumed to exist). ..
  • the line-of-sight determination unit 183 may determine that the user U is not looking at the keyboard 200 when the direction of the line of sight of the user U does not face the area where the keyboard 200 is assumed to exist (the area where the keyboard 200 is assumed to exist). .. In such a case, the line-of-sight determination unit 183 determines whether or not the user U is looking at the keyboard 200 by using the eye area imaging data and the data indicating the assumed existence area without using the visual field image data. Can be determined.
  • the data indicating the existence assumed area is stored in the storage device 170 in advance, for example.
  • step S104 the orientation determination unit 184 determines whether or not the HMD 100 (head U2 of the user U) is facing downward by the first angle or more with respect to the horizon.
  • step S104 the orientation determination unit 184 first acquires orientation data from the orientation sensor 150. Subsequently, the orientation determination unit 184 determines whether or not the HMD 100 is downward by a first angle or more with respect to the horizon based on the orientation data.
  • step S101 may be executed after the completion of step S102.
  • the condition determination unit 185 determines whether or not the predetermined condition is satisfied.
  • the predetermined conditions include the following conditions as described above. (1) An input condition that the determination result of the input determination unit 181 is affirmative. (2) Existence condition that the determination result of the existence determination unit 182 is affirmative. (3) The line-of-sight condition that the judgment result of the line-of-sight determination unit 183 is affirmative. (4) The orientation condition that the determination result of the orientation determination unit 184 is affirmative.
  • step S106 the display control unit 186 determines whether or not the determination result of the condition determination unit 185 is affirmative, that is, whether or not the predetermined condition is satisfied.
  • step S107 When the determination result of the condition determination unit 185 is affirmative, that is, when the predetermined condition is satisfied, the display control unit 186 executes step S107.
  • step S107 the display control unit 186 causes the display surface B to display the second image G2 in the area R2 of the display surface B that does not overlap with the keyboard 200 without displaying the first image G1.
  • the display control unit 186 generates the second image data indicating the second image G2 based on the first image data indicating the first image G1.
  • the display control unit 186 displays the second image G2 by using the second image data.
  • FIG. 7 is a diagram showing an example of the second image G2 displayed on the display surface B.
  • the area R2 in which the second image G2 is displayed is set, for example, with reference to the area in which the keyboard 200 is located.
  • the display control unit 186 sets the area R2 at a position separated from the area where the keyboard 200 is located by a predetermined distance in a predetermined direction.
  • the predetermined direction is, for example, an upward direction on the display surface B.
  • the predetermined direction is not limited to the upward direction on the display surface B.
  • the predetermined distance is set as appropriate.
  • the HMD 100 may be in a mode specialized for inputting characters and the like.
  • step S108 When the determination result of the condition determination unit 185 is negative, that is, when the predetermined condition is not satisfied, the display control unit 186 executes step S108.
  • step S108 the display control unit 186 first acquires the field of view image data from the field of view camera 130. Subsequently, the display control unit 186 determines whether or not the visual field image indicated by the visual field image data includes an image of a predetermined object (for example, a whiteboard or a screen).
  • a predetermined object for example, a whiteboard or a screen.
  • the predetermined object is not limited to the whiteboard or screen, and can be appropriately changed.
  • the predetermined object may be an object existing above, below, to the right or to the left of a predetermined reference object (shelf, etc.).
  • step S109 When the visual field image includes an image of a predetermined object, the display control unit 186 executes step S109.
  • step S109 the display control unit 186 causes the display surface B to display at least a part of the first image G1 in the region R1 that overlaps with the predetermined object.
  • the region R1 is a region of the display surface B representing a predetermined object (for example, a whiteboard).
  • FIGS. 8 and 9 are diagrams showing an example of the first image G1 displayed on the display surface B.
  • the region R1 in which a predetermined object (for example, a whiteboard) is present in the visual field image that is, the region in which the first image G1 is displayed in the visual field image changes based on the change in the orientation of the HMD 100. Therefore, when the determination result of the condition determination unit 185 is negative, the display control unit 186 adjusts the position of the first image G1 on the display surface B based on the change in the orientation of the HMD 100 specified by the orientation data. ..
  • a predetermined object for example, a whiteboard
  • the display control unit 186 sets the position of the first image G1 on the display surface B to the right in the direction opposite to the left direction. Move in the direction. Further, when the orientation of the HMD 100 is changed upward based on the orientation data, the display control unit 186 moves the position of the first image G1 on the display surface B downward in the direction opposite to the upward direction. do. In this way, the display control unit 186 moves the position of the first image G1 on the display surface B in the direction opposite to the direction of change in the direction of the HMD 100.
  • the display control unit 186 does not display either the first image G1 or the second image G2 on the display surface B.
  • the operation shown in FIG. 6 above is repeatedly executed. Therefore, the image displayed on the display surface B may be switched from the first image G1 to the second image G2 and then to the first image G1.
  • ⁇ A5 Summary of the first embodiment>
  • the keyboard 200 is present in the field image, the user U is looking at the keyboard 200, and the HMD 100 is tilted downward, the display control unit 186 uses the keyboard on the display surface B.
  • the second input field A2 is displayed in the area R2 that does not overlap with 200.
  • the first image G1 displayed on the display surface B is fixed in the real space based on the position of a predetermined object (for example, a whiteboard) existing in the real space.
  • a predetermined object for example, a whiteboard
  • the first image G1 displayed on the display surface B does not have to be fixed in the real space based on the position of a predetermined object existing in the real space.
  • FIG. 10 is a flowchart for explaining an example of the operation of the first modification.
  • substantially the same processes as those shown in FIG. 6 are designated by the same reference numerals.
  • the process shown in FIG. 10 will be mainly described as being different from the process shown in FIG.
  • step S106 the display control unit 186 causes the display control unit 186 to display the first image G1 in the preset area R3 of the display surface B in step S201.
  • FIG. 11 is a diagram showing an example of the first image G1 located in the region R3.
  • the position of the region R3 on the display surface B is not limited to the position shown in FIG. 11, and can be appropriately changed.
  • the display control unit 186 can fix the position of the first image G1 on the display surface B when the predetermined condition is not satisfied.
  • the predetermined conditions may include additional conditions.
  • Example of additional conditions In the first embodiment, it is assumed that the user U remembers another work immediately after selecting the first input field A1 and starts to refer to the paper material instead of the first image G1. Will be done. In such a situation, it is possible that the second image G2 is displayed on the display surface B by recognizing the keyboard 200 after a certain amount of time has elapsed from the time when the first input field A1 is selected. May be perceived as unnecessary.
  • the display control unit 186 may skip step S106 when a predetermined time has elapsed from the time when the first input field A1 is selected.
  • the predetermined time is, for example, 10 seconds.
  • the predetermined time may be shorter than 10 seconds or longer than 10 seconds. In this case, a transitional condition that a predetermined time has not elapsed since the selection of the first input field A1 is added to the predetermined condition.
  • the condition determination unit 185 determines whether or not a predetermined condition including a transitional condition is satisfied.
  • the display control unit 186 may skip step S106 while the head U2 of the user U is moving.
  • the stop condition that the head U2 of the user U is stopped is added to the predetermined condition.
  • the condition determination unit 185 determines whether or not a predetermined condition including a stop condition is satisfied. For example, the condition determination unit 185 determines whether or not the stop condition is satisfied based on the orientation data.
  • the predetermined condition includes an input condition and an existence condition, and may not include a condition different from the input condition and the existence condition.
  • the line-of-sight camera 140, the direction sensor 150, the line-of-sight determination unit 183, and the direction determination unit 184 can be omitted.
  • the predetermined condition is an example of the first condition.
  • the predetermined condition includes an input condition, an existence condition, and a line-of-sight condition, and does not include a condition different from any of the input condition, the existence condition, and the line-of-sight condition. good.
  • the orientation sensor 150 and the orientation determination unit 184 can be omitted.
  • the predetermined condition is an example of the first condition.
  • the predetermined condition includes a line-of-sight condition and a direction condition, and may not include a condition different from any of the line-of-sight condition and the direction condition.
  • the input determination unit 181 and the existence determination unit 182 can be omitted.
  • the predetermined condition is an example of the second condition.
  • the predetermined condition includes a line-of-sight condition, a direction condition, and an input condition, and does not include a condition different from any of the line-of-sight condition, the direction condition, and the input condition. good.
  • the existence determination unit 182 can be omitted.
  • the predetermined condition is an example of the second condition.
  • the predetermined condition includes the line-of-sight condition, the orientation condition, and the existence condition, and does not include any condition different from the line-of-sight condition, the orientation condition, and the existence condition. good.
  • the input determination unit 181 can be omitted.
  • the predetermined condition is an example of the second condition.
  • the predetermined condition includes an input condition and a orientation condition, and may not include a condition different from any of the input condition and the orientation condition.
  • the field of view camera 130, the line-of-sight camera 140, the existence determination unit 182, and the line-of-sight determination unit 183 can be omitted.
  • the predetermined condition is an example of the third condition.
  • the storage device 170 is a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, a Blu-ray (registered trademark). ) Disks), smart cards, flash memory devices (eg cards, sticks, key drives), CD-ROMs (Compact Disc-ROMs), registers, removable disks, hard disks, floppy (registered trademark) disks, magnetic strips, databases, It may include a server or other suitable storage medium.
  • the program may also be transmitted from the network via a telecommunication line.
  • Each of the first embodiment and the first modification to the eighth modification is LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA ( Future Radio Access), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), LTE 802.16 (WiMAX), IEEE 802.20 , UWB (Ultra-WideBand), Bluetooth®, and other systems that utilize suitable systems and / or extended next-generation systems based on them.
  • the input / output information and the like may be stored in a specific place (for example, a memory) or managed by a management table. May be good. Information to be input / output may be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made based on the value (0 or 1) represented by one bit, or the truth value. It may be performed based on (Boolean: true or false), or it may be performed based on a numerical comparison (for example, a comparison with a predetermined value).
  • Each function illustrated in FIG. 5 is realized by any combination of hardware and software. Further, each function may be realized by a single device, or may be realized by two or more devices configured as separate bodies from each other.
  • the programs exemplified in each of the first embodiment and the first modification to the eighth modification may be referred to as software, firmware, middleware, microcode or hardware description language, or may be referred to by other names.
  • software instruction sets, codes, code segments, program codes, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures or functions, etc. It should be broadly interpreted.
  • software, instructions, and the like may be transmitted and received via a transmission medium.
  • the software may use wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to website, server, or other. When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • DSL digital subscriber line
  • the HMD 100 may be a mobile station.
  • Mobile stations can be used by those skilled in the art as subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, mobile terminals, wireless. It may also be referred to using a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term.
  • the term “device” may be read as another term such as a circuit, a device, or a unit.
  • the head-mounted display includes a display surface, an input determination unit, an existence determination unit, a first condition determination unit, and a display control unit.
  • the display surface is located in the field of view of the user when the head-mounted display is mounted on the user's head.
  • the input determination unit inputs characters into the first input field from an input device for inputting characters according to an operation performed by the user. Determine if input is possible.
  • the existence determination unit determines whether or not the input device exists in the first portion in the first state based on image data showing an image of an object existing in the first portion of the user's field of view.
  • the first condition determination unit determines whether or not the first condition including the input condition that the determination result of the input determination unit is affirmative and the existence condition that the determination result of the existence determination unit is affirmative is satisfied. To judge. When the determination result of the first condition determination unit is affirmative, the display control unit displays the first image on the display surface, but instead displays the input in the area of the display surface that does not overlap with the input device. A second image showing a second input field in which characters are input from the device is displayed.
  • the head-mounted display can limit the display of the input field in a position that does not overlap with the input device, contrary to the intention of the user.
  • the display control unit is specified by the orientation data indicating the orientation of the head-mounted display when the determination result of the first condition determination unit is negative.
  • the position of the first image on the display surface is adjusted based on the change in the orientation of the display.
  • the display control unit can change the position of the first image on the display surface based on the orientation of the head-mounted display.
  • a line-of-sight determination unit for determining whether or not the user is looking at the input device is further provided based on the line-of-sight data indicating the direction of the line-of-sight of the user.
  • the first condition further includes a line-of-sight condition that the determination result of the line-of-sight determination unit is affirmative.
  • the head-mounted display can limit the display of the input field in a position that does not overlap with the input device, contrary to the intention of the user.
  • the head-mounted display is downward by a first angle or more with respect to the horizontal line based on the orientation data indicating the orientation of the head-mounted display.
  • the first condition further includes an orientation condition for determining whether or not the orientation determination unit is positive, and the first condition further includes an orientation condition that the determination result of the orientation determination unit is affirmative.
  • the head-mounted display can further limit the display of the input field in a position that does not overlap with the input device against the intention of the user.
  • the head-mounted display includes a display surface, a line-of-sight determination unit, an orientation determination unit, a second condition determination unit, and a display control unit.
  • the display surface is located in the field of view of the user when the head-mounted display is mounted on the user's head.
  • the line-of-sight determination unit determines whether or not the user is looking at an input device for inputting characters according to an operation performed by the user, based on the line-of-sight data indicating the direction of the user's line of sight.
  • the orientation determination unit determines whether or not the head-mounted display is facing downward by a first angle or more with respect to the horizon, based on the orientation data indicating the orientation of the head-mounted display.
  • the second condition determination unit determines whether or not the second condition including the line-of-sight condition that the determination result of the line-of-sight determination unit is affirmative and the orientation condition that the determination result of the orientation determination unit is affirmative is satisfied. To judge. When the determination result of the second condition determination unit is affirmative in the situation where the first image representing the first input field is displayed on the display surface, the display control unit displays the first image on the display surface. Instead, the display surface displays the second image, which is a second image representing the second input field in which characters are input from the input device and is smaller than the first image.
  • the head-mounted display can limit the display of the input field in a position that does not overlap with the input device, contrary to the intention of the user.
  • ⁇ D6 Sixth aspect>
  • the display control unit displays the first image in a preset area of the display surface. Display.
  • the display control unit can fix the first image in a preset area of the display surface when the determination result of the second condition determination unit is negative.
  • the first input field further includes an input determination unit for determining whether or not characters can be input from the input device, and the second condition is Further includes an input condition that the determination result of the input determination unit is affirmative.
  • the head-mounted display can limit the display of the input field in a position that does not overlap with the input device, contrary to the intention of the user.
  • the input device is present in the first portion in the first state based on the image data showing the first portion of the user's field of view. It further includes an existence determination unit for determining whether or not it is present. The second condition further includes an existence condition that the determination result of the existence determination unit is affirmative. According to this aspect, the head-mounted display can further limit the display of the input field in a position that does not overlap with the input device against the intention of the user.
  • the head-mounted display includes a display surface, an input determination unit, an orientation determination unit, a third condition determination unit, and a display control unit.
  • the display surface is located in the field of view of the user when the head-mounted display is attached to the user's head.
  • the input determination unit inputs characters into the first input field from an input device for inputting characters according to an operation performed by the user. Determine if input is possible.
  • the orientation determination unit determines whether or not the head-mounted display is facing downward by a first angle or more with respect to the horizon, based on the orientation data indicating the orientation of the head-mounted display.
  • the third condition determination unit determines whether or not the third condition including the input condition that the determination result of the input determination unit is affirmative and the orientation condition that the determination result of the orientation determination unit is affirmative is satisfied. To judge. When the determination result of the third condition determination unit is affirmative in the situation where the first image is displayed on the display surface, the display control unit displays the first image instead of displaying the first image on the display surface.
  • the second image which is a second image representing the second input field in which characters are input from the input device and is smaller than the first image, is displayed on the surface.
  • the head-mounted display can limit the display of the input field in a position that does not overlap with the input device, contrary to the intention of the user.
  • the display control unit when the determination result of the third condition determination unit is negative, displays the first image in a preset area of the display surface. Display. According to this aspect, the display control unit can fix the first image in a preset area of the display surface when the determination result of the third condition determination unit is negative.
  • 1 ... display input system 100 ... HMD, 110 ... communication unit, 120 ... display unit, 120a ... facing surface, 120b ... outer surface, 130 ... field of view camera, 140 ... line-of-sight camera, 150 ... orientation sensor, 160 ... touch operation unit, 170 ... storage device, 180 ... processing device, 181 ... input determination unit, 182 ... existence determination unit, 183 ... line-of-sight determination unit, 184 ... orientation determination unit, 185 ... condition determination unit, 186 ... display control unit, 200 ... keyboard, A1 ... 1st input field, A2 ... 2nd input field, B ... display surface, B1 ... 1st display surface, B2 ... 2nd display surface, G1 ... 1st image, G2 ... 2nd image, U ... user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ＨＭＤは、ＨＭＤがユーザの頭部に装着される場合にユーザの視野内に位置する表示面と、表示面に第１入力欄を表す第１画像が表示される場合、ユーザが行う操作に応じて文字を入力するための入力装置から第１入力欄に文字を入力可能であるかを判定する入力判定部と、ユーザの視野の第１部分を示す画像データに基づき、第１部分に第１状態の入力装置が存在するかを判定する存在判定部と、入力判定部の判定結果が肯定であるという入力条件と、存在判定部の判定結果が肯定であるという存在条件とを含む第１条件が成立するかを判定する第１条件判定部と、第１条件判定部の判定結果が肯定である場合、表示面に第１画像を表示する代わりに、表示面のうち入力装置と重ならない領域に第２入力欄を表す第２画像を表示させる表示制御部を含む。

Description

ヘッドマウントディスプレイ
　本発明は、ヘッドマウントディスプレイに関する。
　特許文献１は、カメラを備えるＨＭＤ（ヘッドマウントディスプレイ）を開示する。このＨＭＤは、カメラによって生成される画像にキーボードとユーザの手との両方が写っている場合、キーボードと重ならない位置に文字入力欄を表示する。
特開２０１７－５９０６２号公報
　特許文献１に記載のＨＭＤは、ユーザが文字の入力を意図しない状況において、偶然、カメラによって生成される画像にキーボードとユーザの手との両方が写っている場合、キーボードと重ならない位置に文字入力欄を表示してしまう。すなわち、このＨＤＭは、ユーザの意図に反して、文字入力欄をキーボードと重ならない位置に表示してしまうおそれがある。このため、ユーザの意図に反して文字の入力欄をキーボード等の入力装置と重ならない位置に表示することを制限可能な技術が望まれる。
　本発明の目的は、ユーザの意図に反して文字の入力欄を入力装置と重ならない位置に表示することを制限可能な技術を提供することである。
　本発明の一態様に係るヘッドマウントディスプレイは、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、前記表示面に、第１入力欄を表す第１画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第１入力欄に文字を入力可能であるか否かを判定する入力判定部と、前記ユーザの視野の第１部分を示す画像データに基づいて、前記入力装置が第１状態において前記第１部分に存在するか否かを判定する存在判定部と、前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第１条件が成立するか否かを判定する第１条件判定部と、前記第１条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第２入力欄を表す第２画像を表示させる表示制御部と、を含む。
　本発明の他の態様に係るヘッドマウントディスプレイは、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが、前記ユーザが行う操作に応じて文字を入力するための入力装置を見ているか否かを判定する視線判定部と、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する向き判定部と、前記視線判定部の判定結果が肯定であるという視線条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第２条件が成立するか否かを判定する第２条件判定部と、前記表示面に第１入力欄を表す第１画像が表示される状況において前記第２条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第２入力欄を表す第２画像であって前記第１画像よりも小さい前記第２画像を表示させる表示制御部と、を含む。
　本発明のさらに他の態様に係るヘッドマウントディスプレイは、前記ヘッドマウントディスプレイがユーザの頭部に装着された状態において、前記ユーザの視野内に位置する表示面と、前記表示面に、第１入力欄を表す第１画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第１入力欄に文字を入力可能であるか否かを判定する入力判定部と、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する向き判定部と、前記入力判定部の判定結果が肯定であるという入力条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第３条件が成立するか否かを判定する第３条件判定部と、前記表示面に前記第１画像が表示される状況において前記第３条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第２入力欄を表す第２画像であって前記第１画像よりも小さい前記第２画像を表示させる表示制御部と、を含む。
　本発明の一態様によれば、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
表示入力システム１を示す図である。 装着状態の一例を示す図である。 第１画像Ｇ１を示す図である。 第２画像Ｇ２を示す図である。 ＨＭＤ１００の一例を示すブロック図である。 ＨＭＤ１００の動作を説明するためのフローチャートである。 表示面Ｂに表示される第２画像Ｇ２の一例を示す図である。 表示面Ｂに表示される第１画像Ｇ１の例を示す図である。 表示面Ｂに表示される第１画像Ｇ１の例を示す図である。 第１変形例の動作の一例を説明するためのフローチャートである。 領域Ｒ３に位置する第１画像Ｇ１の一例を示す図である。
　＜Ａ：第１実施形態＞
　＜Ａ１：表示入力システム１＞
　以下、図面を参照しながら実施の形態を説明する。図面において、各部の寸法及び縮尺は実際のものと適宜異なる。図１は、表示入力システム１を示す図である。表示入力システム１は、ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）１００と、キーボード２００と、を含む。
　ＨＭＤ１００は、例えば、光学シースルー形式を採用する眼鏡型の表示装置である。ＨＭＤ１００は、ビデオシースルー形式を採用する眼鏡型の表示装置でもよい。図２に示すように、ユーザＵは、ＨＭＤ１００を眼鏡と同様にユーザＵの頭部Ｕ２に装着する。ユーザＵがＨＭＤ１００を装着した状態を「装着状態」と称する。
　ＨＭＤ１００は、表示部１２０と、視野カメラ１３０と、視線カメラ１４０と、タッチ操作部１６０と、を含む。
　表示部１２０は、装着状態においてユーザＵと対向する対向面１２０ａと、対向面１２０ａの反対側の外面１２０ｂと、を含む。
　図１に示すように、対向面１２０ａは、右目用の第１表示面Ｂ１と、左目用の第２表示面Ｂ２と、を有する。第１表示面Ｂ１と第２表示面Ｂ２とを相互に区別する必要がない場合、第１表示面Ｂ１と第２表示面Ｂ２とをまとめて「表示面Ｂ」と称する。表示面Ｂは、装着状態において、ユーザＵの視野内に位置する。表示面Ｂは、種々の画像を表示する。
　ＨＭＤ１００が、光学シースルー形式を採用する眼鏡型の表示装置である場合、表示部１２０は、画像生成部と、ハーフミラーと、を含む。画像生成部は、例えば、液晶表示装置又は有機ＥＬ（Electronic Luminescent）表示装置である。画像生成部は、表示画像を生成する。ハーフミラーは、画像生成部が出力する表示画像を示す光を表示面Ｂに向けて反射する。さらに、ハーフミラーは、外面１２０ｂ側からユーザＵの目Ｕ１に向かう光を通す。ユーザＵは、ハーフミラーを通る光によって形成される像と、画像生成部が生成する表示画像とを、表示面Ｂを介して視認する。表示画像は、ハーフミラーを通る光によって形成される像に重畳される。
　ＨＭＤ１００が、ビデオシースルー形式を採用する眼鏡型の表示装置である場合、表示部１２０は、ディスプレイを含む。この場合、表示面Ｂは、ディスプレイの画面である。表示部１２０は、表示面Ｂに、視野カメラ１３０によって生成される視野画像データが示す視野画像と、視野画像とは異なる表示画像と、を表示する。表示画像は、視野画像に重畳される。ユーザＵは、視野画像と表示画像とを視認する。
　視野カメラ１３０は、撮像レンズと、イメージセンサと、を含む。イメージセンサは、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。
　視野カメラ１３０は、外面１２０ｂに設けられる。視野カメラ１３０の撮像方向は、対向面１２０ａから外面１２０ｂに向かう方向である。対向面１２０ａから外面１２０ｂに向かう方向が撮像方向として用いられれば、視野カメラ１３０は、ＨＭＤ１００において外面１２０ｂとは異なる部分に設けられてもよい。
　視野カメラ１３０は、視野カメラ１３０の撮像範囲を撮像することによって、視野画像を示す視野画像データを生成する。視野画像は、視野カメラ１３０の撮像範囲を表す。さらに言えば、視野画像は、視野カメラ１３０の撮像範囲に存在する物体の像を表す。
　ＨＭＤ１００が、光学シースルー形式を採用する眼鏡型の表示装置である場合、視野カメラ１３０の撮像範囲は、ユーザＵの視野の一部分である。この場合、視野カメラ１３０の撮像範囲は、ユーザＵの視野の第１部分の一例となる。
　ＨＭＤ１００が、ビデオシースルー形式を採用する眼鏡型の表示装置である場合、視野画像データが示す視野画像は、表示面Ｂに表示される。表示面Ｂは、ユーザＵの視野の一部分に位置する。このため、ＨＭＤ１００が、ビデオシースルー形式を採用する眼鏡型の表示装置である場合、表示面Ｂが、ユーザＵの視野の第１部分の一例となる。
　視野画像データは、ユーザＵの視野の第１部分を示す画像データの一例である。
　視線カメラ１４０は、撮像レンズと、イメージセンサと、を含む。視線カメラ１４０の撮像レンズは、例えば、魚眼レンズである。視線カメラ１４０は、対向面１２０ａに設けられる。
　視線カメラ１４０は、ユーザＵの目Ｕ１を撮像することによって、目もと撮像データを生成する。目もと撮像データは、ユーザＵの２つの目Ｕ１のうち少なくとも一方を表す。目もと撮像データは、ユーザＵの視線の方向を示す視線データの一例である。視線カメラ１４０が２つの目Ｕ１のうち少なくとも一方の目Ｕ１を撮像できれば、視線カメラ１４０は、ＨＭＤ１００において対向面１２０ａとは異なる部分に設けられてもよい。
　タッチ操作部１６０は、例えば、圧力センサである。タッチ操作部１６０は、操作ボタンを含んでもよい。タッチ操作部１６０は、ユーザＵが行うタッチ操作等を受ける。
　ＨＭＤ１００は、キーボード２００と無線通信する。キーボード２００は、ユーザＵが行う操作に応じて文字を入力するための入力装置の一例である。入力装置は、キーボードに限らず適宜変更可能である。
　＜Ａ２：表示画像＞
　図３は、表示画像の一例である第１画像Ｇ１を示す図である。第１画像Ｇ１は、キーボード２００から文字等が入力される第１入力欄Ａ１を含む。第１入力欄Ａ１は、例えば、入力ボックスである。第１入力欄Ａ１が選択されると、ユーザＵがキーボード２００から第１入力欄Ａ１に文字等を入力可能な状況が発生する。
　第１画像Ｇ１は、第１入力欄Ａ１の他に、第１画像Ｇ１を説明するための説明情報Ｃ１を含む。第１画像Ｇ１は、説明情報Ｃ１を含まなくてもよい。第１画像Ｇ１は、例えば、検索サイトの画像である。
　ＨＭＤ１００は、第１画像Ｇ１を示す第１画像データを、インターネット等のネットワークを介して、検索サイト等から取得する。
　例えば、ＨＭＤ１００は、スマートフォン等の端末装置を介さずにインターネットに接続した状態においてユーザＵがＨＭＤ１００に対して行う操作に応じて、第１画像データを検索サイト等から取得する。スマートフォンは、情報処理装置の一例である。情報処理装置は、スマートフォンに限らず、例えば、タブレット端末装置又はパーソナルコンピュータでもよい。
　ＨＭＤ１００は、インターネットに接続したスマートフォンを介して、第１画像データを取得してもよい。この場合、スマートフォンは、インターネットに接続した状態においてユーザＵがスマートフォンに対して行う操作に応じて、第１画像データを検索サイト等から取得し、当該第１画像データをＨＭＤ１００に送信する。
　第１画像Ｇ１は、検索サイトの画像に限らない。
　図４は、表示画像の他の例である第２画像Ｇ２を示す図である。第２画像Ｇ２は、キーボード２００から文字等が入力される第２入力欄Ａ２を含む。第２入力欄Ａ２は、第１入力欄Ａ１が有する機能と同一の機能を有する。第２入力欄Ａ２は、例えば、入力ボックスである。第２画像Ｇ２は、第２入力欄Ａ２のみを示す画像である。第２画像Ｇ２は、第２入力欄Ａ２の他に、第２画像Ｇ２を説明するための説明情報を含んでもよい。
　第２画像Ｇ２の面積は、第１画像Ｇ１の面積よりも小さい。第２画像Ｇ２のうち第２入力欄Ａ２とは異なる部分Ｇ２ａの面積は、第１画像Ｇ１のうち第１入力欄Ａ１とは異なる部分Ｇ１ａの面積よりも小さい。第２入力欄Ａ２の面積は、例えば、第１入力欄Ａ１の面積以上である。このため、ユーザＵは、第１入力欄Ａ１よりも第２入力欄Ａ２に対して文字を入力しやすい。第２画像Ｇ２は、文字等の入力に特化した画像とも称される。第２入力欄Ａ２の面積は、第１入力欄Ａ１の面積よりも小さくてもよい。
　＜Ａ３：ＨＭＤ１００の一例＞
　図５は、ＨＭＤ１００の一例を示すブロック図である。ＨＭＤ１００は、表示部１２０と、視野カメラ１３０と、視線カメラ１４０と、タッチ操作部１６０とに加えて、通信部１１０と、向きセンサ１５０と、記憶装置１７０と、処理装置１８０と、を含む。
　通信部１１０は、種々の無線通信機器を備える。通信部１１０は、キーボード２００と無線通信する。例えば、通信部１１０は、キーボード２００とＢｌｕｅｔｏｏｔｈ（登録商標）によって無線通信する。通信部１１０とキーボード２００との無線通信の方式は、Ｂｌｕｅｔｏｏｔｈに限らず、例えば、赤外線通信方式又はＷｉ－Ｆｉ（登録商標）でもよい。Ｂｌｕｅｔｏｏｔｈ、赤外線通信方式及びＷｉ－Ｆｉは、近距離無線方式の一例である。通信部１１０とキーボード２００との無線通信の方式は、近距離無線方式に限らず他の通信方式でもよい。
　通信部１１０は、スマートフォン等の端末装置とも無線通信可能である。通信部１１０は、スマートフォンを介して、キーボード２００と通信してもよい。この場合、スマートフォンは、ユーザＵが行う操作に応じてキーボード２００と接続し、さらに、ユーザＵが行う操作に応じてＨＭＤ１００と接続する。
　通信部１１０は、インターネット等のネットワークを介して、検索サイト等から第１画像データを取得してもよい。
　向きセンサ１５０は、例えば、加速度センサとジャイロセンサとを含む。向きセンサ１５０は、ＨＭＤ１００の向きを示す向きデータを生成する。ＨＭＤ１００の向きは、装着状態におけるユーザＵの頭部Ｕ２の向きを意味する。
　記憶装置１７０は、処理装置１８０が読み取り可能な記録媒体である。記憶装置１７０は、例えば、不揮発性メモリーと、揮発性メモリーと、を含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。記憶装置１７０は、プログラムと、種々のデータと、を記憶する。
　処理装置１８０は、例えば、１又は２以上のプロセッサによって構成される。一例を挙げると、処理装置１８０は、１又は２以上のＣＰＵ（Central Processing Unit）によって構成される。処理装置１８０が有する機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。
　処理装置１８０は、記憶装置１７０からプログラムを読み取る。処理装置１８０は、当該プログラムを実行することによって、入力判定部１８１、存在判定部１８２、視線判定部１８３、向き判定部１８４、条件判定部１８５、及び表示制御部１８６として機能する。
　入力判定部１８１は、表示面Ｂに第１画像Ｇ１が表示される場合、キーボード２００から第１入力欄Ａ１に文字を入力可能であるか否かを判定する。入力判定部１８１は、入力判定部１８１と同様の機能を有する入力判定回路によって構成されてもよい。
　存在判定部１８２は、視野画像データに基づいて、視野カメラ１３０の撮像範囲にキーボード２００が存在する状況においてキーボード２００が第１状態にあるか否かを判定する。換言すると、存在判定部１８２は、視野画像データに基づいて、第１状態のキーボード２００が視野カメラ１３０の撮像範囲に存在するか否かを判定する。
　第１状態は、例えば、ユーザＵから文字等を入力する操作を受けられる状態である。
　第１状態の一例は、視野画像データが示すキーボード２００の画像と、ユーザＵが文字等を入力する操作を実行できる状態のキーボード２００を示す参照画像と、の一致度が閾値以上である状態である。以下、視野画像データが示すキーボード２００と、参照画像が示すキーボード２００と、の一致度を、「画像一致度」とも称する。
　ユーザＵが文字等を入力する操作を実行できる状態のキーボード２００は、例えば、キーを上に向けた状態において机の上に置かれたキーボード２００である。裏返しの状態において机の上に置かれたキーボード２００は、ユーザＵが文字等を入力する操作を実行できる状態ではない。
　参照画像は、参照画像データによって示される。参照画像データは、例えば、予め記憶装置１７０に記憶される。この場合、存在判定部１８２は、記憶装置１７０に記憶される参照画像データと、視野画像データと、を用いることによって、視野カメラ１３０の撮像範囲に第１状態のキーボード２００が存在するか否かを判定する。存在判定部１８２は、存在判定部１８２と同様の機能を有する存在判定回路によって構成されてもよい。
　存在判定部１８２は、視野画像データと学習済みモデルとを用いて、第１状態（ユーザＵから文字等を入力する操作を受けられる状態）のキーボード２００が、視野カメラ１３０の撮像範囲に存在するか否かを判定してもよい。
　学習済みモデルは、過去の視野画像データと、ユーザＵから文字等を入力する操作を受けられる状態のキーボード２００が視野カメラ１３０の撮像範囲に存在するか否かを示す情報と、の対応関係を学習済みである。
　この場合、存在判定部１８２は、まず、学習済みモデルへ視野画像データを入力する。続いて、存在判定部１８２は、視野画像データの入力に応じて学習済みモデルが出力する情報に基づいて、第１状態のキーボード２００が、視野カメラ１３０の撮像範囲に存在するか否かを判定する。
　学習済みモデルが出力する情報が、ユーザＵから文字等を入力する操作を受けられる状態のキーボード２００が視野カメラ１３０の撮像範囲に存在することを示す場合、存在判定部１８２は、第１状態のキーボード２００が視野カメラ１３０の撮像範囲に存在すると判定する。
　学習済みモデルが出力する情報が、ユーザＵから文字等を入力する操作を受けられる状態のキーボード２００が視野カメラ１３０の撮像範囲に存在しないことを示す場合、存在判定部１８２は、第１状態のキーボード２００が視野カメラ１３０の撮像範囲に存在しないと判定する。
　視線判定部１８３は、目もと撮像データに基づいて、ユーザＵがキーボード２００を見ているか否かを判定する。視線判定部１８３は、視線判定部１８３と同様の機能を有する視線判定回路によって構成されてもよい。
　向き判定部１８４は、向きデータに基づいて、ＨＭＤ１００が水平線に対して第１角度以上、下向きであるか否かを判定する。第１角度は、例えば１０度である。第１角度は１０度に限らず、例えば、０度から９０度までの範囲内の角度であればよい。向き判定部１８４は、向き判定部１８４と同様の機能を有する向き判定回路によって構成されてもよい。
　条件判定部１８５は、所定条件が成立するか否かを判定する。所定条件は、以下の条件を含む。
（１）入力判定部１８１の判定結果が肯定であるという入力条件。
（２）存在判定部１８２の判定結果が肯定であるという存在条件。
（３）視線判定部１８３の判定結果が肯定であるという視線条件。
（４）向き判定部１８４の判定結果が肯定であるという向き条件。
　所定条件が成立するとは、当然のことながら、所定条件に含まれるすべての条件が成立することを意味する。所定条件は、第１条件、第２条件及び第３条件の各々の一例である。条件判定部１８５は、第１条件判定部、第２条件判定部及び第３条件判定部の各々の一例である。条件判定部１８５は、条件判定部１８５と同様の機能を有する条件判定回路によって構成されてもよい。
　表示制御部１８６は、表示面Ｂにおける表示を制御する。表示制御部１８６は、条件判定部１８５の判定結果が肯定である場合、表示面Ｂに第１画像Ｇ１を表示する代わりに、表示面Ｂのうちキーボード２００と重ならない領域に第２画像Ｇ２を表示させる。表示制御部１８６は、表示制御部１８６と同様の機能を有する表示制御回路又は表示コントローラによって構成されてもよい。
　＜Ａ４：動作の説明＞
　図６は、ＨＭＤ１００の動作を説明するためのフローチャートである。ＨＭＤ１００は、図６に示す動作を繰り返す。
　ステップＳ１０１において入力判定部１８１は、表示面Ｂに第１画像Ｇ１が表示される場合、第１入力欄Ａ１がキーボード２００から文字等を入力可能な状態になっているか否かを判定する。第１入力欄Ａ１がキーボード２００から文字等を入力可能な状態は、第１入力欄Ａ１がキーボード２００から文字等を受付可能な状態と称することもできる。第１入力欄Ａ１は、第１入力欄Ａ１を選択する選択操作によって、キーボード２００から文字等を受付可能な状態になる。
　選択操作は、ユーザＵによって実行される。例えば、ユーザＵは、タッチ操作部１６０を操作することによって選択操作を実行する。一例を挙げると、ユーザＵは、まず、タッチ操作部１６０を操作することによって、表示面Ｂ上のカーソルを第１入力欄Ａ１に移動する。続いて、ユーザＵは、タッチ操作部１６０を操作することによって、第１入力欄Ａ１を選択するためのクリック操作を実行する。ユーザＵは、キーボード２００を操作することによって選択操作を実行してもよい。
　続いて、ステップＳ１０２において存在判定部１８２は、視野画像データに基づいて、視野カメラ１３０の撮像範囲に上述の第１状態（ユーザＵから文字等を入力する操作を受けられる状態）のキーボード２００が存在するか否かを判定する。
　例えばステップＳ１０２では、存在判定部１８２は、まず、視野カメラ１３０から視野画像データを取得する。続いて、存在判定部１８２は、記憶装置１７０から、参照画像を示す参照画像データを取得する。
　続いて、存在判定部１８２は、視野画像データが、閾値以上の画像一致度を有するキーボード２００を示すか否かを判定する。画像一致度は、視野画像データが示すキーボード２００と、参照画像が示すキーボード２００と、の一致度である。
　視野画像データが、閾値以上の画像一致度を有するキーボード２００を示す場合、存在判定部１８２は、視野カメラ１３０の撮像範囲に第１状態のキーボード２００が存在すると判定する。
　視野画像データが、閾値以上の画像一致度を有するキーボード２００を示さない場合、存在判定部１８２は、視野カメラ１３０の撮像範囲に第１状態のキーボード２００が存在しないと判定する。例えば、視野画像データが、キーボード２００を示さない場合、存在判定部１８２は、視野カメラ１３０の撮像範囲に第１状態のキーボード２００が存在しないと判定する。また、視野画像データが、裏返しの状態のキーボード２００を示す場合、存在判定部１８２は、視野カメラ１３０の撮像範囲に第１状態のキーボード２００が存在しないと判定する。
　なお、存在判定部１８２は、上述のように視野画像データと学習済みモデルとを用いて、第１状態（ユーザＵから文字等を入力する操作を受けられる状態）のキーボード２００が、視野カメラ１３０の撮像範囲に存在するか否かを判定してもよい。
　続いて、ステップＳ１０３において視線判定部１８３は、目もと撮像データに基づいて、ユーザＵがキーボード２００を見ているか否かを判定する。
　例えばステップＳ１０３では、視線判定部１８３は、まず、視野カメラ１３０から視野画像データを取得し、且つ、視線カメラ１４０から目もと撮像データを取得する。
　続いて、視線判定部１８３は、視野画像データと目もと撮像データとに基づいて、ユーザＵがキーボード２００を見ているか否かを判定する。
　一例を挙げると、視線判定部１８３は、まず、視野画像データに基づいて、視野カメラ１３０の撮像範囲にキーボード２００が存在するか否かを判定する。
　視線判定部１８３は、視野カメラ１３０の撮像範囲にキーボード２００が存在すると判定すると、目もと撮像データに基づいて、ユーザＵの目Ｕ１の基準点（例えば、目頭）と、ユーザＵの目Ｕ１の特定点（瞳孔等）と、を検出する。
　続いて、視線判定部１８３は、基準点と特定点との位置関係に基づいて、ユーザＵの視線の方向を推定する。例えば、視線判定部１８３は、基準点と特定点との位置関係と、ユーザＵの視線の方向と、の対応関係を示すテーブルを用いることによって、ユーザＵの視線の方向を推定する。
　続いて、視線判定部１８３は、視野画像データに基づいて、視野カメラ１３０の撮像範囲におけるキーボード２００の位置を特定する。続いて、視線判定部１８３は、ユーザＵの視線の方向にキーボード２００が位置するか否か、すなわち、ユーザＵがキーボード２００を見ているか否かを判定する。
　視線判定部１８３は、ユーザＵの視線の方向が、キーボード２００が存在すると想定される領域（存在想定領域）を向いている場合に、ユーザＵがキーボード２００を見ていると判定してもよい。視線判定部１８３は、ユーザＵの視線の方向が、キーボード２００が存在すると想定される領域（存在想定領域）を向いていない場合に、ユーザＵがキーボード２００を見ていないと判定してもよい。このような場合、視線判定部１８３は、視野画像データを用いることなく、目もと撮像データと、存在想定領域を示すデータと、を用いることによって、ユーザＵがキーボード２００を見ているか否かを判定できる。存在想定領域を示すデータは、例えば、予め記憶装置１７０に記憶される。
　続いて、ステップＳ１０４において向き判定部１８４は、ＨＭＤ１００（ユーザＵの頭部Ｕ２）が、水平線に対して第１角度以上、下向きであるか否かを判定する。
　例えばステップＳ１０４では向き判定部１８４は、まず、向きセンサ１５０から向きデータを取得する。続いて、向き判定部１８４は、向きデータに基づいて、ＨＭＤ１００が水平線に対して第１角度以上、下向きであるか否かを判定する。
　ステップＳ１０１からステップＳ１０４までの順序は変更されてもよい。例えば、ステップＳ１０１がステップＳ１０２の完了後に実行されてもよい。
　続いて、ステップＳ１０５において条件判定部１８５は、所定条件が成立するか否かを判定する。所定条件は、上述の通り以下の条件を含む。
（１）入力判定部１８１の判定結果が肯定であるという入力条件。
（２）存在判定部１８２の判定結果が肯定であるという存在条件。
（３）視線判定部１８３の判定結果が肯定であるという視線条件。
（４）向き判定部１８４の判定結果が肯定であるという向き条件。
　続いて、ステップＳ１０６において表示制御部１８６は、条件判定部１８５の判定結果が肯定であるか否か、すなわち、所定条件が成立するか否かを判定する。
　条件判定部１８５の判定結果が肯定である場合、すなわち、所定条件が成立する場合、表示制御部１８６は、ステップＳ１０７を実行する。
　ステップＳ１０７では、表示制御部１８６は、表示面Ｂに第１画像Ｇ１を表示させることなく、表示面Ｂのうちキーボード２００と重ならない領域Ｒ２に第２画像Ｇ２を表示させる。表示制御部１８６は、第２画像Ｇ２を示す第２画像データを、第１画像Ｇ１を示す第１画像データに基づいて生成する。表示制御部１８６は、第２画像データを用いることによって、第２画像Ｇ２を表示させる。
　図７は、表示面Ｂに表示される第２画像Ｇ２の一例を示す図である。第２画像Ｇ２が表示される領域Ｒ２は、例えば、キーボード２００が位置する領域を基準に設定される。例えば、表示制御部１８６は、領域Ｒ２を、キーボード２００が位置する領域から所定方向に所定距離だけ離れた位置に設定する。所定方向は、例えば、表示面Ｂにおける上方向である。所定方向は、表示面Ｂにおける上方向に限らない。所定距離は適宜設定される。
　第２画像Ｇ２が表示されることによって、ＨＭＤ１００は、文字等の入力に特化したモードになってもよい。
　説明を図６に戻す。条件判定部１８５の判定結果が否定である場合、すなわち、所定条件が成立しない場合、表示制御部１８６は、ステップＳ１０８を実行する。
　ステップＳ１０８では、表示制御部１８６は、まず、視野カメラ１３０から視野画像データを取得する。続いて、表示制御部１８６は、視野画像データが示す視野画像が所定の物体（例えば、ホワイトボード又はスクリーン）の画像を含むか否かを判定する。所定の物体は、ホワイトボード又はスクリーンに限らず適宜変更可能である。例えば、所定の物体は、予め定められた基準物体（棚等）よりも、上、下、右又は左に存在する物体でもよい。
　視野画像が所定の物体の画像を含む場合、表示制御部１８６は、ステップＳ１０９を実行する。
　ステップＳ１０９では、表示制御部１８６は、表示面Ｂのうち所定の物体と重なる領域Ｒ１に、第１画像Ｇ１の少なくとも一部を表示させる。領域Ｒ１は、表示面Ｂのうち所定の物体（例えば、ホワイトボード）を表す領域である。
　図８及び図９は、表示面Ｂに表示される第１画像Ｇ１の例を示す図である。視野画像において所定の物体（例えば、ホワイトボード）が存在する領域Ｒ１、すなわち、視野画像において第１画像Ｇ１が表示される領域は、ＨＭＤ１００の向きの変化に基づいて変化する。このため、条件判定部１８５の判定結果が否定である場合、表示制御部１８６は、向きデータによって特定されるＨＭＤ１００の向きの変化に基づいて、表示面Ｂにおける第１画像Ｇ１の位置を調整する。
　一例を挙げると、向きデータに基づいてＨＭＤ１００の向きの左方向への変化が生じた場合、表示制御部１８６は、表示面Ｂにおける第１画像Ｇ１の位置を、左方向とは逆方向の右方向に移動する。また、向きデータに基づいてＨＭＤ１００の向きの上方向への変化が生じた場合、表示制御部１８６は、表示面Ｂにおける第１画像Ｇ１の位置を、上方向とは逆方向の下方向に移動する。このように、表示制御部１８６は、ＨＭＤ１００の向きにおける変化の方向とは逆方向に、表示面Ｂにおける第１画像Ｇ１の位置を移動する。
　視野画像が所定の物体（例えば、ホワイトボード）の画像を含まない場合、表示制御部１８６は、表示面Ｂに、第１画像Ｇ１及び第２画像Ｇ２のいずれも表示させない。
　上述の図６に示す動作は繰り返し実行される。このため、表示面Ｂに表示される画像は、第１画像Ｇ１から第２画像Ｇ２に切り換わり、その後、第１画像Ｇ１に切り換わることがある。
　＜Ａ５：第１実施形態のまとめ＞
　第１入力欄Ａ１が選択され、視野画像にキーボード２００が存在し、ユーザＵがキーボード２００を見ており、且つ、ＨＭＤ１００が下に傾く状況では、表示制御部１８６は、表示面Ｂのうちキーボード２００と重ならない領域Ｒ２に第２入力欄Ａ２を表示する。
　第１入力欄Ａ１の選択は、ユーザＵが文字の入力を意図するときに実行される可能性が高い。また、ユーザＵがキーボード２００を見ることは、ユーザＵが文字の入力を意図するときに実行される可能性が高い。このため、ユーザＵの意図に反して文字の入力欄を入力装置と重ならない位置に表示することを制限できる。
　＜Ｂ：変形例＞
　上述の実施形態における変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
　＜Ｂ１：第１変形例＞
　第１実施形態では、表示面Ｂに表示される第１画像Ｇ１は、実空間に存在する所定の物体（例えば、ホワイトボード）の位置に基づいて、実空間において固定される。しかしながら、表示面Ｂに表示される第１画像Ｇ１は、実空間に存在する所定の物体の位置に基づいて実空間において固定されなくてもよい。
　図１０は、第１変形例の動作の一例を説明するためのフローチャートである。図１０において、図６に示した処理と実質的に同一の処理には同一の符号を付してある。以下、図１０に示す処理において、図６に示した処理と異なる点を中心に説明する。
　ステップＳ１０６において所定条件が成立しない場合、ステップＳ２０１において表示制御部１８６は、表示面Ｂのうち、予め設定された領域Ｒ３に、第１画像Ｇ１を表示させる。
　図１１は、領域Ｒ３に位置する第１画像Ｇ１の一例を示す図である。表示面Ｂにおける領域Ｒ３の位置は、図１１に示す位置に限らず適宜変更可能である。
　第１変形例によれば、表示制御部１８６は、所定条件が成立しない場合、表示面Ｂにおいて第１画像Ｇ１の位置を固定できる。
　＜Ｂ２：第２変形例＞
　第１実施形態及び第１変形例において、所定条件は、追加条件を含んでもよい。
（１）追加条件の一例
　第１実施形態においては、ユーザＵが、第１入力欄Ａ１を選択した直後に別の作業を思い出し、第１画像Ｇ１ではなく紙の資料を参照し始める状況が想定される。このような状況において、第１入力欄Ａ１の選択時からある程度の時間が経過した後にキーボード２００が認識されることによって表示面Ｂに第２画像Ｇ２が表示されることは、一部のユーザＵには不必要と認識される可能性がある。
　このため、表示制御部１８６は、第１入力欄Ａ１の選択時から所定時間が経過した場合、ステップＳ１０６をスキップしてもよい。所定時間は、例えば１０秒である。所定時間は、１０秒よりも短くてもよいし、１０秒よりも長くてもよい。この場合、第１入力欄Ａ１の選択時から所定時間が経過していないという経過条件が、所定条件に加えられる。条件判定部１８５は、経過条件を含む所定条件が成立したか否かを判定する。
（２）追加条件の他の例
　ユーザＵが頭部Ｕ２を回す運動をする場合、ＨＭＤ１００が繰り返し下に傾く。このため、所定条件が向き条件を含む状況においてユーザＵが頭部Ｕ２を回す運動を行うと、表示面Ｂに表示される画像が頻繁に切り替わるおそれがある。このような頻繁な画像の切り替わりは、一部のユーザＵには不必要と認識される可能性がある。
　このため、表示制御部１８６は、ユーザＵの頭部Ｕ２が動いている間、ステップＳ１０６をスキップしてもよい。この場合、ユーザＵの頭部Ｕ２が停止しているという停止条件が、所定条件に加えられる。条件判定部１８５は、停止条件を含む所定条件が成立したか否かを判定する。例えば、条件判定部１８５は、向きデータに基づいて、停止条件が成立するか否かを判定する。
　＜Ｂ３：第３変形例＞
　第１実施形態、第１変形例及び第２変形例において、所定条件は、入力条件と存在条件を含み、入力条件と存在条件とのいずれとも異なる条件を含まなくてもよい。この場合、視線カメラ１４０と向きセンサ１５０と視線判定部１８３と向き判定部１８４を省略できる。この場合、所定条件は、第１条件の一例である。
　＜Ｂ４：第４変形例＞
　第１実施形態、第１変形例及び第２変形例において、所定条件は、入力条件と存在条件と視線条件を含み、入力条件と存在条件と視線条件とのいずれとも異なる条件を含まなくてもよい。この場合、向きセンサ１５０と向き判定部１８４を省略できる。この場合、所定条件は、第１条件の一例である。
　＜Ｂ５：第５変形例＞
　第１実施形態、第１変形例及び第２変形例において、所定条件は、視線条件と向き条件を含み、視線条件と向き条件とのいずれとも異なる条件を含まなくてもよい。この場合、入力判定部１８１と存在判定部１８２を省略できる。この場合、所定条件は、第２条件の一例である。
　＜Ｂ６：第６変形例＞
　第１実施形態、第１変形例及び第２変形例において、所定条件は、視線条件と向き条件と入力条件を含み、視線条件と向き条件と入力条件とのいずれとも異なる条件を含まなくてもよい。この場合、存在判定部１８２を省略できる。この場合、所定条件は、第２条件の一例である。
　＜Ｂ７：第７変形例＞
　第１実施形態、第１変形例及び第２変形例において、所定条件は、視線条件と向き条件と存在条件を含み、視線条件と向き条件と存在条件とのいずれとも異なる条件を含まなくてもよい。この場合、入力判定部１８１を省略できる。この場合、所定条件は、第２条件の一例である。
　＜Ｂ８：第８変形例＞
　第１実施形態、第１変形例及び第２変形例において、所定条件は、入力条件と向き条件を含み、入力条件と向き条件とのいずれとも異なる条件を含まなくてもよい。この場合、視野カメラ１３０と視線カメラ１４０と存在判定部１８２と視線判定部１８３を省略できる。この場合、所定条件は、第３条件の一例である。
　＜Ｃ：その他＞
　（１）第１実施形態及び第１変形例～第８変形例の各々においては、記憶装置１７０は、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体を含んでもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
　（２）第１実施形態及び第１変形例～第８変形例の各々は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future　Radio　Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
　（３）第１実施形態及び第１変形例～第８変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。
　なお、本明細書において説明した用語及び／又は本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
　（４）第１実施形態及び第１変形例～第８変形例の各々において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルによって管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　（５）第１実施形態及び第１変形例～第８変形例の各々において、判定は、１ビットによって表される値（０か１か）に基づいて行われてもよいし、真偽値（Boolean：true又はfalse）に基づいて行われてもよいし、数値の比較（例えば、所定の値との比較）に基づいて行われてもよい。
　（６）第１実施形態及び第１変形例～第８変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　（７）図５に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体にて構成された２以上の装置によって実現されてもよい。
　（８）第１実施形態及び第１変形例～第８変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
　また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　（９）第１実施形態及び第１変形例～第８変形例の各々において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
　（１０）第１実施形態及び第１変形例～第８変形例の各々において、ＨＭＤ１００は、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
　（１１）第１実施形態及び第１変形例～第８変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　（１２）本明細書において使用する「第１」及び「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること又は何らかの形において第１要素が第２要素に先行しなければならないことを意味しない。
　（１３）第１実施形態及び第１変形例～第８変形例の各々において「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲において使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　（１４）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
　（１５）本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
　（１６）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
　＜Ｄ：上述の形態又は変形例から把握される態様＞
　上述の形態又は変形例の少なくとも１つから以下の態様が把握される。
　＜Ｄ１：第１態様＞
　第１態様に係るヘッドマウントディスプレイは、表示面と、入力判定部と、存在判定部と、第１条件判定部と、表示制御部と、を含む。
　表示面は、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する。
　入力判定部は、前記表示面に、第１入力欄を表す第１画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第１入力欄に文字を入力可能であるか否かを判定する。
　存在判定部は、前記ユーザの視野の第１部分に存在する物体の像を示す画像データに基づいて、前記入力装置が第１状態において前記第１部分に存在するか否かを判定する。
　第１条件判定部は、前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第１条件が成立するか否かを判定する。
　表示制御部は、前記第１条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第２入力欄を表す第２画像を表示させる。
　入力装置から第１入力欄に文字を入力可能である状況は、ユーザが文字の入力を意図する操作によって実現される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
　＜Ｄ２：第２態様＞
　第１態様の例（第２態様）において、前記表示制御部は、前記第１条件判定部の判定結果が否定である場合、前記ヘッドマウントディスプレイの向きを示す向きデータによって特定される前記ヘッドマウントディスプレイの向きの変化に基づいて、前記表示面における前記第１画像の位置を調整する。この態様によれば、表示制御部は、表示面における第１画像の位置を、ヘッドマウントディスプレイの向きに基づいて変更できる。
　＜Ｄ３：第３態様＞
　第１態様又は第２態様の例（第３態様）において、前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが前記入力装置を見ているか否かを判定する視線判定部をさらに含み、前記第１条件は、前記視線判定部の判定結果が肯定であるという視線条件をさらに含む。
　ユーザが入力装置を見ることは、ユーザが文字の入力を意図するときに実行される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
　＜Ｄ４：第４態様＞
　第１態様から第３態様のいずれかの例（第４態様）において、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する向き判定部をさらに含み、前記第１条件は、前記向き判定部の判定結果が肯定であるという向き条件をさらに含む。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することをさらに制限できる。
　＜Ｄ５：第５態様＞
　第５態様に係るヘッドマウントディスプレイは、表示面と、視線判定部と、向き判定部と、第２条件判定部と、表示制御部と、を含む。
　表示面は、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する。
　視線判定部は、前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが、前記ユーザが行う操作に応じて文字を入力するための入力装置を見ているか否かを判定する。
　向き判定部は、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する。
　第２条件判定部は、前記視線判定部の判定結果が肯定であるという視線条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第２条件が成立するか否かを判定する。
　表示制御部は、前記表示面に第１入力欄を表す第１画像が表示される状況において前記第２条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第２入力欄を表す第２画像であって前記第１画像よりも小さい前記第２画像を表示させる。
　ユーザが入力装置を見ることは、ユーザが文字の入力を意図するときに実行される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
　＜Ｄ６：第６態様＞
　第５態様の例（第６態様）において、前記表示制御部は、前記第２条件判定部の判定結果が否定である場合、前記表示面のうち予め設定された領域に、前記第１画像を表示させる。この態様によれば、表示制御部は、第２条件判定部の判定結果が否定である場合、表示面のうち予め設定された領域に第１画像を固定できる。
　＜Ｄ７：第７態様＞
　第５態様又は第６態様の例（第７態様）において、前記第１入力欄に前記入力装置から文字を入力可能であるか否かを判定する入力判定部をさらに含み、前記第２条件は、前記入力判定部の判定結果が肯定であるという入力条件をさらに含む。
　入力装置から第１入力欄に文字を入力可能である状況は、ユーザが文字の入力を意図する操作によって実現される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
　＜Ｄ８：第８態様＞
　第５態様から第７態様のいずれかの例（第８態様）において、前記ユーザの視野の第１部分を示す画像データに基づいて、前記入力装置が第１状態において前記第１部分に存在するか否かを判定する存在判定部をさらに含む。前記第２条件は、前記存在判定部の判定結果が肯定であるという存在条件をさらに含む。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することをさらに制限できる。
　＜Ｄ９：第９態様＞
　第９態様に係るヘッドマウントディスプレイは、表示面と、入力判定部と、向き判定部と、第３条件判定部と、表示制御部と、を含む。
　表示面は、前記ヘッドマウントディスプレイがユーザの頭部に装着された状態において、前記ユーザの視野内に位置する。
　入力判定部は、前記表示面に、第１入力欄を表す第１画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第１入力欄に文字を入力可能であるか否かを判定する。
　向き判定部は、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する。
　第３条件判定部は、前記入力判定部の判定結果が肯定であるという入力条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第３条件が成立するか否かを判定する。
　表示制御部は、前記表示面に前記第１画像が表示される状況において前記第３条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第２入力欄を表す第２画像であって前記第１画像よりも小さい前記第２画像を表示させる。
　入力装置から第１入力欄に文字を入力可能である状況は、ユーザが文字の入力を意図する操作によって実現される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
　＜Ｄ１０：第１０態様＞
　第９態様の例（第１０態様）において、前記表示制御部は、前記第３条件判定部の判定結果が否定である場合、前記表示面のうち予め設定された領域に、前記第１画像を表示させる。この態様によれば、表示制御部は、第３条件判定部の判定結果が否定である場合、表示面のうち予め設定された領域に第１画像を固定できる。
　１…表示入力システム、１００…ＨＭＤ、１１０…通信部、１２０…表示部、１２０ａ…対向面、１２０ｂ…外面、１３０…視野カメラ、１４０…視線カメラ、１５０…向きセンサ、１６０…タッチ操作部、１７０…記憶装置、１８０…処理装置、１８１…入力判定部、１８２…存在判定部、１８３…視線判定部、１８４…向き判定部、１８５…条件判定部、１８６…表示制御部、２００…キーボード、Ａ１…第１入力欄、Ａ２…第２入力欄、Ｂ…表示面、Ｂ１…第１表示面、Ｂ２…第２表示面、Ｇ１…第１画像、Ｇ２…第２画像、Ｕ…ユーザ。

Claims (10)

  1. 　ヘッドマウントディスプレイであって、
    　前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、
    　前記表示面に、第１入力欄を表す第１画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第１入力欄に文字を入力可能であるか否かを判定する入力判定部と、
    　前記ユーザの視野の第１部分を示す画像データに基づいて、前記入力装置が第１状態において前記第１部分に存在するか否かを判定する存在判定部と、
    　前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第１条件が成立するか否かを判定する第１条件判定部と、
    　前記第１条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第２入力欄を表す第２画像を表示させる表示制御部と、
    　を含むヘッドマウントディスプレイ。
  2. 　前記表示制御部は、前記第１条件判定部の判定結果が否定である場合、前記ヘッドマウントディスプレイの向きを示す向きデータによって特定される前記ヘッドマウントディスプレイの向きの変化に基づいて、前記表示面における前記第１画像の位置を調整する、
    　請求項１に記載のヘッドマウントディスプレイ。
  3. 　前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが前記入力装置を見ているか否かを判定する視線判定部をさらに含み、
    　前記第１条件は、前記視線判定部の判定結果が肯定であるという視線条件をさらに含む、
    　請求項１又は２に記載のヘッドマウントディスプレイ。
  4. 　前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する向き判定部をさらに含み、
    　前記第１条件は、前記向き判定部の判定結果が肯定であるという向き条件をさらに含む、
    　請求項１から３のいずれか１項に記載のヘッドマウントディスプレイ。
  5. 　ヘッドマウントディスプレイであって、
    　前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、
    　前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが、前記ユーザが行う操作に応じて文字を入力するための入力装置を見ているか否かを判定する視線判定部と、
    　前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する向き判定部と、
    　前記視線判定部の判定結果が肯定であるという視線条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第２条件が成立するか否かを判定する第２条件判定部と、
    　前記表示面に第１入力欄を表す第１画像が表示される状況において前記第２条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第２入力欄を表す第２画像であって前記第１画像よりも小さい前記第２画像を表示させる表示制御部と、
    　を含むヘッドマウントディスプレイ。
  6. 　前記表示制御部は、前記第２条件判定部の判定結果が否定である場合、前記表示面のうち予め設定された領域に、前記第１画像を表示させる、
    　請求項５に記載のヘッドマウントディスプレイ。
  7. 　前記第１入力欄に前記入力装置から文字を入力可能であるか否かを判定する入力判定部をさらに含み、
    　前記第２条件は、前記入力判定部の判定結果が肯定であるという入力条件をさらに含む、
    　請求項５又は６に記載のヘッドマウントディスプレイ。
  8. 　前記ユーザの視野の第１部分を示す画像データに基づいて、前記入力装置が第１状態において前記第１部分に存在するか否かを判定する存在判定部をさらに含み、
    　前記第２条件は、前記存在判定部の判定結果が肯定であるという存在条件をさらに含む、
    　請求項５から７のいずれか１項に記載のヘッドマウントディスプレイ。
  9. 　ヘッドマウントディスプレイであって、
    　前記ヘッドマウントディスプレイがユーザの頭部に装着された状態において、前記ユーザの視野内に位置する表示面と、
    　前記表示面に、第１入力欄を表す第１画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第１入力欄に文字を入力可能であるか否かを判定する入力判定部と、
    　前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第１角度以上、下向きであるか否かを判定する向き判定部と、
    　前記入力判定部の判定結果が肯定であるという入力条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第３条件が成立するか否かを判定する第３条件判定部と、
    　前記表示面に前記第１画像が表示される状況において前記第３条件判定部の判定結果が肯定である場合、前記表示面において前記第１画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第２入力欄を表す第２画像であって前記第１画像よりも小さい前記第２画像を表示させる表示制御部と、
    　を含むヘッドマウントディスプレイ。
  10. 　前記表示制御部は、前記第３条件判定部の判定結果が否定である場合、前記表示面のうち予め設定された領域に、前記第１画像を表示させる、
    　請求項９に記載のヘッドマウントディスプレイ。
PCT/JP2021/022928 2020-06-17 2021-06-16 ヘッドマウントディスプレイ WO2021256520A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022531887A JP7497434B2 (ja) 2020-06-17 2021-06-16 ヘッドマウントディスプレイ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-104755 2020-06-17
JP2020104755 2020-06-17

Publications (1)

Publication Number Publication Date
WO2021256520A1 true WO2021256520A1 (ja) 2021-12-23

Family

ID=79268037

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022928 WO2021256520A1 (ja) 2020-06-17 2021-06-16 ヘッドマウントディスプレイ

Country Status (2)

Country Link
JP (1) JP7497434B2 (ja)
WO (1) WO2021256520A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2017059062A (ja) * 2015-09-17 2017-03-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2018142336A (ja) * 2018-04-03 2018-09-13 株式会社ニコン ヘッドマウントディスプレイ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2017059062A (ja) * 2015-09-17 2017-03-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2018142336A (ja) * 2018-04-03 2018-09-13 株式会社ニコン ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JP7497434B2 (ja) 2024-06-10
JPWO2021256520A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
CN107924216B (zh) 包括隐藏显示器的可折叠电子设备及其信息显示方法
US10769797B2 (en) Virtual reality experience sharing
KR101959347B1 (ko) 복수의 통신 단말을 이용한 다중 디스플레이 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US9946393B2 (en) Method of controlling display of electronic device and electronic device
KR102271833B1 (ko) 전자 장치, 그 제어 방법 및 기록 매체
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR102599383B1 (ko) 분할된 화면 상에서 실행 가능한 어플리케이션 리스트를 디스플레이하는 전자 장치 및 전자 장치의 동작 방법
EP2996018A1 (en) Ring-type mobile terminal
US9298970B2 (en) Method and apparatus for facilitating interaction with an object viewable via a display
KR20150142282A (ko) 기능 제어 방법 및 그 전자 장치
US20170038838A1 (en) Information processing system and information processing method
KR102493579B1 (ko) 카메라를 포함하는 전자 장치 및 전자 장치의 제어 방법
KR20160016068A (ko) 이미지 생성 방법 및 그 전자 장치
US10853275B2 (en) Data transfer between host and peripheral devices
JP2007093967A (ja) 撮影装置
US20180376121A1 (en) Method and electronic device for displaying panoramic image
CN104182051A (zh) 头戴式智能设备和具有该头戴式智能设备的交互系统
US20130093661A1 (en) Methods and apparatus for facilitating user interaction with a see-through display
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
CN104182050A (zh) 头戴式智能设备和具有该头戴式智能设备的投影系统
KR102183397B1 (ko) 이미지 처리 방법 및 이를 구현하는 전자 장치
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
KR20160135476A (ko) 전자 장치 및 그의 카메라 제어 방법
US20220036505A1 (en) In-focus vision screen
CN103941986A (zh) 便携式终端及其输入法界面自适应调整方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21826507

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531887

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21826507

Country of ref document: EP

Kind code of ref document: A1