WO2023119966A1 - ウェアラブル装置 - Google Patents

ウェアラブル装置 Download PDF

Info

Publication number
WO2023119966A1
WO2023119966A1 PCT/JP2022/042541 JP2022042541W WO2023119966A1 WO 2023119966 A1 WO2023119966 A1 WO 2023119966A1 JP 2022042541 W JP2022042541 W JP 2022042541W WO 2023119966 A1 WO2023119966 A1 WO 2023119966A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
display
state
imaging
guide image
Prior art date
Application number
PCT/JP2022/042541
Other languages
English (en)
French (fr)
Inventor
勇一 水越
信貴 松嶌
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023119966A1 publication Critical patent/WO2023119966A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to wearable devices.
  • XR glasses that apply XR technology represented by AR (Augmented Reality), VR (Virtual Reality) and MR (Mixed Reality) have been widely used.
  • the XR glasses may be provided with an imaging device that captures an image in front of the user.
  • a captured image captured by the imaging device is used, for example, to present information for assisting the work performed by the user wearing the XR glasses.
  • the captured image is used for recording or the like for later evaluating whether the user has properly performed the work.
  • Patent Document 1 discloses a work support system that uses markers placed in the real space to align a virtual object placed in the virtual space with an object in the real space.
  • the work support system includes a display unit that displays an image of a virtual space corresponding to a real space, an imaging unit that captures an image of a range including the center of the user's visual field, and a a position information detection unit that detects the positional relationship between the marker and the imaging unit by using the sensor, the detection result of the image of the marker detected when the line of sight is placed on the marker, and the detection result of mechanically detecting the posture of the user. and a display control unit for controlling display of the image in the virtual space.
  • the imaging devices mounted on XR glasses have different resolutions and mounting positions for each product. Therefore, the imaging range assumed by the user may not match the actual imaging range. If the imaging range assumed by the user and the actual imaging range do not match, there is a possibility that the captured image required for processing the XR glasses cannot be obtained.
  • An object of the present invention is to display the imaging range of an imaging device without blocking the user's field of view for a long time.
  • a wearable device includes a transmissive display device worn on a user's head, an imaging device that outputs a captured image obtained by capturing an image in front of the user, and a physical quantity that is detected. a sensor, and a control device that causes the display device to display a guide image indicating an outer edge of the captured image during a display period from a start timing to an end timing that is determined at least based on the output signal of the sensor; Prepare.
  • the imaging range of the imaging device can be displayed without blocking the user's field of view for a long time.
  • FIG. 1 is a block diagram showing the configuration of a wearable device 1 according to an embodiment
  • FIG. FIG. 2 is an explanatory diagram showing the appearance of AR glasses 10
  • 2 is a block diagram showing the configuration of AR glasses 10.
  • FIG. 2 is a block diagram showing the configuration of mobile device 20.
  • FIG. It is a front view of apparatus DV1.
  • FIG. 4 is a diagram showing the relationship between the device DV1 and an XY coordinate system in real space
  • FIG. 4 is a diagram showing the relationship between the device DV1 and an XY coordinate system in real space
  • FIG. 4 is a diagram showing the relationship between a captured image showing the device DV1 and the xy coordinate system
  • 4 is a flowchart showing the operation of the processing device 206;
  • FIG. 1 is a diagram showing an overview of a wearable device 1 according to an embodiment.
  • FIG. 2 is a block diagram which shows the structure of the wearable apparatus 1 which concerns on embodiment.
  • the wearable device 1 includes an AR glass 10 worn on the head of the user U, a mobile device 20 held by the user U, and an inertial measurement device 30 that measures the movement of the user's U head.
  • the user U performs wiring work between a plurality of devices DV stored in the rack RA while wearing the wearable device 1 .
  • the wearable device 1 includes an imaging device 124 (see FIG. 4).
  • the wearable device 1 stores the captured image captured by the imaging device 124 in the storage device 205 (see FIG. 5) of the mobile device 20 .
  • the captured image shows the user U working on the device DV.
  • the wearable device 1 presents a wiring work manual to the user U, and performs image processing using AI (Artificial Intelligence) on the captured image, so that an abnormality in the device DV during work can be detected. It may be monitored whether or not it occurs.
  • AI Artificial Intelligence
  • the inertial measurement device 30 calculates, for example, the acceleration of the user's U head on each of three axes representing a three-dimensional space, and the angular velocity of the user's U head when each of these three axes is used as a rotation axis. , and outputs the measurement result as an output signal.
  • the inertial measurement device 30 is an example of a sensor that detects physical quantities. In this embodiment, the inertial measurement device 30 detects physical quantities relating to movement of the head. Acceleration and angular acceleration are examples of physical quantities related to movement of the user's U head.
  • the inertial measurement device 30 includes various sensors, a processing device, and a communication device.
  • Various sensors include, for example, at least one of a gyro sensor, an acceleration sensor, a magnetic sensor, and a pressure sensor.
  • the processing device uses the measured values measured by various sensors to calculate the acceleration in each of the three axes representing the three-dimensional space and the angular velocity with each of the three axes as the rotation axis.
  • the communication device can communicate with at least the communication device 203 of the mobile device 20 .
  • the communication device transmits an output signal containing the acceleration and angular velocity calculated by the processing device to the mobile device 20 . Transmission of the output signal by the inertial measurement device 30 is performed at predetermined measurement intervals.
  • the inertial measurement device 30 is attached to the cap worn by the user U. Therefore, each time the user U's head moves, the inertial measurement device 30 measures the acceleration and the angular velocity.
  • the portable device 20 described later can calculate the moving speed V of the user U's head using the output signal of the inertial measurement device 30 .
  • the inertial measurement device 30 is attached to the cap worn by the user U, but the inertial measurement device 30 may be built in the AR glasses 10, for example.
  • the acquisition unit 230 acquires the output signal transmitted from the communication device 123 of the AR glasses 10 via the communication device 203 .
  • the inertial measurement device 30 is not limited to the cap worn by the user U, and may be attached anywhere as long as it moves in conjunction with the movement of the user U's head.
  • AR glasses 10 are a transmissive wearable display worn on the user's U head.
  • AR glasses 10 are an example of a display device. Under the control of the mobile device 20, the AR glasses 10 display a virtual object on the display panels provided in each of the binocular lenses 110A and 110B. In this embodiment, the AR glasses 10 display guide images GI (GI1, GI2) indicating the outer edge of the captured image of the imaging device 124 as virtual objects, for example.
  • GI GI1, GI2
  • a goggle-shaped transmissive head-mounted display having functions similar to those of the AR glasses 10 may be used.
  • FIG. 3 is an explanatory diagram showing the appearance of the AR glasses 10.
  • the temples 101 and 102, the bridge 103, the frames 104 and 105, the rims 106 and 107, the lenses 110A and 110B, and the imaging lens LEN are visible from the outside.
  • An imaging lens LEN that constitutes the imaging device 124 shown in FIG. 4 is arranged on the bridge 103 .
  • a display panel for the left eye and an optical member for the left eye are provided on the frame 104 .
  • the display panel is, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the display panel for the left eye displays an image based on control from the mobile device 20, which will be described later, for example.
  • the left-eye optical member is an optical member that guides the light emitted from the left-eye display panel to the lens 110A.
  • the frame 104 is provided with a speaker 122, which will be described later.
  • a display panel for the right eye and an optical member for the right eye are provided on the frame 105 .
  • the display panel for the right eye displays an image based on control from the mobile device 20, for example.
  • the optical member for the right eye is an optical member that guides the light emitted from the display panel for the right eye to the lens 110B.
  • the frame 105 is provided with a speaker 122 to be described later.
  • the rim 106 holds the lens 110A. Rim 107 also holds lens 110B.
  • Each of the lenses 110A and 110B has a half mirror.
  • the half mirror of the lens 110A guides the light representing the physical space R to the left eye of the user U by transmitting the light representing the physical space R.
  • the half mirror of the lens 110B reflects the light guided by the optical member for the left eye to the user's U left eye.
  • the half mirror of the lens 110B guides the light representing the physical space R to the right eye of the user U by transmitting the light representing the physical space R.
  • the half mirror of the lens 110B reflects the light guided by the optical member for the right eye to the user's U right eye.
  • the lenses 110A and 110B are positioned in front of the user's U left and right eyes.
  • a user U wearing the AR glasses 10 visually recognizes the real space R represented by the light transmitted through the lenses 110A and 110B and the virtual object projected by the projection device 121, which will be described later, superimposed on each other.
  • FIG. 4 is a block diagram showing the configuration of the AR glasses 10.
  • the AR glasses 10 include the temples 101 and 102, the bridge 103, the frames 104 and 105, the rims 106 and 107, the lenses 110A and 110B, the imaging lens LEN, the projection device 121, and the speaker 122. , a communication device 123 , an imaging device 124 , a storage device 125 , a processing device 126 and a bus 127 .
  • Each configuration shown in FIG. 4 is stored in frames 104 and 105, for example.
  • the projection device 121, the speaker 122, the communication device 123, the imaging device 124, the storage device 125, and the processing device 126 are interconnected by a bus 127 for communicating information.
  • the bus 127 may be configured using a single bus, or may be configured using different buses for different elements such as devices.
  • the projection device 121 includes a lens 110A, a left-eye display panel, a left-eye optical member, a lens 110B, a right-eye display panel, and a right-eye optical member.
  • the projection device 121 displays virtual objects based on control from the mobile device 20 .
  • the virtual object in this embodiment is, for example, the guide image GI.
  • a speaker 122 is located in each of frames 104 and 105 .
  • Speaker 122 may be located, for example, in one of frames 104 and 105, at least one of temples 101 and 102, or bridge 103, rather than in each of frames 104 and 105.
  • FIG. The speaker 122 is controlled by the mobile device 20 either directly or via the processing unit 126 of the AR glasses 10 .
  • the speaker 122 outputs, for example, a work assist sound such as an alarm sound for calling attention of the user U who is working.
  • the speaker 122 may be separate from the AR glasses 10 without being included in the AR glasses 10 .
  • the communication device 123 communicates with the communication device 203 (see FIG. 4) of the mobile device 20 using wireless communication or wired communication.
  • the communication device 123 communicates with the communication device 203 of the mobile device 20 using short-range wireless communication such as Bluetooth (registered trademark).
  • the imaging device 124 outputs a captured image obtained by capturing an image in front of the user U. More specifically, the imaging device 124 captures an image of a subject and outputs image data D representing the captured image.
  • the imaging direction of the imaging device 124 is arranged so as to match the orientation of the user's U head. Therefore, an object or the like positioned in front of the user U (viewing direction) is captured in the captured image.
  • a captured image generated by the imaging device 124 is transmitted as image data D to the mobile device 20 via the communication device 123 .
  • the imaging device 124 repeats imaging at predetermined imaging intervals, and transmits the generated image data D to the mobile device 20 each time imaging is performed.
  • the imaging device 124 has, for example, an imaging optical system and an imaging device.
  • the imaging optical system is an optical system including at least one imaging lens LEN (see FIG. 3).
  • the imaging optical system may have various optical elements such as a prism, or may have a zoom lens, a focus lens, or the like.
  • the imaging device is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor.
  • the storage device 125 is a recording medium readable by the processing device 126 .
  • Storage device 125 includes, for example, non-volatile memory and volatile memory.
  • Non-volatile memories are, for example, ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory) and EEPROM (Electrically Erasable Programmable Read Only Memory).
  • Volatile memory is, for example, RAM (Random Access Memory).
  • Storage device 125 stores program PG1.
  • the processing device 126 includes one or more CPUs (Central Processing Units).
  • CPUs Central Processing Units
  • One or more CPUs is an example of one or more processors.
  • Each of the processor and CPU is an example of a computer.
  • the processing device 126 reads the program PG1 from the storage device 125.
  • the processing device 126 functions as an operation control unit 130 by executing the program PG1.
  • the operation control unit 130 is composed of circuits such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). may be
  • the operation control unit 130 controls the operation of the AR glasses 10. For example, the operation control unit 130 transmits the captured image captured by the imaging device 124 to the mobile device 20 .
  • the operation control unit 130 also provides the projection device 121 with a control signal for displaying the guide image GI received by the communication device 123 from the mobile device 20 . In this case, the projection device 121 displays the guide image GI indicated by the control signal on the display panel.
  • the mobile device 20 stores captured images captured by the imaging device 124 of the AR glasses 10 . Also, the mobile device 20 causes the AR glasses 10 to display the guide image GI during a display period TM, which will be described later.
  • the mobile device 20 is an example of a control device.
  • the mobile device 20 is, for example, a smart phone, a tablet, or the like.
  • FIG. 5 is a block diagram showing the configuration of the mobile device 20.
  • Portable device 20 includes touch panel 201 , communication device 203 , storage device 205 , processing device 206 and bus 207 .
  • the touch panel 201, communication device 203, storage device 205, and processing device 206 are interconnected by a bus 207 for communicating information.
  • the bus 207 may be configured using a single bus, or may be configured using different buses between devices.
  • the touch panel 201 displays various information to the user U and detects the user U's touch operation.
  • the touch panel 201 serves as both an input device and an output device.
  • the touch panel 201 is configured by attaching a touch sensor unit capable of detecting a touch operation between various display panels such as a liquid crystal display panel or an organic EL display panel and a cover glass.
  • the touch panel 201 periodically detects the contact position of the finger of the user U on the touch panel 201, and outputs touch information indicating the detected contact position to the processing device 206.
  • the communication device 203 communicates with the communication device 123 (see FIG. 4) of the AR glasses 10 using wireless communication or wired communication. In this embodiment, the communication device 203 communicates with the communication device 123 using the same short-range wireless communication as the communication device 123 of the AR glasses 10 . Also, the communication device 203 communicates with the communication device of the inertial measurement device 30 (see FIGS. 1 and 2) using wireless communication or wired communication. In this embodiment, the communication device 203 communicates with the inertial measurement device 30 using short-range wireless communication.
  • the storage device 205 is a recording medium readable by the processing device 206 .
  • Storage device 205 includes, for example, non-volatile memory and volatile memory.
  • Non-volatile memories are, for example, ROM, EPROM and EEPROM.
  • Volatile memory is, for example, RAM.
  • Storage device 205 stores program PG2 and captured images.
  • the image data D is data corresponding to the captured image captured by the imaging device 124 of the AR glasses 10 . As described above, the captured image shows the user U working on the device DV.
  • the processing device 206 includes one or more CPUs.
  • One or more CPUs is an example of one or more processors.
  • Each of the processor and CPU is an example of a computer.
  • the processing device 206 reads the program PG2 from the storage device 205.
  • the processing device 206 functions as an acquisition unit 230, a storage control unit 232, and a display control unit 234 by executing the program PG2.
  • At least one of the acquisition unit 230, the storage control unit 232, and the display control unit 234 may be configured by circuits such as DSP, ASIC, PLD, and FPGA.
  • the acquisition unit 230 acquires the output signal of the inertial measurement device 30. Also, the acquisition unit 230 acquires the image data D corresponding to the captured image captured by the imaging device 124 mounted on the AR glasses 10 . The acquisition unit 230 acquires the output signal of the inertial measurement device 30 and the image data D representing the captured image received by the communication device 203 . The acquisition unit 230 sequentially acquires the output signal and the image data D while the user U is working.
  • the storage control unit 232 causes the storage device 205 to store the image data D acquired by the acquisition unit 230 .
  • the storage control unit 232 may store the image data D after lowering the resolution of the image data D according to the storage capacity of the storage device 205, for example. Further, the storage control unit 232 may secure the storage capacity of the storage device 205 by sequentially deleting the image data D that has been stored in the storage device 205 for a predetermined period or longer.
  • the display control unit 234 causes the AR glasses 10 to display a guide image GI indicating the outer edge of the captured image.
  • the imaging device 124 mounted on the AR glasses 10 has different resolutions and attachment positions for each product, so there are cases where the imaging range IF assumed by the user U does not match the actual imaging range IF. be.
  • the imaging range IF assumed by the user U has different resolutions and attachment positions for each product, so there are cases where the imaging range IF assumed by the user U does not match the actual imaging range IF. be.
  • the visual field range VF of the user U changes, there is a possibility that the imaging range IF assumed by the user U and the actual imaging range IF will deviate.
  • the case where the visual field range VF of the user U has changed is, for example, when the user U moves in front of a new work target device DV and starts work, or after the user U during work looks around, It is assumed that the line of sight is returned to the work target device DV.
  • FIG. 6 is a diagram schematically showing the relationship between the visual field range VF of the user U and the imaging range IF of the imaging device 124 in the physical space R.
  • FIG. FIG. 6 shows a state in which the user U is positioned in front of the rack RA that houses the devices DV1 to DV3 and is looking toward the devices DV1 to DV3.
  • the visual field range VF of the user U is shown narrower than it actually is.
  • the visual field range VF of the user U spreads by about 100° to the left and right with respect to the line of sight direction, for a total of about 200°.
  • the angle of view of the imaging device 124 is about 80° even with a super-wide-angle lens that is set to have a wider angle of view than the telephoto lens. That is, the imaging range IF of the imaging device 124 is narrower than the visual field range VF of the user U. Therefore, the object that the user U is looking at may not appear in the captured image.
  • the imaging range IF is located at the position of FIG. need to be adjusted. For example, when the user U moves his or her head upward, the imaging range IF of the imaging device 124 moves upward. Due to this movement, the imaging range IF includes the indicator IN1.
  • the display control unit 234 causes the AR glasses 10 to display a guide image GI that enables the user U to grasp the imaging range IF in order to enable adjustment of the position of the imaging range IF within the visual field range VF.
  • FIG. 7A is an explanatory diagram showing an example of the display mode of the guide image GI.
  • the field of view range VF is viewed by the user U through the lenses 110A and 110B of the AR glasses 10.
  • the guide image GI1 is a frame-shaped image showing the outer edge of the imaging range IF.
  • the display control unit 234 uses the projection device 121 to display the guide image GI1 on the lenses 110A and 110B. Therefore, the user U can recognize which range of his own visual field range VF is included in the imaging range IF.
  • imaging device 124 does not perform panning, tilting, zooming, etc.
  • imaging range IF is fixed
  • guide image GI1 The size of the guide image GI1 and the display position of the guide image GI1 on the lenses 110A and 110B are constant.
  • the display control unit 234 controls the outer edge of the imaging range IF in the visual field range VF of the user U ( The position of the outer edge of the captured image) is calculated and the guide image GI1 is displayed.
  • FIG. 7B is an explanatory diagram showing another example of the display mode of the guide image GI.
  • the guide image GI2 is an image obtained by displaying the captured image captured by the imaging device 124 in real time.
  • the display control unit 234 uses the projection device 121 to reduce the captured image of the imaging device 124 on the lenses 110A and 110B and display it as a guide image GI2. Therefore, the user U can grasp how the visual field range VF appears as a captured image.
  • the entire imaging range IF of the imaging device 124 is included in the visual field range VF of the user U, but part of the imaging range IF of the imaging device 124 is included in the visual field range VF of the user U.
  • the imaging device 124 may be provided at a position corresponding to the user U's forehead. May include above VF. Even in such a case, by displaying the guide image GI, the user U can recognize the deviation between the own visual field range VF and the imaging range IF.
  • the guide image GI as shown in FIGS. 7A and 7B is highly convenient when the visual field range VF of the user U is changed, but after alignment of the imaging range IF in the visual field range VF is performed, , may interfere with work. Therefore, the display control unit 234 limits the display of the guide image GI only to a certain period immediately before the movement of the user U stops. That is, the display control unit 234 causes the AR glasses 10 to display the guide image GI indicating the outer edge of the captured image at least during the display period TM from the start timing to the end timing determined based on the output signal of the inertial measurement device 30 .
  • FIG. 8 is a graph schematically showing the display period TM of the guide image GI.
  • the vertical axis is the moving speed V of the user U's head
  • the horizontal axis is the time T.
  • the moving speed V is calculated by time-integrating the acceleration measured by the inertial measurement device 30 .
  • Two thresholds, a speed V1 and a speed V2 ( ⁇ V1), are set for the moving speed V.
  • the speed V1 is an example of a first threshold
  • the speed V2 is an example of a second threshold.
  • a state in which the moving speed V exceeds the speed V1 is the first state, a state in which the moving speed V is greater than the speed V2 and is equal to or less than the first threshold is the second state, and a state in which the moving speed V is equal to or less than the speed V2.
  • a third state is set.
  • the movement speed V of the user U's head is approximately zero at time T0. After that, the movement of the head of the user U starts, and the movement speed V exceeds the speed V2 at time T1. After time T1, the moving speed V becomes faster, and exceeds the speed V1 at time T2. After exceeding the speed V1 at time T2, the moving speed V peaks. The moving speed V decelerates after peaking, and becomes equal to or lower than the speed V1 at time T3. After time T3, although there is a period of time in which the vehicle is accelerated again, the moving speed V decelerates without exceeding the speed V1, and becomes equal to or lower than the speed V2 at time T4. After time T4, the moving speed V becomes substantially zero and approaches a stationary state. That is, from time T0 to T1 is the third state, from time T1 to T2 is the second state, from time T2 to T3 is the first state, from time T3 to T4 is the second state, after time T4 This is the third state.
  • the display control unit 234 causes the AR glasses 10 to display the guide image GI from time T3 to time T4. That is, the display control unit 234 sets the display period TM of the guide image GI to the period from time T3 to time T4.
  • the reason why the display period TM is set from the time T3 to the time T4 is that the display of the guide image GI during this period is considered to be most useful.
  • the display control unit 234 starts displaying the guide image GI on the AR glasses 10 .
  • the display control unit 234 ends the display of the guide image GI on the AR glasses 10 .
  • the user U can adjust the imaging range IF to a desired position during a series of movements during movement.
  • the display control unit 234 calculates the moving speed V of the user's U head based on the acceleration indicated by the output signal of the inertial measurement device 30 .
  • the display control unit 234 defines a state in which the moving speed V exceeds the speed V1 as a first state, a state in which the moving speed V is less than or equal to the speed V1 and exceeds the speed V2 as a second state, and a state in which the moving speed V is less than or equal to the speed V2.
  • a third state is set.
  • the display control unit 234 sets the timing of transition from the first state to the second state as the start timing of the display period TM, and the timing of transition from the second state to the third state as the end timing of the display period TM.
  • FIG. 9 is a flow chart showing the operation of the processing device 206 .
  • the processing device 206 functions as the acquisition unit 230 and acquires the output signal of the inertial measurement device 30 (step S101).
  • the output signal of the inertial measurement device 30 indicates the acceleration of the user U's head.
  • the processing device 206 functions as the display control unit 234, and uses the output signal of the inertial measurement device 30 to calculate the moving speed V of the head of the user U (step S102). Acquisition of the output signal of the inertial measurement device 30 in step S101 and calculation of the moving speed V in step S102 are also executed sequentially in subsequent steps.
  • the processing device 206 functions as the display control unit 234 and waits until the moving speed V exceeds the speed V1, that is, until the first state is reached (step S103: NO).
  • the processing device 206 functions as the display control unit 234, and the moving speed V becomes equal to or lower than the speed V1, that is, the first state shifts to the second state. (step S104: NO).
  • step S104 When the moving speed V becomes equal to or lower than the speed V1 (step S104: YES), the processing device 206 functions as the display control unit 234 and starts displaying the guide image GI on the AR glasses 10 (step S105). That is, the timing at which the first state transitions to the second state is the start timing of the display period TM.
  • the processing device 206 functions as the display control unit 234 and waits until the moving speed V becomes equal to or less than the speed V2 or exceeds the speed V1 again (step S106: NO). During this time, the display of the guide image GI on the AR glasses 10 continues.
  • step S106 When the moving speed V becomes equal to or less than the speed V2 or exceeds the speed V1 again (step S106: YES), the processing device 206 functions as the display control unit 234 to display the guide image GI on the AR glasses 10. is terminated (step S107). That is, the timing at which the second state transitions to the third state or the timing at which the second state transitions to the first state is the end timing of the display period TM. After that, the processing device 206 returns the processing to step S101 and repeats the subsequent processing.
  • the wearable device 1 displays the outer edge of the captured image during the display period TM from the start timing to the end timing determined based on the output signal of the inertial measurement device 30.
  • a guide image GI is displayed on the AR glasses 10. - ⁇ The guide image GI is displayed only during the display period TM. Therefore, it is possible to prevent the visual field of the user U from being blocked for a long time by the display of the imaging range IF of the imaging device 124 . Also, the user U can grasp the position of the imaging range IF in the visual field range VF using the guide image GI. Therefore, the usability of the captured image is improved.
  • the wearable device 1 sets the timing of transition from the first state to the second state as the start timing of the display period TM, and the timing of transition from the second state to the third state as the end timing of the display period TM. Therefore, the change in the visual field range VF of the user U is reduced due to the decrease in the moving speed V, and the guide image GI is displayed at a timing that facilitates alignment of the imaging range IF with reference to the guide image GI. Therefore, the usability of the guide image GI is improved.
  • the wearable device 1 uses the inertial measurement device 30 to acquire physical quantities related to the movement of the user's U head. Therefore, the wearable device 1 can accurately detect the physical quantity related to the movement of the user's U head.
  • the display control unit 234 continues the display of the guide image GI for the second time longer than the first time. good too.
  • the first time and the second time represent lengths of time.
  • the display period TM is equal to or shorter than the first hour
  • the display of the guide image GI continues until the second hour. Therefore, the time for the user U to confirm the guide image GI is secured, and the convenience is improved.
  • B2 Second Modification
  • the state where the moving speed V is equal to or lower than the speed V1 and exceeds the speed V2 may continue for a long time.
  • the guide image GI is continuously displayed in the visual field range VF of the user U for a long time, and the user U may feel annoyed. Therefore, the display control unit 234 may end the display of the guide image GI regardless of the moving speed V of the user U when the display period TM continues for a long time.
  • the display control unit 234 may end the display of the guide image GI regardless of the output signal of the inertial measurement device 30 when the display period TM continues for the third time or longer.
  • the display of the guide image GI is terminated regardless of the output signal of the inertial measurement device 30 (the moving speed V of the user U). be. Therefore, the display of the unnecessary guide image GI is stopped, and the visibility in the user's U field of view is ensured.
  • the AR glasses 10 and the mobile device 20 are separate entities. Not limited to this, the AR glasses 10 may have the function of the mobile device 20, for example. That is, the acquisition unit 230 , the storage control unit 232 and the display control unit 234 may be executed by the processing device 126 of the AR glasses 10 . Alternatively, the image data D may be stored in the storage device 125 of the AR glasses 10 .
  • the third modified example it is possible to display the guide image GI and record the captured image without using the mobile device 20, for example.
  • display control of the guide image GI is performed by the mobile device 20 .
  • display control of the guide image GI may be performed in a processing server connected to the mobile device 20 via a network.
  • the mobile device 20 transmits the output signal of the inertial measurement device 30 acquired by the acquisition unit 230 to the processing server.
  • the processing server determines the display period TM of the guide image GI based on the output signal of the inertial measurement device 30 and transmits a control signal for displaying the guide image GI on the AR glasses 10 to the mobile device 20 .
  • the mobile device 20 does not have a program for realizing the display control unit 234, or does not have the processing capability to execute the program for realizing the display control unit 234, Even in this case, monitoring of the monitoring object that the user U is working on is performed.
  • the imaging device 124 is mounted on the AR glasses 10 .
  • the AR glasses 10 and the imaging device 124 may be separate devices.
  • the inertial measurement device 30 is used to acquire information about the movement of the user U's head.
  • a geomagnetic sensor may be used as a sensor that detects physical quantities.
  • a geomagnetic sensor detects the geomagnetism surrounding the earth.
  • the geomagnetic sensor detects values of magnetic forces in three axial directions of X, Y, and Z.
  • the portable device 20 can estimate the displacement (displacement direction and displacement amount) of the user's U head based on the change in the value of the magnetic force in the three axial directions.
  • the amount of displacement of the user's U head per unit time corresponds to the moving speed V of the user. Therefore, even if a geomagnetic sensor is used, processing similar to that of the above-described embodiment is realized.
  • Each function illustrated in FIG. 4 or 5 is realized by any combination of hardware and software.
  • a method for realizing each function is not particularly limited.
  • Each function may be implemented using one device physically or logically coupled, or two or more physically or logically separate devices directly or indirectly (e.g., wired, It may also be implemented using devices that are configured by connecting (eg, wirelessly).
  • Each function may be implemented by combining software in the one device or the plurality of devices.
  • apparatus may be read as other terms such as circuits, devices or units.
  • the storage device 125 and the storage device 205 are optical discs such as CD-ROMs (Compact Disc ROM), hard disk drives, flexible discs, magneto-optical discs ( compact discs, digital versatile discs, Blu-ray discs), smart cards, flash memory (e.g. cards, sticks, key drives), floppy discs, magnetic strips, etc. may be configured by Also, the program may be transmitted from a network via an electric communication line.
  • CD-ROMs Compact Disc ROM
  • hard disk drives flexible discs
  • magneto-optical discs compact discs, digital versatile discs, Blu-ray discs
  • smart cards e.g. cards, sticks, key drives
  • flash memory e.g. cards, sticks, key drives
  • floppy discs magnetic strips, etc.
  • Each of the embodiment and the first to sixth modifications are LTE (Long Term Evolution), LTE-A (LTA-Advanced), SUPER 3G, IMT-Advanced, 4G (4th generation mobile communication system) , 5G (5th generation mobile communication system), 6th generation mobile communication system (6G), xth generation mobile communication system (xG) (x is, for example, an integer or a decimal number), FRA (Fu True Radio Access), NR (new Radio), New radio access (NX), Future generation radio access (FX), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi (registered trademark) ), IEEE 802.16 (WiMAX (registered trademark)), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth (registered trademark), and other suitable systems, and extensions, modifications, It may be applied to at least one of the next generation systems created and defined. Also, a plurality of
  • input/output information may be stored in a specific location (for example, memory) or managed using a management table. good too. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made based on a value (0 or 1) represented by one bit, or a true/false value (Boolean : true or false) or based on numerical comparison (for example, comparison with a predetermined value).
  • software may use wired technology (such as coaxial cable, fiber optic cable, twisted pair and Digital Subscriber Line (DSL)) and/or wireless technology (such as infrared, microwave, etc.) to access websites, servers, or other When transmitted from a remote source, these wired and/or wireless technologies are included within the definition of transmission media.
  • wired technology such as coaxial cable, fiber optic cable, twisted pair and Digital Subscriber Line (DSL)
  • wireless technology such as infrared, microwave, etc.
  • the mobile device 20 or 20B may be a mobile station.
  • a mobile station is defined by those skilled in the art as subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client or some other suitable terminology.
  • a mobile station may be called a transmitting device, a receiving device, a communication device, or the like.
  • a mobile station may be a device mounted on a mobile, or the mobile itself, or the like.
  • a moving object means an object that can move. The moving speed of the moving body is arbitrary. The moving object can be stopped.
  • Mobile bodies include, for example, vehicles, transport vehicles, automobiles, motorcycles, bicycles, connected cars, excavators, bulldozers, wheel loaders, dump trucks, forklifts, trains, buses, carts, rickshaws, ships (ship and other watercraft), Including, but not limited to, airplanes, rockets, satellites, drones, multicopters, quadcopters, balloons, and anything mounted thereon.
  • the mobile body may be a mobile body that autonomously travels based on an operation command.
  • the mobile object may be a vehicle (e.g., car, airplane, etc.), an unmanned mobile object (e.g., drone, self-driving car, etc.), or a robot (manned or unmanned).
  • vehicle e.g., car, airplane, etc.
  • unmanned mobile object e.g., drone, self-driving car, etc.
  • a robot manned or unmanned.
  • Mobile stations also include devices that are not necessarily mobile during communication operations.
  • the mobile station may be an IoT (Internet of Things) device such as a sensor.
  • the term “determining” may encompass a wide variety of actions. “Determination” includes, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiry (e.g., table , searching in a database or other data structure), ascertaining what has been “determined”, and the like. Also, “determining” includes receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, accessing ( For example, access to data in memory) may be considered to be a "judgment” or “decision”. Also, “determining” may include considering resolving, selecting, choosing, establishing, comparing, etc. to be “determined.” Thus, “determining” may include deeming some action "determined.” Also, “determination” may be read as “assuming", “expecting", “considering”, or the like.
  • connection means any connection or coupling, and may include the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other. Couplings or connections between elements may be physical, logical, or a combination thereof. For example, "connection” may be read as "access”.
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and light (both visible and invisible) regions, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)

Abstract

ＡＲグラスは、ユーザの頭部に装着される透過型の表示装置である。撮像装置は、ユーザの前方を撮像することによって得られる撮像画像を出力する。慣性計測装置は、ユーザの頭部の移動に関する物理量を検出する。表示制御部は、少なくとも慣性計測装置の出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間において、撮像画像の外縁を示すガイド画像をＡＲグラスに表示させる。

Description

ウェアラブル装置
　本発明は、ウェアラブル装置に関する。
　従来、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）、ＶＲ（ｖｉｒｔｕａｌ　ｒｅａｌｉｔｙ）およびＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）に代表されるＸＲ技術を適用したＸＲグラスが普及している。ＸＲグラスには、ユーザの前方を撮像する撮像装置が設けられる場合がある。撮像装置によって撮像された撮像画像は、例えばＸＲグラスを装着したユーザが行う作業を補助するための情報の提示に用いられる。又は、撮像画像は、ユーザが作業を適切に行ったかを事後的に評価するための記録等に用いられる。
　例えば、下記特許文献１には、実空間に配置されるマーカを用いて、仮想空間に配置される仮想オブジェクトと実空間の物体との位置合わせを実行する作業支援システムが開示されている。具体的には、作業支援システムは、実空間に対応する仮想空間の画像を表示する表示部と、ユーザの視野の中心部を含む範囲を撮像する撮像部と、撮像されたマーカの画像に基づいてマーカと撮像部との位置関係を検出する位置情報検出部と、マーカに視線を置いている状態で検出されたマーカの画像の検出結果と、ユーザの姿勢を機械的に検出した検出結果とに基づいて、仮想空間の画像の表示を制御する表示制御部を備える。
特開２０２０－１７０２４９号公報
　一般に、ＸＲグラスに搭載された撮像装置は、製品ごとに解像度および取付位置が異なる。よって、ユーザが想定している撮像範囲と実際の撮像範囲とが一致しない場合がある。ユーザが想定している撮像範囲と実際の撮像範囲とが一致しないと、ＸＲグラスの処理に必要な撮像画像が取得することができない可能性がある。
　このような問題に対応するために、例えば撮像範囲の外縁を示すガイド画像を常時ＸＲグラスに表示することも考えられる。しかし、ガイド画像が作業の妨げとなる、又は、ＸＲグラスの表示領域を狭めてしまう、等の課題がある。
　本発明の目的は、ユーザの視野を長時間遮ることなく、撮像装置の撮像範囲を表示することにある。
　本発明の一態様に係るウェアラブル装置は、ユーザの頭部に装着される透過型の表示装置と、前記ユーザの前方を撮像することによって得られる撮像画像を出力する撮像装置と、物理量を検出するセンサと、少なくとも前記センサの出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間において、前記撮像画像の外縁を示すガイド画像を前記表示装置に表示させる制御装置と、
を備える。
　本発明の一態様によれば、ユーザの視野を長時間遮ることなく、撮像装置の撮像範囲を表示できる。
実施形態に係るウェアラブル装置１の概要を示す図である。 実施形態に係るウェアラブル装置１の構成を示すブロック図である。 ＡＲグラス１０の外観を示す説明図である。 ＡＲグラス１０の構成を示すブロック図である。 携帯機器２０の構成を示すブロック図である。 機器ＤＶ１の正面図である。 機器ＤＶ１と実空間上のＸＹ座標系との関係を示す図である。 機器ＤＶ１と実空間上のＸＹ座標系との関係を示す図である。 機器ＤＶ１が映る撮像画像とｘｙ座標系との関係を示す図である。 処理装置２０６の動作を示すフローチャートである。
Ａ．実施形態
Ａ－１．システム構成
　図１は、実施形態に係るウェアラブル装置１の概要を示す図である。また、図２は、実施形態に係るウェアラブル装置１の構成を示すブロック図である。ウェアラブル装置１は、ユーザＵの頭部に装着されるＡＲグラス１０と、ユーザＵが保持する携帯機器２０と、ユーザＵの頭部の動きを計測する慣性計測装置３０とを備える。
　本実施形態において、ユーザＵは、ウェアラブル装置１を装着した状態で、ラックＲＡに格納された複数の機器ＤＶ間の配線作業を行う。ウェアラブル装置１は、撮像装置１２４（図４参照）を備える。ウェアラブル装置１は、撮像装置１２４で撮像された撮像画像を、携帯機器２０の記憶装置２０５（図５参照）に記憶する。撮像画像には、ユーザＵが機器ＤＶに対して作業を行う様子が映っている。このような撮像画像を記録することによって、ユーザＵの作業手順および作業内容が正しかったかを事後的に検証したり、不具合が行った場合にその原因を追究したりすることができる。よって、ユーザＵおよび作業の依頼者の利便性が向上する。
　この他、ウェアラブル装置１は、ユーザＵに対して配線作業のマニュアルを提示したり、撮像画像に対してＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた画像処理を行う方法で、作業中の機器ＤＶに異常が生じていないかを監視したりしてもよい。
Ａ－２．慣性計測装置３０
　慣性計測装置３０は、例えば、３次元空間を表す３軸の各々におけるユーザＵの頭部の加速度と、この３軸の各々を回転軸とした場合のユーザＵの頭部の角速度とを算出し、計測結果を出力信号として出力する。慣性計測装置３０は、物理量を検出するセンサの一例である。本実施形態において、慣性計測装置３０は、頭部の移動に関する物理量を検出する。加速度および角加速度は、ユーザＵの頭部の移動に関する物理量の一例である。
　より詳細には、慣性計測装置３０は、各種センサと、処理装置と、通信装置とを備える。各種センサは、例えばジャイロセンサ、加速度センサ、磁気センサ、圧力センサの少なくともいずれかを含む。処理装置は、各種センサで計測された計測値を用いて、３次元空間を表す３軸の各々における加速度と、この３軸の各々を回転軸とした角速度とを算出する。通信装置は、少なくとも携帯機器２０の通信装置２０３と通信可能である。通信装置は、処理装置で算出された加速度および角速度を含む出力信号を、携帯機器２０に対して送信する。慣性計測装置３０が行う出力信号の送信は、所定の計測間隔毎に行われる。
　本実施形態では、慣性計測装置３０は、ユーザＵが頭部に被っている帽子に取り付けられている。よって、ユーザＵの頭部が動く都度、慣性計測装置３０において加速度および角速度が計測される。後述する携帯機器２０は、慣性計測装置３０の出力信号を用いて、ユーザＵの頭部の移動速度Ｖを算出できる。
　なお、本実施形態では、慣性計測装置３０はユーザＵが被っている帽子に取り付けられているが、例えばＡＲグラス１０に慣性計測装置３０が内蔵されていてもよい。この場合、取得部２３０は、ＡＲグラス１０の通信装置１２３から送信された出力信号を、通信装置２０３を介して取得する。また、慣性計測装置３０はユーザＵが被っている帽子に限らず、ユーザＵの頭の動きに連動して動く場所であれば、どこに取り付けられていてもよい。
Ａ－３．ＡＲグラス１０
　ＡＲグラス１０は、ユーザＵの頭部に装着される透過型のウエアラブルディスプレイである。ＡＲグラス１０は、表示装置の一例である。ＡＲグラス１０は、携帯機器２０の制御に基づいて、両眼用のレンズ１１０Ａ，１１０Ｂの各々に設けられた表示パネルに仮想オブジェクトを表示させる。本実施形態では、ＡＲグラス１０は、例えば仮想オブジェクトとして、撮像装置１２４の撮像画像の外縁を示すガイド画像ＧＩ（ＧＩ１，ＧＩ２）を表示させる。なお、表示装置として、例えば、ＡＲグラス１０が有する機能と同様の機能を有するゴーグル形状の透過型ヘッドマウントディスプレイを用いてもよい。
　図３は、ＡＲグラス１０の外観を示す説明図である。ＡＲグラス１０は、テンプル１０１および１０２と、ブリッジ１０３と、フレーム１０４および１０５と、リム１０６および１０７と、レンズ１１０Ａおよび１１０Ｂと、撮像レンズＬＥＮとが、外観において視認される。
　ブリッジ１０３には、図４に示される撮像装置１２４を構成する撮像レンズＬＥＮが配置されている。
　フレーム１０４には、左眼用の表示パネルと左眼用の光学部材が設けられている。表示パネルは、例えば、液晶パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルである。左眼用の表示パネルは、例えば、後述する携帯機器２０からの制御に基づいて画像を表示する。左眼用の光学部材は、左眼用の表示パネルから射出された光をレンズ１１０Ａに導光する光学部材である。また、フレーム１０４には、後述するスピーカ１２２が設けられる。
　フレーム１０５には、右眼用の表示パネルと右眼用の光学部材が設けられている。右眼用の表示パネルは、例えば、携帯機器２０からの制御に基づいて画像を表示する。右眼用の光学部材は、右眼用の表示パネルから射出された光をレンズ１１０Ｂに導光する光学部材である。また、フレーム１０５には、後述するスピーカ１２２が設けられる。
　リム１０６は、レンズ１１０Ａを保持する。また、リム１０７は、レンズ１１０Ｂを保持する。
　レンズ１１０Ａおよび１１０Ｂの各々は、ハーフミラーを有する。レンズ１１０Ａが有するハーフミラーは、現実空間Ｒを表す光を透過させることによって、現実空間Ｒを表す光をユーザＵの左眼に導く。また、レンズ１１０Ｂが有するハーフミラーは、左眼用の光学部材によって導光された光をユーザＵの左眼に反射する。レンズ１１０Ｂが有するハーフミラーは、現実空間Ｒを表す光を透過させることによって、現実空間Ｒを表す光をユーザＵの右眼に導く。また、レンズ１１０Ｂが有するハーフミラーは、右眼用の光学部材によって導光された光をユーザＵの右眼に反射する。
　ユーザＵがＡＲグラス１０を装着したとき、レンズ１１０Ａおよび１１０Ｂは、ユーザＵの左眼および右眼の前に位置する。ＡＲグラス１０を装着したユーザＵは、レンズ１１０Ａおよび１１０Ｂを透過した光が表す現実空間Ｒと、後述する投影装置１２１が投影する仮想オブジェクトとを重ね合わせて視認する。
　図４は、ＡＲグラス１０の構成を示すブロック図である。ＡＲグラス１０は、上述したテンプル１０１および１０２と、ブリッジ１０３と、フレーム１０４および１０５と、リム１０６および１０７と、レンズ１１０Ａおよび１１０Ｂと、撮像レンズＬＥＮとの他、投影装置１２１と、スピーカ１２２と、通信装置１２３と、撮像装置１２４と、記憶装置１２５と、処理装置１２６と、バス１２７とを備える。図４に示す各構成は、例えばフレーム１０４および１０５に格納されている。投影装置１２１と、スピーカ１２２と、通信装置１２３と、撮像装置１２４と、記憶装置１２５と、処理装置１２６とは、情報を通信するためのバス１２７によって相互に接続される。バス１２７は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに互いに異なるバスを用いて構成されてもよい。
　投影装置１２１は、レンズ１１０Ａ、左眼用の表示パネル、左眼用の光学部材、レンズ１１０Ｂ、右眼用の表示パネル、および右眼用の光学部材を含む。投影装置１２１は、携帯機器２０からの制御に基づいて、仮想オブジェクトを表示する。上述のように、本実施形態における仮想オブジェクトとは、例えばガイド画像ＧＩである。
　スピーカ１２２は、フレーム１０４および１０５の各々に位置する。スピーカ１２２は、フレーム１０４および１０５の各々に位置せずに、例えば、フレーム１０４および１０５の一方、テンプル１０１および１０２の少なくとも一方、又はブリッジ１０３に位置してもよい。スピーカ１２２は、携帯機器２０によって直接的に、又はＡＲグラス１０の処理装置１２６を介して制御される。スピーカ１２２は、例えば作業中のユーザＵに注意を促すための警報音等の作業補助音を出力する。スピーカ１２２は、ＡＲグラス１０に含まれずに、ＡＲグラス１０とは別体でもよい。
　通信装置１２３は、無線通信又は有線通信を用いて携帯機器２０の通信装置２０３（図４参照）と通信する。本実施形態において、通信装置１２３は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信を用いて携帯機器２０の通信装置２０３と通信する。
　撮像装置１２４は、ユーザＵの前方を撮像することによって得られる撮像画像を出力する。より詳細には、撮像装置１２４は、被写体を撮像し、撮像した撮像画像を示す画像データＤを出力する。本実施形態では、撮像装置１２４の撮像方向は、ユーザＵの頭の向きと一致するように配置されている。よって、撮像画像には、ユーザＵの前方（視野方向）に位置する物体等が写ることになる。撮像装置１２４で生成された撮像画像は、画像データＤとして通信装置１２３を介して携帯機器２０に送信される。撮像装置１２４は、所定の撮像間隔で撮像を繰り返し、撮像の都度、生成した画像データＤを携帯機器２０に送信する。
　撮像装置１２４は、例えば、撮像光学系および撮像素子を有する。撮像光学系は、少なくとも１つの撮像レンズＬＥＮ（図３参照）を含む光学系である。例えば、撮像光学系は、プリズム等の各種の光学素子を有してもよいし、ズームレンズ又はフォーカスレンズ等を有してもよい。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサー又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサー等である。
　記憶装置１２５は、処理装置１２６が読み取り可能な記録媒体である。記憶装置１２５は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）およびＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）である。揮発性メモリーは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。記憶装置１２５は、プログラムＰＧ１を記憶する。
　処理装置１２６は、１又は複数のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。
　処理装置１２６は、記憶装置１２５からプログラムＰＧ１を読み取る。処理装置１２６は、プログラムＰＧ１を実行することによって、動作制御部１３０として機能する。動作制御部１３０は、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）およびＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の回路によって構成されてもよい。
　動作制御部１３０は、ＡＲグラス１０の動作を制御する。例えば、動作制御部１３０は、撮像装置１２４が撮像した撮像画像を、携帯機器２０に送信する。また、動作制御部１３０は、通信装置１２３が携帯機器２０から受信したガイド画像ＧＩの表示用の制御信号を投影装置１２１に提供する。この場合、投影装置１２１は、制御信号が示すガイド画像ＧＩを表示パネルに表示する。
Ａ－４．携帯機器２０
　携帯機器２０は、ＡＲグラス１０の撮像装置１２４で撮像された撮像画像を記憶する。また、携帯機器２０は、後述する表示期間ＴＭにおいて、ＡＲグラス１０にガイド画像ＧＩを表示させる。携帯機器２０は、制御装置の一例である。携帯機器２０は、例として、スマートフォン、およびタブレット等である。
　図５は、携帯機器２０の構成を示すブロック図である。携帯機器２０は、タッチパネル２０１と、通信装置２０３と、記憶装置２０５と、処理装置２０６と、バス２０７とを含む。タッチパネル２０１と、通信装置２０３と、記憶装置２０５と、処理装置２０６は、情報を通信するためのバス２０７によって相互に接続される。バス２０７は、単一のバスを用いて構成されてもよいし、装置間ごとに互いに異なるバスを用いて構成されてもよい。
　タッチパネル２０１は、ユーザＵに各種の情報を表示するとともに、ユーザＵのタッチ操作を検出する。タッチパネル２０１は、入力装置と出力装置とを兼ねている。例えば、タッチパネル２０１は、液晶表示パネル又は有機ＥＬ表示パネル等の各種の表示パネルとカバーガラスとの間に、タッチ操作を検出可能なタッチセンサユニットが貼り合わされて構成される。例えば、タッチパネル２０１は、ユーザＵの指がタッチパネル２０１に接触している場合に、ユーザＵの指のタッチパネル２０１における接触位置を周期的に検出し、検出した接触位置を示すタッチ情報を処理装置２０６に送信する。
　通信装置２０３は、無線通信又は有線通信を用いてＡＲグラス１０の通信装置１２３（図４参照）と通信する。本実施形態において、通信装置２０３は、ＡＲグラス１０の通信装置１２３と同方式の近距離無線通信を用いて通信装置１２３と通信する。また、通信装置２０３は、無線通信又は有線通信を用いて慣性計測装置３０（図１および図２参照）の通信装置と通信する。本実施形態において、通信装置２０３は、近距離無線通信を用いて慣性計測装置３０と通信する。
　記憶装置２０５は、処理装置２０６が読み取り可能な記録媒体である。記憶装置２０５は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ、ＥＰＲＯＭおよびＥＥＰＲＯＭである。揮発性メモリーは、例えば、ＲＡＭである。記憶装置２０５は、プログラムＰＧ２と、撮像画像とを記憶する。
　画像データＤは、ＡＲグラス１０の撮像装置１２４が撮像した撮像画像に対応するデータである。上述のように、撮像画像には、ユーザＵが機器ＤＶに対して作業を行う様子が映っている。
　処理装置２０６は、１又は複数のＣＰＵを含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。
　処理装置２０６は、記憶装置２０５からプログラムＰＧ２を読み取る。処理装置２０６は、プログラムＰＧ２を実行することによって、取得部２３０、記憶制御部２３２および表示制御部２３４として機能する。取得部２３０、記憶制御部２３２および表示制御部２３４のうち少なくとも１つは、ＤＳＰ、ＡＳＩＣ、ＰＬＤおよびＦＰＧＡ等の回路によって構成されてもよい。
　取得部２３０は、慣性計測装置３０の出力信号を取得する。また、取得部２３０は、ＡＲグラス１０に搭載される撮像装置１２４によって撮像された撮像画像に対応する画像データＤを取得する。取得部２３０は、通信装置２０３が受信した、慣性計測装置３０の出力信号、および、撮像画像を示す画像データＤを取得する。取得部２３０は、ユーザＵの作業中は出力信号および画像データＤを逐次取得する。
　記憶制御部２３２は、取得部２３０が取得した画像データＤを記憶装置２０５に記憶させる。記憶制御部２３２は、例えば記憶装置２０５の記憶容量に応じて、画像データＤの解像度を低くした上で記憶させてもよい。また、記憶制御部２３２は、記憶装置２０５に記憶されてから所定期間以上経過した画像データＤを順次消去して、記憶装置２０５の記憶容量を確保するようにしてもよい。
　表示制御部２３４は、撮像画像の外縁を示すガイド画像ＧＩをＡＲグラス１０に表示させる。上述のように、ＡＲグラス１０に搭載された撮像装置１２４は、製品ごとに解像度および取付位置が異なるため、ユーザＵが想定している撮像範囲ＩＦと実際の撮像範囲ＩＦとが一致しない場合がある。特に、ユーザＵの視野範囲ＶＦが変化した場合には、ユーザＵが想定している撮像範囲ＩＦと実際の撮像範囲ＩＦとにずれが生じる可能性がある。ユーザＵの視野範囲ＶＦが変化した場合とは、例えばユーザＵが新たな作業対象の機器ＤＶの前に移動して作業を開始する場合、又は、作業中のユーザＵが周囲を見渡した後、目線を作業対象の機器ＤＶに戻した場合などが想定される。
　図６は、現実空間ＲにおけるユーザＵの視野範囲ＶＦと撮像装置１２４の撮像範囲ＩＦとの関係を模式的に示す図である。図６には、ユーザＵが、機器ＤＶ１～ＤＶ３を収容するラックＲＡの前に位置し、機器ＤＶ１～ＤＶ３の方向を見ている状態が示されている。なお、図６では、図示の便宜上、ユーザＵの視野範囲ＶＦが実際よりも狭く示されている。
　一般に、ユーザＵの視野範囲ＶＦは、視線方向に対して左右それぞれ１００°程度、合計２００°程度の広がりがある。これに対して、撮像装置１２４の画角は、望遠レンズと比較して画角が広く設定された超広角レンズであっても８０°程度である。すなわち、ユーザＵの視野範囲ＶＦと比較して、撮像装置１２４の撮像範囲ＩＦは狭い。よって、ユーザＵが見ている物体が撮像画像に映っていない場合があり得る。
　例えば、ユーザＵが機器ＤＶ１と機器ＤＶ２の接続作業をする際に、機器ＤＶ１に設けられたインジケータＩＮ１の値を確認しながら作業を行う必要があるものとする。この場合、事後的にユーザＵの作業が正確に行われたかを事後的に評価するためには、撮像画像にインジケータＩＮ１が映る必要がある。一方で、撮像範囲ＩＦが図６の位置にある場合、ユーザＵは視野範囲ＶＦにあるインジケータＩＮ１の値を確認できるが、撮像範囲ＩＦにはインジケータＩＮ１が入っておらず、撮像装置１２４の向きを調整する必要がある。例えば、ユーザＵが頭の向きを上に移動させると、撮像装置１２４の撮像範囲ＩＦは上方向に移動する。この動きに起因して、撮像範囲ＩＦにはインジケータＩＮ１が含まれる。
　表示制御部２３４は、視野範囲ＶＦ内における撮像範囲ＩＦの位置の調整を可能とするために、撮像範囲ＩＦをユーザＵが把握可能とするためのガイド画像ＧＩをＡＲグラス１０に表示させる。
　図７Ａは、ガイド画像ＧＩの表示態様の一例を示す説明図である。図７Ａおよび後述する図７Ｂにおいて、視野範囲ＶＦは、ＡＲグラス１０のレンズ１１０Ａおよび１１０Ｂ越しにユーザＵに視認されている。図７Ａの例では、ガイド画像ＧＩ１は、撮像範囲ＩＦの外縁を示す枠状の画像である。表示制御部２３４は、投影装置１２１を用いて、レンズ１１０Ａおよび１１０Ｂにガイド画像ＧＩ１を表示させる。よって、ユーザＵは、自身の視野範囲ＶＦのどの範囲が撮像範囲ＩＦに含まれるかを認識できる。
　なお、撮像装置１２４とレンズ１１０Ａおよび１１０Ｂとの位置関係が固定されており、かつ撮像装置１２４がパン、チルト、ズーム等を行なわず、撮像範囲ＩＦが固定されている場合には、ガイド画像ＧＩ１の大きさ、および、ガイド画像ＧＩ１のレンズ１１０Ａ，１１０Ｂにおける表示位置は一定となる。また、例えば撮像装置１２４がパン、チルト、ズーム等の機能を備え、撮像範囲ＩＦの大きさおよび方向が可変の場合、表示制御部２３４は、ユーザＵの視野範囲ＶＦにおける撮像範囲ＩＦの外縁（撮像画像の外縁）の位置を算出してガイド画像ＧＩ１を表示する。
　図７Ｂは、ガイド画像ＧＩの表示態様の他の例を示す説明図である。図７Ｂの例では、ガイド画像ＧＩ２は、撮像装置１２４が撮像した撮像画像をリアルタイムで表示した画像である。表示制御部２３４は、投影装置１２１を用いて、レンズ１１０Ａおよび１１０Ｂに撮像装置１２４の撮像画像を縮小して、ガイド画像ＧＩ２として表示させる。よって、ユーザＵは、視野範囲ＶＦが撮像画像としてどのように映るかを把握できる。
　なお、図６の例では、撮像装置１２４の撮像範囲ＩＦがユーザＵの視野範囲ＶＦに全て含まれているが、撮像装置１２４の撮像範囲ＩＦの一部がユーザＵの視野範囲ＶＦに含まれない場合もある。例えば、ＡＲグラス１０のデザインによっては、ユーザＵの額に対応する位置に撮像装置１２４が設けられている場合があり、このような場合は、撮像装置１２４の撮像範囲ＩＦがユーザＵの視野範囲ＶＦよりも上方を含む可能性がある。このような場合にも、ガイド画像ＧＩを表示することで、ユーザＵは、自身の視野範囲ＶＦと撮像範囲ＩＦとのずれを認識できる。
　ここで、図７Ａおよび図７Ｂに示すようなガイド画像ＧＩは、ユーザＵの視野範囲ＶＦが変化した場合には利便性が高いものの、視野範囲ＶＦにおける撮像範囲ＩＦの位置合わせを行った後は、作業の邪魔になる可能性がある。よって、表示制御部２３４は、ガイド画像ＧＩの表示を、ユーザＵの移動が停止する直前の一定期間のみに限定する。すなわち、表示制御部２３４は、少なくとも慣性計測装置３０の出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間ＴＭにおいて、撮像画像の外縁を示すガイド画像ＧＩをＡＲグラス１０に表示させる。
　図８は、ガイド画像ＧＩの表示期間ＴＭを模式的に示すグラフである。図８のグラフにおいて、縦軸はユーザＵの頭部の移動速度Ｖ、横軸は時刻Ｔである。移動速度Ｖは、慣性計測装置３０で計測された加速度を時間積分することで算出される。移動速度Ｖには、２つの閾値、速度Ｖ１および速度Ｖ２（＜Ｖ１）が設定されている。速度Ｖ１は第１閾値の一例であり、速度Ｖ２は第２閾値の一例である。移動速度Ｖが速度Ｖ１を超えている状態を第１状態、移動速度Ｖが速度Ｖ２よりも大きく、かつ、第１閾値以下である状態を第２状態、移動速度Ｖが速度Ｖ２以下の状態を第３状態とする。
　図８のグラフでは、時刻Ｔ０ではユーザＵの頭部の移動速度Ｖは略ゼロである。その後、ユーザＵの頭部の移動が開始し、時刻Ｔ１で移動速度Ｖが速度Ｖ２を超えている。時刻Ｔ１以降も移動速度Ｖは速くなり、時刻Ｔ２で速度Ｖ１を超える。時刻Ｔ２で速度Ｖ１を超えた後、移動速度Ｖはピークとなる。移動速度Ｖは、ピーク後は減速して、時刻Ｔ３で速度Ｖ１以下となる。時刻Ｔ３以降は再度加速する時間帯もあるものの、移動速度Ｖは、速度Ｖ１を超えることなく減速し、時刻Ｔ４で速度Ｖ２以下となる。時刻Ｔ４以降は、移動速度Ｖは略ゼロとなり、静止状態に近づく。すなわち、時刻Ｔ０からＴ１は第３状態であり、時刻Ｔ１からＴ２は第２状態であり、時刻Ｔ２からＴ３は第１状態であり、時刻Ｔ３からＴ４は第２状態であり、時刻Ｔ４以降は第３状態である。
　表示制御部２３４は、時刻Ｔ３から時刻Ｔ４の間、ＡＲグラス１０にガイド画像ＧＩを表示させる。すなわち、表示制御部２３４は、ガイド画像ＧＩの表示期間ＴＭを、時刻Ｔ３から時刻Ｔ４の間とする。時刻Ｔ３から時刻Ｔ４の間を表示期間ＴＭとするのは、この期間にガイド画像ＧＩを表示するのが、最も有用性が高いと考えられるためである。
　例えば時刻Ｔ１から時刻Ｔ３のように、ユーザＵの動きが加速している、又は、移動速度Ｖが大きい（速度Ｖ１を超える）状態では、視野範囲ＶＦが大きく変化するため、ガイド画像ＧＩを表示しても、有用性が低い。一方で、時刻Ｔ３のように、一旦速度Ｖ１を超えた移動速度Ｖが速度Ｖ１以下となった場合、ユーザＵはこの後移動を停止する可能性が高い。また、移動速度Ｖが低下すると、ユーザＵの視野範囲ＶＦの変化が小さくなり、ガイド画像ＧＩを参考にした撮像範囲ＩＦの位置合わせが行いやすい状態となる。よって、表示制御部２３４は、ＡＲグラス１０へのガイド画像ＧＩの表示を開始させる。また、移動速度Ｖが速度Ｖ２以下となった場合には、ユーザＵの移動はほぼ終了しており、ユーザＵが作業を再開させる可能性がある。よって、表示制御部２３４は、ＡＲグラス１０へのガイド画像ＧＩの表示を終了させる。このように、ユーザＵが完全に停止する前にガイド画像ＧＩを表示することによって、ユーザＵは、移動中の一連の動きの中で、撮像範囲ＩＦを所望の位置に合わせることができる。
　言い換えると、表示制御部２３４は、慣性計測装置３０の出力信号が示す加速度に基づいて、ユーザＵの頭部の移動速度Ｖを算出する。表示制御部２３４は、移動速度Ｖが速度Ｖ１を超える状態を第１状態とし、移動速度Ｖが速度Ｖ１以下かつ速度Ｖ２を超える状態を第２状態とし、移動速度Ｖが速度Ｖ２以下の状態を第３状態とする。表示制御部２３４は、第１状態から第２状態に移行したタイミングを表示期間ＴＭの開始タイミングとし、第２状態から第３状態に移行したタイミングを表示期間ＴＭの終了タイミングとする。
Ａ－５．処理装置２０６の動作
　図９は、処理装置２０６の動作を示すフローチャートである。処理装置２０６は、取得部２３０として機能し、慣性計測装置３０の出力信号を取得する（ステップＳ１０１）。慣性計測装置３０の出力信号は、ユーザＵの頭部の加速度を示す。処理装置２０６は、表示制御部２３４として機能し、慣性計測装置３０の出力信号を用いて、ユーザＵの頭部の移動速度Ｖを算出する（ステップＳ１０２）。なお、ステップＳ１０１の慣性計測装置３０の出力信号の取得と、ステップＳ１０２の移動速度Ｖの算出は、以降のステップ中においても逐次実行されている。
　処理装置２０６は、表示制御部２３４として機能し、移動速度Ｖが速度Ｖ１を超える、すなわち第１状態となるまで待機する（ステップＳ１０３：ＮＯ）。移動速度Ｖが速度Ｖ１を超えると（ステップＳ１０３：ＹＥＳ）、処理装置２０６は、表示制御部２３４として機能し、移動速度Ｖが速度Ｖ１以下となる、すなわち第１状態から第２状態に移行するまで待機する（ステップＳ１０４：ＮＯ）。
　移動速度Ｖが速度Ｖ１以下になると（ステップＳ１０４：ＹＥＳ）、処理装置２０６は、表示制御部２３４として機能し、ＡＲグラス１０におけるガイド画像ＧＩの表示を開始させる（ステップＳ１０５）。すなわち、第１状態から第２状態に移行したタイミングが、表示期間ＴＭの開始タイミングとなる。処理装置２０６は、表示制御部２３４として機能し、移動速度Ｖが速度Ｖ２以下になる、又は移動速度Ｖが再度速度Ｖ１を超えるまで待機する（ステップＳ１０６：ＮＯ）。この間、ＡＲグラス１０におけるガイド画像ＧＩの表示は継続される。
　移動速度Ｖが速度Ｖ２以下になる、又は移動速度Ｖが再度速度Ｖ１を超えると（ステップＳ１０６：ＹＥＳ）、処理装置２０６は、表示制御部２３４として機能し、ＡＲグラス１０におけるガイド画像ＧＩの表示を終了する（ステップＳ１０７）。すなわち、第２状態から第３状態に移行したタイミング、又は、第２状態から第１状態に移行したタイミングが、表示期間ＴＭの終了タイミングとなる。その後、処理装置２０６は、ステップＳ１０１に処理を戻し、以降の処理を繰り返す。
　Ａ－６．実施形態のまとめ
　以上説明したように、実施形態によれば、ウェアラブル装置１は、慣性計測装置３０の出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間ＴＭにおいて、撮像画像の外縁を示すガイド画像ＧＩをＡＲグラス１０に表示させる。ガイド画像ＧＩは表示期間ＴＭのみに表示される。よって、撮像装置１２４の撮像範囲ＩＦの表示によってユーザＵの視野が長時間遮られるのを回避できる。また、ユーザＵは、ガイド画像ＧＩを用いて視野範囲ＶＦにおける撮像範囲ＩＦの位置を把握することができる。よって、撮像画像の有用性が向上する。
　また、ウェアラブル装置１は、第１状態から第２状態に移行したタイミングを表示期間ＴＭの開始タイミングとし、第２状態から第３状態に移行したタイミングを表示期間ＴＭの終了タイミングとする。よって、移動速度Ｖの低下に起因して、ユーザＵの視野範囲ＶＦの変化が小さくなり、ガイド画像ＧＩを参考にした撮像範囲ＩＦの位置合わせが行いやすいタイミングでガイド画像ＧＩが表示される。よって、ガイド画像ＧＩの有用性が向上する。
　また、ウェアラブル装置１は、慣性計測装置３０を用いてユーザＵの頭部の動きに関する物理量を取得する。このため、ウェアラブル装置１は、ユーザＵの頭部の動きに関する物理量を精度よく検知できる。
　Ｂ：変形例
　上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
　Ｂ１：第１変形例
　例えばユーザＵが作業に熟練している場合などには、ユーザＵが移動状態から停止状態となるまでの時間が短く、ガイド画像ＧＩの表示期間ＴＭが非常に短時間となる可能性がある。一方で、ガイド画像ＧＩの表示期間ＴＭが短時間過ぎると、ユーザＵが撮像範囲ＩＦを確認する前にガイド画像ＧＩの表示が終了してしまい、ガイド画像ＧＩを表示する有用性が低下してしまう。よって、表示制御部２３４は、表示期間ＴＭが短時間であった場合には、ユーザＵの移動速度ＶがＶ２以下となった後も一定の時間、ガイド画像ＧＩの表示を継続するようにしてもよい。
　すなわち、表示制御部２３４は、表示期間ＴＭの開始タイミングから終了タイミングまでの時間が第１時間以下の場合に、ガイド画像ＧＩの表示を、第１時間より長い第２時間にわたり継続させるようにしてもよい。第１時間および第２時間は、時間の長さを表す。
　第１変形例によれば、表示期間ＴＭが第１時間以下であった場合に、ガイド画像ＧＩの表示が第２時間まで継続される。よって、ユーザＵがガイド画像ＧＩを確認する時間が確保され、利便性が向上する。
　Ｂ２：第２変形例
　例えばユーザＵの動きによっては、移動速度Ｖが速度Ｖ１以下かつ速度Ｖ２を超える状態が長時間継続する場合がある。この場合、ユーザＵの視野範囲ＶＦにガイド画像ＧＩが長時間継続して表示されることとなり、ユーザＵが煩わしさを感じる可能性がある。よって、表示制御部２３４は、表示期間ＴＭが長時間継続している場合には、ユーザＵの移動速度Ｖに関わらず、ガイド画像ＧＩの表示を終了するようにしてもよい。
　すなわち、表示制御部２３４は、表示期間ＴＭが第３時間以上継続している場合に、慣性計測装置３０の出力信号に関わらず、ガイド画像ＧＩの表示を終了するようにしてもよい。
　第２変形例によれば、表示期間ＴＭが第３時間以上継続している場合に、慣性計測装置３０の出力信号（ユーザＵの移動速度Ｖ）に関わらず、ガイド画像ＧＩの表示が終了される。よって、不要なガイド画像ＧＩの表示が中止され、ユーザＵの視野における視認性が確保される。
　Ｂ３：第３変形例
　上述した実施形態では、ＡＲグラス１０と携帯機器２０とが別体であった。これに限らず、例えばＡＲグラス１０が携帯機器２０の機能を有していてもよい。すなわち、取得部２３０、記憶制御部２３２および表示制御部２３４を、ＡＲグラス１０の処理装置１２６が実行するようにしてもよい。また、ＡＲグラス１０の記憶装置１２５が画像データＤを記憶するようにしてもよい。
　第３変形例によれば、例えば、携帯機器２０を用いずに、ガイド画像ＧＩの表示および撮像画像の記録を行うことができる。
　Ｂ４：第４変形例
　上述した実施形態では、携帯機器２０でガイド画像ＧＩの表示制御を行った。これに限らず、例えばネットワークを介して携帯機器２０に接続された処理サーバにおいて、ガイド画像ＧＩの表示制御を行ってもよい。この場合、携帯機器２０は、取得部２３０で取得した慣性計測装置３０の出力信号を処理サーバに送信する。処理サーバは、慣性計測装置３０の出力信号に基づいて、ガイド画像ＧＩの表示期間ＴＭを決定し、ＡＲグラス１０でガイド画像ＧＩを表示するための制御信号を携帯機器２０に送信する。
　第４変形例によれば、携帯機器２０が、表示制御部２３４を実現するためのプログラムを有しない場合、又は表示制御部２３４を実現するためのプログラムを実行するだけの処理能力を有さない場合でも、ユーザＵの作業中の監視対象物の監視が実行される。
　Ｂ５：第５変形例
　上述した実施形態では、ＡＲグラス１０に撮像装置１２４が搭載されていた。これに限らず、例えばＡＲグラス１０と撮像装置１２４とが別体の装置であってもよい。
　Ｂ６：第６変形例
　上述した実施形態では、ユーザＵの頭部の動きに関する情報を取得するために慣性計測装置３０を用いるものとした。これに限らず、物理量を検出するセンサとして、例えば地磁気センサを用いてもよい。地磁気センサは、地球を取り巻く地磁気を検出する。地磁気センサは、Ｘ・Ｙ・Ｚの３軸方向の磁力の値を検出する。携帯機器２０は、３軸方向の磁力の値の変化に基づいて、ユーザＵの頭部の変位（変位方向および変位量）を推定できる。また、単位時間当たりのユーザＵの頭の変位量は、ユーザＵの移動速度Ｖに対応する。よって、地磁気センサを用いても、上述した実施形態と同様の処理が実現される。
　Ｃ：その他
　（１）図４又は図５に例示された各機能は、ハードウェアおよびソフトウェアの任意の組み合わせによって実現される。各機能の実現方法は特に限定されない。各機能は、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続することによって構成される装置を用いて実現されてもよい。各機能は、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　（２）本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
　（３）実施形態および第１変形例～第６変形例の各々において、記憶装置１２５および記憶装置２０５は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリー（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
　（４）実施形態および第１変形例～第６変形例の各々は、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（ＬＴＡ－Ａｄｖａｎｃｅｄ）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（４ｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ）、５Ｇ（５ｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ）、６ｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ（６Ｇ）、ｘｔｈ　ｇｅｎｅｒａｔｉｏｎ　ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｓｙｓｔｅｍ（ｘＧ）（ｘは、例えば整数又は小数）、ＦＲＡ（Ｆｕｔｕｒｅ　Ｒａｄｉｏ　Ａｃｃｅｓｓ）、ＮＲ（ｎｅｗ　Ｒａｄｉｏ）、Ｎｅｗ　ｒａｄｉｏ　ａｃｃｅｓｓ（ＮＸ）、Ｆｕｔｕｒｅ　ｇｅｎｅｒａｔｉｏｎ　ｒａｄｉｏ　ａｃｃｅｓｓ（ＦＸ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ｕｌｔｒａ　Ｍｏｂｉｌｅ　Ｂｒｏａｄｂａｎｄ）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよびこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥおよびＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。
　（５）実施形態および第１変形例～第６変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　（６）実施形態および第１変形例～第６変形例の各々において、入出力された情報等は特定の場所（例えば、メモリー）に保存されてもよいし、管理テーブルを用いて管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　（７）実施形態および第１変形例～第６変形例の各々において、判定は、１ビットによって表される値（０か１か）に基づいて行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）に基づいて行われてもよいし、数値の比較（例えば、所定の値との比較）に基づいて行われてもよい。
　（８）実施形態および第１変形例～第６変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）など）および無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　（９）実施形態および第１変形例～第６変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。なお、本明細書において説明した用語および本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
　（１０）実施形態および第１変形例～第６変形例の各々において、「システム」および「ネットワーク」という用語は、互換的に使用される。
　（１１）実施形態および第１変形例～第６変形例の各々において、携帯機器２０又は２０Ｂは、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
　（１２）移動局は、送信装置、受信装置又は通信装置などと呼ばれてもよい。移動局は、移動体に搭載されたデバイス、又は移動体自体などであってもよい。移動体は、移動可能な物体を意味する。移動体の移動速度は任意である。移動体は、停止可能である。移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶（ｓｈｉｐ　ａｎｄ　ｏｔｈｅｒ　ｗａｔｅｒｃｒａｆｔ）、飛行機、ロケット、人工衛星、ドローン（登録商標）、マルチコプター、クアッドコプター、気球、およびこれらに搭載される物を含み、またこれらに限らない。移動体は、運行指令に基づいて自律走行する移動体であってもよい。移動体は、乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよし、ロボット（有人型又は無人型）であってもよい。移動局は、必ずしも通信動作時に移動しない装置も含む。例えば、移動局は、センサなどのＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）機器であってもよい。
　（１３）実施形態および第１変形例～第６変形例の各々において、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ　ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「決定」したとみなす事などを含み得る。また、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリー中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）などした事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。また、「決定」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」などで読み替えられてもよい。
　（１４）実施形態および第１変形例～第６変形例の各々において、「接続された（ｃｏｎｎｅｃｔｅｄ）」という用語、又はこれのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
　（１５）実施形態および第１変形例～第６変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　（１６）本明細書において使用する「第１」および「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみが採用され得ること又は何らかの形において第１要素が第２要素に先行しなければならないことを意味しない。
　（１７）実施形態および第１変形例～第６変形例の各々において「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」およびそれらの変形が、本明細書あるいは特許請求の範囲において使用されている場合、これら用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。
　（１８）本願の全体において、例えば、英語におけるａ、ａｎおよびｔｈｅのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　（１９）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
　１…ウェアラブル装置、１０…ＡＲグラス、２０…携帯機器、３０…慣性計測装置、２０１…タッチパネル、２０３…通信装置、２０５…記憶装置、２０６…処理装置、２０７…バス、２３０…取得部、２３２…記憶制御部、２３４…表示制御部、ＤＶ（ＤＶ１～ＤＶ３）…機器、ＧＩ（ＧＩ１，ＧＩ２）…ガイド画像、ＩＦ…撮像範囲、Ｒ…現実空間、Ｕ…ユーザ、ＶＦ…視野範囲。

Claims (5)

  1. 　ユーザの頭部に装着される透過型の表示装置と、
    　前記ユーザの前方を撮像することによって得られる撮像画像を出力する撮像装置と、
    　物理量を検出するセンサと、
    　少なくとも前記センサの出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間において、前記撮像画像の外縁を示すガイド画像を前記表示装置に表示させる制御装置と、
    　を備えるウェアラブル装置。
  2. 　前記物理量は、前記頭部の移動に関連し、
    　前記制御装置は、前記出力信号が示す前記物理量に基づいて、前記頭部の移動速度を算出し、前記移動速度が第１閾値を超える状態を第１状態とし、前記移動速度が前記第１閾値より小さい第２閾値よりも大きく、かつ、前記第１閾値以下である状態を第２状態とし、前記移動速度が前記第２閾値以下の状態を第３状態とし、前記第１状態から前記第２状態に移行したタイミングを前記開始タイミングとし、前記第２状態から前記第３状態に移行したタイミングを前記終了タイミングとする、
    　請求項１記載のウェアラブル装置。
  3. 　前記制御装置は、前記開始タイミングから前記終了タイミングまでの時間が第１時間以下の場合に、前記ガイド画像の表示を、前記第１時間より長い第２時間にわたり継続させる、
    　請求項１又は２記載のウェアラブル装置。
  4. 　前記制御装置は、前記表示期間が第３時間以上継続している場合に、前記出力信号に関わらず、前記ガイド画像の表示を終了する、
    　請求項１記載のウェアラブル装置。
  5. 　前記センサは、慣性計測装置又は地磁気センサである、
    　請求項１から４のいずれか１項記載のウェアラブル装置。
PCT/JP2022/042541 2021-12-24 2022-11-16 ウェアラブル装置 WO2023119966A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-210412 2021-12-24
JP2021210412 2021-12-24

Publications (1)

Publication Number Publication Date
WO2023119966A1 true WO2023119966A1 (ja) 2023-06-29

Family

ID=86902185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042541 WO2023119966A1 (ja) 2021-12-24 2022-11-16 ウェアラブル装置

Country Status (1)

Country Link
WO (1) WO2023119966A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223749A (ja) * 2004-02-06 2005-08-18 Olympus Corp 頭部装着型カメラ
US8847850B1 (en) * 2014-02-17 2014-09-30 Lg Electronics Inc. Head mounted display device for displaying augmented reality image capture guide and control method for the same
JP2015087523A (ja) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2020137000A (ja) * 2019-02-22 2020-08-31 株式会社日立製作所 映像記録装置およびヘッドマウントディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223749A (ja) * 2004-02-06 2005-08-18 Olympus Corp 頭部装着型カメラ
JP2015087523A (ja) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US8847850B1 (en) * 2014-02-17 2014-09-30 Lg Electronics Inc. Head mounted display device for displaying augmented reality image capture guide and control method for the same
JP2020137000A (ja) * 2019-02-22 2020-08-31 株式会社日立製作所 映像記録装置およびヘッドマウントディスプレイ

Similar Documents

Publication Publication Date Title
EP2933707B1 (en) Head mounted display presentation adjustment
US10564919B2 (en) Display system, display apparatus, method for controlling display apparatus, and program
US20180106999A1 (en) Gaze detection system, gaze point detection method, and gaze point detection program
US9401050B2 (en) Recalibration of a flexible mixed reality device
EP3011418B1 (en) Virtual object orientation and visualization
US20210183343A1 (en) Content Stabilization for Head-Mounted Displays
US20140198017A1 (en) Wearable Behavior-Based Vision System
US20180217680A1 (en) Wearable device, control method, and control code
CN104765445A (zh) 显示器上的眼睛聚散检测
US10885819B1 (en) In-vehicle augmented reality system
JP6711033B2 (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
CN110895676A (zh) 动态对象跟踪
WO2023119966A1 (ja) ウェアラブル装置
Zhao et al. HazARdSnap: gazed-based augmentation delivery for safe information access while cycling
WO2023084945A1 (ja) 出力制御装置
JP2022100134A (ja) 情報処理装置、情報処理システムおよびプログラム
KR102070870B1 (ko) 증강현실 제공장치 및 방법
CN116113911A (zh) 利用到达角数据的设备追踪
KR20180064894A (ko) 차량용 hmd 장치 및 시스템
WO2020230892A1 (ja) 処理装置
WO2023203847A1 (ja) 表示制御装置
WO2023199627A1 (ja) ガイド画像管理装置
WO2023218751A1 (ja) 表示制御装置
EP4086102B1 (en) Navigation method and apparatus, electronic device, readable storage medium and computer program product
WO2024004357A1 (ja) レコメンデーション表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910685

Country of ref document: EP

Kind code of ref document: A1