WO2022208600A1 - ウェアラブル端末装置、プログラムおよび表示方法 - Google Patents

ウェアラブル端末装置、プログラムおよび表示方法 Download PDF

Info

Publication number
WO2022208600A1
WO2022208600A1 PCT/JP2021/013256 JP2021013256W WO2022208600A1 WO 2022208600 A1 WO2022208600 A1 WO 2022208600A1 JP 2021013256 W JP2021013256 W JP 2021013256W WO 2022208600 A1 WO2022208600 A1 WO 2022208600A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
instruction
terminal device
wearable terminal
image
Prior art date
Application number
PCT/JP2021/013256
Other languages
English (en)
French (fr)
Inventor
伸悟 伊東
智和 足立
解 清水
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2023509914A priority Critical patent/JP7500866B2/ja
Priority to PCT/JP2021/013256 priority patent/WO2022208600A1/ja
Priority to US18/552,753 priority patent/US20240187562A1/en
Publication of WO2022208600A1 publication Critical patent/WO2022208600A1/ja
Priority to JP2024046247A priority patent/JP2024079765A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to wearable terminal devices, programs, and display methods.
  • VR virtual reality
  • MR mixed reality
  • AR augmented reality
  • a wearable terminal device has a display unit that covers the user's field of vision when worn by the user. By displaying a virtual image and/or a virtual space on this display unit according to the user's position and orientation, a visual effect as if they exist is realized (for example, US Patent Application Publication No. 2019. /0087021, and U.S. Patent Application Publication No. 2019/0340822).
  • MR is a technology that allows the user to experience a mixed reality in which the real space and the virtual image are fused by displaying a virtual image that appears to exist at a predetermined position in the real space while allowing the user to view the real space.
  • VR is a technology that allows the user to feel as if he/she is in the virtual space by making the user visually recognize the virtual space instead of the real space in MR.
  • a virtual image displayed in VR and MR has a predetermined display position in the space where the user is located, and is displayed on the display unit and viewed by the user when the display position is within the user's viewing area. .
  • a wearable terminal device of the present disclosure is a wearable terminal device that is worn by a user and includes at least one processor.
  • the at least one processor causes the display unit to display an instruction image located in the space based on the instruction of the instructor.
  • the at least one processor causes the display unit to display the plurality of instruction images based on the instructions of the plurality of instructors in different display modes for each of the instructors who have given the instructions.
  • the program of the present disclosure causes a computer provided in a wearable terminal device worn by a user to execute processing for displaying an instruction image located in space on a display unit based on an instruction from an instructor. .
  • the program causes the computer to execute a process of displaying, on the display unit, the plurality of instruction images based on the instructions of the plurality of instructors in different display modes for each of the instructors who have issued the instructions.
  • the display method of the present disclosure is a display method in a wearable terminal device worn by a user.
  • an instruction image located in a space is displayed on the display unit based on an instruction from the instructor.
  • the plurality of instruction images based on the instructions of the plurality of instructors are displayed on the display unit in different display modes for each of the instructors who have issued the instructions.
  • FIG. 1 is a schematic diagram showing the configuration of a display system according to a first embodiment;
  • FIG. It is a model perspective view which shows the structure of a wearable terminal device.
  • FIG. 3 is a diagram showing an example of a visual recognition area visually recognized by a user wearing a wearable terminal device and a virtual image; It is a figure explaining the visual recognition area
  • It is a block diagram which shows the main functional structures of a wearable terminal device. 3 is a block diagram showing the main functional configuration of an external device;
  • FIG. FIG. 10 is a diagram showing a visible area and a screen for an instructor when an action related to remote instruction is being performed;
  • FIG. 10 is a diagram showing a viewing area and a screen for an instructor on which an instruction image representing the trajectory of pen input is displayed;
  • FIG. 10 is a view showing a viewing area and a screen for an instructor on which an instruction image of a document image is displayed;
  • 4 is a flowchart showing a control procedure for remote instruction processing;
  • FIG. 10 is a diagram showing a visible area and a screen for an instructor in remote instruction processing; It is a figure which shows the visual recognition area and the screen for an instructor in which the color palette is displayed.
  • FIG. 10 is a diagram showing a color palette when there is an existing instruction image;
  • FIG. 11 is a diagram showing notification display in response to an operation on a color palette;
  • FIG. 10 is a diagram showing another example of the display mode of the instruction image in the visual recognition area and the screen for the instructor;
  • FIG. 10 is a diagram showing another example of the display operation of the instruction image in the visual recognition area and the screen for the instructor;
  • FIG. 10 is a diagram showing an example in which different characters are added to the pointing image for each pointing person;
  • FIG. 10 is a diagram showing an example of adding a character to an instruction image;
  • FIG. 3 is a schematic diagram showing the configuration of a display system according to a second embodiment;
  • FIG. 2 is a block diagram showing the main functional configuration of the information processing device;
  • the display system 1 includes a wearable terminal device 10 and multiple external devices 20 .
  • the display system 1 and the external device 20 are connected via a network N for communication.
  • the network N can be, for example, the Internet, but is not limited to this.
  • the display system 1 may include a plurality of wearable terminal devices 10 .
  • the number of external devices 20 provided in the display system 1 may be one.
  • the wearable terminal device 10 is a device that allows the user (wearer) to experience MR.
  • the wearable terminal device 10 is worn by a user who performs a predetermined task.
  • a remote instructor who remotely instructs the user wearing the wearable terminal device 10 via the wearable terminal device 10 operates the external device 20 .
  • the wearable terminal device 10 includes a body portion 10a, a visor 141 (display member) attached to the body portion 10a, and the like.
  • the body part 10a is an annular member whose circumference is adjustable.
  • Various devices such as a depth sensor 153 and a camera 154 are built inside the main body 10a.
  • the main body 10a When the main body 10a is worn on the head, the user's field of vision is covered by the visor 141. As shown in FIG.
  • the visor 141 has optical transparency. A user can visually recognize the real space through the visor 141 .
  • An image such as a virtual image is projected from a laser scanner 142 (see FIG. 5) incorporated in the main body 10a and displayed on the display surface of the visor 141 facing the user's eyes.
  • a user visually recognizes the virtual image by the reflected light from the display surface.
  • a visual effect as if the virtual image exists in the real space is obtained.
  • FIG. 3 illustrates a planar window screen as the virtual image 30 .
  • the virtual image 30 also includes an instruction image 31 for instructing or explaining to the user of the wearable terminal device 10 . That is, the pointing image 31 is one aspect of the virtual image 30 .
  • FIG. 3 illustrates an arrow indication image 31 and a pen input trajectory indication image 31 .
  • the virtual image 30 is not limited to these, and may be various stereoscopic images, for example.
  • the virtual image 30 is a window screen, the virtual image 30 has a front side (first side) and a back side (second side). is not displayed.
  • the wearable terminal device 10 detects the user's visible area 41 based on the position and orientation of the user in the space 40 (in other words, the position and orientation of the wearable terminal device 10).
  • the visual recognition area 41 is an area in the space 40 located in front of the user A wearing the wearable terminal device 10 .
  • the visual recognition area 41 is an area within a predetermined angular range from the front of the user A in the horizontal direction and the vertical direction. In this case, when the three-dimensional object corresponding to the shape of the visual recognition area 41 is cut along a plane perpendicular to the front direction of the user A, the shape of the cut end is a rectangle.
  • the shape of the visible region 41 may be determined so that the shape of the cut end is other than rectangular (for example, circular or elliptical).
  • the shape of the visible region 41 (for example, the angular range in the left-right direction and the up-down direction from the front) can be specified, for example, by the following method.
  • the field of view is adjusted (hereinafter referred to as "calibration") according to a predetermined procedure at a predetermined timing such as the initial start-up.
  • a range that can be visually recognized by the user is specified, and the virtual image 30 is subsequently displayed within that range.
  • the shape of the visible range specified by this calibration can be used as the shape of the visible region 41 .
  • the calibration is not limited to being performed according to the above-described predetermined procedure, and the calibration may be performed automatically during normal operation of the wearable terminal device 10 .
  • the range in which the display is performed is considered to be outside the user's field of view, and the field of view (and the shape of the visible area 41) is changed. may be adjusted.
  • the displayed range is considered to be within the user's field of view. may be used to adjust the field of view (and the shape of the viewing area 41).
  • the shape of the visible region 41 may be predetermined and fixed at the time of shipment, etc., without being based on the adjustment result of the field of view.
  • the shape of the visual recognition area 41 may be determined within the maximum displayable range in terms of the optical design of the display unit 14 .
  • the virtual image 30 is generated in a state in which the display position and orientation in the space 40 are determined according to the user's predetermined operation.
  • the instruction image 31 of the virtual image 30 is generated based on instruction data transmitted from the external device 20 to the wearable terminal device 10, for example.
  • the instruction image 31 can also be generated by the user of the wearable terminal device 10 himself for the purpose of memorization.
  • the wearable terminal device 10 causes the visor 141 to project and display the virtual image 30 whose display position is determined inside the visible region 41 among the generated virtual images 30 . In FIG. 3, the visible area 41 is indicated by a dashed line.
  • the display position and orientation of the virtual image 30 on the visor 141 are updated in real time according to changes in the user's viewing area 41 . That is, the display position and orientation of the virtual image 30 change according to the change in the visible area 41 so that the user recognizes that "the virtual image 30 is positioned in the space 40 at the set position and orientation.” . For example, when the user moves from the front side to the back side of the virtual image 30, the shape (angle) of the displayed virtual image 30 gradually changes according to this movement. Further, when the user turns to the virtual image 30 after turning around to the back side of the virtual image 30, the back side of the virtual image 30 is displayed so that the back side of the virtual image 30 can be visually recognized.
  • the virtual image 30 whose display position is outside the visible area 41 is no longer displayed, and if there is a virtual image 30 whose display position is within the visible area 41, the virtual image 30 is newly displayed. Is displayed.
  • the wearable terminal device 10 when the user holds a hand (or finger) forward, the direction in which the hand is extended is detected by the wearable terminal device 10 , and a virtual line 51 extending in that direction and a pointer 52 are positioned on the visor 141 . It is displayed on the display surface and visually recognized by the user. A pointer 52 is displayed at the intersection of the virtual line 51 and the virtual image 30 . If the virtual line 51 does not intersect the virtual image 30 , the pointer 52 may be displayed at the intersection of the virtual line 51 and the wall surface of the space 40 or the like. When the distance between the user's hand and the virtual image 30 is within a predetermined reference distance, the display of the virtual line 51 may be omitted and the pointer 52 may be directly displayed at a position corresponding to the position of the user's fingertip. .
  • the direction of the virtual line 51 and the position of the pointer 52 can be adjusted by changing the direction in which the user extends his hand.
  • a predetermined gesture while adjusting the pointer 52 to be positioned on a predetermined operation target (for example, the function bar 301, the window shape change button 302, the close button 303, etc.) included in the virtual image 30,
  • a gesture is detected by the wearable terminal device 10, and a predetermined operation can be performed on the operation target.
  • the virtual image 30 can be closed (deleted) by performing a gesture of selecting an operation target (for example, a finger pinching gesture) while the pointer 52 is aligned with the close button 303 .
  • the virtual image 30 can be moved in the depth direction and the left and right direction. can. Operations on the virtual image 30 are not limited to these.
  • the wearable terminal device 10 of the present embodiment realizes a visual effect as if the virtual image 30 exists in the real space, receives the user's operation on the virtual image 30, and displays the virtual image 30. can be reflected. That is, the wearable terminal device 10 of this embodiment provides MR.
  • the wearable terminal device 10 includes a CPU 11 (Central Processing Unit), a RAM 12 (Random Access Memory), a storage unit 13, a display unit 14, a sensor unit 15, a communication unit 16, a microphone 17, a speaker 18, and the like. These units are connected by a bus 19.
  • the CPU 11 is a processor that performs various arithmetic processing and controls the operation of each unit of the wearable terminal device 10 .
  • the CPU 11 performs various control operations by reading and executing a program 131 stored in the storage unit 13 .
  • the CPU 11 executes, for example, visible area detection processing and display control processing.
  • the visual recognition area detection process is a process of detecting the user's visual recognition area 41 in the space 40 .
  • the display control process is a process of displaying on the display unit 14 the virtual image 30 positioned inside the visual recognition area 41 among the virtual images 30 positioned in the space 40 .
  • CPU 11 Although a single CPU 11 is illustrated in FIG. 5, it is not limited to this. Two or more processors such as CPUs may be provided, and the processing executed by the CPU 11 of this embodiment may be shared by these two or more processors.
  • the RAM 12 provides working memory space to the CPU 11 and stores temporary data.
  • the storage unit 13 is a non-temporary recording medium readable by the CPU 11 as a computer.
  • the storage unit 13 stores a program 131 executed by the CPU 11, various setting data, and the like.
  • the program 131 is stored in the storage unit 13 in the form of computer-readable program code.
  • a non-volatile storage device such as an SSD (Solid State Drive) having a flash memory is used.
  • the data stored in the storage unit 13 includes virtual image data 132 related to the virtual image 30 and the like.
  • the virtual image data 132 includes data related to the display content of the virtual image 30 (for example, image data), display position data, orientation data, and the like.
  • the virtual image data 132 related to the pointing image 31 of the arrow includes data such as the size, color, display position, and direction of the arrow.
  • the virtual image data 132 related to the indication image 31 of the trajectory of the pen input includes the thickness of the trajectory, the color, the display position (including the coordinates of each point of the trajectory), the orientation data, and the like.
  • the virtual image data 132 related to the pointing image 31 of the document image includes data on the content of the document image, window size, color, display position, orientation, and the like.
  • the display unit 14 has a visor 141 , a laser scanner 142 , and an optical system that guides the light output from the laser scanner 142 to the display surface of the visor 141 .
  • the laser scanner 142 irradiates the optical system with pulsed laser light whose on/off is controlled for each pixel according to a control signal from the CPU 11 while scanning in a predetermined direction.
  • the laser light incident on the optical system forms a display screen made up of a two-dimensional pixel matrix on the display surface of the visor 141 .
  • the method of the laser scanner 142 is not particularly limited, for example, a method of operating a mirror by MEMS (Micro Electro Mechanical Systems) to scan laser light can be used.
  • the laser scanner 142 has, for example, three light emitting units that emit RGB color laser light.
  • the display unit 14 can perform color display by projecting light from these light emitting units onto the visor 141 .
  • the sensor unit 15 includes an acceleration sensor 151, an angular velocity sensor 152, a depth sensor 153, a camera 154, an eye tracker 155, and the like. Note that the sensor unit 15 may further include sensors not shown in FIG.
  • the acceleration sensor 151 detects acceleration and outputs the detection result to the CPU 11 . From the detection results of the acceleration sensor 151, the translational motion of the wearable terminal device 10 in the orthogonal three-axis directions can be detected.
  • the angular velocity sensor 152 detects angular velocity and outputs the detection result to the CPU 11. Rotational motion of the wearable terminal device 10 can be detected from the detection result of the angular velocity sensor 152 .
  • the depth sensor 153 is an infrared camera that detects the distance to the subject by the ToF (Time of Flight) method, and outputs the distance detection result to the CPU 11.
  • the depth sensor 153 is provided on the front surface of the main body 10a so as to capture an image of the visible area 41. As shown in FIG. Performing three-dimensional mapping of the entire space 40 (that is, obtaining a three-dimensional structure) by repeatedly performing measurements by the depth sensor 153 each time the user's position and orientation changes in the space 40 and synthesizing the results. can be done.
  • the camera 154 captures an image of the space 40 using a group of RGB imaging elements, acquires color image data as the image capturing result, and outputs the color image data to the CPU 11 .
  • the camera 154 is provided on the front surface of the main body 10a so as to photograph the visible area 41. As shown in FIG.
  • the output image from the camera 154 is used for detecting the position and orientation of the wearable terminal device 10, and is also transmitted from the communication unit 16 to the external device 20 so that the visible region 41 of the user of the wearable terminal device 10 is displayed by the external device 20. Also used to display in
  • the eye tracker 155 detects the line of sight of the user and outputs the detection result to the CPU 11 .
  • the sight line detection method is not particularly limited. can use a method of identifying an object that is visually recognizing.
  • a part of the configuration of the eye tracker 155 may be provided on the periphery of the visor 141 or the like.
  • the communication unit 16 is a communication module having an antenna, a modulation/demodulation circuit, a signal processing circuit, and the like.
  • the communication unit 16 transmits and receives data wirelessly to and from the external device 20 according to a predetermined communication protocol. Also, the communication unit 16 can perform voice data communication with the external device 20 . That is, the communication unit 16 transmits audio data collected by the microphone 17 to the external device 20 and receives audio data transmitted from the external device 20 in order to output audio from the speaker 18 .
  • the microphone 17 converts sound such as the user's voice into an electrical signal and outputs the electrical signal to the CPU 11 .
  • the speaker 18 converts the input audio data into mechanical vibrations and outputs them as sound.
  • the CPU 11 performs the following control operations.
  • the CPU 11 performs three-dimensional mapping of the space 40 based on the distance data from the depth sensor 153 to the subject.
  • the CPU 11 repeats this three-dimensional mapping each time the position and orientation of the user changes, and updates the results each time.
  • the CPU 11 performs three-dimensional mapping in units of a continuous space 40 . Therefore, when the user moves between a plurality of rooms partitioned by walls or the like, the CPU 11 recognizes each room as one space 40 and performs three-dimensional mapping separately for each room.
  • the CPU 11 detects the user's visible area 41 in the space 40 . Specifically, the CPU 11 controls the user (wearable device) in the space 40 based on the detection results from the acceleration sensor 151, the angular velocity sensor 152, the depth sensor 153, the camera 154, and the eye tracker 155, and the accumulated three-dimensional mapping results. Identify the position and orientation of the terminal device 10). Then, the visual recognition area 41 is detected (identified) based on the identified position and orientation and the predetermined shape of the visual recognition area 41 . In addition, the CPU 11 continuously detects the user's position and orientation in real time, and updates the visual recognition area 41 in conjunction with changes in the user's position and orientation. Note that detection of the visible region 41 may be performed using detection results obtained by some of the acceleration sensor 151 , the angular velocity sensor 152 , the depth sensor 153 , the camera 154 and the eye tracker 155 .
  • the CPU 11 generates virtual image data 132 related to the virtual image 30 according to user's operation. That is, when the CPU 11 detects a predetermined operation (gesture) for instructing the generation of the virtual image 30, the CPU 11 identifies the display content (for example, image data), the display position, and the orientation of the virtual image. generates virtual image data 132 including
  • the CPU 11 causes the display unit 14 to display the virtual image 30 whose display position is determined inside the visible area 41 , that is, the virtual image 30 positioned inside the visible area 41 .
  • the CPU 11 identifies the virtual image 30 to be displayed based on the display position information included in the virtual image data 132, and determines the position of the virtual image 30 based on the positional relationship between the visible region 41 and the display position of the virtual image 30 at that time.
  • Image data of the display screen to be displayed in 14 is generated.
  • the CPU 11 causes the laser scanner 142 to perform a scanning operation based on this image data, and forms a display screen including the virtual image 30 on the display surface of the visor 141 .
  • the CPU 11 displays the virtual image 30 on the display surface of the visor 141 so that the virtual image 30 can be viewed in the space 40 viewed through the visor 141 .
  • the CPU 11 updates the display contents of the display unit 14 in real time in accordance with the movement of the user (change in the visual recognition area 41). If the setting is such that the virtual image data 132 is retained even when the wearable terminal device 10 is powered off, the existing virtual image data 132 is read when the wearable terminal device 10 is activated next time, If there is a virtual image 30 positioned inside the viewing area 41 , it is displayed on the display unit 14 .
  • CPU 11 detects the position and orientation of the user's hand (and/or fingers) based on the images captured by depth sensor 153 and camera 154, and displays virtual line 51 extending in the detected direction and pointer 52 on display unit 14. display.
  • the CPU 11 detects a gesture of the user's hand (and/or finger) based on the image captured by the depth sensor 153 and the camera 154, and detects the content of the detected gesture and the position of the pointer 52 at that time. Execute the process.
  • the external device 20 includes a CPU 21, a RAM 22, a storage section 23, an operation display section 24, a communication section 25, a microphone 26, a speaker 27, and the like. connected by
  • the CPU 21 is a processor that performs various arithmetic processing and controls the operation of each part of the external device 20 in an integrated manner.
  • the CPU 21 performs various control operations by reading and executing the program 231 stored in the storage unit 23 .
  • the RAM 22 provides a working memory space to the CPU 21 and stores temporary data.
  • the storage unit 23 is a non-temporary recording medium readable by the CPU 21 as a computer.
  • the storage unit 23 stores a program 231 executed by the CPU 21, various setting data, and the like.
  • the program 231 is stored in the storage unit 23 in the form of computer-readable program code.
  • a non-volatile storage device such as an SSD with flash memory or a HDD (Hard Disk Drive) is used.
  • the operation display unit 24 includes a display device such as a liquid crystal display and an input device such as a mouse and keyboard.
  • the operation display unit 24 performs various displays such as the operation status of the display system 1 and processing results on the display device.
  • the display includes, for example, the instructor screen 42 including the image of the visible area 41 captured by the camera 154 of the wearable terminal device 10 . The contents of the instructor screen 42 will be described in detail later. Further, the operation display unit 24 converts a user's input operation to the input device into an operation signal and outputs the operation signal to the CPU 21 .
  • the communication unit 25 transmits and receives data to and from the wearable terminal device 10 according to a predetermined communication protocol. Also, the communication unit 25 can perform voice data communication with the wearable terminal device 10 . That is, the communication unit 25 transmits audio data collected by the microphone 26 to the wearable terminal device 10 and receives audio data transmitted from the wearable terminal device 10 to output audio from the speaker 27 .
  • the communication unit 25 may be capable of communicating with devices other than the wearable terminal device 10 .
  • the microphone 26 converts sound such as the voice of the remote instructor into an electrical signal and outputs the electrical signal to the CPU 21 .
  • the speaker 27 converts input audio data into mechanical vibrations and outputs them as sound.
  • two-way data communication is performed between the wearable terminal device 10 and one or more external devices 20, so that various data can be shared and collaborative work can be performed.
  • voice communication can be performed by transmitting voices collected by the microphone 17 of the wearable terminal device 10 and the microphone 26 of the external device 20 through two-way voice data communication.
  • the period during which the wearable terminal device 10 and the external device 20 are performing voice data communication includes the period during which the user of the wearable terminal device 10 and the remote instructor are in voice communication.
  • Three or more persons including the user of the wearable terminal device 10 and two or more remote instructors who operate two or more external devices 20 can also share camera images and make voice calls.
  • the remote instructor can give instructions and support to the user of the wearable terminal device 10 through voice communication while viewing real-time camera images.
  • the external device 20 can also instruct the wearable terminal device 10 to display the instruction image 31 . That is, the instruction image 31 can be displayed on the display unit 14 of the wearable terminal device 10 by the remote instructor performing a predetermined operation on the external device 20 .
  • FIG. 7 illustrates a case where user A of the wearable terminal device 10 and remote instructors B and C operating different external devices 20 are sharing camera images and making voice calls.
  • FIG. 7 shows the visual recognition area 41 of the user A at a certain point in time and the instructor screens 42 displayed on the two external devices 20, respectively.
  • the instructor screen 42 is displayed based on the photographed data by the camera 154 transmitted from the wearable terminal device 10, and usually reflects the visible region 41 of the user A as it is.
  • the viewing area 41 and the screen 42 for the instructor in FIG. 7 include a handle for a valve to be operated.
  • user A of wearable terminal device 10 receives instructions and assistance from remote instructors B and C regarding steering work.
  • Directional images 31a to 31c of arrows are displayed in the viewing area 41 and the screen 42 for the instructor in FIG.
  • the instruction image 31 a is displayed based on an instruction from the user A accepted by the wearable terminal device 10 .
  • the instruction image 31 b is displayed based on an instruction from the remote instructor B received by the external device 20 .
  • the instruction image 31 c is displayed based on an instruction from the remote instructor C received by another external device 20 .
  • the user A of the wearable terminal device 10 can also instruct the display of the instruction image 31 .
  • both the user A and the remote instructors B and C are aspects of the instructor who instructs the display of the instruction image. Any one of user A and remote instructors B and C will be simply referred to as "instructor" below.
  • the display of the instruction image 31a by the user A can be performed, for example, for the purpose of indicating a position for confirming the work position in response to the instruction by the instruction images 31b and 31c from the remote instructors B and C.
  • the CPU 11 of the wearable terminal device 10 causes the display unit 14 to display the instruction image 31 positioned within the space 40 based on the instruction of the instructor.
  • the CPU 21 of the external device 20 causes the operation display section 24 to display the instruction image 31 positioned within the space 40 based on the instruction of the instructor.
  • the CPU 11 of the wearable terminal device 10 of the present embodiment causes the display unit 14 to display a plurality of instruction images 31a to 31c based on the instructions of a plurality of instructors in different display modes for each of the instructors who have issued the instructions. Specifically, the CPU 11 causes the display unit 14 to display the plurality of instruction images 31a to 31c in different colors for each of the instructors who have given the instructions. Similarly, the CPU 21 of the external device 20 causes the operation display section 24 to display a plurality of instruction images 31a to 31c based on the instructions of the plurality of instructors in different colors for each of the instructors who have issued the instructions. As a result, it is possible to easily and intuitively grasp whose instructions each of the instruction images 31a to 31c was displayed.
  • the CPU 11 causes the display section 14 to display the instruction images 31a to 31c during execution of voice data communication via the communication section 16.
  • FIG. the CPU 11 associates different colors (display modes) with the user A and the remote instructors B and C participating in the voice call by voice data communication, and the color associated with the instructor who gave the instruction. to display the instruction images 31a to 31c on the display unit 14. According to this, it is possible to display the instruction images 31a to 31c in different colors for each instructor by simple processing.
  • the user A can work according to the instructions of the remote instructors B and C through the voice call while viewing the instruction images 31a to 31c. It can be carried out.
  • each of user A and remote instructors B and C is associated with one of a plurality of user icons 61 (identification marks) colored differently from each other.
  • the name of each instructor and the user icon 61 associated with each instructor are displayed in the visible area 41 and the upper left of the instructor screen 42 .
  • the CPU 11 causes the display unit 14 to display the instruction image 31 in the color assigned to the user icon 61 associated with the instructor who has issued the instruction. Therefore, for one instructor, the color of the user icon 61 associated with the instructor is the same as the color of the instruction image 31 displayed based on the instruction of the instructor. As a result, it is possible to easily and intuitively grasp which instructor's instruction each of the instruction images 31a to 31c is based on.
  • an arrow icon 62, a pen input icon 63, and an image icon 64 are displayed in the upper part of the visual recognition area 41 and the screen 42 for the instructor.
  • an arrow indication image 31 can be generated and displayed.
  • the instruction image 31 may include an image of a virtual object, and the virtual object may include an arrow-shaped object (arrow) whose position and orientation are specified.
  • the virtual object as the pointing image 31 may include an object representing the trajectory of the pen input.
  • the object representing the trajectory of pen input may be, for example, handwritten characters or graphics.
  • the trajectory of the pen input may be identified from the detection result of the trajectory of the user's fingertip, or may be identified based on the movement trajectory of the tip of a predetermined pen-type input device held by the user or the remote instructor.
  • the instruction image 31a in FIG. 8 is displayed based on an instruction received by the wearable terminal device 10 from the user A.
  • the instruction image 31 b is displayed based on an instruction from the remote instructor B received by the external device 20 .
  • the instruction images 31a and 31b of the trajectory of the pen input are also displayed in different colors for each of the instructors who have given the instructions.
  • the color of each pointing image 31 of the pen input trajectory and the color of the user icon 61 may be the same for each pointing person.
  • the instruction image 31 may include a document image in a predetermined file format.
  • a document image is displayed as a window screen as shown in FIG. 9, for example.
  • the document image may be an instruction manual or a manual that indicates the procedure of work content.
  • the file format of the document image may be, for example, a file format for image data such as JPEG, PDF, or a file format for files generated by any other software.
  • the instruction image 31a in FIG. 9 is displayed based on the instruction received by the wearable terminal device 10 from the user A. Further, the instruction image 31 c is displayed based on the instruction of the remote instructor C received by the external device 20 . As shown in FIG. 9, the instruction images 31a and 31c of the document image are also displayed in different colors depending on the instructor who gave the instruction. Here, the color of the function bar on the window screen of the instruction images 31a and 31c is made different for each instructor, but the present invention is not limited to this, and the background color of the window screen may be made different for each instructor. The color of each instruction image 31 of the document image and the color of the user icon 61 may be the same for each instructor.
  • FIG. 10 in the flowchart of FIG. 10, the control procedure by the CPU 21 of the remote instruction processing executed in the external device 20 and the control procedure by the CPU 11 of the remote instruction processing executed in the wearable terminal device 10 are described in parallel.
  • the remote instructor B first instructs the external device 20 to display the instruction image 31b, and then the user A of the wearable terminal device 10 issues an instruction to display the instruction image 31a. do.
  • the CPU 11 of the wearable terminal device 10 starts voice data communication with the external device 20, thereby starting a voice call. Also, the CPU 11 starts transmitting the camera image captured by the camera 154 to the external device 20 (step S101).
  • the CPU 21 of the external device 20 starts voice data communication with the wearable terminal device 10, thereby starting a voice call. Also, the CPU 21 starts receiving a camera image captured by the camera 154 of the wearable terminal device 10 (step S102). Thereafter, the CPU 21 displays the instructor screen 42 based on the camera image, and displays the camera image as a moving image in real time on the instructor screen 42 .
  • the CPU 21 of the external device 20 accepts the operation of the remote instructor B for generating the instruction image 31b (hereinafter referred to as "instruction image generation operation") (step S103).
  • the instruction image generation operation includes an operation of designating the size, color, display position, orientation, and the like of the instruction image 31b on the screen 42 for the instructor and the viewing area 41 . While the instruction image generation operation is being accepted, the camera image on the screen 42 for the instructor may be paused and displayed as a still image.
  • the CPU 21 causes the instruction image 31b to be displayed on the screen 42 for the instructor according to the contents of the instruction image generation operation (step S104).
  • the CPU 21 generates first instruction data for displaying the displayed instruction image 31b on the wearable terminal device 10, and transmits the first instruction data to the wearable terminal device 10 (step S105).
  • the CPU 11 of the wearable terminal device 10 When receiving the first instruction data, the CPU 11 of the wearable terminal device 10 causes the instruction image 31b to be displayed in the visible area 41 of the display unit 14 based on the first instruction data, as shown in S106 of FIG. step S106). Specifically, first, the CPU 11 generates the virtual image data 132 related to the instruction image 31b based on the first instruction data. Based on the generated virtual image data 132, the CPU 11 displays the instruction image 31b at the display position specified by the virtual image data 132 in the space 40. FIG. Specifically, the CPU 11 causes the display unit 14 to display the instruction image 31 b when the display position of the instruction image 31 b is inside the visible region 41 . As a result, the instruction image 31b having the content desired by the remote instructor B can be displayed at the position intended by the remote instructor B, and the instruction image 31b is visually recognized by the user A of the wearable terminal device 10 and shared. be able to.
  • the CPU 11 accepts an instruction image generation operation from user A (step S107).
  • the CPU 11 displays the instruction image 31a in a display mode different from that of the instruction image 31b (here, in a different color) depending on the content of the instruction image generation operation. is displayed (step S108).
  • the CPU 11 determines and displays the color of the instruction image 31a so that the color of the instruction image 31a is different from the color of the instruction image 31b.
  • the CPU 11 changes the display mode by the user A.
  • a new instruction image 31a is displayed on the display unit 14 in a display mode different from the display mode of the instruction image 31b that is already displayed, regardless of the presence or absence of the designation operation.
  • each instruction image 31 can be displayed in a different display mode for each instructor, even if the instructor does not intend to do so.
  • the CPU 11 generates second instruction data for displaying the displayed instruction image 31a on the external device 20, and transmits the second instruction data to the external device 20 (step S109).
  • the CPU 21 of the external device 20 displays the instruction image 31a in a display mode different from that of the instruction image 31b (here, in a different color) based on the received second instruction data. screen 42 (step S110).
  • the color of the instruction image 31 a may be specified in the second instruction data, or may be determined by the CPU 21 so as to be different from the color of the instruction image 31 b on the screen for instructor 42 .
  • the CPU 11 or CPU 21 automatically sets the display mode of each instruction image 31 so that the display mode is different for each instructor.
  • An image 31 may be displayed.
  • FIG. 12 depicts a state in which a color palette 65 is displayed according to selection of the arrow icon 62 .
  • a plurality of color icons having different colors are arranged in the color palette 65 .
  • an arrow instruction image 31 having the color of the selected color icon is generated and displayed.
  • the CPU 11 displays the indication image 31 of the arrow of the selected color in the visible area 41 of the display section 14 .
  • the CPU 11 receives an operation of selecting one color from a plurality of colors (a plurality of display modes) of selection candidates from the designator, and causes the display unit 14 to display the instruction image 31 in the selected color. good too. Thereby, the instruction image 31 of a desired color can be displayed.
  • the CPU 21 causes the instruction image 31 of the arrow of the selected color to be displayed on the screen 42 for the instructor.
  • the color icon 65a corresponding to the color of the displayed instruction image 31b may be excluded from the color icons of the color palette 65.
  • the plurality of colors (plurality of display modes) of selection candidates in the color palette 65 may be colors other than the color of the instruction image 31b already displayed when the instructor makes a selection.
  • a specific color may have already been selected before the user A selects a color from the color palette 65, and the specific color may be different from the color of the instruction image 31b already displayed. There may be. According to these, each instruction image 31 can be displayed in a different display mode for each instructor more reliably. The same operation may be performed in the external device 20 as well.
  • a notification display 66 may be provided.
  • the CPU 11 may cause the display unit 14 to perform a predetermined notification display 66 when the designator attempts to select the color (display mode) of the instruction image 31b that has already been displayed.
  • the notification display 66 may be a character display indicating that the indication image 31 of the same color has already been arranged. According to this, it is possible to reduce the occurrence of the problem of unintentionally displaying the instruction image 31a in the same display mode as the instruction image 31b by another instructor. Further, as shown in FIG.
  • the CPU 11 may cause the display unit 14 to perform display so that the notification display 66 is closer to the user than the color palette 65 in the space 40 . Further, the CPU 11 may determine the display mode of the notification display 66 based on the color of the user icon 61 associated with the user A. FIG. For example, the CPU 11 may control the outer frame of the notification display 66 shown in FIG. Further, the CPU 11 may stop the notification display 66 after a predetermined time has elapsed after causing the display unit 14 to perform the notification display 66 . Further, when performing the notification display 66, the CPU 11 may cause the speaker 27 to output a notification to the effect that the user's attention is called.
  • the notification output from the speaker 27 to call attention to the user is, for example, a message such as "Arrows of the same color are arranged", a buzzer sound such as a beep sound, or the like.
  • the same operation may be performed in the external device 20 as well.
  • the same indication image 31 is displayed in the same manner in the visual recognition area 41 of the wearable terminal device 10 and the indication screen 42 of the external device 20, but the present invention is not limited to this.
  • the display mode (here, color) of the same instruction image 31 may be different between the visual recognition area 41 and the instructor screen 42 .
  • the display mode of the plurality of instruction images 31 based on the instructions of the plurality of instructors on the wearable terminal device 10 may be determined independently of the display mode of the plurality of instruction images 31 on the external device 20 .
  • the color of the user icon 61 associated with each instructor may be determined independently for each of the wearable terminal device 10 and the external device 20 . Thereby, it is possible to increase the degree of freedom in selecting the display mode in each of the wearable terminal device 10 and the external device 20 .
  • the display mode is determined and displayed so that the display mode differs for each instructor. That is, the display mode of each instruction image 31 is determined individually for each instruction image 31 .
  • the CPU 11 causes the display unit 14 to display instruction images 31 in an arbitrary color (in an arbitrary display mode), and then displays a plurality of instruction images 31 based on instructions from a plurality of instructors.
  • the color of the instruction image 31 being displayed may be changed so that the color (display mode) differs for each instructor who has given an instruction.
  • FIG. 16 the display mode is determined and displayed so that the display mode differs for each instructor.
  • the instruction image 31a instructed by the user A is temporarily displayed in the same color as the existing instruction image 31b.
  • the color of the instruction image 31a is changed at a predetermined timing so that the colors of the instruction images 31a and 31b are different for each instructor.
  • the timing for changing the color of the instruction image 31 as shown in the figure below is, for example, when a series of operations related to the instruction image 31 is completed, when joint editing processing related to the instruction image 31 is completed, or when data related to the instruction image 31 is changed. is saved, and so on. The same operation may be performed in the external device 20 as well.
  • the CPU 11 may add different characters or symbols to the display of a plurality of instruction images 31 based on the instructions of a plurality of instructors for each of the instructors who gave the instructions.
  • the characters to be added may include the name, designation, or abbreviation of the instructor who gave the instruction.
  • a method of adding characters or symbols may be a method of arranging them in the vicinity of the instruction image 31 .
  • a method of extending a lead line from each instruction image 31 and displaying a character or a symbol beyond the lead line may be used. As a result, it is possible to clearly grasp by whose instruction each instruction image 31 is displayed. In FIG. 17, the color of the instruction image 31 is changed for each instructor while the characters or symbols are added. The color of the image 31 may be made common.
  • the CPU 11 may add characters or symbols to the display of the instruction image 31 when the distance between the position of the user A in the space 40 and the display position of the instruction image 31 is equal to or less than a predetermined reference distance. As a result, it is possible to clearly indicate by whose instruction the instruction image 31 close to the work target of the user A is displayed, while avoiding the display from becoming complicated.
  • the CPU 11 may add characters or symbols to the display of the instruction image 31 when a predetermined operation is performed on the instruction image 31 .
  • a predetermined operation is performed on the instruction image 31 .
  • an operation of tapping the instruction image 31 with a finger is exemplified as the predetermined operation.
  • the display mode of the instruction image 31 that differs for each instructor is not limited to the above-described change in color and addition of characters or symbols, but may be any display mode that allows the instruction images 31 to be distinguished from each other.
  • the second embodiment differs from the first embodiment in that an external information processing device 80 executes part of the processing that was executed by the CPU 11 of the wearable terminal device 10 in the first embodiment. Differences from the first embodiment will be described below, and descriptions of common points will be omitted.
  • the display system 1 includes a wearable terminal device 10 , a plurality of external devices 20 , and an information processing device 80 (server) communicatively connected to the wearable terminal device 10 . At least part of the communication path between the wearable terminal device 10 and the information processing device 80 may be based on wireless communication.
  • the hardware configuration of the wearable terminal device 10 can be the same as that of the first embodiment, but the processor for performing the same processing as the processing performed by the information processing device 80 may be omitted.
  • the information processing device 80 includes a CPU 81, a RAM 82, a storage section 83, an operation display section 84, a communication section 85, etc., and these sections are connected by a bus 86.
  • the CPU 81 is a processor that performs various arithmetic processes and controls the operation of each part of the information processing device 80 .
  • the CPU 81 performs various control operations by reading and executing a program 831 stored in the storage unit 83 .
  • the RAM 82 provides a working memory space to the CPU 81 and stores temporary data.
  • the storage unit 83 is a non-temporary recording medium readable by the CPU 81 as a computer.
  • the storage unit 83 stores a program 831 executed by the CPU 81, various setting data, and the like.
  • the program 831 is stored in the storage unit 83 in the form of computer-readable program code.
  • a non-volatile storage device such as an SSD equipped with a flash memory or an HDD is used.
  • the operation display unit 84 includes a display device such as a liquid crystal display and an input device such as a mouse and keyboard.
  • the operation display unit 84 performs various displays such as the operation status of the display system 1 and processing results on the display device.
  • the operation status of the display system 1 may include an image captured in real time by the camera 154 of the wearable terminal device 10 .
  • the operation display unit 84 converts a user's input operation to the input device into an operation signal and outputs the operation signal to the CPU 81 .
  • the communication unit 85 communicates with the wearable terminal device 10 to transmit and receive data.
  • the communication unit 85 receives data including part or all of the detection result by the sensor unit 15 of the wearable terminal device 10, information related to user operations (gestures) detected by the wearable terminal device 10, and the like.
  • the communication unit 85 may be capable of communicating with a device other than the wearable terminal device 10 , such as the external device 20 .
  • the CPU 81 of the information processing device 80 executes at least part of the processing that was executed by the CPU 11 of the wearable terminal device 10 in the first embodiment.
  • the CPU 81 may perform three-dimensional mapping of the space 40 based on detection results from the depth sensor 153 .
  • the CPU 81 may detect the user's visual recognition area 41 in the space 40 based on the detection results of the respective units of the sensor unit 15 .
  • the CPU 81 may generate the virtual image data 132 related to the virtual image 30 (instruction image 31) according to the user's operation of the wearable terminal device 10 or based on the instruction data received from the external device 20.
  • the CPU 81 may detect the position and orientation of the user's hand (and/or fingers) based on the images captured by the depth sensor 153 and the camera 154 .
  • the result of the above processing by the CPU 21 is transmitted to the wearable terminal device 10 via the communication section 25.
  • the CPU 11 of the wearable terminal device 10 operates each unit (for example, the display unit 14) of the wearable terminal device 10 based on the received processing result.
  • the CPU 81 may also transmit a control signal to the wearable terminal device 10 to control the display of the display section 14 of the wearable terminal device 10 and/or control the output of the speaker 18 .
  • the device configuration of the wearable terminal device 10 can be simplified, and the manufacturing cost can be reduced.
  • the information processing device 80 with higher performance it is possible to increase the speed and accuracy of various processes related to MR. Therefore, it is possible to improve the accuracy of the 3D mapping of the space 40, improve the display quality of the display unit 14, and improve the response speed of the display unit 14 to user's actions.
  • the visor 141 having optical transparency is used to allow the user to visually recognize the real space, but the present invention is not limited to this.
  • a visor 141 having a light shielding property may be used to allow the user to view the image of the space 40 photographed by the camera 154 . That is, the CPU 11 may cause the display unit 14 to display the image of the space 40 captured by the camera 154 and the virtual image 30 superimposed on the image of the space 40 .
  • Such a configuration can also realize MR that fuses the virtual image 30 with the real space.
  • a VR makes the user feel as if they are in the virtual space. Also in this VR, a user's visible area 41 is specified, and a portion of the virtual space inside the visible area 41 and the virtual image 30 whose display position is set inside the visible area 41 are displayed. Therefore, as in each of the above-described embodiments, a display operation of displaying the instruction image 31 in a different display mode for each instructor can be applied.
  • the wearable terminal device 10 is not limited to having the annular body portion 10a illustrated in FIG. 1, and may have any structure as long as it has a display portion that can be visually recognized by the user when worn. For example, it may be configured to cover the entire head like a helmet. Moreover, like eyeglasses, it may have a frame to be hung on the ear and various devices may be built in the frame.
  • the virtual image 30 does not necessarily have to be stationary in the space 40, and may move inside the space 40 along a predetermined trajectory.
  • the input operation may be accepted by a controller that the user holds in his hand or wears on his body.
  • the present invention is not limited to this, and may involve voice data communication.
  • the display instruction of the instruction image 31 may be performed without the instruction image 31 being displayed.
  • the present invention is not limited to this, and a video call may be possible.
  • the external device 20 may be provided with a web camera for capturing an image of the remote operator, and image data captured by the web camera may be transmitted to the wearable terminal device 10 and displayed on the display unit 14 .
  • the instruction image 31 is not limited to being displayed for instructing the user of the wearable terminal device 10 to work.
  • the instruction image 31 includes any virtual image 30 displayed on the wearable terminal device 10 based on an instruction from an instructor (including the user himself/herself) for the purpose of being visually recognized by the user of the wearable terminal device 10 .
  • the present disclosure can be used for wearable terminal devices, programs, and display methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザが装着して使用するウェアラブル端末装置は、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させる。少なくとも一つのプロセッサは、複数の前記指示者の指示に基づく複数の指示画像を、指示を行った指示者ごとに異なる表示態様で表示部に表示させる。これにより、複数の指示画像が、それぞれ誰の指示により表示されたものかを、簡易かつ直感的に把握することができる。

Description

ウェアラブル端末装置、プログラムおよび表示方法
　本開示は、ウェアラブル端末装置、プログラムおよび表示方法に関する。
　従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、米国特許出願公開第２０１９／００８７０２１号明細書、および米国特許出願公開第２０１９／０３４０８２２号明細書）。
　ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。
　ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。
　本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させる。前記少なくとも一つのプロセッサは、複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる。
　また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる処理を実行させる。
　また、本開示の表示方法は、ユーザが装着して使用するウェアラブル端末装置における表示方法である。当該表示方法では、指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させる。前記表示方法では、複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる。
第１の実施形態に係る表示システムの構成を示す模式図である。 ウェアラブル端末装置の構成を示す模式斜視図である。 ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。 空間における視認領域を説明する図である。 ウェアラブル端末装置の主要な機能構成を示すブロック図である。 外部機器の主要な機能構成を示すブロック図である。 遠隔指示に係る動作を行っているときの視認領域および指示者用画面を示す図である。 ペン入力の軌跡を表す指示画像が表示されている視認領域および指示者用画面を示す図である。 ドキュメント画像の指示画像が表示されている視認領域および指示者用画面を示す図である。 遠隔指示処理の制御手順を示すフローチャートである。 遠隔指示処理における視認領域および指示者用画面を示す図である。 カラーパレットが表示されている視認領域および指示者用画面を示す図である。 既存の指示画像がある場合のカラーパレットを示す図である。 カラーパレットに対する操作に応じた報知表示を示す図である。 視認領域および指示者用画面における指示画像の表示態様の他の例を示す図である。 視認領域および指示者用画面における指示画像の表示動作の他の例を示す図である。 指示者ごとに異なる文字が指示画像に付加されている例を示す図である。 指示画像に対する文字の付加態様の例を示す図である。 第２の実施形態に係る表示システムの構成を示す模式図である。 情報処理装置の主要な機能構成を示すブロック図である。
　以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０、外部機器２０および情報処理装置８０は、参照する各図に示されていない任意の構成部材を備え得る。
　〔第１の実施形態〕
　図１に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０とを備える。表示システム１と外部機器２０とは、ネットワークＮを介して通信接続されている。ネットワークＮは、例えばインターネットとすることができるが、これに限られない。なお、表示システム１は、複数のウェアラブル端末装置１０を備えていてもよい。また、表示システム１が備える外部機器２０は１つであってもよい。
　ウェアラブル端末装置１０は、ユーザ（装着者）に対してＭＲを体感させることのできる装置である。本実施形態では、所定の作業を行うユーザがウェアラブル端末装置１０を装着する。また、ウェアラブル端末装置１０を装着しているユーザに対し、ウェアラブル端末装置１０を介して遠隔地から指示を行う遠隔指示者が外部機器２０を操作する。
　図２に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。
　本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。
　バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図５参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。
　図３に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図３では、仮想画像３０として平面状のウィンドウ画面が例示されている。また、仮想画像３０は、ウェアラブル端末装置１０のユーザに対して指示または説明などを行うための指示画像３１を含む。すなわち、指示画像３１は、仮想画像３０の一態様である。図３では、矢印の指示画像３１と、ペン入力の軌跡の指示画像３１とが例示されている。仮想画像３０は、これらに限られず、例えば各種の立体画像であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１面）および裏面（第２面）を有し、このうち表面に必要な情報が表示され、通常、裏面には情報が表示されない。
　ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図４に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＡの前方に位置する領域である。例えば、視認領域４１は、ユーザＡの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＡの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。
　ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。
　また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。
　なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。
　仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。また、仮想画像３０のうち指示画像３１は、例えば外部機器２０からウェアラブル端末装置１０に送信される指示データに基づいて生成される。また、指示画像３１は、ウェアラブル端末装置１０のユーザが備忘などの目的で自ら生成することもできる。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図３においては、視認領域４１が鎖線で示されている。
　バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面が視認されるように裏面が表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。
　図３に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線５１と、ポインタ５２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ５２は、仮想線５１と仮想画像３０との交点に表示される。仮想線５１が仮想画像３０と交差しない場合には、仮想線５１と空間４０の壁面等との交点にポインタ５２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線５１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ５２を直接表示させてもよい。
　ユーザが手を伸ばす方向を変えることで、仮想線５１の方向およびポインタ５２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３０１、ウィンドウ形状変更ボタン３０２、およびクローズボタン３０３等）にポインタ５２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ５２をクローズボタン３０３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ５２を機能バー３０１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。
　このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。
　次に、図５を参照してウェアラブル端末装置１０の機能構成について説明する。
　ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６と、マイク１７と、スピーカー１８などを備え、これらの各部はバス１９により接続されている。図５に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。
　ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。
　なお、図５では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。
　ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。
　記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。
　記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。また、矢印の指示画像３１に係る仮想画像データ１３２は、矢印の大きさ、色、表示位置、および向きのデータなどを含む。ペン入力の軌跡の指示画像３１に係る仮想画像データ１３２は、軌跡の太さ、色、表示位置（軌跡の各点の座標を含む）、および向きのデータなどを含む。ドキュメント画像の指示画像３１に係る仮想画像データ１３２は、ドキュメント画像の内容、ウィンドウの大きさ、色、表示位置、および向きのデータなどを含む。
　表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。
　センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図５に示されていないセンサーをさらに有していてもよい。
　加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。
　角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。
　深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。
　カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器２０に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器２０において表示するためにも用いられる。
　アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。
　通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器２０との間で無線通信によるデータの送受信を行う。また、通信部１６は、外部機器２０との間で音声データ通信を行うことができる。すなわち、通信部１６は、マイク１７により収集された音声データを外部機器２０に送信し、スピーカー１８から音声を出力させるために外部機器２０から送信された音声データを受信する。
　マイク１７は、ユーザの声などの音を電気信号に変換してＣＰＵ１１に出力する。
　スピーカー１８は、入力された音声データを機械的な振動に変換して音として出力する。
　このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。
　ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。
　ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。
　ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。
　ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０、すなわち視認領域４１の内部に位置する仮想画像３０を表示部１４に表示させる。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて表示する仮想画像３０を特定し、その時点における視認領域４１と、仮想画像３０の表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、仮想画像３０を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０が視認されるように、仮想画像３０をバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に位置する仮想画像３０があれば表示部１４に表示される。
　ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線５１と、ポインタ５２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ５２の位置とに応じた処理を実行する。
　図６に示すように、外部機器２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５と、マイク２６と、スピーカー２７などを備え、これらの各部はバス２８により接続されている。
　ＣＰＵ２１は、各種演算処理を行い、外部機器２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。
　ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。
　記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。
　操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。当該表示には、例えば、ウェアラブル端末装置１０のカメラ１５４により撮影された視認領域４１の画像を含む指示者用画面４２が含まれる。指示者用画面４２の内容については、後に詳述する。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。
　通信部２５は、所定の通信プロトコルに従ってウェアラブル端末装置１０との間でデータの送受信を行う。また、通信部２５は、ウェアラブル端末装置１０との間で音声データ通信を行うことができる。すなわち、通信部２５は、マイク２６により収集された音声データをウェアラブル端末装置１０に送信し、スピーカー２７から音声を出力させるためにウェアラブル端末装置１０から送信された音声データを受信する。通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。
　マイク２６は、遠隔指示者の声などの音を電気信号に変換してＣＰＵ２１に出力する。
　スピーカー２７は、入力される音声データを機械的な振動に変換して音として出力する。
　次に、表示システム１の動作について、外部機器２０を操作する遠隔指示者から、ウェアラブル端末装置１０を装着しているユーザへの遠隔指示（遠隔支援）に係る動作を中心に説明する。
　本実施形態の表示システム１では、ウェアラブル端末装置１０と、一または二以上の外部機器２０との間で双方向のデータ通信を行うことで、種々のデータを共有して共同作業を行うことができる。例えば、ウェアラブル端末装置１０のカメラ１５４により撮影されている画像のデータを外部機器２０に送信して操作表示部２４において表示させることで、ウェアラブル端末装置１０のユーザが見ているものを、遠隔指示者がリアルタイムで認識することができる。また、ウェアラブル端末装置１０のマイク１７、および外部機器２０のマイク２６によりそれぞれ収集された音声を双方向の音声データ通信で送信することで、音声通話を行うことができる。よって、ウェアラブル端末装置１０および外部機器２０により音声データ通信が実行されている期間は、ウェアラブル端末装置１０のユーザと遠隔指示者とが音声通話中である期間を含む。ウェアラブル端末装置１０のユーザと、二以上の外部機器２０を操作する二以上の遠隔指示者とを含む三者以上でカメラ画像の共有および音声通話を行うこともできる。遠隔指示者は、リアルタイムのカメラ画像を見ながら音声通話によってウェアラブル端末装置１０のユーザに対する指示および支援を行う、といったことが可能である。
　さらに、外部機器２０は、ウェアラブル端末装置１０に対して、指示画像３１を表示させる指示を行うこともできる。すなわち、遠隔指示者が外部機器２０に対して所定の操作を行うことで、指示画像３１をウェアラブル端末装置１０の表示部１４に表示させることができる。
　図７には、ウェアラブル端末装置１０のユーザＡと、異なる外部機器２０を操作する遠隔指示者Ｂ、Ｃと、によりカメラ画像の共有および音声通話が行われている場合が例示されている。図７には、ある時点におけるユーザＡの視認領域４１と、２つの外部機器２０においてそれぞれ表示されている指示者用画面４２とが示されている。指示者用画面４２は、ウェアラブル端末装置１０から送信されたカメラ１５４による撮影データに基づいて表示され、通常、ユーザＡの視認領域４１がそのまま反映される。図７の視認領域４１および指示者用画面４２には、作業対象としてのバルブ用のハンドルが含まれている。ここでは、ウェアラブル端末装置１０のユーザＡが、ハンドルの作業について、遠隔指示者Ｂ、Ｃからの指示および支援を受ける場合を例に挙げて説明する。
　図７の視認領域４１および指示者用画面４２には、矢印の指示画像３１ａ～３１ｃが表示されている。指示画像３１ａは、ウェアラブル端末装置１０において受け付けられたユーザＡの指示に基づいて表示されたものである。指示画像３１ｂは、外部機器２０において受け付けられた遠隔指示者Ｂの指示に基づいて表示されたものである。指示画像３１ｃは、別の外部機器２０において受け付けられた遠隔指示者Ｃの指示に基づいて表示されたものである。このように、ウェアラブル端末装置１０のユーザＡも、指示画像３１の表示を指示することができる。すなわち、ユーザＡおよび遠隔指示者Ｂ、Ｃはいずれも、指示画像の表示を指示する指示者の一態様である。以下では、ユーザＡおよび遠隔指示者Ｂ、Ｃのうち任意の１人を単に「指示者」とも記す。ユーザＡによる指示画像３１ａの表示は、例えば、遠隔指示者Ｂ、Ｃからの指示画像３１ｂ、３１ｃによる指示に対し、作業位置の確認のために位置を指し示すといった目的で行うことができる。
　上記を言い換えると、ウェアラブル端末装置１０のＣＰＵ１１は、指示者の指示に基づいて、空間４０内に位置する指示画像３１を表示部１４に表示させる。同様に、外部機器２０のＣＰＵ２１は、指示者の指示に基づいて、空間４０内に位置する指示画像３１を操作表示部２４に表示させる。
　しかしながら、複数の指示者がそれぞれ指示画像３１を表示させると、その表示態様（色など）が互いに同一であると、各指示画像３１が誰の指示により表示されたものかを把握することができないという課題がある。
　そこで、本実施形態のウェアラブル端末装置１０のＣＰＵ１１は、複数の指示者の指示に基づく複数の指示画像３１ａ～３１ｃを、指示を行った指示者ごとに異なる表示態様で表示部１４に表示させる。具体的には、ＣＰＵ１１は、複数の指示画像３１ａ～３１ｃを、指示を行った指示者ごとに異なる色で表示部１４に表示させる。同様に、外部機器２０のＣＰＵ２１は、複数の指示者の指示に基づく複数の指示画像３１ａ～３１ｃを、指示を行った指示者ごとに異なる色で操作表示部２４に表示させる。これにより、指示画像３１ａ～３１ｃが、それぞれ誰の指示により表示されたものかを、簡易かつ直感的に把握することができる。
　ＣＰＵ１１は、通信部１６を介して音声データ通信の実行中に指示画像３１ａ～３１ｃを表示部１４に表示させる。また、ＣＰＵ１１は、音声データ通信による音声通話に参加しているユーザＡおよび遠隔指示者Ｂ、Ｃに互いに異なる色（表示態様）を対応付け、指示を行った指示者に対応付けられている色で指示画像３１ａ～３１ｃを表示部１４に表示させる。これによれば、簡易な処理により、指示者ごとに異なる色で指示画像３１ａ～３１ｃを表示させることができる。また、音声通話の実行中に指示画像３１ａ～３１ｃを表示することで、ユーザＡは、この指示画像３１ａ～３１ｃを視認しつつ、音声通話による遠隔指示者Ｂ、Ｃの指示に従った作業を行うことができる。
　より詳しくは、音声通信においては、ユーザＡおよび遠隔指示者Ｂ、Ｃの各々には、互いに異なる色が付された複数のユーザアイコン６１（識別標識）のうちいずれかが対応付けられている。視認領域４１および指示者用画面４２の左上には、各指示者の名前とともに、各指示者に対応付けられているユーザアイコン６１が表示されている。ＣＰＵ１１は、指示を行った指示者に対応付けられているユーザアイコン６１に付された色で指示画像３１を表示部１４に表示させる。したがって、一の指示者について、当該指示者に対応付けられているユーザアイコン６１の色と、当該指示者の指示に基づいて表示された指示画像３１の色とが同一となっている。これにより、指示画像３１ａ～３１ｃの各々が、どの指示者による指示に基づいて表示されたものかを簡易かつ直感的に把握することができる。
　視認領域４１および指示者用画面４２の上部には、矢印アイコン６２、ペン入力アイコン６３および画像アイコン６４が表示されている。図７に示すように矢印アイコン６２を選択した状態で所定の操作を行うことで、矢印の指示画像３１を生成して表示させることができる。このように、指示画像３１は、仮想オブジェクトの画像を含んでいてもよく、当該仮想オブジェクトは、位置および向きが指定された矢印形状のオブジェクト（矢印）を含んでいてもよい。
　図８に示すように、ペン入力アイコン６３を選択した状態で所定の操作を行うことで、ペン入力の軌跡の指示画像３１を生成して表示させることができる。このように、指示画像３１としての仮想オブジェクトは、ペン入力の軌跡を表すオブジェクトを含んでいてもよい。ペン入力の軌跡を表すオブジェクトは、例えば手書きの文字または図形などであってもよい。ペン入力の軌跡は、ユーザの指先の軌跡の検出結果から特定されてもよいし、ユーザまたは遠隔指示者が保持する所定のペン型入力デバイスの先端の移動軌跡に基づいて特定されてもよい。
　図８における指示画像３１ａは、ウェアラブル端末装置１０において受け付けられたユーザＡの指示に基づいて表示されたものである。また、指示画像３１ｂは、外部機器２０において受け付けられた遠隔指示者Ｂの指示に基づいて表示されたものである。図８に示すように、ペン入力の軌跡の指示画像３１ａ、３１ｂも、指示を行った指示者ごとに異なる色で表示されている。ペン入力の軌跡の各指示画像３１の色と、ユーザアイコン６１の色とを、指示者ごとに揃えてもよい。
　図９に示すように、画像アイコン６４を選択した状態で所定の操作を行うことで、ドキュメント画像の指示画像３１を生成して表示させることができる。このように、指示画像３１は、所定のファイル形式のドキュメント画像を含んでいてもよい。ドキュメント画像は、例えば、図９に示すようなウィンドウ画面として表示される。ドキュメント画像は、作業内容の手順などを示す指示書またはマニュアルなどであってもよい。ドキュメント画像のファイル形式は、例えばＪＰＥＧ等の画像データに係るファイル形式、ＰＤＦ、または他の任意のソフトウェアで生成されるファイルのファイル形式であってもよい。
　図９における指示画像３１ａは、ウェアラブル端末装置１０において受け付けられたユーザＡの指示に基づいて表示されたものである。また、指示画像３１ｃは、外部機器２０において受け付けられた遠隔指示者Ｃの指示に基づいて表示されたものである。図９に示すように、ドキュメント画像の指示画像３１ａ、３１ｃも、指示を行った指示者ごとに異なる色で表示されている。ここでは、指示画像３１ａ、３１ｃのウィンドウ画面における機能バーの色を指示者ごとに異ならせているが、これに限られず、ウィンドウ画面の背景の色などを指示者ごとに異ならせてもよい。ドキュメント画像の各指示画像３１の色と、ユーザアイコン６１の色とを、指示者ごとに揃えてもよい。
　次に、上述のように指示画像３１ａを共有する動作を行うための遠隔指示処理について、図１０および図１１を参照して説明する。このうち図１０のフローチャートでは、外部機器２０において実行される遠隔指示処理のＣＰＵ２１による制御手順と、ウェアラブル端末装置１０において実行される遠隔指示処理のＣＰＵ１１による制御手順とが並列に記載されている。ここでは、まず遠隔指示者Ｂが操作する外部機器２０において指示画像３１ｂの表示指示がなされ、その後、ウェアラブル端末装置１０のユーザＡにより指示画像３１ａの表示指示がなされる場合を例に挙げて説明する。
　図１０に示すように、ウェアラブル端末装置１０のＣＰＵ１１は、遠隔指示処理が開始されると、外部機器２０との間で音声データ通信を開始し、これにより音声通話を開始する。また、ＣＰＵ１１は、カメラ１５４により撮影されたカメラ画像の外部機器２０への送信を開始する（ステップＳ１０１）。
　外部機器２０のＣＰＵ２１は、遠隔指示処理が開始されると、ウェアラブル端末装置１０との間で音声データ通信を開始し、これにより音声通話を開始する。また、ＣＰＵ２１は、ウェアラブル端末装置１０のカメラ１５４により撮影されたカメラ画像の受信を開始する（ステップＳ１０２）。以降、ＣＰＵ２１は、カメラ画像に基づいて指示者用画面４２を表示させ、指示者用画面４２においてカメラ画像をリアルタイムで動画表示させる。
　外部機器２０のＣＰＵ２１は、指示画像３１ｂを生成するための遠隔指示者Ｂの操作（以下、「指示画像生成操作」と記す）を受け付ける（ステップＳ１０３）。指示画像生成操作は、指示者用画面４２および視認領域４１における指示画像３１ｂの大きさ、色、表示位置、および向きなどを指定する操作を含む。指示画像生成操作の受け付け中は、指示者用画面４２におけるカメラ画像を一時停止させて静止画としてもよい。
　ＣＰＵ２１は、図１１のＳ１０４に示すように、指示画像生成操作の内容に応じて指示画像３１ｂを指示者用画面４２に表示させる（ステップＳ１０４）。
　ＣＰＵ２１は、表示された指示画像３１ｂをウェアラブル端末装置１０において表示させるための第１の指示データを生成し、ウェアラブル端末装置１０に送信する（ステップＳ１０５）。
　ウェアラブル端末装置１０のＣＰＵ１１は、第１の指示データを受信すると、図１１のＳ１０６に示すように、当該第１の指示データに基づいて指示画像３１ｂを表示部１４の視認領域４１に表示させる（ステップＳ１０６）。詳しくは、まず、ＣＰＵ１１は、第１の指示データに基づいて、指示画像３１ｂに係る仮想画像データ１３２を生成する。ＣＰＵ１１は、生成した仮想画像データ１３２に基づいて、空間４０のうち仮想画像データ１３２により指定された表示位置に指示画像３１ｂを表示させる。詳しくは、ＣＰＵ１１は、指示画像３１ｂの表示位置が視認領域４１の内部にある場合に、指示画像３１ｂを表示部１４に表示させる。これにより、遠隔指示者Ｂが所望する内容の指示画像３１ｂを、遠隔指示者Ｂが意図した位置に表示させることができ、当該指示画像３１ｂをウェアラブル端末装置１０のユーザＡに視認させて共有することができる。
　ＣＰＵ１１は、ユーザＡからの指示画像生成操作を受け付ける（ステップＳ１０７）。
　ＣＰＵ１１は、図１１のＳ１０８に示すように、指示画像生成操作の内容に応じて、指示画像３１ｂとは異なる表示態様で（ここでは、異なる色で）指示画像３１ａを表示部１４の視認領域４１に表示させる（ステップＳ１０８）。ここでは、ＣＰＵ１１は、指示画像３１ａの色が指示画像３１ｂと異なるように指示画像３１ａの色を定めて表示させる。すなわち、ＣＰＵ１１は、ユーザＡから指示画像３１ａを表示する指示がなされたときに、他の指示者からの指示に基づいて既に指示画像３１ｂが表示されている場合には、ユーザＡによる表示態様を指定する操作の有無に関わらず、既に表示されている指示画像３１ｂの表示態様と異なる表示態様で新たな指示画像３１ａを表示部１４に表示させる。これにより、指示者が特に意図しなくても、各指示画像３１を指示者ごとに異なる表示態様で表示させることができる。
　ＣＰＵ１１は、表示された指示画像３１ａを外部機器２０において表示させるための第２の指示データを生成し、外部機器２０に送信する（ステップＳ１０９）。
　外部機器２０のＣＰＵ２１は、図１１のＳ１１０に示すように、受信した第２の指示データに基づいて、指示画像３１ｂとは異なる表示態様で（ここでは、異なる色で）指示画像３１ａを指示者用画面４２に表示させる（ステップＳ１１０）。指示画像３１ａの色は、第２の指示データにおいて指定されていてもよいし、ＣＰＵ２１が、指示者用画面４２における指示画像３１ｂの色と異なるように定めてもよい。
　ステップＳ１０９、Ｓ１１０が終了すると、ＣＰＵ１１、２１は、遠隔指示処理を終了させる。
　次に、上記実施形態の変形例について説明する。以下の各変形例では、上記実施形態との相違点について説明し、上記実施形態と共通する内容については説明を省略する。また、以下の各変形例は、他の任意の変形例と組み合わせてもよい。
　〔変形例１〕
　上記実施形態では、ＣＰＵ１１またはＣＰＵ２１が、指示者ごとに異なる表示態様となるように各指示画像３１の表示態様を自動的に設定したが、これに代えて、指示者が選択した表示態様で指示画像３１を表示させてもよい。
　例えば、図１２に示すように、矢印アイコン６２、ペン入力アイコン６３または画像アイコン６４が選択された場合に、生成する指示画像３１の色を選択するためのカラーパレット６５を表示してもよい。図１２では、矢印アイコン６２の選択に応じてカラーパレット６５が表示されている状態が描かれている。カラーパレット６５には、色が互いに異なる複数の色アイコンが配列されている。このうち１つの色アイコンを選択した状態で指示画像３１の表示指示が行われると、選択した色アイコンの色を有する矢印の指示画像３１が生成されて表示される。例えば、上記の操作がウェアラブル端末装置１０において受け付けられた場合には、ＣＰＵ１１が、選択された色の矢印の指示画像３１を表示部１４の視認領域４１において表示させる。このように、ＣＰＵ１１は、選択候補の複数の色（複数の表示態様）から一の色を選択する操作を指示者から受け付けて、選択された色で指示画像３１を表示部１４に表示させてもよい。これにより、所望の色の指示画像３１を表示させることができる。なお、上記の操作が外部機器２０において受け付けられた場合には、ＣＰＵ２１が、選択された色の矢印の指示画像３１を指示者用画面４２において表示させる。
　ここで、図１３に示すように、ウェアラブル端末装置１０のユーザＡがカラーパレット６５により色の選択を行うときに、既に他の指示者の指示に基づいて指示画像３１ｂが表示されている場合には、カラーパレット６５の色アイコンからは、表示済の指示画像３１ｂの色の色アイコン６５ａが除外されてもよい。言い換えると、カラーパレット６５による選択候補の複数の色（複数の表示態様）は、指示者が選択を行うときに既に表示されている指示画像３１ｂの色を除いた色からなっていてもよい。また、ユーザＡがカラーパレット６５により色の選択を行う前の時点で既に特定の色が選択されていてもよく、該特定の色が既に表示されている指示画像３１ｂの色とは異なる色であってもよい。これらによれば、より確実に、指示者ごとに異なる表示態様で各指示画像３１を表示させることができる。なお、外部機器２０においても同様の動作が行われてもよい。
　また、図１４に示すように、既に他の指示者の指示に基づいて指示画像３１ｂが表示されている場合において、ユーザＡが、指示画像３１ｂと同一色の色アイコン６５ａを選択したときに、報知表示６６を行ってもよい。言い換えると、ＣＰＵ１１は、既に表示されている指示画像３１ｂの色（表示態様）の選択を指示者が試みた場合には、所定の報知表示６６を表示部１４に行わせてもよい。ここで、報知表示６６は、図１４に示すように、同一色の指示画像３１が既に配置されていることを示す文字表示であってもよい。これによれば、意図せずに他の指示者による指示画像３１ｂと同一の表示態様で指示画像３１ａを表示させてしまう問題の発生を低減できる。また、図１４に示すように、ＣＰＵ１１は、空間４０において、報知表示６６がカラーパレット６５よりユーザに対して近い位置になるように表示部１４に表示を行わせてもよい。また、ＣＰＵ１１は、ユーザＡに対応付けられているユーザアイコン６１の色に基づいて、報知表示６６の表示態様を決定してよい。例えば、ＣＰＵ１１は、図１４に示す報知表示６６の外枠（報知表示６６の太線で示す枠部分）が前記ユーザＡに対応付けられているユーザアイコン６１の色となるように制御してよい。また、ＣＰＵ１１は、報知表示６６を表示部１４に行わせた後、所定の時間経過すると報知表示６６を止めてよい。また、報知表示６６を行うとき、ＣＰＵ１１は、ユーザに注意を促す旨の通知をスピーカー２７から出力させてもよい。スピーカー２７から出力させるユーザに注意を促す旨の通知は、例えば、「同一の色の矢印が配置されています。」等のメッセージ、ビープ音等のブザー音、等である。なお、外部機器２０においても同様の動作が行われてもよい。
　〔変形例２〕
　上記実施形態では、ウェアラブル端末装置１０の視認領域４１、および外部機器２０の指示者用画面４２において、同一の指示画像３１の表示態様は同一とされていたが、これに限られない。例えば、図１５に示すように、視認領域４１と指示者用画面４２との間で、同一の指示画像３１の表示態様（ここでは、色）が互いに異なっていてもよい。言い換えると、ウェアラブル端末装置１０における複数の指示者の指示に基づく複数の指示画像３１の表示態様は、外部機器２０における複数の指示画像３１の表示態様とは独立に定められていてもよい。また、各指示者に対応付けられているユーザアイコン６１の色も、ウェアラブル端末装置１０および外部機器２０の各々において独立に定められていてもよい。これにより、ウェアラブル端末装置１０および外部機器２０の各々における表示態様の選択の自由度を高めることができる。
　〔変形例３〕
　上記実施形態では、指示画像３１が表示される際に、表示態様が指示者ごとに異なるように表示態様が定められて表示された。すなわち、各指示画像３１の表示態様を指示画像３１ごとに個別に定めていた。しかしながら、これに限定する趣旨ではない。例えば、図１６に示すように、ＣＰＵ１１は、任意の色（任意の表示態様）で指示画像３１を表示部１４に表示させた後に、複数の指示者の指示に基づく複数の指示画像３１が、指示を行った指示者ごとに異なる色（表示態様）となるように、表示中の指示画像３１の色を変更してもよい。図１６の例では、上図において、ユーザＡの指示による指示画像３１ａが、一旦、既存の指示画像３１ｂと同一の色で表示されている。その後、下図に示すように、所定のタイミングで、指示画像３１ａ、３１ｂの色が指示者ごとに異なるように、指示画像３１ａの色が変更されている。下図のように指示画像３１の色を変更するタイミングは、例えば、指示画像３１に係る一連の作業が終了したとき、指示画像３１に係る共同編集処理が終了したとき、または指示画像３１に係るデータが保存されたときなどとすることができる。なお、外部機器２０においても同様の動作が行われてもよい。
　〔変形例４〕
　上記実施形態では、指示者ごとに異なる指示画像３１の表示態様として、指示画像３１の色を指示者ごとに異ならせる例を用いて説明したが、これに限られない。例えば、図１７に示すように、ＣＰＵ１１は、複数の指示者の指示に基づく複数の指示画像３１の表示に、指示を行った指示者ごとに異なる文字または記号を付加してもよい。また、付加する文字は、指示を行った指示者の名前、呼称または略称を含んでいてもよい。文字または記号の付加方法は、指示画像３１の近傍に配置する方法であってもよい。また、各指示画像３１から引き出し線を延ばし、当該引き出し線の先に文字または記号を表示する方法であってもよい。これにより、各指示画像３１が誰の指示により表示されたものかを明確に把握することができる。なお、図１７では、文字または記号を付加しつつ、さらに指示画像３１の色を指示者ごとに異ならせているが、これに限られず、指示画像３１は文字または記号により区別することとして、指示画像３１の色を共通としてもよい。
　また、ＣＰＵ１１は、空間４０におけるユーザＡの位置と、指示画像３１の表示位置との距離が所定の基準距離以下である場合に、指示画像３１の表示に文字または記号を付加してもよい。これにより、表示が煩雑になるのを避けつつ、ユーザＡの作業対象に近い指示画像３１については誰の指示により表示されたものかを明確に示すことができる。
　また、図１８に示すように、ＣＰＵ１１は、指示画像３１に対する所定の操作がなされた場合に当該指示画像３１の表示に文字または記号を付加してもよい。図１８では、所定の操作として、指示画像３１を指でタップする操作が例示されているが、これに限られず、例えばポインタ５２を用いて選択する操作などであってもよい。これにより、表示が煩雑になるのを避けつつ、ユーザＡが所望する指示画像３１について誰の指示により表示されたものかを明確に示すことができる。
　指示者ごとに異なる指示画像３１の表示態様は、上述した色の変更、および文字または記号の付加に限られず、指示画像３１同士を区別可能な任意の表示態様とすることができる。
　〔第２の実施形態〕
　次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置８０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。
　図１９に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０と、ウェアラブル端末装置１０に通信接続された情報処理装置８０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置８０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置８０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。
　図２０に示すように、情報処理装置８０は、ＣＰＵ８１と、ＲＡＭ８２と、記憶部８３と、操作表示部８４と、通信部８５などを備え、これらの各部はバス８６により接続されている。
　ＣＰＵ８１は、各種演算処理を行い、情報処理装置８０の各部の動作を統括制御するプロセッサである。ＣＰＵ８１は、記憶部８３に記憶されたプログラム８３１を読み出して実行することで、各種制御動作を行う。
　ＲＡＭ８２は、ＣＰＵ８１に作業用のメモリ空間を提供し、一時データを記憶する。
　記憶部８３は、コンピュータとしてのＣＰＵ８１により読み取り可能な非一時的な記録媒体である。記憶部８３は、ＣＰＵ８１により実行されるプログラム８３１、および各種設定データなどを記憶する。プログラム８３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部８３に格納されている。記憶部８３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤなどの不揮発性の記憶装置が用いられる。
　操作表示部８４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部８４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部８４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ８１に出力する。
　通信部８５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部８５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部８５は、ウェアラブル端末装置１０以外の他の装置、例えば外部機器２０との通信が可能であってもよい。
　このような構成の表示システム１において、情報処理装置８０のＣＰＵ８１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ８１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ８１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ８１は、ウェアラブル端末装置１０のユーザの操作に応じて、または外部機器２０から受信した指示データに基づいて、仮想画像３０（指示画像３１）に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ８１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。
　ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ８１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御、および／またはスピーカー１８の出力制御を行ってもよい。
　このように、情報処理装置８０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置８０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。
　〔その他〕
　なお、上記実施形態は例示であり、様々な変更が可能である。
　例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。
　また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部にある部分、および視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。よって、上記各実施形態と同様に、指示者ごとに異なる表示態様で指示画像３１を表示させる表示動作を適用できる。
　ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。
　仮想画像３０は必ずしも空間４０において静止していなくてもよく、所定の軌跡で空間４０の内部を移動していてもよい。
　また、ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。
　音声データ通信による音声通話の実行中に、外部機器２０からウェアラブル端末装置１０に対して指示画像３１の表示指示が行われる例を用いて説明したが、これに限定されず、音声データ通信を伴わずに指示画像３１の表示指示が行われてもよい。
　ウェアラブル端末装置１０および外部機器２０の間で音声通話を行う例を用いて説明したが、これに限られず、ビデオ通話が可能であってもよい。この場合には、遠隔操作者を撮影するウェブカメラを外部機器２０に設け、当該ウェブカメラで撮影している画像データをウェアラブル端末装置１０に送信して表示部１４にて表示させればよい。
　指示画像３１は、ウェアラブル端末装置１０のユーザに対する作業指示のために表示されるものに限られない。指示画像３１は、ウェアラブル端末装置１０のユーザに視認させることを目的として、指示者（ユーザ自身を含む）の指示に基づいてウェアラブル端末装置１０において表示される任意の仮想画像３０を含む。
　その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。
　本開示は、ウェアラブル端末装置、プログラムおよび表示方法に利用することができる。
１　表示システム
１０　ウェアラブル端末装置
１０ａ　本体部
１１　ＣＰＵ（プロセッサ）
１２　ＲＡＭ
１３　記憶部
１３１　プログラム
１３２　仮想画像データ
１４　表示部
１４１　バイザー（表示部材）
１４２　レーザースキャナー
１５　センサー部
１５１　加速度センサー
１５２　角速度センサー
１５３　深度センサー
１５４　カメラ
１５５　アイトラッカー
１６　通信部
１７　マイク
１８　スピーカー
１９　バス
２０　外部機器
２１　ＣＰＵ
２２　ＲＡＭ
２３　記憶部
２３１　プログラム
２４　操作表示部
２５　通信部
２６　バス
３０　仮想画像
３０１　機能バー
３０２　ウィンドウ形状変更ボタン
３０３　クローズボタン
３１、３１ａ～３１ｃ　指示画像
４０　空間
４１　視認領域
４２　指示者用画面
５１　仮想線
５２　ポインタ
６１　ユーザアイコン
６２　矢印アイコン
６３　ペン入力アイコン
６４　画像アイコン
６５　カラーパレット
６６　報知表示
８０　情報処理装置
８１　ＣＰＵ
８２　ＲＡＭ
８３　記憶部
８３１　プログラム
８４　操作表示部
８５　通信部
８６　バス
Ａ　ユーザ（指示者）
Ｂ、Ｃ　遠隔指示者（指示者）
Ｎ　ネットワーク

Claims (23)

  1. 　ユーザが装着して使用するウェアラブル端末装置であって、
    　少なくとも一つのプロセッサを備え、
    　前記少なくとも一つのプロセッサは、
    　指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
    　複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる、ウェアラブル端末装置。
  2. 　前記表示部は、光透過性を有する表示部材を備え、
    　前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記指示画像が視認されるように、前記指示画像を前記表示部材の表示面に表示させる、請求項１に記載のウェアラブル端末装置。
  3. 　前記空間を撮影するカメラを備え、
    　前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記指示画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
  4. 　前記複数の指示者には前記ユーザが含まれる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
  5. 　前記ユーザ以外の前記指示者が使用する外部機器との間で音声データ通信を行う通信部を備え、
    　前記少なくとも一つのプロセッサは、前記通信部を介して前記音声データ通信の実行中に前記指示画像を前記表示部に表示させる、請求項１～４のいずれか一項に記載のウェアラブル端末装置。
  6. 　前記少なくとも一つのプロセッサは、
    　前記音声データ通信による音声通話に参加している前記複数の指示者に互いに異なる前記表示態様を対応付け、
    　前記指示を行った指示者に対応付けられている表示態様で前記指示画像を前記表示部に表示させる、請求項５に記載のウェアラブル端末装置。
  7. 　前記音声データ通信においては、前記複数の指示者の各々には、互いに異なる色が付された複数の識別標識のうちいずれかが対応付けられており、
    　前記少なくとも一つのプロセッサは、前記指示を行った指示者に対応付けられている識別標識に付された色で前記指示画像を前記表示部に表示させる、請求項５または６に記載のウェアラブル端末装置。
  8. 　前記複数の指示者の指示に基づく前記複数の指示画像の表示態様は、前記外部機器における前記複数の指示画像の表示態様とは独立に定められる、請求項５～７のいずれか一項に記載のウェアラブル端末装置。
  9. 　前記少なくとも一つのプロセッサは、前記ユーザから前記指示がなされたときに、他の指示者からの指示に基づいて既に前記指示画像が表示されている場合には、前記ユーザによる表示態様を指定する操作の有無に関わらず、既に表示されている前記指示画像の表示態様と異なる表示態様で新たな指示画像を前記表示部に表示させる、請求項１～８のいずれか一項に記載のウェアラブル端末装置。
  10. 　前記少なくとも一つのプロセッサは、選択候補の複数の表示態様から一の表示態様を選択する操作を前記指示者から受け付けて、選択された表示態様で前記指示画像を前記表示部に表示させ、
    　前記選択候補の複数の表示態様は、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様からなる、請求項１～９のいずれか一項に記載のウェアラブル端末装置。
  11. 　前記少なくとも一つのプロセッサは、
    　選択候補の複数の表示態様から一の表示態様を選択する操作を前記指示者から受け付けて、選択された表示態様で前記指示画像を前記表示部に表示させ、
    　前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様の選択を前記指示者が試みた場合には、所定の報知表示を前記表示部に行わせる、請求項１～９のいずれか一項に記載のウェアラブル端末装置。
  12. 　前記少なくとも一つのプロセッサは、任意の表示態様で前記指示画像を前記表示部に表示させた後に、前記複数の指示者の指示に基づく前記複数の指示画像が、指示を行った指示者ごとに異なる表示態様となるように、表示中の前記指示画像の表示態様を変更する、請求項１～１１のいずれか一項に記載のウェアラブル端末装置。
  13. 　前記少なくとも一つのプロセッサは、前記複数の指示者の指示に基づく前記複数の指示画像を、指示を行った指示者ごとに異なる色で前記表示部に表示させる、請求項１～１２のいずれか一項に記載のウェアラブル端末装置。
  14. 　前記少なくとも一つのプロセッサは、前記複数の指示者の指示に基づく前記複数の指示画像の表示に、指示を行った指示者ごとに異なる文字または記号を付加する、請求項１～１２のいずれか一項に記載のウェアラブル端末装置。
  15. 　前記文字は、前記指示画像の表示に係る前記指示を行った前記指示者の名前、呼称または略称を含む、請求項１４に記載のウェアラブル端末装置。
  16. 　前記少なくとも一つのプロセッサは、前記空間における前記ユーザの位置と前記指示画像の表示位置との距離が所定の基準距離以下である場合に前記指示画像の表示に前記文字または記号を付加する、請求項１４または１５に記載のウェアラブル端末装置。
  17. 　前記少なくとも一つのプロセッサは、前記指示画像に対する所定の操作がなされた場合に当該指示画像の表示に前記文字または記号を付加する、請求項１４～１６のいずれか一項に記載のウェアラブル端末装置。
     
  18. 　前記指示画像は、所定のファイル形式のドキュメント画像を含む、請求項１～１７のいずれか一項に記載のウェアラブル端末装置。
  19. 　前記指示画像は、仮想オブジェクトの画像を含む、請求項１～１８のいずれか一項に記載のウェアラブル端末装置。
  20. 　前記仮想オブジェクトは、ペン入力の軌跡を表すオブジェクトを含む、請求項１９に記載のウェアラブル端末装置。
  21. 　前記仮想オブジェクトは、位置および向きが指定された矢印形状のオブジェクトを含む、請求項１９または２０に記載のウェアラブル端末装置。
  22. 　ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、
    　指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させる処理、
    　複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる処理、
    　を実行させる、プログラム。
  23. 　ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    　指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
    　複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる、表示方法。
PCT/JP2021/013256 2021-03-29 2021-03-29 ウェアラブル端末装置、プログラムおよび表示方法 WO2022208600A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023509914A JP7500866B2 (ja) 2021-03-29 2021-03-29 ウェアラブル端末装置、プログラムおよび表示方法
PCT/JP2021/013256 WO2022208600A1 (ja) 2021-03-29 2021-03-29 ウェアラブル端末装置、プログラムおよび表示方法
US18/552,753 US20240187562A1 (en) 2021-03-29 2021-03-29 Wearable terminal device, program, and display method
JP2024046247A JP2024079765A (ja) 2021-03-29 2024-03-22 ウェアラブル端末装置、プログラムおよび表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013256 WO2022208600A1 (ja) 2021-03-29 2021-03-29 ウェアラブル端末装置、プログラムおよび表示方法

Publications (1)

Publication Number Publication Date
WO2022208600A1 true WO2022208600A1 (ja) 2022-10-06

Family

ID=83455711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/013256 WO2022208600A1 (ja) 2021-03-29 2021-03-29 ウェアラブル端末装置、プログラムおよび表示方法

Country Status (3)

Country Link
US (1) US20240187562A1 (ja)
JP (2) JP7500866B2 (ja)
WO (1) WO2022208600A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305663A (ja) * 1995-04-28 1996-11-22 Hitachi Ltd 共同作業支援システム
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2002368762A (ja) * 2001-06-06 2002-12-20 Olympus Optical Co Ltd ローカルネットワークシステム、ネットワークシステム及びテレビ会議システム並びに移動通信装置
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
JP2007042073A (ja) * 2005-07-01 2007-02-15 Canon Inc 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2016158000A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305663A (ja) * 1995-04-28 1996-11-22 Hitachi Ltd 共同作業支援システム
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
JP2002368762A (ja) * 2001-06-06 2002-12-20 Olympus Optical Co Ltd ローカルネットワークシステム、ネットワークシステム及びテレビ会議システム並びに移動通信装置
JP2007042073A (ja) * 2005-07-01 2007-02-15 Canon Inc 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2016158000A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム

Also Published As

Publication number Publication date
JP7500866B2 (ja) 2024-06-17
JP2024079765A (ja) 2024-06-11
JPWO2022208600A1 (ja) 2022-10-06
US20240187562A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
JP4900741B2 (ja) 画像認識装置および操作判定方法並びにプログラム
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP5114795B2 (ja) 画像認識装置および操作判定方法並びにプログラム
US20180315246A1 (en) Information processing device, information processing method, and program
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
WO2014085789A1 (en) Direct hologram manipulation using imu
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
US10771707B2 (en) Information processing device and information processing method
JP2020019127A (ja) 協調動作支援装置
US11151804B2 (en) Information processing device, information processing method, and program
US20190114502A1 (en) Information processing device, information processing method, and program
WO2022208600A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
WO2022208595A1 (ja) ウェアラブル端末装置、プログラムおよび報知方法
JP6765846B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023275919A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
WO2022201433A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
WO2022269888A1 (ja) ウェアラブル端末装置、プログラム、表示方法および仮想画像配信システム
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
KR20180060403A (ko) 영상 기반의 드론 제어장치
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2022201430A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
WO2023276058A1 (ja) 部分画像の表示位置を変更するウェアラブル端末装置
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
WO2024023922A1 (ja) 仮想空間画像生成方法および仮想空間画像生成システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21934776

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023509914

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18552753

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21934776

Country of ref document: EP

Kind code of ref document: A1