WO2021033400A1 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

情報処理装置、情報処理方法および記録媒体 Download PDF

Info

Publication number
WO2021033400A1
WO2021033400A1 PCT/JP2020/023506 JP2020023506W WO2021033400A1 WO 2021033400 A1 WO2021033400 A1 WO 2021033400A1 JP 2020023506 W JP2020023506 W JP 2020023506W WO 2021033400 A1 WO2021033400 A1 WO 2021033400A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual object
information processing
axis
instructor
Prior art date
Application number
PCT/JP2020/023506
Other languages
English (en)
French (fr)
Inventor
美和 市川
愛 仲田
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021033400A1 publication Critical patent/WO2021033400A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a recording medium.
  • AR augmented reality
  • VR virtual reality
  • a virtual object is displayed in a three-dimensional space through an AR / VR device (for example, a head-mounted display (HMD)) worn on the user's head.
  • AR augmented reality
  • VR virtual reality
  • HMD head-mounted display
  • Patent Document 1 discloses a technique that enables an instructor and a worker to perform smooth work by viewing a virtual object in the same three-dimensional space.
  • an instructor wearing a head-mounted display instructs to change the position and orientation of a virtual object while looking at the three-dimensional space, and the operator works in the two-dimensional space such as a PC screen.
  • the dimensions of the space they see are different. Therefore, the worker may not be able to accurately understand the instruction from the instructor. In this case, there arises a problem that the worker moves the virtual object to the wrong position, or it takes time to move to the instructed position.
  • the present disclosure proposes an information processing device, an information processing method, and a recording medium in which an operator can easily understand an instruction from an instructor and can accurately operate a virtual object.
  • the direction of the first user who operates the first display terminal for changing the position of the virtual object arranged in the three-dimensional space on the first display screen of the first display terminal is such that the direction information acquisition unit for acquiring the direction information indicating the above direction information and the operation axis for changing at least one of the position and the orientation of the virtual object in the three-dimensional space are changed based on the direction information.
  • An information processing device including a display control unit that controls a second display screen of a second display terminal operated by a second user different from the user is provided.
  • a first user who operates the first display terminal for changing the position of a virtual object arranged in a three-dimensional space on the first display screen of the first display terminal.
  • the first user so as to acquire the direction information indicating the direction of the above and to change the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space based on the direction information.
  • An information processing method including controlling a second display screen of a second display terminal operated by a second user different from the above is provided.
  • the computer operates the first display terminal for changing the position of a virtual object arranged in a three-dimensional space on the first display screen of the first display terminal.
  • a direction information acquisition unit that acquires direction information indicating the direction of one user and an operation axis for changing at least one of the position and orientation of the virtual object in the three-dimensional space are changed based on the direction information.
  • FIGS. 1 to 3 First, an outline of information processing performed by the information processing apparatus according to the embodiment of the present disclosure will be described with reference to FIGS. 1 to 3.
  • the information processing according to the present embodiment when changing the position, orientation, etc. of the virtual object arranged in the three-dimensional space, for example, an instructor (first user) wearing a head-mounted display on the head It is divided into a worker (second user) who operates a PC (Personal Computer), and both work in cooperation with each other.
  • the above-mentioned "three-dimensional space” refers to a virtual reality (VR) space or an augmented reality (AR) space. In this embodiment, the case where the three-dimensional space is a virtual reality space will be described as an example.
  • VR virtual reality
  • AR augmented reality
  • the lower figure of FIG. 1 is an example of the image V1 that the instructor is viewing through the head-mounted display.
  • This image V1 is an image of the three-dimensional space Sp3, and shows an image of the three-dimensional space Sp3 viewed from the position where the instructor is standing.
  • the figure shows an example in which a ball-shaped virtual object Ob1 and a cube-shaped virtual object Ob2 are arranged in the three-dimensional space Sp3.
  • the instructor gives an instruction to the worker to change the position or orientation of the virtual objects Ob1 and Ob2 while looking at the three-dimensional space Sp3. That is, the instructor considers where to place the virtual objects Ob1 and Ob2 while freely walking around in the three-dimensional space Sp3. Then, based on the field of view from the position where he / she is currently standing, for example, "move the virtual object Ob1 further to the right” and "place the virtual object Ob1 behind the virtual object Ob2". Etc. are given.
  • the upper figure of FIG. 1 shows an example of the image V2 that the operator is viewing on the PC screen.
  • This video V2 is a video of the two-dimensional space Sp2 defined in the world coordinate system (world coordinate system), and is a video synchronized with the video V1 being viewed by the instructor.
  • Two types of virtual objects Ob1 and Ob2 are also arranged in the two-dimensional space Sp2 in the figure.
  • the circle indicated by the reference numeral P indicates the position where the instructor is standing
  • the solid arrow indicated by the reference numeral d1 indicates the direction in which the instructor is facing (line-of-sight direction), which is a broken line indicated by the reference numeral d2.
  • the arrow indicates the direction orthogonal to the direction in which the instructor is facing.
  • a window W for reducing and displaying the video V1 viewed by the instructor is arranged at the lower right of the video V2, a window W for reducing and displaying the video V1 viewed by the instructor is arranged.
  • the operator uses the mouse or keyboard to change the position or orientation of the virtual objects Ob1 and Ob2 in the world coordinate system while watching the image V2 on the PC screen, or the virtual object Ob1.
  • Ob2 is enlarged / reduced (hereinafter referred to as "virtual object operation").
  • the instructor freely walks around in the three-dimensional space and gives instructions to the operator while looking at the virtual objects Ob1 and Ob2 from various positions or directions. For example, when the instructor looking at the virtual object Ob2 moves from the position A in FIG. 2 to the position B in FIG. 3, the position P of the instructor after the movement and the direction d1 in which the instructor is facing , Images V1 and V2 also change.
  • the operator looks at the virtual objects Ob1 and Ob2 from which position in the three-dimensional space to which direction based on the position P of the instructor and the direction d1 in which the instructor is facing in the video V2. It is necessary to operate the virtual objects Ob1 and Ob2 while always checking whether or not they are present. Therefore, the worker may not be able to accurately understand the instruction from the instructor.
  • the instructor is watching when the worker who is looking at the two-dimensional space performs the work based on the instruction from the instructor who is looking at the three-dimensional space.
  • the operator can easily understand the instruction from the instructor.
  • the information processing device 1 is a device that executes information processing related to AR (augmented reality) and VR (virtual reality). Further, the information processing device 1 is a device for displaying and editing contents of AR and VR, for example.
  • the information processing device 1 includes a display terminal (first display terminal) 10 and a display terminal (second display terminal) 20.
  • the display terminal 10 and the display terminal 20 are connected to each other so as to be communicable by wire or wirelessly via a predetermined network (not shown).
  • the information processing device 1 may include a plurality of display terminals 10 and a plurality of display terminals 20.
  • the display terminal 10 is a computer (information processing device) for displaying information to an instructor (first user).
  • the display terminal 10 is realized by an AR / VR device such as a head-mounted display.
  • the display terminal 10 is attached to the head of the instructor and used.
  • the image corresponding to the display control by the display control unit 14 (for example, the image V1 of FIGS. 1 to 3) is displayed on the display (display unit 15) located in front of the instructor's eyes. That is, the display control unit 14 may be regarded as controlling the display of the display unit 15.
  • the display terminal 10 may be a head-mounted display of any type, such as a non-transparent HMD or a transmissive HMD, as long as the processing described later can be realized. Further, the display terminal 10 is not limited to the head-mounted display as long as the information processing described later can be realized, and may be any device, for example, various devices such as an aerial projection display. Alternatively, it may be a mobile terminal held by the user's hand, such as a smartphone.
  • the display terminal 10 includes an acceleration sensor 11, a gyro sensor 12, a position / attitude detection unit 13, a display control unit 14, and a display unit (first display screen) 15.
  • the position / orientation detection unit 13 and the display control unit 14 may be realized by various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array). In this case, the position / attitude detection unit 13 and the display control unit 14 control the operation in the display terminal 10 according to various programs.
  • the display terminal 10 may include a storage unit composed of semiconductor memory elements such as a RAM (Random Access Memory) and a flash memory (Flash Memory).
  • the acceleration sensor 11 is realized by, for example, a 3-axis acceleration sensor (also referred to as a G sensor) or the like, and detects the acceleration when the display terminal 10 is moving.
  • the gyro sensor 12 is realized by, for example, a 3-axis gyro sensor or the like, and detects the angular velocity (rotational speed) of the display terminal 10.
  • the position / posture detection unit 13 detects the position and posture (for example, orientation, tilt, etc.) of the display terminal 10 based on the sensor information acquired from the acceleration sensor 11 and the gyro sensor 12.
  • the position / posture detection unit 13 also functions as a direction information acquisition unit that acquires direction information indicating the direction of the instructor who operates the display terminal 10.
  • the direction of the instructor is the direction in which the instructor is facing, and more specifically, the direction of the instructor's line of sight.
  • the direction information is information for changing the position of the virtual object arranged in the three-dimensional space on the display unit 15 of the display terminal 10.
  • the directional information may be regarded as corresponding to the field of view of the instructor who operates the display unit 15.
  • the appearance of the virtual object arranged in the three-dimensional space is changed according to the change of the visual field of the instructor including the change of the motion parallax.
  • the position of the virtual object is controlled by the display control unit 24, which will be described later, with reference to the changed visual field of the instructor.
  • the position / posture detection unit 13 outputs information and direction information regarding the position and posture of the display terminal 10 to the display control unit 14 of the display terminal 10 and the display control unit 24 of the display terminal 20, respectively.
  • the position / posture detection unit 13 may estimate the orientation of the display terminal 10 based on the position and orientation of the display terminal 10 and acquire the orientation of the display terminal 10 as direction information. In this case, the position / posture detection unit 13 considers the direction of the display terminal 10 worn by the instructor, that is, the direction of the instructor's head as the direction of the instructor's line of sight, and acquires this as direction information. As a result, the information processing device 1 can acquire direction information without performing complicated estimation processing or the like.
  • the position / posture detection unit 13 may estimate the line-of-sight direction of the instructor based on the pupil image and the Purkinje image of the instructor, and acquire the line-of-sight direction of the instructor as direction information.
  • the position / posture detection unit 13 detects the pupil image and the Purkinje image from the image of the eyeball of the instructor captured by a camera (not shown) or the like, and instructs from the pupil image and the Purkinje image by using an arbitrary line-of-sight detection technique.
  • the line-of-sight direction of the person is estimated, and this is acquired as direction information.
  • the information processing device 1 can acquire the direction information more accurately.
  • the display control unit 14 controls the display of various information on the display terminal 10 by using various techniques related to the display of the device that displays the information.
  • the display control unit 14 causes the display unit 15 to display a virtual object based on the information input from the object control unit 23 of the display terminal 20. Further, the display control unit 14 may generate an operation axis based on the direction information acquired by the position / attitude detection unit 13 and display the operation axis on the display unit 15.
  • the display unit 15 displays various information based on the control of the display control unit 14.
  • the display unit 15 is provided on, for example, a head-mounted display, and is realized by a small liquid crystal display, an organic EL display, or the like located in front of the instructor when worn.
  • the display unit 15 displays a virtual object on the three-dimensional space under the control of the display control unit 14. Further, the display unit 15 may display the operation axis superimposed on the virtual object in the three-dimensional space based on the control of the display control unit 14.
  • the display terminal 20 is a computer (information processing device) for displaying information to a worker (second user).
  • the display terminal 20 is realized by, for example, a general-purpose personal computer.
  • an image corresponding to the display control by the display control unit 24 is displayed on the display (display unit 25) viewed by the operator.
  • the display terminal 20 may be a general-purpose terminal that does not have an acceleration sensor or a gyro sensor.
  • the display terminal 20 includes a mouse 21, a keyboard 22, an object control unit 23, a display control unit 24, and a display unit 25.
  • the object control unit 23 and the display control unit 24 may be realized by various processors such as a CPU, GPU, and FPGA. In this case, the object control unit 23 and the display control unit 24 control the operation in the display terminal 20 according to various programs.
  • the display terminal 20 may include a storage unit including a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the object control unit 23 controls the position, posture (for example, orientation, tilt, etc.), size, etc. of the virtual object in the three-dimensional space and the two-dimensional space.
  • the object control unit 23 generates information on the position, posture, size, etc. of the virtual object based on the input from the mouse 21 or the keyboard 22, and displays the information in the display control unit 14 and the display terminal 20 of the display terminal 10. Output to the display control unit 24, respectively.
  • the display control unit 24 controls the display of various information on the display terminal 20 by using various techniques related to the display of the device that displays the information.
  • the display control unit 24 causes the display unit 25 to display the virtual object based on the information input from the object control unit 23.
  • the display control unit 24 moves to the position P where the instructor is standing, the direction d1 in which the instructor is facing, and the direction d1 in which the instructor is facing in the three-dimensional space.
  • the display unit 25 displays a window W or the like in which the orthogonal direction d2 and the image V1 viewed by the instructor are reduced and displayed.
  • the position P in which the instructor is standing is indicated by a circle, but the display control unit 24 displays the position P of the instructor as a humanoid icon as shown in FIG. 5, for example. May be displayed by.
  • the display control unit 24 uses a plurality of types of humanoid icons to display the positions P of the plurality of instructors (instructors Di1, Di2) and the directions in which the instructors are facing. You may. By performing such display control, the operator can easily grasp from which position each instructor gives an instruction.
  • the display control unit 24 generates an operation axis based on the direction information acquired by the position / attitude detection unit 13, and causes the display unit 25 to display the operation axis. That is, the display control unit 24 displays so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space changes based on the direction information acquired by the position / posture detection unit 13.
  • the unit 25 is controlled.
  • this operation axis has a first axis (Z axis) that coincides with the direction in which the instructor is facing and a second axis (Y axis) that is orthogonal to the first axis and is in the direction of gravity. ), And a third axis (X-axis) orthogonal to the first axis and the second axis (see FIGS. 8A to 8C described later).
  • the Y-axis does not necessarily have to be the direction of gravity, and may be any direction determined by the user.
  • the display control unit 24 fixes the Y axis, which is the axis along the direction of gravity among the plurality of axes of the operation axis, that is, the X axis, the Y axis, and the Z axis, and the Z axis coincides with the direction of the instructor.
  • the operation axis may be changed as described above. That is, the display control unit 24 may fix the Y axis of the operation axis regardless of the change in the direction information acquired by the position / attitude detection unit 13. In this case, the display control unit 24 does not tilt the Y-axis of the operation axis left-right / front-back even when the instructor looking at the virtual object tilts his / her head left-right / front-back.
  • the Z axis is rotated around the Y axis with the Y axis fixed.
  • the operation axis does not move unnecessarily, so that the operator can easily operate the virtual object.
  • the display control unit 24 may superimpose the operation axis on the virtual object and display it on the display unit 25. As a result, the worker can grasp at a glance where the instructor is facing, which makes it easier to operate the virtual object.
  • the display control unit 24 may change the position of the virtual object on the display unit 25 according to the change in the position and posture of the display terminal 10 in the three-dimensional space.
  • the display control unit 24 synchronizes with the position and posture of the display terminal 10 worn by the instructor on the head, and determines the position of the virtual object displayed on the display unit 25, that is, the appearance of the virtual object. Change.
  • the appearance of the virtual object on the display unit 25 changes according to the position and posture of the head of the instructor.
  • the display control unit 24 may display the virtual object on the display unit 25 in synchronization with the display unit 15 of the display terminal 10 based on the above-mentioned direction information. In this case, the display control unit 24 transfers an image synchronized with the image of the display unit 15 viewed by the instructor to the display unit 25 viewed by the operator in real time based on the direction information indicating the direction of the instructor. Display with.
  • the display unit 25 displays various information based on the control of the display control unit 24.
  • the display unit 25 is realized by, for example, a liquid crystal display, an organic EL display, or the like.
  • the display unit 25 displays a virtual object and an operation axis in a two-dimensional space.
  • the position / posture detection unit 13 of the display terminal 10 determines whether or not it is in the instructor mode (step S1). In this step, specifically, it is determined whether the mode is the instructor mode or the world coordinate system mode.
  • the instructor mode indicates a mode in which the operation axis created based on the direction information is displayed on the virtual object, and the operator operates the virtual object from the viewpoint of the instructor.
  • the world coordinate system mode indicates a mode in which an operator operates a virtual object based on the world coordinate system.
  • the information processing device 1 is configured to be able to switch between the instructor mode and the world coordinate system mode.
  • the instructor mode and the world coordinate system mode are, for example, the operator pressing a specific keyboard or GUI (Graphical User Interface) button, and the operator or the instructor inputting a command by voice (for example, "operation axis switching"). It can be switched by doing, etc. Also, for example, if the instructor says “put the virtual object further to the right”, switch to the instructor mode, and if the instructor says “put the virtual object in front of the door”, switch to the world coordinate system mode. Etc., the instruction mode and the world coordinate system mode may be automatically switched by analyzing the utterance content of the instructor.
  • step S1 When it is determined in step S1 that the mode is instructor mode (Yes in step S1), the position / posture detection unit 13 acquires the position and direction of the instructor (step S2). Subsequently, the display control unit 24 of the display terminal 20 creates an operation axis whose Z axis is the direction in which the instructor is facing, the Y axis is the direction of gravity, and the X axis is the direction orthogonal to the YZ axis plane (step S3). ).
  • step S4 the display control unit 24 superimposes the operation axis on the virtual object selected by the operator by the mouse 21 or the like, and displays the operation axis on the display unit 25 (step S4). Subsequently, the display control unit 24 displays the position and orientation of the instructor on the screen of the operator, that is, on the display unit 25 (step S5), and ends this process. If it is determined in step S1 that the mode is not the instructor mode (the world coordinate system mode) (No in step S1), the display control unit 24 of the display terminal 20 sets the world coordinate system as the operation axis (No). Step S6) and step S4.
  • the instructor is wearing a display terminal 10 which is a glasses-type head-mounted display.
  • the display unit 15 of the display terminal 10 located in front of the instructor is transparent, and the virtual object displayed on the display unit 15 is visually recognized by the instructor as if it exists in the real space.
  • the worker operates the virtual object according to the instruction of the instructor while looking at the PC screen.
  • the operation axis Ax0 is displayed on the virtual object Ob1.
  • This operation axis Ax0 is a world coordinate system like the two-dimensional space Sp2.
  • the operator when the instructor gives an instruction "please place the ball-shaped virtual object Ob1 behind the cube-shaped virtual object Ob2", the operator first, as shown in FIG. 7B, The virtual object Ob1 is moved in the X-axis direction. Subsequently, as shown in FIG. 7C, the operator moves the virtual object Ob1 in the ⁇ Z axis direction of the operation axis Ax0. Subsequently, as shown in FIG. 7D, the operator moves the virtual object Ob1 in the ⁇ X axis direction of the operation axis Ax0. Subsequently, as shown in FIG. 7E, the operator moves the virtual object Ob1 in the ⁇ Z axis direction of the operation axis Ax0 to complete the operation.
  • the operation axis Ax is displayed on the virtual object Ob1.
  • This operation axis Ax is an axis created based on the direction information indicating the direction in which the instructor is facing, so that the depth direction (Z-axis direction) coincides with the direction d1 in which the instructor is facing. It is controlled.
  • the direction d1 in which the instructor is facing and the operation axis Ax of the virtual object Ob1 are aligned. Therefore, the worker does not need trial and error when moving the virtual object Ob1 to the position instructed by the instructor. As a result, the number of operation trials is reduced, and in the example shown in the figure, the movement is completed in two operations to the designated place in two operations. That is, in the operation of the virtual object according to the present embodiment, when the virtual object is moved to the same place, the movement is completed with a smaller number of operations than before.
  • the operation axis of the virtual object Ob3 operated by the worker Op is rotated according to the direction in which the instructor Di is facing, and the instructor Di is operated. Align the direction in which is facing with the depth direction (Z-axis direction) of the operation axis.
  • the worker Op may perform the operation of moving the virtual object Ob3 by 10 cm in the Z-axis direction according to the instruction of the instructor Di, so that the operation can be performed accurately and quickly.
  • FIG. 9A Although the instructor Di instructed to "move 10 cm to the right", in the actual operation, for example, as shown in FIG. 9B. , The virtual object Ob3 moves 7 cm diagonally to the front side and then moves 7 cm diagonally to the back side when viewed from the instructor Di, and so on. Therefore, since the virtual object Ob3 moves unexpectedly by the instructor Di, the instructor Di may be concerned whether the instruction is accurately transmitted to the worker Op. On the other hand, in the operation of the virtual object according to the present embodiment, as shown in FIG. 9C, the virtual object Ob3 moves according to the instruction of the instructor Di, so that the instructor Di can wait for the completion of the operation of the worker Op with confidence. ..
  • the information device such as the information processing device 1 according to the above embodiment is realized by, for example, a computer 1000 having a configuration as shown in FIG.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure and the data in the storage unit 120 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the information processing device 1 includes a direction information acquisition unit (position / posture detection unit 13) and a display control unit 24.
  • the direction information acquisition unit acquires direction information indicating the direction of the instructor who operates the display terminal 10 for changing the position of the virtual object arranged in the three-dimensional space on the display unit 15 of the display terminal 10.
  • the display control unit 24 is a display terminal operated by an operator different from the instructor so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space is changed based on the direction information.
  • the display unit 25 of 20 is controlled.
  • the information processing device 1 sets the depth direction of the operation axis of the virtual object when the worker looking at the two-dimensional space performs the work based on the instruction from the instructor looking at the three-dimensional space. , Display in the direction that the instructor is looking at. As a result, since the worker can grasp the direction in which the instructor is facing, he / she can easily understand the instruction from the instructor and can accurately operate the virtual object.
  • the operation axis has a first axis and a second axis orthogonal to the first axis and in the direction of gravity. Further, the display control unit 24 changes the operation axis so that the first axis coincides with the direction of the first user while fixing the second axis of the operation axes regardless of the change in the direction information. ..
  • the information processing device 1 fixes the second axis (for example, the Y axis, which is the axis along the direction of gravity) among the plurality of axes of the operation axis of the virtual object, so that the instructor can use the virtual object.
  • the operation axis of the virtual object does not change even when looking into or looking left and right. As a result, the worker can operate the virtual object with peace of mind.
  • the display control unit 24 superimposes the operation axis on the virtual object and displays it on the display unit 25.
  • the display control unit 24 changes the position of the virtual object on the display unit 15 according to the change in the position and orientation of the display terminal 10 in the three-dimensional space.
  • the position of the virtual object displayed on the display unit 25, that is, the appearance of the virtual object is changed in synchronization with the position and posture of the display terminal 10 worn by the instructor.
  • the display control unit 24 displays a virtual object on the display unit 25 in synchronization with the display screen of the display unit 15 based on the direction information.
  • the image synchronized with the image of the display unit 15 viewed by the instructor is displayed in real time on the display unit 25 viewed by the operator.
  • the direction information acquisition unit acquires the orientation of the display terminal 10 estimated based on the position and orientation of the display terminal 10 as direction information.
  • the information processing device 1 can acquire direction information without performing complicated estimation processing or the like.
  • the direction information acquisition unit acquires the direction of the line of sight of the instructor estimated based on the pupil image and the Purkinje image of the instructor as direction information.
  • the information processing device 1 can acquire the direction information more accurately.
  • the three-dimensional space is a virtual reality space or an augmented reality space.
  • the worker can easily understand the instruction from the instructor who is looking at the virtual reality space or the augmented reality space, and can accurately operate the virtual object.
  • the display terminal 10 is a terminal including at least one of the acceleration sensor 11 and the gyro sensor 12, and the display terminal 20 is a terminal not provided with the acceleration sensor and the gyro sensor.
  • the information processing device 1 can detect the position and orientation of the display terminal 10 based on the sensor information acquired from the acceleration sensor 11 or the gyro sensor 12.
  • the information processing method is to acquire direction information indicating the direction of the instructor who operates the display terminal 10 in order to change the position of the virtual object arranged in the three-dimensional space in the display unit 15 of the display terminal 10.
  • the display unit 25 of the display terminal 20 operated by an operator different from the instructor is controlled so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space changes based on the direction information. Including that.
  • the information processing method changes the depth direction of the operation axis of the virtual object when the worker looking at the two-dimensional space performs the work based on the instruction from the instructor looking at the three-dimensional space. Display in the direction the instructor is looking. As a result, since the worker can grasp the direction in which the instructor is facing, he / she can easily understand the instruction from the instructor and can accurately operate the virtual object.
  • An information processing program for making the computer function as a direction information acquisition unit (position / posture detection unit 13) and a display control unit 24 is recorded on the recording medium.
  • the direction information acquisition unit acquires direction information indicating the direction of the instructor who operates the display terminal 10 for changing the position of the virtual object arranged in the three-dimensional space on the display unit 15 of the display terminal 10.
  • the display control unit 24 is a display terminal operated by an operator different from the instructor so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space is changed based on the direction information.
  • the display unit 25 of 20 is controlled.
  • the recording medium indicates the depth direction of the operation axis of the virtual object when the operator looking at the two-dimensional space performs the work based on the instruction from the instructor looking at the three-dimensional space. Display in the direction that the person is looking at. As a result, since the worker can grasp the direction in which the instructor is facing, he / she can easily understand the instruction from the instructor and can accurately operate the virtual object.
  • the display control unit 24 of the display terminal 20 creates and displays an operation axis whose Z axis is the direction in which the instructor is facing, the Y axis is the direction of gravity, and the X axis is the direction orthogonal to the YZ axis plane. Although it was displayed in the unit 25 (see FIG. 8A), the X-axis does not have to be displayed in particular. Further, the display control unit 24 may create not only three axes but also four or more operation axes.
  • the position / posture detection unit 13 of the display terminal 10 acquires the direction of the instructor's body or face through another device (for example, a wearable terminal) (not shown), and uses this as direction information. May be good.
  • the operation axis may be set for each instructor.
  • the display control unit 24 of the display terminal 20 has the Z axis as the direction in which the first instructor is facing, the Y axis as the gravity direction, and the X axis as the direction orthogonal to the YZ axis plane.
  • a first operation axis and a second operation axis whose direction in which the second instructor is facing is the Z axis, the direction of gravity is the Y axis, and the direction orthogonal to the YZ axis plane is the X axis are created. It is displayed on the display unit 25.
  • the display of the plurality of operation axes may be switched by the operator selecting an icon (see, for example, FIG. 5) indicating each instructor with the mouse 21 or the like.
  • the display control unit 24 of the display terminal 20 superimposes the operation axis on the virtual object and displays it on the display unit 25 as shown in FIGS. 8A to 8C.
  • the method of making the operation axis is not particularly limited, and the operation axis may be displayed at any position on the screen. Further, the display control unit 24 may perform display control so that the operation axis follows the virtual object when the virtual object moves.
  • the display control unit 24 of the display terminal 20 may display the operation axis when the virtual object is selected, or may hide the operation axis when there is no operation for a certain period of time after the selection. Further, when the display control unit 24 receives an operation instruction of a virtual object along a specific axis (for example, X axis) of the operation axis such as "move to the right", only the instructed axis (X axis) is instructed. May be limited so that it can be operated. At that time, the display control unit 24 may highlight the limited axis so that the limited axis can be seen.
  • a specific axis for example, X axis
  • the display control unit 24 may highlight the limited axis so that the limited axis can be seen.
  • the size and color of the operation axis may be changed so that it is easy to see. Further, when there are a plurality of operation axes on the screen, the size and color of each operation axis may be changed so that the axis along which the virtual object is moved can be known.
  • the present technology can also have the following configurations.
  • Direction information acquisition department and A second user different from the first user operates so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space changes based on the direction information.
  • Display control unit that controls the second display screen of the display terminal of Information processing device equipped with.
  • the operating axis has a first axis and a second axis that is orthogonal to the first axis and is in the direction of gravity.
  • the display control unit fixes the second axis of the operation axes regardless of changes in the direction information, and operates the operation so that the first axis coincides with the direction of the first user.
  • the information processing device according to (1) above which changes the axis.
  • (3) The information processing device according to (1), wherein the display control unit superimposes the operation axis on the virtual object and displays it on the second display screen.
  • the display control unit changes the position of the virtual object on the first display screen according to a change in the position and posture of the first display terminal in the three-dimensional space, according to the above (1).
  • Information processing device (5) The information processing device according to (1), wherein the display control unit displays the virtual object in synchronization with the first display screen on the second display screen based on the direction information.
  • the information processing device is a terminal including at least one of an acceleration sensor and a gyro sensor.
  • the second display terminal is a terminal that does not include an acceleration sensor and a gyro sensor.
  • a second user different from the first user operates so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space changes based on the direction information.
  • Information processing methods including.
  • (11) Computer, Acquires direction information indicating the direction of the first user who operates the first display terminal for changing the position of the virtual object arranged in the three-dimensional space on the first display screen of the first display terminal.
  • Direction information acquisition department and A second user different from the first user operates so that the operation axis for changing at least one of the position and the posture of the virtual object in the three-dimensional space changes based on the direction information.
  • Display control unit that controls the second display screen of the display terminal of A recording medium on which an information processing program for functioning is recorded.
  • Information processing device 10 Display terminal 11 Accelerometer 12 Gyro sensor 13 Position / orientation detection unit 14 Display control unit 15 Display unit 20 Display terminal 21 Mouse 22 Keyboard 23 Object control unit 24 Display control unit 25 Display unit Ax, Ax0 Operation axis Ob1 , Ob2, Ob3 Virtual object Sp2 Two-dimensional space Sp3 Three-dimensional space V1, V2 Video

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、三次元空間における仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が方向情報に基づいて変化するよう、第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法および記録媒体
　本開示は、情報処理装置、情報処理方法および記録媒体に関する。
　近年、実空間に仮想オブジェクトを重畳してユーザに提示する拡張現実（ＡＲ：Augmented　Reality）や、仮想空間上で仮想オブジェクトを表示してユーザに提示する仮想現実（ＶＲ：Virtual　Reality）等の技術が注目されている。これらの技術では、例えばユーザの頭部に装着したＡＲ／ＶＲ機器（例えばヘッドマウントディスプレイ（ＨＭＤ：Head　Mounted　Display））を通じて、三次元空間上に仮想オブジェクトを表示させる。
　ＶＲ／ＡＲ技術では、三次元空間上に配置された仮想オブジェクトの位置や向き等を変更する際に、指示者（Director）と作業者（Operator）とに分かれ、両者が連携して作業を行うことがある。ここで、指示者とは、作業者に対して、仮想オブジェクトの位置や向き等の変更の指示を出す者である。また、作業者とは、指示者からの指示に従って、三次元空間上の仮想オブジェクトの位置や向き等の変更を行う者である。なお、下記特許文献１には、指示者と作業者とが同じ三次元空間の仮想オブジェクトを見ることにより、円滑な作業を行えるようにした技術が開示されている。
特開２００６－２９３６０５号公報
　上記の技術では、例えばヘッドマウントディスプレイを装着した指示者が三次元空間を見ながら仮想オブジェクトの位置や向き等の変更を指示し、作業者がＰＣ画面等の二次元空間で作業を行うような場合、両者が見ている空間の次元が異なる。そのため、作業者が指示者からの指示を正確に理解できない場合がある。この場合、作業者が仮想オブジェクトを間違った位置に移動させてしまったり、あるいは指示された位置までの移動に時間が掛かる、等の問題が発生する。
　そこで、本開示では、作業者が指示者からの指示を容易に理解することができ、仮想オブジェクトの操作を的確に行うことができる、情報処理装置、情報処理方法および記録媒体を提案する。
　本開示によれば、第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得することと、前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータを、第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、して機能させるための情報処理プログラムが記録された記録媒体が提供される。
本開示の実施形態に係る情報処理装置が行う情報処理の概要を説明する図であり、作業者および指示者がそれぞれ見ている映像の一例を示す図である。 本開示の実施形態に係る情報処理装置が行う情報処理の概要を説明する図であり、指示者が三次元空間内を移動しながら仮想オブジェクトの操作の指示を行った場合の一例を示す図である。 本開示の実施形態に係る情報処理装置が行う情報処理の概要を説明する図であり、指示者が三次元空間内を移動しながら仮想オブジェクトの操作の指示を行った場合の一例を示す図である。 本開示の実施形態に係る情報処理装置の構成を示すブロック図である。 本開示の実施形態に係る情報処理装置が行う情報処理において、指示者のアイコンの一例を示す図である。 本開示の実施形態に係る情報処理装置が行う情報処理の一例を示すフローチャートである。 従来の情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 従来の情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 従来の情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 従来の情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 従来の情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 本開示の実施形態に係る情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 本開示の実施形態に係る情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 本開示の実施形態に係る情報処理装置が行う情報処理において、仮想オブジェクトの操作の一例を説明する図である。 従来の情報処理装置が行う情報処理の概要と、本開示の実施形態に係る情報処理装置が行う情報処理の概要とを説明する図である。 従来の情報処理装置が行う情報処理の概要と、本開示の実施形態に係る情報処理装置が行う情報処理の概要とを説明する図である。 従来の情報処理装置が行う情報処理の概要と、本開示の実施形態に係る情報処理装置が行う情報処理の概要とを説明する図である。 本開示の実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．構成＞＞
　＜＜３．動作＞＞
　　＜３－１．処理の流れ＞
　　＜３－２．具体例＞
　＜＜４．ハードウェア構成例＞＞
　＜＜５．効果＞＞
　＜＜１．概要＞＞
　まず、本開示の実施形態に係る情報処理装置が行う情報処理の概要について、図１～図３を参照しながら説明する。本実施形態に係る情報処理では、三次元空間上に配置された仮想オブジェクトの位置や向き等を変更する際に、例えば頭部にヘッドマウントディスプレイを装着した指示者（第１のユーザ）と、ＰＣ（Personal　Computer）を操作する作業者（第２のユーザ）とに分かれ、両者が連携して作業を行う。なお、前記した「三次元空間」とは、仮想現実（ＶＲ）空間または拡張現実（ＡＲ）空間のことを示している。本実施形態では、三次元空間が仮想現実空間である場合を例に説明を行う。
　図１の下側の図は、指示者がヘッドマウントディスプレイを通じて見ている映像Ｖ１の一例である。この映像Ｖ１は、三次元空間Ｓｐ３の映像であり、指示者が立っている位置から三次元空間Ｓｐ３を見た映像を示している。同図では、三次元空間Ｓｐ３内に、ボール状の仮想オブジェクトＯｂ１と、キューブ状の仮想オブジェクトＯｂ２とが配置された例を示している。
　指示者は、三次元空間Ｓｐ３を見ながら、作業者に対して、仮想オブジェクトＯｂ１，Ｏｂ２の位置または向きの変更の指示を行う。すなわち、指示者は、三次元空間Ｓｐ３内を自由に歩き回りながら、仮想オブジェクトＯｂ１，Ｏｂ２をどこに配置すべきかを検討する。そして、自身が現在立っている位置からの視野をもとに、作業者に対して、例えば「仮想オブジェクトＯｂ１をもっと右へ動かして」、「仮想オブジェクトＯｂ２の後ろに仮想オブジェクトＯｂ１を置いて」等の指示を行う。
　図１の上側の図は、作業者がＰＣ画面上で見ている映像Ｖ２の一例を示している。この映像Ｖ２は、世界座標系（ワールド座標系）で定義された二次元空間Ｓｐ２の映像であり、指示者が見ている映像Ｖ１と同期した映像である。同図の二次元空間Ｓｐ２内においても、二種類の仮想オブジェクトＯｂ１，Ｏｂ２が配置されている。また、同図において、符号Ｐで示した丸印は指示者が立っている位置を、符号ｄ１で示した実線矢印は指示者が向いている方向（視線方向）を、符号ｄ２で示した破線矢印は指示者が向いている方向に直交する方向を示している。また、映像Ｖ２の右下には、指示者が見ている映像Ｖ１を縮小して表示するウィンドウＷが配置されている。
　作業者は、指示者の指示に対応するため、ＰＣ画面上の映像Ｖ２を見ながら、マウスやキーボードを用いて、世界座標系で仮想オブジェクトＯｂ１，Ｏｂ２の位置または向きの変更、あるいは仮想オブジェクトＯｂ１，Ｏｂ２の拡大・縮小等（以下、「仮想オブジェクトの操作」という）を行う。
　指示者は、三次元空間内を自由に歩き回り、様々な位置または方向から仮想オブジェクトＯｂ１，Ｏｂ２を見ながら、作業者に指示を出す。例えば、仮想オブジェクトＯｂ２を見ていた指示者が、図２の位置Ａから図３の位置Ｂへと移動した場合、移動後の指示者の位置Ｐおよび指示者が向いている方向ｄ１に応じて、映像Ｖ１，Ｖ２も変化する。
　そのため、作業者は、映像Ｖ２における指示者の位置Ｐや指示者が向いている方向ｄ１をもとに、指示者が三次元空間内のどの位置からどの方向に仮想オブジェクトＯｂ１，Ｏｂ２を見ているのかを常に確認しながら仮想オブジェクトＯｂ１，Ｏｂ２を操作する必要がある。従って、作業者が指示者からの指示を正確に理解できない場合があった。
　そこで、本実施形態に係る情報処理装置では、三次元空間を見ている指示者からの指示に基づいて、二次元空間を見ている作業者が作業を行う際に、指示者が見ている方向と、仮想オブジェクトＯｂ１，Ｏｂ２の操作軸の奥行き方向とを揃えることにより、指示者からの指示を作業者が容易に理解できるようにする。
　＜＜２．構成＞＞
　次に、本実施形態に係る情報処理装置の構成について、図４を参照しながら説明する。本実施形態に係る情報処理装置１は、ＡＲ（拡張現実）やＶＲ（仮想現実）に関する情報処理を実行する装置である。また、情報処理装置１は、例えばＡＲやＶＲのコンテンツを表示したり、編集したりするための装置である。
　情報処理装置１は、図４に示すように、表示端末（第１の表示端末）１０と、表示端末（第２の表示端末）２０と、を備えている。表示端末１０と表示端末２０とは、所定のネットワーク（図示省略）を介して、有線または無線により通信可能に接続されている。なお、情報処理装置１には、複数の表示端末１０や複数の表示端末２０が含まれていてもよい。
　表示端末１０は、指示者（第１のユーザ）に対して情報を表示するためのコンピュータ（情報処理装置）である。この表示端末１０は、例えばヘッドマウントディスプレイ等のＡＲ／ＶＲ機器によって実現される。表示端末１０は、指示者の頭部に装着されて使用される。これにより、表示制御部１４による表示制御に応じた映像（例えば図１～図３の映像Ｖ１）が、指示者の眼前に位置するディスプレイ（表示部１５）に表示される。すなわち、表示制御部１４は、表示部１５の表示を制御するものと見做されてよい。
　なお、表示端末１０は、後述する処理が実現可能であれば、非透過型のＨＭＤや透過型のＨＭＤ等の、どのような方式のヘッドマウントディスプレイであってもよい。また、表示端末１０は、後述する情報処理が実現可能であれば、ヘッドマウントディスプレイに限らず、どのような装置であってもよく、例えば空中投影ディスプレイ等の種々の装置であってもよく、あるいは、ユーザの手で把持される携帯端末、例えばスマートフォン等であってもよい。
　表示端末１０は、加速度センサ１１と、ジャイロセンサ１２と、位置・姿勢検出部１３と、表示制御部１４と、表示部（第１の表示画面）１５と、を備えている。なお、位置・姿勢検出部１３および表示制御部１４は、例えばＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）やＦＰＧＡ（Field　Programmable　Gate　Array）等、種々のプロセッサにより実現されてもよい。この場合、位置・姿勢検出部１３および表示制御部１４は、各種プログラムに従って表示端末１０内の動作を制御する。また、表示端末１０は、ＲＡＭ（Random　Access　Memory）やフラッシュメモリ（Flash　Memory）等の半導体メモリ素子からなる記憶部を備えていてもよい。
　加速度センサ１１は、例えば３軸加速度センサ（Ｇセンサとも称す）等により実現され、表示端末１０の移動時の加速度を検出する。ジャイロセンサ１２は、例えば３軸ジャイロセンサ等により実現され、表示端末１０の角速度（回転速度）を検出する。位置・姿勢検出部１３は、加速度センサ１１およびジャイロセンサ１２から取得したセンサ情報に基づいて、表示端末１０の位置や姿勢（例えば向き、傾き等）を検出する。
　位置・姿勢検出部１３は、表示端末１０を操作する指示者の方向を示す方向情報を取得する方向情報取得部としても機能する。なお、指示者の方向とは、指示者が向いている方向であり、より詳細には指示者の視線方向である。また、方向情報は、表示端末１０の表示部１５において三次元空間に配置された仮想オブジェクトの位置を変化させるための情報である。方向情報は、表示部１５を操作する指示者の視野に対応するものと見做されてもよい。三次元空間に配置された仮想オブジェクトの見かけは、運動視差の変化を含む指示者の視野の変化に応じて変化される。仮想オブジェクトの位置は、後述する表示制御部２４によって、変化した指示者の視野を基準として制御される。位置・姿勢検出部１３は、表示端末１０の位置や姿勢に関する情報および方向情報を、表示端末１０の表示制御部１４および表示端末２０の表示制御部２４にそれぞれ出力する。
　位置・姿勢検出部１３は、表示端末１０の位置および姿勢に基づいて当該表示端末１０の向きを推定し、この表示端末１０の向きを方向情報として取得してもよい。この場合、位置・姿勢検出部１３は、指示者が装着している表示端末１０の向き、すなわち指示者の頭の向きを指示者の視線方向とみなし、これを方向情報として取得する。これにより、情報処理装置１は、複雑な推定処理等を行うことなく、方向情報を取得することができる。
　また、位置・姿勢検出部１３は、指示者の瞳孔像およびプルキニエ像に基づいて指示者の視線方向を推定し、この指示者の視線方向を方向情報として取得してもよい。この場合、位置・姿勢検出部１３は、図示しないカメラ等によって撮像した指示者の眼球の画像から瞳孔像およびプルキニエ像を検出し、任意の視線検出技術を用いて、瞳孔像およびプルキニエ像から指示者の視線方向を推定し、これを方向情報として取得する。これにより、情報処理装置１は、方向情報をより精度よく取得することができる。
　表示制御部１４は、情報を表示するデバイスの表示に関する種々の技術を用いて、表示端末１０における各種情報の表示を制御する。表示制御部１４は、表示端末２０のオブジェクト制御部２３から入力された情報に基づいて、仮想オブジェクトを表示部１５に表示させる。また、表示制御部１４は、位置・姿勢検出部１３によって取得された方向情報に基づいて操作軸を生成し、当該操作軸を表示部１５に表示させてもよい。
　表示部１５は、表示制御部１４の制御に基づいて各種情報を表示する。表示部１５は、例えばヘッドマウントディスプレイに設けられ、装着時に指示者の眼前に位置する小型の液晶ディスプレイや有機ＥＬディスプレイ等により実現される。表示部１５は、表示制御部１４の制御に基づいて、三次元空間上に仮想オブジェクトを表示する。また、表示部１５は、表示制御部１４の制御に基づいて、三次元空間上の仮想オブジェクトに操作軸を重畳させて表示してもよい。
　表示端末２０は、作業者（第２のユーザ）に対して情報を表示するためのコンピュータ（情報処理装置）である。この表示端末２０は、例えば汎用のパーソナルコンピュータにより実現される。表示端末２０では、表示制御部２４による表示制御に応じた映像が、作業者が見ているディスプレイ（表示部２５）に表示される。表示端末２０は、より具体的には、加速度センサやジャイロセンサを備えない汎用端末であってもよい。
　表示端末２０は、マウス２１およびキーボード２２と、オブジェクト制御部２３と、表示制御部２４と、表示部２５と、を備えている。なお、オブジェクト制御部２３および表示制御部２４は、例えばＣＰＵやＧＰＵやＦＰＧＡ等、種々のプロセッサにより実現されてもよい。この場合、オブジェクト制御部２３および表示制御部２４は、各種プログラムに従って表示端末２０内の動作を制御する。また、表示端末２０は、ＲＡＭやフラッシュメモリ等の半導体メモリ素子、またはハードディスク、光ディスク等の記憶装置からなる記憶部を備えていてもよい。
　オブジェクト制御部２３は、三次元空間上および二次元空間上における仮想オブジェクトの位置、姿勢（例えば向き、傾き等）、大きさ等を制御する。オブジェクト制御部２３は、マウス２１やキーボード２２からの入力に基づいて、仮想オブジェクトの位置、姿勢、大きさ等に関する情報を生成し、当該情報を表示端末１０の表示制御部１４および表示端末２０の表示制御部２４にそれぞれ出力する。
　表示制御部２４は、情報を表示するデバイスの表示に関する種々の技術を用いて、表示端末２０における各種情報の表示を制御する。表示制御部２４は、オブジェクト制御部２３から入力された情報に基づいて、仮想オブジェクトを表示部２５に表示させる。
　表示制御部２４は、前記した図１～図３に示すように、三次元空間上で指示者が立っている位置Ｐ、指示者が向いている方向ｄ１、指示者が向いている方向ｄ１に直交する方向ｄ２、指示者が見ている映像Ｖ１を縮小して表示するウィンドウＷ等を、表示部２５に表示させる。なお、図１～図３では、指示者が立っている位置Ｐを丸印で表示していたが、表示制御部２４は、指示者の位置Ｐを、例えば図５に示すような人型アイコンによって表示してもよい。
　また、複数の指示者が仮想オブジェクトの操作の指示を行う場合、作業者が見ている映像Ｖ２に複数の指示者を表示させることも可能である。この場合、表示制御部２４は、図５に示すように、複数種類の人型アイコンを用いて、複数の指示者（指示者Ｄｉ１，Ｄｉ２）の位置Ｐおよび指示者が向いている方向を表示してもよい。このような表示制御を行うことにより、作業者が、各指示者がどの位置から指示を出しているのかを容易に把握することが可能となる。
　表示制御部２４は、位置・姿勢検出部１３によって取得された方向情報に基づいて操作軸を生成し、当該操作軸を表示部２５に表示させる。すなわち、表示制御部２４は、三次元空間における仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が、位置・姿勢検出部１３によって取得された方向情報に基づいて変化するよう、表示部２５を制御する。
　この操作軸は、後記するように、指示者が向いている方向に一致する第１の軸（Ｚ軸）と、第１の軸に直交し、かつ重力方向である第２の軸（Ｙ軸）と、第１の軸および第２の軸に直交する第３の軸（Ｘ軸）と、を有している（後記する図８Ａ～図８Ｃ参照）。なお、Ｙ軸は、必ずしも重力方向である必要はなく、ユーザが定めた任意の方向であってもよい。
　表示制御部２４は、操作軸が有する複数の軸、すなわちＸ軸、Ｙ軸およびＺ軸のうち、重力方向に沿った軸であるＹ軸を固定し、Ｚ軸が指示者の方向と一致するように操作軸を変化させてもよい。すなわち、表示制御部２４は、位置・姿勢検出部１３によって取得された方向情報の変化に関わらず、操作軸のＹ軸を固定してもよい。この場合、表示制御部２４は、例えば仮想オブジェクトを見ている指示者が頭を左右前後に傾けた場合においても、それに伴って操作軸のＹ軸を左右前後に傾けるということはせずに、指示者の方向に同期させて、Ｙ軸を固定した状態で当該Ｙ軸を中心にＺ軸を回転させる。これにより、指示者が仮想オブジェクトを覗き込んだり、左右を見渡したりした場合においても、操作軸がむやみに動くことがないため、作業者が仮想オブジェクトの操作をしやすくなる。
　表示制御部２４は、操作軸を仮想オブジェクトに重畳させて、表示部２５に表示させてもよい。これにより、作業者は、指示者がどこを向いているのかを一目で把握することができるため、仮想オブジェクトの操作をしやすくなる。
　表示制御部２４は、表示部２５上における仮想オブジェクトの位置を、三次元空間における表示端末１０の位置および姿勢の変化に応じて変化させてもよい。この場合、表示制御部２４は、指示者が頭部に装着している表示端末１０の位置および姿勢に同期させて、表示部２５に表示される仮想オブジェクトの位置、すなわち仮想オブジェクトの見え方を変化させる。これにより、指示者の頭部の位置および姿勢に応じて、表示部２５における仮想オブジェクトの見え方が変化する。
　表示制御部２４は、前記した方向情報に基づいて、表示部２５上において、仮想オブジェクトを表示端末１０の表示部１５と同期させて表示させてもよい。この場合、表示制御部２４は、指示者の方向を示す方向情報に基づいて、指示者が見ている表示部１５の映像に同期させた映像を、作業者が見ている表示部２５にリアルタイムで表示する。
　表示部２５は、表示制御部２４の制御に基づいて各種情報を表示する。表示部２５は、例えば液晶ディスプレイや有機ＥＬディスプレイ等により実現される。表示部２５は、二次元空間上に仮想オブジェクトおよび操作軸を表示する。
　＜＜３．動作＞＞
　次に、本実施形態に係る情報処理装置１の動作について、図６～図８Ｃを参照しながら説明する。以下では、図６を参照して、情報処理装置１の処理の流れを説明した後、図７Ａ～図８Ｃを参照して、情報処理装置１の具体的な動作の一例を説明する。
　　＜３－１．処理の流れ＞
　まず、表示端末１０の位置・姿勢検出部１３は、指示者モードか否かを判定する（ステップＳ１）。本ステップでは、具体的には指示者モードと世界座標系モードのどちらのモードであるかを判定する。指示者モードとは、方向情報に基づいて作成した操作軸を仮想オブジェクトに表示し、作業者が指示者の視点から仮想オブジェクトの操作を行うモードのことを示している。また、世界座標系モードとは、作業者が世界座標系に基づいて仮想オブジェクトの操作を行うモードのことを示している。
　例えば、仮想オブジェクトの操作の指示が、「仮想オブジェクトをもっと右へ」というような指示者の視点に基づく相対的な指示である場合、仮想オブジェクトの操作軸を表示した指示者モードでの操作がしやすい。一方、仮想オブジェクトの操作指示が、「仮想オブジェクトをドアの前に置いて」というような特定の位置への指示である場合、世界座標系での操作のほうがしやすい。従って、本実施形態に係る情報処理装置１では、指示者モードと世界座標系モードとを切り替えられるように構成されている。
　指示者モードと世界座標系モードとは、例えば作業者が特定のキーボードやＧＵＩ（Graphical　User　Interface)ボタンの押下する、作業者または指示者が音声によるコマンド入力（例えば「操作軸切替」等）を行う、等により切り替えることができる。また、例えば指示者が「仮想オブジェクトをもっと右へ」と発話した場合は指示者モードに切り替え、指示者が「仮想オブジェクトをドアの前に置いて」と発話した場合は世界座標系モードに切り替える等、指示者の発話内容を分析することにより、指示者モードと世界座標系モードとを自動的に切り替えてもよい。
　ステップＳ１において、指示者モードであると判定した場合（ステップＳ１でＹｅｓ）、位置・姿勢検出部１３は、指示者の位置および方向を取得する（ステップＳ２）。続いて、表示端末２０の表示制御部２４は、指示者の向いている方向をＺ軸、重力方向をＹ軸、ＹＺ軸平面に直交する方向をＸ軸とする操作軸を作成する（ステップＳ３）。
　続いて、表示制御部２４は、マウス２１等によって作業者から選択された仮想オブジェクトに重畳させて、操作軸を表示部２５に表示させる（ステップＳ４）。続いて、表示制御部２４は、指示者の位置および向きを、作業者の画面上、すなわち表示部２５に表示し（ステップＳ５）、本処理を終了する。なお、ステップＳ１において、指示者モードではない（世界座標系モードである）と判定した場合（ステップＳ１でＮｏ）、表示端末２０の表示制御部２４は、世界座標系を操作軸に設定し（ステップＳ６）、ステップＳ４に進む。
　　＜３－２．具体例＞
　次に、情報処理装置１の具体的な動作の一例を説明する。以下では、従来の情報処理装置による仮想オブジェクトの操作について、図７Ａ～図７Ｅを参照しながら説明した後、本実施形態に係る情報処理装置１による仮想オブジェクトの操作について、図８Ａ～図８Ｃを参照しながら説明する。
　以下の説明において、指示者は、メガネ型のヘッドマウントディスプレイである表示端末１０を装着している。指示者の眼前に位置する表示端末１０の表示部１５は透過型であり、表示部１５に表示される仮想オブジェクトは、実空間に存在するかのように指示者に視認される。また、作業者は、ＰＣ画面を見ながら、指示者の指示に従って仮想オブジェクトの操作を行う。
　図７Ａに示すように、従来手法による仮想オブジェクトの操作では、例えば操作対象として仮想オブジェクトＯｂ１を選択すると、当該仮想オブジェクトＯｂ１に操作軸Ａｘ０が表示される。この操作軸Ａｘ０は、二次元空間Ｓｐ２と同様に世界座標系である。
　このような場合において、例えば指示者から「キューブ状の仮想オブジェクトＯｂ２の後ろにボール状の仮想オブジェクトＯｂ１を置いて下さい」という指示が出されると、まず作業者は、図７Ｂに示すように、仮想オブジェクトＯｂ１をＸ軸方向に移動させる。続いて、作業者は、図７Ｃに示すように、仮想オブジェクトＯｂ１を操作軸Ａｘ０の－Ｚ軸方向に移動させる。続いて、作業者は、図７Ｄに示すように、仮想オブジェクトＯｂ１を操作軸Ａｘ０の－Ｘ軸方向に移動させる。続いて、作業者は、図７Ｅに示すように、仮想オブジェクトＯｂ１を操作軸Ａｘ０の－Ｚ軸方向に移動させ、操作を完了させる。
　従来手法による仮想オブジェクトの操作では、図７Ａ～図７Ｅに示すように、指示者が向いている方向ｄ１と仮想オブジェクトＯｂ１の操作軸Ａｘ０とが揃っていない。そのため、作業者が、指示者に指示された位置まで仮想オブジェクトＯｂ１を移動させる際に試行錯誤が必要となる。その結果、操作の試行回数が増え、同図の例では、指示された場所までの移動に４回の操作が必要となる。
　一方、図８Ａに示すように、本実施形態による仮想オブジェクトの操作では、例えば操作対象として仮想オブジェクトＯｂ１を選択すると、当該仮想オブジェクトＯｂ１に操作軸Ａｘが表示される。この操作軸Ａｘは、指示者の向いている方向を示す方向情報に基づいて作成された軸であり、その奥行き方向（Ｚ軸方向）が、指示者が向いている方向ｄ１と一致するように制御されている。
　このような場合において、例えば指示者から「キューブ状の仮想オブジェクトＯｂ２の後ろにボール状の仮想オブジェクトＯｂ１を置いて下さい」という指示が出されると、まず作業者は、図８Ｂに示すように、仮想オブジェクトＯｂ１を操作軸ＡｘのＸ軸方向に移動させる。続いて、作業者は、図８Ｃに示すように、仮想オブジェクトＯｂ１を操作軸Ａｘの－Ｚ軸方向に移動させ、操作を完了させる。
　本実施形態による仮想オブジェクトの操作では、図８Ａ～図８Ｃに示すように、指示者が向いている方向ｄ１と仮想オブジェクトＯｂ１の操作軸Ａｘとが揃っている。そのため、作業者が、指示者に指示された位置まで仮想オブジェクトＯｂ１を移動させる際の試行錯誤が不要となる。その結果、操作の試行回数が減り、同図の例では、指示された場所まで２回の操作で移動が２回の操作で完了する。すなわち、本実施形態による仮想オブジェクトの操作では、同じ場所に仮想オブジェクトを移動させる際に、従来よりも少ない操作回数で移動が完了する。
　従来手法による仮想オブジェクトの操作では、図９Ａに示すように、指示者Ｄｉから見て、仮想オブジェクトＯｂ３を右に１０ｃｍ移動させる場合、仮想オブジェクトＯｂ３を世界座標系で操作する必要がある。そのため、図９Ｂに示すように、作業者Ｏｐは、指示者Ｄｉの位置や指示者が向いている方向から仮想オブジェクトＯｂ３をどのように移動させるべきかを試行錯誤する必要があり、例えば仮想オブジェクトＯｂ３をＸ軸方向に７ｃｍ、Ｚ軸方向に７ｃｍ移動させるという操作を行っていた。
　一方、本実施形態による仮想オブジェクトの操作では、図９Ｃに示すように、指示者Ｄｉが向いている方向に合わせて、作業者Ｏｐが操作する仮想オブジェクトＯｂ３の操作軸を回転させ、指示者Ｄｉが向いている方向と、操作軸の奥行方向（Ｚ軸方向）とを一致させる。これにより、作業者Ｏｐは、指示者Ｄｉの指示通りに、仮想オブジェクトＯｂ３をＺ軸方向に１０ｃｍ移動させる操作を行えばよいため、的確かつ素早く操作を行うことができる。
　また、従来手法による仮想オブジェクトの操作では、図９Ａに示すように、指示者Ｄｉが「右に１０ｃｍ移動して」と指示したにもかかわらず、実際の操作では、例えば図９Ｂに示すように、指示者Ｄｉから見て仮想オブジェクトＯｂ３がまず斜め手前側に７ｃｍ移動し、その後に斜め奥側に７ｃｍ移動する、等の動きをする。従って、仮想オブジェクトＯｂ３が、指示者Ｄｉの想定していない動きをするため、作業者Ｏｐに対して指示が正確に伝わっているのか、指示者Ｄｉが不安になる場合がある。一方、本実施形態による仮想オブジェクトの操作では、図９Ｃに示すように、仮想オブジェクトＯｂ３が指示者Ｄｉの指示通りに動くため、指示者Ｄｉは作業者Ｏｐの操作完了を安心して待つことができる。
　＜＜４．ハードウェア構成例＞＞
　上記の実施形態に係る情報処理装置１等の情報機器は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および当該プログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　＜＜５．効果＞＞
　情報処理装置１は、方向情報取得部（位置・姿勢検出部１３）と、表示制御部２４と、を備える。方向情報取得部は、表示端末１０の表示部１５において三次元空間に配置された仮想オブジェクトの位置を変化させるための、表示端末１０を操作する指示者の方向を示す方向情報を取得する。また、表示制御部２４は、三次元空間における仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が方向情報に基づいて変化するよう、指示者とは異なる作業者が操作する表示端末２０の表示部２５を制御する。
　これにより、情報処理装置１は、三次元空間を見ている指示者からの指示に基づいて、二次元空間を見ている作業者が作業を行う際に、仮想オブジェクトの操作軸の奥行き方向を、指示者が見ている方向に揃えて表示する。その結果、作業者は、指示者の向いている方向を把握することができるため、指示者からの指示を容易に理解することができ、仮想オブジェクトの操作を的確に行うことができる。
　情報処理装置１において、操作軸は、第１の軸と、第１の軸に直交し、かつ重力方向である第２の軸と、を有する。また、表示制御部２４は、操作軸のうち、方向情報の変化に関わらず第２の軸を固定しつつ、第１の軸が第１のユーザの方向と一致するように操作軸を変化させる。
　これにより、情報処理装置１は、仮想オブジェクトの操作軸が有する複数の軸のうち、第２の軸（例えば重力方向に沿った軸であるＹ軸）を固定することにより、指示者が仮想オブジェクトを覗き込んだり、あるいは左右を見渡した場合においても、仮想オブジェクトの操作軸が変化しない。その結果、作業者は、仮想オブジェクトの操作を安心して行うことができる。
　情報処理装置１において、表示制御部２４は、操作軸を、仮想オブジェクトに重畳させて表示部２５に表示させる。
　これにより、作業者は、指示者がどこを向いているのかを一目で把握することができるため、仮想オブジェクトの操作をしやすくなる。
　情報処理装置１において、表示制御部２４は、表示部１５上における仮想オブジェクトの位置を、三次元空間における表示端末１０の位置および姿勢の変化に応じて変化させる。
　これにより、指示者が装着している表示端末１０の位置および姿勢に同期して、表示部２５に表示される仮想オブジェクトの位置、すなわち仮想オブジェクトの見え方を変化する。
　情報処理装置１において、表示制御部２４は、方向情報に基づいて、表示部２５上において、仮想オブジェクトを表示部１５の表示画面と同期させて表示させる。
　これにより、指示者が見ている表示部１５の映像に同期させた映像が、作業者が見ている表示部２５にリアルタイムで表示される。
　情報処理装置１において、方向情報取得部は、表示端末１０の位置および姿勢に基づいて推定した表示端末１０の向きを、方向情報として取得する。
　これにより、情報処理装置１は、複雑な推定処理等を行うことなく、方向情報を取得することができる。
　情報処理装置１において、方向情報取得部は、指示者の瞳孔像およびプルキニエ像に基づいて推定した指示者の視線方向を、方向情報として取得する。
　これにより、情報処理装置１は、方向情報をより精度よく取得することができる。
　情報処理装置１において、三次元空間は、仮想現実空間または拡張現実空間である。
　これにより、作業者は、仮想現実空間または拡張現実空間を見ている指示者からの指示を容易に理解することができ、仮想オブジェクトの操作を的確に行うことができる。
　情報処理装置１において、表示端末１０は、加速度センサ１１またはジャイロセンサ１２の少なくとも一方を備える端末であり、表示端末２０は、加速度センサおよびジャイロセンサを備えない端末である。
　これにより、情報処理装置１は、加速度センサ１１またはジャイロセンサ１２から取得したセンサ情報に基づいて、表示端末１０の位置や姿勢を検出することができる。
　情報処理方法は、表示端末１０の表示部１５において三次元空間に配置された仮想オブジェクトの位置を変化させるための、表示端末１０を操作する指示者の方向を示す方向情報を取得することと、三次元空間における仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が方向情報に基づいて変化するよう、指示者とは異なる作業者が操作する表示端末２０の表示部２５を制御することと、を含む。
　これにより、情報処理方法は、三次元空間を見ている指示者からの指示に基づいて、二次元空間を見ている作業者が作業を行う際に、仮想オブジェクトの操作軸の奥行き方向を、指示者が見ている方向に揃えて表示する。その結果、作業者は、指示者の向いている方向を把握することができるため、指示者からの指示を容易に理解することができ、仮想オブジェクトの操作を的確に行うことができる。
　記録媒体には、コンピュータを、方向情報取得部（位置・姿勢検出部１３）と、表示制御部２４と、して機能させるための情報処理プログラムが記録されている。方向情報取得部は、表示端末１０の表示部１５において三次元空間に配置された仮想オブジェクトの位置を変化させるための、表示端末１０を操作する指示者の方向を示す方向情報を取得する。また、表示制御部２４は、三次元空間における仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が方向情報に基づいて変化するよう、指示者とは異なる作業者が操作する表示端末２０の表示部２５を制御する。
　これにより、記録媒体は、三次元空間を見ている指示者からの指示に基づいて、二次元空間を見ている作業者が作業を行う際に、仮想オブジェクトの操作軸の奥行き方向を、指示者が見ている方向に揃えて表示する。その結果、作業者は、指示者の向いている方向を把握することができるため、指示者からの指示を容易に理解することができ、仮想オブジェクトの操作を的確に行うことができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、前記した表示端末２０の表示制御部２４は、指示者の向いている方向をＺ軸、重力方向をＹ軸、ＹＺ軸平面に直交する方向をＸ軸とする操作軸を作成し、表示部２５に表示させていたが（図８Ａ参照）、Ｘ軸は特に表示させなくてもよい。また、表示制御部２４は、３軸に限らず、４軸以上の操作軸を作成してもよい。
　また、前記した表示端末１０の位置・姿勢検出部１３は、図示しない別の装置（例えばウェアラブル端末等）を通じて指示者の身体の向きまたは顔の向きを取得し、これを方向情報として利用してもよい。
　また、前記した実施形態では、指示者が三次元空間を、作業者が二次元空間を見ている前提で説明を行ったが、指示者がと作業者の両方が三次元空間を見ていてもよい。
　また、前記した実施形態において、複数の指示者がいる場合は、指示者ごとに操作軸を設定できるようにしてもよい。例えば指示者が二名いる場合、表示端末２０の表示制御部２４は、第１の指示者の向いている方向をＺ軸、重力方向をＹ軸、ＹＺ軸平面に直交する方向をＸ軸とする第１の操作軸と、第２の指示者の向いている方向をＺ軸、重力方向をＹ軸、ＹＺ軸平面に直交する方向をＸ軸とする第２の操作軸と、を作成し、表示部２５に表示させる。複数の操作軸は、作業者がそれぞれの指示者を示すアイコン（例えば図５参照）をマウス２１等により選択することにより、表示を切り替えられるようにすればよい。
　また、前記した実施形態において、表示端末２０の表示制御部２４は、図８Ａ～図８Ｃに示すように、操作軸を、仮想オブジェクトに重畳させて表示部２５に表示させているが、表示のさせ方は特に限定されず、画面内のどの位置に操作軸を表示してもよい。また、表示制御部２４は、仮想オブジェクトが移動する際に、当該仮想オブジェクトに操作軸が追従するように表示制御を行ってもよい。
　また、表示端末２０の表示制御部２４は、仮想オブジェクトが選択された際に操作軸を表示してもよく、選択後に一定時間操作がない場合に操作軸を非表示にしてもよい。また、表示制御部２４は、「右に動かして」等の、操作軸の特定の軸（例えばＸ軸）に沿った仮想オブジェクトの操作指示があった場合、指示された軸（Ｘ軸）のみを操作できるように限定してもよい。その際、表示制御部２４は、限定された軸が分かるように、その軸を強調表示してもよい。
　また、操作軸は、見やすいように大きさや色を変更してもよい。また、画面上に複数の操作軸がある場合、どの軸に沿って仮想オブジェクトを動かしているのかが分かるように、各操作軸の大きさや色を変更してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、
　前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、
　を備える情報処理装置。
（２）
　前記操作軸は、第１の軸と、前記第１の軸に直交し、かつ重力方向である第２の軸と、を有し、
　前記表示制御部は、前記操作軸のうち、前記方向情報の変化に関わらず前記第２の軸を固定しつつ、前記第１の軸が前記第１のユーザの方向と一致するように前記操作軸を変化させる、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記操作軸を、前記仮想オブジェクトに重畳させて前記第２の表示画面に表示させる、前記（１）に記載の情報処理装置。
（４）
　前記表示制御部は、前記第１の表示画面上における前記仮想オブジェクトの位置を、前記三次元空間における前記第１の表示端末の位置および姿勢の変化に応じて変化させる、前記（１）に記載の情報処理装置。
（５）
　前記表示制御部は、前記方向情報に基づいて、前記第２の表示画面上において、前記仮想オブジェクトを前記第１の表示画面と同期させて表示させる、前記（１）に記載の情報処理装置。
（６）
　前記方向情報取得部は、前記第１の表示端末の位置および姿勢に基づいて推定した前記第１の表示端末の向きを、前記方向情報として取得する、前記（１）に記載の情報処理装置。
（７）
　前記方向情報取得部は、前記第１のユーザの瞳孔像およびプルキニエ像に基づいて推定した前記第１のユーザの視線方向を、前記方向情報として取得する、前記（１）に記載の情報処理装置。
（８）
　前記三次元空間は、仮想現実空間または拡張現実空間である、前記（１）に記載の情報処理装置。
（９）
　前記第１の表示端末は、加速度センサまたはジャイロセンサの少なくとも一方を備える端末であり、
　前記第２の表示端末は、加速度センサおよびジャイロセンサを備えない端末である、前記（１）に記載の情報処理装置。
（１０）
　第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得することと、
　前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御することと、
　を含む情報処理方法。
（１１）
　コンピュータを、
　第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、
　前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、
　して機能させるための情報処理プログラムが記録された記録媒体。
　１　情報処理装置
　１０　表示端末
　１１　加速度センサ
　１２　ジャイロセンサ
　１３　位置・姿勢検出部
　１４　表示制御部
　１５　表示部
　２０　表示端末
　２１　マウス
　２２　キーボード
　２３　オブジェクト制御部
　２４　表示制御部
　２５　表示部
　Ａｘ，Ａｘ０　操作軸
　Ｏｂ１，Ｏｂ２，Ｏｂ３　仮想オブジェクト
　Ｓｐ２　二次元空間
　Ｓｐ３　三次元空間
　Ｖ１，Ｖ２　映像

Claims (11)

  1. 　第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、
    　前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、
    　を備える情報処理装置。
  2. 　前記操作軸は、第１の軸と、前記第１の軸に直交し、かつ重力方向である第２の軸と、を有し、
    　前記表示制御部は、前記操作軸のうち、前記方向情報の変化に関わらず前記第２の軸を固定しつつ、前記第１の軸が前記第１のユーザの方向と一致するように前記操作軸を変化させる、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記操作軸を、前記仮想オブジェクトに重畳させて前記第２の表示画面に表示させる、請求項１に記載の情報処理装置。
  4. 　前記表示制御部は、前記第１の表示画面上における前記仮想オブジェクトの位置を、前記三次元空間における前記第１の表示端末の位置および姿勢の変化に応じて変化させる、請求項１に記載の情報処理装置。
  5. 　前記表示制御部は、前記方向情報に基づいて、前記第２の表示画面上において、前記仮想オブジェクトを前記第１の表示画面と同期させて表示させる、請求項１に記載の情報処理装置。
  6. 　前記方向情報取得部は、前記第１の表示端末の位置および姿勢に基づいて推定した前記第１の表示端末の向きを、前記方向情報として取得する、請求項１に記載の情報処理装置。
  7. 　前記方向情報取得部は、前記第１のユーザの瞳孔像およびプルキニエ像に基づいて推定した前記第１のユーザの視線方向を、前記方向情報として取得する、請求項１に記載の情報処理装置。
  8. 　前記三次元空間は、仮想現実空間または拡張現実空間である、請求項１に記載の情報処理装置。
  9. 　前記第１の表示端末は、加速度センサまたはジャイロセンサの少なくとも一方を備える端末であり、
    　前記第２の表示端末は、加速度センサおよびジャイロセンサを備えない端末である、請求項１に記載の情報処理装置。
  10. 　第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得することと、
    　前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御することと、
    　を含む情報処理方法。
  11. 　コンピュータを、
    　第１の表示端末の第１の表示画面において三次元空間に配置された仮想オブジェクトの位置を変化させるための、前記第１の表示端末を操作する第１のユーザの方向を示す方向情報を取得する方向情報取得部と、
    　前記三次元空間における前記仮想オブジェクトの位置および姿勢の少なくとも一方を変化させるための操作軸が前記方向情報に基づいて変化するよう、前記第１のユーザとは異なる第２のユーザが操作する第２の表示端末の第２の表示画面を制御する表示制御部と、
    　して機能させるための情報処理プログラムが記録された記録媒体。
PCT/JP2020/023506 2019-08-21 2020-06-16 情報処理装置、情報処理方法および記録媒体 WO2021033400A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019151511 2019-08-21
JP2019-151511 2019-08-21

Publications (1)

Publication Number Publication Date
WO2021033400A1 true WO2021033400A1 (ja) 2021-02-25

Family

ID=74660847

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023506 WO2021033400A1 (ja) 2019-08-21 2020-06-16 情報処理装置、情報処理方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2021033400A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066756A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 交互方法、装置和显示设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
WO2017158718A1 (ja) * 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末
JP2019109689A (ja) * 2017-12-18 2019-07-04 アルプスアルパイン株式会社 視線検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
WO2017158718A1 (ja) * 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末
JP2019109689A (ja) * 2017-12-18 2019-07-04 アルプスアルパイン株式会社 視線検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066756A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 交互方法、装置和显示设备

Similar Documents

Publication Publication Date Title
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
EP3137982B1 (en) Transitions between body-locked and world-locked augmented reality
US10754496B2 (en) Virtual reality input
EP3433706B1 (en) Virtual-reality navigation
EP3311249B1 (en) Three-dimensional user input
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
KR102275589B1 (ko) 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용
JP2022000640A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US11340707B2 (en) Hand gesture-based emojis
US20200311396A1 (en) Spatially consistent representation of hand motion
JP6130478B1 (ja) プログラム及びコンピュータ
EP3948494A1 (en) Spatially consistent representation of hand motion
WO2016118344A1 (en) Fixed size augmented reality objects
US11442685B2 (en) Remote interaction via bi-directional mixed-reality telepresence
KR20230079155A (ko) 3d 프레임들을 갖는 가상 장면을 포함하는 아이웨어
WO2021033400A1 (ja) 情報処理装置、情報処理方法および記録媒体
WO2020179027A1 (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP2017121082A (ja) プログラム及びコンピュータ
JP2018063567A (ja) 画像処理装置、画像処理方法およびプログラム
JP6867104B2 (ja) フローティング・グラフィカルユーザインターフェース

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20855545

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20855545

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP