WO2022230267A1 - 作業支援方法、作業支援装置、および、プログラム - Google Patents

作業支援方法、作業支援装置、および、プログラム Download PDF

Info

Publication number
WO2022230267A1
WO2022230267A1 PCT/JP2022/003291 JP2022003291W WO2022230267A1 WO 2022230267 A1 WO2022230267 A1 WO 2022230267A1 JP 2022003291 W JP2022003291 W JP 2022003291W WO 2022230267 A1 WO2022230267 A1 WO 2022230267A1
Authority
WO
WIPO (PCT)
Prior art keywords
users
user
target user
information
reflected
Prior art date
Application number
PCT/JP2022/003291
Other languages
English (en)
French (fr)
Inventor
幸太郎 坂田
剛樹 西川
哲司 渕上
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2023517047A priority Critical patent/JPWO2022230267A1/ja
Priority to CN202280029168.8A priority patent/CN117296032A/zh
Publication of WO2022230267A1 publication Critical patent/WO2022230267A1/ja
Priority to US18/383,171 priority patent/US20240070615A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding

Definitions

  • the present disclosure relates to work support methods, work support devices, and programs.
  • Patent Literature 1 discloses a device capable of realizing various inputs (manipulations) to objects in a virtual space.
  • the present disclosure provides a work support method, a work support device, and a program that can appropriately reflect an operation performed by a user on an object in a virtual space to another user.
  • a work support method is a work support method for supporting work on one or more objects by a plurality of users, including a target user, in a virtual space in which one or more objects are arranged, At least one of voice information based on utterances of one or more users out of the plurality of users, input information based on input from the one or more users out of the plurality of users, and schedule information based on schedules related to the work acquire first information including one, acquire second information indicating an operation of the target user on the one or more objects, and perform the operation by the target user on the plurality of users based on the first information It is determined whether or not to reflect the operation by the target user on the other user, and based on the result of determination on whether or not the operation by the target user is to be reflected on the other user and the second information, the operation of the other user An image viewed by the user in each case is generated, and the generated image is output to the other user's terminal.
  • a work support device is a work support device that supports work on one or more objects by a plurality of users, including a target user, in a virtual space in which one or more objects are arranged, At least one of voice information based on speech of one or more users out of a plurality of users, input information indicating input from the one or more users out of the plurality of users, and schedule information indicating a schedule related to the work.
  • a first acquisition unit that acquires first information including one
  • a second acquisition unit that acquires second information indicating an operation on the one or more objects by the target user; and based on the first information, the target a determination unit that determines whether or not to reflect the operation of the user on other users among the plurality of users; a result of determination on whether or not the operation by the target user is to be reflected on the other user;
  • a generation unit that generates an image viewed by each of the other users based on the second information, and an output unit that outputs the generated image to a terminal of the other user.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute the work support method described above.
  • FIG. 1 is a diagram showing a schematic configuration of a work support system according to an embodiment.
  • FIG. 2 is a block diagram of the functional configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a flow chart showing the operation of the information processing device according to the embodiment.
  • FIG. 4 is a flow chart showing an example of details of step S13 shown in FIG.
  • FIG. 5 is a diagram showing for each user whether or not the operation of the target user is reflected when the determination in step S25 shown in FIG. 4 is performed.
  • FIG. 6 is a diagram showing for each user whether or not the operation of the target user is reflected when the determination in step S27 shown in FIG. 4 is performed.
  • FIG. 7 is a diagram showing for each user whether or not the operation of the target user is reflected when the determination in step S28 shown in FIG. 4 is performed.
  • FIG. 8 is a diagram for explaining schedule information according to the embodiment.
  • a work support method is a work support method for supporting work on one or more objects by a plurality of users, including a target user, in a virtual space in which one or more objects are arranged, At least one of voice information based on utterances of one or more users out of the plurality of users, input information based on input from the one or more users out of the plurality of users, and schedule information based on schedules related to the work acquire first information including one, acquire second information indicating an operation of the target user on the one or more objects, and perform the operation by the target user on the plurality of users based on the first information It is determined whether or not to reflect the operation by the target user on the other user, and based on the result of determination on whether or not the operation by the target user is to be reflected on the other user and the second information, the operation of the other user An image to be viewed by the user in each case is generated, and the generated image is output to the other user's terminal.
  • the target user's operation on one or more objects is to be reflected in another user's video.
  • the target user's operation is not uniformly reflected in the images of other users.
  • the said determination can be performed according to a target user because 1st information contains any of voice information, input information, and schedule information. Therefore, an operation performed by a target user (a certain user) on an object in the virtual space can be appropriately reflected on other users.
  • the first information may include at least the voice information, analyze the utterance content of the one or more users based on the voice information, and perform the determination based on the analysis result of the utterance content. good.
  • a group work mode in which the plurality of users work together and an individual work mode in which the plurality of users work individually are selected for each time interval. mode determines that the operation by the target user in the time interval determined to be the collaborative work mode is reflected in the other user, and determines that the operation in the time interval determined to be the individual work mode is performed. , it may be determined that the operation by the target user is not reflected in the other user.
  • the joint work mode it is further determined whether or not the target user gives a presentation, and if the target user gives the presentation, the operation by the target user is changed to the other mode. If it is determined to be reflected to the user and the target user does not give the presentation, it may be determined that the operation by the target user is not to be reflected to the other user.
  • the target user determines whether or not the operation of the target user is to be reflected in the video of another user based on whether the target user is the presenter. Therefore, the operation performed by the target user on the object in the virtual space can be appropriately reflected on other users depending on whether the target user is the presenter.
  • the first information may include at least the input information
  • the input information may include information indicating whether or not the target user is the user who performs the presentation.
  • the operation by the target user when it is determined that the operation by the target user is to be reflected in the other user, the operation by the target user is reflected in the video of the other user, and the target user When it is determined not to reflect the operation by the target user on the other user, the operation by the target user may not be reflected on the image of the other user.
  • the target user's operation can be shared with other users.
  • the operation by the target user when it is determined that the operation by the target user is reflected on the other users, the operation by the target user is performed by one or more specific users among the other users. and may not be reflected in the video of the specific one or more users among the other users.
  • the operation of the target user can be reflected in the video of only one or more specific users, not all of the other users. Therefore, the operation performed by the target user on the object in the virtual space can be reflected only to the more suitable user among the other users.
  • the amount of communication between the user's terminal and the information processing device can be reduced compared to the case where the operation is reflected in the images of all users included in other users.
  • the specific one or more users may be predetermined for each of the plurality of users.
  • the operation of the target user can be reflected in the video of the user determined in advance. Therefore, the operation performed by the target user on the object in the virtual space can be reflected only to more suitable users.
  • the one or more specific users may be determined by input from the target user during a period in which it is determined that the operation by the target user is reflected on the other users.
  • the operation of the target user in the video of the user selected by the target user. That is, the operation of the target user can be reflected in one or more specific user's images based on the target user's intention. Therefore, the operation performed by the target user on the object in the virtual space can be reflected only to more suitable users.
  • the one or more specific users may be determined based on at least one of information indicating the position of the other user in the virtual space and information indicating the attributes of the other user. good.
  • the first information may include at least the schedule information
  • the schedule information may include information indicating the time period of the collaborative work mode and the time period of the individual work mode.
  • the current work mode can be easily determined simply by acquiring the schedule information.
  • the operation on the one or more objects may include at least one of movement, rotation, enlargement, and reduction of the one or more objects.
  • At least one operation of movement, rotation, enlargement, and reduction performed by the target user on one or more objects in the virtual space can be reflected in the images of other users.
  • a work support device is a work support device that supports work on one or more objects by a plurality of users, including a target user, in a virtual space in which one or more objects are arranged, , voice information based on the utterances of one or more users among the plurality of users, input information indicating inputs from the one or more users among the plurality of users, and schedule information indicating schedules related to the work.
  • a first acquisition unit that acquires first information including at least one; a second acquisition unit that acquires second information indicating an operation of the one or more objects by the target user; and based on the first information,
  • a determination unit that determines whether or not to reflect the operation of the target user on other users among the plurality of users, and a determination result of whether or not to reflect the operation by the target user on the other user, and a generation unit that generates an image viewed by each of the other users based on the second information, and an output unit that outputs the generated image to a terminal of the other user.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Therefore, for example, the scales and the like do not necessarily match in each drawing. Moreover, in each figure, substantially the same configurations are denoted by the same reference numerals, and overlapping descriptions are omitted or simplified.
  • FIG. 1 A work support system according to the present embodiment will be described below with reference to FIGS. 1 to 8.
  • FIG. 1 A work support system according to the present embodiment will be described below with reference to FIGS. 1 to 8.
  • FIG. 1 is a diagram showing a schematic configuration of a work support system 1 according to this embodiment.
  • the work support system 1 includes a head-mounted display 10 containing an information processing device 20 .
  • FIG. 1 shows only the head-mounted display 10 worn by the user U1, the information processing device 20 is also incorporated in the head-mounted displays 10 worn by the users U2 to U4. there is
  • FIG. 1 shows an example in which four users (users U1 to U4) enter (exist) in the virtual space S.
  • the head-mounted display 10 and the like worn by the user U1 will be described below, the other users U2 to U4 may also wear similar head-mounted displays 10 and the like.
  • the head mounted display 10 is, for example, a glasses-type head mounted display, incorporates an information processing device 20, and displays an image P acquired from the information processing device 20 to the user U1.
  • the head-mounted display 10 displays avatars representing the users U2 to U4 in the virtual space S and an image P showing an object O to the user U1.
  • Object O is a virtual object existing in virtual space S.
  • the object O is an automobile
  • the work support system 1 is used, for example, in a design review meeting for the automobile.
  • the object O is not limited to an automobile, and may be any object in the virtual space S.
  • the application of the work support system 1 is not particularly limited, and it may be used for any application other than the design review meeting.
  • the head mounted display 10 does not depend on a server (for example, a cloud server) or an external processing device such as an image processing device. Alternatively, it may be implemented as a device that is connected to an external processing device via a network, executes an application, and transmits and receives data.
  • a server for example, a cloud server
  • an external processing device such as an image processing device.
  • it may be implemented as a device that is connected to an external processing device via a network, executes an application, and transmits and receives data.
  • the head mounted display 10 may be of a transmissive type or of a non-transmissive type.
  • the head mounted display 10 is an example of a terminal.
  • each of the plurality of users U1 to U4 can operate the object O in the virtual space S.
  • An operation method for the user U1 or the like to operate the object O is not particularly limited.
  • the user U1 may have a controller (not shown) in his/her hand and operate the object O by operating the controller, such as moving the controller.
  • the user U1 or the like may operate the object O by voice.
  • the work support system 1 has a sound collector (for example, a microphone) and the like.
  • the user U1 or the like may operate the object O using a gesture or the like.
  • the work support system 1 has a camera and the like.
  • a controller, a sound collector, a camera, and the like are communicably connected to the information processing device 20 .
  • the sound collector and camera may be built into the head mounted display 10 .
  • the number of objects O existing in the virtual space S is not particularly limited, and may be one or more.
  • the information processing device 20 is a device for assisting a plurality of users, including the target user, in working on objects in the virtual space S in which the object O is arranged.
  • the information processing device 20 performs processing for generating an image P to be displayed on the head mounted display 10, for example.
  • the information processing apparatus 20 acquires an operation on the object O by the user U1, and if a predetermined condition is satisfied, the information processing apparatus 20 generates an image P according to the operation and outputs it to the other users U2 to U4.
  • the information processing device 20 is an example of a work support device.
  • the target user may be, for example, the user who has operated the object O among the users U1 and the like. Below, the case where the target user is the user U1 will be described.
  • the operation performed by the user U1 on the object O is reflected on other users (for example, at least one of the users U2 to U4). There are cases where it should be reflected and cases where it should not be reflected.
  • the information processing apparatus 20 performs processing for appropriately reflecting an operation on the object O performed by the user U1 on other users.
  • the operation is an operation to change the appearance of the object O, and in this embodiment includes, for example, an operation for at least one of movement, rotation, enlargement, and reduction of the object O within the virtual space S. good too.
  • the operation may include an operation of changing the design of the object O, for example.
  • the operation may be an operation for changing at least one of the color, shape, and texture of the object O, for example.
  • the operation may be an operation for deleting or hiding the object O from the virtual space S, or an operation for making another object O appear in the virtual space S, for example.
  • reflecting is a process in which a change in appearance similar to the change in appearance of the object O due to the target user's operation is applied to the object O viewed by other users.
  • to reflect means to make the change in appearance the same between the object O after the target user's operation, that is, the object O viewed by the target user and the object O viewed by another user.
  • Reflecting is processing for sharing with other users changes in the appearance of the object O before and after the target user's operation. For example, when the target user performs an operation for doubling the size of the object O, reflecting this includes doubling the size of the object O viewed by other users. .
  • reflecting does not include matching the viewpoint (camera position) of another user with the viewpoint (camera position) of the target user.
  • reflecting the enlargement operation does not include making the other user's object O the same as the image seen from the target user's camera position (for example, switching to the image).
  • reflecting does not include making changes similar to those of the target user's viewpoint to other users' viewpoints. For example, when the target user moves the viewpoint by 90 degrees as viewed from above (for example, when the object O is viewed from the front, but the viewpoint is moved so as to be viewed from the side), reflecting means that other users does not include moving the viewpoint from which is looking at the object O by 90 degrees as viewed from above. Even if the target user changes the viewpoint from which the object O is viewed, the viewpoints from which other users view the object O do not change.
  • reflecting means sharing only the operation of the object O among the target user's operation of the object O (for example, enlargement, etc.) and the operation of the avatar (for example, movement of the viewpoint, etc.) with other users. This process is for
  • FIG. 2 is a block diagram showing the functional configuration of the information processing device 20 according to this embodiment.
  • the information processing device 20 has a first acquisition section 21 , a second acquisition section 22 , a determination section 23 , a generation section 24 and an output section 25 .
  • the information processing device 20 is a computer including a processor (microprocessor), user interface, communication interface, memory, and the like.
  • the user interface includes, for example, input/output devices such as displays, keyboards, and touch panels.
  • the memory is ROM, RAM, etc., and can store a control program (computer program) executed by the processor.
  • the processor operates according to the control program to implement the first acquisition unit 21, the second acquisition unit 22, the determination unit 23, the generation unit 24, and the output unit 25.
  • FIG. Note that the information processing device 20 may have one memory, or may have a plurality of memories.
  • the first acquisition unit 21 includes at least one of audio information based on the utterance of the user U1 or the like, input information based on input from the user U1 or the like, and schedule information indicating a schedule indicating a schedule regarding work on the object O. Get the first information.
  • the first acquisition unit 21 acquires, for example, voice information based on utterances of one or more users such as user U1.
  • the first acquisition unit 21 includes, for example, a sound collector, and can directly acquire voice information based on the utterances of the user U1 and the like when the user U1 and the like are in the same room and within a range where the voice can reach.
  • the first acquisition unit 21 may acquire voice information representing an utterance from a sound collector corresponding to each of the user U1 and the like.
  • the first acquisition unit 21 acquires input information based on inputs from one or more users such as the user U1, for example.
  • the first acquisition unit 21 includes an acquisition device (for example, a communication circuit) that acquires input information received from the user U1 or the like by an input device such as a mouse, a touch panel, or a keyboard. etc., the input information can be obtained from the input device corresponding to each of the users U1, etc.
  • an acquisition device for example, a communication circuit
  • the input information includes information indicating whether or not the user's operation on the object O is to be reflected in the image P of another user.
  • the input information may include, for example, information selected by the target user as to whether or not the operation of the target user should be reflected in the video P of another user.
  • the input information may also include information indicating the current presenter.
  • Information indicating the current presenter is an example of information indicating whether the target user is the presenter.
  • the input information may also include information indicating the current work mode (for example, individual work mode or joint work mode, which will be described later).
  • the first acquisition unit 21 may include, for example, a communication circuit and be capable of communicating with at least one of the sound collecting device and the input device.
  • the second acquisition unit 22 acquires second information indicating an operation on the object O by the user U1 or the like.
  • the second acquisition unit 22 acquires second information from a controller, sound collector, camera, or the like corresponding to each user U1 or the like.
  • the second acquisition unit 22 includes, for example, a communication circuit, and can communicate with at least one of a controller, a sound collector, and a camera. Also, the second acquisition unit 22 incorporates a controller, a sound collector, a camera, or the like, and may directly acquire the second information.
  • the determination unit 23 determines whether the operation of the target user (eg, user U1) among the users U1 and the like on the object O is performed by other users (eg, users U2 to U4). at least one person) is reflected in the object O in the image P.
  • the determination unit 23 may perform the determination periodically, or may perform the determination each time an operation on the object O by the target user is detected. It should be noted that reflecting the operation of the target user on the object O on the object O in the image P of another user is also described as simply reflecting it on the other user or reflecting it on the image P of the other user.
  • the generation unit 24 generates an image P visually recognized by the user U1 or the like based on the determination result of the determination unit 23 and the second information. For example, the generation unit 24 generates a video P corresponding to each user U1 or the like. For example, when generating an image P to be viewed by the user U2, the generating unit 24 generates an image P in which the avatars of the users U1, U3, and U4 are displayed and the object O seen from the viewpoint of the user U2 in FIG. Generate. In this way, each of the users U1 and the like, for example, visually recognizes the image P viewing the object O from a viewpoint corresponding to the position of their own avatar.
  • the generation unit 24 may generate the image P visually recognized by the user U1 or the like using the image including the object O stored in the head mounted display 10 in advance.
  • the generation unit 24 reflects the target user's operation on the other user's video P. However, if the determination unit 23 determines not to reflect the operation of the target user on other users, the operation of the target user is not reflected on the image P of the other user. For example, when the determining unit 23 determines that the target user's operation on the object O is to be reflected on another user, the generating unit 24 generates the image P reflecting the target user's operation as the other user's image P. Generate. Further, for example, when the determination unit 23 determines that the operation of the target user is not reflected on other users, the generation unit 24 generates the image P in which the operation of the target user is not reflected as the image P of the other user. to generate
  • the output unit 25 outputs the image P generated by the generation unit 24 to the head mounted display 10 of the user U1 or the like.
  • the output unit 25 includes, for example, a communication circuit, and can communicate with the head mounted display 10 .
  • FIG. 3 is a flow chart showing the operation of the information processing device 20 according to this embodiment. Note that the flowchart shown in FIG. 3 shows the operation when the user U1 or the like enters the virtual space S. As shown in FIG. Further, the operation shown in FIG. 3 is performed, for example, by each information processing device 20 included in the head mounted display 10 of the user U1 or the like. Each of the information processing devices 20 of the head-mounted display 10 of the user U1 or the like may perform the operation shown in FIG. 3 independently of each other, or may cooperate with each other to perform the operation shown in FIG.
  • the first acquisition unit 21 acquires at least one of voice information of the user U1, etc., input information from the user U1, etc., and schedule information (S11).
  • the first acquisition unit 21 acquires voice information based on the utterance of the user U1 or the like entering the virtual space S, for example.
  • the voice information may include speech of at least one user such as user U1.
  • the first acquisition unit 21 acquires input information, for example.
  • the input information may include input from at least one user such as user U1.
  • the first acquisition unit 21 also acquires schedule information from, for example, a management device (not shown) that manages the schedule of a design review meeting using the virtual space S or from the user U1 or the like.
  • the schedule information is, for example, information in which a time zone (time period) and information indicating whether or not the target user's operation on the object O is to be reflected in other users are associated with each other.
  • the schedule information may be, for example, information shown in FIG. 8, which will be described later. Note that the schedule information is stored in a storage unit (not shown) included in the head mounted display 10, and the first acquisition unit 21 may read the schedule information from the storage unit.
  • the first acquisition unit 21 outputs the acquired first information to the determination unit 23 .
  • the second acquisition unit 22 acquires second information indicating operations on one or more objects O (S12).
  • the second acquisition unit 22 acquires second information for each user U1 or the like.
  • the second acquisition unit 22 outputs the acquired second information to the generation unit 24 .
  • the example in which the information which shows operation with respect to one or more objects O of a target user is contained in 2nd information is demonstrated.
  • the determination unit 23 determines whether the target user's operation on the object O in the video P viewed by the target user is reflected in the object O in the video P viewed by another user. It is determined whether or not (S13). Although the details of the determination method will be described later, in step S13, whether or not to reflect to other users, and if reflected to other users, reflect to all of the other users or only some users. A determination is made as to whether or not to reflect.
  • the generation unit 24 when the determination unit 23 determines that the operation is to be reflected on the object O viewed by another user (Yes in S13), the generation unit 24 generates image data (video P) reflecting the operation on one or more objects O. is generated (S14).
  • the generating unit 24 generates, for example, image data for each of the other users or for some of the other users by reflecting the operation on the object O of the target user.
  • the generation unit 24 when the target user is the user U1, the other users are the users U2 to U4, and the operation of the user U1 is to rotate the object O by a predetermined angle, the generation unit 24 generates images of the users U2 to U4. The object O in P is rotated by the predetermined angle. Further, the generation unit 24 generates image data corresponding to each of the users U2 to U4. The generation unit 24 outputs the generated image data to the output unit 25 .
  • the output unit 25 outputs the image data (video P) generated by the generation unit 24 to the head mounted displays 10 of each of the other users (eg, users U2 to U4) (S15). This allows the target user and other users to share changes in how the object O looks.
  • the generation unit 24 performs the operation of the target user on the one or more objects O as a video image of the other user. Not reflected in P. It can also be said that the case of No in step S13 is a state in which the target user's operation on one or more objects O is reflected only in the image P viewed by the target user.
  • the operation shown in FIG. 3 is, for example, repeatedly performed at predetermined time intervals.
  • FIG. 4 is a flow chart showing an example of details of step S13 shown in FIG.
  • Step S13 is a process performed in a state in which the user U1 or the like is in the virtual space S, for example, in a state in which the members who hold the meeting in the virtual space S are present.
  • the determination unit 23 first determines whether or not the current mode is the individual work mode based on the first information (S21).
  • the individual work mode is a mode in which the user U1 or the like is in the virtual space S and each user individually works.
  • the determination unit 23 determines that the current time is It may be determined that the personal work mode is set when it is time to operate in the personal work mode.
  • the determination unit 23 analyzes the utterance content of the user U1 or the like based on the voice information, and makes the determination in step S21 based on the analysis result of the utterance content.
  • you can go Analysis of speech content may be, for example, detection of a predetermined keyword from voice information.
  • the keyword is a word for specifying whether the current mode is the individual work mode or the group work mode. For example, when the determination unit 23 detects keywords such as “work by oneself”, “consider by oneself”, “do not reflect”, and “break”, it determines that the individual work mode is set.
  • the determination unit 23 may determine that the current work mode is the personal work mode, for example, when an input indicating that the current work mode is the personal work mode is received from any user.
  • the determination unit 23 determines not to reflect each user's operation on the object O viewed by other users (S22). This corresponds to determining No in step S13. Also, if Yes in step S21, it can be said that the publicity of the operation of each user on the object O is low (for example, lower than a predetermined reference value). Low publicity may mean, for example, no publicity.
  • the information processing device 20 may continue to acquire the first information of the user U1 and the like even after the determination in step S22 is made.
  • the determination unit 23 determines whether it is in the joint work mode (S23).
  • the joint work mode is a mode in which the users U1 and the like enter the virtual space S and the users U1 and the like work on one or more objects O jointly.
  • the determination unit 23 may determine that the joint work mode is set when the current time is within the time zone in which the joint work mode is operated.
  • the determination unit 23 analyzes the content of the utterance of the user U1 or the like based on the voice information, and performs determination in step S23 based on the analysis result of the utterance content.
  • Analysis of speech content may be, for example, detection of a predetermined keyword from voice information.
  • the keyword is a word for specifying whether the current mode is the collaborative work mode. For example, when the determination unit 23 detects keywords such as "start of meeting”, “reflect", and "end of break", it determines that the mode is the joint work mode.
  • the determination unit 23 may determine that the current work mode is the joint work mode, for example, when an input indicating that the current work mode is the joint work mode is received from any user.
  • step S23 it can be said that the publicity of each user's operation on the object O is high (for example, it is equal to or greater than a predetermined reference value). High publicity may mean, for example, that there is publicity. It can be said that steps S21 and S23 determine whether or not the operation is public.
  • the determination unit 23 further determines whether or not the mode is the presentation mode (S24).
  • the presentation mode is one mode included in the collaborative work mode, and is a mode in which one or more users give presentations to other users during the collaborative work mode.
  • the determination unit 23 determines that the presentation mode is on when the current time is the time slot for operation in the presentation mode. good too.
  • the schedule information may include information for specifying the user (presenter) who will give the presentation.
  • the determination unit 23 analyzes the content of the utterance of the user U1 or the like based on the voice information, and performs determination in step S24 based on the analysis result of the utterance content.
  • Analysis of speech content may be, for example, detection of a predetermined keyword from voice information.
  • a keyword is a word for specifying whether the current mode is the presentation mode. For example, when detecting words such as "Mr. XX will explain" and "I will explain", the determination unit 23 determines that the mode is the presentation mode.
  • the determining unit 23 may determine that the current mode is the presentation mode, for example, when an input indicating the current mode is received from any user.
  • the determination unit 23 determines that only the operation of the user (presenter) who is giving a presentation is reflected in the object O viewed by other users (for example, all other users). (S25).
  • the determination unit 23 determines whether a specific user is registered (S26).
  • a specific user is a user who reflects the operation of the target user among other users.
  • the specific user may be registered in advance for each user U1 or the like and stored in a memory (not shown) of the information processing apparatus 20, or the user (for example, the target user).
  • the determination unit 23 determines that the operation of the user (target user) is reflected in the object O viewed by the specific user corresponding to the user (S27). If Yes in step S26, the target user's operation on the object O is reflected in the video P of only some of the users other than the target user. Moreover, when there is no registration of a specific user (No in S26), the determination unit 23 determines to reflect the operation of each user on the object O viewed by other users (S28). If No in step S26, the target user's operation on the object O is uniformly reflected in all images P of users other than the target user.
  • steps S25, S27, and S28 correspond to determination of Yes in step S13.
  • the determination unit 23 further determines whether or not the target user will give a presentation when the joint work mode is determined. If it is determined that the operation on the object O is to be reflected on other users, and if the target user does not give a presentation, it is determined that the operation on one or more objects O by the target user is not to be reflected on the other users.
  • steps S21, S23, and S24 may be performed for each time interval based on the first information, for example.
  • the time period may be a time zone included in schedule information or the like, or may be a preset time period (for example, 5 minutes, 10 minutes, etc.).
  • the determination unit 23 determines whether the mode is the collaborative work mode or the individual work mode, and the target user's operation on one or more objects O in the time interval determined to be the collaborative work mode is not performed. It is determined that the operation of the target user on one or more objects O in the time period determined to be in the individual work mode is not reflected to other users.
  • steps S21 and S23 may be performed by one determination process.
  • three modes of individual work mode, collaborative work mode, and presentation mode are determined, but the number of modes is not limited to this, and the number of modes may be two or four. or more. If the number of modes is two, the two modes may be two of a personal work mode, a collaborative work mode and a presentation mode.
  • FIG. 5 is a diagram showing for each user whether or not the operation of the target user is reflected when the determination in step S25 shown in FIG. 4 is performed.
  • 5 to 7 show the case where six users, ie, the target user and the first to fifth users, enter the virtual space S.
  • the first to fifth users are examples of other users.
  • the target user when the target user is a presenter, the target user's operation on one or more objects O is reflected in the video P of each of the first to fifth users, and the target user is the presenter. Otherwise, the operation of the target user on one or more objects O is not reflected (not reflected) in each of the images P of the first to fifth users. In this way, only the presenter's operations are reflected in other users, so that the other users can visually recognize the video P according to the presenter's explanation. In addition, since the operation of a person who is not the presenter is not reflected in other users, it is possible to suppress sharing of the video P that does not match the presenter's explanation with other users. Note that the number of presenters is not limited to one, and may be two or more.
  • FIG. 6 is a diagram showing for each user whether or not the operation of the target user is reflected when the determination in step S27 shown in FIG. 4 is made.
  • FIG. 6 shows an example in which the first user and the second user are specific users, and the third to fifth users are not specific users.
  • the “user operation reflecting the operation” shown in FIGS. 6 and 7 means the user operation determined as No in step S24. 6 and 7 indicates a user operation that is determined to be Yes in step S21.
  • an operation of a user whose operation is not reflected that is, when the target user is not a user whose operation is reflected, one or more objects of the target user are displayed in the images P of each of the first to fifth users. Operations on O are not reflected (not reflected).
  • step S ⁇ b>14 the generation unit 24 generates image data in which the target user's operation on one or more objects O is reflected only on a specific user among the other users. Note that a particular user does not include all other users.
  • a first user and a second user are examples of one or more specific users.
  • the specific user may be determined in advance for each user U1, etc., and stored in the memory of the information processing device 20.
  • the specific user may be determined by input from the target user during a period in which it is determined that the target user's operations will be reflected on other users.
  • the specific user may be obtained and determined by input from the target user during the collaborative work mode.
  • the specific user may be automatically determined based on at least one of information indicating the position of the other user in the virtual space S and information indicating the attribute of the other user.
  • Information indicating the position of another user in the virtual space S indicates, for example, the relative positional relationship between the target user or a predetermined object in the virtual space S, such as a table, and the other user in the virtual space S. May contain information.
  • information indicating the position of another user in the virtual space S may include information indicating whether the user is within a predetermined distance from the target user or a predetermined object.
  • the determination unit 23 may determine the target user or another user within a predetermined distance from a predetermined object as the specific user.
  • the information indicating attributes of other users includes, for example, information indicating at least one of the user's department, title, gender, age, role in a meeting, and the like. For example, based on a list of user attributes reflecting the operation of the target user, the determination unit 23 may determine another user who matches the list as a specific user corresponding to the target user. Note that information about user attributes may be acquired from each user when entering the virtual space S, for example.
  • FIG. 7 is a diagram showing for each user whether or not the operation of the target user is reflected when the determination in step S28 shown in FIG. 4 is performed.
  • the target user when the target user is a user whose operation is reflected, the target user's operation on one or more objects O is reflected in the images P of each of the first to fifth users. .
  • the target user can share the video P with each of the users in the virtual space S because the target user's operation on the one or more objects O is reflected in all of the other users.
  • FIG. 8 is a diagram for explaining schedule information according to the present embodiment.
  • the schedule information is, for example, information in which the time and each mode are associated. It can also be said that the schedule information includes information indicating the time period for the collaborative work mode and the time period for the individual work mode. In addition, the schedule information includes information on the presentation mode time zone and the presenter in the joint work mode time zone. For example, in the joint work mode from 10:00, a presentation mode in which Mr. C is the presenter is performed. Mr. C is an example of a target user.
  • the operation of the target user is reflected in other users according to the determination in step S27 or S28 shown in FIG.
  • the determination of S25 is made, and the operation only by Mr. C is reflected in other users. That is, when the work mode is switched from the joint work mode to the presentation mode in the joint work mode, the user (for example, the target user) who can reflect the operation on one or more objects O to other users is switched.
  • the communication method between the head mounted display 10 and the information processing device 20 in each of the above embodiments is not particularly limited.
  • the head-mounted display 10 and the information processing device 20 communicate by wireless communication, for example, but wired communication may be used.
  • the communication standard used for wireless communication or wired communication is not particularly limited, and any communication standard may be used.
  • the object O may be a vehicle other than an automobile such as a railway, or may be a display device, a lighting device, a home appliance such as a smartphone, or the like. It may be a product, an aircraft such as a drone, clothing, furniture, a whiteboard, a sticky note, or food.
  • the operation on the object O may be an operation for realizing the function of the object O.
  • FIG. For example, when the object O is a display device, the operation for the object O may be an operation for displaying the image P on the display device. Further, for example, when the object O is a sticky note, the operation on the object O may be an operation of writing characters on the sticky note.
  • the operation on the object O may be an operation of changing the appearance of at least part of the virtual space S.
  • the determination unit 23 may perform determination in step S13 from the first information, for example. For example, when information indicating a specific user is included in the voice information, the determination unit 23 may perform the determination in step S27 directly based on the voice information.
  • the generation unit 24 in the above embodiment when the generation unit 24 in the above embodiment generates the image P reflecting the target user's operation on one or more objects O, the image P may be superimposed with information indicating the target user. In other words, the generation unit 24 may display whose operation among the users U1 and the like is reflected in the image P. FIG. Further, when the determination unit 23 determines the current work mode, the generation unit 24 in the above embodiment may superimpose information indicating the current work mode on the image P to be generated.
  • the information processing device 20 corresponding to the target user in the above embodiment may be configured to be able to communicate with the information processing devices 20 corresponding to other users.
  • the information processing device 20 corresponding to the target user may output the information acquired in at least one of steps S11 and S12 to the information processing devices 20 corresponding to other users.
  • the object O in the above embodiment is, for example, a three-dimensional object, it may be a two-dimensional object.
  • the target user in the above embodiment is one user out of a plurality of users
  • it may be two or more users out of a plurality of users.
  • the video P in the above embodiment is, for example, a moving image, but may be a still image.
  • the image P may be, for example, a color image or a black-and-white image.
  • each component may be configured with dedicated hardware or realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each step in the flowchart is executed is for illustrative purposes in order to specifically describe the present disclosure, and orders other than the above may be used. Also, some of the steps may be executed concurrently (in parallel) with other steps, or some of the steps may not be executed.
  • the division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be moved to other functional blocks.
  • single hardware or software may process functions of a plurality of functional blocks having similar functions in parallel or in a time division manner.
  • the information processing device 20 may be realized as a single device, or may be realized by a plurality of devices. When the information processing device 20 is realized by a plurality of devices, each component of the information processing device 20 may be distributed to the plurality of devices in any way. At least one mechanical configuration among the functional configurations of the information processing device 20 may be implemented by, for example, a cloud server or the like.
  • the information processing device 20 in this specification also includes a configuration in which the functions of the information processing device 20 are realized by the head mounted display 10 and the cloud server. In this case, each of the head mounted displays 10 of the user U1 and the like is communicably connected to the cloud server.
  • a component with a large amount of processing such as the generation unit 24 may be implemented by a cloud server or the like.
  • the communication method between the plurality of devices is not particularly limited, and may be wireless communication or wired communication. Also, wireless and wired communications may be combined between devices.
  • the information processing apparatus 20 when the information processing apparatus 20 according to the above embodiment has a configuration capable of acquiring the position information of the head-mounted display 10 (for example, has a GPS (Global Positioning System) sensor), the position of the user U1, etc. A video P may be generated accordingly.
  • GPS Global Positioning System
  • each component described in the above embodiments may be realized as software, or typically as an LSI, which is an integrated circuit. These may be made into one chip individually, or may be made into one chip so as to include part or all of them.
  • LSI is used here, it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections or settings of the circuit cells inside the LSI may be used.
  • an integrated circuit technology that replaces the LSI emerges due to advances in semiconductor technology or another technology derived from it, the components may naturally be integrated using that technology.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple processing units on a single chip. Specifically, it includes a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), etc.
  • a computer system comprising A computer program is stored in the ROM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the work support method shown in FIG. 3 or FIG.
  • the program may be a program to be executed by a computer.
  • one aspect of the present disclosure may be a computer-readable non-transitory recording medium on which such a program is recorded.
  • such a program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program in a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform the above processes.
  • the present disclosure is useful for server devices and the like that support work in a virtual space by multiple users.
  • work support system 10 head mounted display (terminal) 20 information processing device (work support device) 21 first acquisition unit 22 second acquisition unit 23 determination unit 24 generation unit 25 output unit O object P image S virtual space U1, U2, U3, U4 user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作業支援方法は、オブジェクト（Ｏ）が配置された仮想空間（Ｓ）における、対象ユーザを含む複数のユーザによるオブジェクト（Ｏ）に対する作業を支援する作業支援方法であり、音声情報、入力情報およびスケジュール情報の少なくとも１つを含む第１情報を取得し（Ｓ１１）、対象ユーザによるオブジェクト（Ｏ）に対する操作を示す第２情報を取得し（Ｓ１２）、第１情報に基づいて、対象ユーザによる操作を複数のユーザにおける他のユーザに反映するか否かを判定し（Ｓ１３）、対象ユーザによる操作を他のユーザに反映するか否かの判定の結果および第２情報に基づいて、他のユーザのそれぞれにおける当該ユーザが視認する映像（Ｐ）を生成し（Ｓ２４）、生成された映像（Ｐ）を他のユーザの端末に出力する（Ｓ２５）。

Description

作業支援方法、作業支援装置、および、プログラム
　本開示は、作業支援方法、作業支援装置、および、プログラムに関する。
　近年、仮想現実等の技術において、現実世界でユーザが体を動かした際に、その動きを仮想空間内のアバター等に反映させる技術が検討されている。このような技術によれば、ユーザはヘッドマウントディスプレイ等の端末を装着して仮想空間内の様子を閲覧しながら、現実世界で体を動かすことによって、仮想空間内に存在するオブジェクトを触ったりすることができ、高い臨場感で仮想空間の体験を楽しむことができる。例えば、特許文献１には、仮想空間内のオブジェクトに対する多様な入力（操作）を実現することが可能な装置が開示されている。
特許第６５３５６４１号公報
　ところで、上述した技術において、互いに離れた別の場所にいる複数のユーザが同じ仮想空間を共有し、共有された仮想空間内のオブジェクトへの作業を行うことがある。この場合、あるユーザがオブジェクトに対して行った操作を他のユーザの映像に一律に反映すると、当該他のユーザは意図せずにオブジェクトが変化するので違和感を感じることがある。
　そこで、本開示は、あるユーザが仮想空間内のオブジェクトに対して行った操作を他のユーザに適切に反映することができる作業支援方法、作業支援装置、および、プログラムを提供する。
　本開示の一態様に係る作業支援方法は、１以上のオブジェクトが配置された仮想空間における、対象ユーザを含む複数のユーザによる前記１以上のオブジェクトに対する作業を支援する作業支援方法であって、前記複数のユーザのうちの１以上のユーザの発話に基づく音声情報、前記複数のユーザのうちの前記１以上のユーザからの入力に基づく入力情報、および、前記作業に関する予定に基づくスケジュール情報の少なくとも１つを含む第１情報を取得し、前記対象ユーザの前記１以上のオブジェクトに対する操作を示す第２情報を取得し、前記第１情報に基づいて、前記対象ユーザによる前記操作を前記複数のユーザにおける他のユーザに反映するか否かを判定し、前記対象ユーザによる前記操作を前記他のユーザに反映するか否かの判定の結果、および、前記第２情報に基づいて、前記他のユーザのそれぞれにおける当該ユーザが視認する映像を生成し、生成された前記映像を前記他のユーザの端末に出力する。
　本開示の一態様に係る作業支援装置は、１以上のオブジェクトが配置された仮想空間における、対象ユーザを含む複数のユーザによる前記１以上のオブジェクトに対する作業を支援する作業支援装置であって、前記複数のユーザのうちの１以上のユーザの発話に基づく音声情報、前記複数のユーザのうちの前記１以上のユーザからの入力を示す入力情報、および、前記作業に関する予定を示すスケジュール情報の少なくとも一つを含む第１情報を取得する第１取得部と、前記対象ユーザによる前記１以上のオブジェクトに対する操作を示す第２情報を取得する第２取得部と、前記第１情報に基づいて、前記対象ユーザの前記操作を前記複数のユーザにおける他のユーザに反映するか否かを判定する判定部と、前記対象ユーザによる前記操作を前記他のユーザに反映するか否かの判定の結果、および、前記第２情報に基づいて、前記他のユーザのそれぞれにおける当該ユーザが視認する映像を生成する生成部と、生成された前記映像を前記他のユーザの端末に出力する出力部とを備える。
　本開示の一態様に係るプログラムは、上記の作業支援方法をコンピュータに実行させるためのプログラムである。
　本開示の一態様によれば、あるユーザが仮想空間内のオブジェクトに対して行った操作を他のユーザに適切に反映することができる作業支援方法等を実現することができる。
図１は、実施の形態に係る作業支援システムの概略構成を示す図である。 図２は、実施の形態に係る情報処理装置の機能構成を示すブロック図である。 図３は、実施の形態に係る情報処理装置の動作を示すフローチャートである。 図４は、図３に示すステップＳ１３の詳細の一例を示すフローチャートである。 図５は、図４に示すステップＳ２５の判定が行われた場合の、対象ユーザの操作が反映されるか否かをユーザごとに示す図である。 図６は、図４に示すステップＳ２７の判定が行われた場合の、対象ユーザの操作が反映されるか否かをユーザごとに示す図である。 図７は、図４に示すステップＳ２８の判定が行われた場合の、対象ユーザの操作が反映されるか否かをユーザごとに示す図である。 図８は、実施の形態に係るスケジュール情報を説明するための図である。
　本開示の一態様に係る作業支援方法は、１以上のオブジェクトが配置された仮想空間における、対象ユーザを含む複数のユーザによる前記１以上のオブジェクトに対する作業を支援する作業支援方法であって、前記複数のユーザのうちの１以上のユーザの発話に基づく音声情報、前記複数のユーザのうちの前記１以上のユーザからの入力に基づく入力情報、および、前記作業に関する予定に基づくスケジュール情報の少なくとも１つを含む第１情報を取得し、前記対象ユーザの前記１以上のオブジェクトに対する操作を示す第２情報を取得し、前記第１情報に基づいて、前記対象ユーザによる前記操作を前記複数のユーザにおける他のユーザに反映するか否かを判定し、前記対象ユーザによる前記操作を前記他のユーザに反映するか否かの判定の結果、および、前記第２情報に基づいて、前記他のユーザのそれぞれにおける当該ユーザが視認する映像を生成し、生成された前記映像を前記他のユーザの端末に出力である。
　これにより、第１情報に基づいて、対象ユーザの１以上のオブジェクトに対する操作を、他のユーザの映像に反映するか否かが判定される。つまり、対象ユーザの当該操作が他のユーザの映像に一律に反映されない。また、第１情報が音声情報、入力情報およびスケジュール情報のいずれかを含むことで、対象ユーザに応じて当該判定を行うことができる。よって、対象ユーザ（あるユーザ）が仮想空間内のオブジェクトに対して行った操作を他のユーザに適切に反映することができる。
　また、例えば、前記第１情報は、前記音声情報を少なくとも含み、前記音声情報に基づく前記１以上のユーザの発話内容を分析し、前記発話内容の分析結果に基づいて、前記判定を行ってもよい。
　これにより、仮想空間に入室しているユーザの発話内容に基づいて、対象ユーザの操作を他のユーザの映像に反映するか否かを判定することができる。例えば、発話内容により対象ユーザの操作を他のユーザに反映した方がよい場合に、当該操作を他のユーザの映像に反映することが可能となる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、発話内容に応じて他のユーザに適切に反映することができる。
　また、例えば、前記判定では、前記第１情報に基づいて、時区間ごとに、前記複数のユーザが共同で作業を行う共同作業モード、および、前記複数のユーザが個人ごとに作業を行う個人作業モードのいずれであるかを判定し、前記共同作業モードと判定された時区間における前記対象ユーザによる前記操作を、前記他のユーザに反映すると判定し、前記個人作業モードと判定された時区間における、前記対象ユーザによる前記操作を、前記他のユーザに反映しないと判定してもよい。
　これにより、現在の作業モードに応じて、対象ユーザの操作を他のユーザの映像に反映するか否かを判定することができる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、作業モードに応じて他のユーザに適切に反映することができる。
　また、例えば、前記共同作業モードと判定された場合、さらに、前記対象ユーザがプレゼンテーションを行うか否かを判定し、前記対象ユーザが前記プレゼンテーションを行う場合、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定し、前記対象ユーザが前記プレゼンテーションを行わない場合、前記対象ユーザによる前記操作を、前記他のユーザに反映しないと判定してもよい。
　これにより、対象ユーザがプレゼンターであるか否かに基づいて、対象ユーザの操作を他のユーザの映像に反映するか否かを判定することができる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、当該対象ユーザがプレゼンターであるか否かに応じて他のユーザに適切に反映することができる。
　また、例えば、前記第１情報は、前記入力情報を少なくとも含み、前記入力情報は、前記対象ユーザが前記プレゼンテーションを行うユーザであるか否かを示す情報を含んでもよい。
　これにより、入力情報を取得するだけで、対象ユーザがプレゼンターであるか否かを容易に判定することができる。
　また、例えば、前記映像の生成では、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定された場合、前記対象ユーザによる前記操作を前記他のユーザの前記映像に反映し、前記対象ユーザによる前記操作を前記他のユーザに反映しないと判定された場合、前記対象ユーザによる前記操作を前記他のユーザの前記映像に反映しなくてもよい。
　これにより、対象ユーザの操作を他のユーザに反映すると判定された場合のみ、対象ユーザの当該操作を他のユーザに共有することができる。
　また、例えば、前記映像の生成では、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定された場合、前記対象ユーザによる前記操作を、前記他のユーザのうち、特定の１以上のユーザの映像に反映し、前記他のユーザのうち前記特定の１以上のユーザの映像には反映しなくてもよい。
　これにより、他のユーザの全員ではなく特定の１以上のユーザのみの映像に、対象ユーザの操作を反映することができる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、他のユーザのうちより適切なユーザのみに反映することができる。また、他のユーザに含まれる全てのユーザの映像に操作を反映する場合に比べて、ユーザの端末と情報処理装置との間の通信量を削減することができる。
　また、例えば、前記特定の１以上のユーザは、前記複数のユーザのそれぞれにおいて、予め決定されてもよい。
　これにより、予め決定されているユーザの映像に、対象ユーザの操作を反映することができる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、より適切なユーザのみに反映することができる。
　また、例えば、前記特定の１以上のユーザは、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定されている期間に、前記対象ユーザからの入力により決定されてもよい。
　これにより、対象ユーザにより選択されたユーザの映像に、対象ユーザの操作を反映することができる。つまり、対象ユーザの意思に基づいた特定の１以上のユーザの映像に、対象ユーザの操作を反映することができる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、より適切なユーザのみに反映することができる。
　また、例えば、前記特定の１以上のユーザは、前記他のユーザの前記仮想空間内における位置を示す情報、および、前記他のユーザの属性を示す情報の少なくとも１つに基づいて決定されてもよい。
　これにより、仮想空間内における各ユーザの位置関係、および、他のユーザの属性の少なくとも１つに基づいて、対象ユーザの操作を反映するユーザを決定することができる。つまり、仮想空間内の状況に応じて、対象ユーザの操作を反映するユーザを決定することができる。よって、対象ユーザが仮想空間内のオブジェクトに対して行った操作を、より適切なユーザのみに反映することができる。
　また、例えば、前記第１情報は、前記スケジュール情報を少なくとも含み、前記スケジュール情報は、前記共同作業モードである時間帯と前記個人作業モードである時間帯とを示す情報を含んでもよい。
　これにより、スケジュール情報を取得するだけで、現在の作業モードを容易に判定することができる。
　また、例えば、前記１以上のオブジェクトに対する前記操作は、前記１以上のオブジェクトの移動、回転、拡大および縮小の少なくとも１つを含んでもよい。
　これにより、対象ユーザが仮想空間内の１以上のオブジェクトに対して行った移動、回転、拡大、および縮小の少なくとも１つ操作を、他のユーザの映像に反映することができる。
　また、本開示の一態様に係る作業支援装置は、１以上のオブジェクトが配置された仮想空間における、対象ユーザを含む複数のユーザによる前記１以上のオブジェクトに対する作業を支援する作業支援装置であって、前記複数のユーザのうちの１以上のユーザの発話に基づく音声情報、前記複数のユーザのうちの前記１以上のユーザからの入力を示す入力情報、および、前記作業に関する予定を示すスケジュール情報の少なくとも一つを含む第１情報を取得する第１取得部と、前記対象ユーザによる前記１以上のオブジェクトに対する操作を示す第２情報を取得する第２取得部と、前記第１情報に基づいて、前記対象ユーザの前記操作を前記複数のユーザにおける他のユーザに反映するか否かを判定する判定部と、前記対象ユーザによる前記操作を前記他のユーザに反映するか否かの判定の結果、および、前記第２情報に基づいて、前記他のユーザのそれぞれにおける当該ユーザが視認する映像を生成する生成部と、生成された前記映像を前記他のユーザの端末に出力する出力部とを備である。また、本開示の一態様に係るプログラムは、上記の作業支援方法をコンピュータに実行させるためのプログラムである。
　これらにより、上記の作業支援方法と同様の効果を奏する。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。例えば、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略または簡略化する。
　また、本明細書において、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（例えば、５％程度）の差異をも含むことを意味する表現である。
　（実施の形態）
　以下、本実施の形態に係る作業支援システムについて、図１～図８を参照しながら説明する。
　［１．作業支援システムの構成］
　まず、本実施の形態に係る作業支援システムの構成について、図１および図２を参照しながら説明する。図１は、本実施の形態に係る作業支援システム１の概略構成を示す図である。
　図１に示すように、作業支援システム１は、情報処理装置２０を内蔵するヘッドマウントディスプレイ１０を備える。なお、図１では、ユーザＵ１に装着されたヘッドマウントディスプレイ１０のみを図示しているが、情報処理装置２０は、さらにユーザＵ２～Ｕ４のそれぞれに装着されたヘッドマウントディスプレイ１０にも内蔵されている。
　また、図１では、仮想空間Ｓ内に４人のユーザ（ユーザＵ１～Ｕ４）が入室している（存在している）例について示している。また、以下では、ユーザＵ１が装着するヘッドマウントディスプレイ１０等について説明するが、他のユーザＵ２～Ｕ４も同様のヘッドマウントディスプレイ１０等を装着していてもよい。
　ヘッドマウントディスプレイ１０は、例えば、メガネ型のヘッドマウントディスプレイであり、情報処理装置２０を内蔵し、情報処理装置２０から取得した映像ＰをユーザＵ１に表示する。図１の例では、ヘッドマウントディスプレイ１０は、仮想空間Ｓ内にユーザＵ２～Ｕ４を示すアバター、および、オブジェクトＯが映る映像ＰをユーザＵ１に表示している。オブジェクトＯは、仮想空間Ｓ内に存在する仮想オブジェクトである。本実施の形態では、オブジェクトＯは、自動車であり、作業支援システム１は、例えば、当該自動車のデザイン検討会議に用いられている。なお、オブジェクトＯは、自動車に限定されず、仮想空間Ｓ内にあるいかなる物体であってもよい。また、作業支援システム１の用途は特に限定されず、デザイン検討会議以外のあらゆる用途に用いられてもよい。
　ヘッドマウントディスプレイ１０は、サーバ（例えば、クラウドサーバ）、画像処理装置等の外部処理装置に依存せずに、ヘッドマウントディスプレイ１０単体として、内蔵されたプログラムを実行する装置、いわゆるスタンドアロン型の装置として実現されてもよいし、外部処理装置とネットワークを介して接続され、アプリケーションを実行し、データを送受信する装置として実現されてもよい。
　ヘッドマウントディスプレイ１０は、透過タイプであってもよいし、非透過タイプであってもよい。ヘッドマウントディスプレイ１０は、端末の一例である。
　なお、複数のユーザＵ１～Ｕ４（以降において、ユーザＵ１等とも記載する）のそれぞれは、仮想空間Ｓ内のオブジェクトＯに対して操作可能である。ユーザＵ１等がオブジェクトＯを操作する操作方法は特に限定されない。例えば、ユーザＵ１は、手にコントローラ（図示しない）を有しており、当該コントローラの移動等の操作によりオブジェクトＯを操作してもよい。また、ユーザＵ１等は、音声によりオブジェクトＯを操作してもよい。この場合、作業支援システム１は、集音装置（例えば、マイク）等を有する。また、ユーザＵ１等は、ジェスチャ等によりオブジェクトＯを操作してもよい。この場合、作業支援システム１は、カメラ等を有する。コントローラ、集音装置およびカメラ等は、情報処理装置２０と通信可能に接続される。集音装置およびカメラは、ヘッドマウントディスプレイ１０に内蔵されていてもよい。
　なお、仮想空間Ｓ内に存在するオブジェクトＯの数は特に限定されず、１以上であればよい。
　情報処理装置２０は、オブジェクトＯが配置された仮想空間Ｓにおける、対象ユーザを含む複数のユーザのオブジェクトへの作業を支援するための装置である。情報処理装置２０は、例えば、ヘッドマウントディスプレイ１０に表示させる映像Ｐを生成するための処理を行う。情報処理装置２０は、例えば、ユーザＵ１のオブジェクトＯに対する操作を取得すると、所定の条件を満たす場合に、当該操作に応じた映像Ｐを生成し、他のユーザＵ２～Ｕ４に出力する。情報処理装置２０は、作業支援装置の一例である。なお、対象ユーザは、例えば、ユーザＵ１等のうちオブジェクトＯに対する操作を行ったユーザであってもよい。以下では、対象ユーザがユーザＵ１である場合について説明する。
　このような作業支援システム１において、ユーザＵ１はオブジェクトＯに対して操作を行う場合、ユーザＵ１が行ったオブジェクトＯに対する操作を、他のユーザ（例えば、ユーザＵ２～Ｕ４の少なくとも１人）に反映すべき場合と、反映すべきでない場合とがある。本実施の形態に係る情報処理装置２０は、ユーザＵ１が行ったオブジェクトＯに対する操作を、他のユーザに適切に反映するための処理を行う。
　なお、操作は、オブジェクトＯの見え方を変える操作であり、本実施の形態では、例えば、オブジェクトＯの仮想空間Ｓ内における移動、回転、拡大および縮小の少なくとも１つのための操作を含んでいてもよい。また、操作は、例えば、オブジェクトＯのデザインを変更する操作を含んでいてもよい。また、操作は、例えば、オブジェクトＯの色、形状、および、質感の少なくとも１つを変更するための操作であってもよい。また、操作は、例えば、オブジェクトＯを仮想空間Ｓ内から削除あるいは非表示にすること、または、他のオブジェクトＯを仮想空間Ｓに出現させるための操作であってもよい。
　なお、反映するとは、対象ユーザの操作によるオブジェクトＯの見え方の変化と同様の見え方の変化を、他のユーザが見ているオブジェクトＯに行う処理である。例えば、反映するとは、対象ユーザの操作後のオブジェクトＯ、つまり当該対象ユーザが見ているオブジェクトＯと、他のユーザが見ているオブジェクトＯとの見え方の変化を同じにすることである。反映するとは、対象ユーザの操作前後におけるオブジェクトＯの見え方の変化を他のユーザに共有するための処理である。例えば、対象ユーザによりオブジェクトＯの大きさを２倍に拡大するための操作がなされると、これを反映するとは、他のユーザが見ているオブジェクトＯの大きさも２倍に拡大することを含む。なお、反映するとは、他のユーザの視点（カメラ位置）を、対象ユーザの視点（カメラ位置）と一致させることは含まない。例えば、上記の拡大するための操作を反映するとは、他のユーザのオブジェクトＯを、対象ユーザのカメラ位置から見た映像と同じにする（例えば、当該映像に切り替える）ことまでは含まない。
　また、反映するとは、対象ユーザの視点の変化と同様の変化を、他のユーザの視点にも行うことは含まない。例えば、対象ユーザが視点を上方から見て９０度移動させた場合（例えば、オブジェクトＯを正面から見ていたが、側面から見るように視点を移動させた場合）、反映するとは、他のユーザがオブジェクトＯを見ている視点を、上方から見て９０度移動させることは含まない。対象ユーザがオブジェクトＯを見ている視点を変化させても、他のユーザがオブジェクトＯを見ている視点は、変化しない。
　このように、反映するとは、対象ユーザのオブジェクトＯに対する操作（例えば、拡大等）、および、アバターに対する操作（例えば、視点の移動等）のうち、オブジェクトＯに対する操作のみを他のユーザに共有するための処理である。
　続いて、情報処理装置２０の構成について、図２を参照しながら説明する。図２は、本実施の形態に係る情報処理装置２０の機能構成を示すブロック図である。
　図２に示すように、情報処理装置２０は、第１取得部２１と、第２取得部２２と、判定部２３と、生成部２４と、出力部２５とを有する。情報処理装置２０は、プロセッサ（マイクロプロセッサ）、ユーザインタフェース、通信インタフェースおよびメモリ等を含むコンピュータである。ユーザインタフェースは、例えば、ディスプレイ、キーボード、タッチパネル等の入出力装置を含む。メモリは、ＲＯＭ、ＲＡＭ等であり、プロセッサにより実行される制御プログラム（コンピュータプログラム）を記憶することができる。プロセッサが、制御プログラムに従って動作することにより、第１取得部２１、第２取得部２２、判定部２３、生成部２４および出力部２５が実現される。なお、情報処理装置２０は、１つのメモリを有していてもよく、複数のメモリを有していてもよい。
　第１取得部２１は、ユーザＵ１等の発話に基づく音声情報、ユーザＵ１等からの入力に基づく入力情報、および、オブジェクトＯへの作業に関する予定を示すスケジュールを示すスケジュール情報の少なくとも１つを含む第１情報を取得する。
　第１取得部２１は、例えば、ユーザＵ１等のうちの１以上のユーザの発話に基づく音声情報を取得する。第１取得部２１は、例えば、集音装置を含んで構成され、ユーザＵ１等が同じ部屋等の音声が届く範囲にいる場合、ユーザＵ１等それぞれの発話に基づく音声情報を直接取得可能である。また、第１取得部２１は、ユーザＵ１等それぞれに対応する集音装置から発話を示す音声情報を取得してもよい。
　また、第１取得部２１は、例えば、ユーザＵ１等のうちの１以上のユーザからの入力に基づく入力情報を取得する。第１取得部２１は、例えば、マウス、タッチパネル、キーボード等の入力装置がユーザＵ１等から受け付けた入力情報を取得する取得装置（例えば、通信回路）を含んで構成され、ユーザＵ１等が同じ部屋等にいる場合、ユーザＵ１等それぞれに対応する入力装置から入力情報を取得可能である。
　入力情報は、当該ユーザのオブジェクトＯに対する操作を、他のユーザの映像Ｐに反映するか否かを示す情報を含む。入力情報は、例えば、対象ユーザの操作を他のユーザの映像Ｐに反映するか否かを、当該対象ユーザが選択した情報を含んでいてもよい。また、入力情報は、現在のプレゼンターを示す情報を含んでいてもよい。現在のプレゼンターを示す情報は、対象ユーザがプレゼンターであるか否かを示す情報の一例である。また、入力情報は、現在の作業モード（例えば、後述する個人作業モードまたは共同作業モード）を示す情報を含んでいてもよい。
　また、第１取得部２１は、例えば、通信回路を含んで構成されており、集音装置および入力装置の少なくとも１つと通信可能であってもよい。
　第２取得部２２は、ユーザＵ１等のオブジェクトＯに対する操作を示す第２情報を取得する。第２取得部２２は、ユーザＵ１等それぞれに対応するコントローラ、集音装置またはカメラ等から第２情報を取得する。第２取得部２２は、例えば、通信回路を含んで構成されており、コントローラ、集音装置およびカメラの少なくとも１つと通信可能である。また、第２取得部２２は、コントローラ、集音装置またはカメラ等を内蔵しており、直接第２情報を取得してもよい。
　判定部２３は、第１取得部２１により取得された第１情報に基づいて、ユーザＵ１等のうち対象ユーザ（例えば、ユーザＵ１）のオブジェクトＯに対する操作を他のユーザ（例えば、ユーザＵ２～Ｕ４の少なくとも１人）の映像Ｐにおける当該オブジェクトＯに反映するか否かを判定する。判定部２３は、定期的に当該判定を行ってもよいし、当該対象ユーザのオブジェクトＯに対する操作を検出するたびに当該判定を行ってもよい。なお、対象ユーザのオブジェクトＯに対する操作を他のユーザの映像Ｐにおける当該オブジェクトＯに反映することを、単に他のユーザに反映する、または、他のユーザの映像Ｐに反映するとも記載する。
　生成部２４は、判定部２３の判定結果、および、第２情報に基づいて、ユーザＵ１等が視認する映像Ｐを生成する。生成部２４は、例えば、ユーザＵ１等ごとに当該ユーザに応じた映像Ｐを生成する。生成部２４は、例えば、ユーザＵ２が視認する映像Ｐを生成する場合、ユーザＵ１、Ｕ３およびＵ４のアバターが表示され、かつ、図１におけるユーザＵ２の視点から見たオブジェクトＯを示す映像Ｐを生成する。このように、ユーザＵ１等はそれぞれ、例えば、自身のアバターの位置に応じた視点からオブジェクトＯを見ている映像Ｐを視認する。
　生成部２４は、ヘッドマウントディスプレイ１０に予め記憶されているオブジェクトＯが含まれる映像を用いて、ユーザＵ１等が視認する映像Ｐを生成してもよい。
　また、詳細は後述するが、生成部２４は、判定部２３により対象ユーザのオブジェクトＯに対する操作を他のユーザに反映すると判定された場合、対象ユーザの当該操作を他のユーザの映像Ｐに反映し、判定部２３により対象ユーザの操作を他のユーザに反映しないと判定された場合、対象ユーザの当該操作を他のユーザの映像Ｐに反映しない。例えば、生成部２４は、判定部２３により対象ユーザのオブジェクトＯに対する操作を他のユーザに反映すると判定された場合、他のユーザの映像Ｐとして、対象ユーザの当該操作が反映された映像Ｐを生成する。また、例えば、生成部２４は、判定部２３により対象ユーザの操作を他のユーザに反映しないと判定された場合、他のユーザの映像Ｐとして、対象ユーザの当該操作が反映されていない映像Ｐを生成する。
　出力部２５は、生成部２４により生成された映像ＰをユーザＵ１等のヘッドマウントディスプレイ１０に出力する。出力部２５は、例えば、通信回路を含んで構成されており、ヘッドマウントディスプレイ１０と通信可能である。
　［２．作業支援システムの動作］
　続いて、上記のように構成される作業支援システム１の動作について、図３～図８を参照しながら説明する。図３は、本実施の形態に係る情報処理装置２０の動作を示すフローチャートである。なお、図３に示すフローチャートは、仮想空間Ｓ内にユーザＵ１等が入室している場合の動作を示す。また、図３に示す動作は、例えば、ユーザＵ１等のヘッドマウントディスプレイ１０が有する情報処理装置２０のそれぞれで行われる。ユーザＵ１等のヘッドマウントディスプレイ１０の情報処理装置２０それぞれが、互いに独立して図３に示す動作を行ってもよいし、連携して図３に示す動作を行ってもよい。
　図３に示すように、第１取得部２１は、ユーザＵ１等の音声情報、ユーザＵ１等からの入力情報、および、スケジュール情報の少なくとも１つを取得する（Ｓ１１）。第１取得部２１は、例えば、仮想空間Ｓ内に入室しているユーザＵ１等の発話に基づく音声情報を取得する。音声情報は、ユーザＵ１等のうちの少なくとも１人のユーザの発話を含んでいればよい。また、第１取得部２１は、例えば、入力情報を取得する。入力情報は、ユーザＵ１等のうちの少なくとも１人のユーザの入力を含んでいればよい。また、第１取得部２１は、例えば、仮想空間Ｓを用いたデザイン検討会議等のスケジュールを管理する管理装置（図示しない）またはユーザＵ１等からスケジュール情報を取得する。スケジュール情報は、例えば、時間帯（時区間）と、対象ユーザのオブジェクトＯに対する操作を他のユーザに反映するか否かを示す情報とが対応付けられた情報である。スケジュール情報は、例えば、後述する図８に示す情報であってもよい。なお、スケジュール情報は、ヘッドマウントディスプレイ１０が有する記憶部（図示しない）に記憶されており、第１取得部２１は、当該記憶部からスケジュール情報を読み出してもよい。
　第１取得部２１は、取得した第１情報を判定部２３に出力する。
　次に、第２取得部２２は、１以上のオブジェクトＯに対する操作を示す第２情報を取得する（Ｓ１２）。第２取得部２２は、ユーザＵ１等ごとに、第２情報を取得する。第２取得部２２は、取得した第２情報を生成部２４に出力する。なお、以下では、第２情報に対象ユーザの１以上のオブジェクトＯに対する操作を示す情報が含まれる例を説明する。
　次に、判定部２３は、第１情報に基づいて、対象ユーザによる当該対象ユーザが見ている映像ＰのオブジェクトＯに対する操作を、他のユーザが見ている映像ＰのオブジェクトＯに反映するか否かを判定する（Ｓ１３）。判定方法の詳細は、後述するが、ステップＳ１３では、他のユーザに反映するか否か、および、他のユーザに反映する場合、当該他のユーザの全てに反映するか一部のユーザのみに反映するかの判定が行われる。
　次に、生成部２４は、判定部２３により他のユーザが見ているオブジェクトＯに反映すると判定された場合（Ｓ１３でＹｅｓ）、１以上のオブジェクトＯに対する操作を反映した画像データ（映像Ｐ）を生成する（Ｓ１４）。生成部２４は、例えば、他のユーザのそれぞれ、または、他のユーザのうちの一部のユーザのための画像データを、対象ユーザのオブジェクトＯに対する操作を反映することで生成する。
　生成部２４は、例えば、対象ユーザがユーザＵ１であり、他のユーザがユーザＵ２～Ｕ４であり、ユーザＵ１の操作がオブジェクトＯを所定角度回転させることである場合、ユーザＵ２～Ｕ４それぞれの映像ＰにおけるオブジェクトＯを当該所定角度回転させる。また、生成部２４は、ユーザＵ２～Ｕ４ごとに当該ユーザに応じた画像データを生成する。生成部２４は、生成した画像データを出力部２５に出力する。
　次に、出力部２５は、生成部２４により生成された画像データ（映像Ｐ）を他のユーザ（例えば、ユーザＵ２～Ｕ４）それぞれのヘッドマウントディスプレイ１０に出力する（Ｓ１５）。これにより、対象ユーザと他のユーザとで、オブジェクトＯの見え方の変化を共有することができる。
　また、生成部２４は、判定部２３により他のユーザが見ているオブジェクトＯに反映しないと判定された場合（Ｓ１３でＮｏ）、対象ユーザにおける１以上のオブジェクトＯに対する操作を他のユーザの映像Ｐに反映しない。ステップＳ１３でＮｏである場合とは、対象ユーザの１以上のオブジェクトＯに対する操作が、当該対象ユーザが見ている映像Ｐのみに反映される状態であるとも言える。
　図３に示す動作は、例えば、所定時間間隔ごとに繰り返し実行される。
　続いて、ステップＳ１３の処理について、図４～図８を参照しながら説明する。図４は、図３に示すステップＳ１３の詳細の一例を示すフローチャートである。ステップＳ１３は、仮想空間ＳにユーザＵ１等が入室している状態、例えば、仮想空間Ｓに会議を行うメンバーが揃っている状態で行われる処理である。
　図４に示すように、まず、判定部２３は、第１情報に基づいて、現在が個人作業モードであるか否かを判定する（Ｓ２１）。個人作業モードとは、仮想空間ＳにユーザＵ１等が入室している状態で、各ユーザが個人ごとに作業を行うモードである。
　判定部２３は、例えば、個人作業モードで動作する時間帯、および、共同作業モードで動作する時間帯を含むスケジュール情報（後述する図８を参照）を第１情報が少なくとも含む場合、現在時刻が個人作業モードで動作する時間帯であるときに、個人作業モードであると判定してもよい。
　また、判定部２３は、例えば、少なくとも音声情報が第１情報に含まれる場合、当該音声情報に基づくユーザＵ１等の発話内容を分析し、発話内容の分析結果に基づいて、ステップＳ２１の判定を行ってもよい。発話内容の分析は、例えば、音声情報から所定のキーワードを検出することであってもよい。キーワードは、現在が個人作業モードであるか共同作業モードであるかを特定するためのワードである。判定部２３は、例えば、「各自で作業」、「各自で検討」、「反映しない」、「休憩」等のキーワードを検出した場合、個人作業モードであると判定する。
　また、判定部２３は、例えば、現在の作業モードが個人作業モードであることを示す入力をいずれかのユーザから取得した場合、個人作業モードであると判定してもよい。
　判定部２３は、個人作業モードである場合（Ｓ２１でＹｅｓ）、各ユーザの操作を他のユーザが見ているオブジェクトＯに反映しないと判定する（Ｓ２２）。これは、ステップＳ１３でＮｏと判定することに相当する。また、ステップＳ２１でＹｅｓである場合、各ユーザのオブジェクトＯに対する操作の公共性が低い（例えば、所定の基準値より低い）状態であるとも言える。公共性が低いとは、例えば、公共性がないことであってもよい。
　なお、ステップＳ２２の判定がなされた後においても、情報処理装置２０は、ユーザＵ１等の第１情報を継続して取得してもよい。
　また、判定部２３は、第１情報に基づいて、個人作業モードではない場合（Ｓ２１でＮｏ）、さらに、共同作業モードであるか否かを判定する（Ｓ２３）。共同作業モードとは、仮想空間ＳにユーザＵ１等が入室している状態で、ユーザＵ１等が１以上のオブジェクトＯに対して共同で作業を行うモードである。判定部２３は、例えば、スケジュール情報が第１情報に含まれる場合、現在時刻が共同作業モードで動作する時間帯であるときに、共同作業モードであると判定してもよい。
　また、判定部２３は、例えば、音声情報が第１情報に含まれる場合、当該音声情報に基づくユーザＵ１等の発話内容を分析し、発話内容の分析結果に基づいて、ステップＳ２３の判定を行ってもよい。発話内容の分析は、例えば、音声情報から所定のキーワードを検出することであってもよい。キーワードは、現在が共同作業モードであるか否かを特定するためのワードである。判定部２３は、例えば、「会議の開始」、「反映する」、「休憩の終了」等のキーワードを検出した場合、共同作業モードであると判定する。
　また、判定部２３は、例えば、現在の作業モードが共同作業モードであることを示す入力をいずれかのユーザから取得した場合、共同作業モードであると判定してもよい。
　判定部２３は、共同作業モードである場合（Ｓ２３でＹｅｓ）、ステップＳ２４に進み、共同作業モードではない場合（Ｓ２３でＮｏ）、処理を終了する。なお、ステップＳ２３でＹｅｓである場合、各ユーザのオブジェクトＯに対する操作の公共性が高い（例えば、所定の基準値以上である）状態であるとも言える。公共性が高いとは、例えば、公共性があることであってもよい。ステップＳ２１およびＳ２３は、操作の公共性があるか否かを判定しているとも言える。
　判定部２３は、共同作業モードである場合、さらにプレゼンモードであるか否かを判定する（Ｓ２４）。プレゼンモードは、共同作業モードに含まれる一のモードであり、共同作業モード中に、１以上のユーザが他のユーザに対してプレゼンテーションするモードである。
　判定部２３は、例えば、プレゼンモードで動作する時間帯を含むスケジュール情報が第１情報に含まれる場合、現在時刻がプレゼンモードで動作する時間帯であるときに、プレゼンモードであると判定してもよい。なお、この場合、スケジュール情報には、プレゼンを行うユーザ（プレゼンター）を特定するための情報が含まれていてもよい。
　また、判定部２３は、例えば、音声情報が第１情報に含まれる場合、当該音声情報に基づくユーザＵ１等の発話内容を分析し、発話内容の分析結果に基づいて、ステップＳ２４の判定を行ってもよい。発話内容の分析は、例えば、音声情報から所定のキーワードを検出することであってもよい。キーワードは、現在がプレゼンモードであるか否かを特定するためのワードである。判定部２３は、例えば、「○○さんが説明します」、「私が説明します」等のワードを検出した場合、プレゼンモードであると判定する。
　また、判定部２３は、例えば、プレゼンモードであることを示す入力をいずれかのユーザから取得した場合、プレゼンモードであると判定してもよい。
　判定部２３は、プレゼンモードである場合（Ｓ２４でＹｅｓ）、プレゼンテーションしているユーザ（プレゼンター）の操作のみを他のユーザ（例えば、他のユーザの全て）が見ているオブジェクトＯに反映すると判定する（Ｓ２５）。
　判定部２３は、プレゼンモードではない場合（Ｓ２４でＮｏ）、特定のユーザの登録があるか否かを判定する（Ｓ２６）。特定のユーザは、他のユーザのうち、対象ユーザの操作を反映するユーザである。特定のユーザは、例えば、ユーザＵ１等ごとに予め登録され情報処理装置２０が有するメモリ（図示しない）に記憶されていてもよいし、ステップＳ２４でＮｏと判定された時点でユーザ（例えば、対象ユーザ）から取得されてもよい。
　判定部２３は、特定のユーザの登録がある場合（Ｓ２６でＹｅｓ）、ユーザ（対象ユーザ）の操作を当該ユーザに対応する特定のユーザが見ているオブジェクトＯに反映すると判定する（Ｓ２７）。ステップＳ２６でＹｅｓである場合、対象ユーザのオブジェクトＯに対する操作は、当該対象ユーザ以外の他のユーザのうちの一部のユーザのみの映像Ｐに反映される。また、判定部２３は、特定のユーザの登録がない場合（Ｓ２６でＮｏ）、各ユーザの操作を他のユーザが見ているオブジェクトＯに反映すると判定する（Ｓ２８）。ステップＳ２６でＮｏである場合、対象ユーザのオブジェクトＯに対する操作は、当該対象ユーザ以外の他のユーザの全ての映像Ｐに一律に反映される。
　なお、ステップＳ２５、Ｓ２７およびＳ２８の判定は、ステップＳ１３でＹｅｓと判定することに相当する。
　上記のように、判定部２３は、共同作業モードと判定された場合、さらに、当該対象ユーザがプレゼンテーションを行うか否かを判定し、当該対象ユーザがプレゼンテーションを行う場合、対象ユーザの１以上のオブジェクトＯに対する操作を他のユーザに反映すると判定し、対象ユーザがプレゼンテーションを行わない場合、対象ユーザの１以上のオブジェクトＯに対する操作を他のユーザに反映しないと判定する。
　なお、ステップＳ２１、Ｓ２３およびＳ２４の判定は、例えば、第１情報に基づいて、時区間ごとに行われてもよい。時区間とは、スケジュール情報等に含まれる時間帯であってもよいし、予め設定された時区間（例えば、５分、１０分等）であってもよい。ステップＳ２１およびＳ２３において、判定部２３は、共同作業モードおよび個人作業モードのいずれであるかを判定し、共同作業モードと判定された時区間における、対象ユーザの１以上のオブジェクトＯに対する操作を他のユーザに反映すると判定し、個人作業モードと判定された時区間における、対象ユーザの１以上のオブジェクトＯに対する操作を他のユーザに反映しないと判定する。なお、ステップＳ２１およびＳ２３は、１つの判定処理により行われてもよい。
　なお、図４では、個人作業モード、共同作業モードおよびプレゼンモードの３つのモードを判定したが、モードの数はこれに限定されず、モードの数は２つであってもよいし、４つ以上であってもよい。モードの数が２つである場合、２つのモードは、個人作業モード、共同作業モードおよびプレゼンモードのうちの２つのモードであってもよい。
　続いて、ステップＳ２５、Ｓ２７およびＳ２８と判定された場合に生成される映像Ｐについて、図５～図７を参照しながら説明する。図５は、図４に示すステップＳ２５の判定が行われた場合の、対象ユーザの操作が反映されるか否かをユーザごとに示す図である。なお、図５～図７では、対象ユーザおよび第１のユーザ～第５のユーザの６人のユーザが仮想空間Ｓに入室している場合について示している。第１のユーザ～第５のユーザは、他のユーザの一例である。
　図５に示すように、対象ユーザがプレゼンターである場合、第１のユーザから第５のユーザのそれぞれの映像Ｐに、当該対象ユーザの１以上のオブジェクトＯに対する操作が反映され、対象ユーザがプレゼンターではない場合、第１のユーザから第５のユーザのそれぞれの映像Ｐに、当該対象ユーザの１以上のオブジェクトＯに対する操作が反映されない（未反映である）。このように、プレゼンターの操作のみが他のユーザに反映されることで、他のユーザはプレゼンターの説明に応じた映像Ｐを視認可能となる。また、プレゼンターではない人の操作が他のユーザに反映されないので、プレゼンターの説明に合わない映像Ｐが他のユーザに共有されることを抑制することができる。なお、プレゼンターは、１人であることに限定されず、２人以上であってもよい。
　図６は、図４に示すステップＳ２７の判定が行われた場合の、対象ユーザの操作が反映されるか否かをユーザごとに示す図である。図６では、第１のユーザおよび第２のユーザが特定のユーザであり、第３のユーザ～第５のユーザが特定のユーザではない例を示している。なお、図６および図７に示す「操作を反映するユーザの操作」は、ステップＳ２４でＮｏと判定されたユーザの操作を意味する。また、図６および図７に示す「操作を反映しないユーザの操作」は、ステップＳ２１でＹｅｓと判定されたユーザの操作を示す。「操作を反映しないユーザの操作」である場合、つまり対象ユーザが操作を反映するユーザではない場合、第１のユーザ～第５のユーザのそれぞれの映像Ｐに、当該対象ユーザの１以上のオブジェクトＯに対する操作は反映されない（未反映である）。
　図６に示すように、対象ユーザが操作を反映するユーザである場合、第１のユーザ～第５のユーザのうち、第１のユーザおよび第２のユーザのみのそれぞれの映像Ｐに、当該対象ユーザの１以上のオブジェクトＯに対する操作が反映され、第３のユーザ～第５のユーザのそれぞれには当該対象ユーザの１以上のオブジェクトＯに対する操作が反映されない（未反映である）。この場合、ステップＳ１４において、生成部２４は、対象ユーザの１以上のオブジェクトＯに対する操作を、他のユーザのうち、特定のユーザのみに反映した画像データを生成する。なお、特定のユーザには、他のユーザの全員は含まれない。
　このように、対象ユーザの１以上のオブジェクトＯに対する操作が特定のユーザのみに反映されることで、当該対象ユーザは、所望のユーザとのみ映像Ｐを共有することができる。第１のユーザおよび第２のユーザは、特定の１以上のユーザの一例である。
　なお、特定のユーザは、ユーザＵ１等のそれぞれにおいて、あらかじめ決定されており、情報処理装置２０のメモリに記憶されていてもよい。
　なお、特定のユーザは、対象ユーザの操作を他のユーザに反映すると判定されている期間に、当該対象ユーザからの入力により決定されてもよい。例えば、特定のユーザは、共同作業モード時に対象ユーザからの入力により取得され、決定されてもよい。
　なお、特定のユーザは、他のユーザの仮想空間Ｓ内における位置を示す情報、および、他のユーザの属性を示す情報の少なくとも１つに基づいて自動で決定されてもよい。他のユーザの仮想空間Ｓ内における位置を示す情報は、例えば、仮想空間Ｓ内における、対象ユーザまたはテーブル等の仮想空間Ｓ内の所定の物体と他のユーザとの相対的な位置関係を示す情報を含んでいてもよい。例えば、他のユーザの仮想空間Ｓ内における位置を示す情報は、対象ユーザまたは所定の物体から所定距離以内のユーザであるか否かを示す情報を含んでいてもよい。判定部２３は、例えば、対象ユーザまたは所定の物体から所定距離以内である他のユーザを特定のユーザに決定してもよい。また、他のユーザの属性を示す情報は、例えば、当該ユーザの部署、役職、性別、年齢、会議における役割等の少なくとも１つを示す情報を含む。判定部２３は、例えば、対象ユーザの操作を反映するユーザの属性のリストに基づいて、当該リストと一致する他のユーザを当該対象ユーザに対応する特定のユーザに決定してもよい。なお、ユーザの属性に関する情報は、例えば、仮想空間Ｓに入室する際に各ユーザから取得されてもよい。
　図７は、図４に示すステップＳ２８の判定が行われた場合の、対象ユーザの操作が反映されるか否かをユーザごとに示す図である。
　図７に示すように、対象ユーザが操作を反映するユーザである場合、第１のユーザ～第５のユーザのそれぞれの映像Ｐに、当該対象ユーザの１以上のオブジェクトＯに対する操作が反映される。例えば、ユーザＵ１等のいずれのユーザが１以上のオブジェクトＯに対して操作を行っても、当該操作が他のユーザのそれぞれに反映される。このように、対象ユーザの１以上のオブジェクトＯに対する操作が他のユーザの全てに反映されることで、対象ユーザは、仮想空間Ｓ内のユーザのそれぞれと映像Ｐを共有することができる。
　図８は、本実施の形態に係るスケジュール情報を説明するための図である。
　図８に示すように、スケジュール情報は、例えば、時刻と各モードとが対応づけられた情報である。スケジュール情報は、共同作業モードである時間帯と個人作業モードである時間帯とを示す情報を含むとも言える。また、スケジュール情報には、共同作業モードである時間帯において、プレゼンモードとなる時間帯およびプレゼンターに関する情報が含まれる。例えば、１０時からの共同作業モードの中で、Ｃさんがプレゼンターとなるプレゼンモードが行われる。Ｃさんは、対象ユーザの一例である。
　この場合、例えば、１０時からの共同作業モードでは、図４に示すステップＳ２７またはＳ２８の判定に応じた他のユーザに対象ユーザの操作が反映され、Ｃさんがプレゼンターとなる時刻になると、ステップＳ２５の判定がなされ、Ｃさんのみの操作が他のユーザに反映されるようになる。つまり、共同作業モードから当該共同作業モードにおけるプレゼンモードに作業モードが切り替わるときに、他のユーザへ１以上のオブジェクトＯに対する操作を反映可能なユーザ（例えば、対象ユーザ）が切り替えられる。
　このように、他のユーザに操作を反映できるユーザは、例えば、その時点でのモード等に応じて変化し得る。なお、例えば、図８に示すスケジュール情報が図３に示すステップＳ１１で取得される。
　（その他の実施の形態）
　以上、一つまたは複数の態様に係る作業支援方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。
　例えば、上記各実施の形態におけるヘッドマウントディスプレイ１０と情報処理装置２０との通信方法は特に限定されない。ヘッドマウントディスプレイ１０と情報処理装置２０とは例えば、無線通信により通信するが、有線通信であってもよい。また、無線通信または有線通信に用いられる通信規格は、特に限定されず、いかなる通信規格が用いられてもよい。
　また、上記実施の形態では、オブジェクトＯが自動車である例について説明したが、オブジェクトＯは、例えば、鉄道等の自動車以外の車両であってもよいし、表示装置、照明装置、スマートフォン等の家電製品であってもよいし、ドローン等の飛行体であってもよいし、衣類であってもよいし、家具であってもよいし、ホワイトボード、付箋等であってもよいし、食料品であってもよい。オブジェクトＯに対する操作は、当該オブジェクトＯの機能を実現するための操作であってもよい。例えば、オブジェクトＯが表示装置である場合の当該オブジェクトＯに対する操作は、表示装置に映像Ｐを表示する操作であってもよい。また、例えば、オブジェクトＯが付箋である場合の当該オブジェクトＯに対する操作は、付箋に文字を書く操作であってもよい。オブジェクトＯに対する操作は、仮想空間Ｓ内の少なくとも一部の見え方を変化させる操作であってもよい。
　また、上記実施の形態では、判定部２３は、ステップＳ１３において、個人作業モード等の作業モードを判定する例について説明したが、作業モードを判定することに限定されない。判定部２３は、例えば、第１情報からステップＳ１３の判定を行ってもよい。判定部２３は、例えば、音声情報に特定のユーザを示す情報が含まれる場合、当該音声情報に基づいて直接ステップＳ２７の判定を行ってもよい。
　また、上記実施の形態における生成部２４は、対象ユーザの１以上のオブジェクトＯに対する操作を反映した映像Ｐを生成する場合、当該映像Ｐに対象ユーザを示す情報を重畳してもよい。つまり、生成部２４は、ユーザＵ１等のうちの誰の操作が映像Ｐに反映されたかを表示してもよい。また、上記実施の形態における生成部２４は、判定部２３により現在の作業モードが判定された場合、生成する映像Ｐに現在の作業モードを示す情報を重畳してもよい。
　また、上記実施の形態における対象ユーザに対応する情報処理装置２０は、他のユーザに対応する情報処理装置２０と通信可能に構成されてもよい。対象ユーザに対応する情報処理装置２０は、ステップＳ１１およびＳ１２の少なくとも１つのステップで取得された情報を、他のユーザに対応する情報処理装置２０に出力してもよい。
　また、上記実施の形態におけるオブジェクトＯは、例えば、３次元オブジェクトであるが、２次元オブジェクトであってもよい。
　また、上記実施の形態における対象ユーザは、複数のユーザのうちの１人のユーザである例について説明したが、複数のユーザのうちの２以上のユーザであってもよい。
　また、上記実施の形態における映像Ｐは、例えば、動画像であるが静止画像であってもよい。また、映像Ｐは、例えば、カラー映像であってもよいし、白黒映像であってもよい。
　また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサ等のプログラム実行部が、ハードディスクまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列または時分割に処理してもよい。
　また、上記実施の形態に係る情報処理装置２０は、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。情報処理装置２０が複数の装置によって実現される場合、当該情報処理装置２０が有する各構成要素は、複数の装置にどのように振り分けられてもよい。情報処理装置２０が有する機能構成のうち、少なくとも１つの機構構成は、例えば、クラウドサーバ等により実現されてもよい。本明細書における情報処理装置２０は、ヘッドマウントディスプレイ１０およびクラウドサーバにより情報処理装置２０の機能が実現される構成も含む。この場合、ユーザＵ１等のヘッドマウントディスプレイ１０のそれぞれは、クラウドサーバと通信可能に接続される。例えば、生成部２４のように処理量が多い構成要素は、クラウドサーバ等により実現されてもよい。情報処理装置２０が複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
　また、上記実施の形態に係る情報処理装置２０は、ヘッドマウントディスプレイ１０が有する位置情報を取得可能な構成を有する（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサを有する）場合、ユーザＵ１等の位置に応じて、映像Ｐを生成してもよい。
　また、上記実施の形態で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）または、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。
　システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　また、本開示の一態様は、図３または図４に示される作業支援方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。
　また、例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布または流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　本開示は、複数のユーザによる仮想空間における作業を支援するサーバ装置等に有用である。
　１　　作業支援システム
　１０　　ヘッドマウントディスプレイ（端末）
　２０　　情報処理装置（作業支援装置）
　２１　　第１取得部
　２２　　第２取得部
　２３　　判定部
　２４　　生成部
　２５　　出力部
　Ｏ　　オブジェクト
　Ｐ　　映像
　Ｓ　　仮想空間
　Ｕ１、Ｕ２、Ｕ３、Ｕ４　　ユーザ

Claims (14)

  1. 　１以上のオブジェクトが配置された仮想空間における、対象ユーザを含む複数のユーザによる前記１以上のオブジェクトに対する作業を支援する作業支援方法であって、
    　前記複数のユーザのうちの１以上のユーザの発話に基づく音声情報、前記複数のユーザのうちの前記１以上のユーザからの入力に基づく入力情報、および、前記作業に関する予定に基づくスケジュール情報の少なくとも１つを含む第１情報を取得し、
    　前記対象ユーザの前記１以上のオブジェクトに対する操作を示す第２情報を取得し、
    　前記第１情報に基づいて、前記対象ユーザによる前記操作を前記複数のユーザにおける他のユーザに反映するか否かを判定し、
    　前記対象ユーザによる前記操作を前記他のユーザに反映するか否かの判定の結果、および、前記第２情報に基づいて、前記他のユーザのそれぞれにおける当該ユーザが視認する映像を生成し、
    　生成された前記映像を前記他のユーザの端末に出力する
    　作業支援方法。
  2. 　前記第１情報は、前記音声情報を少なくとも含み、
    　前記音声情報に基づく前記１以上のユーザの発話内容を分析し、前記発話内容の分析結果に基づいて、前記判定を行う
    　請求項１に記載の作業支援方法。
  3. 　前記判定では、
    　前記第１情報に基づいて、時区間ごとに、前記複数のユーザが共同で作業を行う共同作業モード、および、前記複数のユーザが個人ごとに作業を行う個人作業モードのいずれであるかを判定し、
    　前記共同作業モードと判定された時区間における前記対象ユーザによる前記操作を、前記他のユーザに反映すると判定し、前記個人作業モードと判定された時区間における、前記対象ユーザによる前記操作を、前記他のユーザに反映しないと判定する
    　請求項１または２に記載の作業支援方法。
  4. 　前記共同作業モードと判定された場合、さらに、前記対象ユーザがプレゼンテーションを行うか否かを判定し、
    　前記対象ユーザが前記プレゼンテーションを行う場合、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定し、前記対象ユーザが前記プレゼンテーションを行わない場合、前記対象ユーザによる前記操作を、前記他のユーザに反映しないと判定する
    　請求項３に記載の作業支援方法。
  5. 　前記第１情報は、前記入力情報を少なくとも含み、
    　前記入力情報は、前記対象ユーザが前記プレゼンテーションを行うユーザであるか否かを示す情報を含む
    　請求項４に記載の作業支援方法。
  6. 　前記映像の生成では、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定された場合、前記対象ユーザによる前記操作を前記他のユーザの前記映像に反映し、前記対象ユーザによる前記操作を前記他のユーザに反映しないと判定された場合、前記対象ユーザによる前記操作を前記他のユーザの前記映像に反映しない
    　請求項１～５のいずれか１項に記載の作業支援方法。
  7. 　前記映像の生成では、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定された場合、前記対象ユーザによる前記操作を、前記他のユーザのうち、特定の１以上のユーザの映像に反映し、前記他のユーザのうち前記特定の１以上のユーザの映像には反映しない
    　請求項１～５のいずれか１項に記載の作業支援方法。
  8. 　前記特定の１以上のユーザは、前記複数のユーザのそれぞれにおいて、予め決定されている
    　請求項７に記載の作業支援方法。
  9. 　前記特定の１以上のユーザは、前記対象ユーザによる前記操作を前記他のユーザに反映すると判定されている期間に、前記対象ユーザからの入力により決定される
    　請求項７に記載の作業支援方法。
  10. 　前記特定の１以上のユーザは、前記他のユーザの前記仮想空間内における位置を示す情報、および、前記他のユーザの属性を示す情報の少なくとも１つに基づいて決定される
    　請求項７に記載の作業支援方法。
  11. 　前記第１情報は、前記スケジュール情報を少なくとも含み、
    　前記スケジュール情報は、前記共同作業モードである時間帯と前記個人作業モードである時間帯とを示す情報を含む
    　請求項３または４に記載の作業支援方法。
  12. 　前記１以上のオブジェクトに対する前記操作は、前記１以上のオブジェクトの移動、回転、拡大および縮小の少なくとも１つを含む
    　請求項１～１１のいずれか１項に記載の作業支援方法。
  13. 　１以上のオブジェクトが配置された仮想空間における、対象ユーザを含む複数のユーザによる前記１以上のオブジェクトに対する作業を支援する作業支援装置であって、
    　前記複数のユーザのうちの１以上のユーザの発話に基づく音声情報、前記複数のユーザのうちの前記１以上のユーザからの入力を示す入力情報、および、前記作業に関する予定を示すスケジュール情報の少なくとも一つを含む第１情報を取得する第１取得部と、
    　前記対象ユーザによる前記１以上のオブジェクトに対する操作を示す第２情報を取得する第２取得部と、
    　前記第１情報に基づいて、前記対象ユーザの前記操作を前記複数のユーザにおける他のユーザに反映するか否かを判定する判定部と、
    　前記対象ユーザによる前記操作を前記他のユーザに反映するか否かの判定の結果、および、前記第２情報に基づいて、前記他のユーザのそれぞれにおける当該ユーザが視認する映像を生成する生成部と、
    　生成された前記映像を前記他のユーザの端末に出力する出力部とを備える
    　作業支援装置。
  14. 　請求項１～１２のいずれか１項に記載の作業支援方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/003291 2021-04-26 2022-01-28 作業支援方法、作業支援装置、および、プログラム WO2022230267A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023517047A JPWO2022230267A1 (ja) 2021-04-26 2022-01-28
CN202280029168.8A CN117296032A (zh) 2021-04-26 2022-01-28 作业辅助方法、作业辅助装置以及程序
US18/383,171 US20240070615A1 (en) 2021-04-26 2023-10-24 Work support method, work support device, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-074427 2021-04-26
JP2021074427 2021-04-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/383,171 Continuation US20240070615A1 (en) 2021-04-26 2023-10-24 Work support method, work support device, and recording medium

Publications (1)

Publication Number Publication Date
WO2022230267A1 true WO2022230267A1 (ja) 2022-11-03

Family

ID=83848183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003291 WO2022230267A1 (ja) 2021-04-26 2022-01-28 作業支援方法、作業支援装置、および、プログラム

Country Status (4)

Country Link
US (1) US20240070615A1 (ja)
JP (1) JPWO2022230267A1 (ja)
CN (1) CN117296032A (ja)
WO (1) WO2022230267A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168646A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報共有方法、プログラム及び端末装置
JP2016525741A (ja) * 2013-06-18 2016-08-25 マイクロソフト テクノロジー ライセンシング，エルエルシー 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト
WO2018225149A1 (ja) * 2017-06-06 2018-12-13 マクセル株式会社 複合現実表示システム及び複合現実表示端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168646A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報共有方法、プログラム及び端末装置
JP2016525741A (ja) * 2013-06-18 2016-08-25 マイクロソフト テクノロジー ライセンシング，エルエルシー 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト
WO2018225149A1 (ja) * 2017-06-06 2018-12-13 マクセル株式会社 複合現実表示システム及び複合現実表示端末

Also Published As

Publication number Publication date
US20240070615A1 (en) 2024-02-29
JPWO2022230267A1 (ja) 2022-11-03
CN117296032A (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
US20210166300A1 (en) Virtual reality platform for retail environment simulation
US10510190B2 (en) Mixed reality interactions
US20190004639A1 (en) Providing living avatars within virtual meetings
KR20230068391A (ko) 인공 현실 협력 작업 환경
Fender et al. Causality-preserving asynchronous reality
US10841534B2 (en) Real-world awareness for virtual reality
TW202313162A (zh) 用於人工實境環境的內容鏈接
US20210327146A1 (en) Virtual anchoring systems and methods for extended reality
US20220254125A1 (en) Device Views and Controls
JP7440625B2 (ja) コンテンツの表示を制御する方法およびコンピュータプログラム
US20230400956A1 (en) Displaying Representations of Environments
KR20220024827A (ko) 가상 및 물리적 카메라들의 위치 동기화
WO2022252688A1 (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
WO2022179344A1 (en) Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
WO2021011064A1 (en) Reading order system for improving accessibility of electronic content
WO2022230267A1 (ja) 作業支援方法、作業支援装置、および、プログラム
Walkowski et al. Using a game controller for relaying deictic gestures in computer-mediated communication
US20230419618A1 (en) Virtual Personal Interface for Control and Travel Between Virtual Worlds
Franz et al. A virtual reality scene taxonomy: Identifying and designing accessible scene-viewing techniques
US11805176B1 (en) Toolbox and context for user interactions
US20230403248A1 (en) Thread Navigation For Messaging Applications
US20230072623A1 (en) Artificial Reality Device Capture Control and Sharing
WO2023146837A9 (en) Extended reality for collaboration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795190

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023517047

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280029168.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22795190

Country of ref document: EP

Kind code of ref document: A1