WO2021177186A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2021177186A1
WO2021177186A1 PCT/JP2021/007530 JP2021007530W WO2021177186A1 WO 2021177186 A1 WO2021177186 A1 WO 2021177186A1 JP 2021007530 W JP2021007530 W JP 2021007530W WO 2021177186 A1 WO2021177186 A1 WO 2021177186A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
information processing
information
user
transition
Prior art date
Application number
PCT/JP2021/007530
Other languages
English (en)
French (fr)
Inventor
美和 市川
田島 大輔
大夢 弓場
智裕 石井
真俊 舩橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/802,752 priority Critical patent/US20230135993A1/en
Priority to EP21764158.8A priority patent/EP4116937A4/en
Priority to CN202180009306.1A priority patent/CN114981847A/zh
Priority to JP2022505189A priority patent/JPWO2021177186A1/ja
Publication of WO2021177186A1 publication Critical patent/WO2021177186A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • Kyosei farming method As an example of farming method, there is a farming method based on no-tillage, no fertilization, and no pesticide called Kyosei farming method (registered trademark) (Synecoculture). Since the Kyosei farming method (registered trademark) is affected by the various ecosystem constituents that make up the ecosystem, it is difficult for workers to master the Kyosei farming method (registered trademark) in a short period of time. Assistance may be needed. Therefore, in recent years, attention has been paid to a technique in which a skilled person in a field (for example, a field or a farm) remotely supports a farming method to a worker.
  • a skilled person in a field for example, a field or a farm
  • the worker when the worker approaches the virtual object from the position where the entire AR-displayed object (virtual object) (for example, icon) can be seen at the position corresponding to the real space, the worker selects a part of the virtual object. It may not be possible to grasp. This is because a part of the virtual object may not fit within the angle of view of the display angle of view depending on the distance between the worker and the virtual object. In this case, the worker may not be able to properly grasp the work place (work area) instructed by the expert to approach. Therefore, the skilled worker may not be able to accurately guide the worker.
  • virtual object for example, icon
  • a presentation control unit that determines the transition timing of the virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object that is a virtual object, and the presentation control unit.
  • An information processing apparatus includes a presentation creation unit that controls the transition of the output virtual object based on the timing determined by.
  • the worker in the field is appropriately referred to as a “user”.
  • the user may be a user who experiences AR of a farm worker.
  • the user is not an actual field worker, but an experiencer who experiences AR of the field worker.
  • a skilled person in the field instructing the user will be appropriately referred to as an "instructor”.
  • the instructor may be an instructor or a referent instructing a user who experiences AR in a field worker.
  • the instructor is not an actual field expert, but an instructor or referent instructing a user who experiences AR of a farm worker.
  • FIG. 1 is a diagram showing a configuration example of the information processing system 1.
  • the information processing system 1 includes an information processing device 10, a terminal device 20, and an information providing device 30.
  • Various devices can be connected to the information processing device 10.
  • a terminal device 20 and an information providing device 30 are connected to the information processing device 10, and information is linked between the devices.
  • the terminal device 20 and the information providing device 30 are wirelessly connected to the information processing device 10.
  • the information processing device 10 performs short-range wireless communication using the terminal device 20 and the information providing device 30 and Bluetooth (registered trademark).
  • the terminal device 20 and the information providing device 30 may be connected to the information processing device 10 by wire or via a network.
  • the information processing device 10 determines, for example, the transition of the virtual object output by the terminal device 20 based on the timing of the transition of the virtual object determined based on the distance corresponding to the display angle of view and the display range of the virtual object. It is an information processing device that controls. Specifically, the information processing apparatus 10 first determines the transition timing of the virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object. Then, the information processing device 10 controls the transition of the virtual object based on the determined timing. Then, the information processing device 10 provides the terminal device 20 with control information for controlling the transition of the virtual object.
  • the information processing device 10 also has a function of controlling the overall operation of the information processing system 1. For example, the information processing device 10 controls the overall operation of the information processing system 1 based on the information linked between the devices. Specifically, the information processing device 10 controls the transition of the virtual object output by the terminal device 20, for example, based on the information received from the information providing device 30.
  • the information processing device 10 is realized by a PC (Personal computer), a WS (Workstation), or the like.
  • the information processing device 10 is not limited to a PC, a WS, or the like.
  • the information processing device 10 may be an information processing device such as a PC or WS that implements the function of the information processing device 10 as an application.
  • Terminal device 20 The terminal device 20 is a wearable device such as a see-through type eyewear (HoloLens) capable of outputting an AR display.
  • a wearable device such as a see-through type eyewear (HoloLens) capable of outputting an AR display.
  • HoloLens see-through type eyewear
  • the terminal device 20 outputs a virtual object based on the control information provided by the information processing device 10.
  • the information providing device 30 is an information processing device that provides information about a virtual object to the information processing device 10.
  • the information processing device 10 provides information about a virtual object, for example, based on information about acquiring information about the virtual object.
  • the information providing device 30 is realized by a PC, WS, or the like.
  • the information providing device 30 is not limited to a PC, a WS, or the like.
  • the information providing device 30 may be an information processing device such as a PC or WS that implements the function of the information providing device 30 as an application.
  • Example of information processing system >> The configuration of the information processing system 1 has been described above. Subsequently, an embodiment of the information processing system 1 will be described.
  • the field is not an actual field but a simulated field for AR experience, so it is appropriately referred to as an “AR field”. Further, in the embodiment, it is assumed that the user U11 is wearing the see-through type eyewear and has a restriction on the angle of view. Further, in the embodiment, it is assumed that the field has a work place.
  • FIG. 2 is a diagram showing a scene FS1 in which the user U11, who is the target of the AR experience, confirms the field, and a scene FS2 in which the user U11 moves to the work place.
  • FIG. 2 includes an action scene US11 showing the behavior of the user U11 during the AR experience, and an AR scene AS11 showing the AR display displayed in association with the behavior of the user U11.
  • the action scene US and the AR scene AS will be described in association with each other.
  • the action image UR11 to the action image UR14 correspond to the AR image AR11 to the AR image AR14, respectively.
  • FIG. 2 first shows the instruction scene GS11 in which the user U11 was instructed, "Let's start the work. Please bring the tomato seedlings.”
  • the behavior image UR11 is an image showing a scene in which the user U11 holds a tomato seedling and waits at a distance from the field.
  • the AR image AR 11 is an image showing the AR display displayed on the terminal device 20. In the AR image AR11, since the AR is not displayed, the background of the real space is displayed as it is.
  • the information processing system 1 AR-displays the virtual object of vegetation in the AR field in response to the operation by the instructor (S11). Then, the user U11 shifts to the instruction scene GS12 instructed that "the state of the entire field.”
  • the behavior image UR12 is an image showing a scene in which the user U11 looks down on the field and grasps the entire field.
  • the AR image AR 12 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object of vegetation is displayed in the AR field.
  • the AR image AR12 displays a tomato virtual object OB11, a carrot virtual object OB12, and the like.
  • the virtual object OB11 and the virtual object OB12 are coded for convenience of explanation as an example of the virtual object, but other virtual objects included in the AR image AR12 may also be coded.
  • the scene in which the instruction scene GS11 and the instruction scene GS12 are combined is the scene FS1. Then, the user U11 shifts to the instruction scene GS13 instructed "Please approach today's work place.”
  • the action image UR13 is an image showing a scene in which the user U11 approaches the work place.
  • the information processing system 1 performs a process of limiting the display range of the virtual object of vegetation according to the action of the user U11 (S12).
  • the AR image AR 13 is an image showing the AR display displayed on the terminal device 20.
  • the display range of the virtual object of vegetation displayed in the AR image AR12 is limited.
  • the display range of the virtual object is limited so that only the information that the user U11 can work within a predetermined time (for example, within the time corresponding to the working time of the day) is displayed. ..
  • the information processing system 1 can accurately guide the user U11 to the work place.
  • the information processing system 1 AR-displays a virtual object which is visualization information that visualizes the complexity (diversity) of the vegetation (S13). Then, the user U11 shifts to the instruction scene GS14 instructed that "the complexity of the vegetation is shown. The seedlings are planted in a place where the complexity is low.”
  • the action image UR14 is an image showing a scene in which the user U11 confirms an improvement point.
  • the AR image AR 14 is an image showing the AR display displayed on the terminal device 20.
  • the virtual object OB15 that visualizes the complexity of the vegetation is displayed in AR.
  • the virtual object OB15 which is a mesh-like three-dimensional graph of the complexity of vegetation, is AR-displayed.
  • the virtual object OB15 indicates the complexity of vegetation according to the height of the mesh-like three-dimensional graph.
  • the downward depression of the virtual object OB15 indicates where the vegetation is not rich, that is, where the user U11 needs to work.
  • the information processing system 1 can accurately indicate to the user U11 where work is required.
  • the scene in which the instruction scene GS13 and the instruction scene GS14 are combined is the scene FS2. Then, the process shifts to the scene shown in FIG.
  • FIG. 3 is a diagram showing a scene FS3 in which the user U11 performs an AR experience of work.
  • an action scene US12 showing the action of the user U11 and an AR scene AS12 showing the AR display displayed in association with the action of the user U11 are included.
  • the action scene US and the AR scene AS will be described in association with each other.
  • the action image UR15 to the action image UR18 correspond to the AR image AR15 to the AR image AR18, respectively.
  • FIG. 3 shows the instruction scene GS15 in which the user U11 was instructed, "Let's crouch down and work. Please do not hurt the roots.”
  • the action image UR15 is an image showing a scene in which the user U11 is crouching and waiting.
  • the AR image AR 15 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object that visualizes the range of the roots of the vegetation is displayed according to the operation by the instructor.
  • virtual objects OB16, virtual objects OB18, and the like that visualize the range of vegetation roots are displayed.
  • the information processing system 1 can accurately indicate the root portion of the vegetation that should not be damaged to the user U11.
  • the virtual object OB16 and the virtual object OB18 are coded for convenience of explanation as an example of the virtual object, but other virtual objects included in the AR image AR15 may also be coded.
  • the information processing system 1 AR-displays the virtual object that visualizes the movement of the instructor's hand in real time (S14). As a result, the instructor can accurately give a pointing instruction even when the instructor is remote.
  • the information processing system 1 is not limited to the case where the virtual object that visualizes the movement of the instructor's hand is AR-displayed in real time.
  • the information processing system 1 may AR-display a virtual object that visualizes the movement of the instructor by capturing the movement of the hand of the instructor in advance.
  • the information processing system 1 may AR-display a virtual object that visualizes the movement by creating a movement of the hand using a virtual object of the hand created in advance. Then, the user U11 shifts to the instruction scene GS16 instructed that "it seems to be planted around here.”
  • the behavior image UR16 is an image showing a scene in which the user U11 plants a tomato seedling at a place instructed by the instructor.
  • the AR image AR 16 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object that visualizes the movement of the instructor's hand is displayed in real time in response to an operation by the instructor.
  • a virtual object OB19 that visualizes the movement of the instructor's hand is displayed.
  • the virtual object OB19 changes in real time according to the movement of the instructor's hand.
  • a virtual object that visualizes a part requiring work is displayed according to an operation by the instructor.
  • the information processing system 1 can accurately give pointing instructions to the parts requiring work by displaying the parts requiring work in AR together with the movement of the hand of the instructor.
  • the virtual object OB19 and the virtual object OB20 are coded for convenience of explanation as an example of the virtual object, but other virtual objects included in the AR image AR16 may also be coded.
  • the information processing system 1 AR-displays a virtual object that visualizes the details or the model by the movement of the instructor's hand in real time (S15). As a result, the instructor can accurately instruct the work method including the nuance. Then, the user U11 shifts to the instruction scene GS17 instructed "Please cover with soil like this.”
  • the behavior image UR17 is an image showing a scene in which the user U11 imitates the model of the instructor and covers the seedlings with soil.
  • the AR image AR17 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object that visualizes the movement of the instructor's hand is displayed in real time in response to an operation by the instructor.
  • the virtual object OB19 and the virtual object OB21 that visualize the movement of the instructor's hand are displayed.
  • the virtual object OB19 changes in real time according to the movement of the instructor's right hand.
  • the virtual object OB21 changes in real time according to the movement of the instructor's left hand.
  • the information processing system 1 can give a pointing instruction more accurately by displaying the movements of both hands of the instructor in AR.
  • the virtual object OB19 and the virtual object OB21 are coded for convenience of explanation as an example of the virtual object, but other virtual objects included in the AR image AR17 may also be coded.
  • the information processing system 1 AR-displays the virtual object that visualizes the feedback due to the movement of the instructor's hand in real time (S16).
  • the instructor can reassure the user U11 by showing feedback.
  • the user U11 shifts to the instruction scene GS18 instructed "It's good. It's like that.”
  • the action image UR18 is an image showing a scene in which the user U11 confirms the feedback from the instructor and stands up.
  • the AR image AR18 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object that visualizes the movement of the instructor's hand showing feedback is displayed in real time in response to the operation by the instructor.
  • a virtual object OB19 that visualizes the movement of the hand of the instructor showing feedback is displayed.
  • the virtual object OB19 changes in real time according to the movement of the instructor's hand indicating feedback.
  • the information processing system 1 can give a pointing instruction more accurately by displaying the feedback of the instructor in AR.
  • the virtual object OB19 is coded as an example of the virtual object for convenience of explanation, but other virtual objects included in the AR image AR18 may also be coded.
  • the scene in which the instruction scene GS15 to the instruction scene GS18 are combined is the scene FS3. Then, the process shifts to the scene shown in FIG.
  • FIG. 4 is a diagram showing a scene FS4 for confirming the work performed by the user U11.
  • an action scene US13 showing the action of the user U11 and an AR scene AS13 showing the AR display displayed in association with the action of the user U11 are included.
  • the action scene US and the AR scene AS will be described in association with each other.
  • the action image UR19 to the action image UR22 correspond to the AR image AR19 to the AR image AR22, respectively.
  • FIG. 4 shows the instruction scene GS19 in which the user U11 was instructed that "it feels more diverse than before.”
  • the action image UR19 is an image showing a scene where the user U11 sees a place where the work has been performed.
  • the AR image AR19 is an image showing the AR display displayed on the terminal device 20.
  • the virtual object OB22 that visualizes the complexity of the vegetation is displayed in AR according to the operation by the instructor.
  • the virtual object OB22 which is a mesh-like three-dimensional graph of the complexity of vegetation, is AR-displayed.
  • the virtual object OB22 shows the complexity according to the height. For example, the virtual object OB22 indicates that the location PT11 has a high degree of complexity and abundant vegetation.
  • the virtual object OB22 indicates that the complexity of the location PT12 is low and the vegetation is not rich (poor).
  • the location PT13 is the location where the user U11 planted the seedlings in the scene FS3.
  • the virtual object OB22 indicates that the complexity of the location PT13 has increased and the vegetation has become richer.
  • the information processing system 1 allows the user U11 to realize the effect of the work.
  • the virtual object OB22 is coded as an example of the virtual object for convenience of explanation, but other virtual objects included in the AR image AR19 may also be coded.
  • the information processing system 1 AR-displays a virtual object that visualizes the complexity of the entire field (S17). This allows the instructor to make it easier for the user U11 to find other improvements. Then, the user U11 shifts to the instruction scene GS20 instructed that "it feels good to see the entire field.”
  • the behavior image UR20 is an image showing a scene in which the user U11 looks over the field from a distance.
  • the AR image AR 20 is an image showing the AR display displayed on the terminal device 20.
  • the virtual object OB23 that visualizes the complexity of the vegetation of the entire field is displayed in AR according to the operation by the instructor.
  • the virtual object OB23 which is a mesh-like three-dimensional graph of the complexity of the vegetation of the entire field, is AR-displayed.
  • the information processing system 1 can accurately display other improvement points on the user U11.
  • the virtual object OB23 is coded as an example of the virtual object for convenience of explanation, but other virtual objects included in the AR image AR20 may also be coded.
  • the information processing system 1 AR-displays a virtual object that visualizes the predicted future growth of vegetation (S18).
  • the instructor can improve the motivation of the user U11.
  • the user U11 shifts to the instruction scene GS21 instructed "I'm concerned about the growth. Let's see the growth two months later.”
  • the behavior image UR21 is an image showing a scene in which the user U11 observes the entire field.
  • the AR image AR 21 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object that visualizes the predicted future growth of vegetation is displayed according to the operation by the instructor.
  • the AR image AR21 displays virtual objects OB24, virtual objects OB26, and the like that visualize the predicted future growth of vegetation.
  • the information processing system 1 can promote the improvement of the motivation of the user U11.
  • the virtual object OB24 to the virtual object OB26 are coded for convenience of explanation as an example of the virtual object, but other virtual objects included in the AR image AR21 may also be coded.
  • the information processing system 1 AR-displays a virtual object that visualizes the growth condition of the vegetation at the predicted harvest time (S19). This makes it easier for the user U11 to determine the harvest time. Then, the user U11 shifts to the instruction scene GS22 instructed that "the harvest time is like this. You can harvest when it reaches this size.”
  • the behavior image UR22 is an image showing a scene in which the user U11 observes the entire field.
  • the AR image AR 22 is an image showing the AR display displayed on the terminal device 20.
  • a virtual object OB27 or the like that visualizes the growth condition of vegetation at the predicted harvest time is displayed in AR according to the operation by the instructor.
  • the information processing system 1 can promote the improvement of the harvest motivation of the user U11.
  • the virtual object OB27 is coded as an example of the virtual object for convenience of explanation, but other virtual objects included in the AR image AR22 may also be coded.
  • the scene in which the instruction scene GS19 to the instruction scene GS22 are combined is the scene FS4.
  • FIG. 5 is a diagram showing an outline of the functions of the information processing system 1 according to the embodiment.
  • FIG. 5 shows, for example, a case where the user U11 approaches a work place in a field.
  • the display range HP11 indicates the display range of the entire virtual object displayed in the field.
  • the work range PP11 to the work range PP13 indicate a work range (predetermined area) corresponding to the work place of the field among the display ranges included in the display range HP11.
  • the work place is determined by, for example, the instructor.
  • the information processing system 1 determines the selected work range as the work place by the instructor selecting the work range.
  • the position AA11 and the position AA12 are positions corresponding to the shortest distance from one side of the display range HP11. Specifically, the positions AA11 and AA12 are positions corresponding to the distances from the intersection of the line from the center of the display range HP11 and one side of the display range HP11.
  • the position AA12 is a position based on the display angle of view GK11 and corresponds to the minimum distance that the entire display range HP11 can display.
  • the position AA11 is a position separated from the position AA12 by a predetermined distance.
  • the predetermined distance is, for example, a distance at which the user U11 can recognize the transition of the virtual object.
  • the predetermined distance is a distance at which the user U11 can change his / her behavior according to the transition of the virtual object.
  • the predetermined distance is the movement distance of the stride length of several steps of the user U11.
  • the AR image AR21 is an image showing the AR display displayed on the terminal device 20 when the user U11 moves to the position AA11.
  • the entire display range HP11 is displayed on the AR image AR21.
  • the user U11 then moves towards the field to position AA12 (S22).
  • the information processing system 1 determines the transition timing of the virtual object based on the display angle of view of the terminal device 20 and the distance corresponding to the display range HP 11. For example, the information processing system 1 uses the position AA11 as the starting point of the transition timing and the position AA12 as the ending point of the transition timing.
  • the AR image AR22 is an image showing the AR display before the transition of the virtual object, which is displayed on the terminal device 20 when the user U11 moves to the position AA12.
  • the entire display range HP 11 is displayed on the AR image AR 22.
  • the AR image AR23 is an image showing the AR display after the transition of the virtual object, which is displayed on the terminal device 20 when the user U11 moves to the position AA12.
  • a part of the display range HP11 is displayed on the AR image AR23.
  • the AR image AR23 displays a work range corresponding to each work place.
  • the work range PP11 is displayed on the AR image AR23.
  • the information processing system 1 can prevent the user U11 from losing sight of the work place by performing a display transition from the position where the entire display range HP11 is displayed to each work range. Further, the information processing system 1 can naturally guide the user U11 to the work place by narrowing down and displaying the work place according to the transition of the display. In this way, the information processing system 1 narrows down and displays the information at the timing before each work place goes out of the angle of view of the display angle of view from the state where the entire field can be grasped, so that each of the information included in the entire field is included. It is possible to accurately grasp the position of the work place.
  • FIG. 6 is a diagram showing the relationship between the display angle of view of the terminal device 20 and the distance from the display range HP 11.
  • FIG. 6A shows a case where the display angle of view of the terminal device 20 includes the entire display range HP11.
  • the display angle of view HG12 is a display angle of view when the user U11 is at a position separated from the display range HP11 by a distance DS21.
  • the terminal device 20 displays the entire display range HP11.
  • FIG. 6B shows the relationship between the display angle of view of the terminal device 20 and the distance from the display range HP 11 when the user U 11 approaches the display range HP 11 by the distance DS 23 from the distance DS 21.
  • FIG. 6B shows a case where the display angle of view of the terminal device 20 includes a part of the display range HP11.
  • the display angle of view HG13 is a display angle of view when the user U11 is at a position separated from the display range HP11 by a distance DS22. In this case, a part of the display range HP 11 is displayed on the terminal device 20. For example, the terminal device 20 displays only the work range PP11 included in the display angle of view HG13 among the work range PP11 to the work range PP13. As a result, the information processing system 1 can highlight the work range PP11. As a result, the information processing system 1 can highlight the working range according to the distance from the display range HP 11.
  • FIG. 7 is a block diagram showing a functional configuration example of the information processing system 1 according to the embodiment.
  • the information processing device 10 includes a communication unit 100, a control unit 110, and a storage unit 120.
  • the information processing device 10 has at least a control unit 110.
  • the communication unit 100 has a function of communicating with an external device. For example, the communication unit 100 outputs information received from the external device to the control unit 110 in communication with the external device. Specifically, the communication unit 100 outputs the information received from the information providing device 30 to the control unit 110. For example, the communication unit 100 outputs information about the virtual object to the control unit 110.
  • the communication unit 100 transmits the information input from the control unit 110 to the external device in communication with the external device. Specifically, the communication unit 100 transmits information regarding acquisition of information regarding a virtual object input from the control unit 110 to the information providing device 30.
  • Control unit 110 has a function of controlling the operation of the information processing device 10. For example, the control unit 110 performs a process for controlling the transition of the output virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object.
  • control unit 110 includes an acquisition unit 111, a processing unit 112, and an output unit 113, as shown in FIG. 7.
  • the acquisition unit 111 has a function of acquiring information for controlling the transition of the virtual object.
  • the acquisition unit 111 acquires the sensor information transmitted from the terminal device 20 via, for example, the communication unit 100.
  • the acquisition unit 111 acquires sensor information regarding the movement and position of the terminal device 20, such as acceleration information, gyro information, GPS (Global Positioning System) information, and geomagnetic information.
  • the acquisition unit 111 acquires information about a virtual object transmitted from the information providing device 30 via, for example, the communication unit 100. For example, the acquisition unit 111 acquires information regarding the display range of the virtual object. Further, for example, the acquisition unit 111 acquires information about a predetermined area included in the display range of the virtual object.
  • the processing unit 112 has a function for controlling the processing of the information processing device 10. As shown in FIG. 7, the processing unit 112 includes a stride control unit 1121, a position control unit 1122, a presentation control unit 1123, and a presentation creation unit 1124.
  • the stride control unit 1121 has a function of determining information regarding the movement of the user having the terminal device 20.
  • the stride control unit 1121 determines information on the user's movement, such as stride length and walking speed, based on, for example, information on the movement of the terminal device 20.
  • the stride control unit 1121 determines information regarding the movement of the user based on at least one of acceleration information and gyro information.
  • the stride control unit 1121 determines the stride length of the user by dividing the movement distance of the user by the number of steps taken for the movement distance.
  • the stride control unit 1121 determines information regarding the traveling direction of the user. For example, the stride control unit 1121 determines information about the relationship between the direction of travel of the user and the direction from the user to the center of the display range of the virtual object.
  • the position control unit 1122 has a function of determining information regarding the position of the user having the terminal device 20.
  • the position control unit 1122 determines the information regarding the user's position based on the information regarding the position of the terminal device 20, for example.
  • the position control unit 1122 determines information about the user's position with respect to the display range of the virtual object.
  • the position control unit 1122 determines the information regarding the user's position based on at least one of GPS information, geomagnetic information, and information regarding the user's movement.
  • the position control unit 1122 determines the information regarding the user's position from the display range of the virtual object based on, for example, the information regarding the position of the display range of the virtual object and the information regarding the angle of the display angle of view. For example, the position control unit 1122 determines information about the user's position from one side of the display range of the virtual object. Specifically, the position control unit 1122 determines information about the position of the user from the intersection of the straight line connecting the center of the display range of the virtual object and the user and one side of the display range of the virtual object.
  • the presentation control unit 1123 has a function of determining information regarding the transition timing of the virtual object.
  • the presentation control unit 1123 determines the display angle of view based on, for example, information about the position of the user. Further, the presentation control unit 1123 determines information regarding the transition timing of the virtual object based on, for example, a distance corresponding to the display angle of view and the display range of the virtual object. For example, the presentation control unit 1123 determines information regarding the transition timing of the virtual object based on the distance between the user whose display angle of view is the target and the display range of the virtual object.
  • the presentation control unit 1123 determines, for example, the transition timing of the virtual object based on the minimum distance within which the display range of the virtual object falls within the angle of view of the display angle of view. Specifically, the presentation control unit 1123 determines a distance equal to or greater than the minimum distance at which the display range of the virtual object falls within the angle of view of the display angle of view as the transition timing of the virtual object. The presentation control unit 1123 may determine a distance equal to or greater than the minimum distance at which the display range of the virtual object falls within the angle of view of the display angle of view as the start point or end point of the transition timing of the virtual object.
  • the presentation control unit 1123 determines, for example, the timing of the transition of the virtual object based on the maximum distance at which the user who targets the display angle of view can recognize the transition of the virtual object. Specifically, the presentation control unit 1123 determines a distance equal to or less than the maximum distance at which the user who targets the display angle of view can recognize the transition of the virtual object as the timing of the transition of the virtual object. The presentation control unit 1123 may determine a distance equal to or less than the maximum distance at which the user who targets the display angle of view can recognize the transition of the virtual object as the starting point or the ending point of the timing of the transition of the virtual object.
  • the presentation creation unit 1124 has a function of performing a process of controlling the transition of the output virtual object. Specifically, the presentation creation unit 1124 controls the transition of the virtual object based on the timing determined by the presentation control unit 1123. The presentation creation unit 1124 controls, for example, the transition of the virtual object to be gradually performed. For example, the presentation creation unit 1124 controls so that the transition of the virtual object is gradually performed from the start point to the end point of the transition timing of the virtual object.
  • the presentation creation unit 1124 controls the transition of the virtual object according to the operation by the instructor. For example, the presentation creation unit 1124 controls to output information about the virtual object selected by the instructor. Further, for example, the presentation creation unit 1124 controls so that information about a virtual object that the user can work on within a predetermined time is output.
  • the presentation creation unit 1124 determines the complexity of each virtual object that constitutes the virtual object. For example, the presentation creation unit 1124 determines the complexity of each virtual object that constitutes the virtual object, based on the attributes of the adjacent virtual objects. Specifically, the presentation creation unit 1124 lowers the complexity of each virtual object having similar attributes when the attributes of the virtual objects having an adjacent relationship are similar to each other. As another example, the presentation creation unit 1124 reduces the complexity of virtual objects with a small number of adjacent virtual objects.
  • the output unit 113 has a function of outputting information about the virtual object. Specifically, the output unit 113 outputs information about the virtual object based on the transition of the virtual object controlled by the presentation creation unit 1124. The output unit 113 outputs the virtual object after the transition to a predetermined area included in the display range of the virtual object, for example.
  • the output unit 113 outputs a virtual object after the transition related to the work to a predetermined area which is a work place. For example, the output unit 113 outputs a virtual object after the transition related to the work to a predetermined area which is a work place determined by the instructor who remotely instructs the work.
  • the output unit 113 outputs visualization information that visualizes the complexity of the target object in the display range of the virtual object. For example, the output unit 113 outputs visualization information showing the complexity in a mesh-like three-dimensional graph.
  • the output unit 113 provides information about the virtual object. Specifically, the output unit 113 provides output information via the communication unit 100.
  • Storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 has a function of storing data related to processing in the information processing device 10.
  • FIG. 8 shows an example of the storage unit 120.
  • the storage unit 120 shown in FIG. 8 stores information about the virtual object.
  • the storage unit 120 may have items such as "virtual object ID”, “virtual object”, “display range”, “work range”, and "work information”.
  • “Virtual object ID” indicates identification information for identifying a virtual object.
  • “Virtual object” indicates information about a virtual object. In the example shown in FIG. 8, an example in which conceptual information such as “virtual object # 1" and “virtual object # 2" is stored in the “virtual object” is shown, but in reality, each of the constituent virtual objects is stored. Information and coordinate information indicating the shape and attributes of the virtual object of are stored.
  • Display range indicates the display range of the virtual object. In the example shown in FIG. 8, the "display range” shows an example in which conceptual information such as “display range # 1" and “display range # 2" is stored, but in reality, coordinate information is stored. ..
  • the "work range” indicates the work range in which work is required in the display range of the virtual object.
  • conceptual information such as "work range # 1" and "work range # 2" is stored in the "work range”
  • coordinate information is stored.
  • Work information indicates work information in each work range.
  • conceptual information such as "work information # 1" and "work information # 2" is stored in "work information” is shown, but it is actually input by the instructor. Input information is stored.
  • the terminal device 20 includes a communication unit 200, a control unit 210, an output unit 220, and a sensor unit 230.
  • the communication unit 200 has a function of communicating with an external device. For example, the communication unit 200 outputs information received from the external device to the control unit 210 in communication with the external device. Specifically, the communication unit 200 outputs information about a virtual object received from the information processing device 10 to the control unit 210.
  • Control unit 210 has a function of controlling the overall operation of the terminal device 20.
  • the control unit 210 performs a process of controlling the output of information about the virtual object.
  • Output unit 220 The output unit 220 has a function of outputting information about the virtual object.
  • the output unit 220 AR displays information about the virtual object.
  • the sensor unit 230 has a function of acquiring sensor information measured by each measuring instrument.
  • the sensor unit 230 acquires sensor information such as acceleration information, gyro information, GPS information, and geomagnetic information.
  • the sensor unit 230 may include an acceleration sensor unit 231, a gyro sensor unit 232, a GPS receiving unit 233, and a geomagnetic sensor unit 234.
  • the information providing device 30 includes a communication unit 300, a control unit 310, and a storage unit 320.
  • the communication unit 300 has a function of communicating with an external device. For example, the communication unit 300 outputs information received from the external device to the control unit 310 in communication with the external device. Specifically, the communication unit 300 outputs the information received from the information processing device 10 to the control unit 310. For example, the communication unit 300 outputs information regarding the acquisition of information regarding the virtual object to the control unit 310.
  • Control unit 310 has a function of controlling the operation of the information providing device 30. For example, the control unit 310 transmits information about the virtual object to the information processing device 10 via the communication unit 300. For example, the control unit 310 accesses the storage unit 320 and transmits information about the acquired virtual object to the information processing device 10.
  • Storage unit 320 stores the same information as the storage unit 120. Therefore, the description of the storage unit 320 will be omitted.
  • FIG. 9 is a flowchart showing a flow of processing in the information processing device 10 according to the embodiment.
  • the information processing device 10 acquires information regarding the display range of the virtual object (S101). For example, the information processing device 10 acquires information on the coordinates, width (Width), and depth (Dept) of the center of the display range of the virtual object.
  • the information processing device 10 acquires information regarding the display angle of view (S102). For example, the information processing device 10 acquires information regarding the angle of the display angle of view.
  • the information processing device 10 calculates the minimum distance within which the display range of the virtual object falls within the angle of view of the display angle of view (S103). For example, the information processing device 10 calculates the minimum distance within which the display range of the virtual object fits within the angle of view of the display angle of view, based on the information regarding the width of the display range and the information regarding the angle of view of the display angle. .. Then, the information processing device 10 acquires information regarding the movement of the user (S104). For example, the information processing device 10 acquires information on the user's stride length. Then, the information processing device 10 calculates the distance at which the user can recognize the transition of the virtual object (S105).
  • the information processing device 10 calculates several steps of the user's stride as a perceptible distance of the transition of the virtual object based on the information about the user's stride. Then, the information processing device 10 calculates the distance from the user to the display range of the virtual object (S106). For example, the information processing device 10 calculates the distance from the user to the display range of the virtual object based on the coordinate information of the user and the coordinate information of the display range of the virtual object.
  • the information processing device 10 determines whether or not the distance from the user to the display range of the virtual object is equal to or greater than a predetermined threshold value (S107). For example, the information processing device 10 determines whether or not the distance from the user to the display range of the virtual object is zero or less. The information processing device 10 ends information processing when the distance from the user to the display range of the virtual object is less than a predetermined threshold value. Further, when the distance from the user to the display range of the virtual object is equal to or greater than a predetermined threshold value, the information processing apparatus 10 determines whether or not the distance is equal to or greater than the distance at which the transition of the virtual object can be recognized. (S108).
  • a predetermined threshold value For example, the information processing device 10 determines whether or not the distance from the user to the display range of the virtual object is zero or less. The information processing device 10 ends information processing when the distance from the user to the display range of the virtual object is less than a predetermined threshold value. Further, when the distance from the user to the display range of the virtual object
  • the information processing device 10 displays the entire display range of the virtual object (S109). Further, when the distance from the user to the display range of the virtual object is less than the distance at which the transition of the virtual object can be recognized, the information processing device 10 displays each work range (S110). Then, the information processing device 10 updates the user's position information (S111). Then, the process returns to the process of S106.
  • the output unit 113 outputs a virtual object based on the information regarding the transition determined by the processing unit 112.
  • the output unit 113 may output guidance information which is display information for guiding the line of sight in a direction other than the direction of the user's line of sight.
  • the output unit 113 may output guidance information indicating the direction of the user's line of sight and the direction in which the user's line of sight is desired to be guided.
  • the information processing system 1 can accurately guide the user to the work place where the instructor wants to instruct.
  • the information processing system 1 can accurately guide the user in the direction of the display range of the virtual object even when the user does not direct his / her line of sight to the direction of the display range of the virtual object.
  • FIG. 10 shows an example of guiding the line of sight in a direction other than the direction of the line of sight of the user U11.
  • FIG. 10A shows an example of the direction of the line of sight of the user U11 and the direction in which the line of sight of the user U11 is desired to be guided.
  • the line of sight of the user U11 is guided from the direction in which the user U11 is actually looking to the direction of the display range HP11.
  • the display angle of view HG13 is a display angle of view in the direction in which the user U11 is looking.
  • the display angle of view HG14 is a display angle of view in the direction in which the line of sight of the user U11 is desired to be guided.
  • FIG. 10B shows an example of output guidance information. As shown in FIG.
  • the output unit 113 may output a radar view (Radar View) indicating the direction of the line of sight of the user U11 and the direction in which the line of sight of the user U11 is desired to be guided by a radar. Further, the output unit 113 may provide the control information of the guidance information to the terminal device 20 so that the guidance information is output to the terminal device 20. As a result, the user U11 can accurately grasp the direction in which the instructor guides through the terminal device 20. As a result, the information processing system 1 can promote further improvement in usability.
  • the guidance information shown in FIG. 10B is an example, and any guidance information for guiding the line of sight of the user U11 may be output in any mode.
  • the output unit 113 may output bird's-eye view information which is display information that gives a bird's-eye view of the display angle of view of the user.
  • the output unit 113 may output bird's-eye view information indicating the relationship (for example, positional relationship) of the display angle of view of the user with respect to the entire display range of the virtual object.
  • the information processing system 1 can accurately grasp the position of the user with respect to the entire display range of the virtual object. Further, the information processing system 1 can accurately grasp the entire display range of the virtual object even when the user is too close to a part of the display range of the virtual object, for example.
  • the output unit 113 may output, for example, bird's-eye view information indicating the relationship of the display angle of view of the user with respect to each work range.
  • the information processing system 1 can accurately grasp the position of the work place. Further, the information processing system 1 can accurately grasp the position of the work place even when the user is too close to a part of the display range of the virtual object, for example.
  • the output bird's-eye view information will be described with reference to FIG.
  • the display angle of view HG15 and the display angle of view HG16 indicate the display angle of view of the user U11.
  • the display angle of view HG15 is a display angle of view when the user U11 is in an upright state.
  • the display angle of view HG16 is a display angle of view when the user U11 is in the seated state.
  • FIG. 11B shows bird's-eye view information of the display angle of view HG15 shown in FIG. 11A as a bird's-eye view from directly above.
  • FIG. 11D shows bird's-eye view information obtained by looking down on the display angle of view HG16 shown in FIG. 11C from directly above. As shown in FIGS.
  • the output unit 113 may output bird's-eye view information. Further, the output unit 113 may provide the control information of the bird's-eye view information to the terminal device 20 so that the bird's-eye view information is output to the terminal device 20.
  • the user U11 can accurately grasp the relationship between the display angle of view of the user U11, the work range PP11 to the work range PP13, and the display range HP11 via the terminal device 20.
  • the information processing system 1 can promote further improvement in usability.
  • 11 (B) and 11 (D) is an example, and what kind of bird's-eye view information is output in what mode as long as it is bird's-eye view information that gives a bird's-eye view of the display angle of view of the user U11. May be good.
  • the information processing system 1 may output output information to a terminal device for VR (Virtual Reality), MR (Mixed Reality), and XR (X Reality), for example.
  • XR is a general term for AR, VR, MR and the like.
  • the information processing system 1 may output output information to a head-mounted display for VR, MR, and XR.
  • the information processing system 1 may output output information for mobile AR that can be experienced by a terminal device such as a smart phone as the terminal device 20.
  • the information processing system 1 can provide the user with an AR experience using a smart phone, and can promote further improvement in usability.
  • the information processing system 1 may output output information using, for example, a projector.
  • the information processing system 1 may output output information by projecting a virtual object onto a specific place or a specific object, for example.
  • the projection range projected on a specific place or a specific object is the display range of the virtual object.
  • the information processing system 1 may output output information by using, for example, a terminal device (for example, a smart phone or a mobile device) capable of acquiring user's position information and a projector.
  • the information processing system 1 may determine information about the user's position by using another method for measuring the position of a beacon, an AR marker, or the like. For example, the information processing system 1 may determine information about the distance between the user and a specific place or a specific object by using another method for measuring the position of a beacon, an AR marker, or the like.
  • the information processing system 1 outputs visual information for guiding the position and orientation of the user.
  • the information processing system 1 may output sound information (for example, voice information and acoustic information) and tactile information (for example, vibration information) together with visual information.
  • the information processing system 1 may output sound information and tactile information without outputting visual information.
  • the information processing system 1 may output sound information and tactile information corresponding to the contents indicated by the visual information.
  • the information processing system 1 shows a case where the transition of the virtual object is controlled based on the display range of the virtual object and the distance to the user, but this is limited to this example. No.
  • the information processing system 1 may control the transition of the virtual object based on, for example, the direction of the display range of the virtual object and the direction of the line of sight of the user. For example, the information processing system 1 determines whether or not the user's line of sight is in the direction of the display range of the virtual object, and the virtual object is only when the user's line of sight is in the direction of the display range of the virtual object. You may control the transition of the virtual object so that
  • the target object in the display range of the virtual object is an object fixed at a specific position.
  • the target object in the display range of the virtual object may be a moving object that is not fixed at a specific position.
  • the information processing system 1 may determine the display range of the virtual object so that the virtual object is displayed on the moving body. In this case, the display range of the virtual object changes dynamically according to the movement of the moving object.
  • the information processing system 1 may perform processing for controlling the transition of the virtual object based on the display range of the virtual object and the relative distance to the user.
  • the information processing system 1 may change the display range of the virtual object according to the user's attribute.
  • the instructor may output the display range of the virtual object according to the attribute of the user by predetermining the display range of the virtual object for each attribute of the user.
  • the information processing system 1 may output the entire display range of the virtual object.
  • the worker is in charge of the display range of the virtual object. Only a part of the work range to be processed may be output.
  • the information processing system 1 may control the transition of the virtual object by changing the transparency of the virtual object.
  • the information processing system 1 may control the transition of the virtual object so that the virtual object transitions gently by gradually changing the transparency of the virtual object output after the transition.
  • the transition of the virtual object may be controlled by changing the volume level.
  • the information processing system 1 is not limited to the loudness of the volume, but is a virtual object by changing the position, direction, distance, etc. of the three-dimensional sound by the three-dimensional sound (for example, three-dimensional sound, three-dimensional audio). The transition of may be controlled.
  • the information processing system 1 may control the transition of a virtual object by interlockingly changing sound information and tactile information together with visual information.
  • the information processing system 1 may control the transition of the virtual object by interlockingly changing the sound information and the tactile information together with the visual information according to the transition of the virtual object.
  • the process for the information processing system 1 to control the transition of the virtual object has been described by taking as an example the case where the user approaches the display range of the virtual object.
  • the information processing system 1 may control the transition of the virtual object based on the same processing even when the user moves away from the display range of the virtual object.
  • the timing different from the case of approaching the display range of the virtual object may be set as the transition timing of the virtual object.
  • the information processing system 1 may control the transition of the virtual object according to the user's situation.
  • the information processing system 1 may control the transition of the virtual object according to the situation of the user by defining the user's situation and the information related to the control of the transition of the virtual object in advance in association with each other. For example, when the user has a working tool, the information processing system 1 may control the transition of the virtual object according to the situation of the user. Further, for example, when the user has a work tool, the information processing system 1 presumes that the user is a worker and controls the transition of the virtual object according to the attribute of the user. May be good.
  • the user is an experiencer who experiences AR of a farm worker, but the present invention is not limited to this example, and the user may be a target person to be instructed by the instructor. For example, it may be anything.
  • the user may be, for example, an experience person who experiences AR in the city, in an office, in a warehouse, or the like.
  • the user may be an experiencer who experiences VR, MR, and XR.
  • the instructor is an instructor or a referent instructing a user who experiences AR in a field worker, but the present invention is not limited to this example, and the instructor or an instruction instructing the user is not limited to this example. Anything may be used as long as it is a thing.
  • the output unit 113 outputs a virtual object showing the complexity of vegetation in a mesh-like three-dimensional graph, but the present invention is not limited to this example.
  • the output unit 113 may output any kind of visualization information indicating the complexity of the object to be displayed in the display range of the virtual object.
  • the output unit 113 may output a virtual object showing the complexity of vegetation in a three-dimensional graph having a shape other than the mesh.
  • the output unit 113 outputs visualization information that visualizes the movement of the instructor's hand, but the present invention is not limited to this example.
  • the output unit 113 may output any kind of visualization information that visualizes details and a model based on the operation of the instructor.
  • the output unit 113 may output visualization information that visualizes not only the movement of the instructor's hand but also the entire movement of the instructor's body.
  • the above embodiment can be applied to an object other than the field.
  • the above embodiment can be applied even when a plurality of objects exist in a space such as a city, an office, or a warehouse.
  • the information processing system 1 may narrow down, for example, at a timing before the user goes out of space in order to make the user recognize a specific place or a specific object.
  • the presentation control unit 1123 determines the timing before the user goes out of space based on the distance to a specific place or a specific object and the distance until the user goes out of space. It may be determined as the timing of the transition.
  • FIG. 12A shows an example in the city.
  • the information processing system 1 may perform processing for guiding a user to a specific store or a specific building, for example.
  • FIG. 12B shows an example in the office.
  • the information processing system 1 may perform processing for guiding a user to, for example, a specific department, a specific person, or a specific seat (for example, a vacant seat).
  • FIG. 12C shows an example in the warehouse.
  • the information processing system 1 may perform processing for guiding the user to, for example, a specific product or a specific type of product.
  • the example shown in FIG. 12 is an example, and is not limited to these examples.
  • FIG. 13 is a block diagram showing a hardware configuration example of the information processing device according to the embodiment.
  • the information processing device 900 shown in FIG. 13 can realize, for example, the information processing device 10, the terminal device 20, and the information providing device 30 shown in FIG. 7.
  • the information processing by the information processing device 10, the terminal device 20, and the information providing device 30 according to the embodiment is realized by the cooperation between the software and the hardware described below.
  • the information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903.
  • the information processing device 900 includes a host bus 904a, a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 910, and a communication device 911.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, the hardware configuration may further include components other than the components shown here.
  • the CPU 901 functions as, for example, an arithmetic processing device or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 902, the RAM 903, or the storage device 908.
  • the ROM 902 is a means for storing a program read into the CPU 901, data used for calculation, and the like.
  • a program read into the CPU 901 various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored. These are connected to each other by a host bus 904a composed of a CPU bus or the like.
  • the CPU 901, ROM 902, and RAM 903 can realize the functions of the control unit 110, the control unit 210, and the control unit 310 described with reference to FIG. 7, for example, in collaboration with software.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other via, for example, a host bus 904a capable of high-speed data transmission.
  • the host bus 904a is connected to the external bus 904b, which has a relatively low data transmission speed, via, for example, the bridge 904.
  • the external bus 904b is connected to various components via the interface 905.
  • the input device 906 is realized by a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, in which information is input by a listener. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA that supports the operation of the information processing device 900. .. Further, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by using the above input means and outputs the input signal to the CPU 901. By operating the input device 906, the administrator of the information processing device 900 can input various data to the information processing device 900 and instruct the processing operation.
  • the input device 906 can be formed by a device that detects the movement or position of the user.
  • the input device 906 includes an image sensor (for example, a camera), a depth sensor (for example, a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, and a distance measuring sensor (for example, ToF (Time of Flight). ) Sensors), may include various sensors such as force sensors.
  • the input device 906 includes information on the state of the information processing device 900 itself such as the posture and moving speed of the information processing device 900, and information on the peripheral space of the information processing device 900 such as brightness and noise around the information processing device 900. May be obtained.
  • the input device 906 receives a GNSS signal (for example, a GPS signal from a GPS (Global Positioning System) satellite) from a GNSS (Global Navigation Satellite System) satellite and receives position information including the latitude, longitude and altitude of the device. It may include a GPS module to measure. Further, regarding the position information, the input device 906 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone, a PHS, a smart phone, or the like, or by short-range communication or the like. The input device 906 can realize, for example, the function of the sensor unit 230 described with reference to FIG. 7.
  • a GNSS signal for example, a GPS signal from a GPS (Global Positioning System) satellite
  • GNSS Global Navigation Satellite System
  • the output device 907 is formed by a device capable of visually or audibly notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, laser projectors, LED projectors and lamps, acoustic output devices such as speakers and headphones, and printer devices. ..
  • the output device 907 outputs, for example, the results obtained by various processes performed by the information processing device 900.
  • the display device visually displays the results obtained by various processes performed by the information processing device 900 in various formats such as texts, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, etc. into an analog signal and outputs it audibly.
  • the output device 907 can realize, for example, the function of the output unit 220 described with reference to FIG. 7.
  • the storage device 908 is a data storage device formed as an example of the storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deleting device that deletes the data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can realize, for example, the function of the storage unit 120 described with reference to FIG. 7.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing device 900.
  • the drive 909 reads information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 910 is a port for connecting an external connection device such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, an optical audio terminal, or the like. ..
  • the communication device 911 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920.
  • the communication device 911 is, for example, a communication card for a wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication device 911 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 911 can transmit and receive signals and the like to and from the Internet and other communication devices in accordance with a predetermined protocol such as TCP / IP.
  • the communication device 911 can realize, for example, the functions of the communication unit 100, the communication unit 200, and the communication unit 300 described with reference to FIG. 7.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), and a WAN (Wide Area Network).
  • the network 920 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the above is an example of a hardware configuration capable of realizing the functions of the information processing device 900 according to the embodiment.
  • Each of the above components may be realized by using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at each time when the embodiment is implemented.
  • the information processing apparatus 10 performs processing for controlling the transition of the output virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object. ..
  • the information processing device 10 can allow the user to accurately grasp the information regarding the transition of the virtual object.
  • the information processing device 10 can naturally guide the user according to the transition of the virtual object.
  • each device described in the present specification may be realized as a single device, or a part or all of the devices may be realized as separate devices.
  • the information processing device 10, the terminal device 20, and the information providing device 30 shown in FIG. 7 may be realized as independent devices.
  • it may be realized as a server device connected to the information processing device 10, the terminal device 20, and the information providing device 30 via a network or the like.
  • the server device connected by a network or the like may have the function of the control unit 110 of the information processing device 10.
  • each device described in the present specification may be realized by using any of software, hardware, and a combination of software and hardware.
  • the programs constituting the software are stored in advance in, for example, a recording medium (non-temporary medium: non-transitory media) provided inside or outside each device. Then, each program is read into RAM at the time of execution by a computer and executed by a processor such as a CPU.
  • a presentation control unit that determines the transition timing of the virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object that is a virtual object.
  • a presentation creation unit that controls the transition of the output virtual object based on the timing determined by the presentation control unit, and a presentation creation unit.
  • Information processing device (2) The presentation control unit The information processing device according to (1) above, wherein the information processing apparatus according to (1) above determines the transition timing of the virtual object based on the distance between the user who targets the display angle of view and the display range of the virtual object.
  • the presentation control unit The information processing device according to (1) or (2) above, wherein the transition timing of the virtual object is determined based on the minimum distance at which the display range of the virtual object falls within the angle of view of the display angle of view.
  • the presentation control unit One of the above (1) to (3), in which the display range of the virtual object determines a distance equal to or greater than the minimum distance within the angle of view of the display angle of view as the transition timing of the virtual object.
  • the presentation control unit Described in any one of (1) to (4) above, wherein a distance equal to or less than the maximum distance at which the user who targets the display angle of view can recognize the transition is determined as the timing of the transition of the virtual object.
  • Information processing device Described in any one of (1) to (4) above, wherein a distance equal to or less than the maximum distance at which the user who targets the display angle of view can recognize the transition is determined as the timing of the transition of the virtual object.
  • the output unit for outputting the virtual object after the transition is further provided in a predetermined area included in the display range of the virtual object.
  • the information processing device according to any one of (5).
  • the output unit The information processing device according to (6) above, which outputs a virtual object after the transition related to the work to the predetermined area which is a work place of the user's work for the display angle of view.
  • the output unit The information according to (7) above, which outputs a virtual object after the transition related to the work to the predetermined area which is the work place and is a work place determined by an instructor who remotely instructs the work. Processing equipment.
  • the output unit The above (6) is described in (6) above, which outputs visualization information that visualizes the complexity of each virtual object determined based on the attributes of adjacent virtual objects among the virtual objects constituting the virtual object.
  • Information processing device The output unit The information processing device according to (9) above, which outputs the visualization information in which the complexity indicating the richness of each virtual object is visualized based on the height of the display.
  • the presentation creation unit The information processing device according to any one of (1) to (10) above, which controls the transition of the virtual object with respect to the vegetation as the virtual object.
  • the presentation creation unit The information processing device according to any one of (1) to (11) above, which controls the transition of the virtual object so as to be gradually performed.
  • a presentation control process that determines the transition timing of the virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object that is a virtual object.
  • a presentation creation process that controls the transition of the output virtual object based on the timing determined by the presentation control process, and a presentation creation process.
  • Information processing methods including. (14)
  • a presentation control procedure that determines the transition timing of the virtual object based on the distance corresponding to the display angle of view and the display range of the virtual object that is a virtual object.
  • a presentation creation procedure that controls the transition of the output virtual object based on the timing determined by the presentation control procedure, and a presentation creation procedure.
  • An information processing program that causes a computer to execute.
  • Information processing system 10 Information processing device 20 Terminal device 30 Information providing device 100 Communication unit 110 Control unit 111 Acquisition unit 112 Processing unit 1121 Stride control unit 1122 Position control unit 1123 Presentation control unit 1124 Presentation creation unit 113 Output unit 120 Storage unit 200 Communication unit 210 Control unit 220 Output unit 300 Communication unit 310 Control unit 320 Storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mining & Mineral Resources (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Primary Health Care (AREA)
  • Agronomy & Crop Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

仮想オブジェクトに関する情報をユーザに的確に把握させる。実施形態に係る情報処理装置(10)は、表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、仮想オブジェクトの遷移のタイミングを決定する提示制御部(1123)と、提示制御部(1123)によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成部(1124)とを備える。

Description

情報処理装置、情報処理方法および情報処理プログラム
 本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。
 農法の一例として、協生農法(登録商標)(Synecoculture)と呼ばれる無耕起、無施肥、及び無農薬を基本とした農法がある。協生農法(登録商標)では、生態系を構成する様々な生態系構成物の影響を受けるため、作業者が協生農法(登録商標)を短期間で習熟することは困難であり、熟練者の支援が必要となり得る。そこで近年では、圃場(例えば、田畑、農園)の熟練者が遠隔から作業者に農法の支援を行う技術が注目されている。
 協生農法(登録商標)の支援では、圃場などの遠隔地にいる作業者に遠隔地から的確な指示を与える必要がある。そこで近年では、遠隔地の作業者に視覚に基づいた的確な指示を与える技術として、拡張現実(Augmented Reality:AR)が注目されている。
国際公開第2017/061281号
 しかしながら、従来のAR技術では、現実空間に対応する位置にAR表示されたオブジェクト(仮想オブジェクト)(例えば、アイコン)の全体が見える位置から仮想オブジェクトに近づく場合、作業者が仮想オブジェクトの一部を把握できない場合もあり得る。これは、作業者と仮想オブジェクトとの距離によっては、仮想オブジェクトの一部が表示画角の画角内に収まらなくなるためである。この場合、熟練者が近づくように指示した作業場所(作業エリア)を作業者が適切に把握できなくなり得る。このため、熟練者は作業者を的確に誘導できなくなり得る。
 そこで、本開示では、仮想オブジェクトに関する情報をユーザに的確に把握させることが可能な、新規かつ改良された情報処理装置、情報処理方法及び情報処理プログラムを提案する。
 本開示によれば、表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御部と、前記提示制御部によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成部と、を備える、情報処理装置が提供される。
実施形態に係る情報処理システムの構成例を示す図である。 実施形態に係る情報処理システムの実施例の一例を示す図である。 実施形態に係る情報処理システムの実施例の一例を示す図である。 実施形態に係る情報処理システムの実施例の一例を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの構成例を示すブロック図である。 実施形態に係る記憶部の一例を示す図である。 実施形態に係る情報処理装置における処理の流れを示すフローチャートである。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る応用例の一例を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.本開示の一実施形態
  1.1.はじめに
  1.2.情報処理システムの構成
 2.情報処理システムの実施例
  2.1.圃場の確認と作業場所への移動
  2.2.作業
  2.3.作業後の確認
 3.情報処理システムの機能
  3.1.機能の概要
  3.2.機能構成例
  3.3.情報処理システムの処理
  3.4.処理のバリエーション
 4.応用例
  4.1.圃場以外の対象物
 5.ハードウェア構成例
 6.まとめ
<<1.本開示の一実施形態>>
 <1.1.はじめに>
 以下の説明において、圃場の作業者を、適宜、「ユーザ」とする。ユーザは、圃場の作業者をAR体験するユーザであってもよい。実施形態では、ユーザは、実際の圃場の作業者ではなく、圃場の作業者をAR体験する体験者である。また、以下、ユーザに指示する圃場の熟練者を、適宜、「指示者」とする。指示者は、圃場の作業者をAR体験するユーザに対して指示する指示者又は指示物であってもよい。実施形態では、指示者は、実際の圃場の熟練者ではなく、圃場の作業者をAR体験するユーザに対して指示する指示者又は指示物である。
 <1.2.情報処理システムの構成>
 実施形態に係る情報処理システム1の構成について説明する。図1は、情報処理システム1の構成例を示す図である。図1に示したように、情報処理システム1は、情報処理装置10、端末装置20、及び情報提供装置30を備える。情報処理装置10には、多様な装置が接続され得る。例えば、情報処理装置10には、端末装置20及び情報提供装置30が接続され、各装置間で情報の連携が行われる。情報処理装置10には、端末装置20及び情報提供装置30が無線で接続される。例えば、情報処理装置10は、端末装置20及び情報提供装置30とBluetooth(登録商標)を用いた近距離無線通信を行う。なお、情報処理装置10には、端末装置20及び情報提供装置30が有線で接続されてもよいし、ネットワークを介して接続されてもよい。
 (1)情報処理装置10
 情報処理装置10は、表示画角と仮想オブジェクトの表示範囲とに応じた距離に基づいて決定される仮想オブジェクトの遷移のタイミングに基づいて、例えば、端末装置20で出力される仮想オブジェクトの遷移の制御を行う情報処理装置である。具体的には、情報処理装置10は、まず、表示画角と仮想オブジェクトの表示範囲とに応じた距離に基づいて、仮想オブジェクトの遷移のタイミングを決定する。そして、情報処理装置10は、決定されたタイミングに基づいて、仮想オブジェクトの遷移の制御を行う。そして、情報処理装置10は、仮想オブジェクトの遷移を制御するための制御情報を、端末装置20へ提供する。
 また、情報処理装置10は、情報処理システム1の動作全般を制御する機能も有する。例えば、情報処理装置10は、各装置間で連携される情報に基づき、情報処理システム1の動作全般を制御する。具体的には、情報処理装置10は、例えば、情報提供装置30から受信する情報に基づき、端末装置20で出力される仮想オブジェクトの遷移の制御を行う。
 情報処理装置10は、PC(Personal computer)、WS(Work station)等により実現される。なお、情報処理装置10は、PC、WS等に限定されない。例えば、情報処理装置10は、情報処理装置10としての機能をアプリケーションとして実装したPC、WS等の情報処理装置であってもよい。
 (2)端末装置20
 端末装置20は、AR表示の出力可能なシースルー型アイウェア(HoloLens)等のウェアラブル機器である。
 端末装置20は、情報処理装置10から提供された制御情報に基づいて、仮想オブジェクトを出力する。
 (3)情報提供装置30
 情報提供装置30は、仮想オブジェクトに関する情報を情報処理装置10へ提供する情報処理装置である。情報処理装置10は、例えば、仮想オブジェクトに関する情報の取得に関する情報に基づいて、仮想オブジェクトに関する情報を提供する。
 情報提供装置30は、PC、WS等により実現される。なお、情報提供装置30は、PC、WS等に限定されない。例えば、情報提供装置30は、情報提供装置30としての機能をアプリケーションとして実装したPC、WS等の情報処理装置であってもよい。
<<2.情報処理システムの実施例>>
 以上、情報処理システム1の構成について説明した。続いて、情報処理システム1の実施例について説明する。なお、実施形態では、圃場は、実際の圃場ではなく、AR体験用の模擬的な圃場であるため、適宜、「AR圃場」とする。また、実施形態では、ユーザU11はシースルー型アイウェアを装着しており、画角の制約があるものとする。また、実施形態では、圃場には作業場所があるものとする。
 <2.1.圃場の確認と作業場所への移動>
 図2は、AR体験の対象となるユーザU11が圃場の確認を行う場面FS1と、ユーザU11が作業場所へ移動する場面FS2とを示す図である。図2では、AR体験中のユーザU11の行動を示す行動場面US11と、ユーザU11の行動に伴って表示されるAR表示を示すAR場面AS11とが含まれる。以下、行動場面USと、AR場面ASとを対応付けながら説明する。なお、行動画像UR11乃至行動画像UR14は、AR画像AR11乃至AR画像AR14に各々対応するものとする。
 図2は、まず、ユーザU11が、「作業を始めましょう。トマトの苗を持ってください。」と指示された指示場面GS11を示す。行動画像UR11は、ユーザU11がトマトの苗を持ち、圃場から少し離れたところで待機する場面を示す画像である。AR画像AR11は、端末装置20に表示されたAR表示を示す画像である。AR画像AR11では、AR表示がされていない状態のため、現実空間の背景がそのまま表示される。次いで、指示者による操作に応じて、情報処理システム1は、AR圃場中に植生の仮想オブジェクトをAR表示する(S11)。そして、ユーザU11が、「圃場全体の様子です。」と指示された指示場面GS12へ移行する。
 行動画像UR12は、ユーザU11が圃場を俯瞰して圃場全体を把握する場面を示す画像である。AR画像AR12は、端末装置20に表示されたAR表示を示す画像である。AR画像AR12では、AR圃場中に植生の仮想オブジェクトが表示される。例えば、AR画像AR12には、トマトの仮想オブジェクトOB11や、人参の仮想オブジェクトOB12等が表示される。AR画像AR12では、仮想オブジェクトOB11及び仮想オブジェクトOB12を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR12に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。なお、指示場面GS11と指示場面GS12とを合わせた場面が、場面FS1である。そして、ユーザU11が、「今日の作業場所まで近づいてください。」と指示された指示場面GS13へ移行する。
 行動画像UR13は、ユーザU11が作業場所へ近づく場面を示す画像である。情報処理システム1は、ユーザU11の行動に応じて、植生の仮想オブジェクトの表示範囲を制限する処理を行う(S12)。AR画像AR13は、端末装置20に表示されたAR表示を示す画像である。AR画像AR13では、AR画像AR12において表示された植生の仮想オブジェクトの表示範囲が制限される。例えば、AR画像AR13では、ユーザU11が所定の時間内(例えば、一日の作業時間に相当する時間内)に作業可能な情報のみが表示されるように、仮想オブジェクトの表示範囲が制限される。これにより、情報処理システム1は、ユーザU11を作業場所へ的確に誘導することができる。AR画像AR13では、例えば、ジャガイモの仮想オブジェクトOB13や、キャベツの仮想オブジェクトOB14等が表示される。AR画像AR13では、仮想オブジェクトOB13及び仮想オブジェクトOB14を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR13に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、植生の複雑度(多様度)を可視化した可視化情報である仮想オブジェクトをAR表示する(S13)。そして、ユーザU11が、「植生の複雑度を示しています。複雑度が低い箇所に苗を植えます。」と指示された指示場面GS14へ移行する。
 行動画像UR14は、ユーザU11が改善箇所を確認する場面を示す画像である。AR画像AR14は、端末装置20に表示されたAR表示を示す画像である。AR画像AR14では、植生の複雑度を可視化した仮想オブジェクトOB15がAR表示される。AR画像AR14では、例えば、植生の複雑度をメッシュ状の三次元グラフである仮想オブジェクトOB15がAR表示される。仮想オブジェクトOB15は、メッシュ状の三次元グラフの高さの高低に応じて、植生の複雑度を示す。例えば、仮想オブジェクトOB15の下方への窪みは、植生が豊かではない、すなわち、ユーザU11の作業が必要な箇所を示す。これにより、情報処理システム1は、ユーザU11に作業が必要な箇所を的確に示すことができる。なお、指示場面GS13と指示場面GS14とを合わせた場面が、場面FS2である。そして、図3に示す場面へ移行する。
 <2.2.作業>
 図3は、ユーザU11が作業のAR体験を行う場面FS3を示す図である。図3では、ユーザU11の行動を示す行動場面US12と、ユーザU11の行動に伴って表示されるAR表示を示すAR場面AS12とが含まれる。以下、行動場面USと、AR場面ASとを対応付けながら説明する。なお、行動画像UR15乃至行動画像UR18は、AR画像AR15乃至AR画像AR18に各々対応するものとする。
 図3は、ユーザU11が、「では、しゃがんで作業をしましょう。根っこは傷つけないでくださいね。」と指示された指示場面GS15を示す。行動画像UR15は、ユーザU11がしゃがんで待機する場面を示す画像である。AR画像AR15は、端末装置20に表示されたAR表示を示す画像である。AR画像AR15では、指示者による操作に応じて、植生の根の範囲を可視化した仮想オブジェクトが表示される。例えば、AR画像AR15には、植生の根の範囲を可視化した仮想オブジェクトOB16乃至仮想オブジェクトOB18等が表示される。これにより、情報処理システム1は、ユーザU11に傷つけてはいけない植生の根の箇所を的確に示すことができる。AR画像AR15では、仮想オブジェクトOB16及び仮想オブジェクトOB18を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR15に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、指示者の手の動きを可視化した仮想オブジェクトをリアルタイムでAR表示する(S14)。これにより、指示者は、遠隔である場合であっても、的確に指差し指示を行うことができる。なお、ステップS14において、情報処理システム1は、指示者の手の動きを可視化した仮想オブジェクトをリアルタイムでAR表示する場合に限られない。例えば、情報処理システム1は、予め指示者の手の動きを撮像することで、その動きを可視化した仮想オブジェクトをAR表示してもよい。他の例として、情報処理システム1は、予め作成された手の仮想オブジェクトを用いて手の動きを作成することで、その動きを可視化した仮想オブジェクトをAR表示してもよい。そして、ユーザU11が、「この辺りに植えられそうですね。」と指示された指示場面GS16へ移行する。
 行動画像UR16は、ユーザU11が指示者により指示された箇所にトマトの苗を植える場面を示す画像である。AR画像AR16は、端末装置20に表示されたAR表示を示す画像である。AR画像AR16では、指示者による操作に応じて、指示者の手の動きを可視化した仮想オブジェクトがリアルタイムで表示される。例えば、AR画像AR16では、指示者の手の動きを可視化した仮想オブジェクトOB19が表示される。仮想オブジェクトOB19は、指示者の手の動きに応じてリアルタイムに変化する。また、AR画像AR16では、指示者による操作に応じて、作業の必要な箇所を可視化した仮想オブジェクトが表示される。例えば、AR画像AR16では、作業の必要な箇所を可視化した仮想オブジェクトOB20が表示される。これにより、情報処理システム1は、指示者の手の動きとともに、作業の必要な箇所をAR表示することで、作業の必要な箇所に対して、的確に指差し指示を行うことができる。AR画像AR16では、仮想オブジェクトOB19及び仮想オブジェクトOB20を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR16に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、指示者の手の動きによる詳細又はお手本を可視化した仮想オブジェクトをリアルタイムでAR表示する(S15)。これにより、指示者は、ニュアンスを含めた作業のやり方を的確に指示することができる。そして、ユーザU11が、「こんな感じで土をかぶせてください。」と指示された指示場面GS17へ移行する。
 行動画像UR17は、ユーザU11が指示者のお手本を真似して苗に土をかぶせる場面を示す画像である。AR画像AR17は、端末装置20に表示されたAR表示を示す画像である。AR画像AR17では、指示者による操作に応じて、指示者の手の動きを可視化した仮想オブジェクトがリアルタイムで表示される。例えば、AR画像AR17では、指示者の手の動きを可視化した仮想オブジェクトOB19及び仮想オブジェクトOB21が表示される。仮想オブジェクトOB19は、指示者の右手の動きに応じてリアルタイムに変化する。仮想オブジェクトOB21は、指示者の左手の動きに応じてリアルタイムに変化する。これにより、情報処理システム1は、指示者の両手の動きをAR表示することで、より的確に指差し指示を行うことができる。AR画像AR17では、仮想オブジェクトOB19及び仮想オブジェクトOB21を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR17に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、指示者の手の動きによるフィードバックを可視化した仮想オブジェクトをリアルタイムでAR表示する(S16)。これにより、指示者は、フィードバックを示すことで、ユーザU11を安心させることができる。そして、ユーザU11が、「いいですね。そんな感じです。」と指示された指示場面GS18へ移行する。
 行動画像UR18は、ユーザU11が指示者からのフィードバックを確認して、立ち上がる場面を示す画像である。AR画像AR18は、端末装置20に表示されたAR表示を示す画像である。AR画像AR18では、指示者による操作に応じて、フィードバックを示す指示者の手の動きを可視化した仮想オブジェクトがリアルタイムで表示される。例えば、AR画像AR18では、フィードバックを示す指示者の手の動きを可視化した仮想オブジェクトOB19が表示される。仮想オブジェクトOB19は、フィードバックを示す指示者の手の動きに応じてリアルタイムに変化する。これにより、情報処理システム1は、指示者のフィードバックをAR表示することで、より的確に指差し指示を行うことができる。AR画像AR18では、仮想オブジェクトOB19を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR18に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。なお、指示場面GS15乃至指示場面GS18を合わせた場面が、場面FS3である。そして、図4に示す場面へ移行する。
 <2.3.作業後の確認>
 図4は、ユーザU11が行った作業を確認する場面FS4を示す図である。図4では、ユーザU11の行動を示す行動場面US13と、ユーザU11の行動に伴って表示されるAR表示を示すAR場面AS13とが含まれる。以下、行動場面USと、AR場面ASとを対応付けながら説明する。なお、行動画像UR19乃至行動画像UR22は、AR画像AR19乃至AR画像AR22に各々対応するものとする。
 図4は、ユーザU11が、「先ほどより多様性がいい感じになりましたね。」と指示された指示場面GS19を示す。行動画像UR19は、ユーザU11が作業を行った箇所を見る場面を示す画像である。AR画像AR19は、端末装置20に表示されたAR表示を示す画像である。AR画像AR19では、指示者による操作に応じて、植生の複雑度を可視化した仮想オブジェクトOB22がAR表示される。AR画像AR19では、例えば、植生の複雑度をメッシュ状の三次元グラフである仮想オブジェクトOB22がAR表示される。仮想オブジェクトOB22は、高さの高低に応じた複雑度を示す。例えば、仮想オブジェクトOB22は、箇所PT11の複雑度が高く、植生が豊かであることを示す。また、仮想オブジェクトOB22は、箇所PT12の複雑度が低く、植生が豊かでない(乏しい)ことを示す。また、箇所PT13は、場面FS3で、ユーザU11が苗を植えた箇所である。仮想オブジェクトOB22は、箇所PT13の複雑度が高くなり、植生が豊かになったことを示す。これにより、情報処理システム1は、ユーザU11に作業の効果を実感させることができる。AR画像AR19では、仮想オブジェクトOB22を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR19に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、圃場全体の複雑度を可視化した仮想オブジェクトをAR表示する(S17)。これにより、指示者は、他の改善箇所をユーザU11が見つけやすくすることができる。そして、ユーザU11が、「圃場全体を見てもいい感じです。」と指示された指示場面GS20へ移行する。
 行動画像UR20は、ユーザU11が圃場を少し離れたところから見渡す場面を示す画像である。AR画像AR20は、端末装置20に表示されたAR表示を示す画像である。AR画像AR20では、指示者による操作に応じて、圃場全体の植生の複雑度を可視化した仮想オブジェクトOB23がAR表示される。AR画像AR20では、例えば、圃場全体の植生の複雑度をメッシュ状の三次元グラフである仮想オブジェクトOB23がAR表示される。これにより、情報処理システム1は、ユーザU11に他の改善箇所を的確に表示することができる。AR画像AR20では、仮想オブジェクトOB23を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR20に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、予測される未来の植生の成長具合を可視化した仮想オブジェクトをAR表示する(S18)。これにより、指示者は、ユーザU11のモチベーションを向上することができる。そして、ユーザU11が、「成長が気になりますね。2ヶ月後の成長を見てみましょうか。」と指示された指示場面GS21へ移行する。
 行動画像UR21は、ユーザU11が圃場全体を観察する場面を示す画像である。AR画像AR21は、端末装置20に表示されたAR表示を示す画像である。AR画像AR21では、指示者による操作に応じて、予測される未来の植生の成長具合を可視化した仮想オブジェクトが表示される。例えば、AR画像AR21には、予測される未来の植生の成長具合を可視化した仮想オブジェクトOB24乃至仮想オブジェクトOB26等が表示される。これにより、情報処理システム1は、ユーザU11のモチベーションの向上を促進することができる。AR画像AR21では、仮想オブジェクトOB24乃至仮想オブジェクトOB26を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR21に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。次いで、指示者による操作に応じて、情報処理システム1は、予測される収穫時期の植生の成長具合を可視化した仮想オブジェクトをAR表示する(S19)。これにより、指示者は、収穫時期をユーザU11が判断しやすくすることができる。そして、ユーザU11が、「収穫時期はこんな感じです。このくらいの大きさになったら収穫できます。」と指示された指示場面GS22へ移行する。
 行動画像UR22は、ユーザU11が圃場全体を観察する場面を示す画像である。AR画像AR22は、端末装置20に表示されたAR表示を示す画像である。AR画像AR21では、指示者による操作に応じて、予測される収穫時期の植生の成長具合を可視化した仮想オブジェクトOB27等がAR表示される。これにより、情報処理システム1は、ユーザU11の収穫のモチベーションの向上を促進することができる。AR画像AR22では、仮想オブジェクトOB27を仮想オブジェクトの一例として説明の便宜上符号を付したが、AR画像AR22に含まれる他の仮想オブジェクトにも符号が付されてもよいものとする。なお、指示場面GS19乃至指示場面GS22を合わせた場面が、場面FS4である。
 以上、場面FS1乃至場面FS4を用いて、情報処理システム1の実施例を説明した。
<<3.情報処理システムの機能>>
 続いて、情報処理システム1の機能について説明する。
 <3.1.機能の概要>
 図5は、実施形態に係る情報処理システム1の機能の概要を示す図である。図5では、例えば、ユーザU11が圃場の作業場所へ近づく場合を示す。なお、表示範囲HP11は、圃場に表示される仮想オブジェクト全体の表示範囲を示す。そして、作業範囲PP11乃至作業範囲PP13は、表示範囲HP11に含まれる表示範囲のうち、圃場の作業場所に対応する作業範囲(所定の領域)を示す。なお、作業場所は、例えば、指示者により決定される。具体的には、情報処理システム1は、指示者が作業範囲を選択することにより、選択された作業範囲を作業場所として決定する。また、位置AA11及び位置AA12は、表示範囲HP11の一辺からの最短の距離に対応する位置である。具体的には、位置AA11及び位置AA12は、表示範囲HP11の中心からの線と、表示範囲HP11の一辺とが交差する箇所からの距離に対応する位置である。そして、位置AA12は、表示画角GK11に基づいた、表示範囲HP11の全体が表示可能な最小の距離に対応する位置である。また、位置AA11は、位置AA12から所定の距離だけ離れた位置である。ここで、所定の距離とは、例えば、ユーザU11が、仮想オブジェクトの遷移を認知可能な距離である。具体的には、所定の距離とは、ユーザU11が、仮想オブジェクトの遷移に応じて、行動を変化可能な距離である。例えば、所定の距離は、ユーザU11の数歩分の歩幅の移動距離である。
 ユーザU11は、まず、圃場へ向かって、位置AA11まで移動する(S21)。AR画像AR21は、ユーザU11が位置AA11まで移動する際に端末装置20に表示されたAR表示を示す画像である。AR画像AR21には、表示範囲HP11の全体が表示される。次いで、ユーザU11は、圃場へ向かって、位置AA12まで移動する(S22)。情報処理システム1は、端末装置20の表示画角と、表示範囲HP11とに応じた距離に基づいて、仮想オブジェクトの遷移のタイミングを決定する。例えば、情報処理システム1は、位置AA11を遷移のタイミングの起点とし、位置AA12を遷移のタイミングの終点とする。AR画像AR22は、ユーザU11が位置AA12まで移動する際に端末装置20に表示された、仮想オブジェクトの遷移前のAR表示を示す画像である。AR画像AR22には、表示範囲HP11の全体が表示される。AR画像AR23は、ユーザU11が位置AA12まで移動する際に端末装置20に表示された、仮想オブジェクトの遷移後のAR表示を示す画像である。AR画像AR23には、表示範囲HP11の一部が表示される。なお、情報処理システム1は、位置AA12を設けることで、ユーザU11が遷移の変化に気づきやすくなるため、作業場所を的確に把握させることができる。例えば、情報処理システム1は、作業場所の位置や範囲を的確に把握させることができる。そして、ユーザU11は、圃場へ向かって、位置AA12の内側を移動する(S23)。AR画像AR23には、各作業場所に対応する作業範囲が表示される。AR画像AR23には、例えば、作業範囲PP11が表示される。これにより、情報処理システム1は、表示範囲HP11の全体が表示された位置から各作業範囲へ表示の遷移を行うことで、ユーザU11が作業場所を見失うことを防止することができる。また、情報処理システム1は、表示の遷移に応じて、作業場所を絞り込んで表示することで、ユーザU11を作業場所へ自然に誘導することができる。このように、情報処理システム1は、圃場全体が把握できる状態から、各作業場所が表示画角の画角外に出る前のタイミングで情報を絞り込んで表示することで、圃場全体に含まれる各作業場所の位置を的確に把握させることができる。
 図6は、端末装置20の表示画角と、表示範囲HP11からの距離との関係性を示す図である。図6(A)は、端末装置20の表示画角に、表示範囲HP11の全体が含まれる場合を示す。表示画角HG12は、ユーザU11が表示範囲HP11から距離DS21離れた位置にいる場合の表示画角である。この場合、端末装置20には、表示範囲HP11の全体が表示される。図6(B)は、ユーザU11が距離DS21から距離DS23だけ表示範囲HP11に近づいた場合の、端末装置20の表示画角と、表示範囲HP11からの距離との関係性を示す。図6(B)では、端末装置20の表示画角に、表示範囲HP11の一部が含まれる場合を示す。表示画角HG13は、ユーザU11が表示範囲HP11から距離DS22離れた位置にいる場合の表示画角である。この場合、端末装置20には、表示範囲HP11の一部が表示される。例えば、端末装置20には、作業範囲PP11乃至作業範囲PP13のうち、表示画角HG13に含まれる作業範囲PP11のみ表示される。これにより、情報処理システム1は、作業範囲PP11を強調表示することができる。これにより、情報処理システム1は、表示範囲HP11からの距離に応じて、作業範囲を強調表示することができる。
 <3.2.機能構成例>
 図7は、実施形態に係る情報処理システム1の機能構成例を示すブロック図である。
 (1)情報処理装置10
 図7に示したように、情報処理装置10は、通信部100、制御部110、及び記憶部120を備える。なお、情報処理装置10は、少なくとも制御部110を有する。
 (1-1)通信部100
 通信部100は、外部装置と通信を行う機能を有する。例えば、通信部100は、外部装置との通信において、外部装置から受信する情報を制御部110へ出力する。具体的には、通信部100は、情報提供装置30から受信する情報を制御部110へ出力する。例えば、通信部100は、仮想オブジェクトに関する情報を制御部110へ出力する。
 通信部100は、外部装置との通信において、制御部110から入力される情報を外部装置へ送信する。具体的には、通信部100は、制御部110から入力される仮想オブジェクトに関する情報の取得に関する情報を情報提供装置30へ送信する。
 (1-2)制御部110
 制御部110は、情報処理装置10の動作を制御する機能を有する。例えば、制御部110は、表示画角と、仮想オブジェクトの表示範囲とに応じた距離に基づいて、出力される仮想オブジェクトの遷移を制御するための処理を行う。
 上述の機能を実現するために、制御部110は、図7に示すように、取得部111、処理部112、出力部113を有する。
 ・取得部111
 取得部111は、仮想オブジェクトの遷移を制御するための情報を取得する機能を有する。取得部111は、例えば、通信部100を介して、端末装置20から送信されたセンサ情報を取得する。例えば、取得部111は、加速度情報、ジャイロ情報、GPS(Global Positioning System)情報、地磁気情報等の端末装置20の移動や位置に関するセンサ情報を取得する。
 取得部111は、例えば、通信部100を介して、情報提供装置30から送信された仮想オブジェクトに関する情報を取得する。例えば、取得部111は、仮想オブジェクトの表示範囲に関する情報を取得する。また、例えば、取得部111は、仮想オブジェクトの表示範囲に含まれる所定の領域に関する情報を取得する。
 ・処理部112
 処理部112は、情報処理装置10の処理を制御するための機能を有する。処理部112は、図7に示すように、歩幅制御部1121、位置制御部1122、提示制御部1123、及び提示作成部1124を有する。
 ・歩幅制御部1121
 歩幅制御部1121は、端末装置20を有するユーザの移動に関する情報を決定する処理を行う機能を有する。歩幅制御部1121は、例えば、端末装置20の移動に関する情報に基づいて、歩幅や歩き速度等のユーザの移動に関する情報を決定する。例えば、歩幅制御部1121は、加速度情報及びジャイロ情報のうち少なくともいずれか一つに基づいて、ユーザの移動に関する情報を決定する。具体的な例を挙げると、歩幅制御部1121は、ユーザの移動距離を、その移動距離に掛かった歩数で割ることにより、ユーザの歩幅を決定する。また、歩幅制御部1121は、ユーザの進行方向に関する情報を決定する。例えば、歩幅制御部1121は、ユーザの進行方向と、ユーザから仮想オブジェクトの表示範囲の中心への方向との関係性に関する情報を決定する。
 ・位置制御部1122
 位置制御部1122は、端末装置20を有するユーザの位置に関する情報を決定する処理を行う機能を有する。位置制御部1122は、例えば、端末装置20の位置に関する情報に基づいて、ユーザの位置に関する情報を決定する。例えば、位置制御部1122は、仮想オブジェクトの表示範囲に対するユーザの位置に関する情報を決定する。具体的には、位置制御部1122は、GPS情報、地磁気情報、及びユーザの移動に関する情報のうち少なくともいずれか一つに基づいて、ユーザの位置に関する情報を決定する。また、位置制御部1122は、例えば、仮想オブジェクトの表示範囲の位置に関する情報と、表示画角の角度に関する情報とに基づいて、仮想オブジェクトの表示範囲からのユーザの位置に関する情報を決定する。例えば、位置制御部1122は、仮想オブジェクトの表示範囲の一辺からのユーザの位置に関する情報を決定する。具体的には、位置制御部1122は、仮想オブジェクトの表示範囲の中心とユーザとを結ぶ直線と、仮想オブジェクトの表示範囲の一辺とが交差する箇所からのユーザの位置に関する情報を決定する。
 ・提示制御部1123
 提示制御部1123は、仮想オブジェクトの遷移のタイミングに関する情報を決定する処理を行う機能を有する。提示制御部1123は、例えば、ユーザの位置に関する情報に基づいて、表示画角を決定する。また、提示制御部1123は、例えば、表示画角と、仮想オブジェクトの表示範囲とに応じた距離に基づいて、仮想オブジェクトの遷移のタイミングに関する情報を決定する。例えば、提示制御部1123は、表示画角を対象とするユーザと、仮想オブジェクトの表示範囲との距離に基づいて、仮想オブジェクトの遷移のタイミングに関する情報を決定する。
 提示制御部1123は、例えば、仮想オブジェクトの表示範囲が表示画角の画角内に収まる最小の距離に基づいて、仮想オブジェクトの遷移のタイミングを決定する。具体的には、提示制御部1123は、仮想オブジェクトの表示範囲が表示画角の画角内に収まる最小の距離以上の距離を、仮想オブジェクトの遷移のタイミングとして決定する。なお、提示制御部1123は、仮想オブジェクトの表示範囲が表示画角の画角内に収まる最小の距離以上の距離を、仮想オブジェクトの遷移のタイミングの起点又は終点として決定してもよい。
 提示制御部1123は、例えば、表示画角を対象とするユーザが仮想オブジェクトの遷移を認知可能な最大の距離に基づいて、仮想オブジェクトの遷移のタイミングを決定する。具体的には、提示制御部1123は、表示画角を対象とするユーザが仮想オブジェクトの遷移を認知可能な最大の距離以下の距離を、仮想オブジェクトの遷移のタイミングとして決定する。なお、提示制御部1123は、表示画角を対象とするユーザが仮想オブジェクトの遷移を認知可能な最大の距離以下の距離を、仮想オブジェクトの遷移のタイミングの起点又は終点として決定してもよい。
 ・提示作成部1124
 提示作成部1124は、出力される仮想オブジェクトの遷移を制御する処理を行う機能を有する。具体的には、提示作成部1124は、提示制御部1123によって決定されたタイミングに基づいて、仮想オブジェクトの遷移を制御する。提示作成部1124は、例えば、仮想オブジェクトの遷移が徐々に行われるように制御する。例えば、提示作成部1124は、仮想オブジェクトの遷移のタイミングの起点から終点へと、仮想オブジェクトの遷移が徐々に行われるように制御する。
 提示作成部1124は、指示者による操作に応じて、仮想オブジェクトの遷移を制御する。例えば、提示作成部1124は、指示者により選択された仮想オブジェクトに関する情報が出力されるように制御する。また、例えば、提示作成部1124は、ユーザが所定の時間内に作業可能な仮想オブジェクトに関する情報が出力されるように制御する。
 提示作成部1124は、仮想オブジェクトを構成する各々の仮想オブジェクトの複雑度を決定する。例えば、提示作成部1124は、隣接関係にある仮想オブジェクトの属性に基づいて、仮想オブジェクトを構成する各々の仮想オブジェクトの複雑度を決定する。具体的には、提示作成部1124は、隣接関係にある仮想オブジェクトの属性同士が類似する場合には、属性が類似する各々の仮想オブジェクトの複雑度を低くする。他の例として、提示作成部1124は、隣接関係にある仮想オブジェクトの数が少ない仮想オブジェクトの複雑度を低くする。
 ・出力部113
 出力部113は、仮想オブジェクトに関する情報を出力する機能を有する。具体的には、出力部113は、提示作成部1124によって制御された仮想オブジェクトの遷移に基づいて、仮想オブジェクトに関する情報を出力する。出力部113は、例えば、仮想オブジェクトの表示範囲に含まれる所定の領域に、遷移後の仮想オブジェクトを出力する。
 出力部113は、作業場所である所定の領域に、作業に関する遷移後の仮想オブジェクトを出力する。例えば、出力部113は、作業を遠隔で指示する指示者によって決定された作業場所である所定の領域に、作業に関する遷移後の仮想オブジェクトを出力する。
 出力部113は、仮想オブジェクトの表示範囲の対象となる対象物に関する複雑度を可視化した可視化情報を出力する。例えば、出力部113は、複雑度をメッシュ状の三次元グラフで示した可視化情報を出力する。
 出力部113は、仮想オブジェクトに関する情報を提供する。具体的には、出力部113は、通信部100を介して、出力情報を提供する。
 (1-3)記憶部120
 記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、情報処理装置10における処理に関するデータを記憶する機能を有する。
 図8は、記憶部120の一例を示す。図8に示す記憶部120は、仮想オブジェクトに関する情報を記憶する。図8に示すように、記憶部120は、「仮想オブジェクトID」、「仮想オブジェクト」、「表示範囲」、「作業範囲」、「作業情報」といった項目を有してもよい。
 「仮想オブジェクトID」は、仮想オブジェクトを識別するための識別情報を示す。「仮想オブジェクト」は、仮想オブジェクトに関する情報を示す。図8に示す例では、「仮想オブジェクト」に「仮想オブジェクト#1」や「仮想オブジェクト#2」といった概念的な情報が格納される例を示したが、実際には、仮想オブジェクトを構成する各々の仮想オブジェクトの形状や属性等を示す情報や座標情報が格納される。「表示範囲」は、仮想オブジェクトの表示範囲を示す。図8に示す例では、「表示範囲」に「表示範囲#1」や「表示範囲#2」といった概念的な情報が格納される例を示したが、実際には、座標情報が格納される。「作業範囲」は、仮想オブジェクトの表示範囲のうち、作業が必要な作業範囲を示す。図8に示す例では、「作業範囲」に「作業範囲#1」や「作業範囲#2」といった概念的な情報が格納される例を示したが、実際には、座標情報が格納される。「作業情報」は、各作業範囲における作業情報を示す。図8に示す例では、「作業情報」に「作業情報#1」や「作業情報#2」といった概念的な情報が格納される例を示したが、実際には、指示者により入力された入力情報が格納される。
 (2)端末装置20
 図7に示したように、端末装置20は、通信部200、制御部210、出力部220、及びセンサ部230を有する。
 (2-1)通信部200
 通信部200は、外部装置と通信を行う機能を有する。例えば、通信部200は、外部装置との通信において、外部装置から受信する情報を制御部210へ出力する。具体的に、通信部200は、情報処理装置10から受信する仮想オブジェクトに関する情報を制御部210へ出力する。
 (2-2)制御部210
 制御部210は、端末装置20の動作全般を制御する機能を有する。例えば、制御部210は、仮想オブジェクトに関する情報の出力を制御する処理を行う。
 (2-3)出力部220
 出力部220は、仮想オブジェクトに関する情報を出力する機能を有する。例えば、出力部220は、仮想オブジェクトに関する情報をAR表示する。
 (2-4)センサ部230
 センサ部230は、各測定器により測定されたセンサ情報を取得する機能を有する。例えば、センサ部230は、加速度情報、ジャイロ情報、GPS情報、地磁気情報等のセンサ情報を取得する。図7に示したように、センサ部230は、加速度センサ部231、ジャイロセンサ部232、GPS受信部233、及び地磁気センサ部234を有してもよい。
 (3)情報提供装置30
 図7に示したように、情報提供装置30は、通信部300、制御部310、及び記憶部320を備える。
 (3-1)通信部300
 通信部300は、外部装置と通信を行う機能を有する。例えば、通信部300は、外部装置との通信において、外部装置から受信する情報を制御部310へ出力する。具体的には、通信部300は、情報処理装置10から受信する情報を制御部310へ出力する。例えば、通信部300は、仮想オブジェクトに関する情報の取得に関する情報を制御部310へ出力する。
 (3-2)制御部310
 制御部310は、情報提供装置30の動作を制御する機能を有する。例えば、制御部310は、通信部300を介して、仮想オブジェクトに関する情報を情報処理装置10へ送信する。例えば、制御部310は、記憶部320にアクセスして取得した仮想オブジェクトに関する情報を情報処理装置10へ送信する。
 (3-3)記憶部320
 記憶部320は、記憶部120と同様の情報を記憶する。このため、記憶部320の説明を省略する。
 <3.3.情報処理システムの処理>
 以上、実施形態に係る情報処理システム1の機能について説明した。続いて、情報処理システム1の処理について説明する。
 (1)情報処理装置10における処理
 図9は、実施形態に係る情報処理装置10における処理の流れを示すフローチャートである。まず、情報処理装置10は、仮想オブジェクトの表示範囲に関する情報を取得する(S101)。例えば、情報処理装置10は、仮想オブジェクトの表示範囲の中心の座標、幅(Width)、奥行き(Depth)に関する情報を取得する。次いで、情報処理装置10は、表示画角に関する情報を取得する(S102)。例えば、情報処理装置10は、表示画角の角度に関する情報を取得する。
 次いで、情報処理装置10は、仮想オブジェクトの表示範囲が、表示画角の画角内に収まる最小の距離を算出する(S103)。例えば、情報処理装置10は、表示範囲の幅に関する情報と、表示画角の角度に関する情報とに基づいて、仮想オブジェクトの表示範囲が、表示画角の画角内に収まる最小の距離を算出する。そして、情報処理装置10は、ユーザの移動に関する情報を取得する(S104)。例えば、情報処理装置10は、ユーザの歩幅に関する情報を取得する。そして、情報処理装置10は、ユーザが仮想オブジェクトの遷移を認知可能な距離を算出する(S105)。例えば、情報処理装置10は、ユーザの歩幅に関する情報に基づいて、ユーザの歩幅の数歩分を、仮想オブジェクトの遷移を認知可能な距離として算出する。そして、情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離を算出する(S106)。例えば、情報処理装置10は、ユーザの座標情報と、仮想オブジェクトの表示範囲の座標情報とに基づいて、ユーザから仮想オブジェクトの表示範囲までの距離を算出する。
 次いで、情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離が所定の閾値以上であるか否かを判定する(S107)。例えば、情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離がゼロ以下であるか否かを判定する。情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離が所定の閾値未満である場合には、情報処理を終了する。また、情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離が所定の閾値以上である場合には、その距離が、仮想オブジェクトの遷移を認知可能な距離以上であるか否かを判定する(S108)。情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離が、仮想オブジェクトの遷移を認知可能な距離以上である場合には、仮想オブジェクトの表示範囲の全体を表示する(S109)。また、情報処理装置10は、ユーザから仮想オブジェクトの表示範囲までの距離が、仮想オブジェクトの遷移を認知可能な距離未満である場合には、各作業範囲を表示する(S110)。そして、情報処理装置10は、ユーザの位置情報を更新する(S111)。そして、S106の処理に戻る。
 <3.4.処理のバリエーション>
 以上、本開示の実施形態について説明した。続いて、本開示の実施形態の処理のバリエーションを説明する。なお、以下に説明する処理のバリエーションは、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、処理のバリエーションは、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
(1)誘導情報の表示
 上記実施形態では、出力部113が、処理部112によって決定された遷移に関する情報に基づく仮想オブジェクトを出力する場合を示した。ここで、出力部113は、ユーザの視線の方向以外の方向へ視線を誘導するための表示情報である誘導情報を出力してもよい。例えば、出力部113は、ユーザの視線の方向と、ユーザの視線を誘導したい方向とを示す誘導情報を出力してもよい。これにより、情報処理システム1は、指示者が指示したい作業場所へユーザを的確に誘導することができる。また、情報処理システム1は、ユーザが仮想オブジェクトの表示範囲の方向に視線を向けていない場合であっても、仮想オブジェクトの表示範囲の方向へ的確に誘導することができる。
 図10は、ユーザU11の視線の方向以外の方向へ視線を誘導する場合の一例を示す。図10(A)は、ユーザU11の視線の方向と、ユーザU11の視線を誘導したい方向との一例を示す。図10(A)では、ユーザU11が実際に視線を向けている方向から、表示範囲HP11の方向へとユーザU11の視線を誘導する。表示画角HG13は、ユーザU11が視線を向けている方向の表示画角である。表示画角HG14は、ユーザU11の視線を誘導したい方向の表示画角である。図10(B)は、出力される誘導情報の一例を示す。図10(B)に示すように、出力部113は、ユーザU11の視線の方向と、ユーザU11の視線を誘導したい方向とをレーダで示すレーダビュ(Radar View)を出力してもよい。また、出力部113は、端末装置20に誘導情報が出力されるように、端末装置20へ誘導情報の制御情報を提供してもよい。これにより、ユーザU11は、端末装置20を介して、指示者が誘導する方向を的確に把握することができる。これにより、情報処理システム1は、更なるユーザビリティの向上を促進することができる。なお、図10(B)に示す誘導情報は一例であり、ユーザU11の視線を誘導するための誘導情報であれば、どのようなものがどのような態様で出力されてもよい。
(2)俯瞰情報の表示
 出力部113は、ユーザの表示画角を俯瞰した表示情報である俯瞰情報を出力してもよい。例えば、出力部113は、仮想オブジェクトの表示範囲の全体に対するユーザの表示画角の関係性(例えば、位置関係)を示す俯瞰情報を出力してもよい。これにより、情報処理システム1は、仮想オブジェクトの表示範囲の全体に対するユーザの位置を的確に把握させることができる。また、情報処理システム1は、例えば、ユーザが仮想オブジェクトの表示範囲の一部に近く寄り過ぎている場合であっても、仮想オブジェクトの表示範囲の全体を的確に把握させることができる。また、出力部113は、例えば、各作業範囲に対するユーザの表示画角の関係性を示す俯瞰情報を出力してもよい。これにより、情報処理システム1は、作業場所の位置を的確に把握させることができる。また、情報処理システム1は、例えば、ユーザが仮想オブジェクトの表示範囲の一部に近く寄り過ぎている場合であっても、作業場所の位置を的確に把握させることができる。
 図11を用いて、出力される俯瞰情報を説明する。表示画角HG15及び表示画角HG16は、ユーザU11の表示画角を示す。表示画角HG15は、ユーザU11が直立状態の場合の表示画角である。表示画角HG16は、ユーザU11が着座状態の場合の表示画角である。図11(B)は、図11(A)に示す表示画角HG15を真上から俯瞰した俯瞰情報を示す。図11(D)は、図11(C)に示す表示画角HG16を真上から俯瞰した俯瞰情報を示す。図11(B)及び図11(D)に示すように、出力部113は、俯瞰情報を出力してもよい。また、出力部113は、端末装置20に俯瞰情報が出力されるように、端末装置20へ俯瞰情報の制御情報を提供してもよい。これにより、ユーザU11は、端末装置20を介して、ユーザU11の表示画角と、作業範囲PP11乃至作業範囲PP13と、表示範囲HP11との関係性を的確に把握することができる。これにより、情報処理システム1は、更なるユーザビリティの向上を促進することができる。なお、図11(B)及び図11(D)に示す俯瞰情報は一例であり、ユーザU11の表示画角を俯瞰する俯瞰情報であれば、どのようなものがどのような態様で出力されてもよい。
(3)VR、MR、XRを用いた出力情報
 上記実施形態では、情報処理システム1が、端末装置20として、AR表示の出力可能なシースルー型アイウェアを用いる場合を示したが、この例に限られない。情報処理システム1は、例えば、VR(Virtual Reality)、MR(Mixed Reality)、XR(X Reality)用の端末装置に出力情報を出力してもよい。なお、XRは、AR、VR、MR等の総称である。例えば、情報処理システム1は、VR、MR、XR用のヘッドマウントディスプレイに出力情報を出力してもよい。また、情報処理システム1は、端末装置20として、スマートホン等の端末装置で体験できるモバイル(Mobile)AR用の出力情報を出力してもよい。これにより、情報処理システム1は、ユーザにスマートホンを用いたAR体験を提供することができるため、更なるユーザビリティの向上を促進することができる。
(4)プロジェクタを用いた出力情報
 上記実施形態では、情報処理システム1が、端末装置20に、出力情報を出力する場合を示したが、この例に限られない。情報処理システム1は、例えば、プロジェクタを用いて、出力情報を出力してもよい。情報処理システム1は、例えば、特定の場所や特定の対象物上に仮想オブジェクトを投影することにより、出力情報を出力してもよい。この場合、例えば、特定の場所や特定の対象物上に投影された投影範囲が、仮想オブジェクトの表示範囲となる。また、情報処理システム1は、例えば、ユーザの位置情報を取得可能な端末装置(例えば、スマートホンやモバイル機器)と、プロジェクタとを用いて、出力情報を出力してもよい。
(5)ビーコン、ARマーカを用いた位置測位
 上記実施形態では、情報処理システム1が、ユーザの位置の測定にGPS情報を用いる場合を示したが、この例に限られない。情報処理システム1は、ビーコンやARマーカ等の位置の測定に関する他の手法を用いて、ユーザの位置に関する情報を決定してもよい。例えば、情報処理システム1は、ビーコンやARマーカ等の位置の測定に関する他の手法を用いて、ユーザと特定の場所や特定の対象物との距離に関する情報を決定してもよい。
(6)音情報、触覚情報の出力
 上記実施形態では、ユーザが特定の場所や特定の対象物に近く寄り過ぎた場合や、指示者が所望する方向以外にユーザの視線がある場合には、レーダビュ等の誘導情報を出力することによって、ユーザの位置や向きを誘導する場合を示した。このように、上記実施形態では、情報処理システム1は、ユーザの位置や向きを誘導するための視覚情報を出力した。ここで、情報処理システム1は、視覚情報とともに、音情報(例えば、音声情報や音響情報)や触覚情報(例えば、振動情報)を出力してもよい。また、情報処理システム1は、視覚情報を出力せずに、音情報や触覚情報を出力してもよい。例えば、情報処理システム1は、視覚情報が示す内容に相当する音情報や触覚情報を出力してもよい。
(7)仮想オブジェクトの表示範囲の把握
 情報処理システム1は、ユーザが特定の場所や特定の対象物に近く寄り過ぎた場合や、ユーザが着座状態になったことにより視線が低くなった場合等、仮想オブジェクトの表示範囲の全体を把握しづらくなった場合には、移動体(例えば、ドローン)により撮像された撮像情報や特定位置の撮像装置(例えば、カメラ)により撮像された撮像情報等に基づいて、仮想オブジェクトの表示範囲の全体を把握できるようにしてもよい。
(8)遷移のタイミング
 上記実施形態では、情報処理システム1は、仮想オブジェクトの表示範囲と、ユーザとの距離に基づいて、仮想オブジェクトの遷移を制御する場合を示したが、この例に限られない。情報処理システム1は、例えば、仮想オブジェクトの表示範囲の方向と、ユーザの視線の方向とに基づいて、仮想オブジェクトの遷移を制御してもよい。例えば、情報処理システム1は、ユーザの視線が仮想オブジェクトの表示範囲の方向を向いているか否かを判定して、ユーザの視線が仮想オブジェクトの表示範囲の方向を向いている場合にのみ仮想オブジェクトが遷移するように、仮想オブジェクトの遷移の制御を行ってもよい。
(9)移動体
 上記実施形態では、仮想オブジェクトの表示範囲の対象となる対象物が、特定の位置に固定されている対象物である場合を示した。ここで、仮想オブジェクトの表示範囲の対象となる対象物が、特定の位置に固定されない移動体であってもよい。また、情報処理システム1は、移動体の上に仮想オブジェクトが表示されるように仮想オブジェクトの表示範囲を定めてもよい。この場合、移動体の移動に応じて、仮想オブジェクトの表示範囲は動的に変化する。情報処理システム1は、仮想オブジェクトの表示範囲と、ユーザとの相対的な距離に基づいて、仮想オブジェクトの遷移を制御するための処理を行ってもよい。
(10)ユーザ属性
 情報処理システム1は、ユーザの属性に応じて、仮想オブジェクトの表示範囲を変化させてもよい。情報処理システム1は、例えば、指示者が、仮想オブジェクトの表示範囲をユーザの属性毎に予め定めることにより、ユーザの属性に応じた仮想オブジェクトの表示範囲を出力してもよい。例えば、情報処理システム1は、ユーザが仮想オブジェクトの表示範囲の対象となる対象物を管理するマネージャである場合には、仮想オブジェクトの表示範囲の全体を出力してもよい。他の例として、情報処理システム1は、ユーザが仮想オブジェクトの表示範囲の対象となる対象物の一部を担当する作業者である場合には、仮想オブジェクトの表示範囲のうち、作業者が担当する一部の作業範囲のみを出力してもよい。
(11)透過度、音量に基づく制御
 情報処理システム1は、仮想オブジェクトの透過度を変化させることで、仮想オブジェクトの遷移を制御してもよい。例えば、情報処理システム1は、遷移後に出力される仮想オブジェクトの透過度を徐々に変化させることで、仮想オブジェクトがなだらかに遷移するように仮想オブジェクトの遷移を制御してもよい。なお、情報処理システム1は、音情報を出力する場合には、音量の大きさを変化させることで、仮想オブジェクトの遷移を制御してもよい。また、情報処理システム1は、音量の大きさに限らず、立体音響(例えば、三次元音響、三次元オーディオ)による三次元的な音の位置や方向、距離等を変化させることで、仮想オブジェクトの遷移を制御してもよい。
(12)音情報、触覚情報に基づく制御
 情報処理システム1は、視覚情報とともに、音情報や触覚情報を連動して変化させることで、仮想オブジェクトの遷移を制御してもよい。例えば、情報処理システム1は、仮想オブジェクトの遷移に応じて、視覚情報とともに、音情報や触覚情報を連動して変化させることで、仮想オブジェクトの遷移を制御してもよい。
(13)遠ざかる場合の遷移のタイミング
 上記実施形態では、ユーザが仮想オブジェクトの表示範囲へ近づく場合を例に挙げて、情報処理システム1が仮想オブジェクトの遷移を制御するための処理を説明した。ここで、情報処理システム1は、ユーザが仮想オブジェクトの表示範囲から遠ざかる場合も同様の処理に基づいて、仮想オブジェクトの遷移を制御してもよい。また、情報処理システム1は、ユーザが仮想オブジェクトの表示範囲から遠ざかる場合には、仮想オブジェクトの表示範囲へ近づく場合とは異なるタイミングを、仮想オブジェクトの遷移のタイミングとしてもよい。
(14)ユーザ状況(状態)に基づく制御
 情報処理システム1は、ユーザの状況に応じて、仮想オブジェクトの遷移を制御してもよい。情報処理システム1は、ユーザの状況と、仮想オブジェクトの遷移の制御に関する情報とが予め対応付けて定められることで、ユーザの状況に応じた仮想オブジェクトの遷移の制御を行ってもよい。情報処理システム1は、例えば、ユーザが作業用の道具を持っている場合には、そのユーザの状況に応じた仮想オブジェクトの遷移の制御を行ってもよい。また、情報処理システム1は、例えば、ユーザが作業用の道具を持っている場合には、ユーザが作業者であると推定して、ユーザの属性に応じた仮想オブジェクトの遷移の制御を行ってもよい。
(15)その他の限定
 上記実施形態では、ユーザは、圃場の作業者をAR体験する体験者である場合を示したが、この例に限られず、指示者による指示の対象となる対象者であれば、どのようなものであってもよい。ユーザは、例えば、街中、オフィス内、倉庫内等をAR体験する体験者であってもよい。また、ユーザは、VR、MR、XR体験する体験者であってもよい。
 上記実施形態では、指示者は、圃場の作業者をAR体験するユーザに対して指示する指示者又は指示物である場合を示したが、この例に限られず、ユーザに指示する指示者又は指示物であれば、どのようなものであってもよい。
 上記実施形態では、出力部113が、植生の複雑度をメッシュ状の三次元グラフで示した仮想オブジェクトを出力する場合を示したが、この例に限られない。出力部113は、仮想オブジェクトの表示範囲の対象となる対象物に関する複雑度を示す可視化情報であれば、どのようなものをどのような態様で出力してもよい。例えば、出力部113は、植生の複雑度をメッシュ以外の他の形状の三次元グラフで示した仮想オブジェクトを出力してもよい。
 上記実施形態では、出力部113が、指示者の手の動きを可視化した可視化情報を出力する場合を示したが、この例に限られない。出力部113は、指示者の操作に基づく詳細やお手本を可視化した可視化情報であれば、どのようなものをどのような態様で出力してもよい。例えば、出力部113は、指示者の手の動きに限らず、指示者の身体の動き全体を可視化した可視化情報を出力してもよい。
<<4.応用例>>
 以上、本開示の実施形態について説明した。続いて、本開示の実施形態に係る情報処理システム1の応用例を説明する。
 <4.1.圃場以外の対象物>
 上記実施形態は、圃場以外の対象物においても応用し得る。例えば、上記実施形態は、街中、オフィス、倉庫内等の空間内に複数の対象物が存在する場合においても応用し得る。情報処理システム1は、特定の場所や特定の対象物をユーザに認知させるために、例えば、ユーザが空間外に出る前のタイミングで絞り込みを行ってもよい。この場合、提示制御部1123は、特定の場所や特定の対象物までの距離と、ユーザが空間外に出るまでの距離とに基づいて、ユーザが空間外に出る前のタイミングを、仮想オブジェクトの遷移のタイミングとして決定してもよい。図12(A)は、街中の一例を示す。情報処理システム1は、例えば、特定の店舗や特定の建物へユーザを誘導するための処理を行ってもよい。図12(B)は、オフィス内の一例を示す。情報処理システム1は、例えば、特定の部署や特定の人や特定の席(例えば、空き席)へユーザを誘導するための処理を行ってもよい。図12(C)は、倉庫内の一例を示す。情報処理システム1は、例えば、特定の商品や特定の種類の品物へユーザを誘導するための処理を行ってもよい。なお、図12に示す例は一例であり、こられの例に限られない。
<<5.ハードウェア構成例>>
 最後に、図13を参照しながら、実施形態に係る情報処理装置のハードウェア構成例について説明する。図13は、実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。なお、図13に示す情報処理装置900は、例えば、図7に示した情報処理装置10、端末装置20、及び情報提供装置30を実現し得る。実施形態に係る情報処理装置10、端末装置20、及び情報提供装置30による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図13に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、及びRAM(Random Access Memory)903を備える。また、情報処理装置900は、ホストバス904a、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート910、及び通信装置911を備える。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ハードウェア構成は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
 CPU901は、例えば、演算処理装置又は制御装置として機能し、ROM902、RAM903、又はストレージ装置908に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM902は、CPU901に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM903には、例えば、CPU901に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。これらはCPUバスなどから構成されるホストバス904aにより相互に接続されている。CPU901、ROM902およびRAM903は、例えば、ソフトウェアとの協働により、図7を参照して説明した制御部110、制御部210、及び制御部310の機能を実現し得る。
 CPU901、ROM902、及びRAM903は、例えば、高速なデータ伝送が可能なホストバス904aを介して相互に接続される。一方、ホストバス904aは、例えば、ブリッジ904を介して比較的データ伝送速度が低速な外部バス904bに接続される。また、外部バス904bは、インタフェース905を介して種々の構成要素と接続される。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチ及びレバー等、リスナによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いて入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900の管理者は、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
 他にも、入力装置906は、ユーザの移動や位置を検知する装置により形成され得る。例えば、入力装置906は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ(例えば、ToF(Time of Flight)センサ)、力センサ等の各種のセンサを含み得る。また、入力装置906は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺空間に関する情報を取得してもよい。また、入力装置906は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して装置の緯度、経度及び高度を含む位置情報を測定するGNSSモジュールを含んでもよい。また、位置情報に関しては、入力装置906は、Wi-Fi(登録商標)、携帯電話・PHS・スマートホン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置906は、例えば、図7を参照して説明したセンサ部230の機能を実現し得る。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば、図7を参照して説明した出力部220の機能を実現し得る。
 ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図7を参照して説明した記憶部120の機能を実現し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート910は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器を接続するためのポートである。
 通信装置911は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置911は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置911は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置911は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置911は、例えば、図7を参照して説明した通信部100、通信部200、及び通信部300の機能を実現し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
<<6.まとめ>>
 以上説明したように、実施形態に係る情報処理装置10は、表示画角と、仮想オブジェクトの表示範囲とに応じた距離に基づいて、出力される仮想オブジェクトの遷移を制御するための処理を行う。これにより、情報処理装置10は、仮想オブジェクトの遷移に関する情報をユーザに的確に把握させることができる。また、情報処理装置10は、仮想オブジェクトの遷移に応じて、ユーザを自然に誘導することができる。
 よって、仮想オブジェクトの遷移に関する情報をユーザに的確に把握させることが可能な、新規かつ改良された情報処理装置、情報処理方法及び情報処理プログラムを提供することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本
開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図7に示した情報処理装置10、端末装置20、及び情報提供装置30は、それぞれ単独の装置として実現されてもよい。また、例えば、情報処理装置10、端末装置20、及び情報提供装置30とネットワーク等で接続されたサーバ装置として実現されてもよい。また、情報処理装置10が有する制御部110の機能をネットワーク等で接続されたサーバ装置が有する構成であってもよい。
 また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
 また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御部と、
 前記提示制御部によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成部と、
 を備える、情報処理装置。
(2)
 前記提示制御部は、
 前記距離として、前記表示画角を対象とするユーザと、前記仮想オブジェクトの表示範囲との距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する
 前記(1)に記載の情報処理装置。
(3)
 前記提示制御部は、
 前記仮想オブジェクトの表示範囲が、前記表示画角の画角内に収まる最小の距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する
 前記(1)又は(2)に記載の情報処理装置。
(4)
 前記提示制御部は、
 前記仮想オブジェクトの表示範囲が、前記表示画角の画角内に収まる最小の距離以上の距離を、前記仮想オブジェクトの遷移のタイミングとして決定する
 前記(1)~(3)のいずれか一つに記載の情報処理装置。
(5)
 前記提示制御部は、
 前記表示画角を対象とするユーザが、前記遷移を認知可能な最大の距離以下の距離を、前記仮想オブジェクトの遷移のタイミングとして決定する
 前記(1)~(4)のいずれか一つに記載の情報処理装置。
(6)
 前記提示作成部によって制御された仮想オブジェクトの遷移に基づいて、前記仮想オブジェクトの表示範囲に含まれる所定の領域に、遷移後の仮想オブジェクトを出力する出力部と、を更に備える
 前記(1)~(5)のいずれか一つに記載の情報処理装置。
(7)
 前記出力部は、
 前記表示画角を対象とするユーザの作業の作業場所である前記所定の領域に、当該作業に関する前記遷移後の仮想オブジェクトを出力する
 前記(6)に記載の情報処理装置。
(8)
 前記出力部は、
 前記作業場所であって、前記作業を遠隔で指示する指示者によって決定された作業場所である前記所定の領域に、当該作業に関する前記遷移後の仮想オブジェクトを出力する
 前記(7)に記載の情報処理装置。
(9)
 前記出力部は、
 前記仮想オブジェクトを構成する各々の仮想オブジェクトのうち、隣接関係にある仮想オブジェクトの属性に基づいて決定される当該各々の仮想オブジェクトの複雑度を可視化した可視化情報を出力する
 前記(6)に記載の情報処理装置。
(10)
 前記出力部は、
 前記各々の仮想オブジェクトの豊かさを示す前記複雑度を、表示の高さの高低に基づいて視覚化した前記可視化情報を出力する
 前記(9)に記載の情報処理装置。
(11)
 前記提示作成部は、
 前記仮想オブジェクトとして、植生に関する仮想オブジェクトの遷移を制御する
 前記(1)~(10)のいずれか一つに記載の情報処理装置。
(12)
 前記提示作成部は、
 前記仮想オブジェクトの遷移が徐々に行われるように制御する
 前記(1)~(11)のいずれか一つに記載の情報処理装置。
(13)
 コンピュータが実行する情報処理方法であって、
 表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御工程と、
 前記提示制御工程によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成工程と、
 を含む情報処理方法。
(14)
 表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御手順と、
 前記提示制御手順によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成手順と、
 をコンピュータに実行させる情報処理プログラム。
 1 情報処理システム
 10 情報処理装置
 20 端末装置
 30 情報提供装置
 100 通信部
 110 制御部
 111 取得部
 112 処理部
 1121 歩幅制御部
 1122 位置制御部
 1123 提示制御部
 1124 提示作成部
 113 出力部
 120 記憶部
 200 通信部
 210 制御部
 220 出力部
 300 通信部
 310 制御部
 320 記憶部

Claims (14)

  1.  表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御部と、
     前記提示制御部によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成部と、
     を備える、情報処理装置。
  2.  前記提示制御部は、
     前記距離として、前記表示画角を対象とするユーザと、前記仮想オブジェクトの表示範囲との距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する
     請求項1に記載の情報処理装置。
  3.  前記提示制御部は、
     前記仮想オブジェクトの表示範囲が、前記表示画角の画角内に収まる最小の距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する
     請求項1に記載の情報処理装置。
  4.  前記提示制御部は、
     前記仮想オブジェクトの表示範囲が、前記表示画角の画角内に収まる最小の距離以上の距離を、前記仮想オブジェクトの遷移のタイミングとして決定する
     請求項1に記載の情報処理装置。
  5.  前記提示制御部は、
     前記表示画角を対象とするユーザが、前記遷移を認知可能な最大の距離以下の距離を、前記仮想オブジェクトの遷移のタイミングとして決定する
     請求項1に記載の情報処理装置。
  6.  前記提示作成部によって制御された仮想オブジェクトの遷移に基づいて、前記仮想オブジェクトの表示範囲に含まれる所定の領域に、遷移後の仮想オブジェクトを出力する出力部と、を更に備える
     請求項1に記載の情報処理装置。
  7.  前記出力部は、
     前記表示画角を対象とするユーザの作業の作業場所である前記所定の領域に、当該作業に関する前記遷移後の仮想オブジェクトを出力する
     請求項6に記載の情報処理装置。
  8.  前記出力部は、
     前記作業場所であって、前記作業を遠隔で指示する指示者によって決定された作業場所である前記所定の領域に、当該作業に関する前記遷移後の仮想オブジェクトを出力する
     請求項7に記載の情報処理装置。
  9.  前記出力部は、
     前記仮想オブジェクトを構成する各々の仮想オブジェクトのうち、隣接関係にある仮想オブジェクトの属性に基づいて決定される当該各々の仮想オブジェクトの複雑度を可視化した可視化情報を出力する
     請求項6に記載の情報処理装置。
  10.  前記出力部は、
     前記各々の仮想オブジェクトの豊かさを示す前記複雑度を、表示の高さの高低に基づいて視覚化した前記可視化情報を出力する
     請求項9に記載の情報処理装置。
  11.  前記提示作成部は、
     前記仮想オブジェクトとして、植生に関する仮想オブジェクトの遷移を制御する
     請求項1に記載の情報処理装置。
  12.  前記提示作成部は、
     前記仮想オブジェクトの遷移が徐々に行われるように制御する
     請求項1に記載の情報処理装置。
  13.  コンピュータが実行する情報処理方法であって、
     表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御工程と、
     前記提示制御工程によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成工程と、
     を含む情報処理方法。
  14.  表示画角と、仮想的なオブジェクトである仮想オブジェクトの表示範囲とに応じた距離に基づいて、当該仮想オブジェクトの遷移のタイミングを決定する提示制御手順と、
     前記提示制御手順によって決定されたタイミングに基づいて、出力される仮想オブジェクトの遷移を制御する提示作成手順と、
     をコンピュータに実行させる情報処理プログラム。
PCT/JP2021/007530 2020-03-06 2021-02-26 情報処理装置、情報処理方法および情報処理プログラム WO2021177186A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/802,752 US20230135993A1 (en) 2020-03-06 2021-02-26 Information processing apparatus, information processing method, and information processing program
EP21764158.8A EP4116937A4 (en) 2020-03-06 2021-02-26 DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING
CN202180009306.1A CN114981847A (zh) 2020-03-06 2021-02-26 信息处理装置、信息处理方法和信息处理程序
JP2022505189A JPWO2021177186A1 (ja) 2020-03-06 2021-02-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020038390 2020-03-06
JP2020-038390 2020-03-06

Publications (1)

Publication Number Publication Date
WO2021177186A1 true WO2021177186A1 (ja) 2021-09-10

Family

ID=77613374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007530 WO2021177186A1 (ja) 2020-03-06 2021-02-26 情報処理装置、情報処理方法および情報処理プログラム

Country Status (5)

Country Link
US (1) US20230135993A1 (ja)
EP (1) EP4116937A4 (ja)
JP (1) JPWO2021177186A1 (ja)
CN (1) CN114981847A (ja)
WO (1) WO2021177186A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230133026A1 (en) * 2021-10-28 2023-05-04 X Development Llc Sparse and/or dense depth estimation from stereoscopic imaging
US11995859B2 (en) 2021-10-28 2024-05-28 Mineral Earth Sciences Llc Sparse depth estimation from plant traits

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
WO2017061281A1 (ja) 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、及び、情報処理方法
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017169273A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019131143A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019164650A (ja) * 2018-03-20 2019-09-26 東芝インフォメーションシステムズ株式会社 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788910B2 (ja) * 1999-03-17 2006-06-21 株式会社小松製作所 移動体の通信装置
WO2016031358A1 (ja) * 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
KR102548818B1 (ko) * 2016-04-21 2023-06-28 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
US11620800B2 (en) * 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
WO2017061281A1 (ja) 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、及び、情報処理方法
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017169273A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019131143A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019164650A (ja) * 2018-03-20 2019-09-26 東芝インフォメーションシステムズ株式会社 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4116937A4

Also Published As

Publication number Publication date
US20230135993A1 (en) 2023-05-04
EP4116937A4 (en) 2023-08-02
CN114981847A (zh) 2022-08-30
EP4116937A1 (en) 2023-01-11
JPWO2021177186A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
US9971403B1 (en) Intentional user experience
US10880670B2 (en) Systems and methods for determining estimated head orientation and position with ear pieces
US10701509B2 (en) Emulating spatial perception using virtual echolocation
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20170236320A1 (en) Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
US10896543B2 (en) Methods and systems for augmented reality to display virtual representations of robotic device actions
JP2023101560A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR101882410B1 (ko) 제스처 캘리브레이션 매카니즘을 포함하는 전자 기기 시스템 및 그 동작 방법
CN110765620B (zh) 飞行器视景仿真方法、系统、服务器及存储介质
WO2021177186A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2017539035A (ja) ジェスチャインタフェース
CN116210021A (zh) 确定角加速度
JP2024075613A (ja) 情報処理方法、情報処理装置及びプログラム
WO2021093703A1 (zh) 基于光通信装置的交互方法和系统
CN106802712A (zh) 交互式扩增实境系统
JP6398630B2 (ja) 可視像表示方法、第1デバイス、プログラム、及び、視界変更方法、第1デバイス、プログラム
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021176892A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
TW201721361A (zh) 互動式擴增實境系統
WO2018074054A1 (ja) 表示制御装置、表示制御方法及びプログラム
CN112154389A (zh) 终端设备及其数据处理方法、无人机及其控制方法
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2023276215A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN109716395A (zh) 在虚拟现实中保持对象稳定性
Atanasyan et al. Augmented Reality-Based Drone Pilot Assistance Using Consumer-Grade Hardware

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764158

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505189

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021764158

Country of ref document: EP

Effective date: 20221006

NENP Non-entry into the national phase

Ref country code: DE