WO2024042763A1 - 情報処理装置、情報処理システム、およびプログラム - Google Patents

情報処理装置、情報処理システム、およびプログラム Download PDF

Info

Publication number
WO2024042763A1
WO2024042763A1 PCT/JP2023/013479 JP2023013479W WO2024042763A1 WO 2024042763 A1 WO2024042763 A1 WO 2024042763A1 JP 2023013479 W JP2023013479 W JP 2023013479W WO 2024042763 A1 WO2024042763 A1 WO 2024042763A1
Authority
WO
WIPO (PCT)
Prior art keywords
gui
information processing
processing device
cursor
generation unit
Prior art date
Application number
PCT/JP2023/013479
Other languages
English (en)
French (fr)
Inventor
健一郎 豊島
遼 坂倉
佳之 太田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024042763A1 publication Critical patent/WO2024042763A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Definitions

  • the present technology relates to an information processing device, an information processing system, and a program, and particularly relates to an information processing device, an information processing system, and a program that can suitably operate a GUI.
  • Patent Document 1 describes a technique for displaying stereoscopic content arranged in a virtual space so as to enable stereoscopic viewing.
  • the present technology was developed in view of this situation, and allows for convenient operation of the GUI.
  • An information processing device is an image including a 3D object and a GUI having at least three sides, which are arranged in a virtual space, and the 3D object and the GUI overlap in the virtual space.
  • the image forming apparatus includes an image generation unit that generates an image including the 3D object partially cut out along the surface of the GUI.
  • a program provides a computer with an image including a 3D object and a GUI having at least three sides arranged in a virtual space, wherein the 3D object and the GUI are arranged in the virtual space. If they overlap, a process is performed to generate an image including the 3D object partially cut out along the surface of the GUI.
  • An information processing system is an image including a 3D object and a GUI having at least three sides, which are arranged in a virtual space, and the 3D object and the GUI overlap in the virtual space.
  • an information processing device includes an image generation unit that generates an image including the 3D object partially cut out along the surface of the GUI, and an image connected to the information processing device and generated by the image generation unit. and a display device equipped with a display section that displays.
  • the video includes a 3D object and a GUI having at least three sides arranged in a virtual space, and when the 3D object and the GUI overlap in the virtual space, the An image including the 3D object partially cut out along the surface of the GUI is generated.
  • an image including a 3D object and a GUI having at least three sides arranged in a virtual space is generated by an information processing device, and the 3D object and the GUI are arranged in the virtual space. If they overlap, an image including the 3D object partially cut out along the plane of the GUI is generated. Further, a display device connected to the information processing device displays the video generated by the information processing device.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing device according to an embodiment of the present technology. It is a figure showing an example of a display part.
  • FIG. 2 is a diagram showing a first example of a 3D object and a GUI seen from a user's perspective.
  • FIG. 3 is a diagram illustrating a method for cutting out a 3D object using a three-sided corner cube.
  • FIG. 7 is another diagram illustrating a method for cutting out a 3D object using a three-sided corner cube.
  • FIG. 7 is a diagram showing an example of a cross section of a 3D object when highlighting is turned off. It is a figure explaining the operation method of a three-sided corner cube.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing device according to an embodiment of the present technology. It is a figure showing an example of a display part.
  • FIG. 2 is a diagram showing a first example of a 3D object and a
  • FIG. 7 is another diagram illustrating a method of operating a three-sided corner cube. It is a figure which shows the example of a display of a three-sided corner cube.
  • FIG. 3 is a diagram showing an example of a UI plane.
  • FIG. 3 is a diagram showing an example of cursor arrangement.
  • FIG. 7 is a diagram showing a second example of a 3D object and GUI seen from a user's perspective.
  • FIG. 3 is a diagram illustrating a method of cutting out a 3D object using a cube. It is a figure explaining the operation method of a cube.
  • 3 is a flowchart illustrating processing performed by the information processing device.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.
  • FIG. 1 is a block diagram showing a configuration example of an information processing device 1 according to an embodiment of the present technology.
  • the information processing device 1 includes a display control section 11, a display section 12, a sensor section 13, an input section 14, and a storage section 15.
  • the display control unit 11 controls the display on the display unit 12.
  • the display control unit 11 also functions as a video generation unit that generates a video including a 3D object placed in a virtual space and a GUI for controlling the 3D object.
  • the display control unit 11 generates an image based on tracking of the user's viewpoint position.
  • the display control unit 11 controls the display unit 12 to display the generated video.
  • the 3D object and GUI data are acquired from the storage unit 15, for example.
  • the display unit 12 displays images under the control of the display control unit 11.
  • the display unit 12 is configured with, for example, a spatial reproduction display that can perform stereoscopic display using binocular parallax by presenting different images to the left and right eyes of the user.
  • the display unit 12 may be equipped with a lenticular lens array or a parallax barrier for presenting different images to the left and right eyes of the user, or may be compatible with stereoscopic display using liquid crystal shutters or active retarder glasses. You can leave it there.
  • the sensor unit 13 acquires (senses) various information regarding the user or the surrounding environment.
  • the sensor unit 13 includes at least a sensor for detecting the user's viewpoint position.
  • the sensor unit 13 may detect the user's viewpoint position and supply information indicating the user's viewpoint position to the display control unit 11, or may display information for detecting the user's viewpoint position. It may also be supplied to the control unit 11.
  • the sensor for detecting the user's viewpoint position may be a camera that images the user.
  • the sensor for detecting the user's viewpoint position is any one of an acceleration sensor, a gyro sensor, a direction sensor, and a camera, or a combination of the above. It may be.
  • the sensor unit 13 may include a camera arranged to image an area corresponding to the user's field of view in real space.
  • the input unit 14 accepts the input of the user's operation, and supplies the display control unit 11 with information indicating the content of the user's operation.
  • the input unit 14 includes, for example, a mouse or a trackball that can input operations in two-dimensional directions. Further, the input unit 14 may be configured by a touch panel that accepts touch operations by the user, and in this case, the display unit 12 may have the function of the input unit 14.
  • the storage unit 15 stores programs and parameters for the display control unit 11 to execute functions. Furthermore, the storage unit 15 may store data of 3D objects and GUIs to be displayed by the display control unit 11.
  • the display control unit 11 may control the display on a display unit provided outside the information processing device 1. Further, the display control unit 11 may acquire data of the 3D object from another device via a communication unit (not shown).
  • the information processing device 1 may not have a sensor unit, and the above-mentioned information may be transmitted to the information processing device 1 from a sensor installed outside the information processing device 1.
  • a PC monitor display section 12
  • a camera sensor section 13
  • a mouse input section 14
  • the configuration may be similar to that of a conventional system.
  • FIG. 2 is a diagram showing an example of the display section 12.
  • the display unit 12 is arranged, for example, so that the display surface faces diagonally upward with respect to a horizontal plane in real space.
  • the display control section 11 is designed to intersect with the display surface of the display section 12, in other words, to have an area on both the front side and the back side of the display section 12 when viewed from the user's viewpoint E.
  • a virtual space VW is arranged, and the virtual space VW is displayed on the display unit 12.
  • the 3D object placed in the virtual space VW is displayed so that, for example, a part of it appears to pop out from the display unit 12.
  • the display unit 12 expresses virtual depth by displaying, for example, a stereoscopic image in which different images are presented to the user's left and right eyes, giving the user a feeling as if the 3D object exists in real space. can be given to the user.
  • the present technology can be applied not only to devices that display stereoscopic images, but also to devices that display images in which the same image is presented to the left and right eyes.
  • a 3D object or GUI may be placed in a virtual space VW displayed on a general PC monitor that does not support stereoscopic display.
  • FIG. 3 is a diagram showing a first example of a 3D object and GUI seen from the user's viewpoint.
  • a 3D object Obj a three-sided corner cube C1, a cursor Cur, a menu bar B1, and a slide bar B2 are arranged in the virtual space displayed on the display unit 12.
  • the 3D object Obj is, for example, a 3D model of an object having a three-dimensional shape, and has not only a surface shape but also an internal shape.
  • the 3D object Obj is, for example, a 3D model showing the structure of a human body obtained by scanning the human body.
  • the three-sided corner cube C1 is a GUI for setting the cutting position of a part of the 3D object Obj, and is composed of three planes each sharing two sides with another plane.
  • the cursor Cur is a cursor that moves in response to the user operating the input unit 14.
  • the menu bar B1 displays icons indicating various functions related to displaying 3D objects. For example, the user can cause the information processing device 1 to execute various functions by moving the cursor Cur onto an icon on the menu bar B1 and selecting the icon.
  • the slide bar B2 is used, for example, to set the size of the 3D object Obj, and the user sets the 3D object Obj to a desired size by determining the position of a movable operator along the slide bar B2. can do.
  • 4 and 5 are diagrams illustrating a method for cutting out the 3D object Obj using the three-sided corner cube C1.
  • a portion of the 3D object Obj is cut out along each of the three planes of the three-sided corner cube C1.
  • the user can set the cutting position of the 3D object Obj and observe the internal shape of the 3D object Obj.
  • a stereoscopic image is displayed so as to reproduce binocular parallax, so that the user can easily grasp the shape at the back of the cross section.
  • a technique for displaying a portion of the 3D object Obj in a cut-out state using the three-sided corner cube C1 will be referred to as a three-sided clip.
  • the cross section along the surface of the three-sided corner cube C1 may be displayed, for example, by emitting or coloring only the cross section, as shown in FIGS. 4 and 5. is highlighted and displayed.
  • the information processing device 1 may have a function of switching on/off the highlighting of the cross section of the 3D object Obj.
  • FIGS. 7 and 8 are diagrams illustrating how to operate the three-sided corner cube C1.
  • the three-sided corner cube C1 is composed of surfaces P1 to P3 in a space expressed by the three axes of XYZ.
  • the plane P1 indicates a plane (on the XY plane) that corresponds to the XY plane parallel to the floor surface on which the display unit 12 is installed, and the plane P2 corresponds to the XZ plane (XZ plane) orthogonal to the XY plane. (on a plane).
  • the plane P3 indicates a plane (on the YZ plane) corresponding to the XY plane and the YZ plane perpendicular to the XZ plane.
  • the initial state of the three-sided corner cube C1 is a state that is sufficiently small relative to the 3D object Obj.
  • the information processing device 1 enters the three-sided clip operation mode.
  • the cursor Cur moves on the plane under the cursor Cur (either the XY plane, the XZ plane, or the YZ plane).
  • the user selects the three-sided corner cube C1 by moving the mouse (cursor Cur) while performing the first operation as the input unit 14 (for example, pressing the left button of the mouse). can be moved to change the cutting position of the 3D object Obj.
  • the first operation is, for example, a selection operation of selecting one of the faces forming the three-sided corner cube C1.
  • the user can rotate the 3-sided corner cube C1 by moving the mouse (cursor Cur) while performing a second operation (for example, pressing the right mouse button) to create a 3D
  • the cutting direction of object Obj can be changed.
  • the second operation is, for example, a selection operation of selecting one of the faces forming the three-sided corner cube C1.
  • the 3-sided corner cube C1 is placed in the rotate on top.
  • the cursor Cur rotates around the rotation axis (Z-axis), as shown by the arrow B in Figure 8, in a plane perpendicular to the rotation axis (XY plane). move on.
  • the cursor rotates around the rotation axis while the angle ⁇ formed by the straight line connecting the rotation axis and the cursor Cur and the plane P3 is fixed, the three-sided corner cube C1 rotates in the same way as the cursor Cur.
  • the three-sided corner cube C1 rotates on the XZ plane about the Y axis (for example, the side shared by the surfaces P1 and P3) of the three-sided corner cube C1.
  • the three-sided corner cube C1 rotates on the YZ plane about the X axis (for example, the side shared by the surfaces P1 and P2) of the three-sided corner cube C1.
  • the amount of horizontal movement of the mouse is converted into the rotation angle of the three-sided corner cube C1
  • the amount of arc-shaped movement of the mouse is made to correspond to the amount of rotation of the three-sided corner cube C1 on the XY plane. , enabling intuitive rotational operation. It is also possible to prevent the cursor Cur from coming off the surface of the three-sided corner cube C1 while the right mouse button is pressed down.
  • the GUI such as the three-sided corner cube C1 can change at least one of the position and direction by the user's operation in the two-dimensional direction.
  • the cursor Cur is on the surface P1
  • a predetermined operation pressing both the left and right buttons of the mouse, operating the mouse wheel, etc.
  • the three-sided corner cube C1 may be able to change its shape by manipulation in a two-dimensional direction, such as being deformed.
  • FIG. 9 is a diagram showing a display example of the three-sided corner cube C1.
  • the surfaces P1 to P3 are displayed in a transparent state, for example.
  • FIG. 9B when the cursor Cur is on the surface P1, the surface P1 under the cursor Cur is displayed in a colored state, for example, and the surfaces P2 and P3 are displayed in a transparent state, for example.
  • the surface P2 under the cursor Cur is displayed in a colored state, for example, and the surfaces P1 and P3 are displayed in a transparent state, for example.
  • the surface P3 under the cursor Cur is displayed in a colored state, for example, and the surfaces P1 and P2 are displayed in a transparent state, for example.
  • the cursor Cur can be freely moved within the virtual space displayed on the display unit 12.
  • a cursor is drawn so as to move on the display surface of a display device.
  • the cursor Cur is drawn so as to basically move on a two-dimensional UI plane placed in a virtual space.
  • the virtual cursor Cur is placed at the intersection of a straight line connecting the user's viewpoint position and the cursor position generally displayed on a display device, and a UI plane placed in the virtual space. be placed in
  • FIG. 10 is a diagram showing an example of the UI plane.
  • the UI plane P11 on which the cursor Cur is placed is the frontmost surface of the virtual space and is placed as a plane perpendicular to the XY plane.
  • GUIs such as a menu bar B1 and a slide bar B2 are also drawn on the UI plane P11 along with the cursor Cur.
  • FIG. 11 is a diagram showing an example of the arrangement of the cursor Cur.
  • the cursor Cur is placed on the UI plane P11, as shown by #1 to #3 in FIG. 11.
  • a cursor Cur for the right eye is drawn on a straight line connecting the position of the user's right eye and a cursor position generally displayed on a display device
  • a cursor Cur for the left eye is drawn on a straight line connecting the position of the user's right eye and the cursor position generally displayed on a display device.
  • the cursor Cur When the cursor Cur enters the area connecting the position of the user's viewpoint E and the three-sided corner cube C1, the cursor Cur enters the area connecting the position of the user's viewpoint E and the three-sided corner cube C1, as shown by #4 to #6 in FIG. placed on top.
  • the display control unit 11 controls the virtual A cursor Cur is controlled to move along a predetermined plane arranged in space. Furthermore, when the cursor Cur enters an area connecting the position of the user's viewpoint E and an object placed in the virtual space, the display control unit 11 moves the cursor Cur from a predetermined plane onto the surface of the object. and control the cursor Cur to move along the surface of the object.
  • FIG. 12 is a diagram showing a second example of a 3D object and GUI seen from the user's perspective.
  • a 3D object Obj In the first display method (FIG. 3), a 3D object Obj, a three-sided corner cube C1, a cursor Cur, a menu bar B1, and a slide bar B2 are arranged in the virtual space displayed by the display unit 12.
  • a cube C51 In the second display method shown in FIG. 12, a cube C51 is placed in the virtual space instead of the three-sided corner cube C1.
  • the cube C51 is a GUI for setting the cutting position of a part of the 3D object Obj, and has a substantially box-like shape made up of six planes.
  • FIG. 13 is a diagram illustrating a method of cutting out the 3D object Obj using the cube C51.
  • the user can set the cutting position of the 3D object Obj and observe the internal shape of the 3D object Obj.
  • the technique of displaying a portion of the 3D object Obj in a cut-out state using the cube C51 will be referred to as a six-sided clip.
  • the 3D object Obj is a 3D model showing the structure of a human body
  • the outside part of the cube C51 is cut out with the six-sided clip, so the 3D model of the small tissue inside the cube C51 can be greatly enlarged and observed with a pinpoint. It becomes possible to do so.
  • the cross-sectional part is emphasized, for example, by displaying only the cross-sectional part by emitting light or by coloring it. Is displayed.
  • the cube C51 is a rectangular parallelepiped surrounded by an upper surface, a lower surface, and four side surfaces.
  • the top and bottom surfaces of the cube C51 represent surfaces (on the XY plane) that correspond to the XY plane parallel to the floor surface on which the display unit 12 is installed, and the two opposing sides are perpendicular to the XY plane.
  • the other two sides show surfaces (on the YZ plane) corresponding to the XY plane and the YZ plane perpendicular to the XZ plane.
  • the information processing device 1 enters the six-face clip operation mode.
  • the cursor Cur moves on the surface under the cursor Cur (the top surface, bottom surface, or side surface of the cube C51).
  • the user can change the size of the cube C51 by performing a third operation (for example, operating the mouse wheel).
  • a third operation for example, operating the mouse wheel.
  • the cube C51 becomes smaller, allowing the user to observe more of the inside of the 3D object Obj.
  • the cube C51 becomes smaller, for example, as shown in C in FIG. 13, and the user can further observe the inside of the 3D object Obj.
  • the user can also enlarge the cube C51 by operating the mouse wheel.
  • FIG. 14 is a diagram illustrating how to operate the cube C51.
  • the user rotates the cube C51 by moving the mouse (cursor) while performing a second operation (for example, pressing the right mouse button) and cuts the 3D object Obj.
  • the direction can be changed.
  • the cube C51 rotates on the XY plane about the axis A1 perpendicular to the top surface, as shown by the arrow A in FIG.
  • the cube C51 rotates on the XZ plane or the YZ plane about an axis perpendicular to the side surface.
  • the amount of horizontal movement of the mouse is converted into the rotation angle of the cube C51, it is assumed that the cursor will come off the surface of the cube C51, resulting in a poor operational feel.
  • the cursor is on the top surface of cube C51, while the right button of the mouse is pressed, by making the amount of arc-shaped movement of the mouse correspond to the amount of rotation of cube C51 on the XY plane, Intuitive rotation operation is possible. It is also possible to prevent the cursor from leaving the surface of the cube C51 while the right mouse button is pressed.
  • the user can move the mouse (cursor) while performing the first operation (e.g., pressing the left mouse button) to move as shown by the white arrow in FIG. 14B.
  • the first operation e.g., pressing the left mouse button
  • the cutting position of the 3D object Obj can be changed.
  • the Z value of cube C51 is fixed, and cube C51 moves so as to slide on the XY plane.
  • the Y value or Z value of the cube C51 is fixed, and the cube C51 moves so as to slide on the XZ plane or the YZ plane.
  • the surface under the cursor in the cube C51 is displayed in a colored manner, for example.
  • the cursor is drawn to basically move on the UI plane placed in the virtual space, and when it enters the area connecting the user's viewpoint position and cube C51, the cursor moves on the UI plane placed in the virtual space. It is drawn as if it were moving on a surface.
  • the information processing device 1 enters the 3D object operation mode.
  • the user can move the 3D object by moving the mouse while holding down the left mouse button. Additionally, while in the 3D object manipulation mode, the user can rotate the 3D object by moving the mouse while holding down the right mouse button. Furthermore, during the 3D object manipulation mode, the user can change the size of the 3D object by manipulating the mouse wheel.
  • the parts (surfaces) that make up the GUI such as the three-sided corner cube C1 and the cube C51, switch the surface on which the GUI slides (control surface) and the rotation axis of the GUI. It is used as a landmark.
  • the user can intuitively perform 6-axis operations on the GUI by specifying the surfaces that make up the GUI using an input device (input unit 14) that can be operated in two-dimensional directions, and switching the control surface and rotation axis. It becomes possible to do so.
  • the GUI can be spatially operated using a mouse that is commonly used on a desk. Users can operate the GUI by moving a familiar mouse or other device around the desk, reducing fatigue. Therefore, the user can suitably operate the GUI for controlling the display of 3D objects.
  • a part of the 3D model is made translucent, or a section is cut out along a predetermined plane. Processing such as displaying is performed. In this case, it takes time and effort to specify the part to be made translucent, and the range that can be confirmed is limited to the cross-section.
  • the 3D object is cut out on at least three sides, so it is relatively easy to specify the area to be cut out, and it is possible to limit the part that you want to see more precisely.
  • stereoscopic vision that enables motion parallax expression is realized based on tracking of the user's viewpoint position.
  • the user's brain separates and recognizes the cross-section of a 3D object and the structure near the cross-section through feedback such as changes in position due to head movements, shaking, vibrations, etc., and changes in images in response to the position changes.
  • the area (depth) that is easy to separate is narrow, with this technology, the part of the 3D object included in the area up to the front of the gaze area is cut out, so the spatial structure can be easily grasped.
  • the user can understand the structure of the 3D object in more detail by moving the GUI using a mouse or the like to dynamically change the cross section of the 3D object.
  • the information processing device 1 of the present technology can realize real-time feedback that presents a video according to the user's operation (involvement).
  • step S1 the sensor unit 13 detects the user's viewpoint position.
  • step S2 the input unit 14 receives an input operation from the user.
  • step S3 the display control unit 11 controls the position of the cursor and the position and direction of the GUI according to the user's operation.
  • step S4 the display control unit 11 draws a 3D object, a cursor, a GUI, etc., and generates a video. Specifically, the display control unit 11 identifies the cutting position and cutting direction of the 3D object based on the position and direction of the GUI, and removes polygons, point cloud data, textures, etc. of the 3D object along the surface of the GUI. Display or delete. The display control unit 11 renders the inside of the 3D object by making the cut portion transparent.
  • the required performance of the information processing device 1 that performs rendering can be lowered than by making the part translucent.
  • six-sided clips by focusing on rendering small areas, it is possible to express 3D objects in more detail.
  • the video generated by the display control unit 11 is an image in which objects such as 3D objects and GUI placed in the virtual space are perspectively projected onto the display surface of the display unit 12 based on the user's viewpoint position.
  • the display control unit 11 controls the display control unit 11 so that when the images viewed by the left eye and the right eye are combined in the brain, the same object is recognized as having the same position, same shape, and same size. Performs placement and transformation processing of objects in the video.
  • step S5 the display unit 12 displays the video generated by the display control unit 11.
  • the information processing device 1 when a video including a 3D object and a GUI having at least three sides is placed in a virtual space and the 3D object and the GUI overlap in the virtual space, the GUI An image containing a 3D object with a portion cut out along the surface is generated and displayed.
  • the user can conveniently operate the GUI for specifying the cutting position of the 3D object and observe the internal shape of the 3D object.
  • the method of expressing 3D objects and GUI in this technology is realized by, for example, a software application, a plug-in tool, a library, etc. that is executed on an information processing device that controls the display of a viewpoint-following spatial reproduction display.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a program recording medium into a computer built into dedicated hardware or a general-purpose personal computer.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, and a RAM (Random Access Memory) 503 are interconnected by a bus 504.
  • An input/output interface 505 is further connected to the bus 504.
  • an input section 506 consisting of a keyboard, a mouse, etc.
  • an output section 507 consisting of a display, speakers, etc.
  • a storage section 508 consisting of a hard disk or non-volatile memory
  • a communication section 509 consisting of a network interface, etc.
  • a drive 510 for driving a removable medium 511.
  • the CPU 501 executes the series of processes described above by, for example, loading a program stored in the storage unit 508 into the RAM 503 via the input/output interface 505 and the bus 504 and executing it. will be held.
  • a program executed by the CPU 501 is installed in the storage unit 508 by being recorded on a removable medium 511 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, or may be a program in which processing is performed in parallel or at necessary timing such as when a call is made. It may also be a program that is carried out.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
  • one step includes multiple processes
  • the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
  • the present technology can also have the following configuration.
  • An information processing device comprising: a video generation unit that generates a video including the 3D object.
  • the video generation unit changes at least one of the position, direction, and shape of the GUI based on an input operation in a two-dimensional direction.
  • the video generation unit moves the GUI on a plane corresponding to the first side of the GUI in response to an operation of moving the cursor with the first side of the GUI selected.
  • information processing equipment (5) (3) or (3) above, wherein the video generation unit rotates the GUI on a plane corresponding to the first side of the GUI in response to an operation of moving the cursor with the first side of the GUI selected.
  • the information processing device according to item 4).
  • (6) The information processing device according to any one of (3) to (5), wherein the video generation unit changes the size of the GUI in response to a predetermined operation while the cursor is on the surface of the GUI. .
  • the information processing device (11) The information processing device according to (3), wherein the video generation unit colors a surface of the GUI under the cursor. (12) The information processing device according to any one of (1) to (11), wherein the GUI is configured by at least three surfaces each sharing two sides with another surface. (13) The information processing device according to any one of (1) to (11), wherein the GUI has a substantially box-like shape surrounded by six sides. (14) The information processing device according to any one of (1) to (13), wherein the video generation unit cuts out a portion of the 3D object included in an area inside the GUI. (15) The information processing device according to any one of (1) to (13), wherein the video generation unit cuts out a portion of the 3D object included in an area outside the GUI.
  • an information processing device including an image generation unit that generates an image including the 3D object; an information processing system comprising: a display device connected to the information processing device and including a display section that displays a video generated by the video generation section; (20) to the computer, A video that is placed in a virtual space and includes a 3D object and a GUI having at least three sides, and when the 3D object and the GUI overlap in the virtual space, a portion is cut out along the side of the GUI.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、GUIを好適に操作することができるようにする情報処理装置、情報処理システム、およびプログラムに関する。 本技術の情報処理装置は、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、仮想空間において3DオブジェクトおよびGUIが重なる場合、GUIの面に沿って一部分が切り取られた3Dオブジェクトを含む映像を生成する映像生成部を備える。本技術は、例えば、空間再現ディスプレイの表示を制御する情報処理装置に適用することができる。

Description

情報処理装置、情報処理システム、およびプログラム
　本技術は、情報処理装置、情報処理システム、およびプログラムに関し、特に、GUIを好適に操作することができるようにした情報処理装置、情報処理システム、およびプログラムに関する。
　３次元形状を有する3Dオブジェクトを表現する映像の表示が一般的に行われている。例えば、特許文献１には、仮想空間に配置されたステレオコンテンツを立体視が可能なように表示する技術が記載されている。
国際公開第２０１９／０４４１８８号
　3Dオブジェクト自体や、3Dオブジェクトの表示を制御するためのGUI(Graphical User Interface)などを操作する場合、実空間で３次元方向に動かすことが可能な入力デバイスを用いることが有効である。しかし、ユーザは、入力デバイスを空中で把持し続ける必要があり、疲労が増大する。
　本技術はこのような状況に鑑みてなされたものであり、GUIを好適に操作することができるようにするものである。
　本技術の第１の側面の情報処理装置は、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する映像生成部を備える。
　本技術の第１の側面のプログラムは、コンピュータに、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する処理を実行させる。
　本技術の第２の側面の情報処理システムは、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する映像生成部を備える情報処理装置と、前記情報処理装置に接続され、前記映像生成部によって生成された映像を表示する表示部を備える表示装置とを含む。
　本技術の第１の側面においては、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像が生成される。
　本技術の第２の側面においては、情報処理装置により、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像が生成される。また、前記情報処理装置に接続された表示装置により、前記情報処理装置によって生成された映像が表示される。
本技術の一実施形態に係る情報処理装置の構成例を示すブロック図である。 表示部の一例を示す図である。 ユーザの視点から見た3DオブジェクトとGUIの第１の例を示す図である。 ３面コーナーキューブを用いた3Dオブジェクトの切り取り方法を説明する図である。 ３面コーナーキューブを用いた3Dオブジェクトの切り取り方法を説明する他の図である。 強調表示をオフにした場合の3Dオブジェクトの断面部の例を示す図である。 ３面コーナーキューブの操作方法を説明する図である。 ３面コーナーキューブの操作方法を説明する他の図である。 ３面コーナーキューブの表示例を示す図である。 UI平面の例を示す図である。 カーソルの配置例を示す図である。 ユーザの視点から見た3DオブジェクトとGUIの第２の例を示す図である。 キューブを用いた3Dオブジェクトの切り取り方法を説明する図である。 キューブの操作方法を説明する図である。 情報処理装置が行う処理を説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．情報処理装置の構成
　２．3DオブジェクトとGUIの表示方法の詳細
　３．情報処理装置の動作
＜１．情報処理装置の概要＞
　図１は、本技術の一実施形態に係る情報処理装置１の構成例を示すブロック図である。
　図１に示すように、情報処理装置１は、表示制御部１１、表示部１２、センサ部１３、入力部１４、および記憶部１５を備える。
　表示制御部１１は、表示部１２の表示を制御する。表示制御部１１は、仮想空間に配置された3Dオブジェクトと、3Dオブジェクトを制御するためのGUIとを含む映像を生成する映像生成部としても機能する。表示制御部１１は、ユーザの視点位置のトラッキングに基づいて映像を生成する。表示制御部１１は、生成した映像を表示するように、表示部１２を制御する。3DオブジェクトやGUIのデータは、例えば記憶部１５から取得される。
　表示部１２は、表示制御部１１の制御に従って、映像の表示を行う。表示部１２は、例えば、ユーザの左眼と右眼に異なる映像を提示することで両眼視差による立体表示を行うことが可能な空間再現ディスプレイにより構成される。表示部１２は、ユーザの左眼と右眼に異なる映像を提示するためのレンチキュラレンズアレイや視差バリアを備えていてもよいし、液晶シャッタやアクティブリターダ方式の眼鏡を用いた立体表示に対応していてもよい。
　センサ部１３は、ユーザまたは周辺環境に関する各種の情報を取得（センシング）する。センサ部１３は、少なくともユーザの視点位置を検出するためのセンサを含む。センサ部１３は、センサ部１３自体がユーザの視点位置を検出してユーザの視点位置を示す情報を表示制御部１１に供給してもよいし、ユーザの視点位置を検出するための情報を表示制御部１１に供給してもよい。
　例えば、情報処理装置１が実空間に設置される場合、ユーザの視点位置を検出するためのセンサは、ユーザを撮像するカメラであってもよい。情報処理装置１がユーザに装着されて移動する装置である場合、ユーザの視点位置を検出するためのセンサは、加速度センサ、ジャイロセンサ、方位センサ、およびカメラのうちのいずれか、または上記の組み合わせであってもよい。また、センサ部１３は、実空間におけるユーザの視界に相当する領域を撮像するように配置されたカメラを含んでもよい。
　入力部１４は、ユーザによる操作の入力を受け付け、ユーザによる操作の内容を示す情報を表示制御部１１に供給する。入力部１４は、例えば２次元方向の操作を入力可能なマウスやトラックボールにより構成される。また、入力部１４は、ユーザのタッチ操作を受け付けるタッチパネルにより構成されていてもよく、この場合、表示部１２が入力部１４の機能を備えていてもよい。
　記憶部１５は、表示制御部１１が機能を実行するためのプログラムやパラメータを記憶する。また、記憶部１５には、表示制御部１１が表示させる3DオブジェクトやGUIのデータが記憶されていてもよい。
　なお、図１に示した構成は一例であって、本技術は係る例に限定されない。例えば、表示制御部１１は、情報処理装置１の外部に備えられた表示部の表示を制御してもよい。また、表示制御部１１は、不図示の通信部を介して、3Dオブジェクトのデータを他の装置から取得してもよい。情報処理装置１がセンサ部を有していなくてもよく、情報処理装置１の外部に設置されたセンサから、上述した情報が情報処理装置１へ送信されてもよい。また、例えば、情報処理装置１は、PCモニタ（表示部１２）、カメラ（センサ部１３）、マウス（入力部１４）のそれぞれが、表示制御部１１と記憶部１５を有するパーソナルコンピュータに接続されたシステムのような構成であってもよい。
　図２は、表示部１２の一例を示す図である。
　図２に示すように、表示部１２は、例えば、表示面が実空間における水平面に対して斜め上方を向くように配置される。この場合、表示制御部１１は、例えば、表示部１２の表示面と交差するように、言い換えると、ユーザの視点Ｅから見て表示部１２の手前側と奥側の両方に領域を有するように仮想空間ＶＷを配置し、仮想空間ＶＷを表示部１２に表示させる。
　仮想空間ＶＷに配置された3Dオブジェクトは、例えば表示部１２から一部が飛び出して見えるように表示される。表示部１２は、例えばユーザの左眼と右眼にそれぞれ異なる映像が提示される立体映像を表示することによって仮想的な奥行きを表現し、3Dオブジェクトが実空間に存在しているかのような感覚をユーザに与えることができる。
　なお、本技術は、立体映像を表示する装置だけでなく、左眼と右眼に同一の映像が提示されるような映像を表示する装置に適用することも可能である。例えば、立体視表示に対応しない一般的なPCモニタに表示された仮想空間ＶＷに、3DオブジェクトやGUIが配置されてもよい。
＜２．3DオブジェクトとGUIの表示方法の詳細＞
・第１の表示方法
　図３は、ユーザの視点から見た3DオブジェクトとGUIの第１の例を示す図である。
　図３に示す第１の表示方法において、表示部１２に表示される仮想空間には、3DオブジェクトＯｂｊ、３面コーナーキューブＣ１、カーソルＣｕｒ、メニューバーＢ１、およびスライドバーＢ２が配置される。
　3DオブジェクトＯｂｊは、例えば３次元形状を有する物体の3Dモデルであって、表面形状だけではなく、内部形状を有する。3DオブジェクトＯｂｊは、例えば、人体をスキャンして取得された人体の構造を示す3Dモデルである。３面コーナーキューブＣ１は、3DオブジェクトＯｂｊの一部分の切り取り位置を設定するためのGUIであり、２辺を他の平面とそれぞれ共有する３つの平面により構成される。
　カーソルＣｕｒは、ユーザが入力部１４を操作することに応じて移動するカーソルである。メニューバーＢ１には、3Dオブジェクトの表示に関する各種の機能を示すアイコンが表示される。ユーザは、例えば、カーソルＣｕｒをメニューバーＢ１のアイコン上に移動させて選択することで、情報処理装置１に各種の機能を実行させることができる。
　スライドバーＢ２は、例えば3DオブジェクトＯｂｊのサイズを設定するのに用いられ、ユーザは、スライドバーＢ２に沿って移動可能な操作子の位置を決定することにより、3DオブジェクトＯｂｊを所望のサイズに設定することができる。
　図４と図５は、３面コーナーキューブＣ１を用いた3DオブジェクトＯｂｊの切り取り方法を説明する図である。
　図４に示すように、3DオブジェクトＯｂｊと３面コーナーキューブＣ１が重なる場合、３面コーナーキューブＣ１の内側（凹側）の領域に含まれる3DオブジェクトＯｂｊの部分が切り取られる。この場合、３面コーナーキューブＣ１の外側（凸側）の領域に含まれる3DオブジェクトＯｂｊの部分が表示される。
　具体的には、図５において灰色の太線で囲んで示すように、３面コーナーキューブＣ１の３つの平面のそれぞれに沿って、3DオブジェクトＯｂｊの一部分が切り取られる。ユーザは、３面コーナーキューブＣ１の位置を決定することにより、3DオブジェクトＯｂｊの切り取り位置を設定し、3DオブジェクトＯｂｊの内部形状を観測することができる。情報処理装置１においては両眼視差を再現するように立体映像が表示されるため、ユーザは、断面部の奥の形状も把握しやすい。不要な部分を切り取ることで、ユーザの認識精度が高まる。以下では、３面コーナーキューブＣ１を用いて3DオブジェクトＯｂｊの一部分を切り取った状態で表示する技術を３面クリップと称する。
　例えば3DオブジェクトＯｂｊにおいて断面部の奥の形状が透けて表示されると、断面部とその他の形状が同化して、ユーザにとって断面部とその他の形状を判別しにくくなることがある。この場合、断面部を明確にするために、図４や図５に示すように、例えば断面部のみを発光または着色させて表示するといったように、３面コーナーキューブＣ１の面に沿った断面部が強調されて表示される。
　なお、ユーザが、3DオブジェクトＯｂｊの内部形状を精細に見たい場合、図６に示すように、3DオブジェクトＯｂｊの断面部の強調表示をオフにすることも可能である。このように、情報処理装置１は、3DオブジェクトＯｂｊの断面部の強調表示のオン／オフを切り替える機能を備えていてもよい。
　図７と図８は、３面コーナーキューブＣ１の操作方法を説明する図である。
　以下では、３面コーナーキューブＣ１が、XYZの３軸で表現される空間における面Ｐ１乃至Ｐ３で構成されることを想定して説明を行う。なお、面Ｐ１は、表示部１２が設置されている床面に平行なXY平面に対応する（XY平面上の）面を示し、面Ｐ２は、XY平面と直交するXZ平面に対応する（XZ平面上の）面を示す。面Ｐ３は、XY平面およびXZ平面と直行するYZ平面に対応する（YZ平面上の）面を示す。３面コーナーキューブＣ１においては、3DオブジェクトＯｂｊに対して十分小さい状態が初期状態とされる。
　図７の白抜き矢印で示すように、カーソルＣｕｒが３面コーナーキューブＣ１の面上以外の位置から当該面上に移動された場合、情報処理装置１は３面クリップ操作モードとなる。３面クリップ操作モード中において、カーソルＣｕｒは、カーソルＣｕｒ下の面（XY平面、XZ平面、YZ平面のいずれか）上を移動する。
　３面クリップ操作モード中に、ユーザは、入力部１４としての第１の操作（例えば、マウスの左ボタンの押下）を行いながら、マウス（カーソルＣｕｒ）を移動させることにより、３面コーナーキューブＣ１を移動させ、3DオブジェクトＯｂｊの切り取り位置を変更することができる。第１の操作は、例えば、３面コーナーキューブＣ１を構成する面の１つを選択する選択操作である。
　図８のＡに示すように、カーソルＣｕｒが面Ｐ１上にある場合、３面コーナーキューブＣ１のＺ値が固定され、白抜き矢印で示すように、XY平面上をスライドするように３面コーナーキューブＣ１が移動する。同様に、カーソルＣｕｒが面Ｐ２上にある場合、３面コーナーキューブＣ１のＹ値が固定され、XZ平面上をスライドするように３面コーナーキューブＣ１が移動する。また、カーソルＣｕｒが面Ｐ３上にある場合、３面コーナーキューブＣ１のＸ値が固定され、YZ平面上をスライドするように３面コーナーキューブＣ１が移動する。
　３面クリップ操作モード中に、ユーザは、第２の操作（例えば、マウスの右ボタンの押下）を行いながら、マウス（カーソルＣｕｒ）を移動させることにより、３面コーナーキューブＣ１を回転させ、3DオブジェクトＯｂｊの切り取り方向を変更することができる。第２の操作は、例えば、３面コーナーキューブＣ１を構成する面の１つを選択する選択操作である。
　図８のＢに示すように、カーソルＣｕｒが面Ｐ１上にある場合、３面コーナーキューブＣ１のＺ軸（例えば面Ｐ２と面Ｐ３が共有する辺）を中心に３面コーナーキューブＣ１がXY平面上で回転する。マウスの右ボタンが押下されている場合、カーソルＣｕｒは、図８のＢの矢印で示すように、回転軸（Ｚ軸）を中心に回転するように、回転軸と垂直な平面（XY平面）上で移動する。回転軸とカーソルＣｕｒを結ぶ直線および面Ｐ３が成す角度θが固定された状態でカーソルが回転軸を中心に回転すると、カーソルＣｕｒと同じように３面コーナーキューブＣ１が回転する。
　同様に、カーソルＣｕｒが面Ｐ２上にある場合、３面コーナーキューブＣ１のＹ軸（例えば面Ｐ１と面Ｐ３が共有する辺）を中心に３面コーナーキューブＣ１がXZ平面上で回転する。また、カーソルＣｕｒが面Ｐ３上にある場合、３面コーナーキューブＣ１のＸ軸（例えば面Ｐ１と面Ｐ２が共有する辺）を中心に３面コーナーキューブＣ１がYZ平面上で回転する。
　マウスの水平移動量を３面コーナーキューブＣ１の回転角度に換算すると、カーソルが３面コーナーキューブＣ１の面上から外れてしまい、操作感が悪くなることが想定される。例えばカーソルが面Ｐ１上にある場合、マウスの右ボタンが押下されている間においては、マウスの円弧状の移動量を、XY平面上での３面コーナーキューブＣ１の回転量に相当させることにより、直感的な回転操作が可能となる。また、マウスの右ボタンが押下されている間においては、カーソルＣｕｒが３面コーナーキューブＣ１の面上から外れないようにすることも可能である。
　以上のように、３面コーナーキューブＣ１などのGUIは、ユーザによる２次元方向の操作によって位置と方向のうちの少なくともいずれかを変更可能である。なお、例えばカーソルＣｕｒが面Ｐ１上にある場合、所定の操作（マウスの左右両方のボタンの押下、マウスのホイールの操作など）が行われると、面Ｐ２と面Ｐ３のうちの少なくともいずれかが変形されるといったように、３面コーナーキューブＣ１は、２次元方向の操作によって形状を変更可能であってもよい。
　図９は、３面コーナーキューブＣ１の表示例を示す図である。
　図９のＡに示すように、カーソルＣｕｒが面Ｐ１乃至Ｐ３上のいずれにもない場合、面Ｐ１乃至Ｐ３は例えば透明な状態で表示される。図９のＢに示すように、カーソルＣｕｒが面Ｐ１上にある場合、カーソルＣｕｒ下の面Ｐ１は例えば着色された状態で表示され、面Ｐ２，Ｐ３は例えば透明な状態で表示される。
　図９のＣに示すように、カーソルＣｕｒが面Ｐ２上にある場合、カーソルＣｕｒ下の面Ｐ２は例えば着色された状態で表示され、面Ｐ１，Ｐ３は例えば透明な状態で表示される。図９のＤに示すように、カーソルＣｕｒが面Ｐ３上にある場合、カーソルＣｕｒ下の面Ｐ３は例えば着色された状態で表示され、面Ｐ１，Ｐ２は例えば透明な状態で表示される。
　以上のように、カーソルＣｕｒが３面コーナーキューブＣ１のどの面上にあるかが色で明示される。なお、カーソルＣｕｒが３面コーナーキューブＣ１のどの面上にあるかは、色に限らず、輝度（明るさ）やパターン（模様）を変化させることで明示されてもよい。
　なお、カーソルＣｕｒは、表示部１２に表示される仮想空間内を自由に移動できるものとされる。一般的に、カーソルは表示デバイスの表示面上を動くように描画される。本技術において、カーソルＣｕｒは、仮想空間内に配置された２次元のUI平面上を基本的に動くように描画される。本技術では、例えば、ユーザの視点位置と、一般的に表示デバイス上に表示されるカーソル位置とを結んだ直線、および、仮想空間内に配置されたUI平面が交わる位置に、カーソルＣｕｒが仮想的に配置される。
　図１０は、UI平面の例を示す図である。
　図１０の例では、カーソルＣｕｒが配置されるUI平面Ｐ１１は、仮想空間の最前面であって、XY平面に垂直な面として配置される。例えばUI平面Ｐ１１上には、カーソルＣｕｒとともに、メニューバーＢ１とスライドバーＢ２などの他のGUIも描画される。
　図１１は、カーソルＣｕｒの配置例を示す図である。
　通常時（カーソルＣｕｒが３面コーナーキューブの面上にない場合）、カーソルＣｕｒは、図１１の＃１乃至＃３で示すように、UI平面Ｐ１１上に配置される。右眼用のカーソルＣｕｒを、ユーザの右眼の位置と、一般的に表示デバイス上に表示されるカーソル位置とを結んだ直線上に描画し、左眼用のカーソルＣｕｒを、ユーザの左眼の位置と、一般的に表示デバイス上に表示されるカーソル位置とを結んだ直線上に描画することで、ユーザにとっては、カーソルＣｕｒが空中のUI平面Ｐ１１上に配置されているように感じられる。
　カーソルＣｕｒが、ユーザの視点Ｅの位置と３面コーナーキューブＣ１とを結んだ領域に入った場合、カーソルＣｕｒは、図１１の＃４乃至＃６で示すように、３面コーナーキューブＣ１の面上に配置される。
　以上のように、表示制御部１１は、カーソルＣｕｒが、ユーザの視点Ｅの位置と、仮想空間に配置されたオブジェクト（例えば、3DオブジェクトやGUI）とを結んだ領域に入っていない場合、仮想空間に配置された所定の平面に沿って移動するようにカーソルＣｕｒを制御する。また、表示制御部１１は、カーソルＣｕｒが、ユーザの視点Ｅの位置と、仮想空間に配置されたオブジェクトとを結んだ領域に入った場合、カーソルＣｕｒを所定の平面上からオブジェクトの表面上に移動させ、オブジェクトの表面に沿って移動するようにカーソルＣｕｒを制御する。
・第２の表示方法
　図１２は、ユーザの視点から見た3DオブジェクトとGUIの第２の例を示す図である。
　第１の表示方法（図３）においては、表示部１２により表示される仮想空間に、3DオブジェクトＯｂｊ、３面コーナーキューブＣ１、カーソルＣｕｒ、メニューバーＢ１、およびスライドバーＢ２が配置されていた。図１２に示す第２の表示方法においては、３面コーナーキューブＣ１の代わりに、キューブＣ５１が仮想空間に配置される。
　キューブＣ５１は、3DオブジェクトＯｂｊの一部分の切り取り位置を設定するためのGUIであり、６つの平面により構成される略箱状の形状を有するGUIである。
　図１３は、キューブＣ５１を用いた3DオブジェクトＯｂｊの切り取り方法を説明する図である。
　3DオブジェクトＯｂｊとキューブＣ５１が重なる場合、図１３のＡに示すように、キューブＣ５１の外側の領域に含まれる3DオブジェクトＯｂｊの部分が切り取られる。この場合、３面コーナーキューブＣ１の内側の領域に含まれる3DオブジェクトＯｂｊの部分が表示される。
　ユーザは、キューブＣ５１の位置を決定することにより、3DオブジェクトＯｂｊの切り取り位置を設定し、3DオブジェクトＯｂｊの内部形状を観測することができる。以下では、キューブＣ５１を用いて3DオブジェクトＯｂｊの一部分を切り取った状態で表示する技術を６面クリップと称する。3DオブジェクトＯｂｊが例えば人体の構造を示す3Dモデルである場合、６面クリップではキューブＣ５１の外側の部分が切り取られるため、キューブＣ５１の内側の小さな組織の3Dモデルをピンポイントで大きく拡大して観測することが可能となる。
　なお、３面クリップと同様に、６面クリップにおいても、3DオブジェクトＯｂｊの断面部を明確にするために、例えば断面部のみを発光または着色させて表示するといったように、断面部が強調されて表示される。
　以下では、キューブＣ５１が、上面、下面、および４つの側面で囲まれた直方体であることを想定して説明を行う。なお、キューブＣ５１の上面と下面は、表示部１２が設置されている床面に平行なXY平面に対応する（XY平面上の）面を示し、対向する２つの側面は、XY平面と直交するXZ平面に対応する（XZ平面上の）面を示す。他の２つの側面は、XY平面およびXZ平面と直行するYZ平面に対応する（YZ平面上の）面を示す。
　カーソルＣｕｒがキューブＣ５１の面上以外の位置から当該面上に移動された場合、情報処理装置１は６面クリップ操作モードとなる。６面クリップ操作モード中においては、カーソルＣｕｒは、カーソルＣｕｒ下の面（キューブＣ５１の上面、下面、または側面）上を移動する。
　６面クリップ操作モード中に、ユーザは、第３の操作（例えば、マウスのホイールの操作）を行うことにより、キューブＣ５１のサイズを変更することができる。マウスのホイールを操作することにより、例えば、図１３のＢに示すように、キューブＣ５１が小さくなり、ユーザは、3DオブジェクトＯｂｊのより内部を観察することができる。また、マウスのホイールをさらに操作することにより、例えば、図１３のＣに示すように、キューブＣ５１がさらに小さくなり、ユーザは、3DオブジェクトＯｂｊのさらに内部を観察することができる。
　なお、６面クリップ操作モード中に、ユーザは、マウスのホイールを操作することにより、キューブＣ５１を大きくすることも可能である。
　図１４は、キューブＣ５１の操作方法を説明する図である。
　６面クリップ操作モード中に、ユーザは、第２の操作（例えば、マウスの右ボタンの押下）を行いながら、マウス（カーソル）を移動させることにより、キューブＣ５１を回転させ、3DオブジェクトＯｂｊの切り取り方向を変更することができる。
　カーソルがキューブＣ５１の上面上にある場合、図１４のＡの矢印で示すように、当該上面に垂直な軸Ａ１を中心にキューブＣ５１がXY平面上で回転する。同様に、カーソルがキューブＣ５１の側面上にある場合、当該側面に垂直な軸を中心にキューブＣ５１がXZ平面上またはYZ平面上で回転する。
　マウスの水平移動量をキューブＣ５１の回転角度に換算すると、カーソルがキューブＣ５１の面上から外れてしまい、操作感が悪くなることが想定される。例えばカーソルがキューブＣ５１の上面上にある場合、マウスの右ボタンが押下されている間においては、マウスの円弧状の移動量を、XY平面上でのキューブＣ５１の回転量に相当させることにより、直感的な回転操作が可能となる。また、マウスの右ボタンが押下されている間においては、カーソルがキューブＣ５１の面上から外れないようにすることも可能である。
　６面クリップ操作モード中に、ユーザは、第１の操作（例えば、マウスの左ボタンの押下）を行いながら、マウス（カーソル）を移動させることにより、図１４のＢの白抜き矢印で示すように、キューブＣ５１を移動させ、3DオブジェクトＯｂｊの切り取り位置を変更することができる。
　カーソルがキューブＣ５１の上面上にある場合、キューブＣ５１のＺ値が固定され、XY平面上をスライドするようにキューブＣ５１が移動する。同様に、カーソルが側面上にある場合、キューブＣ５１のＹ値またはＺ値が固定され、XZ平面上またはYZ平面上をスライドするようにキューブＣ５１が移動する。
　３面コーナーキューブＣ１と同様に、キューブＣ５１においても、カーソル下の面は例えば着色されて表示される。また、６面クリップにおいて、カーソルは、仮想空間内に配置されたUI平面上を基本的に動くように描画され、ユーザの視点位置とキューブＣ５１とを結んだ領域に入った場合、キューブＣ５１の面上を動くように描画される。
　なお、３面クリップや６面クリップにおいて、カーソルが３面コーナーキューブＣ１やキューブＣ５１上にない場合、情報処理装置１は、3Dオブジェクト操作モードとなる。
　3Dオブジェクト操作モード中に、ユーザは、マウスの左ボタンを押下しながら、マウスを移動させることにより、3Dオブジェクトを移動させることができる。また、3Dオブジェクト操作モード中に、ユーザは、マウスの右ボタンを押下しながら、マウスを移動させることにより、3Dオブジェクトを回転させることができる。さらに、3Dオブジェクト操作モード中に、ユーザは、マウスのホイールを操作することにより、3Dオブジェクトのサイズを変更することができる。
　以上のように、本技術の情報処理装置１においては、３面コーナーキューブＣ１やキューブＣ５１といったGUIを構成するパーツ（面）が、GUIがスライドする面（制御面）やGUIの回転軸を切り替えるための目印として利用される。ユーザは、２次元方向の操作が可能な入力デバイス(入力部１４)を用いてGUIを構成する面を指定して、制御面や回転軸を切り替えることでGUIに対する６軸の操作を直感的に行うことが可能となる。
　一般的に、3Dオブジェクト自体や、3Dオブジェクトの表示を制御するためのGUIなどを操作する場合、実空間で３次元方向に動かすことが可能な入力デバイスを用いることが有効である。しかし、ユーザは、入力デバイスを空中で把持し続ける必要があり、疲労が増大する。
　本技術の情報処理装置１においては、机上で一般的に使用されるマウスなどを用いてGUIを空間的に操作することができる。ユーザにとっては、使い慣れたマウスなどを机上で動かすことでGUIを操作することができ、疲れにくい。したがって、ユーザは、3Dオブジェクトの表示を制御するためのGUIを好適に操作することが可能となる。
　また、内部形状を有する物体の3Dモデルを立体的に表示し、その物体の内部形状をユーザが見たい場合、一般的に、3Dモデルの一部分を半透明化したり、所定の面で切り取って断面を表示したりする処理が行われる。この場合、半透明化する部分の特定などに手間がかかったり、確認できる範囲が断面部に限定されたりする。
　本技術の情報処理装置１においては、3Dオブジェクトが少なくとも３面で切り取られるため、切り取る領域の特定が比較的容易であり、より精細に見たい部分を限定することが可能となる。
　本技術の情報処理装置１においては、ユーザの視点位置のトラッキングに基づいて、運動視差表現を可能とする立体視が実現される。頭部の動き、揺れ、振動などによる位置変化、および、その位置変化に対する映像変化といったフィードバックにより、ユーザの脳内では、3Dオブジェクトの断面部と断面部付近の構造とが分離されて認識される。分離しやすい領域(深度)は狭いが、本技術では、注視領域の手前までの領域に含まれる3Dオブジェクトの部分が切り取られるため、空間構造を容易に把握することができる。断面部が強調されて表示されることにより、断面部を認知し、断面部の奥の構造を分かり易くする効果もある。
　ユーザは、マウスなどを用いてGUIを動かして、3Dオブジェクトの断面を動的に変化させることで、3Dオブジェクトの構造をより詳細に理解することができる。言い換えると、本技術の情報処理装置１は、ユーザの操作（関与）に応じた映像を提示するリアルタイムフィードバックを実現することが可能となる。
＜３．情報処理装置の動作＞
　次に、図１５のフローチャートを参照して、以上のような構成を有する情報処理装置１が行う処理について説明する。
　ステップＳ１において、センサ部１３は、ユーザの視点位置を検出する。
　ステップＳ２において、入力部１４は、ユーザによる操作の入力を受け付ける。
　ステップＳ３において、表示制御部１１は、ユーザによる操作に応じてカーソルの位置やGUIの位置と方向を制御する。
　ステップＳ４において、表示制御部１１は、3Dオブジェクト、カーソル、GUIなどを描画し、映像を生成する。具体的には、表示制御部１１は、GUIの位置や方向に基づいて3Dオブジェクトの切り取り位置や切り取り方向を特定し、GUIの面に沿って3Dオブジェクトのポリゴン、点群データ、テクスチャなどを非表示にする、または、削除する。表示制御部１１は、切り取った部分を透過させ、3Dオブジェクトの内部を描画する。
　3Dオブジェクトの一部分を非表示にしたり、削除したりすることで、当該部分を半透明化するよりも、レンダリングを行う情報処理装置１の要求性能を下げることができる。特に、６面クリップでは、小さい領域のレンダリングを重点的に行うことで、3Dオブジェクトをより精細に表現することが可能となる。
　表示制御部１１により生成される映像は、仮想空間に配置された3DオブジェクトやGUIなどのオブジェクトが、ユーザの視点位置に基づいて表示部１２の表示面上に透視投影されたイメージとなる。映像が立体映像である場合、左右それぞれの視点位置から見たとき、同一のオブジェクトは異なる位置や形状に見える。したがって、表示制御部１１は、左眼と右眼のそれぞれで視認された映像が脳内で合成されたときに、同一のオブジェクトが同位置、同形状、および同サイズとして認識されるように、映像内のオブジェクトの配置処理や変形処理を行う。
　ステップＳ５において、表示部１２は、表示制御部１１により生成された映像を表示する。
　以上のように、情報処理装置１においては、仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、仮想空間において3DオブジェクトおよびGUIが重なる場合、GUIの面に沿って一部分が切り取られた3Dオブジェクトを含む映像が生成され、表示される。
　ユーザは、3Dオブジェクトの切り取り位置を特定するためのGUIを好適に操作し、3Dオブジェクトの内部形状を観測することが可能となる。
　なお、本技術における3DオブジェクトやGUIの表現手法は、例えば、視点追従型の空間再現ディスプレイの表示を制御する情報処理装置において実行されるソフトウェアアプリケーション、プラグインツール、ライブラリなどにより実現される。
＜コンピュータについて＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)５０１，ROM(Read Only Memory)５０２，RAM(Random Access Memory)５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続される。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５及びバス５０４を介してRAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する映像生成部
　を備える情報処理装置。
（２）
　前記映像生成部は、入力された２次元方向の操作に基づいて、前記GUIの位置、方向、および形状のうちの少なくともいずれかを変更する
　前記（１）に記載の情報処理装置。
（３）
　前記映像生成部は、カーソルが前記GUIの面上にある場合、前記GUIの面上で前記カーソルを移動させる
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記映像生成部は、前記GUIの１の面を選択した状態で前記カーソルを移動させる操作に応じて、前記GUIの１の面に対応する平面上で前記GUIを移動させる
　前記（３）に記載の情報処理装置。
（５）
　前記映像生成部は、前記GUIの１の面を選択した状態で前記カーソルを移動させる操作に応じて、前記GUIの１の面に対応する平面上で前記GUIを回転させる
　前記（３）または（４）に記載の情報処理装置。
（６）
　前記映像生成部は、前記カーソルが前記GUIの面上にある状態での所定の操作に応じて、前記GUIのサイズを変更する
　前記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記映像生成部は、前記カーソルが前記GUIの面上にある状態での所定の操作に応じて、前記GUIを変形させる
　前記（３）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記映像生成部は、前記カーソルが前記GUIの面上にない場合、前記仮想空間に配置されたUI平面上で前記カーソルを移動させる
　前記（３）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記映像生成部は、ユーザの視点位置と前記3Dオブジェクトを結ぶ領域に前記カーソルが入った場合、前記仮想空間において、前記カーソルを前記UI平面上から前記GUIの面上に移動させる
　前記（８）に記載の情報処理装置。
（１０）
　前記映像生成部により生成される映像は、前記仮想空間において前記UI平面上に配置された他のGUIを含む
　前記（８）または（９）のいずれかに記載の情報処理装置。
（１１）
　前記映像生成部は、前記カーソル下の前記GUIの面を着色する
　前記（３）に記載の情報処理装置。
（１２）
　前記GUIは、２辺を他の面とそれぞれ共有する少なくとも３つの面により構成される
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記GUIは、６つの面で囲まれる略箱状の形状を有する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１４）
　前記映像生成部は、前記GUIの内側の領域に含まれる前記3Dオブジェクトの部分を切り取る
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記映像生成部は、前記GUIの外側の領域に含まれる前記3Dオブジェクトの部分を切り取る
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１６）
　前記映像生成部は、前記GUIの面に沿った前記3Dオブジェクトの断面部が強調された映像を生成する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記映像生成部は、両眼視差による立体映像を生成する
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記映像生成部は、ユーザの視点位置のトラッキングに基づいて映像を生成する
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する映像生成部を備える情報処理装置と、
　前記情報処理装置に接続され、前記映像生成部によって生成された映像を表示する表示部を備える表示装置と
　を含む情報処理システム。
（２０）
　コンピュータに、
　仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する
　処理を実行させるためのプログラム。
（２１）
　前記映像生成部は、前記視点位置に基づいて、前記3Dオブジェクトと前記GUIを透視投影することで映像を生成する
　前記（１８）に記載の情報処理装置。
　１　情報処理装置，　１１　表示制御部，　１２　表示部，　１３　センサ部，　１４　入力部，　１５　記憶部

Claims (20)

  1. 　仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する映像生成部
    　を備える情報処理装置。
  2. 　前記映像生成部は、入力された２次元方向の操作に基づいて、前記GUIの位置、方向、および形状のうちの少なくともいずれかを変更する
    　請求項１に記載の情報処理装置。
  3. 　前記映像生成部は、カーソルが前記GUIの面上にある場合、前記GUIの面上で前記カーソルを移動させる
    　請求項１に記載の情報処理装置。
  4. 　前記映像生成部は、前記GUIの１の面を選択した状態で前記カーソルを移動させる操作に応じて、前記GUIの１の面に対応する平面上で前記GUIを移動させる
    　請求項３に記載の情報処理装置。
  5. 　前記映像生成部は、前記GUIの１の面を選択した状態で前記カーソルを移動させる操作に応じて、前記GUIの１の面に対応する平面上で前記GUIを回転させる
    　請求項３に記載の情報処理装置。
  6. 　前記映像生成部は、前記カーソルが前記GUIの面上にある状態での所定の操作に応じて、前記GUIのサイズを変更する
    　請求項３に記載の情報処理装置。
  7. 　前記映像生成部は、前記カーソルが前記GUIの面上にある状態での所定の操作に応じて、前記GUIを変形させる
    　請求項３に記載の情報処理装置。
  8. 　前記映像生成部は、前記カーソルが前記GUIの面上にない場合、前記仮想空間に配置されたUI平面上で前記カーソルを移動させる
    　請求項３に記載の情報処理装置。
  9. 　前記映像生成部は、ユーザの視点位置と前記3Dオブジェクトを結ぶ領域に前記カーソルが入った場合、前記仮想空間において、前記カーソルを前記UI平面上から前記GUIの面上に移動させる
    　請求項８に記載の情報処理装置。
  10. 　前記映像生成部により生成される映像は、前記仮想空間において前記UI平面上に配置された他のGUIを含む
    　請求項８に記載の情報処理装置。
  11. 　前記映像生成部は、前記カーソル下の前記GUIの面を着色する
    　請求項３に記載の情報処理装置。
  12. 　前記GUIは、２辺を他の面とそれぞれ共有する少なくとも３つの面により構成される
    　請求項１に記載の情報処理装置。
  13. 　前記GUIは、６つの面で囲まれる略箱状の形状を有する
    　請求項１に記載の情報処理装置。
  14. 　前記映像生成部は、前記GUIの内側の領域に含まれる前記3Dオブジェクトの部分を切り取る
    　請求項１に記載の情報処理装置。
  15. 　前記映像生成部は、前記GUIの外側の領域に含まれる前記3Dオブジェクトの部分を切り取る
    　請求項１に記載の情報処理装置。
  16. 　前記映像生成部は、前記GUIの面に沿った前記3Dオブジェクトの断面部が強調された映像を生成する
    　請求項１に記載の情報処理装置。
  17. 　前記映像生成部は、両眼視差による立体映像を生成する
    　請求項１に記載の情報処理装置。
  18. 　前記映像生成部は、ユーザの視点位置のトラッキングに基づいて映像を生成する
    　請求項１に記載の情報処理装置。
  19. 　仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する映像生成部を備える情報処理装置と、
    　前記情報処理装置に接続され、前記映像生成部によって生成された映像を表示する表示部を備える表示装置と
    　を含む情報処理システム。
  20. 　コンピュータに、
    　仮想空間に配置された、3Dオブジェクトと、少なくとも３面を有するGUIとを含む映像であって、前記仮想空間において前記3Dオブジェクトおよび前記GUIが重なる場合、前記GUIの面に沿って一部分が切り取られた前記3Dオブジェクトを含む映像を生成する
    　処理を実行させるためのプログラム。
PCT/JP2023/013479 2022-08-24 2023-03-31 情報処理装置、情報処理システム、およびプログラム WO2024042763A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263373355P 2022-08-24 2022-08-24
US63/373,355 2022-08-24

Publications (1)

Publication Number Publication Date
WO2024042763A1 true WO2024042763A1 (ja) 2024-02-29

Family

ID=90012928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013479 WO2024042763A1 (ja) 2022-08-24 2023-03-31 情報処理装置、情報処理システム、およびプログラム

Country Status (1)

Country Link
WO (1) WO2024042763A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120384A (ja) * 1997-10-17 1999-04-30 Nec Corp 入力装置
JP2000089886A (ja) * 1998-09-10 2000-03-31 Scale:Kk 仮想多面体を用いたデスクトップ管理システム及び方法
US20150268831A1 (en) * 2012-06-22 2015-09-24 Microsoft Technology Licensing, Llc 3d user interface for application entities
JP2018151851A (ja) * 2017-03-13 2018-09-27 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
WO2021131941A1 (ja) * 2019-12-26 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120384A (ja) * 1997-10-17 1999-04-30 Nec Corp 入力装置
JP2000089886A (ja) * 1998-09-10 2000-03-31 Scale:Kk 仮想多面体を用いたデスクトップ管理システム及び方法
US20150268831A1 (en) * 2012-06-22 2015-09-24 Microsoft Technology Licensing, Llc 3d user interface for application entities
JP2018151851A (ja) * 2017-03-13 2018-09-27 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
WO2021131941A1 (ja) * 2019-12-26 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NURSE PLUS EDITORIAL DEPARTMENT: ""[App] Muscle | Skeleton - Anatomy 3D Atlas"", NURSE PLUS, 11 November 2021 (2021-11-11), XP009552801, Retrieved from the Internet <URL:https://kango.mynavi.jp/contents/nurseplus/career_skillup/20181205-11022/> *

Similar Documents

Publication Publication Date Title
US9704285B2 (en) Detection of partially obscured objects in three dimensional stereoscopic scenes
US10754496B2 (en) Virtual reality input
EP3607418B1 (en) Virtual object user interface display
US10025102B2 (en) Mapping input to hologram or two-dimensional display
EP3311249B1 (en) Three-dimensional user input
US10303323B2 (en) System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9886102B2 (en) Three dimensional display system and use
Milgram et al. Augmented reality: A class of displays on the reality-virtuality continuum
US6091410A (en) Avatar pointing mode
JP2006127158A (ja) 画像処理方法、画像処理装置
JP2013029958A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020226847A1 (en) Capture indicator for a virtual world
JP2004362218A (ja) 三次元物体操作方法
WO2024042763A1 (ja) 情報処理装置、情報処理システム、およびプログラム
Stenicke et al. Interscopic user interface concepts for fish tank virtual reality systems
Argelaguet et al. Visual feedback techniques for virtual pointing on stereoscopic displays
Yamada et al. Desk-sized immersive workplace using force feedback grid interface
JP2022153476A (ja) アニメーション制作システム
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
US20080088586A1 (en) Method for controlling a computer generated or physical character based on visual focus
WO2021059369A1 (ja) アニメーション制作システム
JP4907156B2 (ja) ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム
JP2001291119A (ja) ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体
JP2009519481A (ja) 物体の操作のための観察システム
JP3631890B2 (ja) 電子遊戯装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23856883

Country of ref document: EP

Kind code of ref document: A1