WO2022239639A1 - 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム - Google Patents

現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム Download PDF

Info

Publication number
WO2022239639A1
WO2022239639A1 PCT/JP2022/018862 JP2022018862W WO2022239639A1 WO 2022239639 A1 WO2022239639 A1 WO 2022239639A1 JP 2022018862 W JP2022018862 W JP 2022018862W WO 2022239639 A1 WO2022239639 A1 WO 2022239639A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
sub
attitude
coordinate system
main
Prior art date
Application number
PCT/JP2022/018862
Other languages
English (en)
French (fr)
Inventor
英悟 池谷
Original Assignee
有限会社池谷製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社池谷製作所 filed Critical 有限会社池谷製作所
Publication of WO2022239639A1 publication Critical patent/WO2022239639A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to virtual reality, augmented reality, or mixed reality technology.
  • Virtual reality refers to technology that displays a three-dimensional virtual space in the user's field of vision by attaching an HMD (Head Mount Display) terminal to the user's head.
  • HMD Head Mount Display
  • Augmented reality is a technology that displays CG (Computer Graphics) images in the real space that is visible to the user.
  • the real space is expanded by superimposing CG on a see-through display or on an image of the real space photographed by a camera.
  • Mixed reality is a technology that fuses a virtual space artificially created by CG with a real space. Objects in the real space are integrated with the virtual space, and the user's movements affect each other in the real space and the virtual space.
  • the HMD terminal, AR terminal, and MR terminal detect the movement of the user using the attitude sensor, and acquire and display virtual space information by accessing the virtual space server.
  • Patent Document 1 there is technology for an experience sharing system among multiple users (see Patent Document 1, for example).
  • smart glasses that wirelessly transmit images captured by a camera
  • VR equipment that receives images from the smart glasses and displays virtual reality images to the user.
  • Patent Document 2 There are also technologies that provide services via an augmented reality space (or virtual reality space) (see Patent Document 2, for example).
  • This technology uses an IoT device to which an identification code is attached, and an AR device or a VR device that captures an image of the identification code.
  • the AR device displays the augmented reality space as its reference point to the user, and the IoT device cooperates with the augmented reality space to provide the user with services.
  • Fig. 1 is a system configuration diagram in which a sub-terminal exists in a real space that is visible to the operator. According to the figure, the operator visually recognizes the user a who exists in the physical space. A user a wears a subterminal 2 such as an HMD terminal on his head, and each HMD terminal accesses a virtual space server 3 . As a result, the subterminal 2 can reproduce the virtual space desired by the user.
  • a subterminal 2 such as an HMD terminal on his head
  • each HMD terminal accesses a virtual space server 3 .
  • the subterminal 2 can reproduce the virtual space desired by the user.
  • FIG. 1 it is assumed that a physically handicapped person (user) requiring care wears an HMD terminal (sub-terminal 2) and experiences a virtual space.
  • the care recipient can be personally immersed in the virtual space, but the caregiver (operator) cannot recognize the distance to the care recipient in the virtual space. It is also not possible to assist the operation of the care recipient's virtual space.
  • Such problems are not limited to nursing care situations.
  • the relationship between a vocational trainee wearing an HMD terminal and an instructor who guides training in the virtual space is the same.
  • the inventor of the present application thought that it would be good if the position and orientation relative to the sub-terminal in the real space could be maintained in the virtual space.
  • a main terminal for solving the first problem, a main terminal, a program, a system, and a method capable of maintaining a position and orientation relative to a sub-terminal in real space in virtual space are provided. for the purpose.
  • the user wearing the HMD terminal becomes an avatar and can move in the virtual space.
  • the other party can be recognized by an avatar in the virtual space.
  • the operator since the operator can recognize the user only by the avatar, the mode is different from the real space, and the operator cannot assist the user as in the real space.
  • the inventor of the present application thought that it would be good if the image of the user in the real space could be developed in the virtual space.
  • the present invention provides a main terminal, a program, a system and a method capable of developing a user's image in the real space into the virtual space. aim.
  • a first invention for solving the first problem and a second invention for solving the second problem are disclosed.
  • a first invention of the present application relates to a main terminal, a program, a system and a method capable of maintaining a position and orientation relative to a sub-terminal in real space in virtual space.
  • a main terminal equipped with a camera and an orientation sensor and capable of communicating with a sub terminal existing in a visible position in real space, a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from the sub-terminal; an object recognition means for recognizing a sub-terminal in real space from an image captured by a camera; object attitude detection means for detecting, from the image taken by the camera, the sub terminal attitude T A2 in the main terminal coordinate system A associated with the attitude sensor of the main terminal, with respect to the sub terminal; relative attitude calculation means for calculating a relative attitude in real space from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H; a server access means for transmitting the relative attitude in the real space to the virtual space server, and maintaining the relative attitude in the real space between the main terminal and the sub-terminal in the same virtual space of the virtual space server.
  • a main terminal characterized is provided.
  • the relative attitude calculation means calculates the main terminal attitude from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H. It is also preferable to calculate the relative attitude T AH of the sub terminal coordinate system H with respect to the coordinate system A.
  • the server access means as the relative posture in the real space, Relative attitude T AH of the secondary terminal coordinate system H with respect to the primary terminal coordinate system A, position v and tilt r derived from relative attitude T AH , Position v and tilt derived from inverse matrix T AH -1 of relative attitude T AH (relative attitude T HA of main terminal coordinate system A with respect to sub terminal coordinate system H), and inverse matrix T AH -1 of relative attitude T AH r to the virtual space server.
  • the main terminal further has sub-terminal communication means for acquiring from the sub-terminal the server address of the virtual space server to which the sub-terminal is logged in, It is also preferable that the server access means logs into the virtual space server associated with the server address obtained from the sub-terminal and enters the same virtual space as the sub-terminal.
  • Server access means to the virtual space server located on the external network via wide area communication, to a locally located virtual space server via short-range communication, or It is also preferable to access the virtual space server installed in the sub-terminal via short-range communication.
  • the sub-terminal has an orientation sensor
  • the sub-terminal attitude T A2 in the main terminal coordinate system A is derived from the position v and the inclination r of the sub-terminal reflected in the image with respect to the front for the user, It is also preferable that the sub-terminal attitude T H2 in the sub-terminal coordinate system H is detected by the attitude sensor of the sub-terminal.
  • the front for the user of the sub-terminal reflected in the image is the predetermined marker arranged on the sub-terminal.
  • Location-based identification is also preferred.
  • the sub-terminal attitude receiving means receives the position v and the tilt r in the sub-terminal coordinate system H, and converts the attitude matrix consisting of the rotation matrix R based on the tilt r and the position v into the sub-terminal attitude in the sub-terminal coordinate system H.
  • T H2 be
  • the object attitude detection means detects the position v and the tilt r of the sub terminal in the main terminal coordinate system A from the image captured by the camera, and calculates the attitude matrix consisting of the rotation matrix R based on the tilt r and the position v. , the sub terminal attitude T A2 in the main terminal coordinate system A.
  • the main terminal is a spectacle-type, contact-lens-type, or head-mounted terminal equipped with a display, and the It is also preferable to allow the operator to visually recognize the sub-terminal that exists in the real space by means of a display that displays images.
  • the main terminal can log in to the same virtual space in the same virtual space server as the sub-terminal,
  • the server access means receives, from the virtual space server, virtual space information in which the user possessing the sub terminal is expressed as an avatar,
  • the main terminal user image clipping means for clipping a portion of a user image recognized as a user wearing a sub-terminal from an image captured by a camera; It is also preferable to further include virtual image generating means for superimposing the clipped user image portion on the avatar image portion in the virtual space information.
  • a main terminal equipped with a camera and an orientation sensor which is installed in a main terminal capable of communicating with a sub-terminal existing in a position visible in real space from the main terminal
  • a computer-readable non-transitory recording medium recording a program executed by a computer, the program comprising: a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from the sub-terminal; an object recognition means for recognizing a sub-terminal in real space from an image captured by a camera; object attitude detection means for detecting, from the image taken by the camera, the sub terminal attitude T A2 in the main terminal coordinate system A associated with the attitude sensor of the main terminal, with respect to the sub terminal; relative attitude calculation means for calculating a relative attitude in real space from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H; making the computer function as a server access means for transmitting the relative posture in the real space
  • a system capable of communicating with a main terminal equipped with a camera and an orientation sensor and a sub-terminal present at a position visible in real space from the main terminal, comprising: The main terminal a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from the sub-terminal; an object recognition means for recognizing a sub-terminal in real space from an image captured by a camera; object attitude detection means for detecting, from the image taken by the camera, the sub terminal attitude T A2 in the main terminal coordinate system A associated with the attitude sensor of the main terminal, with respect to the sub terminal; relative attitude calculation means for calculating a relative attitude in real space from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H; a server access means for transmitting the relative attitude in the real space to the virtual space server;
  • a secondary terminal is a sub-terminal attitude transmitting means for transmitting a sub-terminal
  • the virtual space attitude of a main terminal that is a main terminal equipped with a camera and an attitude sensor and that can communicate with a sub-terminal that exists in a position visible in real space from the main terminal
  • a maintenance method comprising: The main terminal a first step of receiving a subterminal attitude T H2 in the subterminal coordinate system H from the subterminal; a second step of recognizing the sub-terminal in the real space from the image captured by the camera; a third step of detecting a sub-terminal attitude T A2 in the main terminal coordinate system A associated with the attitude sensor of the main terminal for the sub-terminal from the image captured by the camera; relative attitude calculation means for calculating a relative attitude in real space from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H; a fourth step of transmitting the relative attitude in the real space to the virtual space server;
  • a virtual space attitude maintaining method characterized by maintaining a relative attitude in real space between
  • a second invention of the present application relates to a main terminal, a program, a system and a method capable of developing a user's video in the real space into the virtual space.
  • a main terminal equipped with a camera existing in a position visible from the self in real space, and capable of communicating with a sub terminal worn by a user, It is possible to log in to the same virtual space on the same virtual space server as the sub terminal, a server access means for receiving virtual space information expressing a user possessing a sub-terminal as an avatar from a virtual space server; an object recognition means for recognizing a user wearing a sub-terminal in real space from an image captured by a camera; user image clipping means for clipping a portion of a user image recognized as a user wearing a sub-terminal from an image captured by a camera; and virtual image generating means for superimposing the clipped user image portion on the avatar image portion in the virtual space information.
  • Server access means to the virtual space server located on the external network via wide area communication, to a locally located virtual space server via short-range communication, or It is also preferable to access the virtual space server installed in the sub-terminal via short-range communication.
  • a main terminal equipped with a camera which exists in a position visible in real space from the main terminal and can communicate with a sub-terminal worn by a user.
  • a computer-readable non-transitory recording medium recording a program executed by an on-board computer, The main terminal can log in to the same virtual space in the same virtual space server as the sub-terminal, Said program a server access means for receiving virtual space information expressing a user possessing a sub-terminal as an avatar from a virtual space server; an object recognition means for recognizing a sub-terminal in real space from an image captured by a camera; user image clipping means for clipping a portion of a user image recognized as a user wearing a sub-terminal from an image captured by a camera;
  • a recording medium is provided that causes a computer to function as virtual image generating means for superimposing the clipped user image portion on the avatar image portion in the virtual space information.
  • a main terminal equipped with a camera which exists in a position visible in real space from the main terminal and is capable of communicating with a sub-terminal worn by a user.
  • a virtual image generation method comprising: The main terminal can log in to the same virtual space in the same virtual space server as the sub-terminal, The main terminal a first step of receiving, from a virtual space server, virtual space information in which a user possessing a sub-terminal is expressed as an avatar; a second step of recognizing the sub-terminal in the real space from the image captured by the camera; a third step of cutting out a user image portion recognized as the user wearing the sub terminal from the video captured by the camera; and a fourth step of superimposing the clipped user image portion on the avatar image portion in the virtual space information.
  • main terminal program, system and method of the first aspect of the present application, it is possible to maintain the position and orientation relative to the sub-terminal in real space in virtual space. Also, according to the main terminal, program, system and method of the second invention of the present application, it is possible to expand the user's video in the real space into the virtual space.
  • FIG. 1 is a system configuration diagram in which a sub-terminal exists in a real space visible to an operator;
  • FIG. 1 is a system configuration diagram in the present invention;
  • FIG. FIG. 4 is an explanatory diagram showing the coordinate system of the orientation sensor in the first invention;
  • 3 is a functional configuration diagram of a main terminal in the first invention;
  • FIG. 4 is an explanatory diagram showing the processing flow of the main terminal in the first invention;
  • 4 is an explanatory diagram showing the relationship between the main terminal coordinate system and the sub terminal coordinate system in the first invention;
  • FIG. FIG. 4 is an explanatory diagram showing the relationship between the real space and the virtual space in the first invention;
  • FIG. 9 is a functional configuration diagram of a main terminal in the second invention;
  • FIG. 11 is an explanatory diagram showing a processing flow of the main terminal in the second invention;
  • FIG. 2 is a system configuration diagram in the present invention.
  • virtual space servers generally allow multiple users staying in remote locations to exist in the same virtual space.
  • the main terminal 1 carried by the operator and the sub-terminal 2 carried by the user are located at positions visible in the real space. That is, the present invention is particularly applicable when terminals are close to each other in real space.
  • the main terminal 1 is, for example, a glasses-type AR (Augmented Reality) terminal, and can display CG of virtual space on a see-through display. The operator wears the main terminal 1 and can visually recognize the user a through the see-through display.
  • the subterminal 2 is, for example, an HMD (Head Mount Display) terminal, and can access the virtual space server 3 . Assume that user a wears an HMD and is experiencing a virtual space.
  • the main terminal 1 is an AR terminal, but it may be an MR (Mixed Reality) terminal, and is not limited to these.
  • the main terminal 1 may be of a contact lens type, or may be an HMD terminal with a camera that reproduces images of the outside world. The operator can visually recognize the sub-terminal 2 existing in the real space through a see-through display or through a display that displays an image captured by a camera.
  • the sub-terminal 2 is also an HMD terminal, it may of course be an AR terminal or an MR terminal, and is not limited to this.
  • the main terminal 1 and the sub-terminal 2 may be terminals equipped with a camera and a display, such as smartphones, or may be tablets or personal computers.
  • the main terminal 1 communicates with the subterminal 2 by short range communication.
  • the "short range communication" may be wireless or wired.
  • short-range wireless communication such as Bluetooth (registered trademark) and Zigbee (registered trademark)
  • narrow-area wireless networks such as wireless LAN are preferable.
  • BLE Bluetooth Low Energy
  • BLE Bluetooth Low Energy
  • the subterminal 2 constantly transmits an advertising packet as a tag device. Publicity packets are transmitted periodically, for example, at intervals of 100ms.
  • the subterminal 2 functions as an "advertiser", and the advertisement packet includes a "beacon ID" as a terminal ID.
  • the main terminal 1 can also access the virtual space server 3 .
  • the locations where the virtual space servers 3 are arranged are classified into, for example, the following three patterns.
  • Virtual Space Server Dedicated Server
  • Internet External network
  • Dedicated Server Locally placed virtual space server
  • Listen Server Virtual space server
  • the main terminal 1 connects to the Internet by wide area communication.
  • the wide area communication that serves as the interface may be wireless or wired.
  • the main terminal 1 can communicate via short-range communication.
  • the main terminal, program, system and method as the first invention of the present application can maintain the position and orientation relative to the sub-terminal in real space in virtual space.
  • FIG. 3 is an explanatory diagram showing the coordinate system of the orientation sensor in the first invention.
  • the main terminal 1 further has at least a camera 104 and a posture sensor 105 as hardware in addition to the configuration shown in FIG.
  • the sub terminal 2 also has an attitude sensor 205 .
  • Camera 104 may be a general 2D camera or a 3D camera.
  • LIDAR light detection and ranging
  • a UWB Ultra Wide Band
  • attitude sensors 105 and 205 The attitude sensors 105 and 205 always detect "position v" and "inclination r" that determine their own attitude (transformation matrix, Transform) during activation. According to FIG. 3, the following attitudes are represented.
  • T A1 Main terminal attitude in main terminal coordinate system A
  • T H2 Sub terminal attitude in sub terminal coordinate system H
  • the main terminal coordinate system A is the reference coordinate system set when the equipment is started.
  • the sub-terminal coordinate system H is also assumed to be the reference coordinate system set when the device is started.
  • the orientation sensors 105 and 205 are equipped with an IMU (Inertial Measurement Unit) to detect the "inclination r". This is the same as what is installed in a general smart phone. Also, the orientation sensors 105 and 205 are equipped with a tracking device mounted on a head-mounted display, such as Lighthouse (registered trademark) of SteamVR (registered trademark), in order to detect "position v" (for example, non-tracking device). See Patent Document 1). It can track the position v of the main terminal 1 and the subterminal 2 within a predetermined range by communicating with an anchor (base station) installed in the physical space.
  • IMU Inertial Measurement Unit
  • the attitude sensors 105 and 205 can simultaneously track the self-position v and the inclination r using SLAM (Simultaneous Localization And Mapping) by installing the above-described IMU and camera (for example, Non-Patent Document 5 reference).
  • SLAM Simultaneous Localization And Mapping
  • the “attitude” in the present invention means a “rotation matrix R” (3 ⁇ 3 matrix), the “posture T” (4 ⁇ 4 matrix) is defined as follows (see Non-Patent Document 2, for example).
  • the orientation T can be derived from the position v and the inclination r, and conversely, the position v and the inclination r can be derived from the orientation T.
  • FIG. 4 is a functional configuration diagram of the main terminal in the first invention.
  • FIG. 5 is an explanatory diagram showing the processing flow of the main terminal in the first invention.
  • the main terminal 1 includes a sub terminal detection unit 110, a sub terminal attitude reception unit 111, an object recognition unit 112, an object attitude detection unit 113, a relative attitude calculation unit 12, and a sub terminal communication unit. 13 and a server access unit 14 .
  • These functional components are regarded as functions realized by executing an embodiment of the program according to the present invention stored in the processor memory (arithmetic processing system with memory function) installed in the main terminal 1. can be done. Further, the flow of processing in which the functional components of the main terminal 1 are connected by arrows in FIG. 4 can also be understood as an embodiment of the virtual space posture maintaining method according to the present invention.
  • the subterminal detection unit 110 acquires the terminal ID from the subterminal 2 .
  • the terminal ID may be, for example, a beacon ID, an IP address, or a MAC (Media Access Control) address.
  • the sub-terminal 2 periodically transmits a terminal ID, and the sub-terminal detection unit 110 of the main terminal 1 can receive the terminal ID.
  • the short-range communication is a wireless LAN
  • the sub-terminal detection unit 110 of the main terminal 1 can receive the terminal ID from the sub-terminal 2 by distributing the inquiry request by multicast.
  • the sub-terminal attitude receiving section 111 receives the sub-terminal attitude T H2 (position v and tilt r) in the sub-terminal coordinate system H from the sub-terminal 2 already detected by the sub-terminal detecting section 110 .
  • the sub terminal attitude T H2 in the sub terminal coordinate system H is detected by the attitude sensor 205 of the sub terminal 2 .
  • T H2 Sub-terminal attitude in sub-terminal coordinate system H
  • the sub-terminal attitude T H2 in the sub-terminal coordinate system H of the sub-terminal 2 is output to the relative attitude calculation unit 12 .
  • the object recognition unit 112 recognizes the sub-terminal 2 in the physical space as an object from the image captured by the camera 104 .
  • the object of the sub-terminal 2 may be recognized using an object recognition engine that has previously learned the appearance of the sub-terminal 2 (for example, the appearance of the HMD terminal).
  • object recognition engine that has previously learned the appearance of the sub-terminal 2 (for example, the appearance of the HMD terminal).
  • SIFT Scale-Invariant Feature Transform
  • deep neural network class classification techniques Such feature extraction techniques can be applied to both 2D images and 3D images (or point clouds).
  • the object recognition unit 112 may recognize a marker attached to the sub terminal 2 itself, for example.
  • the marker may be, for example, a two-dimensional QR code (registered trademark).
  • the object attitude detection unit 113 detects the sub terminal attitude T A2 in the main terminal coordinate system A related to the attitude sensor 105 of the main terminal 1 for (the object of) the sub terminal 2 .
  • T A2 Sub-terminal orientation in main terminal coordinate system A
  • the object orientation detection unit 113 detects the position in the main terminal coordinate system A of the object of the sub-terminal 2 recognized by the object recognition unit 112 from the image captured by the camera. Detect v and slope r. Then, an attitude matrix consisting of the rotation matrix R based on the inclination r and the position v is detected as the sub terminal attitude T A2 in the main terminal coordinate system A.
  • the sub terminal attitude T A2 in the main terminal coordinate system A is the position v and the slope r.
  • the front surface for the user is specified based on the position of a predetermined marker arranged on the subterminal 2 .
  • an object for example, a marker
  • the posture can be detected from the shape of the image of the object reflected in the video (see Non-Patent Document 3, for example). Specifically, a position vector indicating the center position of the marker and a rotational axis vector such that the x-axis and y-axis are parallel to the sides of the marker and the z-axis is perpendicular to them are detected.
  • a rotation axis vector is a vector that expresses the axis direction as the "orientation” and the rotation angle as the "norm” when rotating an object to an arbitrary inclination according to Rodriguez's rotation formula.
  • the orientation may be detected using a marker detection function called aruco of OpenCV (registered trademark) (see Non-Patent Document 4, for example).
  • the sub terminal attitude T A2 in the main terminal coordinate system A is greatly affected by the object detection location (for example, the marker installation position), it is preferably corrected by the attitude correction matrix.
  • T A2 T A1 T 1s T S2 T c
  • T A1 Main terminal attitude in main terminal coordinate system A
  • T 1s Attitude of camera (sensor) coordinate system in main terminal attitude coordinate system
  • T S2 Attitude of sub terminal whose image is recognized in camera (sensor) coordinate system
  • T c Attitude Correction Matrix
  • the main terminal attitude coordinate system is a coordinate system with the main terminal attitude in the main terminal coordinate system A as a reference. In this way, it is actually necessary to convert the sub terminal attitude from the sensor coordinate system to the main terminal coordinate system.
  • the relative attitude calculation unit 12 calculates the relative attitude in the physical space from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H.
  • FIG. 6 is an explanatory diagram showing the relationship between the main terminal coordinate system and the sub terminal coordinate system in the first invention.
  • FIG. 7 is an explanatory diagram showing the relationship between the real space and the virtual space in the first invention.
  • T A1 Main terminal attitude in main terminal coordinate system A
  • T A2 Sub terminal attitude in main terminal coordinate system A
  • T H2 Sub terminal attitude in sub terminal coordinate system H
  • T AH Sub terminal coordinate system H with respect to main terminal coordinate system A
  • Relative attitude T HA Relative attitude of main terminal coordinate system A with respect to sub terminal coordinate system H
  • the main terminal attitude T A1 in the main terminal coordinate system A is detected by the attitude sensor 105 mounted on the main terminal 1 .
  • the sub terminal attitude T H2 in the sub terminal coordinate system H is also detected by the attitude sensor 205 mounted on the sub terminal 2 .
  • the main terminal 1 receives the sub terminal attitude T H2 in the sub terminal coordinate system H from the sub terminal 2 .
  • the sub terminal attitude T A2 in the main terminal coordinate system A is detected by the object attitude detection unit 113 from the object appearing in the image captured by the camera 104 of the main terminal 1 .
  • the relative attitude in the physical space is calculated from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H.
  • the relation between the real space and the virtual space is the relative attitude T AH of the sub terminal coordinate system H with respect to the main terminal coordinate system A, and the relative attitude T HA of the main terminal coordinate system A with respect to the sub terminal coordinate system H.
  • T AH Relative attitude of sub terminal coordinate system H with respect to main terminal coordinate system A
  • T HA Relative attitude of main terminal coordinate system A with respect to sub terminal coordinate system H
  • T AH T HA -1
  • the sub-terminal communication unit 13 acquires from the sub-terminal 2 the server address of the virtual space server 3 that the sub-terminal 2 is logging into. The acquired server address is output to the server access unit 14 .
  • main terminal 1 sends a server address request to sub terminal 2.
  • the sub terminal 2 returns the server address of the virtual space server 3 being accessed to the main terminal 1 .
  • the server address includes a URL (Uniform Resource Locator), IP address, port number, and other information required to access the virtual space server.
  • URL Uniform Resource Locator
  • the server access unit 14 logs in to the virtual space server 3 associated with the server address acquired from the subterminal 2 by the subterminal communication unit 13 .
  • the main terminal 1 can enter the same virtual space as the sub-terminal 2 existing in a visible position in the real space.
  • the server access unit 14 transmits the relative orientation in the real space to the virtual space server 3 .
  • the relative attitude in the physical space that the server access unit 14 transmits to the virtual space server 3 includes the following four modes.
  • Relative attitude T AH of sub terminal coordinate system H with respect to main terminal coordinate system A (2) Position v and inclination r derived from the relative attitude T AH of the secondary terminal coordinate system H with respect to the primary terminal coordinate system A (3) Inverse matrix T AH -1 of relative attitude T AH of sub terminal coordinate system H with respect to main terminal coordinate system A (relative attitude T HA of main terminal coordinate system A with respect to sub terminal coordinate system H) (4) Position v and inclination r derived from the inverse matrix T AH ⁇ 1 of the relative attitude T AH of the sub terminal coordinate system H with respect to the main terminal coordinate system A
  • the camera 104 constantly captures images, and inputs the images to the object recognition unit 112 .
  • the object recognition unit 112, the object orientation detection unit 113, the terminal orientation reception unit 111, and the relative orientation calculation unit 12 are also always running.
  • the virtual space server 3 can determine the attitude in the real space and the attitude in the virtual space by using the relative attitude TAH of the sub terminal coordinate system H with respect to the main terminal coordinate system A. , may correspond to each other.
  • the position and orientation relative to the subterminal in the real space can be maintained in the virtual space.
  • a main terminal, a program, a system and a method as a second invention of the present application can expand a user's image in the real space into the virtual space.
  • FIG. 8 is a functional configuration diagram of the main terminal in the second invention.
  • FIG. 9 is an explanatory diagram showing the processing flow of the main terminal in the second invention.
  • the main terminal 1 further has a user image clipping section 15 and a virtual image generating section 16 in addition to the object recognition section 112 and the object orientation detection section 113 of FIG.
  • These functional components are regarded as functions realized by executing an embodiment of the program according to the present invention stored in the processor memory (arithmetic processing system with memory function) installed in the main terminal 1. can be done. Further, the flow of processing in which the functional components of the main terminal 1 are connected by arrows in FIG. 8 can also be understood as an embodiment of the virtual image generation method according to the present invention.
  • the object recognition unit 112 recognizes the user wearing the sub-terminal 2 in the real space as an object from the image captured by the camera 104 .
  • the image portion where the user is recognized is output to the user image cutout section 15 .
  • server access unit 14 is logged into the same virtual space in the same virtual space server 3 as the sub terminal 2, as in the first invention of the present application.
  • Server access unit 14 also receives, from virtual space server 3, virtual space information representing the user possessing sub terminal 2 as an avatar.
  • the image reproduced as virtual space information is output to the virtual image generator 16 .
  • the virtual space information is a video space that expresses the user and the operator as avatars within the same virtual space (see, for example, Non-Patent Document 8).
  • Avatars corresponding to users and operators can move freely in the virtual space and talk to each other.
  • the orientation and behavior of the avatar are linked to the orientation and movement of a terminal (for example, an HMD terminal) worn by the user or operator corresponding to the avatar.
  • a terminal for example, an HMD terminal
  • people who are far away from each other generally exist as avatars in one virtual space. Inside, each person exists as an avatar with the same sense of distance and the same posture as in the real space.
  • the user image cutout unit 15 cuts out the user image portion recognized as the user wearing the subterminal 2 from the video captured by the camera 104 .
  • object detection technology that automatically cuts out a subject from an image using AI (see Non-Patent Document 9, for example).
  • the virtual image generator 16 superimposes the clipped user image portion on the avatar image portion in the virtual space information. At this time, scaling may be performed so that the size of the user image portion matches the size of the avatar image portion.
  • the actual video of the user existing in the physical space is displayed in one virtual space. That is, the operator wearing the main terminal 1 can visually recognize the user in the virtual space as if the user exists in the real space. Also, the user in the virtual space is visually recognized as existing with the same sense of distance and the same posture as in the real space.
  • FIG. 8 Although the functional configuration shown in FIG. 8 is shown as being separate from FIG. 4, it may be implemented in combination with the functional configuration in FIG.
  • the camera 104 always shoots and inputs the image to the object recognition unit 112 .
  • the object recognition unit 112, the server access unit 14, the user image clipping unit 15, and the virtual image generation unit 16 are always running.
  • the position and orientation of the user relative to the sub-terminal in the real space are maintained, and the user can be viewed as if they existed in the real space.
  • the position and orientation relative to the subterminal in the real space can be maintained in the virtual space. Further, as a second invention of the present application, it is possible to expand the image of the user in the real space into the virtual space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

現実空間における副端末との相対位置姿勢を仮想空間内で維持することができる主端末を提供する。本主端末は、副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段とを有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持する。

Description

現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム
　本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。
　本出願は、パリ条約の下、２０２１年５月１４日に出願された日本国特許出願ＪＰ２０２１－０８２６９０についての優先権の利益を主張しており、それらの日本国特許出願は、ＰＣＴ規則第２０．６の規定によって、引用によりその全体が本明細書に組み込まれる。
　仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。これら技術によれば、ＨＭＤ端末、ＡＲ端末やＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。
　従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。
　また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術においては、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ機器やＶＲ機器とが用いられる。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。
特表２０２０－５０６５６５号公報 特許第６４１７４６７号公報
SteamVR・lighthouse、[online]、［令和３年５月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞ 回転行列、[online]、［令和３年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和３年５月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和３年５月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ ＳＬＡＭ、[online]、［令和３年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞ 指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和３年５月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞ コリジョンの概要、[online]、［令和３年５月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞ 仮想空間にアバターで出勤、クラウドオフィス「RISA」が100人規模オフィスをリリース、[online]、［令和３年５月１日検索］、インターネット＜URL:https://it.impress.co.jp/articles/-/20649＞ 画像から被写体をAIで自動的に切り出す「Grapick」が新たに動画にも対応、[online]、［令和３年５月１日検索］、インターネット＜URL:https://marvin.news/6622＞
　図１は、オペレータが視認可能な現実空間に副端末が存在するシステム構成図である。同図によれば、オペレータが、現実空間に存在するユーザａを視認している。ユーザａは、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２は、ユーザ所望の仮想空間を再生することができる。
　しかしながら、以下のような２つの課題がある。
［第１の課題］
　仮想空間コンテンツには、ＨＭＤ端末を装着するユーザのみならず、ＡＲ端末又はＨＭＤ端末を装着するオペレータも参入することはできる。仮想空間内では、ユーザも自由に行動し、オペレータも自由に行動することができる。しかしながら、ユーザとオペレータとの間の仮想空間における距離感（具体的には位置、及び角度に基づく姿勢）と、現実空間における距離感とは、異なっている。そのために、オペレータとユーザとが同じ仮想空間に参入したとしても、オペレータは現実空間のようにユーザを補助することができない。
　図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、仮想空間の中で、その要介護者との距離感を認識することができず、要介護者の仮想空間に対する操作を補助することもできない。
　このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。
　これに対し、本願の発明者は、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができればよいのではないか、と考えた。
　そこで、第１の課題を解決する本願の第１の発明として、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができる主端末、プログラム、システム及び方法を提供することを目的とする。
［第２の課題］
　仮想空間コンテンツでは、ＨＭＤ端末を装着するユーザ自らがアバターとなって、その仮想空間内を移動することができる。ユーザとオペレータとが同一の仮想空間に参入した場合、その仮想空間内では、アバターによって相手方を認識することができる。しかしながら、オペレータは、ユーザをアバターでしか認識できないために、現実空間と異なった態様であって、現実空間のようにユーザを補助することができない。
　これに対し、本願の発明者は、現実空間におけるユーザの映像を仮想空間内に展開することができればよいのではないか、と考えた。
　そこで、本発明は、第２の課題を解決する本願の第２の発明として、現実空間におけるユーザの映像を仮想空間内に展開することができる主端末、プログラム、システム及び方法を提供することを目的とする。
　本発明によれば、第１の課題を解決する第１の発明と、第２の課題を解決する第２の発明とを開示する。
＜第１の発明＞
　本願の第１の発明は、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができる主端末、プログラム、システム及び方法に関する。
　本願の第１の発明によれば、カメラ及び姿勢センサを搭載しており、現実空間で視認可能な位置に存在する副端末と通信可能な主端末であって、
　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
　現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
を有し、仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持する
ことを特徴とする主端末が提供される。
　本願の第１の発明における他の実施形態によれば、相対姿勢算出手段は、主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHを算出することも好ましい。
　本願の第１の発明における他の実施形態によれば、サーバアクセス手段は、現実空間における相対姿勢として、
　　主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAH、
　　相対姿勢ＴAHから導出された位置ｖ及び傾きｒ、
　　相対姿勢ＴAHの逆行列ＴAH -1（副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHA）、及び
　　相対姿勢ＴAHの逆行列ＴAH -1から導出された位置ｖ及び傾きｒ
のうちのいずれかを仮想空間サーバへ送信することも好ましい。
　本願の第１の発明における他の実施形態によれば、
　主端末は、副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段を更に有し、
　サーバアクセス手段は、副端末から取得したサーバアドレスに係る仮想空間サーバへログインし、副端末と同一の仮想空間へ参入する
ことも好ましい。
　本願の第１の発明における他の実施形態によれば、
　サーバアクセス手段は、
　広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
　狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
　狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
　本願の第１の発明における他の実施形態によれば、
　副端末は、姿勢センサを有し、
　主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザにとっての前面に対する位置ｖ及び傾きｒから導出されたものであり、
　副端末座標系Ｈにおける副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。
　本願の第１の発明における他の実施形態によれば、主端末座標系Ａにおける副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザにとっての前面は、副端末に配置された所定マーカの位置に基づいて特定されることも好ましい。
　本願の第１の発明における他の実施形態によれば、
　副端末姿勢受信手段は、当該副端末座標系Ｈでの位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈにおける副端末姿勢ＴH2とし、
　物体姿勢検出手段は、カメラによって撮影された映像から、副端末について、主端末座標系Ａでの位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2とする
ことも好ましい。
　本願の第１の発明における他の実施形態によれば、主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する副端末をオペレータに視認させることも好ましい。
　本願の第１の発明における他の実施形態によれば、
　主端末は、副端末と同一の仮想空間サーバにおける同一の仮想空間にログイン可能であり、
　サーバアクセス手段は、仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信し、
　主端末は、
　カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
　切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
を更に有するも好ましい。
　本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末であって、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末に搭載されたコンピュータによって実行されるプログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体であって、前記プログラムは、
　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
　現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
としてコンピュータを機能させ、
　仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持することを特徴とする記録媒体が提供される。
　本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能なシステムであって、
　主端末は、
　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
　現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
を有し、
　副端末は、
　所定時間毎に、当該副端末座標系Ｈにおける副端末姿勢ＴH2を送信する副端末姿勢送信手段を有し、
　仮想空間サーバの仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持することを特徴とするシステムが提供される。
　本願の第１の発明によれば、カメラ及び姿勢センサを搭載した主端末であって、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末における仮想空間姿勢維持方法であって、
　主端末は、
　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する第１のステップと、
　カメラによって撮影された映像から、現実空間の副端末を認識する第２のステップと、
　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する第３のステップと、
　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
　現実空間における相対姿勢を、仮想空間サーバへ送信する第４のステップと
を実行し、
　仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持することを特徴とする仮想空間姿勢維持方法が提供される。
＜第２の発明＞
　本願の第２の発明は、現実空間におけるユーザの映像を仮想空間内に展開することができる主端末、プログラム、システム及び方法に関する。
　本願の第２の発明によれば、カメラを搭載しており、自身からみて現実空間で視認可能な位置に存在し且つユーザに装着された副端末と通信可能な主端末であって、
　副端末と同一の仮想空間サーバにおける同一の仮想空間にログイン可能であり、
　仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信するサーバアクセス手段と、
　カメラによって撮影された映像から、現実空間の副端末を装着したユーザを認識する物体認識手段と、
　カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
　切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
を有することを特徴とする主端末が提供される。
　本願の第２の発明における主端末の他の実施形態によれば、
　サーバアクセス手段は、
　広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
　狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
　狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
　本願の第２の発明によれば、カメラを搭載した主端末であって、当該主端末からみて現実空間で視認可能な位置に存在し且つユーザに装着された副端末と通信可能な主端末に搭載されたコンピュータによって実行されるプログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体であって、
　主端末は、副端末と同一の仮想空間サーバにおける同一の仮想空間にログイン可能であり、
　前記プログラムは、
　仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信するサーバアクセス手段と、
　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
　カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
　切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
してコンピュータを機能させることを特徴とする記録媒体が提供される。
　本願の第２の発明によれば、カメラを搭載した主端末であって、当該主端末からみて現実空間で視認可能な位置に存在し且つユーザに装着された副端末と通信可能な主端末における仮想画像生成方法であって、
　主端末は、副端末と同一の仮想空間サーバにおける同一の仮想空間にログイン可能であり、
　主端末は、
　仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信する第１のステップと、
　カメラによって撮影された映像から、現実空間の副端末を認識する第２のステップと、
　カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出す第３のステップと、
　切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する第４のステップと
を実行することを特徴とする仮想画像生成方法が提供される。
　本願の第１の発明における主端末、プログラム、システム及び方法によれば、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができる。また、本願の第２の発明における主端末、プログラム、システム及び方法によれば、現実空間におけるユーザの映像を仮想空間内に展開することができる。
オペレータが視認可能な現実空間に副端末が存在するシステム構成図である。 本発明におけるシステム構成図である。 第１の発明における姿勢センサの座標系を表す説明図である。 第１の発明における主端末の機能構成図である。 第１の発明における主端末の処理フローを表す説明図である。 第１の発明における主端末座標系と副端末座標系との関係を表す説明図である。 第１の発明における現実空間と仮想空間との関係を表す説明図である。 第２の発明における主端末の機能構成図である。 第２の発明における主端末の処理フローを表す説明図である。
　以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
　図２は、本発明におけるシステム構成図である。
　従来、仮想空間サーバは一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。これに対し、本発明においては、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、互いに、現実空間で視認可能な位置に存在している。即ち、本発明は特に、現実空間において端末同士が互いに近い距離にある場合に適用される。
　主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通してユーザａを視認することができる。一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａは、ＨＭＤを装着し、仮想空間を体験しているとする。
　図２によれば、主端末１はＡＲ端末であるが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する副端末２を視認することができる。一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってよいし、これに限られるものでもない。主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。
　図２によれば、主端末１は、狭域通信によって、副端末２と通信する。「狭域通信」としては、無線であってもよいし、又は、有線であってもよい。特に、例えばBluetooth（登録商標）やZigbee（登録商標）のような近距離無線通信や、無線ＬＡＮのような狭域無線ネットワークであることが好ましい。例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。ＢＬＥは、低消費電力版Bluetoothとして１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。例えば副端末２は、タグデバイスとして広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。
　図２によれば、主端末１も、仮想空間サーバ３にアクセスすることができる。仮想空間サーバ３は、その配置される場所について、例えば以下の３つのパターンに分類される。
　（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
　（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
　（３）副端末に搭載された仮想空間サーバ(Listen Server)
　ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信によってインターネットに接続する。そのインタフェースとなる広域通信も、無線であってもよいし、又は、有線であってもよい。一方で、仮想空間サーバ３がローカルや副端末自体に配置されている場合、主端末１は、狭域通信を介して通信することができる。
＜第１の発明＞
　本願の第１の発明としての主端末、プログラム、システム及び方法は、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができる。
　図３は、第１の発明における姿勢センサの座標系を表す説明図である。
　図３によれば、主端末１は、図２に示した構成に加えて、ハードウェアとして少なくとも、カメラ１０４と、姿勢センサ１０５とを更に有する。また、副端末２も、姿勢センサ２０５を有する。
［カメラ１０４］
　カメラ１０４は、一般的な２Ｄカメラであってもよいし、３Ｄカメラであってもよい。例えば、レーザーを利用したＬＩＤＡＲ(light detection and ranging)であってもよい。尚、カメラに代えて、ＵＷＢ(Ultra Wide Band)センサであってもよい。
［姿勢センサ１０５・２０５］
　姿勢センサ１０５及び２０５は、起動中は常時、自らの姿勢（変換行列，Transform）を決める「位置ｖ」及び「傾きｒ」を検知するものである。
　図３によれば、以下のような姿勢が表されている。
　　　ＴA1：主端末座標系Ａにおける主端末姿勢
　　　ＴH2：副端末座標系Ｈにおける副端末姿勢
　尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。
　姿勢センサ１０５及び２０５は、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。また、姿勢センサ１０５及び２０５は、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における主端末１及び副端末２の位置ｖを追跡することができる。又は、姿勢センサ１０５及び２０５は、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献５参照）。
　本発明における「姿勢」とは、現実空間（３次元空間）における「位置ｖ」（３×１行列）と、傾きｒ（３×１行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献２参照）。
Figure JPOXMLDOC01-appb-M000001
 　これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。
　図４は、第１の発明における主端末の機能構成図である。図５は、第１の発明における主端末の処理フローを表す説明図である。
　図４によれば、主端末１は、副端末検出部１１０と、副端末姿勢受信部１１１と、物体認識部１１２と、物体姿勢検出部１１３と、相対姿勢算出部１２と、副端末通信部１３と、サーバアクセス部１４とを有する。これらの機能構成部は、主端末１に搭載されたプロセッサ・メモリ（メモリ機能を備えた演算処理系）に保存された本発明によるプログラムの一実施形態を実行することによって具現する機能と捉えることができる。また、図４における主端末１の機能構成部間を矢印で接続して示した処理の流れは、本発明による仮想空間姿勢維持方法の一実施形態としても理解される。
［副端末検出部１１０］
　副端末検出部１１０は、副端末２から、端末ＩＤを取得する。端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。例えば狭域通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１１０は、その端末ＩＤを受信することができる。例えば狭域通信が無線ＬＡＮである場合、主端末１の副端末検出部１１０は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
［副端末姿勢受信部１１１］
　副端末姿勢受信部１１１は、副端末検出部１１０によって既に検出された副端末２から、副端末座標系Ｈにおける副端末姿勢ＴH2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈにおける副端末姿勢ＴH2は、副端末２の姿勢センサ２０５によって検知されたものである。
　　　ＴH2：副端末座標系Ｈにおける副端末姿勢
　副端末２における副端末座標系Ｈにおける副端末姿勢ＴH2は、相対姿勢算出部１２へ出力される。
［物体認識部１１２］
　物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の副端末２を、オブジェクトとして認識する。
　副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像に対しても、３Ｄ画像（又はポイントクラウド）に対しても適用可能となる。最も簡易な２Ｄ画像のケースとして、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。
［物体姿勢検出部１１３］
　物体姿勢検出部１１３は、副端末２（のオブジェクト）について、主端末１の姿勢センサ１０５に係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する。
　　　ＴA2：主端末座標系Ａにおける副端末姿勢
　物体姿勢検出部１１３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトについて、主端末座標系Ａでの位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2として検出する。前述した図３によれば、主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザにとっての前面（ユーザが向いている前面）に対する位置ｖ及び傾きｒから導出されたものである。ユーザにとっての前面は、副端末２に配置された所定マーカの位置に基づいて特定される。
　カメラ１０４によって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献３参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。
　回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として表すベクトルのことである。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いて、その姿勢（位置ｖ及び傾きｒ）を検出してもよい（例えば非特許文献４参照）。
　尚、主端末座標系Ａにおける副端末姿勢ＴA2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるので、姿勢補正行列によって補正されたものであることが好ましい。
　　　ＴA2＝ＴA1Ｔ1sＴS2Ｔc
　　　　　　ＴA1：主端末座標系Ａにおける主端末姿勢
　　　　　　Ｔ1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
　　　　　　ＴS2：カメラ（センサ）座標系における映像認識された副端末の姿勢
　　　　　　Ｔc：姿勢補正行列
　ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。このように実際には、副端末姿勢に対しセンサ座標系から主端末座標系への変換処理が必要となる。
［相対姿勢算出部１２］
　相対姿勢算出部１２は、主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する。
　図６は、第１の発明における主端末座標系と副端末座標系との関係を表す説明図である。図７は、第１の発明における現実空間と仮想空間との関係を表す説明図である。
　図６によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とすることで異なる姿勢を持つ。
　　　ＴA1：主端末座標系Ａにおける主端末姿勢
　　　ＴA2：主端末座標系Ａにおける副端末姿勢
　　　ＴH2：副端末座標系Ｈにおける副端末姿勢
　　　ＴAH：主端末座標系Ａに対する副端末座標系Ｈの相対姿勢
　　　ＴHA：副端末座標系Ｈに対する主端末座標系Ａの相対姿勢
　主端末座標系Ａにおける主端末姿勢ＴA1は、主端末１に搭載された姿勢センサ１０５によって検知されたものである。副端末座標系Ｈにおける副端末姿勢ＴH2も、副端末２に搭載された姿勢センサ２０５によって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈにおける副端末姿勢ＴH2を受信する。主端末座標系Ａにおける副端末姿勢ＴA2は、主端末１のカメラ１０４によって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１３によって検出されたものである。
　現実空間における相対姿勢は、主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから算出した、例えば主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHとすることができる。これは、以下のように算出される。
　　　ＴAH＝ＴA2ＴH2 -1
　　　ＴA2：主端末座標系Ａにおける副端末姿勢
　　　ＴH2 -1：副端末座標系Ｈにおける副端末姿勢ＴH2の逆行列
　図７によれば、現実空間と仮想空間との関係として、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHと、副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHAとは、互いに相手の逆行列となるようにすることができる。
　　　ＴAH：主端末座標系Ａに対する副端末座標系Ｈの相対姿勢
　　　ＴHA：副端末座標系Ｈに対する主端末座標系Ａの相対姿勢
　　　ＴAH＝ＴHA -1
［副端末通信部１３］
　副端末通信部１３は、副端末２から、当該副端末２がログイン中の仮想空間サーバ３のサーバアドレスを取得する。取得されたサーバアドレスは、サーバアクセス部１４へ出力される。
　例えば主端末１が、サーバアドレス要求を副端末２へ送信する。これに対し、副端末２は、アクセス中の仮想空間サーバ３のサーバアドレスを、主端末１へ返信する。サーバアドレスには、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報が該当する。
［サーバアクセス部１４］
　サーバアクセス部１４は、副端末通信部１３によって副端末２から取得されたサーバアドレスに係る仮想空間サーバ３へログインする。これによって、主端末１は、現実空間で視認可能な位置に存在する副端末２と同一の仮想空間へ参入することができる。また、本発明の特徴として、サーバアクセス部１４は、現実空間における相対姿勢を、仮想空間サーバ３へ送信する。
　ここで、サーバアクセス部１４が仮想空間サーバ３へ送信する現実空間における相対姿勢としては、以下の４つの態様がある。
（１）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAH
（２）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHから導出された位置ｖ及び傾きｒ
（３）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHの逆行列ＴAH -1（副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHA）
（４）主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHの逆行列ＴAH -1から導出された位置ｖ及び傾きｒ
　前述した図４における主端末について、カメラ１０４は、常時撮影を行っており、その映像を物体認識部１１２へ入力する。物体認識部１１２、物体姿勢検出部１１３、端末姿勢受信部１１１及び相対姿勢算出部１２も、常時起動しており、サーバアクセス部１４は、リアルタイムに、現実空間における相対姿勢ＴAHを、仮想空間サーバ３へ送信する。これにより、図７に示すように、仮想空間サーバ３は、現実空間での姿勢と仮想空間での姿勢とを、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHを用いることにより、互いに対応関係にあるものとすることができる。
　その結果、本願の第１の発明として、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができる。
＜第２の発明＞
　本願の第２の発明としての主端末、プログラム、システム及び方法は、現実空間におけるユーザの映像を仮想空間内に展開することができる。
　図８は、第２の発明における主端末の機能構成図である。図９は、第２の発明における主端末の処理フローを表す説明図である。
　図８によれば、主端末１は、図３の物体認識部１１２及び物体姿勢検出部１１３に加えて、ユーザ画像切出部１５と、仮想画像生成部１６とを更に有する。これらの機能構成部は、主端末１に搭載されたプロセッサ・メモリ（メモリ機能を備えた演算処理系）に保存された本発明によるプログラムの一実施形態を実行することによって具現する機能と捉えることができる。また、図８における主端末１の機能構成部間を矢印で接続して示した処理の流れは、本発明による仮想画像生成方法の一実施形態としても理解される。
　物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の副端末２を装着したユーザを、オブジェクトとして認識する。ユーザを認識した画像部分を、ユーザ画像切出部１５へ出力する。
　サーバアクセス部１４は、本願の第１の発明と同様に、副端末２と同一の仮想空間サーバ３における同一の仮想空間にログインしているとする。また、サーバアクセス部１４は、仮想空間サーバ３から、副端末２を所持するユーザをアバターとして表現した仮想空間情報を受信する。仮想空間情報として再生された画像を、仮想画像生成部１６へ出力する。
　ここで、仮想空間情報とは、同一の仮想空間内で、ユーザ及びオペレータをアバターとして表現した映像空間のことである（例えば非特許文献８参照）。ユーザやオペレータに相当するアバターは、その仮想空間内を自由に移動したり、互いに話をすることもできる。アバターの向きや行動は、そのアバターに対応するユーザやオペレータによって装着された端末（例えばＨＭＤ端末）の向きや動きに連動する。従来技術では一般に、遠隔に離れた人同士が、１つの仮想空間内でアバターとして存在するのに対し、本願の第２の発明によれば、現実空間に存在する人同士が、１つの仮想空間内で、現実空間と同じ距離感及び同じ姿勢をもって各々アバターとして存在する。
［ユーザ画像切出部１５］
　ユーザ画像切出部１５は、カメラ１０４によって撮影された映像から、副端末２を装着したユーザと認識されたユーザ画像部分を切り出す。具体的には、ＡＩによって画像から被写体を自動的に切り出す物体検知技術もある（例えば非特許文献９参照）。
［仮想画像生成部１６］
　仮想画像生成部１６は、切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する。このとき、ユーザ画像部分のサイズが、アバター画像部分のサイズと一致するように拡大縮小の処理を行ってもよい。これにより、現実空間に存在するユーザの現実の映像が、１つの仮想空間内に表示されることとなる。即ち、主端末１を装着したオペレータは、仮想空間においてユーザを、現実空間にそのまま存在しているかのように視認することができる。また、仮想空間のユーザは、現実空間と同じ距離感及び同じ姿勢をもって存在しているように視認されるのである。
　なお図８に示された機能構成は、図４とは別のものとして表されているが、図４の機能構成に組み合わされる形で実装されてもよい。カメラ１０４は、常時撮影を行い、その映像を物体認識部１１２へ入力する。また、物体認識部１１２、サーバアクセス部１４、ユーザ画像切出部１５及び仮想画像生成部１６も、常時起動している。これにより、オペレータが視認する仮想空間において、現実空間におけるユーザの副端末との相対的な位置姿勢が維持されるとともに、ユーザが現実空間に存在しているかのように視認可能となるのである。
　以上、詳細に説明したように、本願の第１の発明として、現実空間における副端末との相対的な位置姿勢を仮想空間内で維持することができる。また、本願の第２の発明として、現実空間におけるユーザの映像を仮想空間内に展開することができる。
　以上に述べた実施形態は全て、本発明を例示的に示すものであって限定的に示すものではなく、本発明は、他の種々の変形態様及び変更態様で実施することができる。従って、本発明の範囲は、特許請求の範囲及びその均等範囲によってのみ規定されるものである。
　１　主端末
　１０１　ディスプレイ
　１０２　狭域通信部
　１０３　広域通信部
　１０４　カメラ
　１０５　姿勢センサ
　１１０　副端末検出部
　１１１　副端末姿勢受信部
　１１２　物体認識部
　１１３　物体姿勢検出部
　１２　相対姿勢算出部
　１３　副端末通信部
　１４　サーバアクセス部
　１５　ユーザ画像切出部
　１６　仮想画像生成部
　２　副端末
　２０５　姿勢センサ
　３　仮想空間サーバ

Claims (12)

  1. 　カメラ及び姿勢センサを搭載した主端末について、現実空間で視認可能な位置に存在する副端末と通信可能な主端末であって、
    　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
    　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
    　現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
    を有し、
    　仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持することを特徴とする主端末。
  2. 　相対姿勢算出手段は、主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHを算出することを特徴とする請求項１に記載の主端末。
  3. 　サーバアクセス手段は、現実空間における相対姿勢として、
    　　主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAH、
    　　相対姿勢ＴAHから導出された位置ｖ及び傾きｒ、
    　　相対姿勢ＴAHの逆行列ＴAH -1（副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHA）、及び
    　　相対姿勢ＴAHの逆行列ＴAH -1から導出された位置ｖ及び傾きｒ
    のうちのいずれかを仮想空間サーバへ送信することを特徴とする請求項２に記載の主端末。
  4. 　主端末は、副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段を更に有し、
    　サーバアクセス手段は、副端末から取得したサーバアドレスに係る仮想空間サーバへログインし、副端末と同一の仮想空間へ参入する
    ことを特徴とする請求項１に記載の主端末。
  5. 　サーバアクセス手段は、
    　広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
    　狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
    　狭域通信を介して副端末に搭載された仮想空間サーバへ
    アクセスすることを特徴とする請求項１に記載の主端末。
  6. 　副端末は、姿勢センサを有し、
    　主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザにとっての前面に対する位置ｖ及び傾きｒから導出されたものであり、
    　副端末座標系Ｈにおける副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
    ことを特徴とする請求項５に記載の主端末。
  7. 　主端末座標系Ａにおける副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザにとっての前面は、副端末に配置された所定マーカの位置に基づいて特定されることを特徴とする請求項６に記載の主端末。
  8. 　副端末姿勢受信手段は、当該副端末座標系Ｈでの位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈにおける副端末姿勢ＴH2とし、
    　物体姿勢検出手段は、カメラによって撮影された映像から、副端末について、主端末座標系Ａでの位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2とする
    ことを特徴とする請求項５に記載の主端末。
  9. 　主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する副端末をオペレータに視認させることを特徴とする請求項１に記載の主端末。
  10. 　主端末は、副端末と同一の仮想空間サーバにおける同一の仮想空間にログイン可能であり、
    　サーバアクセス手段は、仮想空間サーバから、副端末を所持するユーザをアバターとして表現した仮想空間情報を受信し、
    　主端末は、
    　カメラによって撮影された映像から、副端末を装着したユーザと認識されたユーザ画像部分を切り出すユーザ画像切出手段と、
    　切り出されたユーザ画像部分を、仮想空間情報におけるアバター画像部分に重畳する仮想画像生成手段と
    を更に有することを特徴とする請求項１に記載の主端末。
  11. 　カメラ及び姿勢センサを搭載した主端末であって、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能な主端末に搭載されたコンピュータによって実行されるプログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体であって、前記プログラムは、
    　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
    　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
    　現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
    としてコンピュータを機能させ、
    　仮想空間サーバの同一の仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持することを特徴とする記録媒体。
  12. 　カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する副端末と通信可能なシステムであって、
    　主端末は、
    　副端末から、当該副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    　カメラによって撮影された映像から、現実空間の副端末を認識する物体認識手段と、
    　カメラによって撮影された映像から、副端末について、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    　主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから、現実空間における相対姿勢を算出する相対姿勢算出手段と、
    　現実空間における相対姿勢を、仮想空間サーバへ送信するサーバアクセス手段と
    を有し、
    　副端末は、所定時間毎に、当該副端末座標系Ｈにおける副端末姿勢ＴH2を送信する副端末姿勢送信手段を有し、
    　仮想空間サーバの仮想空間内で主端末と副端末との間の現実空間における相対姿勢を維持することを特徴とするシステム。

     
PCT/JP2022/018862 2021-05-14 2022-04-26 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム WO2022239639A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-082690 2021-05-14
JP2021082690A JP7130213B1 (ja) 2021-05-14 2021-05-14 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法

Publications (1)

Publication Number Publication Date
WO2022239639A1 true WO2022239639A1 (ja) 2022-11-17

Family

ID=83152200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018862 WO2022239639A1 (ja) 2021-05-14 2022-04-26 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム

Country Status (2)

Country Link
JP (1) JP7130213B1 (ja)
WO (1) WO2022239639A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186800A (ja) * 2018-04-12 2019-10-24 Kddi株式会社 情報端末装置、プログラム及び方法
WO2021053805A1 (ja) * 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186800A (ja) * 2018-04-12 2019-10-24 Kddi株式会社 情報端末装置、プログラム及び方法
WO2021053805A1 (ja) * 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Also Published As

Publication number Publication date
JP7130213B1 (ja) 2022-09-05
JP2022175912A (ja) 2022-11-25

Similar Documents

Publication Publication Date Title
US11127210B2 (en) Touch and social cues as inputs into a computer
US10062213B2 (en) Augmented reality spaces with adaptive rules
US10007349B2 (en) Multiple sensor gesture recognition
US8963956B2 (en) Location based skins for mixed reality displays
US8965741B2 (en) Context aware surface scanning and reconstruction
CN103091844B (zh) 头戴式显示设备及其控制方法
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
CN109076191B (zh) 监视系统、方法、非暂时性计算机可读介质和控制单元
US20140306994A1 (en) Personal holographic billboard
US20140253589A1 (en) Inconspicuous tag for generating augmented reality experiences
EP2974509B1 (en) Personal information communicator
CN111768479B (zh) 图像处理方法、装置、计算机设备以及存储介质
JP7304639B2 (ja) デジタル現実内の強化されたユーザ間通信を可能にするための方法及びシステム
JP6359704B2 (ja) イベントに関連付けられる情報を人に供給するための方法
WO2022239639A1 (ja) 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム
JP7266329B2 (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法
JP7015081B1 (ja) 副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法
JP7285586B2 (ja) 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム
JP2023056195A (ja) 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法
US20220374505A1 (en) Bending estimation as a biometric signal
WO2022246382A1 (en) Bending estimation as a biometric signal
CN115631310A (zh) 三维空间地图的定位系统、方法、装置及计算设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807341

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807341

Country of ref document: EP

Kind code of ref document: A1