WO2023209818A1 - 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム - Google Patents

操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2023209818A1
WO2023209818A1 PCT/JP2022/018937 JP2022018937W WO2023209818A1 WO 2023209818 A1 WO2023209818 A1 WO 2023209818A1 JP 2022018937 W JP2022018937 W JP 2022018937W WO 2023209818 A1 WO2023209818 A1 WO 2023209818A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
information processing
unit
user
Prior art date
Application number
PCT/JP2022/018937
Other languages
English (en)
French (fr)
Inventor
拓也 久慈
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/018937 priority Critical patent/WO2023209818A1/ja
Publication of WO2023209818A1 publication Critical patent/WO2023209818A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an operating device, an information processing device, an information processing system, an information processing method, and an information processing program.
  • Patent Document 1 a technique for tracking the movements of a user's fingers is known for use in VR (Virtual Reality), etc. (see, for example, Patent Document 1).
  • the position of a user's fingertip is tracked using a glove equipped with a sensor at a position corresponding to the user's fingertip.
  • Information indicating the position tracked by the glove is converted into various control signals and is used for various purposes, such as generating and displaying an image that reproduces the user's fingers and fingers in a virtual space.
  • An operating device is an operating device that receives an operation by a user, and includes a detection unit that detects the operation, an acquisition unit that acquires a first image of the user's hand, and a first
  • the present invention includes a feature information generation section that generates feature information regarding the hand and fingers based on the image, and a feature information output section that outputs the detection result by the detection section and the feature information.
  • An information processing device includes: an acquisition unit that acquires a detection result by an operating device including a detection unit that detects an operation by a user; and a first image of a user's hand; a feature information generation unit that generates feature information regarding the hand and fingers based on the image; and an image generation unit that generates a second image that reproduces the shape of the hand and fingers based on the detection result by the detection unit and the feature information. , and a display section that displays the second image.
  • An information processing device includes an acquisition unit that acquires a detection result by an operating device including a detection unit that detects an operation by a user, and a first image of the user's finger; a feature information generation section that generates feature information regarding the hand and fingers based on the image of the hand; an operation information generation section that generates operation information for moving the operation target based on the detection result by the detection section; , an operation information adjustment section that adjusts the operation information, and an operation information output section that outputs the adjusted operation information to the operation target.
  • An information processing method is an information processing method implemented by an operating device that includes a detection unit and receives an operation by a user, and the method includes acquiring a first image of a user's finger.
  • the method includes an acquisition procedure, a feature information generation procedure for generating feature information regarding the hand and fingers based on the first image, and a feature information output procedure for outputting the detection result by the detection unit and the feature information.
  • An information processing program is an information processing program that is executed by an information terminal that includes a detection unit and is connected to an operating device that accepts operations by a user, and that is executed by an information terminal that is connected to an operating device that accepts operations by a user. an acquisition step of acquiring a captured first image; a feature information generation step of generating feature information regarding the hand and fingers based on the first image; and feature information that outputs a detection result by the detection unit and the feature information. Execute the output step.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an information processing system according to a first embodiment.
  • FIG. 1 is a perspective view schematically showing an operating device according to a first embodiment. The figure which shows the example of a reference image. A diagram explaining feature information. The figure which shows the example of a model image.
  • FIG. 3 is a diagram illustrating adjustment of a 3D model based on feature information. 3 is a flowchart illustrating an example of a processing method according to the first embodiment.
  • FIG. 2 is a schematic diagram showing a schematic configuration of an information processing system according to a second embodiment.
  • 7 is a flowchart illustrating an example of a processing method according to a second embodiment.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an information processing system according to a first embodiment.
  • the information processing system 1 according to the first embodiment includes an operating device 10, an information processing device 20, and an HMD unit 30, as shown in FIG.
  • the information processing system 1 uses the information processing device 20 to generate a model image (second image) that reproduces the user's fingers in the virtual space in response to an operation on the operating device 10 , and generates a model image (second image) in the HMD unit 30 . ) is displayed.
  • the operating device 10 includes a detection section 11 and an output section 12, and receives operations by a user.
  • the detection unit 11 detects the position of the user's fingers (hands and fingers).
  • the output unit 12 outputs the detection result by the detection unit 11 to the outside of the operating device 10 via wireless or wired communication.
  • FIG. 2 is a perspective view schematically showing the operating device 10.
  • the operating device 10 is attached to a user's finger using a glove-shaped attachment member.
  • the mounting member is made of a stretchable material that can fit tightly onto the user's hand.
  • the operating device 10 includes, as a detection unit 11, a plurality of sensors 111a, 111b, 111c, 111d, and 111e provided according to each finger, as shown in FIG. A sensor 112 is provided.
  • the plurality of sensors 111a, 111b, 111c, 111d, and 111e are provided at positions corresponding to the fingertips of each finger and at positions on the nail side of each finger. More specifically, for example, as shown in FIG. 2, the sensor 111a is provided corresponding to the first finger (thumb), and detects the position of the sensor 111a as the position of the fingertip of the thumb. Similarly, the sensors 111b, 111c, 111d, and 111e are provided corresponding to the second finger (index finger), the third finger (middle finger), the fourth finger (ring finger), and the fifth finger (little finger), respectively. The position of is detected as the position of the fingertip of each finger. The sensor 112 is provided at a position corresponding to the back of the hand, and detects the position of the sensor 112 as the position of the back of the hand.
  • each of the sensors 111a, 111b, 111c, 111d, 111e, and the sensor 112 may be any known sensor. Further, the arrangement positions of the sensors 111a, 111b, 111c, 111d, 111e, and the sensor 112 are not limited to the example in FIG. 2.
  • the sensors 111a, 111b, 111c, 111d, and 111e may be provided at the ventral side of each finger, at the tip of each finger, or in part or all of each finger. It may be provided so as to cover the In this embodiment, as shown in FIG. 2, the output unit 12 is provided within a casing 121 provided at a position corresponding to the user's wrist.
  • the control section may also be provided within the casing 121.
  • the housing 121 may be provided integrally or independently at the same position as the sensor 112, which is provided at a position corresponding to the back of the hand, or may be provided at another position.
  • the information processing device 20 includes a communication section 21 and a control section 22, as shown in FIG.
  • the communication unit 21 receives the detection result by the detection unit 11 output from the output unit 12 of the operating device 10, and is mutually connected to the communication unit 32 of the HMD unit 30 via wireless or wire.
  • the control unit 22 includes the functions of a feature information generation unit 221 and an image generation unit 222, which are realized by a processor operating according to a program stored in a memory or received via a communication interface. The functions of each part will be described later.
  • the HMD unit 30 can be used by being attached to the user's head using a mounting portion (not shown). Furthermore, the HMD unit 30 has the function of a display device and the function of an imaging device that captures an image from a user's first-person viewpoint, so-called inside-out.
  • the HMD unit 30 may be configured to be attached to the user's head with a mounting portion such as a band, or may have any configuration such as a helmet type or glasses type. Further, when wearing the HMD unit 30, it is preferable to guide the user to properly wear the HMD unit 30 by displaying a tutorial or the like on the display device of the HMD unit 30, for example.
  • the HMD unit 30 includes an imaging section 31, a communication section 32, a control section 33, and a display section 34.
  • the imaging unit 31 includes an image sensor (not shown), and generates an image by capturing an image from the user's first-person viewpoint.
  • the image sensor may be an image sensor that generates an image that includes color information, or a depth sensor that generates an image that includes depth information.
  • the imaging section 31 may include a plurality of imaging elements.
  • the imaging unit 31 may include both an image sensor and a depth sensor to generate an image including color information and an image including depth information, respectively. Further, for example, it may include a plurality of image sensors to generate an image including color information and generate depth information from the plurality of images.
  • the imaging unit 31 captures a reference image (first image) obtained by capturing a user's finger.
  • the reference image is information used to generate a model image that reproduces the user's fingers in the virtual space.
  • the communication unit 32 is mutually connected to the communication unit 21 of the information processing device 20 via wireless or wire.
  • the control section 33 controls each section within the HMD unit 30.
  • the display unit 34 includes a display element such as an LCD (Liquid Crystal Display) or an organic EL, and an optical device such as a lens, and can present a display image to the user by displaying it.
  • the display element of the display section 34 may be a transmissive display element or a non-transmissive display element.
  • a terminal device such as a smartphone that can be attached to and detached from the housing of the HMD unit 30 may be used as the display device.
  • a wearable device such as AR (Augmented Reality) glasses or MR (Mixed Reality) glasses may be used as the HMD unit 30.
  • the feature information generation unit 221 generates feature information regarding the hand and fingers based on the reference image. Similar to the reference image described above, the feature information is information used to generate a model image, and includes at least one of the following two types.
  • Position information of feature points on fingers The feature information generation unit 221 calculates position information of feature points, such as joint information on the user's fingers, from the reference image using, for example, a machine learning method. Examples of the feature points include the end points of each finger, the joints of each finger, and the joints of the wrist.
  • the trained model used for machine learning performs supervised learning using, for example, an image of a person's hand and finger that has multiple feature points as input data, and coordinate information indicating the position of the feature point on the person's finger as correct answer data. It can be pre-built by doing this. Note that a detailed description of the specific method of machine learning will be omitted since various known techniques can be used.
  • the feature information generation unit 221 includes a relationship learning unit, and each time a reference image is generated, the relationship between an image based on the input reference image and coordinate information indicating the position of a feature point on a person's finger is calculated. It may also be configured to learn and update the learned model.
  • FIG. 3B illustrates feature points based on the reference image. In the example of FIG.
  • the end points of each finger, the joints of each finger, and the joints of the wrist are detected as feature points, and the position information of each feature point is calculated as feature information.
  • the feature information generation unit 221 extracts the silhouette of the user's hand and fingers using a method such as skin color detection on a reference image including color information, and generates position information of the feature point on the hand and finger based on the extracted silhouette. May be generated. Further, the feature information generation unit 221 may generate position information of feature points on the fingers by estimating the thickness around the joints of the fingers, etc., based on the depth information, for example, with respect to the reference image including depth information. good.
  • Texture information on the surface of the user's fingers calculates texture information indicating the surface state of the user's fingers from the reference image using, for example, a method such as skin color detection. Texture information includes the color and texture of the user's skin, as well as surface irregularities such as scratches, moles, and wrinkles.
  • the image generation unit 222 generates a model image (second image) that reproduces the user's hand and fingers in the virtual space based on the detection results received from the operating device 10 via the communication unit 21.
  • An example of a model image is shown in FIG. 4A.
  • the image generation unit 222 controls the 3D model of the hand and fingers based on the detection results received from the operating device 10 described above, adjusts the 3D model of the hand and fingers based on the feature information generated by the feature information generation unit 221, and adjusts the 3D model of the hand and fingers based on the feature information generated by the feature information generation unit 221.
  • a model image is generated based on the 3D model.
  • the image generation unit 222 uses, for example, the well-known Inverse Kinetics (hereinafter referred to as "IK") technology to determine the starting point (IK route) and end point (IK end) for the joint. ) and a target point (IK goal), the 3D model of the finger skeleton (bone) is controlled by performing posture correction such as bending and stretching movements.
  • IK Inverse Kinetics
  • the image generation unit 222 when the tip of a joint structure is moved, correction calculations are performed by tracing the rotation of the joint in the opposite direction (parent direction) during that time.
  • the image generation unit 222 then generates a model image by performing skinning processing on the 3D model to set the influence range of the skeleton.
  • the skeleton of the 3D model from which the model image is generated matches the skeleton of the finger based on the detection results received from the operating device 10. This is desirable. For example, if the hand of the 3D model is larger than the hand of the user operating the operating device 10, the sensors (sensors 111a, 111b, 111c, 111d, and 111e) will become embedded in the fingertips of the 3D model. Furthermore, if the hand of the 3D model is smaller than the hand of the user operating the operating device 10, the sensors (sensors 111a, 111b, 111c, 111d, 111e) will be located at a distance from the fingertips. .
  • the skeleton of the 3D model from which the model image is generated does not match the skeleton of the hand and fingers based on the detection results received from the operating device 10, so the model image generated based on the 3D model does not match.
  • the bending of the intermediate joints is not correctly reproduced, resulting in unnatural movements and giving the user a sense of discomfort.
  • the image generation unit 222 adjusts the 3D model as necessary based on the feature information generated by the feature information generation unit 221, and then generates a model image. .
  • Generation of model images is performed according to the type of feature information.
  • the image generation unit 222 calculates the length of the fingers in the 3D model and the ratio of each part of the fingers based on the feature information. Adjust. More specifically, the image generation unit 222 enlarges or reduces the size of the fingers in the 3D model, expands or contracts the length of the fingers in the 3D model based on feature information, or changes the ratio of each part of the fingers in the 3D model.
  • the 3D model is adjusted by making changes based on the feature information.
  • the image generation unit 222 then generates a model image by performing skinning processing on the adjusted 3D model.
  • the image generation unit 222 uses the texture information for the hand and finger in the model image as the texture of the image of the finger in the reference image. Based on the feature information, a model image is generated that reflects the user's skin tone, texture, and surface irregularities such as scratches, moles, and wrinkles. Note that when images of both the palm side and the back side of the user's fingers are captured as reference images, the images of both sides are adjusted in the model image as well.
  • FIG. 4B illustrates a model image generated based on the feature information.
  • the image generation unit 222 may perform the image generation processing described in (1) and (2) in combination, or may perform either of the image generation processes described in (1) and (2). Only one of the image generation processes may be performed. Further, the content of the image generation process may be settable by the user.
  • FIG. 5 is a flowchart showing the processing executed by the control unit 22.
  • the control unit 22 determines whether or not the reference image has been acquired by the imaging unit 31 (step S101), and when determining that the reference image has been acquired (step S101 YES), the feature information generation unit 221 generates information based on the reference image. feature information is generated (step S102). Then, the control unit 22 determines whether the detection result by the operating device 10 has been acquired via the communication unit 21 (step S103). If it is determined that the detection result has been obtained (step S103 YES), the image generation unit 232 adjusts the 3D model image according to the feature information generated in step S102 (step S104), and generates a model image (step S105). .
  • step S106 when the communication unit 21 outputs the generated model image to the HMD unit 30 (step S106), the process returns to step S103. That is, when the feature information is generated once through the processing in steps S101 and S102, thereafter, the processing in steps S103 to S106 is repeatedly executed every time a detection result by the operating device 10 is obtained. Therefore, since a model image is output to the HMD unit 30 every time a detection result is obtained by the operating device 10, the model image displayed on the display unit 24 is sequentially updated, and at that time, the model image is always modeled based on the reference image. An image will be generated.
  • the information processing system 1 includes an acquisition unit (communication unit 21) that acquires a detection result by the operating device 10, which includes a detection unit 11 that detects an operation by a user, and a reference image that is a first image of the user's hand and fingers. , a feature information generation unit 221 that generates feature information regarding the hand and fingers based on the reference image, and a model that is a second image that reproduces the shape of the hand and fingers based on the detection result by the detection unit 11 and the feature information. and an image generation unit 232 that generates an image.
  • acquisition unit communication unit 21
  • the information processing device 20 includes an acquisition unit (communication unit 21) that acquires a detection result by the operating device 10, which includes a detection unit 11 that detects an operation by a user, and a reference image that is a first image of the user's hand and fingers.
  • a feature information generation unit 221 that generates feature information regarding the hand and fingers based on the reference image
  • a model that is a second image that reproduces the shape of
  • the image generation unit 222 controls the 3D model of the hand and fingers based on the detection result, adjusts the 3D model of the hand and fingers based on the feature information, and generates a model image based on the adjusted 3D model. According to such a configuration, by matching the skeleton of the 3D model from which the model image is generated and the skeleton of the hand based on the detection result received from the operating device 10, the movement of the hand and fingers can be correctly performed in the model image. Can be reproduced.
  • the feature information generated by the feature information generation unit 221 includes position information of feature points on the fingers. According to such a configuration, by adjusting the model image based on the positional information of the feature points on the fingers, it is possible to accurately reproduce the shape of the actual user's fingers. Therefore, defects occurring in the model image can be eliminated or reduced, and the actual user's fingers and their movements can be accurately reproduced in the model image.
  • the feature information generated by the feature information generation unit 221 includes texture information on the surface of the fingers. According to such a configuration, by adjusting the model image based on the texture information of the surface of the finger, it is possible to preferably reproduce the atmosphere and appearance of the actual user's finger. Therefore, it can be expected to improve the sense of reality and immersion.
  • the reference image captured by the imaging unit 31 is an image containing at least one of color information and depth information. According to such a configuration, feature information necessary for adjusting a model image can be easily generated from a reference image that can be easily obtained.
  • FIG. 6 is a schematic diagram showing the entire information processing system according to the second embodiment of the present invention.
  • the information processing system 2 according to the second embodiment includes an imaging device 40, an information processing device 50, and an operation target device 60.
  • the information processing system 2 generates operation information in the information processing device 50 in response to an operation on the operation device 10, and controls the operation target device 60 based on the operation information.
  • the imaging device 40 includes an imaging section 41 and an output section 42, as shown in FIG.
  • the imaging unit 41 includes an image sensor (not shown), and generates an image by capturing an image from a user's third-person viewpoint, so-called outside-in.
  • the details of the image pickup device and the number of image pickup devices are the same as those of the image pickup section 31 of the HMD unit 30 in the information processing system 1 of the first embodiment, so a description thereof will be omitted.
  • the imaging unit 41 like the imaging unit 31 of the HMD unit 30 in the information processing system 1 of the first embodiment, captures a reference image (first image) that captures the user's finger.
  • the output unit 42 outputs the reference image captured by the imaging unit 41 to the outside of the imaging device 40 via wireless or wire.
  • the information processing device 50 includes a communication section 51 and a control section 52, as shown in FIG.
  • the communication unit 51 receives the detection result by the detection unit 11 output from the output unit 12 of the operating device 10 and the reference image output from the output unit 42 of the imaging device 40. Furthermore, the communication unit 51 outputs the operation information generated by the control unit 52 to the outside of the information processing device 50 via wireless or wired communication. Details of the operation information will be described later.
  • the control unit 52 includes a feature information generation unit 521, an operation information generation unit 522, and an operation information adjustment unit 523, which are realized by a processor operating according to a program stored in a memory or received via a communication interface. Includes each function. The functions of each part will be further explained below.
  • the feature information generation unit 521 generates feature information regarding the hand and fingers based on the reference image.
  • the feature information includes position information of feature points on the fingers. Similar to the feature information generation unit 221 in the information processing device 20 of the first embodiment, the feature information generation unit 521 calculates position information of feature points on the user's fingers from the reference image.
  • the operation information generation unit 522 generates operation information for operating the operation target device 60 based on the detection result received from the operation device 10 via the communication unit 51.
  • the operation information may be the detection result itself, or may be control information indicating the drive location and drive amount of the operation target device 60 calculated based on the detection result.
  • a problem may occur in the operation of the operation target device 60.
  • the size of the corresponding location on the operation target device 60 is significantly different from the size of the actual user's finger, the motion at the corresponding location on the operation target device 60 may not be correctly reproduced.
  • the movement of the actual user's finger will be correctly reproduced on the operation target device 60.
  • the operation information adjustment section 523 adjusts the operation information generated by the operation information generation section 522 based on the characteristic information generated by the characteristic information generation section 521 in order to eliminate or reduce the above-mentioned problems. A specific method of adjustment will be described later.
  • the operation target device 60 is a device that is operated in response to an operation on the operating device 10. Examples of the device 60 to be operated include a robot hand, a manipulator, and the like.
  • the operation target device 60 includes a communication section 61 and a drive section 62, as shown in FIG.
  • the communication unit 61 receives operation information output from the communication unit 51 of the information processing device 50.
  • the drive unit 62 includes a plurality of motors and actuators such as servo motors depending on the shape of the robot hand and the manipulator, and drives at least one of them. At this time, the drive unit 62 is driven based on operation information (for example, a control signal for operating a servo motor) received via the communication unit 61.
  • the installation positions of the motor and actuator may be fixed or may be movable.
  • the motor and actuator of the drive unit 62 installed at the joints of the robot hand may be fixed or movable.
  • information indicating the installation positions of the motors and actuators in the drive section 62 of the operation target device 60 is stored in advance in the control section 52 or is sent to the operation target device 60 via the communication section 51.
  • the configuration is such that it can be obtained from The same applies to the case where the operation target device 60 is a manipulator.
  • the operation information adjustment unit 523 adjusts the operation information based on the characteristic information. More specifically, the operation information adjustment unit 523 first finds a correlation between the feature points in the feature information and the installation position of the drive unit 62. The operation information adjustment unit 523 then adjusts the operation information according to the correlation. That is, by matching the operation information to the installation position of the drive unit 62 in the operation target device 60, the difference between the actual user's fingers and the installation position of the motor and actuator in the drive unit 62 of the operation target device 60 is reduced. .
  • the operation information adjustment section 523 adjusts the motors and actuators in the same manner as the model image adjustment described in the first embodiment. Adjustment information for enlarging or reducing the installation position based on the characteristic information, adjustment information for expanding or contracting the length between the installation positions of the motor and actuator based on the characteristic information, adjustment information for adjusting the installation position of the motor and actuator based on the characteristic information.
  • the operation information is adjusted by adding adjustment information, etc. for changing the operation information to the operation information.
  • the motor and actuator in the drive unit 62 of the operation target device 60 can be adjusted to match the actual user's hand and fingers. Reduce the difference with the installation location.
  • the information processing device 50 receives the detection result from the operating device 10 and also receives the reference image from the imaging device 40. The information processing device 50 then calculates feature information based on the reference image. Then, operation information is generated based on the detection result, and the operation information is adjusted based on the feature information.
  • FIG. 7 is a flowchart showing the processing executed by the control unit 52 of the information processing device 50.
  • the control unit 52 determines whether or not a reference image has been acquired via the communication unit 51 (step S201), and when determining that the reference image has been acquired (step S201 YES), the feature information generation unit 521 Feature information is generated based on (step S202). Then, the control unit 52 determines whether the detection result by the operating device 10 has been obtained via the communication unit 51 (step S203). If it is determined that the detection result has been obtained (step S203 YES), the operation information generation unit 522 generates operation information (step S204), and the operation information adjustment unit 523 performs the operation based on the feature information generated in step S202.
  • step S205 The information is adjusted (step S205). Further, when the communication unit 51 outputs the adjusted operation information (step S206), the process returns to step S203. That is, when the feature information is generated once through the processing in steps S201 and S202, thereafter, the processing in steps S203 to S206 is repeatedly executed every time a detection result by the operating device 10 is obtained. Therefore, the operation information is output every time a detection result by the operation device 10 is obtained, and at that time, the operation information is always adjusted based on the reference image.
  • the information processing system 2 includes an acquisition unit (communication unit 51) that acquires a detection result by the operating device 10, which includes a detection unit 11 that detects an operation by a user, and a reference image that is a first image of the user's hand and fingers. , a feature information generation unit 521 that generates feature information regarding the hand and fingers based on the reference image, and operation information that generates operation information for operating the operation target device 60, which is the operation target, based on the detection result by the detection unit 11. It includes a generation unit 522 and an operation information adjustment unit 523 that adjusts operation information based on feature information. The adjusted operation information is output to the operation target device 60 via the communication unit 51.
  • acquisition unit communication unit 51
  • the information processing device 50 includes an acquisition unit (communication unit 51) that acquires a detection result by the operating device 10, which includes a detection unit 11 that detects an operation by a user, and a reference image that is a first image of the user's hand and fingers.
  • a feature information generation unit 521 that generates feature
  • the operating device 10 is attached to the user's finger using a glove-shaped attachment member, and the detection unit 11 detects the position of the user's finger (hand and fingers).
  • the present invention is not limited to this, and the present invention can be similarly applied to an operating device 10 in the shape of a stick or the like that is held by a user's fingers.
  • the information processing device 20 and the HMD unit 30 were described as examples of the information processing device.
  • the present invention is not limited to this, and similarly to the second embodiment, the present invention can be similarly applied to other information processing apparatuses that include an imaging device inside or outside.
  • a configuration may also be adopted in which part of the processing performed by the HMD unit 30, which is the information processing device, in the first embodiment is performed by the operating device 10.
  • a configuration may be adopted in which part or all of the functions of the feature information generation section 221 and the image generation section 222 in the HMD unit 30 of the first embodiment are performed by the operating device 10.
  • the control section 22 of the information processing device 20 may be provided in the HMD unit 30.
  • a part of the processing performed by the information processing device 50 in the second embodiment may be performed by the operating device 10 or may be performed by the operation target device 60.
  • the configuration may be such that the operation device 10 performs some or all of the functions of the feature information generation section 521, the operation information generation section 522, and the operation information adjustment section 523 in the information processing device 50 of the second embodiment.
  • a configuration may be adopted in which a part or all of the functions of the feature information generation unit 521, the operation information generation unit 522, and the operation information adjustment unit 523 in the information processing device 50 of the second embodiment are performed by the operation target device 60. good.
  • the operating device 10 is attached to the user's finger using a glove-shaped attachment member.
  • the attachment member is not limited to this, and may have a band shape.
  • the operating device 10 may be a so-called exoskeleton controller.
  • An operating device that accepts an operation by a user, which includes a detection unit that detects the operation, an acquisition unit that acquires a first image of the user's hand, and a feature related to the hand and finger based on the first image. It includes a feature information generation section that generates information, and a feature information output section that outputs the detection result by the detection section and the feature information.
  • the feature information includes position information of feature points on the fingers.
  • the feature information includes texture information on the surface of the finger.
  • the detection unit detects the position of the finger.
  • the first image is an image including at least one of color information and depth information.
  • An acquisition unit that acquires a detection result by an operating device including a detection unit that detects an operation by a user and a first image of a user's hand; and feature information regarding the hand and fingers based on the first image.
  • an image generation section that generates a second image that reproduces the shape of the hand and fingers based on the detection result by the detection section and the characteristic information; and a display section that displays the second image.
  • An information processing device comprising: [7] In the information processing device according to [6], the image generation unit controls the 3D model of the hand and fingers based on the detection result, adjusts the 3D model of the hand and fingers based on the feature information, and generates the adjusted 3D model. A second image is generated based on the model. [8] An acquisition unit that acquires a detection result by the operating device including a detection unit that detects an operation by the user and a first image of the user's hand and fingers, and a feature related to the hand and finger based on the first image.
  • a feature information generation unit that generates information, an operation information generation unit that generates operation information for operating an operation target based on the detection result by the detection unit, and an operation information adjustment that adjusts the operation information based on the feature information. and an operation information output unit that outputs adjusted operation information to an operation target.
  • An information processing system including an operating device including a detection unit that detects an operation by a user, and the information processing device according to [6] or [8].
  • the information processing system according to [9] wherein the information processing device has an image sensor and further includes an image capture unit that captures the first image.
  • the information processing device further includes a mounting section capable of mounting at least an image sensor on a user's body.
  • An information processing system including an operating device including a detection unit that detects an operation by a user, the information processing device according to [8], and an operation target that operates based on operation information based on a detection result.
  • An information processing method implemented in an operating device that includes a detection unit and accepts operations by a user the method comprising: an acquisition procedure for acquiring a first image of a user's hand; and a method based on the first image.
  • An information processing method comprising: a feature information generation procedure for generating feature information regarding a hand; and a feature information output procedure for outputting a detection result by a detection unit and the feature information.
  • An information processing program that includes a detection unit and is executed by an information terminal connected to an operating device that accepts operations by a user, the information processing program acquiring a first image of a user's hand and fingers on the information terminal.
  • An information processing program that executes an acquisition step, a feature information generation step of generating feature information regarding a finger based on a first image, and a feature information output step of outputting a detection result by a detection unit and feature information.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

操作装置（１０）は、ユーザーによる操作を受け付ける操作装置であって、操作を検出する検出部（２１）と、ユーザーの手指を撮像した第１の画像を取得する取得部（２２）と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部（２３１）と、検出部による検出結果と、特徴情報とを出力する特徴情報出力部（１２）とを備える。

Description

操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
　本発明は、操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラムに関する。
　従来、ＶＲ（Virtual reality）等への利用を目的として、ユーザーの手指の動きをトラッキングする技術が知られている（例えば特許文献１参照）。
　特許文献１に記載の発明では、ユーザーの指先に相当する位置にセンサーを備えたグローブによって、ユーザーの指先の位置をトラッキングする。グローブによってトラッキングされた位置を示す情報は、様々な制御信号に変換され、例えば、仮想空間におけるユーザーの手指を再現した画像の生成及び表示等、様々な目的に利用されている。
米国特許出願公開第２０１６／０２４３６９号明細書
　上述した仮想空間における再現画像を生成する際に、実際のユーザーの手指と、再現画像との視覚的な差異が大きい場合、ユーザーに違和感を与える場合がある。
　そこで、このような違和感を改善し、リアリティや没入感を向上させることにより、ユーザーにより良い体験を提供することが求められている。
　本発明の第１態様に係る操作装置は、ユーザーによる操作を受け付ける操作装置であって、操作を検出する検出部と、ユーザーの手指を撮像した第１の画像を取得する取得部と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部と、検出部による検出結果と、特徴情報とを出力する特徴情報出力部とを備える。
　本発明の第２態様に係る情報処理装置は、ユーザーによる操作を検出する検出部を備える操作装置による検出結果と、ユーザーの手指を撮像した第１の画像とを取得する取得部と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部と、検出部による検出結果と、特徴情報とに基づいて、手指の形状を再現した第２の画像を生成する画像生成部と、第２の画像を表示する表示部とを備える。
　本発明の第３態様に係る情報処理装置は、ユーザーによる操作を検出する検出部を備える操作装置による検出結果と、記ユーザーの手指を撮像した第１の画像とを取得する取得部と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部と、検出部による検出結果に基づいて、操作対象を動作させる操作情報を生成する操作情報生成部と、特徴情報に基づいて、操作情報の調整を行う操作情報調整部と、調整後の操作情報を操作対象に出力する操作情報出力部とを備える。
　本発明の第４態様に係る情報処理方法は、検出部を備え、ユーザーによる操作を受け付ける操作装置にて実施される情報処理方法であって、ユーザーの手指を撮像した第１の画像を取得する取得手順と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成手順と、検出部による検出結果と、特徴情報とを出力する特徴情報出力手順とを含む。
　本発明の第５態様に係る情報処理プログラムは、検出部を備え、ユーザーによる操作を受け付ける操作装置と接続される情報端末によって実行される情報処理プログラムであって、情報端末に、ユーザーの手指を撮像した第１の画像とを取得する取得ステップと、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成ステップと、検出部による検出結果と、特徴情報とを出力する特徴情報出力ステップとを実行させる。
第１実施形態に係る情報処理システムの概略構成を示す模式図。 第１実施形態に係る操作装置を模式的に示す斜視図。 参照画像の例を示す図。 特徴情報について説明する図。 モデル画像の例を示す図。 特徴情報に基づく３Ｄモデルの調整について説明する図。 第１実施形態に係る処理方法の例を示すフローチャートである。 第２実施形態に係る情報処理システムの概略構成を示す模式図。 第２実施形態に係る処理方法の例を示すフローチャートである。
　＜第１実施形態＞
　以下、本発明の第１実施形態について、図面に基づいて説明する。
　［情報処理システムの概略構成］
　図１は、第１実施形態に係る情報処理システムの概略構成を示す模式図である。
　第１実施形態に係る情報処理システム１は、図１に示すように、操作装置１０、情報処理装置２０、及びＨＭＤユニット３０を備える。情報処理システム１は、操作装置１０に対する操作に応じて、仮想空間におけるユーザーの手指を再現したモデル画像（第２画像）を情報処理装置２０により生成し、ＨＭＤユニット３０においてモデル画像（第２画像）の表示を行うものである。
　［操作装置の構成］
　操作装置１０は、検出部１１および出力部１２を備え、ユーザーによる操作を受け付ける。検出部１１は、ユーザーの手指（手及び指）の位置を検出する。出力部１２は、検出部１１による検出結果を無線または有線を介して操作装置１０の外部に出力する。
　図２は、操作装置１０を模式的に示す斜視図である。
　操作装置１０は、図２に示すように、グローブ形状の装着部材によってユーザーの手指に装着される。装着部材は、ユーザーの手に密着可能で、かつ、伸縮可能な材料によって形成されていることが好ましい。
　操作装置１０は、検出部１１として、例えば図２に示すように、各指に応じて設けられる複数のセンサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅと、ユーザーの手において指以外の位置に応じて設けられるセンサー１１２を含む。
　複数のセンサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅは、各指の指先に応じた位置で、かつ、各指の爪側の位置に設けられる。詳述すると、例えば、センサー１１１ａは、図２に示すように、第１指（親指）に応じて設けられ、センサー１１１ａの位置を親指の指先の位置として検出する。同様に、センサー１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅは、それぞれ、第２指（人差し指）、第３指（中指）、第４指（薬指）、第５指（小指）に応じて設けられ、各センサーの位置を各指の指先の位置として検出する。
　センサー１１２は、手の甲に応じた位置に設けられ、センサー１１２の位置を手の甲の位置として検出する。
　本実施形態では、センサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅ、およびセンサー１１２のそれぞれは、公知のどのようなものを利用してもよい。また、センサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅ、およびセンサー１１２の配置位置は、図２の例に限定されない。例えば、センサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅは、それぞれ、各指の腹側の位置に設けられてもよいし、各指の先端に設けられてもよいし、各指の一部または全部を覆うように設けられてもよい。
　本実施形態では、出力部１２は、図２に示すように、ユーザーの手首に応じた位置に設けられる筐体１２１内に設けられている。なお、操作装置１０が各部を制御する制御部を有する場合、制御部もこの筐体１２１内に設けると良い。また、筐体１２１は、上述した手の甲に応じた位置に設けられるセンサー１１２と同じ位置に一体または独立に設けられてもよいし、その他の位置に設けられてもよい。
　［情報処理装置の構成］
　情報処理装置２０は、図１に示すように、通信部２１、および制御部２２を含む。
　通信部２１は、操作装置１０の出力部１２から出力された検出部１１による検出結果を受信するとともに、ＨＭＤユニット３０の通信部３２と無線または有線を介して相互に接続する。
　制御部２２は、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される特徴情報生成部２２１、および画像生成部２２２の各機能を含む。各部の機能については後述する。
　［ＨＭＤユニットの構成］
　ＨＭＤユニット３０は、不図示の装着部によってユーザーの頭部に装着して使用可能である。また、ＨＭＤユニット３０は、表示装置の機能と、ユーザーの一人称視点、いわゆるInside-outで撮像を行う撮像装置の機能とを有する。ＨＭＤユニット３０は、バンド等の装着部によってユーザーの頭部に装着な構成であってもよいし、ヘルメット型やメガネ型などどのような構成であってもよい。
　また、ＨＭＤユニット３０の装着に際しては、例えば、ＨＭＤユニット３０の表示装置にチュートリアルなどを表示することにより、ユーザーがＨＭＤユニット３０を適切に装着するよう案内するとよい。
　ＨＭＤユニット３０は、図１に示すように、撮像部３１、通信部３２、制御部３３、および表示部３４の各部を含む。
　撮像部３１は、不図示の撮像素子を有し、ユーザーの一人称視点で撮像を行って画像を生成する。撮像素子は、色情報を含む画像を生成するイメージセンサーであってもよいし、深度情報を含む画像を生成するデプスセンサーであってよい。また、撮像部３１には複数の撮像素子が備えられてもよい。例えば、撮像部３１にイメージセンサーとデプスセンサーとの両方を備え、色情報を含む画像と、深度情報を含む画像とをそれぞれ生成してもよい。また、例えば、複数のイメージセンサーを備え、色情報を含む画像を生成するとともに、複数の画像から深度情報を生成してもよい。
　撮像部３１は、ユーザーの手指を撮像した参照画像（第１の画像）を撮像する。参照画像は、仮想空間におけるユーザーの手指を再現したモデル画像の生成に用いる情報である。
　通信部３２は、情報処理装置２０の通信部２１と無線または有線を介して相互に接続する。
　制御部３３は、ＨＭＤユニット３０内の各部を制御する。
　表示部３４は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬなどの表示素子と、レンズなどの光学装置とを備え、表示画像を表示することにより、ユーザーに提示することが可能である。なお、表示部３４の表示素子は、透過型の表示素子であってもよいし、非透過型の表示素子であってもよい。
　また、ＨＭＤユニット３０の筐体に着脱可能なスマートフォンなどの端末装置を表示装置として使用してもよい。さらに、ＡＲ（Augmented Reality）グラス、ＭＲ（Mixed Reality）グラスなどの装着型デバイスをＨＭＤユニット３０として使用してもよい。
　次に情報処理装置２０の制御部２２における各部の機能について説明する。
　特徴情報生成部２２１は、参照画像に基づいて、手指に関する特徴情報を生成する。特徴情報は、上述した参照画像と同様に、モデル画像の生成に用いる情報であり、下記の２種類の少なくとも一方を含む。
　（１）手指における特徴点の位置情報
　特徴情報生成部２２１は、例えば、機械学習の手法を用いて、参照画像からユーザーの手指における関節情報等、特徴点の位置情報を算出する。特徴点としては、例えば、各指の端点、各指の関節、手首の関節等があげられる。機械学習に利用する学習済みモデルは、例えば、複数の特徴点を有する人物の手指の画像を入力データとし、人物の手指における特徴点の位置を示す座標情報を正解データとした教師あり学習を実行することによって予め構築することができる。
　なお、機械学習の具体的な手法については、公知の各種の技術を利用可能であるため詳細な説明は省略する。また、特徴情報生成部２２１に関係性学習部を備え、参照画像が生成される度に、入力された参照画像に基づく画像と人物の手指における特徴点の位置を示す座標情報との関係性を学習して学習済みモデルを更新する構成としてもよい。
　図３Ｂに参照画像に基づく特徴点を例示する。図３Ｂの例では、各指の端点、各指の関節、手首の関節が特徴点として検出され、それぞれの特徴点の位置情報が特徴情報として算出される。特徴情報として手指における特徴点の位置情報を生成し、これらの特徴点の相対的な位置関係を求めることにより、ユーザーの実際の手指の長さ、手指の各パーツの比率等を正確に把握することができる。
　また、特徴情報生成部２２１は、例えば、色情報を含む参照画像に対する肌色検出等の手法を用いて、ユーザーの手指のシルエットを抽出し、抽出したシルエットに基づいて手指における特徴点の位置情報を生成してもよい。
　また、特徴情報生成部２２１は、例えば、深度情報を含む参照画像について、深度情報に基づいて指の関節周りの太さ等を推測することにより、手指における特徴点の位置情報を生成してもよい。
　（２）手指の表面のテクスチャ情報
　特徴情報生成部２２１は、例えば、肌色検出等の手法を用いて、参照画像からユーザーの手指の表面状態を示すテクスチャ情報を算出する。テクスチャ情報には、ユーザーの肌の色味、質感などが含まれるとともに、キズ、ホクロ、シワなどの手指の表面の凹凸などが含まれる。
　画像生成部２２２は、通信部２１を介して操作装置１０から受信した検出結果に基づいて、仮想空間におけるユーザーの手指を再現したモデル画像（第２の画像）を生成する。図４Ａにモデル画像を例示する。
　画像生成部２２２は、上述した操作装置１０から受信した検出結果に基づいて手指の３Ｄモデルを制御し、特徴情報生成部２２１により生成した特徴情報に基づいて手指の３Ｄモデルを調整し、調整後の３Ｄモデルに基づいてモデル画像を生成する。
　より具体的には、画像生成部２２２は、例えば、公知のＩｎｖｅｒｓｅ　Ｋｉｎｅｔｉｃｓ（以下、「ＩＫ」と称する。）技術を利用し、関節（ジョイント）に対して始点（ＩＫルート)、終点（ＩＫエンド)、および目標点（ＩＫゴール）を指定することにより、屈伸運動などの姿勢補正を行って手指の骨格（ボーン）の３Ｄモデルを制御する。ＩＫ技術においては、関節構造（ジョイント構造）の先端を移動させたときに、その間のジョイントの回転を逆方向（親方向）にたどることにより補正計算が行われる。そして、画像生成部２２２は、３Ｄモデルに対して骨格の影響範囲を設定するスキニング処理を行うことにより、モデル画像を生成する。
　ＩＫ技術を利用してモデル画像における手指の中間関節を動かす場合、モデル画像を生成する元となる３Ｄモデルの骨格と、操作装置１０から受信した検出結果に基づく手指の骨格とが一致していることが望ましい。例えば、操作装置１０を操作するユーザーの手よりも３Ｄモデルの手の方が大きい場合、３Ｄモデルにおける指先にセンサー（センサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅ）がめり込んだ状態になってしまう。また、操作装置１０を操作するユーザーの手よりも３Ｄモデルの手の方が小さい場合、指先から離間した位置にセンサー（センサー１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１１ｅ）が存在することになってしまう。このような場合、モデル画像を生成する元となる３Ｄモデルの骨格と、操作装置１０から受信した検出結果に基づく手指の骨格とが一致していないため、３Ｄモデルに基づいて生成したモデル画像において中間関節の屈曲が正しく再現されず、動きが不自然になり、ユーザーに違和感を与えてしまうという問題がある。
　そこで、画像生成部２２２は、上述した不具合を解消あるいは低減するために、特徴情報生成部２２１により生成した特徴情報に基づいて、必要に応じて３Ｄモデルを調整した上で、モデル画像を生成する。モデル画像の生成は、特徴情報の種類に応じて行われる。
　（１）手指における特徴点の位置情報
　特徴情報が手指における特徴点の位置情報である場合、画像生成部２２２は、３Ｄモデルにおける手指の長さ、および手指の各パーツの比率を特徴情報に基づいて調整する。より具体的には、画像生成部２２２は、３Ｄモデルにおける手指を拡大縮小したり、３Ｄモデルにおける手指の長さを、特徴情報に基づいて伸縮させたり、３Ｄモデルにおける手指の各パーツの比率を特徴情報に基づいて変更させたりすることにより３Ｄモデルの調整を行う。
　そして、画像生成部２２２は、調整後の３Ｄモデルに対してスキニング処理を行うことによりモデル画像を生成する。
　（２）手指の表面のテクスチャ情報
　特徴情報が手指の表面のテクスチャ情報である場合、画像生成部２２２は、モデル画像における手指の部分に、参照画像の手指の部分の画像のテクスチャとして利用したり、特徴情報に基づいて、ユーザーの肌の色味、質感、および、キズ、ホクロ、シワなどの手指の表面の凹凸などを反映させてモデル画像を生成する。なお、参照画像としてユーザーの手指について手のひら側及び甲側の両面の画像が撮像されている場合、モデル画像においても、両面の画像を調整する。
　図４Ｂに特徴情報に基づいて生成されたモデル画像を例示する。図４Ｂの例では、３Ｄモデルにおける各指の長さのバランス、各指の太さ等が調整された結果、ユーザーの実際の手指により近いモデル画像が生成されている。
　なお、特徴情報が上記の（１）および（２）の両方を含む場合、画像生成部２２２は、（１）と（２）で説明した画像生成処理を複合的に行ってもよいし、いずれか一方の画像生成処理のみを行ってもよい。また、画像生成処理の内容はユーザーにより設定可能としてもよい。
　［情報処理の流れ］
　図５は、制御部２２により実行される処理を示すフローチャートである。
　制御部２２は、撮像部３１により参照画像が取得されたか否かを判定し（ステップＳ１０１）、参照画像が取得されたと判定すると（ステップＳ１０１　ＹＥＳ）、特徴情報生成部２２１が、参照画像に基づいて特徴情報を生成する（ステップＳ１０２）。
　そして、制御部２２は、通信部２１を介して操作装置１０による検出結果を取得したか否かを判定し（ステップＳ１０３）。検出結果を取得したと判定すると（ステップＳ１０３　ＹＥＳ）、画像生成部２３２がステップＳ１０２で生成された特徴情報に応じて３Ｄモデル画像を調整し（ステップＳ１０４）、モデル画像を生成する（ステップＳ１０５）。
　さらに、通信部２１が、生成したモデル画像をＨＭＤユニット３０に出力すると（ステップＳ１０６）、ステップＳ１０３に戻る。
　つまり、ステップＳ１０１およびＳ１０２の処理によって、特徴情報を一度生成した場合、その後は、操作装置１０による検出結果を取得するたびに、ステップＳ１０３からＳ１０６の処理が繰り返し実行される。したがって、操作装置１０による検出結果を取得するたびにＨＭＤユニット３０にモデル画像が出力されるため、表示部２４に表示されるモデル画像が順次更新され、その際には、常に参照画像に基づくモデル画像が生成されることになる。
　［第１実施形態の効果］
　以上説明した第１実施形態に係る情報処理システム１は、以下の効果を奏する。
　情報処理装置２０は、ユーザーによる操作を検出する検出部１１を備える操作装置１０による検出結果と、ユーザーの手指を撮像した第１の画像である参照画像とを取得する取得部（通信部２１）と、参照画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部２２１と、検出部１１による検出結果と、特徴情報とに基づいて、手指の形状を再現した第２の画像であるモデル画像を生成する画像生成部２３２とを備える。
　このような構成によれば、実際のユーザーの手指の形状を正確にスケーリングして対応することにより、実際のユーザーの手指と、モデル画像に再現されたユーザーの手指との差異を低減し、ユーザーに与える違和感を改善することできる。その結果、リアリティや没入感を向上させ、ユーザーにより良い体験を提供することができる。
　画像生成部２２２は、検出結果に基づいて手指の３Ｄモデルを制御するとともに、特徴情報に基づいて手指の３Ｄモデルを調整し、調整後の３Ｄモデルに基づいてモデル画像を生成する。
　このような構成によれば、モデル画像を生成する元となる３Ｄモデルの骨格と、操作装置１０から受信した検出結果に基づく手指の骨格とを一致させることにより、モデル画像において手指の動きを正しく再現することができる。
　特徴情報生成部２２１により生成される特徴情報は、手指における特徴点の位置情報を含む。
　このような構成によれば、手指における特徴点の位置情報に基づいて、モデル画像の調整を行うことにより、実際のユーザーの手指の形状を正確に再現することができる。そのため、モデル画像に生じる不具合を解消あるいは低減し、実際のユーザーの手指、およびその動きを、モデル画像において正確に再現することができる。
　特徴情報生成部２２１により生成される特徴情報は、手指の表面のテクスチャ情報を含む。
　このような構成によれば、手指の表面のテクスチャ情報に基づいて、モデル画像の調整を行うことにより、実際のユーザーの手指の雰囲気や見た目を好ましくに再現することができる。そのため、リアリティや没入感を向上させることが期待できる。
　情報処理装置であるＨＭＤユニット３０では、撮像部３１により撮像される参照画像は、色情報と深度情報との少なくとも一方を含む画像である。
　このような構成によれば、容易に取得可能な参照画像から、モデル画像の調整に必要な特徴情報を簡便に生成することができる。
　＜第２実施形態＞
　以下、図面を参照して本発明の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる部分についてのみ説明し、第１実施形態と同様の部分については説明を省略する。また、第２実施形態においては、第１実施形態と実質的に同一の機能構成を有する構成要素については、同一の符号を付す。
　図６は、本発明の第２実施形態に係る情報処理システムの全体を示す模式図である。
　第２実施形態に係る情報処理システム２は、図６に示すように、第１実施形態の情報処理システム１の情報処理装置２０およびＨＭＤユニット３０に変えて、撮像装置４０、情報処理装置５０、および操作対象装置６０を含む。情報処理システム２は、操作装置１０に対する操作に応じて、情報処理装置５０において操作情報を生成し、操作情報に基づいて操作対象装置６０の制御を行うものである。
　［撮像装置４０の構成］
　撮像装置４０は、図６に示すように、撮像部４１および出力部４２を備える。撮像部４１は、不図示の撮像素子を有し、ユーザーの三人称視点、いわゆるOutside-inで撮像を行って画像を生成する。撮像素子の詳細や、撮像素子の数については、第１実施形態の情報処理システム１におけるＨＭＤユニット３０の撮像部３１と同様であるため説明を省略する。
　また、撮像部４１は、第１実施形態の情報処理システム１におけるＨＭＤユニット３０の撮像部３１と同様に、ユーザーの手指を撮像した参照画像（第１の画像）を撮像する。
　出力部４２は、撮像部４１により撮像された参照画像を無線または有線を介して撮像装置４０の外部に出力する。
　［情報処理装置５０の構成］
　情報処理装置５０は、図６に示すように、通信部５１、および制御部５２を含む。
　通信部５１は、操作装置１０の出力部１２から出力された検出部１１による検出結果と、撮像装置４０の出力部４２から出力された参照画像を受信する。さらに、通信部５１は制御部５２により生成される操作情報を無線または有線を介して情報処理装置５０の外部に出力する。操作情報の詳細については後述する。
　制御部５２は、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される特徴情報生成部５２１、操作情報生成部５２２、および操作情報調整部５２３の各機能を含む。以下、各部の機能についてさらに説明する。
　特徴情報生成部５２１は、参照画像に基づいて、手指に関する特徴情報を生成する。特徴情報は、手指における特徴点の位置情報を含む。
　特徴情報生成部５２１は、第１実施形態の情報処理装置２０における特徴情報生成部２２１と同様に、参照画像からユーザーの手指における特徴点の位置情報を算出する。
　操作情報生成部５２２は、通信部５１を介して操作装置１０から受信した検出結果に基づいて、操作対象装置６０を動作させる操作情報を生成する。操作情報は、検出結果そのものであってもよいし、検出結果に基づいて算出される操作対象装置６０の駆動箇所および駆動量を示す制御情報であってもよい。
　ここで、実際のユーザーの手指と、操作対象装置６０における対応箇所との差異が大きい場合、操作対象装置６０の動作に不具合が生じる場合がある。例えば、実際のユーザーの手指のサイズよりも操作対象装置６０における対応箇所のサイズの方が大きく異なる場合、操作対象装置６０における対応箇所における動作が正しく再現されない場合がある。
　つまり、実際のユーザーの手指と、操作対象装置６０における対応箇所との差異がない、あるいは十分小さい場合には、実際のユーザーの手指の動きが、操作対象装置６０において正しく再現される。
　操作情報調整部５２３は、上述した不具合を解消あるいは低減するために、特徴情報生成部５２１により生成した特徴情報に基づいて、操作情報生成部５２２により生成した操作情報の調整を行う。調整の具体的な方法については、後述する。
　［操作対象装置６０の構成］
　操作対象装置６０は、操作装置１０に対する操作に応じて操作される装置である。操作対象装置６０としては、例えば、ロボットハンド及びマニピュレーター等があげられる。
　操作対象装置６０は、図６に示すように、通信部６１および駆動部６２を備える。
　通信部６１は、情報処理装置５０の通信部５１から出力された操作情報を受信する。
　駆動部６２は、ロボットハンド及びマニピュレーターの形状に応じて、サーボモーター等のモーター及びアクチュエーターを複数備え、少なくとも１つを駆動する。この時、駆動部６２は、通信部６１を介して受信した操作情報（例えば、サーボモーターを動作させる制御信号）に基づいて駆動する。
　なお、駆動部６２に関し、モーター及びアクチュエーターの設置位置は固定であってもよいし、移動可能であってもよい。例えば、操作対象装置６０がロボットハンドである場合、ロボットハンドの関節部分等に設置された駆動部６２のモーター及びアクチュエーターは固定であってもよいし、移動可能であってもよい。いずれの場合であっても、操作対象装置６０の駆動部６２におけるモーター及びアクチュエーターの設置位置を示す情報は、制御部５２に予め記憶されているか、または、通信部５１を介して操作対象装置６０から取得可能である構成とする。操作対象装置６０がマニピュレーターである場合についても同様である。
　［操作情報の調整］
　操作対象装置６０の駆動部６２におけるモーター及びアクチュエーターの設置位置が固定である場合、操作情報調整部５２３は、操作情報を、特徴情報に基づいて調整する。より具体的には、操作情報調整部５２３は、まず、特徴情報における特徴点と、駆動部６２の設置位置とを相関を求める。そして、操作情報調整部５２３は、相関に応じて操作情報を調整する。つまり、操作情報を、操作対象装置６０における駆動部６２の設置位置に合わせることにより、実際のユーザーの手指と、操作対象装置６０の駆動部６２におけるモーター及びアクチュエーターの設置位置との差異を低減する。
　一方、操作対象装置６０の駆動部６２におけるモーター及びアクチュエーターの設置位置が移動可能である場合、操作情報調整部５２３は、第１実施形態で説明したモデル画像の調整と同様に、モーター及びアクチュエーターの設置位置を特徴情報に基づいて拡大縮小するための調整情報、モーター及びアクチュエーターの設置位置間の長さを特徴情報に基づいて伸縮させるための調整情報、モーター及びアクチュエーターの設置位置を特徴情報に基づいて変更させるための調整情報等を操作情報に付加することにより、操作情報を調整する。つまり、操作対象装置６０の駆動部６２におけるモーター及びアクチュエーターの設置位置を、実際のユーザーの手指の形状に合わせることにより、実際のユーザーの手指と、操作対象装置６０の駆動部６２におけるモーター及びアクチュエーターの設置位置との差異を低減する。
　ここまで説明したように、情報処理装置５０は、操作装置１０から検出結果を受信するとともに、撮像装置４０から参照画像を受信する。そして、情報処理装置５０は、参照画像に基づいて特徴情報を算出する。そして、検出結果に基づいて操作情報を生成し、操作情報を特徴情報に基づいて調整する。
　［情報処理の流れ］
　図７は、情報処理装置５０の制御部５２により実行される処理を示すフローチャートである。
　制御部５２は、通信部５１を介して参照画像が取得されたか否かを判定し（ステップＳ２０１）、参照画像が取得されたと判定すると（ステップＳ２０１　ＹＥＳ）、特徴情報生成部５２１が、参照画像に基づいて特徴情報を生成する（ステップＳ２０２）。
　そして、制御部５２は、通信部５１を介して操作装置１０による検出結果を取得したか否かを判定し（ステップＳ２０３）。検出結果を取得したと判定すると（ステップＳ２０３　ＹＥＳ）、操作情報生成部５２２が操作情報を生成し（ステップＳ２０４）、操作情報調整部５２３が、ステップＳ２０２で生成された特徴情報に基づいて、操作情報を調整する（ステップＳ２０５）。
　さらに、通信部５１が、調整後の操作情報を出力すると（ステップＳ２０６）、ステップＳ２０３に戻る。
　つまり、ステップＳ２０１およびＳ２０２の処理によって、特徴情報を一度生成した場合、その後は、操作装置１０による検出結果を取得するたびに、ステップＳ２０３からＳ２０６の処理が繰り返し実行される。したがって、操作装置１０による検出結果を取得するたびに操作情報が出力され、その際には、常に参照画像に基づく操作情報の調整が行われることになる。
　［第２実施形態の効果］
　以上説明した第２実施形態に係る情報処理システム２は、以下の効果を奏する。
　情報処理装置５０は、ユーザーによる操作を検出する検出部１１を備える操作装置１０による検出結果と、ユーザーの手指を撮像した第１の画像である参照画像とを取得する取得部（通信部５１）と、参照画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部５２１と、検出部１１による検出結果に基づいて、操作対象である操作対象装置６０を動作させる操作情報を生成する操作情報生成部５２２と、特徴情報に基づいて、操作情報の調整を行う操作情報調整部５２３を備える。調整後の操作情報は通信部５１を介して操作対象装置６０に出力される。
　このような構成によれば、手指における特徴点の位置情報に基づいて、操作情報の調整を行うことにより、実際のユーザーの手指の動きを操作対象において正確に再現することができる。そのため、操作対象の動作において生じる不具合を解消あるいは低減することができる。特に、ユーザーによって異なる手指の形状の個人差を吸収することができる。
　［実施形態の変形］
　本発明は、上記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形及び改良等は、本発明に含まれるものである。
　上記第１実施形態では、操作装置１０は、グローブ形状の装着部材によってユーザーの手指に装着され、検出部１１によってユーザーの手指（手及び指）の位置を検出するとした。しかしながら、これに限らず、ユーザーが手指で把持するスティック形状等の操作装置１０にも本発明を同様に適用することができる。
　上記第１実施形態では、情報処理装置として情報処理装置２０およびＨＭＤユニット３０を例にあげて説明を行った。しかしながら、これに限らず、第２実施形態と同様に、撮像装置を内部または外部に備えるその他の情報処理装置にも本発明を同様に適用することができる。
　上記第１実施形態において情報処理装置であるＨＭＤユニット３０で行った処理の一部を操作装置１０で行う構成としてもよい。例えば、第１実施形態のＨＭＤユニット３０における特徴情報生成部２２１、および画像生成部２２２の各機能の一部または全部を操作装置１０で行う構成としてもよい。また、情報処理装置２０の制御部２２をＨＭＤユニット３０に設けてもよい。
　上記第２実施形態において情報処理装置５０で行った処理の一部を操作装置１０で行う構成としてもよいし、操作対象装置６０で行う構成としてもよい。例えば、第２実施形態の情報処理装置５０における特徴情報生成部５２１、操作情報生成部５２２、および操作情報調整部５２３の各機能の一部または全部を操作装置１０で行う構成としてもよい。また、例えば、第２実施形態の情報処理装置５０における特徴情報生成部５２１、操作情報生成部５２２、および操作情報調整部５２３の各機能の一部または全部を操作対象装置６０で行う構成としてもよい。
　上記各実施形態では、操作装置１０は、グローブ形状の装着部材によってユーザーの手指に装着されるとした。しかしながら、これに限らず、装着部材は、バンド状であってもよい。また、操作装置１０は、いわゆる外骨格コントローラーであってもよい。
　［本発明のまとめ］
　以下、本発明のまとめを付記する。
［１］ユーザーによる操作を受け付ける操作装置であって、操作を検出する検出部と、ユーザーの手指を撮像した第１の画像を取得する取得部と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部と、検出部による検出結果と、特徴情報とを出力する特徴情報出力部とを備える。
［２］［１］に記載の操作装置において、特徴情報は、手指における特徴点の位置情報を含む。
［３］［１］または［２］に記載の操作装置において、特徴情報は、手指の表面のテクスチャ情報を含む。
［４］［１］から［３］のいずれかに記載の操作装置において、検出部は、手指の位置を検出する。
［５］［１］から［４］のいずれかに記載の操作装置において、第１の画像は、色情報と深度情報との少なくとも一方を含む画像である。
［６］ユーザーによる操作を検出する検出部を備える操作装置による検出結果と、ユーザーの手指を撮像した第１の画像とを取得する取得部と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部と、検出部による検出結果と、特徴情報とに基づいて、手指の形状を再現した第２の画像を生成する画像生成部と、第２の画像を表示する表示部とを備える情報処理装置。
［７］［６］に記載の情報処理装置において、画像生成部は、検出結果に基づいて手指の３Ｄモデルを制御するとともに、特徴情報に基づいて手指の３Ｄモデルを調整し、調整後の３Ｄモデルに基づいて第２の画像を生成する。
［８］ユーザーによる操作を検出する検出部を備える操作装置による検出結果と、記ユーザーの手指を撮像した第１の画像とを取得する取得部と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成部と、検出部による検出結果に基づいて、操作対象を動作させる操作情報を生成する操作情報生成部と、特徴情報に基づいて、操作情報の調整を行う操作情報調整部と、調整後の操作情報を操作対象に出力する操作情報出力部とを備える情報処理装置。
［９］ユーザーによる操作を検出する検出部を備える操作装置と、［６］または［８］に記載の情報処理装置とを備える情報処理システム。
［１０］［９］に記載の情報処理システムにおいて、情報処理装置は、撮像素子を有し、第１の画像を撮像する撮像部をさらに備える情報処理システム。
［１１］［１０］に記載の情報処理システムにおいて、情報処理装置は、少なくとも撮像素子をユーザーの体に装着可能な装着部をさらに備える。
［１２］ユーザーによる操作を検出する検出部を備える操作装置と、［８］に記載の情報処理装置と、検出結果に基づく操作情報に基づいて動作する操作対象とを備える情報処理システム。
［１３］検出部を備え、ユーザーによる操作を受け付ける操作装置にて実施される情報処理方法であって、ユーザーの手指を撮像した第１の画像を取得する取得手順と、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成手順と、検出部による検出結果と、特徴情報とを出力する特徴情報出力手順とを含む情報処理方法。
［１４］検出部を備え、ユーザーによる操作を受け付ける操作装置と接続される情報端末によって実行される情報処理プログラムであって、情報端末に、ユーザーの手指を撮像した第１の画像とを取得する取得ステップと、第１の画像に基づいて、手指に関する特徴情報を生成する特徴情報生成ステップと、検出部による検出結果と、特徴情報とを出力する特徴情報出力ステップとを実行させる情報処理プログラム。
　１，２…情報処理システム、１０…操作装置、１１…検出部、１２，４２…出力部、３１，４１…撮像部、２１，３２，５１，６１…通信部、２２，３３，５２…制御部、３０…ＨＭＤユニット、３４…表示部、４０，５０…情報処理装置、６０…操作対象装置、６２…駆動部、１１１ａ～１１１ｅ，１１２…センサー、２２１，５２１…特徴情報生成部、２２２…画像生成部、５２２…操作情報生成部、５２３…操作情報調整部。
 

Claims (14)

  1. 　ユーザーによる操作を受け付ける操作装置であって、
    　前記操作を検出する検出部と、
    　前記ユーザーの手指を撮像した第１の画像を取得する取得部と、
    　前記第１の画像に基づいて、前記手指に関する特徴情報を生成する特徴情報生成部と、
    　前記検出部による検出結果と、前記特徴情報とを出力する特徴情報出力部と
    　を備えることを特徴とする操作装置。
  2. 　請求項１に記載の操作装置において、
    　前記特徴情報は、前記手指における特徴点の位置情報を含む、ことを特徴とする操作装置。
  3. 　請求項１または請求項２に記載の操作装置において、
    　前記特徴情報は、前記手指の表面のテクスチャ情報を含む、ことを特徴とする操作装置。
  4. 　請求項１に記載の操作装置において、
    　前記検出部は、前記手指の位置を検出する
    　ことを特徴とする操作装置。
  5. 　請求項１に記載の操作装置において、
    　前記第１の画像は、色情報と深度情報との少なくとも一方を含む画像である、ことを特徴とする操作装置。
  6. 　ユーザーによる操作を検出する検出部を備える操作装置による検出結果と、前記ユーザーの手指を撮像した第１の画像とを取得する取得部と、
    　前記第１の画像に基づいて、前記手指に関する特徴情報を生成する特徴情報生成部と、
    　前記検出部による検出結果と、前記特徴情報とに基づいて、前記手指の形状を再現した第２の画像を生成する画像生成部と、
    　前記第２の画像を表示する表示部と
    　を備えることを特徴とする情報処理装置。
  7. 　請求項６に記載の情報処理装置において、
    　前記画像生成部は、前記検出結果に基づいて前記手指の３Ｄモデルを制御するとともに、前記特徴情報に基づいて前記手指の３Ｄモデルを調整し、調整後の前記３Ｄモデルに基づいて前記第２の画像を生成する
    　ことを特徴とする情報処理装置。
  8. 　ユーザーによる操作を検出する検出部を備える操作装置による検出結果と、記ユーザーの手指を撮像した第１の画像とを取得する取得部と、
    　前記第１の画像に基づいて、前記手指に関する特徴情報を生成する特徴情報生成部と、
    　前記検出部による検出結果に基づいて、操作対象を動作させる操作情報を生成する操作情報生成部と、
    　前記特徴情報に基づいて、前記操作情報の調整を行う操作情報調整部と、
    　調整後の前記操作情報を前記操作対象に出力する操作情報出力部と
    　を備えることを特徴とする情報処理装置。
  9. 　ユーザーによる操作を検出する検出部を備える操作装置と、
    　請求項６または請求項８に記載の情報処理装置と
    　を備えることを特徴とする情報処理システム。
  10. 　請求項９に記載の情報処理システムにおいて、
    　前記情報処理装置は、撮像素子を有し、前記第１の画像を撮像する撮像部をさらに備える
    　ことを特徴とする情報処理システム。
  11. 　請求項１０に記載の情報処理システムにおいて、
    　前記情報処理装置は、少なくとも前記撮像素子を前記ユーザーの体に装着可能な装着部をさらに備える
    　ことを特徴とする情報処理システム。
  12. 　ユーザーによる操作を検出する検出部を備える操作装置と、
    　請求項７に記載の情報処理装置と
    　前記検出結果に基づく操作情報に基づいて動作する操作対象と
    　を備えることを特徴とする情報処理システム。
  13. 　検出部を備え、ユーザーによる操作を受け付ける操作装置にて実施される情報処理方法であって、
    　前記ユーザーの手指を撮像した第１の画像を取得する取得手順と、
    　前記第１の画像に基づいて、前記手指に関する特徴情報を生成する特徴情報生成手順と、
    　前記検出部による検出結果と、前記特徴情報とを出力する特徴情報出力手順と
    　を含むことを特徴とする情報処理方法。
  14. 　検出部を備え、ユーザーによる操作を受け付ける操作装置と接続される情報端末によって実行される情報処理プログラムであって、
    　前記情報端末に、
    　前記ユーザーの手指を撮像した第１の画像を取得する取得ステップと、
    　前記第１の画像に基づいて、前記手指に関する特徴情報を生成する特徴情報生成ステップと、
    　前記検出部による検出結果と、前記特徴情報とを出力する特徴情報出力ステップとを実行させることを特徴とする情報処理プログラム。
     
PCT/JP2022/018937 2022-04-26 2022-04-26 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム WO2023209818A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018937 WO2023209818A1 (ja) 2022-04-26 2022-04-26 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018937 WO2023209818A1 (ja) 2022-04-26 2022-04-26 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2023209818A1 true WO2023209818A1 (ja) 2023-11-02

Family

ID=88518234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018937 WO2023209818A1 (ja) 2022-04-26 2022-04-26 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023209818A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置
JP2018516399A (ja) * 2015-04-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイでのピンチアンドホールドジェスチャのナビゲーション
JP2021514516A (ja) * 2018-02-19 2021-06-10 バルキリー・インダストリーズ・リミテッドＶａｌｋｙｒｉｅ Ｉｎｄｕｓｔｒｉｅｓ Ｌｉｍｉｔｅｄ バーチャルリアリティに対する触覚フィードバック

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置
JP2018516399A (ja) * 2015-04-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイでのピンチアンドホールドジェスチャのナビゲーション
JP2021514516A (ja) * 2018-02-19 2021-06-10 バルキリー・インダストリーズ・リミテッドＶａｌｋｙｒｉｅ Ｉｎｄｕｓｔｒｉｅｓ Ｌｉｍｉｔｅｄ バーチャルリアリティに対する触覚フィードバック

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US6862006B2 (en) Image processing apparatus and image processing method, and image processing program and recording medium of the same
US7250935B2 (en) Force-feedback supply apparatus and image correcting method
US20170136621A1 (en) Dynamic Multi-Sensor and Multi-Robot Interface System
CN110549353B (zh) 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质
JP2019012965A (ja) 映像制御方法、映像制御装置、及び映像制御プログラム
WO2019181263A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN113632176A (zh) 用于基于神经肌肉数据的低等待时间身体状态预测的方法和装置
JP2010257081A (ja) 画像処理方法及び画像処理装置
US20210200311A1 (en) Proxy controller suit with optional dual range kinematics
US11281293B1 (en) Systems and methods for improving handstate representation model estimates
CN111902859B (zh) 信息处理装置、信息处理方法和程序
JP2004318400A (ja) 画像処理装置及び画像処理方法
TWI648556B (zh) 同步定位與地圖建構及手勢辨識方法
WO2023209818A1 (ja) 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
WO2024147195A1 (ja) 操作装置、情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
JP7300436B2 (ja) 情報処理装置、システム、情報処理方法および情報処理プログラム
EP4075786A1 (en) Image processing device, system, image processing method and image processing program
WO2022146858A1 (en) Controller position tracking using inertial measurement units and machine learning
JP7513564B2 (ja) システム、情報処理方法および情報処理プログラム
JP7394046B2 (ja) システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム
WO2022202021A1 (ja) 力覚デバイスの制御装置、制御方法、及び制御システム
JP2006272537A (ja) ロボットシミュレータおよびシミュレーションプログラム
JP2004213349A (ja) 力覚提示装置及び力覚提示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940098

Country of ref document: EP

Kind code of ref document: A1