WO2023022109A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023022109A1
WO2023022109A1 PCT/JP2022/030768 JP2022030768W WO2023022109A1 WO 2023022109 A1 WO2023022109 A1 WO 2023022109A1 JP 2022030768 W JP2022030768 W JP 2022030768W WO 2023022109 A1 WO2023022109 A1 WO 2023022109A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
state
hand object
information processing
hand
Prior art date
Application number
PCT/JP2022/030768
Other languages
English (en)
French (fr)
Inventor
拓也 久慈
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2023542386A priority Critical patent/JPWO2023022109A1/ja
Publication of WO2023022109A1 publication Critical patent/WO2023022109A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program for arranging an object representing a user's hand in a virtual space.
  • the state of the real user's fingers may be recognized and the state may be reflected in the object representing the hand in the virtual space. This allows the user to naturally perform finger movements such as grabbing objects and playing rock-paper-scissors in the virtual space.
  • the present invention has been made in consideration of the above circumstances, and one of its objects is to provide an information processing apparatus, an information processing method, and an information processing apparatus capable of reflecting the user's intentions on an object representing the user's hand. and to provide programs.
  • An information processing apparatus includes a line-of-sight state identifying unit that identifies a state of a user's line of sight, a finger state identifying unit that identifies a state of a user's fingers, and a user's hand placed in a virtual space. and a user hand object control unit that controls a hand object representing is characterized by controlling the state of
  • An information processing method includes a step of specifying a state of a user's line of sight, a step of specifying a state of a user's fingers, a hand object representing the user's hand placed in a virtual space, and a step of controlling in conjunction with the state of the user's fingers, wherein the step of controlling the hand object controls the state of the hand object based on the state of the user's line of sight. do.
  • a program includes a step of identifying a state of a user's line of sight, a step of identifying a state of the user's fingers, and a hand object representing the user's hand placed in a virtual space. and a step of controlling in conjunction with the state of the fingers of the hand, wherein in the step of controlling the hand object, the state of the hand object is based on the state of the line of sight of the user.
  • This program may be stored in a computer-readable, non-temporary information storage medium and provided.
  • FIG. 1 is a configuration block diagram showing a schematic configuration of an information processing apparatus according to an embodiment of the present invention
  • FIG. It is a figure which shows an example of the external appearance of a head mounted display. It is a figure which shows an example of the external appearance of an operation device.
  • 1 is a functional block diagram showing functions realized by an information processing device according to an embodiment of the present invention
  • FIG. It is a figure which shows an example of the state in virtual space.
  • FIG. 10 is a diagram showing an example of control of a user's hand object according to the state of the user's actual fingers;
  • An information processing apparatus 10 is a home-use game machine, a personal computer, or the like, and includes a control unit 11, a storage unit 12, and an interface unit 13, as shown in FIG. consists of The information processing device 10 is also connected to the head-mounted display device 20 and the two operation devices 30 so as to be capable of data communication.
  • the control unit 11 includes at least one processor such as a CPU, and executes programs stored in the storage unit 12 to perform various information processing. A specific example of the processing executed by the control unit 11 in this embodiment will be described later.
  • the storage unit 12 includes at least one memory device such as RAM, and stores programs executed by the control unit 11 and data processed by the programs.
  • the interface unit 13 is an interface for data communication between the head-mounted display device 20 and the operation device 30.
  • the information processing apparatus 10 is connected to each of the head-mounted display device 20 and the two operation devices 30 either wiredly or wirelessly via the interface unit 13 .
  • the interface unit 13 includes a multimedia interface such as HDMI (registered trademark) for transmitting video data supplied by the information processing device 10 to the head-mounted display device 20 . It also includes a data communication interface such as Bluetooth (registered trademark) for receiving signals indicating detection results by the operation device 30 .
  • the head-mounted display device 20 is a display device that a user wears on the head and uses, and as shown in FIG. there is
  • the display unit 21 is arranged at a position facing the left and right eyes of the user when the user wears the head-mounted display device 20 , and displays an image according to the image signal transmitted from the information processing device 10 . Display and allow users to browse.
  • the internal camera 22 is also arranged at a position and orientation capable of capturing images of the user's eyes so as to face the user's left and right eyes. By analyzing the image captured by the internal camera 22, the information processing apparatus 10 can identify the gaze direction of the user, that is, the direction in which the user is looking.
  • a plurality of external cameras 23 are arranged on the surface of the head-mounted display device 20 to photograph the surroundings.
  • the information processing device 10 identifies changes in the position and orientation of the head-mounted display device 20 in the physical space. This change in position and orientation represents a change in the position and orientation of the user's own face.
  • SLAM Simultaneous Localization and Mapping
  • the image captured by the external camera 23 is also used to specify the position of the operation device 30 .
  • the information processing apparatus 10 can specify the position of the operation device 30 in the physical space with reference to the position of the head-mounted display device 20. .
  • the operation device 30 is a device for accepting user's operation input, and is held by the user's hand for use.
  • two operation devices 30 are connected to the information processing apparatus 10, and the user holds the operation devices 30 with both left and right hands.
  • each operating device 30 includes a grip portion 31 , multiple operating members 32 , multiple finger position sensors 33 , and a force sense presentation mechanism 34 .
  • the user grips the operation device 30 by gripping the grip portion 31 of the operation device 30 with the ring finger and little finger. Therefore, while the operation device 30 is being used, the user cannot perform the action of clenching or opening the ring finger and little finger, and the states of the ring finger and little finger do not change.
  • a plurality of operating members 32 are arranged on the surface of the operating device 30 .
  • a tilting operation member 32a for instructing a direction by tilting and operating is arranged at a position that can be operated with a thumb.
  • an operation button 32b whose depression amount can be detected is arranged at a position that can be operated with the index finger.
  • the finger position sensor 33 is a sensor device for detecting the position of the corresponding finger.
  • a plurality of distance sensors are arranged on the surface of the operation device 30 as finger position sensors 33 in order to detect the positions of the three fingers of thumb, index finger and middle finger.
  • the haptic presentation mechanism 34 presents a haptic to the user's fingers.
  • the haptic presentation mechanism 34 can present a haptic to the index finger of the user who operates the operation button 32b.
  • the information processing device 10 uses the detection result of the finger position sensor 33 to identify the states of the thumb, index finger, and middle finger of the user's left and right hands.
  • the state of each user's finger refers to whether the user's finger is extended or bent with respect to the palm, and how much it is bent.
  • the information processing apparatus 10 identifies how each finger is bent using the detection result of the finger position sensor 33 corresponding to each finger.
  • the information processing apparatus 10 functionally includes a virtual space display control unit 51, a line-of-sight state identification unit 52, a finger state identification unit 53, and a user hand object control unit 54. consists of These functions are realized by the control unit 11 executing a program stored in the storage unit 12 .
  • This program may be provided to the information processing apparatus 10 via a communication network such as the Internet, or may be stored in an information storage medium such as an optical disc and provided to the information processing apparatus 10 .
  • the virtual space display control unit 51 constructs a three-dimensional virtual space and presents it to the user. Specifically, the virtual space display control unit 51 constructs a virtual space in which various objects are arranged. Then, a spatial image showing a state in which the virtual space is viewed from the viewpoint camera P set in the virtual space is drawn and displayed on the display section 21 of the head-mounted display device 20 . At this time, the virtual space display control unit 51 changes the position and orientation of the viewpoint camera P, which serves as a reference when drawing the spatial image, in real time according to changes in the position and orientation of the head-mounted display device 20. It is assumed that With this, users can move their head to look around the virtual space, and move in the real space to experience movement in the virtual space as if they were in the virtual space. can be done.
  • the virtual space display control unit 51 arranges a user hand object UH representing the user's hand in the virtual space.
  • a user hand object UH representing the user's hand in the virtual space.
  • two user hand objects UHR and UHL corresponding to left and right hands are arranged.
  • These user hand objects UH have shapes that imitate human hands, and particularly in this embodiment, have five independently controllable fingers.
  • the virtual space display control unit 51 arranges objects that can interact with these user hand objects UH in the virtual space.
  • FIG. 5 shows a specific example of the state of the virtual space.
  • another hand object H1 capable of playing rock-paper-scissors with the user hand object UH
  • a hand object H2 capable of shaking hands with the user hand object UH are arranged in the virtual space.
  • hand objects may be part of an avatar that exists in the virtual space.
  • various objects with which the user can interact via the user hand object UH may be arranged in the virtual space.
  • the line-of-sight state identification unit 52 identifies the state of the user's line of sight. Specifically, the line-of-sight state identifying unit 52 identifies the position and orientation of the head-mounted display device 20 by analyzing the image captured by the external camera 23, as described above. The position and orientation of the head-mounted display device 20 correspond to the position and orientation of the user's face in the real space, and represent the position and orientation of the viewpoint that is the starting point of the user's line of sight. . The line-of-sight state identifying unit 52 changes the position and orientation of the viewpoint camera P in the virtual space so as to be linked to the position and orientation of the user's viewpoint.
  • the line-of-sight state identifying unit 52 identifies the user's gaze direction as part of the line-of-sight state. While using the head-mounted display device 20, the user can move only the direction of the line of sight up, down, left, or right without changing the direction of the face. Since such a line of sight movement does not change the position or orientation of the head-mounted display device 20 , it cannot be specified only by analyzing the captured image of the external camera 23 . Therefore, the line-of-sight state identification unit 52 identifies the user's line-of-sight direction (gaze direction) based on changes in the position of the user's pupils, etc., by analyzing the user's eyes captured in the captured image of the internal camera 22 .
  • the line-of-sight state identification unit 52 determines whether or not the user is paying attention to a given object placed in the virtual space, using the identification result of the gaze direction.
  • an object to be determined whether or not the user is paying attention is referred to as an attention candidate object.
  • This candidate object of interest may be an object with which the user can interact via the user hand object UH.
  • the line-of-sight state identifying unit 52 determines that if a target candidate object exists in the virtual space to which the user's gaze direction is directed, the user focuses on the target candidate object. It is determined that Alternatively, the line-of-sight state identifying unit 52 may determine that the attention candidate object existing in the spatial area is being watched when the gaze direction is directed to a given spatial area including the attention candidate object. .
  • an attention candidate object determined to be actually watched by the user is referred to as an attention target object.
  • the hand object H1 and the hand object H2 are assumed to be attention candidate objects.
  • the viewpoint camera P is aimed in the middle direction between the hand object H1 and the hand object H2. exists, the line-of-sight state identifying unit 52 identifies the hand object H1 as the target object. Even if the position and orientation of the viewpoint camera P remain unchanged, if the user directs the line of sight to the right and the straight line along the gaze direction passes through the space area A2 including the hand object H2, the line-of-sight state identification unit 52 The hand object H2 is identified as the target object.
  • a cubic area having a predetermined size centered on each hand object is set as the spatial area A1 or A2.
  • the line-of-sight state identifying unit 52 determines that the user is not paying attention to any attention candidate object.
  • the finger state identification unit 53 identifies the state of the user's hand and fingers in the real space. As described above, the state of the fingers in this embodiment refers to the degree to which each finger of the user is bent.
  • the finger state identification unit 53 uses the detection results of the plurality of finger position sensors 33 provided in the left and right operation devices 30 to determine whether the thumb, index finger, and middle finger of the user's right hand, and the thumb, index finger, and middle finger of the left hand. to identify the state of a total of six fingers in real time.
  • the user hand object control unit 54 controls the state of the user hand object UH placed in the virtual space. First, the user hand object control unit 54 changes the position of the user hand object UH so as to interlock with the positions of the left and right hands of the user identified by the finger state identifying unit 53 . More specifically, the user hand object control unit 54 adjusts the position and orientation of the viewpoint camera P so as to correspond to the position and orientation of the operation device 30 in the real space based on the position and orientation of the head-mounted display device 20. The position of the user hand object UH in the reference virtual space is determined.
  • the user hand object control unit 54 controls the states of the user hand objects UHR and UHL based on the result of specifying the finger state of each of the user's left and right hands by the finger state specifying unit 53 .
  • user hand objects UHR and UHL each have five fingers.
  • the corresponding fingers of the user hand objects UHR and UHL are operated in conjunction with the actual fingers of the user.
  • the user hand object control unit 54 controls bending of the thumb of the corresponding user hand object UHR.
  • the user hand object control unit 54 does not change the state of fingers that are not specified by the finger state specifying unit 53 while the control according to the line-of-sight state, which will be described later, is not performed.
  • the user hand object control unit 54 controls the state of the user hand object UH according to information on the user's line-of-sight state specified by the line-of-sight state specifying unit 52 .
  • Information on the position and orientation of the user's face in the real space and information on the gaze direction may be used as is as the information on the line-of-sight state. may be used.
  • the attention candidate object is an object that interacts with the user hand object UH in a predetermined manner
  • the user hand object control unit 54 determines the attention object.
  • the state of the user hand object UH is controlled according to the contents predetermined according to the conditions. This allows the user hand object UH to be in a state suitable for interacting with the object of interest.
  • the user hand object UH to be controlled by the user hand object control unit 54 is either the user hand object UHR or the user hand object UHL, which is predetermined for the target object. There may be, or both user hand objects UH. Alternatively, one user hand object UH that is determined based on a given criterion, such as the user hand object UH that exists closer to the target object in the virtual space, may be the control target.
  • the user hand object control unit 54 controls the state of the user hand object UH to be controlled so that it satisfies predetermined restrictions according to the target of interest. A specific example of control over the user hand object UH will be described below.
  • the user hand object control unit 54 should set the user hand object UH to be controlled to one of the Goo, Scissors, and Paper states, and other states (for example, three fingers extended and two The state in which the finger is bent) is considered to be different from the user's intention.
  • the user hand object control unit 54 determines which state the user intends from among a plurality of states (here, three states of goo, scissors, and paper) based on the state of the user's fingers to be specified. Estimate and control the state of fingers that are not specific targets according to the result. For example, as shown in FIG. 6(a), when the user stretches out all of the thumb, index finger, and middle finger, which are specific targets, it is estimated that the user is about to hit par. In this case, as shown in FIG. 6B, the user hand object control unit 54 extends the fingers of the user hand object UH corresponding to the three fingers to be specified according to the specified result. The ring finger and the little finger, which are not specific objects, are also changed to the stretched state.
  • states here, three states of goo, scissors, and paper
  • the user hand object control unit 54 may also change the finger to be specified so that it matches any of the predetermined states. For example, if the thumb, index finger, and middle finger are all open to some extent, and it is estimated that the user is trying to hit a par, the user hand object control unit 54 fully extends these fingers. It may be changed to the
  • the user hand object control unit 54 executes the above-described control of the user hand object UH in real time while presenting the state in the virtual space to the user. That is, the line-of-sight state identifying unit 52 continuously monitors the user's line-of-sight state, and when it is determined that the user's line of sight is directed toward the attention target object, the user hand object control unit 54 immediately detects the user's hand object UH. to a given state. In addition, when the user who has been gazing at the target object until then turns his or her line of sight to another place, the control of the user hand object UH is changed to normal control (control that reflects the state of the specified finger as it is). I will return it.
  • the user hand object control section 54 can cause the user hand object UH to perform rock-paper-scissors hand movements only while the user is gazing at the hand object H1. Conversely, even if the user hand object UH happens to move close to the hand object H1, if the user does not look toward the hand object H1, it is considered that the user does not intend to play rock-paper-scissors.
  • the unit 54 does not forcibly change the state of the user's hand object UH to one of rock, scissors, and paper.
  • the user hand object control unit 54 controls the user hand object UH, which has moved to a position close to the hand object H2, as the control target, and performs control to bend the ring finger and the little finger in conjunction with the specific target finger.
  • the user hand object control unit 54 may perform control to bend the ring finger and little finger by the same amount as the reference finger (for example, index finger or middle finger).
  • the ring finger and the little finger also operate to grasp the hand object H2 in conjunction with this gesture, and the user hand object UH is grasped by the hand object H2. can shake hands with
  • the position of the user hand object UH to be controlled in the virtual space may also be moved to a position where it can shake hands with the hand object H2 regardless of the position of the hand in the real space.
  • the user presses the operation button 32b with the index finger when making a handshake gesture.
  • the user hand object control section 54 may operate the haptic presentation mechanism 34 of the operation device 20 to present the haptic to the user's fingers. This allows the user to experience the feeling of actually holding the hand object H2.
  • the user hand object UH grasps the hand object H2, which is the partner of the handshake.
  • a five-finger grab control can be performed.
  • the user hand object control unit 54 may execute control of causing the object to fly in the virtual space.
  • the direction in which the thrown object flies may be controlled according to the gaze direction of the user. That is, the user hand object control unit 54 performs control such that an object such as a ball flies where the user's line of sight is directed. According to such control, not only the user hand object UH but also the objects interacting with the user hand object UH can be made to behave more reflecting the user's intention based on the user's gaze state. .
  • the user's hand object UH by controlling the state of the user hand object UH according to the state of the user's line of sight, such as which object the user is looking at, the user's hand object UH can be brought into a state more reflecting the user's intention.
  • the embodiments of the present invention are not limited to those described above.
  • the target object to which the user pays attention is specified, and the control content for the user hand object UH is changed according to the specified target object.
  • the content of control over the user hand object UH may be changed depending on the spatial region where the user's hand object is located or the position of the user's viewpoint.
  • the user holds the operation device 30 with both hands, and the user hand object control unit 54 controls two user hand objects UH corresponding to the left and right hands.
  • the user hand object control unit 54 may control only one user hand object UH corresponding to one of the hands according to the line-of-sight state.
  • the method of specifying the user's line-of-sight state and finger state in the above description is merely an example, and the information processing apparatus 10 according to the present embodiment uses various types of information to identify the line-of-sight state and finger state.
  • the information processing apparatus 10 may identify the state of the user's finger using the detection results of other types of sensors provided on the operation device 30, not limited to the sensor that measures the distance.
  • the information processing apparatus 10 may identify that the finger expected to operate the operation button is in a bent state.
  • the user grips the operation device 30 with some of his or her fingers (the ring finger and little finger). It may be worn on the palm or on the tip of each finger.
  • the information processing apparatus 10 may specify the state of the user's finger by taking an image from the outside with a camera. Such a method allows the user to move all five fingers at will. Even in such a case, there may be cases where the state of some fingers cannot be accurately recognized due to hardware restrictions, detection accuracy problems, or the like. Even in such a case, by controlling the state of the fingers of the user hand object UH according to the user's gaze state as described above, the user hand object UH can be moved so as to reflect the user's intention. can.
  • 1 information processing device 11 control unit, 12 storage unit, 13 interface unit, 20 head-mounted display device, 21 display unit, 22 internal camera, 22 external camera, 30 operation device, 31 grip unit, 32 operation member, 33 Finger position sensor, 34 haptic presentation mechanism, 51 virtual space display control unit, 52 line-of-sight state identification unit, 53 finger state identification unit, 54 user hand object control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザーの視線の状態を特定し、ユーザーの手指の状態を特定し、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、ユーザーの手指の状態と連動するように制御する情報処理装置であって、ユーザーの視線の状態に基づいて、手オブジェクトの状態を制御する情報処理装置である。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、ユーザーの手を表すオブジェクトを仮想空間内に配置する情報処理装置、情報処理方法、及びプログラムに関する。
　ユーザーが仮想空間内で様々な活動を行うゲームなどにおいては、現実のユーザーの手指の状態を認識し、その状態を仮想空間内において手を表すオブジェクトに反映させることがある。これにより、ユーザーは仮想空間内で物を掴んだりじゃんけんをしたりといった手指の動作を自然に行うことができる。
　上述した技術においては、ハードウェアの制約や認識精度の問題などにより、ユーザーの全ての手指の状態を正確に把握できない場合がある。そのような場合、ユーザーは自身の意図を仮想空間内のオブジェクトに完全に反映させることができず、違和感を感じてしまうおそれがある。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの手を表すオブジェクトに対してよりユーザーの意図を反映させることのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
　本発明の一態様に係る情報処理装置は、ユーザーの視線の状態を特定する視線状態特定部と、ユーザーの手指の状態を特定する手指状態特定部と、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するユーザー手オブジェクト制御部と、を含み、前記ユーザー手オブジェクト制御部は、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御することを特徴とする。
　本発明の一態様に係る情報処理方法は、ユーザーの視線の状態を特定するステップと、ユーザーの手指の状態を特定するステップと、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、を含み、前記手オブジェクトを制御するステップでは、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御することを特徴とする。
　本発明の一態様に係るプログラムは、ユーザーの視線の状態を特定するステップと、ユーザーの手指の状態を特定するステップと、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、をコンピュータに実行させるためのプログラムであって、前記手オブジェクトを制御するステップでは、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御することを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理装置の概略構成を示す構成ブロック図である。 頭部装着型表示装置の外観の一例を示す図である。 操作デバイスの外観の一例を示す図である。 本発明の実施の形態に係る情報処理装置が実現する機能を示す機能ブロック図である。 仮想空間内の様子の一例を示す図である。 ユーザーの現実の手指の状態に応じたユーザー手オブジェクトの制御の一例を示す図である。
　以下、本発明の実施の形態について、図面に基づき詳細に説明する。
　本発明の一実施形態に係る情報処理装置１０は、家庭用ゲーム機やパーソナルコンピュータ等であって、図１に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１０は、頭部装着型表示装置２０、及び２個の操作デバイス３０とデータ通信可能に接続されている。
　制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。　　
　インタフェース部１３は、頭部装着型表示装置２０、及び操作デバイス３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで頭部装着型表示装置２０、及び２個の操作デバイス３０のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像データを頭部装着型表示装置２０に送信するために、ＨＤＭＩ（登録商標）等のマルチメディアインタフェースを含むこととする。また、操作デバイス３０による検出結果を示す信号を受信するために、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のデータ通信インタフェースを含んでいる。
　頭部装着型表示装置２０は、ユーザーが頭部に装着して使用する表示装置であって、図２に示すように、表示部２１と、内部カメラ２２と、外部カメラ２３と、を備えている。
　表示部２１は、ユーザーが頭部装着型表示装置２０を装着した際にユーザーの左右それぞれの目と相対する位置に配置されており、情報処理装置１０から送信される映像信号に応じた映像を表示して、ユーザーに閲覧させる。内部カメラ２２もユーザーの左右それぞれの目と相対するように、ユーザーの目を撮像可能な位置及び向きで配置されている。情報処理装置１０は、内部カメラ２２の撮像画像を解析することによって、ユーザーの注視方向、すなわちユーザーが視線を向けている方向を特定することができる。
　頭部装着型表示装置２０の表面には、周囲の様子を撮影するために複数の外部カメラ２３が配置されている。これらの外部カメラ２３によって撮像された画像を解析することによって、情報処理装置１０は現実空間内における頭部装着型表示装置２０の位置及び向きの変化を特定する。この位置及び向きの変化は、ユーザー自身の顔の位置及び向きの変化を表している。頭部装着型表示装置２０の位置、及び向きの特定には、公知のＳＬＡＭ（Simultaneous Localization and Mapping）技術を利用することができる。
　また、本実施形態においてこの外部カメラ２３の撮像画像は、操作デバイス３０の位置を特定するためにも用いられることとする。撮像画像内に写っている操作デバイス３０の位置を特定することにより、情報処理装置１０は頭部装着型表示装置２０の位置を基準として現実空間内における操作デバイス３０の位置を特定することができる。
　操作デバイス３０は、ユーザーの操作入力を受け付けるためのデバイスであって、ユーザーが手で持って使用する。本実施形態では、２個の操作デバイス３０が情報処理装置１０と接続されており、ユーザーは左右の手のそれぞれで操作デバイス３０を把持することとする。図３に示されるように、各操作デバイス３０は把持部３１と、複数の操作部材３２と、複数の指位置センサー３３と、力覚提示機構３４と、を備えている。
　ユーザーは、操作デバイス３０の把持部３１を薬指、及び小指で握ることによって操作デバイス３０を把持する。そのため、操作デバイス３０の使用中、ユーザーは薬指、及び小指を握ったり開いたりする動作を行うことはできず、薬指、及び小指の状態は変化しないことになる。
　操作デバイス３０の表面には、複数の操作部材３２が配置されている。特に本実施形態では、親指で操作可能な位置に、傾けて操作することによって方向を指示するための傾倒操作部材３２ａが配置されている。また、人差し指で操作可能な位置に押し込み量を検出可能な操作ボタン３２ｂが配置されている。
　指位置センサー３３は、対応する指の位置を検出するためのセンサーデバイスである。本実施形態では、親指、人差し指、及び中指の３本の指の位置を検出するために、指位置センサー３３として複数の距離センサーが操作デバイス３０表面に配置されている。
　力覚提示機構３４は、ユーザーの手指に対して力覚を提示する。本実施形態では、力覚提示機構３４は操作ボタン３２ｂを操作するユーザーの人差し指に対して力覚を提示可能であるものとする。
　情報処理装置１０は、この指位置センサー３３の検出結果を用いて、ユーザーの左右それぞれの手の親指、人差し指、及び中指の状態を特定する。ここでユーザーの各指の状態とは、手のひらに対してユーザーの指が伸びているか曲げられているか、またどの程度折り曲げられているかを指しているものとする。情報処理装置１０は、各指に対応する指位置センサー３３の検出結果を用いて各指がどの程度折り曲げられているかを特定する。
　以下、本実施形態において情報処理装置１０が実現する機能について、図４の機能ブロック図を用いて説明する。同図に示されるように、情報処理装置１０は、機能的に、仮想空間表示制御部５１と、視線状態特定部５２と、手指状態特定部５３と、ユーザー手オブジェクト制御部５４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に格納されているプログラムを実行することにより、実現される。このプログラムは、インターネット等の通信ネットワークを経由して情報処理装置１０に提供されてもよいし、光ディスク等の情報記憶媒体に格納されて情報処理装置１０に提供されてもよい。
　仮想空間表示制御部５１は、３次元の仮想空間を構築し、その様子をユーザーに提示する。具体的に仮想空間表示制御部５１は、各種のオブジェクトが配置された仮想空間を構築する。そして、仮想空間内に設定された視点カメラＰから仮想空間内を見た様子を示す空間画像を描画し、頭部装着型表示装置２０の表示部２１に表示させる。このとき仮想空間表示制御部５１は、空間画像を描画する際の基準となる視点カメラＰの位置、及び向きを、頭部装着型表示装置２０の位置、及び向きの変化に応じてリアルタイムで変化させることとする。これによりユーザーは、自身があたかも仮想空間内にいるかのように、自身の頭を動かして仮想空間内の様子を見渡したり、現実空間を移動することで仮想空間内の移動を体験したりすることができる。
　さらに本実施形態において、仮想空間表示制御部５１は、仮想空間内にユーザーの手を表すユーザー手オブジェクトＵＨを配置する。本実施形態では、左右の手に対応する２個のユーザー手オブジェクトＵＨＲ及びＵＨＬを配置するものとする。これらのユーザー手オブジェクトＵＨは、人の手を模した形状を有しており、特に本実施形態では独立に制御可能な５本の指を備えているものとする。
　また、仮想空間表示制御部５１は、これらのユーザー手オブジェクトＵＨと相互作用可能なオブジェクトを仮想空間内に配置する。図５は、仮想空間の様子の具体例を示している。この図においては、ユーザー手オブジェクトＵＨとじゃんけんをすることのできる別の手オブジェクトＨ１や、ユーザー手オブジェクトＵＨと握手することが可能な手オブジェクトＨ２が仮想空間内に配置されている。なお、ここでは手オブジェクトだけが図示されているが、これらの手オブジェクトは仮想空間内に存在するアバターの一部などであってもよい。また、その他にも仮想空間内にはユーザーがユーザー手オブジェクトＵＨを介して相互作用することのできる各種のオブジェクトが配置されてよい。
　視線状態特定部５２は、ユーザーの視線の状態を特定する。具体的に視線状態特定部５２は、前述したように、外部カメラ２３の撮像画像を解析することによって、頭部装着型表示装置２０の位置、及び向きを特定する。この頭部装着型表示装置２０の位置、及び向きは、現実空間内におけるユーザーの顔の位置、及び向きに対応しており、ユーザーの視線の起点となる視点の位置、及び向きを表している。視線状態特定部５２は、このユーザーの視点の位置、及び向きに連動するように、仮想空間内における視点カメラＰの位置、及び向きを変化させる。
　さらに本実施形態において、視線状態特定部５２は、視線状態の一部として、ユーザーの注視方向を特定するものとする。頭部装着型表示装置２０の使用中、ユーザーは、顔の向きを変えずに視線の向きだけを上下左右などに動かすことができる。このような視線の動きは、頭部装着型表示装置２０の位置や向きを変化させるわけではないので、外部カメラ２３の撮像画像を解析するだけでは特定することができない。そこで視線状態特定部５２は、内部カメラ２２の撮像画像に写っているユーザーの目を解析することで、ユーザーの瞳の位置の変化などからユーザーの視線の向き（注視方向）を特定する。
　この注視方向の特定結果は、視点カメラＰの位置や向きには反映されないが、ユーザーが仮想空間内において何に注目しているかを特定するために用いられる。具体的に視線状態特定部５２は、仮想空間内に配置された所与のオブジェクトをユーザーが注目しているか否かを、注視方向の特定結果を用いて判定する。以下ではユーザーが注目しているか否かの判定対象となるオブジェクトを、注目候補オブジェクトという。この注目候補オブジェクトは、ユーザーがユーザー手オブジェクトＵＨを介して相互作用可能なオブジェクトであってよい。
　視線状態特定部５２は、視点カメラＰの位置及び向きを基準として、仮想空間内においてユーザーの注視方向が向けられた先に注目候補オブジェクトが存在していれば、ユーザーがその注目候補オブジェクトに注目していると判定する。あるいは視線状態特定部５２は、注目候補オブジェクトを含む所与の空間領域に注視方向が向けられている場合に、その空間領域内に存在する注目候補オブジェクトを注目していると判定してもよい。以下では、実際にユーザーが注目していると判定された注目候補オブジェクトを注目対象オブジェクトという。
　具体例として、前述した図５の例において、手オブジェクトＨ１及び手オブジェクトＨ２が注目候補オブジェクトであることとする。この図の例では、視点カメラＰは手オブジェクトＨ１と手オブジェクトＨ２の中間の方向に向けられているが、この状態においてユーザーが左方向に視線を向け、その視線を延ばした先に手オブジェクトＨ１を含む空間領域Ａ１が存在している場合には、視線状態特定部５２は手オブジェクトＨ１を注目対象オブジェクトとして特定する。視点カメラＰの位置及び向きがそのままであっても、ユーザーが視線を右方向に向け、注視方向に沿った直線が手オブジェクトＨ２を含む空間領域Ａ２を通っていれば、視線状態特定部５２は手オブジェクトＨ２を注目対象オブジェクトとして特定する。なお、ここではそれぞれの手オブジェクトを中心として所定の大きさの立方体形状の領域が空間領域Ａ１又はＡ２として設定されている。ユーザーの視線がいずれの注目候補オブジェクトにも向けられていない場合、視線状態特定部５２は、ユーザーがどの注目候補オブジェクトにも注目していないと判定する。
　手指状態特定部５３は、現実空間内におけるユーザーの手、及び手指の状態を特定する。前述したように、本実施形態において手指の状態とは、ユーザーの各指がどの程度曲げられているかの状態を指している。ここでは手指状態特定部５３は、左右それぞれの操作デバイス３０に設けられた複数の指位置センサー３３の検出結果を用いて、ユーザーの右手の親指、人差し指、中指、及び左手の親指、人差し指、中指の計６本の指の状態をリアルタイムで特定する。
　ユーザー手オブジェクト制御部５４は、仮想空間内に配置されるユーザー手オブジェクトＵＨの状態を制御する。まずユーザー手オブジェクト制御部５４は、手指状態特定部５３が特定したユーザーの左右の手の位置に連動するように、ユーザー手オブジェクトＵＨの位置を変化させる。より具体的に、ユーザー手オブジェクト制御部５４は、頭部装着型表示装置２０の位置及び向きを基準とした現実空間における操作デバイス３０の位置と対応するように、視点カメラＰの位置及び向きを基準とした仮想空間内におけるユーザー手オブジェクトＵＨの位置を決定する。
　さらにユーザー手オブジェクト制御部５４は、手指状態特定部５３によるユーザーの左右の手それぞれの手指の状態の特定結果に基づいて、ユーザー手オブジェクトＵＨＲ及びＵＨＬの状態を制御する。具体的に、ユーザー手オブジェクトＵＨＲ及びＵＨＬは、それぞれ５本の指を備えている。そして、手指状態特定部５３が状態を特定する対象としている指については、ユーザー手オブジェクトＵＨＲ及びＵＨＬの対応する指をユーザーの実際の指と連動するように動作させる。例えばユーザーが右手の親指を折り曲げた場合、ユーザー手オブジェクト制御部５４は対応するユーザー手オブジェクトＵＨＲの親指を折り曲げる制御を行う。なお、手指状態特定部５３による特定の対象とされない指については、後述する視線状態に応じた制御を行わない間、ユーザー手オブジェクト制御部５４はその状態を変化させないこととする。
　さらに本実施形態では、ユーザー手オブジェクト制御部５４は、視線状態特定部５２が特定するユーザーの視線状態の情報に応じてユーザー手オブジェクトＵＨの状態を制御する。視線状態の情報としては、現実空間におけるユーザーの顔の位置及び向き、また注視方向の情報をそのまま用いてもよいが、これらの情報に基づいて特定される仮想空間内の注目対象オブジェクトの情報を用いてもよい。
　以下、ユーザーの視線状態に関する情報として、ユーザーがどの注目対象オブジェクトに注目しているかを示す情報を利用する例について説明する。注目候補オブジェクトが、予め定められた方法でユーザー手オブジェクトＵＨと相互作用するオブジェクトである場合、ユーザー手オブジェクト制御部５４は、その注目候補オブジェクトが注目対象オブジェクトとして特定された場合、その注目対象オブジェクトに応じて予め定められている内容でユーザー手オブジェクトＵＨの状態を制御する。これにより、ユーザー手オブジェクトＵＨをその注目対象オブジェクトとの相互作用に適した状態にすることができる。なお、ユーザー手オブジェクト制御部５４が制御対象とするユーザー手オブジェクトＵＨは、ユーザー手オブジェクトＵＨＲ及びユーザー手オブジェクトＵＨＬのうち、注目対象オブジェクトに対して予め定められたいずれか一方のユーザー手オブジェクトＵＨであってもよいし、両方のユーザー手オブジェクトＵＨであってもよい。あるいは、仮想空間内において注目対象オブジェクトにより近い位置に存在するユーザー手オブジェクトＵＨなど、所与の基準に基づいて決定される一方のユーザー手オブジェクトＵＨを制御対象としてもよい。
　ユーザー手オブジェクト制御部５４は、制御対象とするユーザー手オブジェクトＵＨの状態を、注目対象に応じて予め定められた制限を満たすように制御する。以下、ユーザー手オブジェクトＵＨに対する制御の具体例について説明する。
　まず第１の例として、制御対象のユーザー手オブジェクトＵＨを予め定められた複数の状態のいずれかになるように制御する例について説明する。前述の例において注目対象オブジェクトが手オブジェクトＨ１である場合、ユーザーは手オブジェクトＨ１との間でじゃんけんを行うことが想定されている。この場合、ユーザー手オブジェクト制御部５４は、制御対象のユーザー手オブジェクトＵＨをグー、チョキ、パーのいずれかの状態にすべきであり、その他の状態（例えば３本の指を伸ばして２本の指を折り曲げた状態）はユーザーの意図と異なっていると考えられる。
　そこでユーザー手オブジェクト制御部５４は、特定対象としているユーザーの手指の状態に基づいてユーザーが複数の状態（ここではグー、チョキ、パーの３種類の状態）のうちどの状態を意図しているかを推定し、その結果に応じて特定対象ではない手指の状態を制御する。例えば図６（ａ）に示すようにユーザーが特定対象である親指、人差し指、中指を全て伸ばしている場合、ユーザーはパーを出そうとしていると推定される。この場合ユーザー手オブジェクト制御部５４は、図６（ｂ）に示すように、特定対象の３本の指に対応するユーザー手オブジェクトＵＨの指を特定結果に応じて伸ばした状態に変化させるとともに、特定対象でない薬指及び小指についても伸ばした状態に変化させる。これにより、現実空間ではユーザーの手がパーの形になっていなくとも、仮想空間内におけるユーザー手オブジェクトＵＨはパーの形に変化し、ユーザーは違和感なく手オブジェクトＨ１を相手にじゃんけんを行うことができる。
　なお、この例においてユーザー手オブジェクト制御部５４は、特定対象の指についても、予め定められた状態のいずれかに合致するように変化させてもよい。例えば親指、人差し指、及び中指の全てがある程度開いた状態であって、ユーザーが出そうとしているのがパーであると推定される場合、ユーザー手オブジェクト制御部５４は、これらの指を完全に伸ばした状態に変化させてもよい。
　ユーザー手オブジェクト制御部５４は、以上説明したようなユーザー手オブジェクトＵＨの制御を、仮想空間内の様子をユーザーに提示している間、リアルタイムで実行することとする。すなわち、視線状態特定部５２は継続してユーザーの視線状態をモニタし、ユーザー手オブジェクト制御部５４は、ユーザーの視線が注目対象オブジェクトに向けられていると判定された場合、直ちにユーザー手オブジェクトＵＨを所与の状態にする制御を開始する。また、それまで注目対象オブジェクトを注視してたユーザーが別の場所に視線を向けた場合には、ユーザー手オブジェクトＵＨの制御を通常の制御（特定された指の状態をそのまま反映させる制御）に戻すこととする。
　このような制御によれば、ユーザー手オブジェクト制御部５４は、ユーザーが手オブジェクトＨ１を注視している間だけ、ユーザー手オブジェクトＵＨにじゃんけんの手の動きをさせることができる。逆に、たまたまユーザー手オブジェクトＵＨが手オブジェクトＨ１の近くまで移動したとしても、ユーザーが手オブジェクトＨ１の方に視線を向けていなければ、じゃんけんをするつもりがないと考えられるため、ユーザー手オブジェクト制御部５４はユーザー手オブジェクトＵＨの状態を強制的にグー、チョキ、パーのいずれかに変化させることはない。
　次に第２の例として、特定対象でない指を特定対象の指と連動して変化させる例について説明する。前述の例において注目対象オブジェクトが手オブジェクトＨ２である場合、ユーザーは手オブジェクトＨ２と握手することが想定されている。この場合、ユーザー手オブジェクト制御部５４は、手オブジェクトＨ２に近接する位置まで移動したユーザー手オブジェクトＵＨを制御対象として、その薬指及び小指を、特定対象の指と連動して曲げる制御を行う。具体的にユーザー手オブジェクト制御部５４は、基準となる指（例えば人差し指又は中指）と同じだけ薬指及び小指を曲げる制御を行うこととしてもよい。こうすれば、ユーザーが人差し指や中指を曲げて手オブジェクトＨ２を握り込むジェスチャーを行うと、これに連動して薬指及び小指も手オブジェクトＨ２を握るように動作し、ユーザー手オブジェクトＵＨを手オブジェクトＨ２と握手させることができる。
　なお、この例においては、制御対象となるユーザー手オブジェクトＵＨの仮想空間内における位置についても、現実空間内における手の位置にかかわらず、手オブジェクトＨ２と握手できる位置まで移動させることとしてもよい。
　さらにこの例では、ユーザーは握手のジェスチャーをする際に人差し指で操作ボタン３２ｂを押し込むことになる。これに応じてユーザー手オブジェクト制御部５４は、操作デバイス２０の力覚提示機構３４を動作させ、ユーザーの指に力覚を提示してもよい。これにより、ユーザーは実際に手オブジェクトＨ２を握っているかのような感覚を体験することができる。
　また、ここではユーザー手オブジェクトＵＨは握手の相手である手オブジェクトＨ２を握ることとしたが、ユーザー手オブジェクト制御部５４は、同様の制御により、例えばボールなど、各種のオブジェクトをユーザー手オブジェクトＵＨの５本の指で掴む制御を実行できる。さらにこの例において、ユーザー手オブジェクトＵＨが掴んでいるオブジェクトを投げる動作を行った場合、ユーザー手オブジェクト制御部５４は、そのオブジェクトが仮想空間内を飛んでいく制御を実行してもよい。この場合において、投げられたオブジェクトが飛んでいく方向は、ユーザーの注視方向に応じて制御してもよい。すなわち、ユーザー手オブジェクト制御部５４は、ユーザーの視線が向かっている先にボールなどのオブジェクトが飛んでいく制御を行うこととする。このような制御によれば、ユーザー手オブジェクトＵＨだけでなくユーザー手オブジェクトＵＨと相互作用するオブジェクトについても、ユーザーの視線状態に基づいてよりユーザーの意図を反映した挙動を行うようにすることができる。
　以上説明したように、本実施形態に係る情報処理装置１０によれば、ユーザーがどのオブジェクトに注目しているのかなど、ユーザーの視線の状態に応じてユーザー手オブジェクトＵＨの状態を制御することで、ユーザー手オブジェクトＵＨをよりユーザーの意図を反映した状態にすることができる。
　なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、ユーザーが注目する注目対象オブジェクトを特定し、特定された注目対象オブジェクトによってユーザー手オブジェクトＵＨに対する制御内容を変化させることとしたが、これに限らず、ユーザーの視線が向けられている空間領域や、ユーザーの視点の位置によってユーザー手オブジェクトＵＨに対する制御内容を変化させてもよい。
　また、以上の説明ではユーザーは両手のそれぞれで操作デバイス３０を保持することとし、ユーザー手オブジェクト制御部５４は左右の手に対応する２個のユーザー手オブジェクトＵＨを制御対象とした。しかしながら、これに限らずユーザー手オブジェクト制御部５４は、いずれか一方の手に対応する１個のユーザー手オブジェクトＵＨだけを視線状態に応じた制御の対象としてもよい。
　また、以上の説明におけるユーザーの視線状態や手指の状態の特定方法は、いずれも一例に過ぎず、本実施形態に係る情報処理装置１０は各種の情報を用いて視線状態や手指の状態を特定してもよい。例えば情報処理装置１０は、距離を計測するセンサーに限らず、操作デバイス３０に設けられたその他の種類のセンサーの検出結果を用いてユーザーの指の状態を特定してもよい。また、情報処理装置１０は、ある操作ボタンが押し込まれた場合に、その操作ボタンを操作することが想定されている指が曲げられた状態にあることを特定してもよい。また、その操作ボタンの押し込み量に応じてどの程度握り込まれているかを特定してもよい。
　また、以上の説明ではユーザーは自身の一部の指（薬指、及び小指）で操作デバイス３０を把持することとしたが、これに限らず、各指の状態を検出するためのデバイスはユーザーの手のひらに装着されたり各指の先端に装着されたりしてもよい。あるいは、情報処理装置１０は、ユーザーの指の状態を外部からカメラで撮像するなどして特定してもよい。このような方法によれば、ユーザーは５本の指全てを任意に動かすことができる。このような場合にも、ハードウェアの制約や検出精度の問題などにより、一部の指の状態を正確に認識できない場合が生じ得る。このような場合においても、以上説明したようにユーザーの視線状態に応じてユーザー手オブジェクトＵＨの指の状態を制御することで、ユーザーの意図を反映するようにユーザー手オブジェクトＵＨを動作させることができる。
　１　情報処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、２０　頭部装着型表示装置、２１　表示部、２２　内部カメラ、２２　外部カメラ、３０　操作デバイス、３１　把持部、３２　操作部材、３３　指位置センサー、３４　力覚提示機構、５１　仮想空間表示制御部、５２　視線状態特定部、５３　手指状態特定部、５４　ユーザー手オブジェクト制御部。

Claims (7)

  1. 　ユーザーの視線の状態を特定する視線状態特定部と、
    　ユーザーの手指の状態を特定する手指状態特定部と、
    　仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するユーザー手オブジェクト制御部と、
    　を含み、
    　前記ユーザー手オブジェクト制御部は、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御する
    　ことを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記視線状態特定部は、前記ユーザーが注視する方向に基づいて、前記仮想空間内に配置されるオブジェクトのうち前記ユーザーが注目するオブジェクトを前記ユーザーの視線の状態として特定し、
    　前記ユーザー手オブジェクト制御部は、前記ユーザーが注目するオブジェクトに応じて定められる内容で、前記手オブジェクトの状態を制御する
    　ことを特徴とする情報処理装置。
  3. 　請求項２に記載の情報処理装置において、
    　前記ユーザー手オブジェクト制御部は、前記ユーザーが所与のオブジェクトに注目している場合に、前記手オブジェクトの状態を、予め定められた複数の状態のうち、前記ユーザーの手指の状態に応じて決定される状態になるよう制御する
    　ことを特徴とする情報処理装置。
  4. 　請求項１から３のいずれか一項に記載の情報処理装置において、
    　前記手指状態特定部は、前記ユーザーの手指のうち、一部の指を特定対象とし、
    　前記ユーザー手オブジェクト制御部は、前記手オブジェクトが備える指のうち、前記特定対象とされていない指の状態を、前記ユーザーの視線の状態、及び前記特定対象とされているユーザーの指の状態に基づいて制御する
    　ことを特徴とする情報処理装置。
  5. 　請求項４に記載の情報処理装置において、
    　前記ユーザー手オブジェクト制御部は、前記特定対象とされていない指を、前記特定対象とされている指と連動するように制御する
    　ことを特徴とする情報処理装置。
  6. 　ユーザーの視線の状態を特定するステップと、
    　ユーザーの手指の状態を特定するステップと、
    　仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、
    　を含み、
    　前記手オブジェクトを制御するステップでは、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御する
    　ことを特徴とする情報処理方法。
  7. 　ユーザーの視線の状態を特定するステップと、
    　ユーザーの手指の状態を特定するステップと、
    　仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、
    　をコンピュータに実行させるためのプログラムであって、
    　前記手オブジェクトを制御するステップでは、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御する
    　ことを特徴とするプログラム。
PCT/JP2022/030768 2021-08-17 2022-08-12 情報処理装置、情報処理方法、及びプログラム WO2023022109A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023542386A JPWO2023022109A1 (ja) 2021-08-17 2022-08-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-132517 2021-08-17
JP2021132517 2021-08-17

Publications (1)

Publication Number Publication Date
WO2023022109A1 true WO2023022109A1 (ja) 2023-02-23

Family

ID=85240775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030768 WO2023022109A1 (ja) 2021-08-17 2022-08-12 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023022109A1 (ja)
WO (1) WO2023022109A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058971A (ja) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2018032132A (ja) * 2016-08-23 2018-03-01 株式会社コロプラ 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
WO2018186031A1 (ja) * 2017-04-03 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019032844A (ja) * 2018-08-23 2019-02-28 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2020079852A1 (ja) * 2018-10-19 2020-04-23 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置の制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058971A (ja) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2018032132A (ja) * 2016-08-23 2018-03-01 株式会社コロプラ 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
WO2018186031A1 (ja) * 2017-04-03 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019032844A (ja) * 2018-08-23 2019-02-28 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2020079852A1 (ja) * 2018-10-19 2020-04-23 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置の制御装置

Also Published As

Publication number Publication date
JPWO2023022109A1 (ja) 2023-02-23

Similar Documents

Publication Publication Date Title
JP7277545B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
US11481031B1 (en) Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
JP6538961B2 (ja) 制御装置
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
JP2023515525A (ja) ウェアラブルシステムのための手のジェスチャ入力
US10579151B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
WO2018030453A1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、及びコンピュータ
JP2019192242A (ja) 没入型現実インターフェースモードを提供するシステム、デバイス及び方法
US20200402265A1 (en) Image processing apparatus, content processing system, and image processing method
KR20140015144A (ko) 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템
US11294475B1 (en) Artificial reality multi-modal input switching model
KR20130027006A (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
KR20120102647A (ko) 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
KR20120115487A (ko) 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템
CN113892075A (zh) 用于人工现实系统的拐角识别手势驱动的用户界面元素选通
KR20190059726A (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
JP6157703B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
WO2023022109A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2021176861A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
Schlattmann et al. Efficient bimanual symmetric 3D manipulation for markerless hand-tracking
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
JP7218873B6 (ja) アニメーション制作システム
JP7163526B1 (ja) 情報処理システム、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22858430

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023542386

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18682198

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE