WO2019150430A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2019150430A1
WO2019150430A1 PCT/JP2018/002970 JP2018002970W WO2019150430A1 WO 2019150430 A1 WO2019150430 A1 WO 2019150430A1 JP 2018002970 W JP2018002970 W JP 2018002970W WO 2019150430 A1 WO2019150430 A1 WO 2019150430A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
hand
finger
information processing
operation target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/002970
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
和之 有松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to PCT/JP2018/002970 priority Critical patent/WO2019150430A1/ja
Priority to US16/960,993 priority patent/US11500453B2/en
Priority to JP2019568426A priority patent/JP6924285B2/ja
Publication of WO2019150430A1 publication Critical patent/WO2019150430A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program for receiving an operation input by a body part of a user.
  • an input device such as a touch panel
  • a user can perform processing associated with an object in advance by moving his / her finger and performing a tap operation that directly touches an object (operation target) on the screen.
  • an object operation target
  • a technique for detecting the position of a body part such as a finger of a user's hand and executing various processes according to the detection result has been studied.
  • the state in the virtual space where the object is placed is presented to the user, and when the user moves his / her hand etc. to the position corresponding to the object, processing associated with the object is executed. Is done. That is, the user can perform processing associated with an object by moving his / her body and bringing it into contact with a virtual object, as in the touch panel example.
  • the information processing apparatus determines which of the multiple types of processing is to be executed by simply touching the object. I can't tell you. Therefore, the user needs to perform another operation input for designating the type of processing before and after the action of touching the object. However, when such an operation input is required, the operation becomes complicated.
  • the present invention has been made in consideration of the above circumstances, and one of its purposes is an information processing apparatus capable of realizing an instruction to execute a plurality of processes on an operation target object with a simple operation input.
  • An information processing method and a program are provided.
  • the information processing apparatus includes a specifying unit that specifies a contacted part when the user performs an operation of bringing any part of his / her body into contact with the operation target, and the specified part And a process execution unit that executes a predetermined process according to the above.
  • the information processing method includes a step of specifying a contacted part when the user performs an operation of bringing any part of his / her body into contact with an operation target, and the specified part And a step of executing a predetermined process in response.
  • the program according to the present invention includes a step of identifying a contacted part when the user performs an operation of bringing any part of his / her body into contact with the operation target, and depending on the specified part
  • a program for causing a computer to execute a step of executing a predetermined process may be provided by being stored in a computer-readable non-transitory information storage medium.
  • FIG. 1 is a diagram showing an overall configuration of an information processing system 1 according to an embodiment of the present invention.
  • the information processing system 1 includes an information processing device 10, a display device 14, and an object sensor 15.
  • the information processing apparatus 10 is, for example, a consumer game machine or a personal computer, and includes a control unit 11, a storage unit 12, and a communication unit 13, as shown in FIG.
  • the control unit 11 includes at least one processor such as a CPU, and executes various types of information processing according to programs stored in the storage unit 12. The specific processing contents of the control unit 11 will be described in detail later.
  • the storage unit 12 includes at least one memory element, and holds a program executed by the control unit 11 and data to be processed by the program.
  • This program may be provided by being stored in a computer-readable non-transitory storage medium and copied to the storage unit 12.
  • the communication unit 13 includes a serial interface such as USB (Universal Serial Bus) or a wireless communication interface such as Bluetooth (registered trademark).
  • the information processing apparatus 10 is connected to the display device 14 and the object sensor 15 via the communication unit 13 by wire or wirelessly. Specifically, the communication unit 13 transmits video data to be displayed by the display device 14 to the display device 14. Further, the communication unit 13 receives a detection result from the object sensor 15 from the object sensor 15.
  • the display device 14 displays a video based on the video signal transmitted from the information processing device 10.
  • the display device 14 is a type of device that is used by a user such as a head-mounted display attached to the head.
  • the object sensor 15 is used to detect the position of the body part of the user.
  • the object sensor 15 detects the position of the user's hand.
  • the object sensor 15 may be a stereo camera directed to a position where the user's hand is assumed to exist.
  • the object sensor 15 is composed of two cameras arranged on the left and right, and uses a parallax between the two cameras to generate a distance image (depth map) including information on the distance to the subject in the visual field range. Generate.
  • the information processing apparatus 10 can grasp the position and shape of the user's hand with the observation position of the object sensor 15 as a reference point.
  • the position and shape of various objects such as tables and walls around the user's hand can also be detected.
  • control unit 11 functionally includes a virtual space control unit 31, a position specifying unit 32, a contact site specifying unit 33, and a corresponding process executing unit 34 as shown in FIG. It is configured. These functions are realized by the control unit 11 operating according to a program stored in the storage unit 12. This program may be provided to the information processing apparatus 10 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the virtual space control unit 31 constructs a virtual space and draws a video showing the internal state.
  • the drawn video is displayed by the display device 14 and presented to the user.
  • the virtual space control unit 31 arranges a virtual object (operation target object) to be operated by the user in the virtual space to construct a virtual space. Then, an image showing the virtual space viewed from the viewpoint position corresponding to the position of the user's eyes is drawn and output to the display device 14.
  • the position specifying unit 32 uses the detection result of the object sensor 15 to specify the position and shape of an object that exists within the detection range of the object sensor 15.
  • the position specifying unit 32 specifies the position and shape of the user's hand and an object existing around the user's hand. Identification of the user's hand using the detection result of the object sensor 15 can be realized by a known technique. Further, the position specifying unit 32 recognizes whether the specified user's hand is the left hand or the right hand based on the shape and orientation of the specified hand.
  • the finger part included in the hand is specified, and whether each finger is a thumb, an index finger, a middle finger, a ring finger, or a little finger is recognized.
  • the virtual space control unit 31 places an object corresponding to the user's hand specified by the position specifying unit 32 (hereinafter referred to as a hand object) in the virtual space.
  • the shape of the hand object is a shape imitating an actual user's hand, and the arrangement position is determined according to the position of the hand in the real space specified by the position specifying unit 32.
  • the contact part specifying unit 33 specifies a contact part when any part of the user's body comes into contact with the operation target based on the specification result by the position specifying unit 32.
  • the contact site specifying unit 33 determines whether the user touched the operation target with the left or right hand, and five At least one of the fingers touched is specified.
  • the contact site specifying unit 33 determines the position in the virtual space corresponding to the position of the user's hand specified by the position specifying unit 32 and the position of the operation target object.
  • the contact site specifying unit 33 determines the position in the virtual space corresponding to the position of the user's hand specified by the position specifying unit 32 and the position of the operation target object.
  • overlapped it is determined that the part of the hand at the overlapped position has touched the operation target, and the part is specified. That is, when the hand object corresponding to the user's hand contacts the operation target in the virtual space, it is considered that the user's hand has touched the operation target.
  • the corresponding process execution unit 34 executes a predetermined process on the operation target according to the part specified by the contact part specifying unit 33.
  • the response processing execution unit 34 executes a process predetermined for each hand depending on whether the user has touched the operation target with the left or right hand. According to such control, the content of the process can be changed between when the user touches the operation target with the left hand and when the user touches the operation target with the right hand.
  • the corresponding process execution unit 34 may execute a process predetermined for each type of finger according to which finger the user touches the operation target. According to such control, the user can instruct the operation target with five types of operations using five fingers. Furthermore, the corresponding process execution unit 34 uses the information on both the left and right hands of the user to touch the operation target and the finger to contact the operation target to determine the content of the process to be executed on the operation target. It may be changed. In this case, the response process execution unit 34 can execute a maximum of 10 different processes depending on which finger of the 10 fingers on the left and right touches the operation target. Further, the response processing execution unit 34 may change the content of the processing depending on which part of the finger the user touches the operation target (whether it is the tip of the finger or the bent joint). In addition, when the operation target is touched by a part other than a finger such as the back of the hand or the palm, processing corresponding to the part may be executed.
  • the response process execution unit 34 can change the content of the process according to which part of the user has touched the operation target.
  • the response processing execution unit 34 executes different processes depending on whether the user touches with only one finger or the fingers of both hands. May be. In this way, by specifying each of a plurality of fingers and changing the contents of the processing depending on which finger is each hand, various operation inputs can be performed.
  • FIG. 3 shows a virtual space in which two types of operation objects (campus C and palette P) and hand objects H are arranged in this example. In this example, colors are associated with each of the five fingers of the hand object H.
  • the response processing execution unit 34 moves to the campus C. A line is drawn on the campus along the trajectory of the finger in the color associated with the finger touching. In this example, the user can draw a picture on the campus in various colors without separately performing a color switching operation or the like by using his / her finger properly.
  • which color is associated with each finger of the user may be determined in advance, but when the user touches the operation object (here, palette P) different from the campus C, It may be determined. Specifically, here, a plurality of colors (may be 6 or more) are displayed in the palette P, and when the user touches any color in the palette P with any finger, The color is associated with the touched finger. In such a state, when the user touches the campus C with his / her finger, drawing with a color associated with the finger is performed. Further, when a finger already associated with a color is brought into contact with another color in the palette P, the newly contacted color is associated with that finger.
  • the palette P in this case functions as a selection object that presents a plurality of function candidates (here, color drawing) to the user. When any finger of the user touches any function candidate in the selected object, the function candidate is associated with the finger touched at that time. According to such control, the user can intuitively assign an arbitrary function to his / her finger and perform various types of operations on the operation target.
  • a display indicating a function associated with each finger may be performed.
  • the handling processing execution unit 34 displays the tip portion of the hand object H corresponding to the finger with the touched color. . In this way, the user can easily grasp the function associated with each finger by looking at the hand object H corresponding to his / her hand.
  • the response processing execution unit 34 may realize drawing and erasing processing on the campus in accordance with which hand the finger touched. For example, when the user touches the campus with the finger of the right hand, the drawing on the campus is performed with the color associated with the touched finger as described above. On the other hand, when the user touches the campus with any finger of the left hand, the already drawn content is deleted at the touched position. In this way, the user can easily draw a picture using both hands and erase the drawn picture.
  • the erasure process is assigned to the finger of the left hand, but the erasure process may be assigned to any finger of the same hand as the hand assigned to the drawing process.
  • FIG. 4 shows a state of the virtual space in which the three-dimensional object O and the hand object H are arranged in this example.
  • the surface of the three-dimensional object O is raised around the touched position.
  • the surface of the three-dimensional object O is dented with the contact position as the center.
  • the corresponding process execution unit 34 executes such a process, the user can arbitrarily change the shape of the three-dimensional object O with his / her hand.
  • the response processing execution unit 34 specifies the position of the apex that is raised, scraped, smoothed, or exists at the touched portion according to which finger the user touches the surface of the three-dimensional object O.
  • Various processes, such as moving along the movement of, may be executed.
  • the response processing execution unit 34 may execute various processes according to the part of the user's body that has touched the operation target. For example, in games, when a user touches a virtual object such as a character or an obstacle, the virtual object is burned, frozen, or moved to the contact position depending on which finger the touched finger is. Various processes such as causing something to appear and recovering may be performed. Alternatively, the virtual object may be sucked into the user's hand when touched with the right hand, and repelled when touched with the left hand.
  • the corresponding process execution unit 34 executes the process corresponding to the contacted part.
  • the operation target may be an object existing in the real space.
  • the position specifying unit 32 uses the detection result of the object sensor 15 to detect not only the shape and position of the user's hand, but also the position and shape of the operation target existing around the user's hand in the real space. Also identify.
  • specification part 33 specifies the finger which contacted, when it determines with the finger
  • the user touches the table with his / her own finger.
  • the contact part specifying unit 33 specifies with which finger the user has touched the table, and the response processing execution unit 34 is determined in advance according to the type of the specified finger or the left or right hand. Execute the process.
  • the virtual space control unit 31 may arrange a virtual object having a position and a shape corresponding to the table together with a hand object corresponding to the user's hand in the virtual space.
  • the information processing apparatus 10 is not limited to the object sensor 15 and other types of detection devices, etc., in order to specify the position of the operation target and the timing when the user's finger contacts the operation target. It may be connected.
  • the user wears a detection device that detects the position of an object around his / her hand or that a finger of the user's hand touches the surrounding object on his / her hand.
  • the information processing apparatus 10 specifies the position of the operation target object and the finger of the user who has touched the operation target object using information received from the detection apparatus. According to such control, it is possible to accurately identify with which finger the user has touched the operation target in the real space and at what timing.
  • a user can easily process a plurality of types of processing by executing a predetermined process according to a part of the body in contact with the operation target.
  • the apparatus 10 can be executed.
  • the operation target is a three-dimensional object arranged in the virtual space or an object existing in the real space, but the operation target is a two-dimensional object displayed on the screen. It may be.
  • the display device 14 displays an object as an operation target on a flat screen.
  • the operation target may be a character string displayed on the screen.
  • the user selects a character string to be operated by performing a slide operation with any finger on the screen.
  • the response processing execution unit 34 duplicates, moves, or deletes the selected character string according to which finger the user selects the character string.
  • a process for undoing an operation such as copying, moving, or deleting a character string may be assigned to any finger or a finger of another hand.
  • the operation target may be a 2D object such as an image or a figure.
  • the user performs various operations on the object by touching or sliding on the screen with any finger.
  • the response processing execution unit 34 performs a zoom process to enlarge the entire displayed screen.
  • the response processing execution unit 34 enlarges the size of the 2D object itself.
  • FIG. 5A shows an example in which the user performs a rotation operation with one hand.
  • solid arrows indicate the movement of the finger of the user's hand
  • broken arrows indicate the movement of the object on the screen.
  • the response processing execution unit 34 rotates the entire display area according to the movement of the user's finger (view rotation).
  • FIG.5 (b) has shown the example when a user performs rotation operation with the finger
  • the user has performed the operation with which finger, and the user has either one hand or both hands.
  • the contents of the process can be changed depending on whether or not the operation is performed.
  • the user makes his / her hand contact the operation target.
  • the present invention is not limited to this, and another part of his / her body such as the head and toes may contact the operation target.
  • the object sensor 15 is a sensor capable of detecting a change in movement and posture of a wider range of the user's body.
  • the response processing execution unit 34 executes a process associated with the part in advance according to which part of the user's body is in contact with the operation target.
  • the position specifying unit 32 uses the detection result of the object sensor 15 to specify the position and shape of the finger of the user's hand, and the contact site specifying unit 33 determines whether the user is to operate It was decided to identify which finger touched the object.
  • the method of specifying the part that has touched the operation target is not limited to this, and the contact part specifying unit 33 may contact the operation target in various ways, for example, using a detection device attached to the user's hand. The user's finger may be identified.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定し、特定された部位に応じて、予め定められた処理を実行する情報処理装置である。

Description

情報処理装置
　本発明は、ユーザーの身体の部位による操作入力を受け付ける情報処理装置、情報処理方法、及びプログラムに関する。
　タッチパネルなどの入力デバイスによれば、ユーザーは自分の指を動かして画面上のオブジェクト（操作対象物）を直接触るタップ操作を行うことで、当該オブジェクトに予め関連づけられた処理を実行させることができる。一方、バーチャルリアリティなどの分野においては、ユーザーの手の指などの身体の部位の位置を検出し、その検出結果に応じて各種の処理を実行する技術が検討されている。このような技術では、オブジェクトが配置された仮想空間内の様子をユーザーに提示し、ユーザーがそのオブジェクトに対応する位置に自身の手などを動かした場合に、そのオブジェクトに関連づけられた処理が実行される。すなわち、ユーザーは、タッチパネルの例と同様に、自分の身体を動かして仮想的なオブジェクトに接触させる動作を行うことで、そのオブジェクトに関連づけられた処理を実行させることができる。
　上記従来例の技術では、一つのオブジェクトに対して複数種類の処理が関連づけられる場合、ユーザーは単純にオブジェクトに触れるだけでは複数種類の処理のうちのどの処理を実行させたいか、情報処理装置に指示することができない。そのためユーザーは、オブジェクトに触れる動作の前後で、処理の種類を指定する別の操作入力を行う必要がある。しかしながら、このような操作入力が必要になると、操作が煩雑になってしまう。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、操作対象物に対して複数の処理を実行させる指示を簡単な操作入力で実現することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
　本発明に係る情報処理装置は、ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定する特定部と、前記特定された部位に応じて、予め定められた処理を実行する処理実行部と、を含むことを特徴とする。
　本発明に係る情報処理方法は、ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定するステップと、前記特定された部位に応じて、予め定められた処理を実行するステップと、を含むことを特徴とする。
　本発明に係るプログラムは、ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定するステップと、前記特定された部位に応じて、予め定められた処理を実行するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理装置を含む情報処理システムの全体構成を表すブロック図である。 本発明の実施の形態に係る情報処理装置の機能を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置が実行する処理の第１の例について説明する図である。 本発明の実施の形態に係る情報処理装置が実行する処理の第２の例について説明する図である。 画面上のオブジェクトに対して実行する処理の一例について説明する図である。
　以下、本発明の実施の形態について図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る情報処理システム１の全体構成を示す図である。同図に示されるように、情報処理システム１は、情報処理装置１０と、表示装置１４と、物体センサー１５と、を含んで構成されている。情報処理装置１０は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、図１に示すように、制御部１１と、記憶部１２と、通信部１３とを含んで構成されている。
　制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に格納されたプログラムに従って各種の情報処理を実行する。この制御部１１の具体的な処理の内容については、後に詳しく述べる。
　記憶部１２は、少なくとも一つのメモリ素子を含み、制御部１１によって実行されるプログラム、及びこのプログラムによる処理の対象となるデータを保持する。このプログラムは、コンピュータ可読かつ、非一時的な記憶媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。
　通信部１３は、ＵＳＢ（Universal Serial Bus）等のシリアルインタフェースあるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インタフェースを含んで構成される。情報処理装置１０は、通信部１３を介して表示装置１４、及び物体センサー１５のそれぞれと有線又は無線で接続されている。具体的に通信部１３は、表示装置１４が表示すべき映像のデータを表示装置１４に対して送信する。また、通信部１３は、物体センサー１５による検出結果を物体センサー１５から受信する。
　表示装置１４は、情報処理装置１０から送信される映像信号に基づく映像を表示する。ここでは表示装置１４は、ヘッドマウントディスプレイ等のユーザーが頭部に装着して使用するタイプのデバイスであることとする。
　物体センサー１５は、ユーザーの身体の部位の位置を検出するために用いられる。ここでは物体センサー１５は、ユーザーの手の位置を検出することとする。具体的に、例えば物体センサー１５は、ユーザーの手が存在すると想定される位置に向けられたステレオカメラであってよい。この場合、物体センサー１５は左右に並んだ二つのカメラによって構成され、二つのカメラの視差を利用して視野範囲内に写っている被写体までの距離の情報を含んだ距離画像（デプスマップ）を生成する。このような距離画像を参照することで、情報処理装置１０は物体センサー１５の観測位置を基準点としたユーザーの手の位置や手の形状を把握することができる。また、同様に、ユーザーの手の周囲に存在するテーブルや壁など、各種の物体の位置や形状を検出することもできる。
　以下、情報処理装置１０の制御部１１が実現する機能について説明する。本実施の形態において制御部１１は、機能的に図２に示すように、仮想空間制御部３１と、位置特定部３２と、接触部位特定部３３と、対応処理実行部３４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　仮想空間制御部３１は、仮想空間を構築し、その内部の様子を示す映像を描画する。描画された映像は表示装置１４によって表示され、ユーザーに提示される。具体的に仮想空間制御部３１は、ユーザーによる操作の対象となる仮想オブジェクト（操作対象物）を仮想空間内に配置して、仮想空間を構築する。そして、ユーザーの目の位置に対応する視点位置からこの仮想空間を見た様子を示す画像を描画し、表示装置１４に対して出力する。
　位置特定部３２は、物体センサー１５による検出結果を用いて、物体センサー１５の検出範囲内に存在する物体の位置、及び形状を特定する。特に位置特定部３２は、ユーザーの手、及びその周囲に存在する物体の位置、及び形状を特定する。物体センサー１５の検出結果を用いたユーザーの手の特定は、公知の技術によって実現できる。また、位置特定部３２は、特定された手の形状、向きなどに基づいて、特定されたユーザーの手が左右どちらの手かを認識する。さらに、手に含まれる指の部分を特定するとともに、それぞれの指が親指、人差し指、中指、薬指、小指のいずれであるかを認識する。
　さらに仮想空間制御部３１は、位置特定部３２によって特定されるユーザーの手に対応するオブジェクト（以下、手オブジェクトという）を仮想空間に配置することとする。手オブジェクトの形状は実際のユーザーの手を模した形状であって、その配置位置は、位置特定部３２によって特定された現実空間の手の位置に応じて決定される。このような手オブジェクトを配置することによって、ユーザーは、あたかも自分の手が仮想空間内に存在しているかのように、手オブジェクトを仮想空間内で動かすことができる。
　接触部位特定部３３は、位置特定部３２による特定結果に基づいて、ユーザーの身体のいずれかの部位が操作対象物に接触した場合に、その接触部位を特定する。特に本実施形態では、ユーザーが手で操作対象物に接触することを想定しているので、接触部位特定部３３は、ユーザーが左右どちらの手で操作対象物に接触したか、及び５本の指のうちのどの指で接触したかのいずれか少なくとも一方を特定する。ここでは操作対象物は仮想空間内に配置されているので、接触部位特定部３３は、位置特定部３２が特定するユーザーの手の位置に対応する仮想空間内の位置と、操作対象物の位置と、が重なった場合に、重なった位置の手の部位が操作対象物に接触したと判定し、その部位を特定する。すなわち、ユーザーの手に対応する手オブジェクトが仮想空間内で操作対象物に接触した場合に、ユーザーの手が操作対象物に接触したとみなされることになる。
　対応処理実行部３４は、接触部位特定部３３によって特定される部位に応じて、操作対象物に対して予め定められた処理を実行する。例えば対応処理実行部３４は、ユーザーが左右どちらの手で操作対象物に接触したかに応じて、手ごとに予め定められた処理を実行する。このような制御によれば、ユーザーが左手で操作対象物に接触した場合と右手で操作対象物に接触した場合とで、処理の内容を変化させることができる。
　また、対応処理実行部３４は、ユーザーがどの指で操作対象物に接触したかに応じて、指の種類ごとに予め定められた処理を実行してもよい。このような制御によれば、ユーザーは５本の指を使い分けて５種類の操作を操作対象物に対して指示することができる。さらに対応処理実行部３４は、ユーザーが左右どちらの手で操作対象物に接触したか、及びどの指で接触したかの双方の情報を用いて、操作対象物に対して実行する処理の内容を変化させてもよい。この場合対応処理実行部３４は、ユーザーが左右１０本の指のうちのどの指で操作対象物に接触したかに応じて、最大で１０種類の互いに異なる処理を実行することができる。また、対応処理実行部３４は、ユーザーが指のどの部分で操作対象物に接触したか（指の先端か、曲げた関節部分かなど）に応じて、処理の内容を変化させてもよい。また、手の甲や手のひらなど指以外の部位で操作対象物に接触した場合にも、その部位に対応した処理を実行してもよい。
　また、ユーザーは複数の部位で同時に操作対象物に接触する場合もある。このような場合にも、対応処理実行部３４は、ユーザーのどの部位で操作対象物に接触したかに応じて、処理の内容を変化させることができる。特に対応処理実行部３４は、ユーザーが複数の指で操作対象物に接触した場合に、片手の指だけで接触したのか、または両手の指で接触したのか、に応じて、互いに異なる処理を実行してもよい。このように複数の指のそれぞれを特定し、それぞれがどちらの手の指かに応じて処理の内容を異ならせることによって、多様な操作入力が可能になる。
　以下、接触部位特定部３３が特定したユーザーの部位に応じて対応処理実行部３４が実行する処理のいくつかの具体例について、説明する。
　まず第１の例として、仮想空間内に配置された操作対象物がキャンパスであって、ユーザーは筆の代わりに自身の手の指を利用してキャンパスに絵を描く例について説明する。図３は、この例において２種類の操作対象物（キャンパスＣ、及びパレットＰ）及び手オブジェクトＨが配置された仮想空間の様子を示している。この例では、手オブジェクトＨの５本の指それぞれに対して色が対応づけられており、ユーザーがいずれかの指でキャンパスＣをなぞるジェスチャーを行うと、対応処理実行部３４は、キャンパスＣに接触した指に対応づけられた色で、指の軌跡に沿ってキャンパス上に線を描画する。この例では、ユーザーは自分の指を使い分けることによって、色の切り替え操作等を別途行うことなく、各種の色でキャンパス上に絵を描くことができる。
　ここで、ユーザーの各指にどの色が対応づけられるかは、予め定められていてもよいが、キャンパスＣとは別の操作対象物（ここではパレットＰ）にユーザーが指を接触することによって決定されてもよい。具体的に、ここでは複数（６個以上であってもよい）の色がパレットＰ内に表示されていることとし、ユーザーがいずれかの指でパレットＰ内の任意の色に接触すると、その色が接触した指に対応づけられる。このような状態になると、以後、ユーザーがその指でキャンパスＣに接触すると、その指に対応づけられた色での描画が行われる。また、既に色が対応づけられた指をパレットＰ内の別の色に接触させた場合、新たに接触した色がその指に対応づけられる。この場合のパレットＰは、複数の機能候補（ここでは色の描画）をユーザーに提示する選択オブジェクトとして機能する。選択オブジェクト内のいずれかの機能候補に、ユーザーのいずれかの指が接触した場合、その時点で当該機能候補が接触した指に対応づけられる。このような制御によれば、ユーザーは、直感的に自身の指に任意の機能を割り当てて、操作対象物に対する多様な種類の操作を行うことができるようになる。
　なお、この例において、手オブジェクトＨの５本の指それぞれに対して、各指に対応づけられた機能を表す表示を行ってもよい。具体的に、例えば対応処理実行部３４は、ユーザーがいずれかの指でパレットＰのいずれかの色に接触した場合、当該指に対応する手オブジェクトＨの先端部分を、接触した色で表示する。こうすれば、ユーザーは自分の手に対応する手オブジェクトＨを見ることで、各指に対応づけられた機能を容易に把握することができる。
　さらにこの例において、対応処理実行部３４は、接触した指がどちらの手の指かに応じて、キャンパス上への描画、及び消去の処理を実現してもよい。例えばユーザーが右手の指でキャンパスに接触した場合、前述したように接触した指に対応づけられた色でキャンパス上への描画を行う。一方、ユーザーが左手のいずれかの指でキャンパスに接触した場合、接触した位置に既に描画済みの内容を消去することとする。こうすれば、ユーザーは両手を使って容易に絵を描いたり描いた絵を消したりすることができる。なお、ここでは左手の指に消去処理を割り当てることとしたが、消去処理は描画処理が割り当てる手と同じ手のいずれかの指に割り当てられてもよい。
　第２の例として、３次元オブジェクトＯの変形操作を行う例について、説明する。図４は、この例における３次元オブジェクトＯ、及び手オブジェクトＨが配置された仮想空間の様子を示している。この例においては、ユーザーが左手の指で３次元オブジェクトＯの表面に接触した場合、接触した位置を中心に３次元オブジェクトＯの表面を盛り上げる。逆にユーザーが右手の指で３次元オブジェクトＯの表面に接触した場合には、接触した位置を中心に３次元オブジェクトＯの表面をへこませることとする。このような処理を対応処理実行部３４が実行することで、ユーザーは、自身の手で任意に３次元オブジェクトＯの形状を変形することができる。
　また、ここでは左右の手のそれぞれに３次元オブジェクトＯの変形のさせ方に関する異なる種類の処理を割り当てることとしたが、これに限らず、指ごとに異なる種類の処理を割り当ててもよい。例えば対応処理実行部３４は、ユーザーがどの指で３次元オブジェクトＯの表面に接触したかに応じて、接触した箇所を盛り上げる、削る、スムージングする、又は接触した箇所に存在する頂点の位置を指の動きに沿って移動するなど、各種の処理を実行してもよい。
　このほかにも、対応処理実行部３４は、操作対象物に接触したユーザーの身体の部位に応じて、各種の処理を実行してよい。例えばゲームなどでは、キャラクターや障害物などの仮想オブジェクトに対してユーザーが指を接触させた場合に、接触した指がどの指かに応じて、仮想オブジェクトを燃やしたり、凍らせたり、接触位置に何かを出現させたり、回復させたりなど、各種の処理を実行してよい。また、右手で接触した場合には仮想オブジェクトをユーザーの手に吸い寄せ、左手で接触した場合には反発させたりしてもよい。
　以上の説明では、対応処理実行部３４は、仮想空間内に配置された仮想オブジェクトに対してユーザーの手が接触した際に、接触した部位に対応する処理を実行することとした。しかしながらこれに限らず、操作対象物は現実空間に存在する物体であってもよい。この場合、位置特定部３２は、物体センサー１５の検出結果を用いて、ユーザーの手の形状、及び位置だけでなく、現実空間においてユーザーの手の周囲に存在する操作対象物の位置、及び形状も特定する。そして、接触部位特定部３３は、ユーザーの手の指が現実空間内の操作対象物に接触したと判定される場合に、接触した指を特定する。
　具体例として、ユーザーの前に配置されているテーブルを操作対象物とする場合、ユーザーは自身のいずれかの指でテーブルに接触する。接触部位特定部３３は、ユーザーがどの指でテーブルに接触したかを特定し、対応処理実行部３４は、特定された指の種類や左右どちらの手の指かなどに応じて、予め定められた処理を実行する。このとき仮想空間制御部３１は、テーブルに対応する位置、及び形状の仮想オブジェクトをユーザーの手に対応する手オブジェクトなどとともに仮想空間内に配置してもよい。
　さらにこの場合において、情報処理装置１０は、操作対象物の位置や、ユーザーの指が操作対象物に接触したタイミングを特定するために、物体センサー１５だけでなく、その他の種類の検出装置などと接続されてもよい。例えばユーザーは、自身の手の周囲の物体の位置やユーザーの手の指が周囲の物体に接触したことを検出する検出装置を自身の手などに装着する。情報処理装置１０は、この検出装置から受信する情報を用いて操作対象物の位置や、操作対象物に接触したユーザーの指がどの指かを特定する。このような制御によれば、現実空間においてユーザーがどの指で操作対象物に接触したか、またどのタイミングで接触したかを精度よく特定することができる。
　以上説明した本実施形態に係る情報処理装置１０によれば、操作対象物に接触した身体の部位に応じて予め定められた処理を実行することにより、ユーザーは容易に複数種類の処理を情報処理装置１０に実行させることができる。
　なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明においては、操作対象物は仮想空間に配置された３次元のオブジェクトや、現実空間に存在する物体であることとしたが、操作対象物は画面上に表示される２次元のオブジェクトであってもよい。この場合、表示装置１４は、平面状の画面に操作対象物となるオブジェクトを表示することとする。
　例えば操作対象物は、画面上に表示される文字列であってもよい。この場合、ユーザーは、画面上においていずれかの指でスライド操作を行うことによって、操作対象となる文字列を選択する。対応処理実行部３４は、ユーザーがどの指で文字列を選択したかに応じて、選択された文字列を複製したり、移動したり、削除したりする。また、いずれかの指、又は別の手の指に対して、文字列に対する複製や移動や削除などの操作を元に戻す処理が割り当てられてもよい。
　また、操作対象物は、画像や図形などの２Ｄオブジェクトであってもよい。この場合、ユーザーは画面上をいずれかの指でタッチしたり、スライドしたりすることによって、オブジェクトに対する各種の操作を実行させる。さらにこの例では、ユーザーが２本の指で画面をタッチした場合に、片手の２本の指でタッチしたのか、又は両手の指でタッチしたのかに応じて、処理の内容を変化させてもよい。具体例として、ユーザーが２本の指を画面上でスライドしてその間隔を広げる操作を行ったとする。このとき、ユーザーが片手で当該操作を行った場合、対応処理実行部３４は、ズーム処理を行って表示されている画面全体を拡大する。一方、ユーザーが両手の指で当該操作を行った場合、対応処理実行部３４は、２Ｄオブジェクト自体の大きさを拡大する。
　また、ユーザーが２本の指を画面上で回転させる回転操作を行った場合について、図５を用いて説明する。図５（ａ）はユーザーが片手で回転操作を行った場合の例を示している。なお、図中の実線の矢印はユーザーの手の指の動きを、破線の矢印は画面上のオブジェクトの動きを表している。ここでは対応処理実行部３４は、表示領域全体をユーザーの指の動きに応じて回転する（ビュー回転）。一方、図５（ｂ）はユーザーが両手それぞれの指で回転操作を行った場合の例を示している。この場合対応処理実行部３４は、選択された２Ｄオブジェクトを単独で回転させる。以上説明したような制御によれば、従来のマルチタッチ方式のタッチパネルなどを使用してユーザーの操作を受け付ける場合と異なり、ユーザーがどの指で操作を行ったか、また、ユーザーが片手及び両手のどちらで操作を行ったのかなどに応じて、処理の内容を変化させることができる。
　また、以上の説明ではユーザーは自身の手を操作対象物に接触させることとしたが、これに限らず頭や足先など自身の身体の別の部位を操作対象物に接触させてもよい。この場合、物体センサー１５はユーザーの身体のより広い範囲を対象として、その動きや姿勢の変化を検出可能なセンサーであるものとする。この場合にも、対応処理実行部３４は、操作対象物に接触したのがユーザーの身体のどの部位かに応じて、予めその部位に対応づけられた処理を実行するものとする。
　また、以上の説明では位置特定部３２は物体センサー１５の検出結果を用いてユーザーの手の指の位置、及び形状を特定し、接触部位特定部３３はその特定結果に基づいてユーザーが操作対象物に接触したのがどの指かを特定することとした。しかしながら操作対象物に接触した部位を特定する方法はこのようなものに限られず、例えばユーザーの手に装着した検出装置を使用するなど、接触部位特定部３３は各種の方式で操作対象物に接触したユーザーの指を特定してもよい。
　１　情報処理システム、１０　情報処理装置、１１　制御部、１２　記憶部、１３　通信部、１４　表示装置、１５　物体センサー、３１　仮想空間制御部、３２　位置特定部、３３　接触部位特定部、３４　対応処理実行部。

Claims (7)

  1. 　ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定する特定部と、
    　前記特定された部位に応じて、予め定められた処理を実行する処理実行部と、
    　を含むことを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記身体の部位はユーザーの手であって、
    　前記特定部は、ユーザーが前記操作対象物に対して左右どちらの手で接触したかを特定し、
    　前記処理実行部は、ユーザーが左右どちらの手で接触したかに応じて、手ごとに予め定められた処理を実行する
    　ことを特徴とする情報処理装置。
  3. 　請求項１に記載の情報処理装置において、
    　前記身体の部位はユーザーの手のいずれかの指であって、
    　前記特定部は、ユーザーが前記操作対象物に対してどの指で接触したかを特定し、
    　前記処理実行部は、ユーザーがどの指で接触したかに応じて、指の種類ごとに予め定められた処理を実行する
    　ことを特徴とする情報処理装置。
  4. 　請求項１に記載の情報処理装置において、
    　前記特定部は、ユーザーが前記操作対象物に対して片手で接触したか、又は両手で接触したかを特定し、
    　前記処理実行部は、ユーザーが前記操作対象物に対して片手で接触した場合と両手で接触した場合とで互いに異なる処理を実行する
    　ことを特徴とする情報処理装置。
  5. 　請求項１から４のいずれか一項に記載の情報処理装置において、
    　前記操作対象物は、仮想空間内に配置された仮想オブジェクトであって、
    　前記情報処理装置は、前記仮想オブジェクト、及び、現実空間におけるユーザーの身体の少なくとも一部の部位に対応する部位オブジェクトが配置された前記仮想空間内の様子を示す画像を描画する仮想空間制御部をさらに含み、
    　前記特定部は、前記仮想空間内において前記部位オブジェクトが前記仮想オブジェクトに対して接触した際に、接触した部位を特定する
    　ことを特徴とする情報処理装置。
  6. 　ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定するステップと、
    　前記特定された部位に応じて、予め定められた処理を実行するステップと、
    　を含むことを特徴とする情報処理方法。
  7. 　ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定するステップと、
    　前記特定された部位に応じて、予め定められた処理を実行するステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2018/002970 2018-01-30 2018-01-30 情報処理装置 Ceased WO2019150430A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/002970 WO2019150430A1 (ja) 2018-01-30 2018-01-30 情報処理装置
US16/960,993 US11500453B2 (en) 2018-01-30 2018-01-30 Information processing apparatus
JP2019568426A JP6924285B2 (ja) 2018-01-30 2018-01-30 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002970 WO2019150430A1 (ja) 2018-01-30 2018-01-30 情報処理装置

Publications (1)

Publication Number Publication Date
WO2019150430A1 true WO2019150430A1 (ja) 2019-08-08

Family

ID=67477985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002970 Ceased WO2019150430A1 (ja) 2018-01-30 2018-01-30 情報処理装置

Country Status (3)

Country Link
US (1) US11500453B2 (ja)
JP (1) JP6924285B2 (ja)
WO (1) WO2019150430A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650391A (zh) * 2020-12-23 2021-04-13 网易（杭州）网络有限公司 基于虚拟现实的人机交互方法、装置、设备及存储介质
WO2021106552A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823481B2 (en) * 2021-12-29 2023-11-21 Qualcomm Incorporated Adaptive activation of fingerprint sensor areas

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121294A (ja) * 1993-08-31 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
JP2013003619A (ja) * 2011-06-13 2013-01-07 Sharp Corp 操作装置及び画像形成装置
WO2014207971A1 (ja) * 2013-06-26 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ユーザインタフェース装置及び表示オブジェクト操作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
KR102138505B1 (ko) * 2013-07-10 2020-07-28 엘지전자 주식회사 이동단말기 및 그 제어방법
US10846942B1 (en) * 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
CN104252292B (zh) * 2014-08-29 2020-01-03 惠州Tcl移动通信有限公司 一种显示方法及移动终端
WO2017039125A1 (en) * 2015-08-28 2017-03-09 Samsung Electronics Co., Ltd. Electronic device and operating method of the same
US9928662B2 (en) * 2016-05-09 2018-03-27 Unity IPR ApS System and method for temporal manipulation in virtual environments
US20190147665A1 (en) * 2016-07-16 2019-05-16 Hewlett-Packard Development Company, L.P. Gesture based 3-dimensional object transformation
JP6774367B2 (ja) * 2017-04-11 2020-10-21 富士フイルム株式会社 ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
WO2018196552A1 (zh) * 2017-04-25 2018-11-01 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
US10431006B2 (en) * 2017-04-26 2019-10-01 Disney Enterprises, Inc. Multisensory augmented reality
JP6470356B2 (ja) * 2017-07-21 2019-02-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
KR101961221B1 (ko) * 2017-09-18 2019-03-25 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
US11875012B2 (en) * 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121294A (ja) * 1993-08-31 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
JP2013003619A (ja) * 2011-06-13 2013-01-07 Sharp Corp 操作装置及び画像形成装置
WO2014207971A1 (ja) * 2013-06-26 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ユーザインタフェース装置及び表示オブジェクト操作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106552A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
CN112650391A (zh) * 2020-12-23 2021-04-13 网易（杭州）网络有限公司 基于虚拟现实的人机交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20210055784A1 (en) 2021-02-25
JPWO2019150430A1 (ja) 2020-09-03
US11500453B2 (en) 2022-11-15
JP6924285B2 (ja) 2021-08-25

Similar Documents

Publication Publication Date Title
CN110476168B (zh) 用于手部跟踪的方法和系统
US11048333B2 (en) System and method for close-range movement tracking
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
KR101791366B1 (ko) 증강된 가상 터치패드 및 터치스크린
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
JP6350772B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
US20160098094A1 (en) User interface enabled by 3d reversals
US20160092062A1 (en) Input support apparatus, method of input support, and computer program
CN110753898A (zh) 沉浸式环境内与虚拟对象的基于悬停的用户交互
JP2013037675A5 (ja)
CN110362231B (zh) 抬头触控设备、图像显示的方法及装置
CN109952552A (zh) 视觉提示系统
KR20190059726A (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN111383345B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
JPWO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
JP6924285B2 (ja) 情報処理装置
CN104508599A (zh) 要素选择装置、要素选择方法、及程序
CN107085489A (zh) 一种控制方法及电子设备
CN120491860A (zh) 设备交互方法、可穿戴设备、存储介质和程序产品
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
CN111913639B (zh) 虚拟内容的交互方法、装置、系统、终端设备及存储介质
JP7495651B2 (ja) オブジェクト姿勢制御プログラムおよび情報処理装置
CN111399631B (zh) 虚拟内容显示方法、装置、终端设备及存储介质
WO2017163566A1 (ja) プログラム、コンピュータ装置、プログラム実行方法、及び、システム
CN111913562B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903085

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019568426

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903085

Country of ref document: EP

Kind code of ref document: A1