WO2018207662A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018207662A1
WO2018207662A1 PCT/JP2018/017151 JP2018017151W WO2018207662A1 WO 2018207662 A1 WO2018207662 A1 WO 2018207662A1 JP 2018017151 W JP2018017151 W JP 2018017151W WO 2018207662 A1 WO2018207662 A1 WO 2018207662A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
virtual
information processing
user
real
Prior art date
Application number
PCT/JP2018/017151
Other languages
English (en)
French (fr)
Inventor
誠司 鈴木
健太郎 井田
文彦 飯田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/609,655 priority Critical patent/US11144114B2/en
Publication of WO2018207662A1 publication Critical patent/WO2018207662A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly, to an information processing device, an information processing method, and a program that can express assumed physical characteristics for a virtual object.
  • physical characteristics are set for a virtual object that can be visually recognized together with an operating body and a real object that exist in real space, and a virtual positional relationship between the operating body, the real object, and the virtual object. Is detected, and the display of the virtual object is changed according to the detected virtual positional relationship.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the projector 33 projects a virtual object on a table, wall, floor, ceiling, etc. in real space based on the video signal supplied from the information processing apparatus 20.
  • the projector 33 may have a swing function so that a virtual object can be projected at an arbitrary position in the real space.
  • a plurality of projectors 33 may be arranged.
  • the operation of projecting a virtual object by the projector 33 is also referred to as displaying a virtual object.
  • the virtual object 51 can be moved, deformed, or separated according to the operation by the user.
  • a virtual object displayed by a projector or the like has only light projected on a table or the like and does not have physical characteristics such as mass. Therefore, when a user moves a virtual object in response to an operation, the expression is unnatural, for example, it moves at the same speed regardless of its size.
  • the heavy virtual object 51 does not move, but the light virtual object 51 is displayed so that the paper flutters. May be.
  • FIG. 5 shows a display example when the user operates the virtual object 51 for which rigidity is set.
  • the virtual object 51 to which the rigidity is set can be expressed with wrinkles and distortions according to the operation by the user. At this time, if the virtual object 51 is hard, the wrinkles and distortion may be reduced, and if the virtual object 51 is soft, the wrinkles and distortion may be increased.
  • FIG. 6 shows a display example of the virtual object 51 having magnetism. You may make it display the magnet 71 and the magnetic force line 72 which arises from the magnet 71 on the virtual object 51 which has magnetism. The magnet 71 and the lines of magnetic force 72 may be displayed at all times, or may be displayed only during a period when the user is operating the virtual object 51.
  • the virtual object 51 with the adhesive property set is also referred to as a virtual object 51 with adhesive property.
  • the physical characteristics described above can be set in appropriate combinations.
  • the above-described physical characteristics can be set not only for the presence / absence, but also for the user to be able to adjust the degree at an arbitrary timing.
  • the virtual object 51 can intuitively execute the same operation as the operation on the real object when the user directly operates the pointing part 2 such as the fingertip. Further, the virtual object 51 is operated in the same manner as the operation on the real object by moving the real object such as the cup 61 or another virtual object 51 and indirectly operating the virtual object 51 to be operated. Can be executed intuitively.
  • FIG. 13 shows a display example when the user performs an operation of pushing out the hard virtual object 51 and the virtual object 51 hits the cup 61 which is a real object in response to the operation.
  • the soft virtual object 51 It can be expressed as if the object 51 is bent.
  • the virtual object 51 even if the user performs an operation such as pulling to move the virtual object 51, it can be expressed so that the virtual object 51 cannot be moved.
  • the cup 61 when the cup 61 is light, the virtual object 51 may be moved.
  • the weight of the cup 61 may be estimated based on the result of image recognition or registered in advance.
  • the virtual object 51 may be extended as described above with reference to FIG. Or split.
  • FIG. 20 shows a display example when the virtual object 51 is moved by the user performing an operation of pushing out the virtual object 51 using the real object.
  • the virtual object 51 can be moved by the user performing an operation of pushing the virtual object 51 with a cup 61 that is a real object. Note that when the cup 61 is hit against the virtual object 51 at a predetermined speed or more, the virtual object 51 may jump off.
  • FIG. 21 shows a display example when the virtual objects 51 having magnetism are brought close to each other.
  • the figure B As shown in the figure A, when brought close to each and the virtual object 511 in which the magnetic there and virtual object 51 2, different polarities of the virtual object 511 and the virtual object 51 2 magnetism, the figure B as shown in, the virtual object 511 and the virtual object 51 2 is connected. In this case, when performing an operation of moving the against the one of the virtual object 511 and the virtual object 51 2 is moved in a state in which the other was also connected.
  • the connecting virtual objects 51 1 and the virtual object 51 2 by performing the operation to separate each, can be decoupled.
  • FIG. 22 shows a display example when the cup 61 which is a real object set with magnetism and the virtual object 51 with magnetism are brought close to each other.
  • the cup 61 and the virtual object 51 are connected as shown in FIG.
  • the other is also moved in a connected state.
  • the connected virtual object 51 is also moved together with the cup 61 and displayed at the destination.
  • the connected cup 61 and virtual object 51 can be disconnected by performing an operation of pulling them apart.
  • FIG. 23 shows an example of a user gesture operation on the virtual object 51.
  • FIG. 24 shows an example of an operation using a user's shadow on the virtual object 51.
  • the shadow of the user shows only the hand part, and the shadows other than the hand are omitted.
  • the virtual object 51 can be moved in response to having performed.
  • the shadow 111 for manipulating the virtual object 51 is not limited to the hand portion, and for example, the virtual object 51 may be manipulated by the shadow of the head.
  • Operation for grasping the virtual object 51 The user may be able to perform an operation for grasping the soft virtual object 51. Specifically, the user can hold the virtual object 51 in the hand by opening the hand as the pointing part 2 and placing it on the virtual object 51 and performing an operation of grasping the hand. Good.
  • the display of the virtual object 51 is turned off, for example, the user's hand is illuminated (projecting light) so as to indicate that the virtual object 51 is held by the hand. You may do it.
  • the virtual object 51 that has been erased may be displayed again in response to the user performing an operation of opening the hand holding the virtual object 51. Further, the virtual object 51 may be pasted (displayed) on the wall or the like in accordance with a gesture operation in which the user holds the virtual object 51 and throws it toward the wall or the like.
  • Operation for winding the virtual object 51 The user may be able to perform an operation for winding the virtual object 51 like a scroll.
  • the virtual object 51 that has been wound may be displayed in the opened state again in response to performing an operation opposite to that performed by the user.
  • the user may be able to perform an operation to fold the soft virtual object 51. Further, the virtual object 51 that has been folded may be displayed in a reopened state in response to the user performing an operation opposite to that performed when folding.
  • Operation for tearing the virtual object 51 The user may perform a tearing operation on the soft virtual object 51. Specifically, a part of the virtual object 51 is torn off when the user performs an operation of holding the virtual object 51 with one hand and pulling an unpressed portion of the virtual object 51 with the other hand. You may make it express like. Further, the entire virtual object 51 may be restored from a part of the virtual object 51 that has been torn off, that is, a copy of the virtual object 51 may be generated.
  • the user may be able to perform a sharpening operation on the soft virtual object 51.
  • a virtual object 51 such as a scratch card
  • the surface of the virtual object 51 is changed in response to the user performing a scraping operation on the virtual object 51 with a nail or a coin. Any information may be displayed at the location where the virtual object 51 is removed.
  • Operation for Wiping Virtual Object 51 The user may perform an operation for wiping the virtual object 51. Specifically, for example, assuming that the virtual object 51 has a cloudy surface, the user can perform the operation of wiping the virtual object 51 with a hand etc. Some information may be displayed on the screen.
  • Operation to superimpose virtual objects 51 A user may be able to perform an operation to superimpose a plurality of virtual objects 51. Specifically, the plurality of virtual objects 51 may be displayed in an overlapping manner in response to the user performing an operation of collecting the plurality of virtual objects 51 displayed on the table or the like with both hands.
  • the plurality of virtual objects 51 are displayed again in an expanded manner. Also good.
  • the plurality of virtual objects 51 may fall on the table and be displayed in a diffused manner when the user performs an operation of lifting and releasing the plurality of virtual objects 51 once.
  • step S ⁇ b> 2 the image recognition unit 21 recognizes the user's designated part 2 as an operating body existing in the real space based on the moving image signal supplied from the depth camera 31.
  • the positional relationship detection unit 22 detects the position of the recognized user's designated part 2 in real space.
  • step S3 If it is determined in step S3 that the user's designated part 2 has not touched the virtual object 51, the process proceeds to step S4.
  • step S6 the operation detection unit 23 detects an operation by the user on the virtual object 51.
  • the projection image generation unit 25 changes the display of the virtual object 51 according to the detection result of the operation by the user. That is, a video signal for expressing at least one of movement or deformation is generated.
  • the projector 33 displays the virtual object 51 based on this video signal, the already displayed virtual object 51 is moved or deformed. Thereafter, the process returns to step S1, and the subsequent steps are repeated.
  • FIG. 27 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can also have the following configurations.
  • a physical property setting unit that sets physical properties for a virtual object that can be visually recognized together with an operating body and a real object that exist in real space;
  • a positional relationship detection unit that detects a virtual positional relationship between the operating body, the real object, and the virtual object;
  • An information processing apparatus comprising: a virtual object changing unit that changes display of the virtual object according to the detected virtual positional relationship.
  • the apparatus according to (1) or (2) further including: an operation detection unit that detects an operation on the virtual object by the operation object based on a virtual positional relationship between the operation object, the real object, and the virtual object.
  • Information processing device (4) The information according to any one of (1) to (3), wherein the virtual object changing unit is configured to change display of the virtual object so that a user can recognize the set physical characteristic. Processing equipment. (5) The information processing apparatus according to any one of (1) to (4), further including a notification unit that notifies the user of the set physical characteristic. (6) The physical property setting unit is configured to set at least one of mass, center of gravity, rigidity, magnetism, adhesion, friction coefficient, brittleness, heat resistance, or solubility as the physical property. The information processing apparatus according to any one of (1) to (5).
  • the operation detection unit as the operation on the virtual object, pushing operation, dragging operation, twisting operation, pulling operation, gesture operation, operation using shadow, gripping operation, throwing operation, winding operation, folding operation, tearing operation,
  • the information according to (3) configured to detect at least one of a shaving operation, a wiping operation, a dropping operation, a stacking operation, a turning operation, a twisting operation, a standing operation, a speech operation, or a canceling operation.
  • Processing equipment (8) The information processing apparatus according to any one of (1) to (7), wherein the virtual object changing unit changes display of the virtual object by applying a physical simulation effect to the virtual object based on the physical characteristics.
  • the information processing apparatus configured to detect the direct operation using the operation body for the virtual object.
  • the operation detection unit is configured to detect the indirect operation using the real object or another virtual object with respect to the virtual object.
  • the operation detection unit is configured to detect the operation based on a moving image signal obtained by imaging the real space.
  • Computer A physical property setting unit that sets physical properties for a virtual object that can be visually recognized together with an operating body and a real object that exist in real space; A positional relationship detection unit that detects a virtual positional relationship between the operating body, the real object, and the virtual object; A program that functions as a virtual object changing unit that changes the display of the virtual object according to the detected virtual positional relationship.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、仮想物体に対して、実物体に対する場合と同様の直感的な操作を実現することができるようにする情報処理装置、情報処理方法、及びプログラムに関する。 本技術の一側面である情報処理装置は、実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部とを備える。本技術は、VRシステムに適用できる。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、情報処理装置、情報処理方法、及びプログラムに関し、特に、仮想物体に対して想定した物理特性を表現できるようにした情報処理装置、情報処理方法、及びプログラムに関する。
　いわゆる、仮想現実（VR: Virtual Reality）や拡張現実（AR:Augmented Reality）等の分野においては、実際には存在していない仮想物体を実空間に表示したり、仮想物体を操作したりする様々な技術が提案されている（例えば、特許文献１参照）。
特開２０１２－６９１１１号公報
　上述したように、仮想物体を実空間に表示したり、仮想物体を操作したりする技術は既に存在する。しかしながら、例えば、ユーザによる操作に応じて仮想物体を移動させる場合等において、例えば、そのサイズに拘わらず同じ速度で動くなど、実物体を移動させる場合に比較して不自然な表現となってしまうことがある。
　本技術はこのような状況に鑑みてなされたものであり、仮想物体に対し、実物体に対する場合と同様の直感的な操作を実現できるようにするものである。
　本技術の一側面である情報処理装置は、実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部とを備える。
　本技術の一側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置による、実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定ステップと、前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出ステップと、検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更ステップとを含む。
　本技術の一側面であるプログラムは、コンピュータを、実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部として機能させる。
　本技術の一側面においては、実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性が設定され、前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係が検出され、検出された前記仮想的な位置関係に応じ、前記仮想物体の表示が変化される。
　本技術の一側面によれば、仮想物体に対して、実物体に対する場合と同様の直感的な操作を実現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したVRシステムの構成例を示すブロック図である。 図１の情報処理装置が有する機能ブロックの構成例を示す図である。 本技術を適用したVRシステムの構成要素の配置例を示す図である。 剛性が設定された仮想物体の表示例を示す図である。 剛性が設定された仮想物体の表示例を示す図である。 磁性が設定された仮想物体の表示例を示す図である。 粘着性が設定された仮想物体の表示例を示す図である。 滑らかさが設定された仮想物体の表示例を示す図である。 重心が設定された仮想物体を引きずって移動させるときの表示例を示す図である。 硬い仮想物体に対してねじる操作を行った時の表示例を示す図である。 軟らかい仮想物体に対してねじる操作を行った時の表示例を示す図である。 複数の仮想物体が連動して移動する場合の表示例を示す図である。 仮想物体が実物体に当たった場合の表示例を示す図である。 仮想物体が実物体に当たった場合の表示例を示す図である。 軟らかい仮想物体をつまんで移動する操作を行った場合の表示例を示す図である。 軟らかい仮想物体に対して左右に引っ張る操作を行った場合の表示例を示す図である。 仮想物体の上に重い実物体が置かれた場合の表示例を示す図である。 仮想物体の上に軽い実物体が置かれた場合の表示例を示す図である。 実物体を用いて間接的に引きずる操作を行うことにより、仮想物体を移動させる場合の表示例を示す図である。 実物体を用いて間接的に押し出す操作を行うことにより、仮想物体を移動させる場合の表示例を示す図である。 磁性を設定した仮想物体どうしを近づけた場合の表示例を示す図である。 磁性を設定した実物体と磁性を設定した仮想物体を近づけた場合の表示例を示す図である。 ユーザがジェスチャ操作によって仮想物体を移動させる例を説明する図である。 ユーザが自身の影によって仮想物体を移動させる例を説明する図である。 映画リストのUIとして機能する仮想物体の表示例を示す図である。 画像物体制御処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら以下の順序に従って詳細に説明する。
　１．本技術の実施の形態であるVRシステムの構成例
　２．情報処理装置２０が有する機能ブロック
　３．VRシステム１０の実空間における配置例
　４．仮想物体５１の物理特性
　５．ユーザによる操作に応じた仮想物体５１の動き
　６．磁性が設定された仮想物体５１に対する操作
　７．仮想物体５１に対するその他の操作
　８．仮想物体５１の誤表示の防止
　９．ユーザの操作性の向上
　１０．想定されるユースケースについて
　１１．仮想物体制御処理について
　１２．まとめ
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　＜１．本技術の実施の形態であるVRシステムの構成例＞
　図１は、本技術の実施の形態であるVRシステムの構成例を示すブロック図である。
　該VRシステム１０は、情報処理装置２０、デプスカメラ３１、マイクロフォン３２、プロジェクタ３３、及びスピーカ３４を有する。VRシステム１０を構成する情報処理装置２０と、デプスカメラ３１、マイクロフォン３２、プロジェクタ３３、及びスピーカ３４との接続は、有線を用いてもよいし、所定の無線通信規格（例えば、Bluetooth（登録商標）、Wi-Fi（商標）等）を用いてもよい。
　情報処理装置２０は、実空間に仮想物体を表示させるためのビデオ信号を生成してプロジェクタ３３に供給する。また、情報処理装置２０は、デプスカメラ３１から供給される動画像信号に基づき、実空間に存在する実物体を認識する。また、情報処理装置２０は、デプスカメラ３１から供給される動画像信号に基づき、実空間に存在する操作体を認識する。
　情報処理装置２０が認識する実物体には、実空間の部屋を構成する壁、床、天井、テーブル、テーブル上のカップ、ユーザ等が含まれる。ただし、壁、床、天井、テーブル等の静的な実物体については、VRシステム１０の使用を開始した段階に認識した、静的な実物体の情報は、周期的に、またはユーザからの所定の操作に応じて更新するようにしてもよい。情報処理装置２０が認識する操作体には、ユーザの指示部位（例えば、指先、手、手等の影）が含まれる。また操作体はユーザが手に持ったペンやスプーン等の物体であってもよい。
　さらに、情報処理装置２０は、仮結果を保持して用いるようにしてもよい。その後、仮想物体に対するユーザによる操作を検知し、ユーザによる操作に応じて仮想物体を移動させたり、変形させたりする。さらに、仮想物体に対するユーザによる操作、仮想物体の移動、変形等に応じて所定の音を発生させるための音声信号をスピーカ３４に供給する。
　仮想物体に対するユーザによる操作には、例えば、テーブル等に表示されている仮想物体にユーザが操作体としての自身の指示部位（例えば、指先、手等）を用いて押したり、引いたり、ねじったり、つまんだりする操作、ユーザがカップ等の実物体や他の仮想物体を用いて仮想物体に間接的に押したり、引いたり、ねじったり、つまんだりする操作が想定される。さらに、仮想物体を叩いたり、揺すったり、息を吹きかけたりする操作も想定される。これらの他、ユーザによる操作としては、実空間上で手や頭等を用いて３次元的に所定の動作を行うジェスチャ操作、所定のキーワードを発声する発声操作等が含まれていてもよい。
　さらに、情報処理装置２０は、仮想物体に対するユーザによる所定の操作に応じて、例えば、テレビジョン受像機等の家庭電化製品（以下、制御対象機器４１と称する）を制御することができる。情報処理装置２０と制御対象機器４１の通信は、例えば、赤外線信号を用いることができる。
　デプスカメラ３１は、所定の視差を設けて配置された２台のカメラから構成され、VRシステム１０が配置される実空間を撮像し、その結果得られる動画像信号を情報処理装置２０に供給する。この動画像信号は、実空間に存在する実物体の認識の他、実物体までの距離の算出に用いられる。
　マイクロフォン３２は、VRシステム１０が配置される実空間で生じた音声（例えば、ユーザの発声等）を集音し、その音声を情報処理装置２０に供給する。
　プロジェクタ３３は、情報処理装置２０から供給されるビデオ信号に基づき、仮想物体を、実空間におけるテーブル、壁、床、天井等に投影する。なお、プロジェクタ３３は、実空間の任意の位置に仮想物体を投影できるように首振り機能を持たせてもよい。また、複数台のプロジェクタ３３を配置するようにしてもよい。以下、プロジェクタ３３により仮想物体を投影する動作を、仮想物体を表示するとも称する。
　なお、プロジェクタ３３を用いて仮想物体を実空間に表示する代わりに、ユーザが装着するスマートグラスやヘッドマウントディスプレイを用い、ユーザに対して実空間上に仮想物体が存在するように視認させるようにしてもよい。
　スピーカ３４は、情報処理装置２０から供給される音声信号に基づき、仮想物体に対するユーザによる操作、仮想物体の移動、変形等に応じた所定の音を出力する。なお、スピーカ３４によって出力された所定の音声が仮想物体から生じたようにユーザに聞かせるために、複数のスピーカ３４を設置したり、バーチャルサラウンドシステムを用いたり、超音波指向性スピーカを用いたりしてもよい。
　＜２．情報処理装置２０が有する機能ブロック＞
　図２は、情報処理装置２０が有する機能ブロックの構成例を示している。
　情報処理装置２０は、画像認識部２１、位置関係検出部２２、操作検知部２３、音声認識部２４、投影画像生成部２５、及び音声出力部２６を有する。
　画像認識部２１は、デプスカメラ３１から供給される動画像信号に基づき、実空間に存在する実物体を認識する。位置関係検出部２２は、実空間における操作体と実物体と、投影されている仮想物体との仮想的な位置関係（例えば現実又は仮想の物体間の距離や接触有無等）を検出する。操作検知部２３は、操作体と実物体と仮想物体との仮想的な位置関係に基づき、仮想物体に対するユーザによる操作を検知する。
　音声認識部２４、マイクロフォン３２によって集音された音声に対して音声認識処理を行い、ユーザの発話内容を解析する。
　投影画像生成部２５は、実空間に仮想物体を表示させるためのビデオ信号を生成する。また、投影画像生成部２５は、本技術の一側面における物理特性設定部として、実空間に表示させる仮想物体に対して物理特性を設定する。さらに、投影画像生成部２５は、本技術の一側面における仮想物体変更部として、仮想物体に対するユーザによる操作に応じ、設定されている物理特性に基づく物理シミュレーション効果を加えることで仮想物体の移動量や変形量を決定し、決定結果に応じてビデオ信号を更新する。
　音声出力部２６は、本技術の一側面における通知部として、仮想物体に対するユーザによる操作、仮想物体の移動、変形等に応じて所定の音を発生させるための音声信号を生成する。
　なお、上述した機能ブロックは、その全てが同一の筐体内に収まっている必要はなく、一部またはすべてが分散して配置されていてもよい。例えば、画像認識部２１が、インターネット上の所定のサーバに配置されていてもよい。
　＜３．VRシステム１０の実空間における配置例＞
　次に、図３は、VRシステム１０を構成する各構成要素の実空間における配置例を示している。ただし、同図の配置例は、一例であり、他の配置を採用することが可能である。
　図３の配置例において、デプスカメラ３１は実空間全体を撮像できるように壁面の高い位置に配置されている。マイクロフォン３２はデプスカメラ３１に内蔵されている。プロジェクタ３３は実空間の任意の位置に仮想物体を投影できるように壁面の高い位置に配置されている。スピーカ３４は壁面に配置されている。
　また、図３の配置例では、テーブル上には実物体であるカップ６１が置かれており。また、テーブルには、仮想物体５１が表示されている。壁には粘着性（後述）が設定された仮想物体５１が貼付（表示）されている。
　仮想物体５１は、ユーザによる操作に応じて、移動したり、変形したり、分離したりすることができる。
　仮想物体５１は、例えば、制御対象機器４１の操作パネル（テレビ番組表の表示、各種リモコン機能）、情報処理装置２０が実行する所定のアプリケーションプログラム（例えば、webブラウザ、メーラ、スケジュール管理、ゲーム、写真ビューア、スライドショー等）のUI（ユーザインタフェース）、メモ書き等に用いることができる。
　また、仮想物体５１は、実物体に基づいて生成することができる。例えば、テーブル上に置かれている実物体のプリントに対してユーザが所定の操作（例えば、該プリントを両腕で囲む等）を行ったことに応じ、該プリントをスキャンし、該プリントに対応する仮想物体５１を生成するようにしてよい。
　また例えば、テーブル上に置かれている実物体の書籍に対してユーザが所定の操作（例えば、該書籍を開いて頁の角を折る（ドッグイヤー）等）を行ったことに応じ、該頁をスキャンし、該頁に対応する仮想物体５１を生成するようにしてよい。
　さらに、例えば、テーブル上等に置かれている実物体としての雑誌等に対してユーザが所定の操作を行ったことに応じ、該雑誌を特定し、所定のサーバから該雑誌に対応する電子書籍データを取得し、電子書籍のビューアとして機能する仮想物体５１を生成するようにしてよい。
　なお、図３の配置例には情報処理装置２０が図示されていないが、情報処理装置２０は、任意の位置に設置することができる。あるいは、情報処理装置２０を、デプスカメラ３１、マイクロフォン３２、プロジェクタ３３、またはスピーカ３４等と一体化するようにしてもよい。
　＜４．仮想物体５１の物理特性＞
　次に、仮想物体５１に対して設定される物理特性について説明する。
　従来、プロジェクタ等によって表示される仮想物体は、テーブル等に光が投影されているに過ぎず、質量等の物理特性を有していない。したがって、ユーザにより操作に応じて仮想物体を移動させる場合、例えば、その大きさ等に関係なく同じ速度で移動する等、表現に不自然さがあった。
　これに対して、本技術では、仮想物体５１に対して様々な物理特性を設定することにより、仮想物体５１の移動や変形等の変化を、実在する物体の移動や変形等の変化と同様に表現できるようになされている。
　以下、仮想物体５１に対して設定可能な物理特性について説明する。
　質量
　仮想物体５１に対しては質量を設定することができる。仮想物体５１に対して質量を設定することにより、ユーザから同じ操作が行われた場合でも、設定された質量に応じて移動量や移動速度を変えることができる。例えば、設定された質量が重いほど仮想物体５１の移動量を小さく、軽いほど仮想物体５１の移動量を大きくすることができる。または、重いほど仮想物体５１の動きを遅く、軽いほど仮想物体５１の動きを速くすることができる。
　以下、重い質量が設定された仮想物体５１を重い仮想物体５１とも称し、軽い質量が設定された仮想物体５１を軽い仮想物体５１とも称する。
　なお、仮想物体５１に対する質量は増減させることができる。例えば、仮想物体５１に対してメーラの表示機能を持たせている場合、保持しているメールの数や容量に応じて、該仮想物体５１の質量を変更するようにしてもよい。
　また、質量が設定された仮想物体５１が表示されているテーブルをユーザが叩いた場合、設定されている質量に応じて仮想物体５１が小さく跳ねたり、大きく移動したりするように表示して質量の違いを区別できるようにしてもよい。
　また、質量が設定された仮想物体５１に対してユーザが叩く操作を行った場合、重い仮想物体５１が発する音は、中身が詰まっているような低音、小音量であり、軽い仮想物体５１が発する音は中身が空いているために高音で残響が大きい音を出力するようにして質量の違いを区別できるようにしてもよい。
　また、質量が設定された仮想物体５１に対してユーザが揺する操作を行った場合、軽い仮想物体５１の中が空洞であるかのようにカラカラと鳴る音を出力するようにしてもよい。
　また、質量が設定された仮想物体５１に対してユーザが息を吹きかける操作を行った場合、重い仮想物体５１は動かないが、軽い仮想物体５１は、紙がひらひらと舞うように表示させるようにしてもよい。
　重心
　仮想物体５１に対しては重心を設定することができる。仮想物体５１に対して重心を設定することにより、該仮想物体５１を移動させる場合、ユーザが触れた位置と重心との関係に応じて、仮想物体５１が回転しながら移動するように表示することが可能となる。なお、重心の位置は、仮想物体５１の中心に限るものではなく、仮想物体５１上であれば、任意の位置に設定することができる。
　以下、重心が設定された仮想物体５１を重心が有る仮想物体５１とも称する。
　剛性
　仮想物体５１に対しては剛性を設定することができる。仮想物体５１に対して剛性を設定することにより、ユーザから同じ操作が行われた場合でも、硬い仮想物体５１は変形せず、軟らかい仮想物体５１は変形するような表現が可能となる。また、剛性が設定された仮想物体５１は、例えば、皺、歪み、曲げ、巻く等の表現が可能となる。なお、剛性の設定は、硬い、または軟らかいだけではなく、硬さや軟らかさの程度を段階的に設定できるようにしてもよい。
　以下、硬い剛性が設定された仮想物体５１を硬い仮想物体５１とも称し、軟らかい剛性が設定された仮想物体５１を軟らかい仮想物体５１とも称する。
　図４は、剛性が設定された仮想物体５１の表示例を示している。同図のＡに示されるように、輪郭線を全て直線とすることにより、硬い仮想物体５１を表現することができる。また、同図のＢに示されるように、輪郭線にフリーハンドで書かれたような曲線を用いることにより、軟らかい仮想物体５１を表現することができる。
　図５は、剛性が設定された仮想物体５１に対してユーザが操作した場合の表示例を示している。剛性が設定された仮想物体５１は、ユーザによる操作に応じて皺や歪みを生じさせた表現化可能である。このとき、硬い仮想物体５１であれば、皺や歪みを小さくし、柔らかい仮想物体５１であれば、皺や歪みを大きくするようにしてもよい。
　また、剛性が設定された仮想物体５１に対してユーザが叩く操作を行った場合、硬い仮想物体５１は音を発し、軟らかい仮想物体５１は音を発しないようにしてもよい。
　上述したように、硬い仮想物体５１と軟らかい仮想物体５１の動きや音を区別することにより、ユーザは仮想物体５１に剛性が設定されていることを直感的に理解することができる。
　磁性
　仮想物体５１に対しては磁性を設定することができる。また、磁性の極性（N極またはS極）を区別して設定できるようにしてもよい。仮想物体５１に対して磁性を設定することにより、該仮想物体５１を、例えば冷蔵庫等の鉄製の実物体に張り付ける表現が可能となる。反対に、磁性が設定されていない仮想物体５１は、例えば冷蔵庫等の鉄製の実物体に張り付けても落ちてしまうような表現が可能となる。また、磁性が設定されている仮想物体５１どうしを連結する表現が可能となる。
　以下、磁性が設定された仮想物体５１を磁性が有る仮想物体５１とも称する。
　図６は、磁性が有る仮想物体５１の表示例を示している。磁性が有る仮想物体５１には、磁石７１と、磁石７１から生じる磁力線７２を表示するようにしてもよい。なお、磁石７１及び磁力線７２の表示は、常時行ってもよいし、該仮想物体５１に対してユーザが操作を行っている期間だけに表示するようにしてもよい。
　さらに、磁力線７２の表示については、アニメーションによりその波形が動くようにしてもよい。また、その動きの方向や矢印を表示することにより、設定されている磁性、すなわち、磁石７１の極性（N極またはS極）を表すようにしてもよい。
　磁性が設定された仮想物体５１の動きを上述したように表現させることにより、ユーザは、仮想物体５１に磁性が設定されていることを直感的に理解することができる。
　粘着性
　仮想物体５１に対しては粘着性を設定することができる。仮想物体５１に対して粘着性を設定することにより、該仮想物体５１を、例えば、付箋等のように壁や天井に貼り付ける表現が可能となる。
　以下、粘着性が設定された仮想物体５１を粘着性が有る仮想物体５１とも称する。
　図７は、粘着性が有る仮想物体５１の表示例を示している。粘着性が有る仮想物体５１は、その裏面側に粘着性が付着していることを表す糊８１を表示するようにしてもよい。なお、糊８１は、仮想物体５１の全体に表示してもよいし、その一部に表示してもよいもよい。また、糊８１は、常時表示してもよいし、該仮想物体５１に対してユーザが操作を行っている期間だけ表示するようにしてもよい。
　粘着性が設定された仮想物体５１の動きを上述したように表現させることにより、ユーザは、仮想物体５１に粘着性が設定されていることを直感的に理解することができる。
　摩擦係数
　仮想物体５１に対しては摩擦係数を設定することができる。仮想物体５１に対して摩擦係数として小さい値を設定することにより、該仮想物体５１を、例えば、テーブル上で移動させる場合、滑るような表現が可能となる。反対に、仮想物体５１に対して摩擦係数として大きい値を設定することにより、該仮想物体５１を、例えば、テーブル上で移動させる場合、ブレーキがかかっているような表現が可能となる。
　また、摩擦係数として小さく値が設定された仮想物体５１に対しては、表面が滑らかであるため、仮想物体５１の表面に文字を書いてもインクをはじいてしまうような表現が可能となる。
　以下、摩擦係数として小さい値が設定された仮想物体５１を滑らかな仮想物体５１とも称する。
　図８は、滑らかな仮想物体５１の表示例を示している。滑らかな仮想物体５１の表面には、滑らかであることを表す光沢８２を表示するようにしてもよい。なお、光沢８２の表示位置は、ユーザの頭の動き、すなわち、ユーザが該仮想物体５1を見る角度に応じて変化させるようにしてもよい。
　滑らかな仮想物体５１を上述したように表現させることにより、ユーザは、仮想物体５１に小さな値の摩擦係数が設定されていることを直感的に理解することができる。
　脆さ
　仮想物体５１に対しては脆さを設定することができる。仮想物体５１に対して脆さを設定することにより、ユーザが該仮想物体５１に対して、例えばチョップのように割るジェスチャ操作を行ったことに応じ、該仮想物体５１を２以上に分裂させて、元の仮想物体５１のコピーが１つ以上生成されるようにしてもよい。また、脆さを表すために該仮想物体５１の一部が欠けた状態で表示させるようにしてもよい。
　以下、脆さが設定された仮想物体５１を脆い仮想物体５１とも称する。
　脆さが設定された仮想物体５１を上述したように表現させることにより、ユーザは、仮想物体５１に脆さが設定されていることを直感的に理解することができる。
　耐熱性（状態変換）
　仮想物体５１に対しては耐熱性を設定することができる。仮想物体５１に対して低い耐熱性を設定することにより、例えば、気温が高い場合には溶けて形が変わってしまうようにしてもよい。
　耐熱性が設定された仮想物体５１を上述したように表現させることにより、ユーザは、仮想物体５１に耐熱性が設定されていることを直感的に理解することができる。
　溶解性（化学変化）
　仮想物体５１に対しては溶解性を設定することができる。仮想物体５１に対して溶解性設定することにより、該仮想物体５１を液体に近づけたことに応じ、該仮想物体５１が液体に溶けるようにしてもよい。また、溶解性が設定された仮想物体５１どうしを近づける操作に応じ、両者が混ざったり、化学変化のように新たな仮想物体が出現したりするようにしてもよい。例えば、メモ書きとして機能する仮想物体５１どうしを近づける操作に応じて、２つのメモ書き（２つの仮想物体５１）を１つのメモ書き（１つの仮想物体）に統合したりすることができる。また、例えば、メモ書きとして機能する、溶解性が設定された仮想物体５１を、実物体としてのカレンダに近づける操作を行ったことに応じ、メモ書きの内容をスケジュール登録するようにしてもよい。
　溶解性が設定された仮想物体５１の動きを上述したように表現させることにより、ユーザは、仮想物体５１に溶解性が設定されていることを直感的に理解することができる。
　なお、上述した物理特性は、適宜組み合わせて設定することが可能である。また、上述した物理特性は、その有無を設定できるだけではなく、その程度をユーザが任意のタイミングで調整できるようにしてもよい。
　また、ユーザがその程度を調整するのではなく、その程度が自動的に変化するようにしてもよい。例えば、動かす頻度が高い仮想物体５１に対して設定されている滑らかさの程度を、該仮想物体５１が動かし易くなるように、その程度を変化させるようにしてもよい。
　＜５．ユーザによる操作に応じた仮想物体５１の動き＞
　次に、ユーザによる操作に応じた仮想物体５１の動きについて説明する。
　仮想物体５１は、ユーザが指先等の指示部位２で直接操作することにより、実物体に対する操作と同様の操作を直感的に実行することができる。また、仮想物体５１は、ユーザがカップ６１等の実物体や他の仮想物体５１を動かして、操作の対象とする仮想物体５１を間接的に操作することにより、実物体に対する操作と同様の操作を直感的に実行することができる。
　図９は、重心が有る仮想物体５１に対してユーザによる引きずる操作が行われた場合の表示例を示している。
　同図のＡに示されるように、仮想物体５１には、その中心に重心が設定されているものとする。この仮想物体５１の重心の右下を、ユーザが指示部位２によりタッチして右方向に引きずる操作を行った（ドラッグした）とする。この場合、同図のＢに示されるように、仮想物体５１は、重心と指示部位２を結ぶ直線が移動方向と平行になるまで回転されて右方向に移動される。
　図１０は、硬い仮想物体５１に対してユーザによるねじる操作が行われた場合の表示例を示している。
　同図のＡに示されるように、ユーザが指示部位２により仮想物体５１に触れて反時計回りにねじる操作を行ったとする。この場合、硬い仮想物体５１であれば、図１０のＢに示されるように、指示部位２を中心とし、仮想物体５１が反時計回りに回転移動される。
　図１１は、軟らかい仮想物体５１に対してユーザによるねじる操作が行われた場合の表示例を示している。
　軟らかい仮想物体５１の場合、仮想物体５１は回転されず、指示部位２の周囲に皺が表示されるようにしてもよい。
　図１２は、硬い仮想物体５１に対してユーザによる押し出す操作が行われたことに応じ、複数の仮想物体５１が連動して移動する場合の表示例を示している。
　同図に示されるように、ユーザが仮想物体５１１に対して右側から左方向に押し出す操作を行うと、仮想物体５１１が左方向に移動される。このとき、仮想物体５１１の左側に表示されていた仮想物体５１２及び５１３も連動して左方向に移動される。仮想物体５１を押し出す操作だけでなく、引きずる操作を行った場合でも、複数の仮想物体５１を連動して移動させることができる。
　図１３は、硬い仮想物体５１に対してユーザによる押し出す操作が行われ、これに応じて仮想物体５１が実物体であるカップ６１に当たった場合の表示例を示している。
　同図のＡに示されるように、ユーザが硬い仮想物体５１に対して右側から左方向に押し出す操作を行って仮想物体５１を左方向に移動させ、仮想物体５１がカップ６１に当たった場合、仮想物体５１がそれ以上左側には移動しないように表現することができる。この場合、ユーザが左方向に押す出す操作を継続していれば、この操作は空振りすることになる。
　なお、仮想物体５１が速い速度でカップ６１に当たった場合、同図のＢに示されるように、カップ６１から仮想物体５１がはね返るように表現することもできる。
　図１４は、軟らかい仮想物体５１が実物体であるカップ６１に当たった場合の表示例を示している。
　同図に示されるように、ユーザが軟らかい仮想物体５１に対して右側から左方向に押し出す操作を行って仮想物体５１を左方向に移動させ、仮想物体５１がカップ６１に当たった場合、軟らかい仮想物体５１が曲がったように表現することができる。
　また、仮想物体５１が当たったカップ６１に対して、カップ６１をスキャンして生成したカップ６１と同じ形の仮想物体８３を微動させながら残像のようにプロジェクションマッピングすることにより、あたかもカップ６１が動いたかのように見える視覚効果を表現するようにしてもよい。
　図１５は、軟らかい仮想物体５１に対してユーザによるつまみ操作が行われた場合の表示例を示している。
　同図に示されるように、軟らかい仮想物体５１１に対してユーザがつまむ操作を行うと、それまで平面状であった仮想物体５１１がたわみ、その一部（同図の場合、左側）が浮いた状態となる。この状態で、仮想物体５１１を左方向に他の仮想物体５１２まで移動させると、仮想物体５１２の上に仮想物体５１１が重なったように表現することができる。また、例えば、紙等の比較的薄い実物体に対しても、その上に仮想物体５１１が重なったように表現することができる。
　図１６は、軟らかい仮想物体５１に対し、ユーザによる引っ張る操作が行われた場合の表示例を示している。
　同図のＡに示されるように、ユーザが仮想物体５１に対して左右に引っ張る操作を行うと、仮想物体５１は引っ張られて伸びる。この後、仮想物体５１を左右に引っ張る操作をユーザが止めれば、仮想物体５１は元の形に戻る。反対に、同図のＢに示されるように、ユーザが仮想物体５１をさらに引っ張る操作を行うと、仮想物体５１はちぎれて仮想物体５１Ｌと仮想物体５１Ｒに分裂される。なお、２つに分裂された仮想物体５１Ｌ，５１Ｒは分裂されたまま、元の仮想物体５１の1/2のサイズとしてもよいし、同図のＣに示されるように、仮想物体５１Ｌ，５１Ｒが、それぞれ分裂前の仮想物体５１と同じサイズ、同じ内容となるようにしてもよい。この場合、元の仮想物体５１のコピーが生成されたことを表現することができる。
　図１７は、先に表示されている仮想物体５１の上に比較的重い実物体であるカップ６１が置かれた場合の表示例を示している。
　この場合、ユーザが仮想物体５１を移動させるために引っ張る等の操作を行っても、仮想物体５１を動かすことができないように表現することができる。ただし、カップ６１が軽い場合には仮想物体５１を動かせるようにしてもよい。カップ６１の重さについては、画像認識の結果に基づいて推定したり、予め登録しておいたりしてもよい。
　さらに、軟らかい仮想物体５１の一端にカップ６１を置き、該仮想物体５１の他端に対してユーザが引きずる操作を行った場合、図１６を参照して上述したように、仮想物体５１が伸びたり、分裂したりするようにしてもよい。
　図１８は、先に表示されている仮想物体５１の上に比較的軽い実物体であるピン６２が置かれた場合の表示例を示している。
　この場合、ユーザが仮想物体５１を移動させるための操作を行うと、ピン６２を中心として仮想物体５１が回転するように表現することができる。
　次に、ユーザによる実物体を用いた操作に応じた仮想物体５１の動きについて説明する。
　仮想物体５１は、ユーザが実物体を用いて間接的に操作した場合にも、実物体に対する操作と同様の操作を直感的に実行することができる。
　図１９は、ユーザが実物体を用いて仮想物体５１を引きずる操作を行い、仮想物体５１を移動させる場合の表示例を示している。
　以下の説明では、仮想物体５１を間接的に操作するために用いる実物体の例としてカップ６１を挙げているが、仮想物体５１を間接的に操作するために用いる実物体は、カップ６１に限られるものではなく、任意の実物体を用いることができる。
　同図に示されるように、ユーザが仮想物体５１の上に実物体であるカップ６１を置き、カップ６１を引きずる操作を行うことにより、仮想物体５１を移動させることができる。
　図２０は、ユーザが実物体を用いて仮想物体５１を押し出す操作を行い、仮想物体５１を移動させる場合の表示例を示している。
　同図に示されるように、ユーザが仮想物体５１に対して実物体であるカップ６１によって押し出す操作を行うことにより、仮想物体５１を移動させることができる。なお、カップ６１を所定の速さ以上で仮想物体５１にぶつける操作をした場合、仮想物体５１が跳ね飛ぶようにしてもよい。
　＜６．磁性が設定された仮想物体５１に対する操作＞
　上述したように、仮想物体５１に対しては磁性を設定することができる。仮想物体５１に対して磁性を設定することにより、該仮想物体５１を、例えば冷蔵庫等の鉄製の実物体に張り付ける表現が可能となる。また、鉄製ではないために実際には磁石が付かない壁や天井等の実物体に対して磁性を設定できるようにしてもよい。このようにした場合、磁性を設定した仮想物体５１を、磁性を設定した壁等に貼り付けることが可能となる。
　図２１は、磁性が有る仮想物体５１どうしを近づけた場合の表示例を示している。
　同図のＡに示されるように、それぞれ磁性が有る仮想物体５１１と仮想物体５１２とを近づけた場合、仮想物体５１１と仮想物体５１２の磁性の極性が異なれば、同図のＢに示されるように、仮想物体５１１と仮想物体５１２が連結される。この場合、仮想物体５１１と仮想物体５１２の一方に対した移動させる操作を行った場合、他方も連結した状態で移動される。なお、連結された仮想物体５１１と仮想物体５１２は、それぞれに引き離す操作を行えば、連結を解除することができる。
　なお、近づけた仮想物体５１１と仮想物体５１２の磁性の極性が等しい場合、仮想物体５１１と仮想物体５１２が斥力により離れるように表現することができる。
　図２２は、磁性が設定された実物体であるカップ６１と、磁性が有る仮想物体５１を近づけた場合の表示例を示している。
　カップ６１と仮想物体５１の磁性の極性が異なれば、同図に示されるように、カップ６１と仮想物体５１が連結される。この場合、カップ６１と仮想物体５１の一方に移動させる操作を行った場合、他方も連結した状態で移動される。例えば、カップ６１をテーブルから持ち上げて他の場所に置き直した場合、連結されている仮想物体５１もカップ６１ととともに移動されて、移動先に表示されることになる。なお、連結されたカップ６１と仮想物体５１は、それぞれに引き離す操作を行えば、連結を解除することができる。
　＜７．仮想物体５１に対するその他の操作＞
　ジェスチャ操作
　図２３は、仮想物体５１に対するユーザのジェスチャ操作の例を示している。
　同図に示されるように、天井に仮想物体５１が張り付けられており、そこから仮想物体である紐９１が壁伝いに垂れて下がっているとする。ユーザは紐９１を引く操作を行うことにより、仮想物体５１の位置を調節することができる。なお、紐９１は、常に表示されているようにしてもよいし、ユーザが壁際に立ちながら天井の仮想物体５１を見たときに時にだけ表示するようにしてもよい。
　影を用いた操作
　図２４は、仮想物体５１に対するユーザの影を用いた操作の例を示している。ただし、同図においては、ユーザの影は手の部分だけを図示しており、手以外の影は省略している。
　同図に示されるように、壁に貼り付けられている仮想物体５１の側に、ユーザが自身の指示部位（例えば、手）の影１１１を映すようにし、影１１１によって仮想物体５１を押し出す操作を行ったことに対応し、仮想物体５１を移動することができる。なお、仮想物体５１を操作する影１１１は手の部分に限らず、例えば、頭部の影により、仮想物体５１を操作できるようにしてもよい。
　仮想物体５１を握る操作
　軟らかい仮想物体５１に対し、ユーザが握る操作を行えるようにしてもよい。具体的には、ユーザが指示部位２としての手を開いて仮想物体５１の上に置き、手を握る操作を行うことに応じて、該仮想物体５１を手中に持つことができるようにしてもよい。
　この場合、仮想物体５１を手中に持っているときは、仮想物体５１の表示を消し、仮想物体５１が手に握られていることを表すように、例えば、ユーザの手を光らせる（光を投影する）ようにしてもよい。
　また、ユーザが仮想物体５１を握っている手を開く操作を行うことに応じて、消されていた仮想物体５１を再び表示するようにしてもよい。また、ユーザが仮想物体５１を握ったまま壁等に向かって投げるジェスチャ操作を行うことに応じて、該仮想物体５１を壁等に貼付（表示）するようにしてもよい。
　仮想物体５１を巻く操作
　軟らかい仮想物体５１に対し、ユーザが巻物のように巻く操作を行えるようにしてもよい。また、巻かれている仮想物体５１に対し、ユーザが巻いたときと反対の操作を行うことに応じて、再び開いた状態で表示するようにしてもよい。
　仮想物体５１を折り畳む操作
　軟らかい仮想物体５１に対し、ユーザが折り畳む操作を行えるようにしてもよい。また、折り畳まれている仮想物体５１に対し、ユーザが折り畳むときと反対の操作を行うことに応じて、再び開いた状態で表示するようにしてもよい。
　仮想物体５１をちぎる操作
　軟らかい仮想物体５１に対し、ユーザがちぎる操作を行えるようにしてもよい。具体的には、ユーザが一方の手で仮想物体５１を押さえながら、他方の手で仮想物体５１の押さえられていない部分を引っ張る操作を行うことに応じて、仮想物体５１の一部がちぎり取れたように表現するようにしてもよい。また、ちぎり取られた仮想物体５１の一部から、仮想物体５１の全体が復元される、すなわち、仮想物体５１のコピーが生成されるようにしてもよい。
　仮想物体５１を削る操作
　軟らかい仮想物体５１に対し、ユーザが削る操作を行えるようにしてもよい。具体的には、例えば、スクラッチカードのような仮想物体５１を想定し、ユーザが該仮想物体５１に対して爪やコイン等を用いて削る操作を行うことに応じて、仮想物体５１の表面が削られ、仮想物体５１の削られた箇所に何からの情報が表示されるようにしてもよい。
　仮想物体５１を拭う操作
　仮想物体５１に対して、ユーザが拭う操作を行えるようにしてもよい。具体的には、例えば、表面が曇っている仮想物体５１を想定し、ユーザが該仮想物体５１に対して手等で拭う操作を行うことに応じて、曇りが取れるようにし、仮想物体５１上に何らかの情報が表示されるようにしてもよい。
　仮想物体５１を落とす操作
　上述したように、ユーザが仮想物体５１をテーブル等の端まで移動させ、さらに、押し出したり、引きずったりする操作を行ったことに応じ、仮想物体５１がテーブル等から床等に落ちる様子を表示するようにしてもよい。また、テーブル等から落ちた仮想物体５１の表示は消去してもよいし、床等に表示するようにしてもよい。なお、テーブル等から落とされた仮想物体５１がアプリケーションプログラムのUIに用いられている場合、該アプリケーションプログラムを終了するようにしてもよい。すなわち、ユーザは、対応する仮想物体５１をテーブル上等から落とすことにより、アプリケーションプログラムの終了させることができる。
　仮想物体５１を重ねる操作
　複数の仮想物体５１に対し、ユーザが重ねる操作を行えるようにしてもよい。具体的には、テーブル上等に表示されている複数の仮想物体５１をユーザが両手で掻き集める操作を行うことに応じて、複数の仮想物体５１を重ねて表示するようにしてもよい。
　また、重ねられた複数の仮想物体５１に対して、例えば、ユーザが重ねられたトランプカードを広げるようなジェスチャ操作を行うことに応じて、複数の仮想物体５１を再度広げて表示するようにしてもよい。また、重ねられた複数の仮想物体５１に対し、ユーザが一度持ち上げてから放す操作を行うことに応じ、複数の仮想物体５１がテーブル上に落ち、拡散して表示されるようにしてもよい。
　なお、同様に機能する仮想物体５１が複数表示されている場合（例えば、それぞれの仮想物体５１が写真ビューアとして写真を表示しているような場合）、ユーザによる操作が無くても、自動的に、これら複数の仮想物体５１がグループ化される（例えば、重ねられたり、一体化されたりする）ようにしてもよい。
　仮想物体５１をめくる操作
　仮想物体５１に対し、ユーザがめくる操作を行えるようにしてもよい。具体的には、例えば、雑誌等のように複数の頁数を有する仮想物体５１を想定し、ユーザが該仮想物体５１に対して親指等でめくる操作を行ったことに応じ、仮想物体５１の頁がめくれて表示内容が変更されるようにしてもよい。また、該仮想物体５１の頁をめくりながら引きずる操作を行ったことに応じ、該頁部分だけを移動して表示するようにしてもよい。
　仮想物体５１をひねる操作
　仮想物体５１に対し、ユーザがひねる操作を行えるようにしてもよい。具体的には、例えば、ダイヤル状の仮想物体５１を想定し、ユーザが該仮想物体５１に対してひねる操作を行ったことに応じ、所定のパラメータ（例えば、現在出力されている音声の音量）を変更するようにしてもよい。
　仮想物体５１を立てる操作
　仮想物体５１に対し、ユーザが立てる操作を行えるようにしてもよい。具体的には、例えば、厚みがある仮想物体５１を想定し、ユーザが該仮想物体５１に対して９０度ひねる操作を行ったことに応じ、該仮想物体５１を立てて表示するようにしてもよい。
　＜８．仮想物体５１の誤表示の防止＞
　仮想物体５１の誤表示の防止する方法として、ユーザが直接的または間接的に操作していない場合には、仮想物体５１の移動、変形等の表示の変化を禁止するようにしてもよい。
　また、仮想物体５１の誤表示の防止する方法として、ユーザの視線方向を検出するようにし、ユーザが見ていない方向における仮想物体５１の表示の変化を禁止するようにしてもよい。
　さらに、仮想物体５１の誤表示の防止する方法として、意図的ではないユーザの操作（例えば、うっかり仮想物体５１にぶつかるなど）には対応しないようにしてもよい。
　またさらに、仮想物体５１の誤表示の防止する方法として、仮想物体５１の表示が変化しない領域を事前に設定できるようにしてもよい。
　＜９．ユーザの操作性の向上＞
　ユーザの操作性の向上させるため、ユーザの操作に応じて、仮想物体５１の表示を変化させる前に、操作対象となった仮想物体５１の周囲に光彩が表示される等のビジュアルフィードバックを表示させるようにしてもよい。
　このビジュアルフィードバックは、ユーザがVRシステム１０の使用に慣れてきた場合（例えば、使用期間が閾値を超えた場合）には表示しないようにしてもよい。
　仮想物体５１の表示が変化された後、ユーザが所定のキャンセル操作（例えば、「キャンセル」と発話する。片手を素早く降る）を行ったことに応じ、仮想物体５１の表示の変化を元に戻すことができるようにしてもよい。
　ユーザがVRシステム１０の使用を開始した初期段階には、チュートリアルを自動的に表示するようにしてもよい。
　ユーザの年齢等を考慮し、例えば、ユーザが子供または高齢者であった場合、仮想物体５１が操作し易いように、その表示サイズを大きくするようにしてもよい。
　予め対応付けられている実物体の出現に応じて、仮想物体６１を表示するようにしてもよい。例えば、実物体である手帳に、スケジュール管理用のアプリケーションプログラムのUIとして機能する仮想物体５１を予め対応付けた場合、手帳がテーブル上に置かされたことに応じ、スケジュール管理用のアプリケーションプログラムのUIとして機能する仮想物体５１をテーブル上に表示するようにしてもよい。
　＜１０．想定されるユースケースについて＞
　次に、VRシステム１０に対して想定されるユースケースについて説明する。
　例えば、実物体であるカップ６１を片手に持ってくつろいでいるユーザが映画を見たくなり、「映画リストをテーブルに表示」と発話する。この発話は音声認識されて発話操作として検知され、この発話操作に応じ、映画リストのUIとして機能する仮想物体５１（以下、単に映画リストと称する）がテーブル上に表示される。
　このとき、映画リストは、テーブル上の実物体と重ならない位置とサイズで表示される。表示された映画リストの輪郭線が緩やかな曲線である場合、ユーザは該映画リストが軟らかい仮想物体５１であることを認識できる。
　次に、ユーザが手に持っているカップ６１をテーブルに戻そうとする。このとき、テーブル上には映画リストが表示されているため、その上に重ねると邪魔になってしまう。ここで、ユーザがカップ６１を用いて映画リストを押し出す操作を行えば、映画リストを容易に移動させることができる。
　図２５は、映画リストとして機能する仮想物体５１の表示例を示している。該仮想物体５１の中には、様々な映画（コンテンツ）の紹介文（写真なども含まれる）をスクロール表示するスクロール領域１２１が設けられている。また、該仮想物体５１の中には、スクロール領域１２１の表示をスクロースさせるためのスクロールバー１２２も設けられている。
　見たい映画を検索しようとしたユーザが、映画リストのスクロール領域１２１に対し、指示部位２を左右に動かすスクロール操作を行うと、仮想物体５１の中に表示されているスクロール領域１２１内の表示がスクロールされる。
　このように、仮想物体５１の中にスクロール領域１２１が存在する場合、仮想物体５１自体の移動よりも、スクロール領域内のスクロール表示が優先される。なお、仮想物体５１自体を移動したい場合には、スクロール領域以外を触って押し出す操作または引きずる操作等を行えばよい。なお、仮想物体５１のスクロール領域のスクロール方向が横方向だけである場合、スクロール領域を触って縦方向に押し出す操作または引きずる操作等を行ったことに応じて、該仮想物体５１を縦方向に移動するようにしてもよい。
　見たい映画が決まらないユーザが、他のテーブルにいる家族と相談して映画を決めようと考えた。そこでユーザが「カップに磁性を付与」と発話すると、この発話は音声認識されて発話操作として検知され、この発話操作に応じ、実物体であるカップ６１に磁性が付与される。なお、映画リスト（仮想物体５１）に対しても予め磁性が設定されていることを想定すれば、カップ６１を映画リストに近づける操作を行ったことに応じて、カップ６１と映画リストが連結される。
　ユーザがカップ６１をテーブルから持ち上げ、家族がいる他のテーブルに移動してカップ６１を移動先のテーブルに置くと、カップ６１に連結されていた映画リストが移動先のテーブルに表示される。ここで、ユーザがカップ６１と映画リストを引き離す操作を行うと、両者の連結が解除される。
　家族と相談して見たい映画を決めたユーザが映画リストの中の一つの映画をタップ操作することで選択すると、テーブル上の映画リストとしての仮想物体５１にて、映画の再生が開始される。なお、映画リストとしての仮想物体５１にて映画を再生するのではなく、テーブル上に新たに仮想物体５１を表示し、新たな仮想物体５１にて映画を再生するようにしてもよい。
　映画を視聴中にその再生を一時停止したくなったユーザが、映画を再生している仮想物体５１の上にカップ６１を置いた場合、この操作に応じて映画の再生が一時停止されるようにしてもよい。そして、このカップ６１を再び持ち上げた場合、その操作に応じて、一時停止されていた映画の再生が再開されるようにしてもよい。
　この後、テーブル上ではなく、壁面で映画を見たくなったユーザが、映画を再生している仮想物体５１を握って手中に入れてから、壁に向かって投げるジェスチャ操作を行うと、壁に仮想物体５１が貼付されて、壁に貼付された仮想物体５１にて映画の再生が継続される。これによりユーザは壁面にて映画を視聴することができる。
　ただし、該仮想物体５１を壁に貼付させるためには、該仮想物体５１に予め粘着性が設定されているか、または、該仮想物体５１と壁の両方に磁性が設定されている必要がある。なお、仮想物体５１が貼付された壁が十分に広い場合、貼付された仮想物体５１を映画の視聴に適したサイズに自動的に拡張するようにしてもよい。
　壁に貼付された状態で映画を再生している仮想物体５１の位置を微調整したくなったユーザが、該仮想物体５１から壁伝いに伸びている紐９１（図２３）を引っ張ると、直感的に仮想物体５１の表示位置を調整することができる。もちろん、ユーザ自身が壁に近づいて仮想物体５１を操作するか、または影を用いて操作することにより、その位置を調整することもできる。
　映画が終了した場合、該仮想物体５１の表示は映画リストに戻るようにしてもよいし、壁に貼付されている仮想物体５１を消去するようにしてもよい。また、仮想物体５１が有していた粘着性や磁性を徐々に弱めて、仮想物体５１が壁から床に落ちるまでを表示し、床にて仮想物体５１の表示を消去するようにしてもよい。
　なお、ユーザからの様々な操作に応じて仮想物体５１の表示を変化させた場合、その履歴を保存し、再生できるようにしてもよい。例えば、ユーザの発声「昨日ここにあったメモ書（として機能する仮想物体５１）はどこ？」などに応じて該履歴を読み出し、該当するメモ書として機能する仮想物体５１の、昨日から現時点までの動きを再現するようにしてもよい。
　＜１１．仮想物体制御処理について＞
　次に、VRシステム１０による情報処理方法の一例である仮想物体制御処理について説明する。
　図２６は、仮想物体制御処理を説明するフローチャートである。該仮想物体制御処理は、ユーザによる操作に応じて、表示されている仮想物体５１を移動したり変形したりする処理である。
　なお、仮想物体制御処理の前提として、既に実空間のテーブル上等に仮想物体５１が表示されているものとする。また、仮想物体５１には、物理特性が設定されているものとする。
　ステップＳ１において、画像認識部２１は、デプスカメラ３１から供給される動画像信号に基づき、実空間に存在する実物体を認識する。ここでは、実物体として、例えばカップ６１が認識されたものとする。位置関係検出部２２は、認識されたカップ６１の実空間における位置を検出する。
　ステップＳ２において、画像認識部２１は、デプスカメラ３１から供給される動画像信号に基づき、実空間に存在する操作体としてのユーザの指示部位２を認識する。位置関係検出部２２は、認識されたユーザの指示部位２の実空間における位置を検出する。
　ステップＳ３において、位置関係検出部２２は、ユーザの指示部位２が仮想物体５１に触れているか否かを判定する。ただし、仮想物体５１は実在していないので、仮想物体５１の位置とユーザの指示部位２の位置との距離が所定の閾値以下である場合に、ユーザの指示部位２が仮想物体５１に触れていると判定するようにする。
　ステップＳ３において、ユーザの指示部位２が仮想物体５１に触れていないと判定された場合、処理はステップＳ４に進められる。
　ステップＳ４において、位置関係検出部２２は、ユーザの指示部位２が実物体(いまの場合、カップ６１）に触れているか否かを判定する。ステップＳ４において、ユーザの指示部位２が実物体に触れていないと判定された場合、ユーザは仮想物体５１に対し、直接的にも間接的にも操作を行っていないので、処理はステップＳ１に戻されて、それ以降が繰り返される。
　ステップＳ４において、ユーザの指示部位２が実物体に触れていると判定された場合、ユーザが実物体を用いて仮想物体５１に対して間接的に操作を行っている可能性が有るので、処理はステップＳ５に進められる。
　ステップＳ５において、位置関係検出部２２は、ユーザの指示部位２が触れている実物体が、仮想物体５１に触れているか否かを判定する。ステップＳ５において、ユーザの指示部位２が触れている実物体が、仮想物体５１に触れていないと判定された場合、ユーザが実物体を用いて仮想物体５１に対して間接的に操作を行っている可能性が無くなったので、処理はステップＳ１に戻されて、それ以降が繰り返される。
　ステップＳ５において、ユーザの指示部位２が触れている実物体が、仮想物体５１に触れていると判定された場合、ユーザは実物体を用い、仮想物体５１に対して間接的に操作を行っていることになるので、処理はステップＳ６に進められる。
　ステップＳ６において、操作検知部２３は、仮想物体５１に対するユーザによる操作を検知する。投影画像生成部２５は、ユーザによる操作の検知結果に応じて仮想物体５１の表示を変更する。すなわち、移動するか、または変形するかの少なくとも一方を表現するためのビデオ信号を生成する。このビデオ信号に基づいてプロジェクタ３３が仮想物体５１を表示することにより、既に表示されていた仮想物体５１が移動されたり、変形されたりすることになる。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。
　なお、ステップＳ３において、ユーザの指示部位２が仮想物体５１に触れていると判定された場合、ユーザは仮想物体５１に対して、操作体としての指示部位２により直接的に操作を行っていることになるので、ステップＳ４及びＳ５はスキップされて、処理はステップＳ６に進められることになる。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。以上で、仮想物体制御処理に説明を終了する。
　＜１２．まとめ＞
　以上説明したように、本実施の形態であるVRシステム１０によれば、仮想物体５１に対して様々な物理特性を設定できるようにしたことにより、仮想物体５１に対する操作とそれに応じた仮想物体５１の移動や変形等の表現を、実物体に対する場合を同様に表現することができる。したがって、ユーザは仮想物体５１に対して、実物体に対する場合と同様に、直感的に操作を行うことができる。
　また、VRシステム１０では、仮想物体５１の移動表現、仮想物体５１に生じる変形、仮想物体５１が生じる音声等が、設定されている物理特性に応じて変更されるので、仮想物体５１に対して設定されている物理特性をユーザが容易に認識できる。
　ところで、上述した情報処理装置２０による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。換言すれば、図２に示された機能ブロックは、ハードウェアにより構成することもできるし、ソフトウェアにより実行することもできる。
　一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　該コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本技術は以下のような構成も取ることができる。
（１）
　実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、
　前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、
　検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部と
　を備える情報処理装置。
（２）
　前記仮想物体変更部は、設定されている前記物理特性に基づいて、前記仮想物体の表示を変化させるように構成される
　前記（１）に記載の情報処理装置。
（３）
　前記操作体、前記実物体、及び前記仮想物体の仮想的な位置関係に基づき、前記操作体による前記仮想物体への操作を検出する操作検知部をさらに備える
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記仮想物体変更部は、設定されている前記物理特性をユーザが認識できるように、前記仮想物体の表示を変化させるように構成される
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　設定されている前記物理特性をユーザが認識できるように通知する通知部をさらに備える
　前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
　前記物理特性設定部は、前記物理特性として、質量、重心、剛性、磁性、粘着性、摩擦係数、脆さ、耐熱性、または溶解性のうち、少なくとも一つを設定するように構成される
　前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記操作検知部は、前記仮想物体に対する前記操作として、押し出す操作、引きずる操作、ねじる操作、引っ張る操作、ジェスチャ操作、影を用いた操作、握る操作、投げる操作、巻く操作、折り畳む操作、ちぎる操作、削る操作、拭う操作、落とす操作、重ねる操作、めくる操作、ひねる操作、立てる操作、発話操作、または、キャンセル操作のうち、少なくとも一つを検知するように構成される
　前記（３）に記載の情報処理装置。
（８）
　前記仮想物体変更部は、前記物理特性に基づいて前記仮想物体に物理シミュレーション効果を加えることで前記仮想物体の表示を変化させる
　前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記操作検知部は、前記仮想物体に対する前記操作体を用いた直接的な前記操作を検知するように構成される
　前記（３）に記載の情報処理装置。
（１０）
　前記操作検知部は、前記仮想物体に対する、前記実物体または他の仮想物体を用いた間接的な前記操作を検知するように構成される
　前記（３）に記載の情報処理装置。
（１１）
　前記操作検知部は、前記実空間を撮像した動画像信号に基づいて、前記操作を検知するように構成される
　前記（３）に記載の情報処理装置。
（１２）
　情報処理装置の情報処理方法において、
　前記情報処理装置による、
　　実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定ステップと、
　　前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出ステップと、
　　検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更ステップと
　を含む情報処理方法。
（１３）
　コンピュータを、
　実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、
　前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、
　検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部と
　して機能させるプログラム。
　２　指示部位，　１０　VRシステム，　２０　情報処理装置，　２１　画像認識部，　２２　位置関係検出部，　２３　操作検知部，　２４　音声認識部，　２５　投影画像生成部，　２６　音声出力部，　３１　デプスカメラ，　３２　マイクロフォン，　３３　プロジェクタ，　３４　スピーカ，　４１　制御対象機器，　５１　仮想物体，　６１　カップ，　６２　ピン，　７１　磁石，　７２　磁力線，　８１　糊，　８２　光沢，　９１　紐，　１１１　影，　１２１　スクロール領域，　１２２　スクロールバー，　２００　コンピュータ，　２０１　CPU

Claims (13)

  1. 　実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、
    　前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、
    　検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部と
    　を備える情報処理装置。
  2. 　前記仮想物体変更部は、設定されている前記物理特性に基づいて、前記仮想物体の表示を変化させるように構成される
    　請求項１に記載の情報処理装置。
  3. 　前記操作体、前記実物体、及び前記仮想物体の仮想的な位置関係に基づき、前記操作体による前記仮想物体への操作を検出する操作検知部をさらに備える
    　請求項２に記載の情報処理装置。
  4. 　前記仮想物体変更部は、設定されている前記物理特性をユーザが認識できるように、前記仮想物体の表示を変化させるように構成される
    　請求項２に記載の情報処理装置。
  5. 　設定されている前記物理特性をユーザが認識できるように通知する通知部をさらに備える
    　請求項２に記載の情報処理装置。
  6. 　前記物理特性設定部は、前記物理特性として、質量、重心、剛性、磁性、粘着性、摩擦係数、脆さ、耐熱性、または溶解性のうち、少なくとも一つを設定するように構成される
    　請求項２に記載の情報処理装置。
  7. 　前記操作検知部は、前記仮想物体に対する前記操作として、押し出す操作、引きずる操作、ねじる操作、引っ張る操作、ジェスチャ操作、影を用いた操作、握る操作、投げる操作、巻く操作、折り畳む操作、ちぎる操作、削る操作、拭う操作、落とす操作、重ねる操作、めくる操作、ひねる操作、立てる操作、発話操作、または、キャンセル操作のうち、少なくとも一つを検知するように構成される
    　請求項３に記載の情報処理装置。
  8. 　前記仮想物体変更部は、前記物理特性に基づいて前記仮想物体に物理シミュレーション効果を加えることで前記仮想物体の表示を変化させる
    　請求項２に記載の情報処理装置。
  9. 　前記操作検知部は、前記仮想物体に対する前記操作体を用いた直接的な前記操作を検知するように構成される
    　請求項３に記載の情報処理装置。
  10. 　前記操作検知部は、前記仮想物体に対する、前記実物体または他の仮想物体を用いた間接的な前記操作を検知するように構成される
    　請求項３に記載の情報処理装置。
  11. 　前記操作検知部は、前記実空間を撮像した動画像信号に基づいて、前記操作を検知するように構成される
    　請求項３に記載の情報処理装置。
  12. 　情報処理装置の情報処理方法において、
    　前記情報処理装置による、
    　　実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定ステップと、
    　　前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出ステップと、
    　　検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更ステップと
    　を含む情報処理方法。
  13. 　コンピュータを、
    　実空間に存在する操作体及び実物体と共に視認可能な仮想物体に物理特性を設定する物理特性設定部と、
    　前記操作体、前記実物体、及び前記仮想物体間の仮想的な位置関係を検出する位置関係検出部と、
    　検出された前記仮想的な位置関係に応じ、前記仮想物体の表示を変化させる仮想物体変更部と
    　して機能させるプログラム。
PCT/JP2018/017151 2017-05-11 2018-04-27 情報処理装置、情報処理方法、及びプログラム WO2018207662A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/609,655 US11144114B2 (en) 2017-05-11 2018-04-27 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017094460 2017-05-11
JP2017-094460 2017-05-11

Publications (1)

Publication Number Publication Date
WO2018207662A1 true WO2018207662A1 (ja) 2018-11-15

Family

ID=64105647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017151 WO2018207662A1 (ja) 2017-05-11 2018-04-27 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11144114B2 (ja)
WO (1) WO2018207662A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
EP3640767B1 (de) * 2018-10-17 2024-09-11 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
WO2020163549A1 (en) * 2019-02-08 2020-08-13 Ocelot Laboratories Llc Object positioning and movement in three dimensional content
US11361519B1 (en) * 2021-03-29 2022-06-14 Niantic, Inc. Interactable augmented and virtual reality experience

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126772A (ja) * 2014-12-31 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
CN109564703B (zh) * 2016-08-05 2023-06-23 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10553031B2 (en) * 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126772A (ja) * 2014-12-31 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法

Also Published As

Publication number Publication date
US20200150750A1 (en) 2020-05-14
US11144114B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
WO2018207662A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN106502638B (zh) 用于提供视听反馈的设备、方法和图形用户界面
US10733466B2 (en) Method and device for reproducing content
US10528249B2 (en) Method and device for reproducing partial handwritten content
JP2022191359A (ja) メッセージングアプリケーションにおけるオプションの表示、通知の割り当て、メッセージの無視、及びユーザインタフェースの同時表示
US20180113487A1 (en) Multiple displays for a portable electronic device and a method of use
TWI459281B (zh) 在使用者介面顯示上顯現教學動畫
CN103430132B (zh) 用于处理一组相关窗口中的模态的方法和设备
CN103154875B (zh) 便携式电子设备的告警显示
US8358309B2 (en) Animation of audio ink
CN107710135A (zh) 使用可旋转输入机构的用户界面
US20140281954A1 (en) Systems and Methods For Haptic And Gesture-Driven Paper Simulation
CN108319491A (zh) 管理用户界面中的工作空间
JP6914154B2 (ja) 表示制御装置、表示制御方法及びプログラム
WO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP6437720B2 (ja) コンテンツ再生を制御するための方法及びその装置
CN110109730A (zh) 用于提供视听反馈的设备、方法和图形用户界面
KR102338019B1 (ko) 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법
TWI328768B (en) System and method for recording and executing the operation process of a cursor device
JP2012119927A (ja) 端末装置、情報提示方法、及び情報提示プログラム
JPWO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
Buxton Surface and tangible computing, and the" small" matter of people and design
US20190235710A1 (en) Page Turning Method and System for Digital Devices
CN110455179A (zh) 使用增强现实进行测量的设备和方法
US20230421866A1 (en) Server apparatus of distribution system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18798152

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18798152

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP