JPWO2016136311A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JPWO2016136311A1 JPWO2016136311A1 JP2017501973A JP2017501973A JPWO2016136311A1 JP WO2016136311 A1 JPWO2016136311 A1 JP WO2016136311A1 JP 2017501973 A JP2017501973 A JP 2017501973A JP 2017501973 A JP2017501973 A JP 2017501973A JP WO2016136311 A1 JPWO2016136311 A1 JP WO2016136311A1
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- virtual
- information
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 203
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000003860 storage Methods 0.000 claims description 65
- 230000009471 action Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 4
- ORMNNUPLFAPCFD-DVLYDCSHSA-M phenethicillin potassium Chemical compound [K+].N([C@@H]1C(N2[C@H](C(C)(C)S[C@@H]21)C([O-])=O)=O)C(=O)C(C)OC1=CC=CC=C1 ORMNNUPLFAPCFD-DVLYDCSHSA-M 0.000 description 118
- 230000006870 function Effects 0.000 description 96
- 238000012545 processing Methods 0.000 description 39
- 230000036544 posture Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
1.概要
1.1.はじめに
1.2.技術的課題
2.構成例
2.1.外観構成例
2.2.機能構成例
3.第1の実施形態
3.1.技術的特徴
3.2.動作処理例
4.第2の実施形態
4.1.技術的特徴
4.2.動作処理例
5.第3の実施形態
5.1.技術的特徴
5.2.動作処理例
6.第4の実施形態
7.第5の実施形態
8.ハードウェア構成例
9.まとめ
<1.1.はじめに>
まず、図1及び図2を参照して、3DCGアプリケーションにおける操作環境について説明する。図1及び図2は、3DCGアプリケーションにおける操作環境を説明するための図である。
ここで、ユーザがマウス又はキーボード等で操作する場合、原点11及び注視点12を同時に操作することは困難であった。また、原点11及び注視点12を操作するためには、X座標、Y座標及びZ座標の3つの座標をそれぞれ指定することが要される。このため、マニピュレーター10の方向13を制御するための操作は煩雑であった。
以下では、図3〜図5を参照して、各実施形態に共通する情報処理システムの構成例を説明する。
図3は、本実施形態に係る情報処理システム1の外観構成の一例を示す図である。図3に示すように、情報処理装置100及び操作用ペン200を含む。
図5は、本実施形態に係る情報処理装置100の論理的な構成の一例を示すブロック図である。図5に示すように、情報処理装置100は、センサ部110、表示部120、通信部130、記憶部140及び制御部150を含む。
まず、図6を参照して、本実施形態に係る情報処理装置100の概要を説明する。
(操作情報取得機能)
情報処理装置100(例えば、取得部151)は、ユーザによる操作の内容を示す操作情報を取得する機能を有する。本実施形態における操作情報は、操作用ペン200等のユーザにより操作される実オブジェクトの実空間における位置及び姿勢を示す情報を含む。
情報処理装置100(例えば、生成部155)は、実空間における座標を、仮想空間における座標に変換する機能を有する。
情報処理装置100(例えば、生成部155及び表示制御部157)は、仮想空間の表示を行う機能を有する。以下では、生成部155が表示制御情報を生成して、表示制御部157が表示制御情報に基づく表示を行うよう表示部120を制御することを、単に表示を行う、とも称する。
情報処理装置100(例えば、記憶制御部153及び記憶部140)は、操作用ペン200により操作された仮想空間の状況を記憶し、再現する機能を有する。
図7は、本実施形態に係る情報処理装置100において実行される表示処理の流れの一例を示すフローチャートである。本フローは、マニピュレーター10が仮想的なライトとして機能する場合の処理例である。
まず、図8及び図9を参照して、本実施形態に係る情報処理装置100の概要を説明する。
(操作情報取得機能)
本実施形態における操作情報は、操作用ペン200及び操作用キューブ300の実空間における位置及び姿勢を示す情報を含む。操作用ペン200に関しては上記説明した通りであるので、以下では操作用キューブ300について説明する。
情報処理装置100(例えば、生成部155)は、実空間における操作用ペン200及び操作用キューブ300の座標を、仮想空間における座標に変換する機能を有する。生成部155は、操作用ペン200及び操作用キューブ300の絶対的な位置を用いて座標変換してもよいし、相対的な位置を用いて座標変換してもよい。
例えば、生成部155は、仮想空間における仮想オブジェクト20の位置及び姿勢に操作用キューブ300の位置及び姿勢を反映させ、仮想空間におけるマニピュレーター10の位置及び姿勢に操作用ペン200の位置及び姿勢を反映させてもよい。例えば、生成部155は、実空間における操作用キューブ300の各頂点の座標を仮想オブジェクト20の対応する点のグローバル座標に変換する。また、生成部155は、実空間における操作用ペン200の発光部220Bの座標をマニピュレーター10の原点11のグローバル座標に変換して、発光部220Aの座標をマニピュレーター10の注視点12のグローバル座標に変換する。これにより、ユーザは、操作用ペン200及び操作用キューブ300を手に持って認識範囲190内で動かすことで、あたかもマニピュレーター10及び仮想オブジェクト20を手に持って仮想空間内で動かすかのように操作することが可能となる。
例えば、生成部155は、仮想空間における仮想オブジェクト20とマニピュレーター10との相対的な位置及び姿勢に、操作用キューブ300と操作用ペン200との相対的な位置及び姿勢の関係性を反映させてもよい。例えば、生成部155は、実空間における操作用キューブ300を基準とした操作用ペン200の発光部220B及び220Aの相対的な座標を、仮想オブジェクト20のグローバル座標に加算することで、マニピュレーター10の原点11及び注視点12のグローバル座標を算出する。もちろん、生成部155は、実空間における操作用ペン200を基準とした操作用キューブ300の相対的な座標を操作用ペン200のグローバル座標に加算することで、仮想オブジェクト20のグローバル座標を算出してもよい。これにより、ユーザは、操作用ペン200及び操作用キューブ300の相対的な位置及び姿勢の関係を、マニピュレーター10及び仮想オブジェクト20の相対的な位置及び姿勢の関係に反映させることができる。
操作用ペン200に関しては上記説明した通りであるので、以下では操作用キューブ300について説明する。
操作用ペン200に関しては上記説明した通りであるので、以下では操作用キューブ300について説明する。
まず、図10を参照して、座標変換機能において絶対的な位置が使用される場合の処理例を説明する。
まず、図12及び図13を参照して、本実施形態に係る情報処理装置100の概要を説明する。
(プロジェクションマッピング機能)
本実施形態に係る情報処理装置100(例えば、生成部155)は、プロジェクションマッピングするための表示制御情報を生成する機能を有する。プロジェクションマッピングの対象となる実オブジェクトは多様に考えられる。例えば、認識範囲190に存在する、ユーザの手、操作用ペン200、操作用キューブ300又はモデル物体400等の任意の実オブジェクトにプロジェクションマッピングされてもよい。ここで、プロジェクションマッピングとは、立体的な形状を有する実オブジェクトに画像を投影することを指すものとする。例えば、生成部155は、まず、モデル物体400等の実オブジェクトの立体形状を、画像情報及び深度情報等を用いて認識する。次いで、生成部155は、立体形状の認識結果に基づいて、プロジェクタ120から投影される画像を制御するための表示制御情報を生成する。そして、表示制御部157は、生成された表示制御情報に基づく投影を行うようプロジェクタ120を制御する。このようにして、実オブジェクトへのプロジェクションマッピングが実現される。
本実施形態に係る情報処理装置100(例えば、生成部155)は、仮想オブジェクト20に対応する実オブジェクトにプロジェクションマッピングされたテクスチャに応じた表示を行ってもよい。図12に示した例では、モデル物体400に車のテクスチャがプロジェクションマッピングされている。そのため、生成部155は、プロジェクションマッピングされたテクスチャが表面に描画された仮想オブジェクト20を表示するための表示制御情報を生成してもよい。その場合、図12に示した例では、ディスプレイ120Cには、プロジェクションマッピングされたテクスチャが表面に描画された仮想オブジェクト20を正面から見たカメラ画像が表示されることとなる。ライト等に関しても同様である。これにより、情報処理装置100は、実空間の様子と仮想空間の様子との差を縮めることができる。
情報処理装置100(例えば、生成部155及び表示制御部157)は、上述した仮想的な道具のパラメータを表示する機能を有していてもよい。
図14は、本実施形態に係る情報処理装置100において実行される表示処理の流れの一例を示すフローチャートである。本フローは、マニピュレーター10が仮想的なカメラとして機能する場合の処理例である。
まず、図16を参照して、本実施形態に係る情報処理装置100の概要を説明する。
本実施形態は、手振れ補正を行う形態である。
最後に、図19を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図19は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図19に示す情報処理装置900は、例えば、図5に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、図1〜図19を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、仮想空間における仮想オブジェクトに対応する実オブジェクト(例えば、操作用キューブ300又はモデル物体400)について検出された操作情報と、仮想空間における仮想的な道具に対応する実オブジェクト(例えば、操作用ペン200)について検出された第2の操作情報に基づいて、仮想空間の表示を行う。これにより、ユーザは、例えば操作用キューブ300と操作用ペン200との位置関係を用いて、仮想空間における仮想オブジェクト20及びマニピュレーター10を直感的且つ容易に操作することが可能となる。また、ユーザは、操作用ペン200を操作してライトの位置及び向きを変えながら、操作用キューブ300を操作して仮想オブジェクト20の位置及び向きを変えるといった、マニピュレーター10及び仮想オブジェクト20を別々且つ同時に操作することが可能となる。
(1)
仮想空間における仮想オブジェクトに対応する第1の実オブジェクトについて検出された第1の操作情報と、前記仮想空間における仮想的な道具に対応する第2の実オブジェクトについて検出された第2の操作情報とに基づいて、前記仮想空間の表示を行うための表示制御情報を生成する生成部、
を備える情報処理装置。
(2)
前記第1の操作情報は前記第1の実オブジェクトの位置及び姿勢を示す情報を含み、前記第2の操作情報は前記第2の実オブジェクトの位置及び姿勢を示す情報を含む、前記(1)に記載の情報処理装置。
(3)
前記生成部は、前記第1の実オブジェクトにプロジェクションマッピングするための前記表示制御情報を生成する、前記(2)に記載の情報処理装置。
(4)
前記生成部は、前記第1の実オブジェクトの立体形状の認識結果に基づいて、プロジェクタから投影される画像を制御するための前記表示制御情報を生成する、前記(3)に記載の情報処理装置。
(5)
前記生成部は、前記第1の実オブジェクトにプロジェクションマッピングされたテクスチャに応じた表示を行うための前記表示制御情報を生成する、前記(3)又は(4)に記載の情報処理装置。
(6)
前記生成部は、前記仮想的な道具の作用に関するパラメータを反映させた前記表示制御情報を生成する、前記(2)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記生成部は、前記パラメータを前記第2の実オブジェクトに関連する場所に表示するための前記表示制御情報を生成する、前記(6)に記載の情報処理装置。
(8)
前記生成部は、前記仮想オブジェクトへの前記仮想的な道具の使用を反映させた表示を行うための前記表示制御情報を生成する、前記(2)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記仮想的な道具は、ライトである、前記(8)に記載の情報処理装置。
(10)
前記道具の作用に関するパラメータは、ライトの種類、ライトの色、強度、コーンアングル、周縁部の角度、ドロップオフ、シャドウの色、及びエフェクトの内いずれか一つを含む、前記(9)に記載の情報処理装置。
(11)
前記仮想的な道具は、カメラである、前記(8)に記載の情報処理装置。
(12)
前記道具の作用に関するパラメータは、カメラの種類、カメラの画角、カメラの焦点距離、カメラの被写界深度、ズーム、およびカメラの重さのうちいずれか一つを含む、前記(11)に記載の情報処理装置。
(13)
前記仮想的な道具は、パーティクル放出器具である、前記(8)に記載の情報処理装置。
(14)
前記道具の作用に関するパラメータは、パーティクル放出器具の種類、パーティクルの形状、サイズ、放出数、放出方向、放出角度、放出速度、放出レート、重力、及び粘性のうちいずれか一つを含む
前記(13)に記載の情報処理装置。
(15)
前記生成部は、前記仮想空間における前記仮想オブジェクトと前記仮想的な道具との相対的な位置及び姿勢に、前記第1の実オブジェクトと前記第2の実オブジェクトとの相対的な位置及び姿勢の関係性を反映させる、前記(2)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記生成部は、前記仮想空間における前記仮想オブジェクトの位置及び姿勢に前記第1の実オブジェクトの位置及び姿勢を反映させ、前記仮想空間における前記仮想的な道具の位置及び姿勢に前記第2の実オブジェクトの位置及び姿勢を反映させる、前記(2)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記情報処理装置は、前記仮想オブジェクト及び前記仮想的な道具の位置及び姿勢を示す情報を記憶部に記憶させる記憶制御部をさらに備え、
前記生成部は、前記記憶制御部により前記記憶部から取得された過去の情報に基づいて前記表示制御情報を生成する、前記(2)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記生成部は、複数の前記第2の実オブジェクトについて検出された複数の前記第2の操作情報の各々に基づいて前記表示制御情報を生成する、前記(2)〜(17)のいずれか一項に記載の情報処理装置。
(19)
仮想空間における仮想オブジェクトに対応する第1の実オブジェクトについて検出された第1の操作情報と、前記仮想空間における仮想的な道具に対応する第2の実オブジェクトについて検出された第2の操作情報とに基づいて、前記仮想空間の表示を行うための表示制御情報を生成すること、
を含むプロセッサにより実行される情報処理方法。
(20)
コンピュータを、
仮想空間における仮想オブジェクトに対応する第1の実オブジェクトについて検出された第1の操作情報と、前記仮想空間における仮想的な道具に対応する第2の実オブジェクトについて検出された第2の操作情報とに基づいて、前記仮想空間の表示を行うための表示制御情報を生成する生成部、
として機能させるためのプログラム。
10 マニピュレーター
11 原点
12 注視点
13 方向
20 仮想オブジェクト
100 情報処理装置
110 センサ部
120 表示部
130 通信部
140 記憶部
150 制御部
151 取得部
153 記憶制御部
155 生成部
157 表示制御部
160 アーム
170 投影面
180 テーブル
190 認識範囲
200 操作用ペン
210 ボタン
220 発光部
300 操作用キューブ
400 モデル物体
Claims (20)
- 仮想空間における仮想オブジェクトに対応する第1の実オブジェクトについて検出された第1の操作情報と、前記仮想空間における仮想的な道具に対応する第2の実オブジェクトについて検出された第2の操作情報とに基づいて、前記仮想空間の表示を行うための表示制御情報を生成する生成部、
を備える情報処理装置。 - 前記第1の操作情報は前記第1の実オブジェクトの位置及び姿勢を示す情報を含み、前記第2の操作情報は前記第2の実オブジェクトの位置及び姿勢を示す情報を含む、請求項1に記載の情報処理装置。
- 前記生成部は、前記第1の実オブジェクトにプロジェクションマッピングするための前記表示制御情報を生成する、請求項2に記載の情報処理装置。
- 前記生成部は、前記第1の実オブジェクトの立体形状の認識結果に基づいて、プロジェクタから投影される画像を制御するための前記表示制御情報を生成する、請求項3に記載の情報処理装置。
- 前記生成部は、前記第1の実オブジェクトにプロジェクションマッピングされたテクスチャに応じた表示を行うための前記表示制御情報を生成する、請求項3に記載の情報処理装置。
- 前記生成部は、前記仮想的な道具の作用に関するパラメータを反映させた前記表示制御情報を生成する、請求項2に記載の情報処理装置。
- 前記生成部は、前記パラメータを前記第2の実オブジェクトに関連する場所に表示するための前記表示制御情報を生成する、請求項6に記載の情報処理装置。
- 前記生成部は、前記仮想オブジェクトへの前記仮想的な道具の使用を反映させた表示を行うための前記表示制御情報を生成する、請求項2に記載の情報処理装置。
- 前記仮想的な道具は、ライトである、請求項8に記載の情報処理装置。
- 前記道具の作用に関するパラメータは、ライトの種類、ライトの色、強度、コーンアングル、周縁部の角度、ドロップオフ、シャドウの色、及びエフェクトの内いずれか一つを含む、請求項9に記載の情報処理装置。
- 前記仮想的な道具は、カメラである、請求項8に記載の情報処理装置。
- 前記道具の作用に関するパラメータは、カメラの種類、カメラの画角、カメラの焦点距離、カメラの被写界深度、ズーム、およびカメラの重さのうちいずれか一つを含む、請求項11に記載の情報処理装置。
- 前記仮想的な道具は、パーティクル放出器具である、請求項8に記載の情報処理装置。
- 前記道具の作用に関するパラメータは、パーティクル放出器具の種類、パーティクルの形状、サイズ、放出数、放出方向、放出角度、放出速度、放出レート、重力、及び粘性のうちいずれか一つを含む
請求項13に記載の情報処理装置。 - 前記生成部は、前記仮想空間における前記仮想オブジェクトと前記仮想的な道具との相対的な位置及び姿勢に、前記第1の実オブジェクトと前記第2の実オブジェクトとの相対的な位置及び姿勢の関係性を反映させる、請求項2に記載の情報処理装置。
- 前記生成部は、前記仮想空間における前記仮想オブジェクトの位置及び姿勢に前記第1の実オブジェクトの位置及び姿勢を反映させ、前記仮想空間における前記仮想的な道具の位置及び姿勢に前記第2の実オブジェクトの位置及び姿勢を反映させる、請求項2に記載の情報処理装置。
- 前記情報処理装置は、前記仮想オブジェクト及び前記仮想的な道具の位置及び姿勢を示す情報を記憶部に記憶させる記憶制御部をさらに備え、
前記生成部は、前記記憶制御部により前記記憶部から取得された過去の情報に基づいて前記表示制御情報を生成する、請求項2に記載の情報処理装置。 - 前記生成部は、複数の前記第2の実オブジェクトについて検出された複数の前記第2の操作情報の各々に基づいて前記表示制御情報を生成する、請求項2に記載の情報処理装置。
- 仮想空間における仮想オブジェクトに対応する第1の実オブジェクトについて検出された第1の操作情報と、前記仮想空間における仮想的な道具に対応する第2の実オブジェクトについて検出された第2の操作情報とに基づいて、前記仮想空間の表示を行うための表示制御情報を生成すること、
を含むプロセッサにより実行される情報処理方法。 - コンピュータを、
仮想空間における仮想オブジェクトに対応する第1の実オブジェクトについて検出された第1の操作情報と、前記仮想空間における仮想的な道具に対応する第2の実オブジェクトについて検出された第2の操作情報とに基づいて、前記仮想空間の表示を行うための表示制御情報を生成する生成部、
として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015039549 | 2015-02-27 | ||
JP2015039549 | 2015-02-27 | ||
PCT/JP2016/050837 WO2016136311A1 (ja) | 2015-02-27 | 2016-01-13 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016136311A1 true JPWO2016136311A1 (ja) | 2017-12-07 |
JP6569726B2 JP6569726B2 (ja) | 2019-09-04 |
Family
ID=56788345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017501973A Active JP6569726B2 (ja) | 2015-02-27 | 2016-01-13 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10672187B2 (ja) |
EP (1) | EP3264246A4 (ja) |
JP (1) | JP6569726B2 (ja) |
CN (1) | CN107408003A (ja) |
WO (1) | WO2016136311A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6674192B2 (ja) * | 2014-05-28 | 2020-04-01 | ソニー株式会社 | 画像処理装置と画像処理方法 |
USD822060S1 (en) * | 2014-09-04 | 2018-07-03 | Rockwell Collins, Inc. | Avionics display with icon |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
JP7206591B2 (ja) * | 2018-01-04 | 2023-01-18 | 凸版印刷株式会社 | データ表示装置、方法、およびプログラム |
US11188154B2 (en) * | 2018-05-30 | 2021-11-30 | International Business Machines Corporation | Context dependent projection of holographic objects |
US20220237819A1 (en) * | 2019-07-02 | 2022-07-28 | Sony Group Corporation | Information processing system, information processing method, and program |
CN112132918B (zh) * | 2020-08-28 | 2022-08-05 | 稿定(厦门)科技有限公司 | 基于粒子的聚光灯效果实现方法及装置 |
JP7281576B1 (ja) | 2022-03-31 | 2023-05-25 | Kddi株式会社 | 映像投影システム及び映像投影方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007293413A (ja) * | 2006-04-21 | 2007-11-08 | Canon Inc | 情報処理方法および装置 |
JP2014038588A (ja) * | 2012-07-20 | 2014-02-27 | Nintendo Co Ltd | 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法 |
JP2014164003A (ja) * | 2013-02-21 | 2014-09-08 | Nec Networks & System Integration Corp | 仮想屋内空間表示装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2558984B2 (ja) * | 1991-03-12 | 1996-11-27 | 松下電器産業株式会社 | 3次元情報会話システム |
US5745387A (en) * | 1995-09-28 | 1998-04-28 | General Electric Company | Augmented reality maintenance system employing manipulator arm with archive and comparison device |
US6500008B1 (en) * | 1999-03-15 | 2002-12-31 | Information Decision Technologies, Llc | Augmented reality-based firefighter training system and method |
US6791574B2 (en) * | 2000-08-29 | 2004-09-14 | Sony Electronics Inc. | Method and apparatus for optimized distortion correction for add-on graphics for real time video |
EP1720131B1 (en) * | 2005-05-03 | 2009-04-08 | Seac02 S.r.l. | An augmented reality system with real marker object identification |
WO2008139251A2 (en) * | 2006-04-14 | 2008-11-20 | Patrick Levy Rosenthal | Virtual video camera device with three-dimensional tracking and virtual object insertion |
US8823733B2 (en) * | 2006-05-04 | 2014-09-02 | Nintendo Co., Ltd. | Enhanced virtual suction tool |
CN101650749A (zh) * | 2009-09-02 | 2010-02-17 | 上海理工大学 | 用于网上博览会的带有3d虚拟要素动态拖建模块系统 |
US8549418B2 (en) * | 2009-12-23 | 2013-10-01 | Intel Corporation | Projected display to enhance computer device use |
US8485904B2 (en) * | 2010-02-09 | 2013-07-16 | Sony Corporation | Operation device |
US8947455B2 (en) * | 2010-02-22 | 2015-02-03 | Nike, Inc. | Augmented reality design system |
GB2481366B (en) * | 2010-06-03 | 2014-05-28 | Sony Comp Entertainment Europe | Entertainment device and entertainment methods |
US8643569B2 (en) * | 2010-07-14 | 2014-02-04 | Zspace, Inc. | Tools for use within a three dimensional scene |
JP5741160B2 (ja) * | 2011-04-08 | 2015-07-01 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP2013127774A (ja) * | 2011-11-16 | 2013-06-27 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP5857946B2 (ja) * | 2012-11-30 | 2016-02-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9325943B2 (en) * | 2013-02-20 | 2016-04-26 | Microsoft Technology Licensing, Llc | Providing a tele-immersive experience using a mirror metaphor |
US10168873B1 (en) * | 2013-10-29 | 2019-01-01 | Leap Motion, Inc. | Virtual interactions for machine control |
-
2016
- 2016-01-13 EP EP16755061.5A patent/EP3264246A4/en not_active Withdrawn
- 2016-01-13 JP JP2017501973A patent/JP6569726B2/ja active Active
- 2016-01-13 CN CN201680011069.1A patent/CN107408003A/zh active Pending
- 2016-01-13 WO PCT/JP2016/050837 patent/WO2016136311A1/ja active Application Filing
- 2016-01-13 US US15/551,144 patent/US10672187B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007293413A (ja) * | 2006-04-21 | 2007-11-08 | Canon Inc | 情報処理方法および装置 |
JP2014038588A (ja) * | 2012-07-20 | 2014-02-27 | Nintendo Co Ltd | 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法 |
JP2014164003A (ja) * | 2013-02-21 | 2014-09-08 | Nec Networks & System Integration Corp | 仮想屋内空間表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6569726B2 (ja) | 2019-09-04 |
EP3264246A1 (en) | 2018-01-03 |
WO2016136311A1 (ja) | 2016-09-01 |
US20180033195A1 (en) | 2018-02-01 |
EP3264246A4 (en) | 2018-09-05 |
CN107408003A (zh) | 2017-11-28 |
US10672187B2 (en) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6569726B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR102308937B1 (ko) | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 | |
US10922889B2 (en) | Directing user attention | |
JP7095602B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
GB2553607A (en) | Virtual reality | |
JP7020474B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
US11250636B2 (en) | Information processing device, information processing method, and program | |
US20200258515A1 (en) | Information processing device, information processing method, and program | |
WO2015162991A1 (ja) | 画像融合システム、情報処理装置、情報端末、および情報処理方法 | |
US11151804B2 (en) | Information processing device, information processing method, and program | |
US20230308495A1 (en) | Asymmetric Presentation of an Environment | |
US11698578B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US11830515B2 (en) | Methods and systems for visualizing audio properties of objects | |
US10319346B2 (en) | Method for communicating via virtual space and system for executing the method | |
JP2017086542A (ja) | 画像変更システム、方法、及びプログラム | |
WO2019054037A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11221684B2 (en) | Information processing device, information processing method, and recording medium | |
US20200409547A1 (en) | Information processing apparatus, information processing method, and program | |
CN111492339A (zh) | 信息处理设备、信息处理方法以及记录介质 | |
WO2023021757A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2019082520A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN115004132A (zh) | 信息处理装置、信息处理系统和信息处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181217 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190722 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6569726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |