JP6980990B2 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6980990B2
JP6980990B2 JP2016168774A JP2016168774A JP6980990B2 JP 6980990 B2 JP6980990 B2 JP 6980990B2 JP 2016168774 A JP2016168774 A JP 2016168774A JP 2016168774 A JP2016168774 A JP 2016168774A JP 6980990 B2 JP6980990 B2 JP 6980990B2
Authority
JP
Japan
Prior art keywords
image
information processing
real object
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016168774A
Other languages
English (en)
Other versions
JP2018036813A (ja
JP2018036813A5 (ja
Inventor
佳恵 永野
哲男 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016168774A priority Critical patent/JP6980990B2/ja
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to EP17755265.0A priority patent/EP3507569A1/en
Priority to KR1020197004684A priority patent/KR20190039524A/ko
Priority to PCT/JP2017/026738 priority patent/WO2018042948A1/en
Priority to CN201780051318.4A priority patent/CN109642788A/zh
Priority to US16/319,653 priority patent/US20210287330A1/en
Publication of JP2018036813A publication Critical patent/JP2018036813A/ja
Publication of JP2018036813A5 publication Critical patent/JP2018036813A5/ja
Application granted granted Critical
Publication of JP6980990B2 publication Critical patent/JP6980990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理システム、情報処理方法、およびプログラムに関する。
従来、例えばプロジェクタや液晶ディスプレイ（ＬＣＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などの表示装置を用いて画像を表示する技術が各種開発されている。
例えば、特許文献１には、携帯端末が、検出した現在の位置情報に対応づけてサーバに登録されている画像データを受信して、表示部に表示する技術が記載されている。
特開２００６−４８６７２号公報
しかしながら、特許文献１に記載の技術では、携帯端末の絶対的な位置情報のみによって、表示される画像データが決定されてしまう。
そこで、本開示では、実オブジェクトと基準位置との位置関係に適応的に、表示される画像を決定することが可能な、新規かつ改良された情報処理システム、情報処理方法、およびプログラムを提案する。
本開示によれば、実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得する取得部と、前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像を決定する決定部と、を備える、情報処理システムが提供される。
また、本開示によれば、実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得することと、前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像をプロセッサが決定することとを含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得する取得部と、前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像を決定する決定部、として機能させるための、プログラムが提供される。
以上説明したように本開示によれば、実オブジェクトと基準位置との位置関係に適応的に、表示される画像を決定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による情報処理システムの構成例を示した説明図である。 同実施形態による情報処理装置１０が、載置面３０と平行な方向へ画像を投影する例を示した説明図である。 同実施形態による情報処理装置１０の構成例を示した機能ブロック図である。 同実施形態による、基準位置からの高さと、複数の階層の各々のデータ４０とが関連付けられる例を示した説明図である。 同実施形態による、水平に積層された積層プレート３２と、ボリュームデータ４２とが関連付けられる例を示した説明図である。（ａ）は、積層プレート３２を示した図であり、（ｂ）はボリュームデータ４２を示した図である。 同実施形態による、斜めに積層された積層プレート３２と、ボリュームデータ４２とが関連付けられる例を示した説明図である。（ａ）は、積層プレート３２を示した図であり、（ｂ）はボリュームデータ４２を示した図である。 商品４４と同じ形状の積層プレート３２と、商品４４の内部構造のデータとが関連付けられる例を示した説明図である。（ａ）は、積層プレート３２を示した図であり、（ｂ）は商品４４の外観を示した図である。 載置面３０上に実オブジェクトが載置されていない場合における表示対象の画像の決定例を示した説明図である。（ａ）は、載置面３０を示した図であり、（ｂ）は情報処理装置１０により決定された表示対象の画像の例を示した図である。 図８に示した状況の後に、積層プレート３２が載置面３０上に配置された場合における表示対象の画像の決定例を示した説明図である。（ａ）は、載置面３０上に配置された積層プレート３２を示した図であり、（ｂ）は情報処理装置１０により決定された表示対象の画像の例を示した図である。 図９に示した状況の後に、一番上に位置するプレートが取り外された場合における表示対象の画像の決定例を示した説明図である。（ａ）は、載置面３０上に配置された積層プレート３２を示した図であり、（ｂ）は情報処理装置１０により決定された表示対象の画像の例を示した図である。 図１０に示した状況の後に、一番上に位置するプレートが取り外された場合における表示対象の画像の決定例を示した説明図である。（ａ）は、載置面３０上に配置された積層プレート３２を示した図であり、（ｂ）は情報処理装置１０により決定された表示対象の画像の例を示した図である。 載置面３０からの積層プレート３２の高さに対応する階の内部の気流シミュレーションを示す画像の表示例を示した図である。（ａ）は、載置面３０上に配置された積層プレート３２を示した図であり、（ｂ）は情報処理装置１０により決定された表示対象の画像の例を示した図である。 一番上に位置するプレートの天面が斜面である、積層プレート３２の例を示した図である。 積層プレート３２とユーザとの位置関係に応じて、表示対象の画像が補正される例を示した説明図である。（ａ）は、積層プレート３２とユーザとの位置関係の例を示した図であり、（ｂ）は情報処理装置１０により補正された表示対象の画像の例を示した図である。 ３Ｄシーン内に配置されている仮想の光源の位置に応じて、表示対象の画像が補正される例を示した説明図である。 ３Ｄシーン内に配置されている仮想の光源の位置に応じて、表示対象の画像が補正される別の例を示した説明図である。 ＵＩオブジェクト５０が投影される面の、載置面３０からの高さに応じて、投影されるＵＩオブジェクト５０のサイズが補正される例を示した説明図である。 積層プレート３２と、デジタルデータとの対応関係の設定を変更するためのＧＵＩ５０の例を示した説明図である。 ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する範囲のスケールが縮小される例を示した説明図である。（ａ）は、一枚のプレートに対応する、ボリュームデータ４２の高さ方向の範囲の例を示した図である。（ｂ）は、一枚のプレートに対応する、ボリュームデータ４２の高さ方向の範囲が（ａ）に示した状態から縮小された例を示した図である。 同実施形態の適用例１による処理の流れの一部を示したフローチャートである。 同実施形態の適用例１による処理の流れの一部を示したフローチャートである。 積層プレート３２の天面にユーザが手を接近させた場合における、ＵＩオブジェクト５２の存在を示すアイコン６０の表示例を示した図である。（ａ）は、積層プレート３２の天面に画像が投影されている例を示した図である。（ｂ）は、（ａ）に示した状況において、積層プレート３２の天面にユーザが手を接近させた場合におけるアイコン６０の表示例を示した図である。 積層プレート３２の天面に対するタッチ操作に基いて、ＵＩオブジェクト５２の表示位置が移動される例を示した図である。 ユーザの選択対象のＵＩオブジェクト５２が、プレートの天面に対するタッチ位置に基いて特定される例を示した説明図である。（ａ）は、タッチ位置が７０ａである場合においてＵＩオブジェクト５２が特定される例を示した図である。（ｂ）は、タッチ位置が７０ｂである場合においてＵＩオブジェクト５２ｂが特定される例を示した図である。 ユーザの選択対象のＵＩオブジェクト５２が、プレートの天面と手との間の距離に基いて特定される別の例を示した説明図である。（ａ）は、プレートの天面と手との間の距離がＬａである場合においてＵＩオブジェクト５２が特定される例を示した図である。（ｂ）は、プレートの天面と手との間の距離がＬｂである場合においてＵＩオブジェクト５２が特定される例を示した図である。 同実施形態の適用例２による処理の流れの一部を示したフローチャートである。 同実施形態の適用例２による処理の流れの一部を示したフローチャートである。 複数の階層の各々のデータと個々のプレートとが関連付けられる例を示した図である。 載置面３０上に並べて配置された各プレート上に画像が投影される例を示した図である。 同実施形態による情報処理装置１０のハードウェア構成例を示した説明図である。 ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する範囲のスケールを変更するための、ジェスチャー操作の例を示した図である。（ａ）は、当該ジェスチャー操作の開始時の両手の姿勢の例を示した図であり、（ｂ）は、当該ジェスチャー操作の終了時の両手の姿勢の例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて情報処理装置１０ａおよび情報処理装置１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、情報処理装置１０ａおよび情報処理装置１０ｂを特に区別する必要が無い場合には、単に情報処理装置１０と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例
＜＜１．情報処理システムの構成＞＞
＜１−１．基本構成＞
まず、本実施形態による情報処理システムの構成例について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０、サーバ２０、および、通信網２２を有する。
｛１−１−１．情報処理装置１０｝
情報処理装置１０は、実オブジェクトの認識結果に基いて、当該実オブジェクトと関連付けて表示される画像を決定する装置である。例えば、情報処理装置１０は、認識された実オブジェクトに対応するデジタルデータに基いて、当該実オブジェクトと関連付けて表示される画像を決定する。ここで、実オブジェクトは、例えば、図１に示したような、一以上のプレートが積層された（物理的な）積層プレート３２であり得る。なお、積層プレート３２は、図１に示すように、例えば実空間に存在するテーブルの天面などの載置面３０上に積層されてもよい。または、図２に示すように、個々のプレートが載置面３０の平行な方向に並べて配置されてもよい。
また、デジタルデータは、ボリュームデータ、複数の二次元データ（２ＤＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のデータや静止画像など）、動画像、または、例えばリアルタイムのレンダリングデータであり得る。なお、ボリュームデータは、基本的に、三次元のデータであり、かつ、外周面の内側にデータを含み得る。例えば、デジタルデータは、３ＤＣＧのモデリングデータ、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像などの医療用データ、温度分布などの環境データ、または、流体のシミュレーションデータなどであり得る。
例えば、情報処理装置１０は、図１に示すように、表示部１２２、および、センサ部１２４を含むプロジェクタユニットであり得る。また、図１に示すように、情報処理装置１０は、載置面３０の上方に配置され得る。ここで、本開示における基準位置は、載置面３０の位置であってもよいし、または、センサ部１２４の位置であってもよい。
（１−１−１−１．表示部１２２）
表示部１２２は、例えばプロジェクタ（投影部）であり得る。例えば、表示部１２２は、表示対象の画像を載置面３０の方向へ投影する。または、図２に示すように、表示部１２２は、テーブルの天面３０と平行な方向へ表示対象の画像を投影してもよいし、斜めの方向へ投影してもよい。なお、表示対象の画像は、情報処理装置１０に記憶されていてもよいし、後述するサーバ２０から受信されてもよい。
（１−１−１−２．センサ部１２４）
センサ部１２４は、ＲＧＢカメラ（以下、カメラと称する）１２４ａ、および、デプスセンサ１２４ｂなどを含み得る。センサ部１２４は、センサ部１２４の前方の空間の情報をセンシングする。例えば、センサ部１２４は、センサ部１２４の前方の映像を撮影したり、センサ部１２４の前方に位置する実オブジェクトまでの距離をセンシングする。なお、センサ部１２４は、デプスセンサ１２４ｂの代わりに、または追加的に、ステレオカメラを含んでもよい。この場合、当該ステレオカメラが、当該ステレオカメラの前方に位置する実オブジェクトまでの距離をセンシングすることが可能である。
例えば、図１に示したように、載置面３０の上方に情報処理装置１０が配置されている場合には、カメラ１２４ａは、載置面３０および積層プレート３２の画像を撮影する。また、デプスセンサ１２４ｂは、デプスセンサ１２４ｂから載置面３０や積層プレート３２までの距離をセンシングする。
また、情報処理装置１０は、サーバ２０との間で情報の送受信を行うことが可能である。例えば、情報処理装置１０は、表示対象の画像やデジタルデータの取得要求を、後述する通信網２２を介してサーバ２０へ送信する。
｛１−１−２．サーバ２０｝
サーバ２０は、各種の画像や各種のデジタルデータを記憶する装置である。また、サーバ２０は、画像やデジタルデータの取得要求を情報処理装置１０から受信すると、該当の画像やデジタルデータを情報処理装置１０へ送信する。
｛１−１−３．通信網２２｝
通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
＜１−２．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、建築設計や商品設計の場面では、建物の内部や商品の内部構造を関係者に示すために、垂直または水平の断面を示す建築モデル図や商品モデル図が３ＤＣＧを用いて制作されている。しかしながら、３ＤＣＧ画面だけでは実際の形状をイメージし難い。そこで、建築模型や商品モックが別途制作される場合が多いが、この場合、ユーザは３ＤＣＧ画面と模型とを別々に確認する必要があり、不便である。
また、建物の内部や商品の内部構造を複数人で同時に確認可能であることが望ましい。
そこで、上記事情を一着眼点にして、本実施形態による情報処理装置１０を創作するに至った。情報処理装置１０は、実オブジェクトに含まれる面と基準位置との位置関係の認識結果、および、当該実オブジェクトに対応するデジタルデータに基いて、表示部１２２により当該面と関連付けて表示される画像（以下、表示対象の画像と称する）を決定することが可能である。このため、例えば、ユーザが、載置面３０上でプレートを積み上げたり、取り外したりすることにより、プレート上に投影される画像がインタラクティブに変更され得る。
＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
次に、本実施形態による情報処理装置１０の構成について詳細に説明する。図３は、本実施形態による情報処理装置１０の構成を示した機能ブロック図である。図３に示すように、情報処理装置１０は、制御部１００、通信部１２０、表示部１２２、センサ部１２４、および、記憶部１２６を有する。
｛２−１−１．制御部１００｝
制御部１００は、情報処理装置１０に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、情報処理装置１０の動作を統括的に制御する。また、図３に示すように、制御部１００は、検出結果取得部１０２、認識部１０４、関連付け部１０６、決定部１０８、および、表示制御部１１０を有する。
｛２−１−２．検出結果取得部１０２｝
検出結果取得部１０２は、センサ部１２４によるセンシング結果を取得する。例えば、検出結果取得部１０２は、センサ部１２４により撮影された撮影画像や、センサ部１２４により検出された、センサ部１２４の前方に位置する実オブジェクトまでの距離情報を、センサデータとして受信または読出し処理などを行うことにより取得する。
｛２−１−３．認識部１０４｝
認識部１０４は、本開示における取得部の一例である。認識部１０４は、検出結果取得部１０２により取得された検出結果に基いて、センサ部１２４により検出された実オブジェクトの位置、姿勢、形状、素材、および／または、種類などを認識する。例えば、認識部１０４は、検出結果取得部１０２により取得された撮影画像に基いて、当該実オブジェクトの位置、姿勢、形状、素材、および、種類などを認識する。また、認識部１０４は、取得された距離情報に基いて、当該実オブジェクトと、基準位置との位置関係を認識する。例えば、認識部１０４は、検出された載置面３０までの距離情報と、検出された積層プレート３２までの距離情報とを比較することにより、積層プレート３２の高さを認識する。
また、ユーザの手が撮影された場合、認識部１０４は、取得された撮影画像に基いて、ユーザの手の動きを認識する。例えば、認識部１０４は、載置面３０や積層プレート３２に対するユーザの手の動きを認識する。
｛２−１−４．関連付け部１０６｝
関連付け部１０６は、基準位置と実オブジェクトとの位置関係と、デジタルデータとの関連付けを例えば事前に行う。例えば、関連付け部１０６は、載置面３０からの実オブジェクト（積層プレート３２など）の高さとデジタルデータとを関連付ける。例えば、デジタルデータが複数の階層のデータ４０（例えば断面のデータなど）を含む場合には、図４に示したように、関連付け部１０６は、載置面３０からの実オブジェクトの高さが高いほど、より上位の階層のデータ４０を関連付ける。図４に示した例では、関連付け部１０６は、載置面３０からの実オブジェクトの高さが「Ｈ３」から所定の閾値の範囲内である場合と、ある不動産の「屋根」のデジタルデータ４０ａとを関連付ける。また、関連付け部１０６は、載置面３０からの実オブジェクトの高さが「Ｈ２」から所定の閾値の範囲内である場合と、当該不動産の「二階」のデジタルデータ４０ｂとを関連付ける。また、関連付け部１０６は、載置面３０からの実オブジェクトの高さが「Ｈ１」から所定の閾値の範囲内である場合と、当該不動産の「一階」のデジタルデータ４０ｃとを関連付ける。なお、図４に示したように、複数の階層の各々のデータ４０は、基本的に、例えば仮想空間内において当該階層が真上から撮影された画像であり得る。
また、図５に示したように、デジタルデータが例えば頭部ＣＴなどのボリュームデータ４２である場合、関連付け部１０６は、当該ボリュームデータ４２と、載置面３０上に配置されている積層プレート３２の全体または一部とを関連付ける。例えば、図５に示したように、関連付け部１０６は、ボリュームデータ４２に類似するように形成された積層プレート３２全体と、ボリュームデータ４２全体とを関連付ける。
なお、図５に示したように、個々のプレート３２０が水平に形成される例に限定されず、例えば図６に示したように、個々のプレート３２０は斜めに形成されてもよい。この例によれば、利用用途に応じた最適な角度の断面の情報を表示することができる。なお、この場合、例えば個々のプレート３２０は磁石を含み、そして、個々のプレート３２０は当該磁石を介して積層され得る。
また、図７に示したように、関連付け部１０６は、商品４４の内部構造のデータと、例えば商品４４と同じサイズで形成された積層プレート３２とを関連付ける。この例によれば、一番上に積層されているプレート３２０の高さに対応する内部構造が当該プレート３２０上に表示部１２２により投影され得る。このため、個々のプレート３２０をユーザが取り外したり、積み重ねたりすることにより、ユーザは、商品４４の内部構造を容易に確認でき、かつ、実際のスケールで確認できる。
｛２−１−５．決定部１０８｝
（２−１−５−１．決定例１）
決定部１０８は、認識部１０４により認識された、実オブジェクトに含まれる面のうち、当該基準位置との間の距離が最小または最大である面との位置関係、および、当該実オブジェクトに対応するデジタルデータに基いて、表示対象の画像を決定する。
例えば、決定部１０８は、まず、センサ部１２４により検出された実オブジェクトの形状の認識結果に基いて、当該実オブジェクトを特定する。次に、決定部１０８は、特定された実オブジェクトに対応するデジタルデータを例えば記憶部１２６やサーバ２０から取得する。そして、決定部１０８は、載置面３０からの当該実オブジェクトの高さの認識結果と、取得したデジタルデータとに基いて、表示対象の画像を決定する。
例えば、図４に示した例のように、積層プレート３２に対応するデジタルデータが複数の階層のデータ４０を含む場合には、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する階層のデジタルデータ４０の画像を、表示対象の画像として決定する。また、図５および図６に示した例のように、デジタルデータがボリュームデータ４２である場合には、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する、ボリュームデータ４２の断面を示す画像を表示対象の画像として決定する。
また、例えば表示部１２２に最も近いプレートが取り外されたり、当該プレートに対して別のプレートがさらに積層される場合など、表示部１２２に最も近いプレートが変わったことが認識された場合には、決定部１０８は、変化後の、表示部１２２に最も近いプレートと載置面３０との位置関係の認識結果とに基いて、表示対象の画像を決定する。
‐具体例
ここで、図８〜図１１を参照して、上記の内容についてより詳細に説明する。なお、図８〜図１１に示した例では、図４に示したような、載置面３０からの高さと、複数の階層の各々のデータ４０との関連付けが予め行われているものとする。
図８の（ａ）に示したように、載置面３０上に実オブジェクトが載置されていない場合には、決定部１０８は、敷地を示す画像４０ｄのみを表示対象の画像として決定する。また、図９の（ａ）に示したように、（３枚のプレートが積層された）住宅用の積層プレート３２が載置面３０上に載置された場合には、決定部１０８は、載置面３０からの積層プレート３２の高さ（図９に示した例では「Ｈ３」）に関連付けられた「屋根」のデジタルデータ４０の画像を、積層プレート３２上に表示される画像として決定する。同様に、決定部１０８は、敷地を示す画像４０ｄを、載置面３０において積層プレート３２が配置されていない領域に表示される画像として決定する。
また、図９に示した状況からプレート３２０ａが取り外れた場合には、図１０に示したように、決定部１０８は、載置面３０からの積層プレート３２の高さ（図１０に示した例では「Ｈ２」）に関連付けられた「二階」のデジタルデータ４０の画像を、積層プレート３２上に表示される画像として決定する。また、図１０に示した状況からプレート３２０ｂが取り外れた場合には、図１１に示したように、決定部１０８は、載置面３０からの積層プレート３２の高さ（図１１に示した例では「Ｈ１」）に関連付けられた「一階」のデジタルデータ４０の画像を、積層プレート３２上に表示される画像として決定する。
（２−１−５−２．決定例２）
また、決定部１０８は、例えばアプリケーションの種類やモードの設定（例えばシミュレーションモードなど）などに基いて、断面や内部構造以外の種類の画像（例えば環境シミュレーションの結果を示す画像）を表示対象の画像として決定してもよい。例えば、積層プレート３２が載置面３０上に配置されており、かつ、デジタルデータが複数の階層を含む場合には、図１２に示したように、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する階の内部の気流シミュレーション結果を示す画像４６を、表示対象の画像として決定してもよい。または、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する階の内部の温度分布を示す画像を、表示対象の画像として決定してもよい。または、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する階の内部における冷房の効き具合の分布を示す画像を、表示対象の画像として決定してもよい。または、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する階の、人の動線を示す動画像を、表示対象の画像として決定してもよい。
または、決定部１０８は、上述した複数の種類の画像のうちの二種類以上を重畳した画像を表示対象の画像として決定してもよい。例えば、決定部１０８は、載置面３０からの積層プレート３２の高さに対応する階のデジタルデータ４０の画像と、当該階の内部の温度分布を示す画像とを重畳した画像を表示対象の画像として決定してもよい。
｛２−１−６．表示制御部１１０｝
（２−１−６−１．表示対象の画像の表示）
表示制御部１１０は、表示部１２２に対する表示を制御する。例えば、表示制御部１１０は、決定部１０８により決定された表示対象の画像を、該当の実オブジェクトに含まれる面のうち表示部１２２に最も近い面上に表示部１２２に投影させる。
（２−１−６−２．実オブジェクトの天面に応じた表示）
なお、例えば図１３に示したように、表示部１２２に最も近いプレート３２０の天面が斜面である場合には、画像が当該プレート３２０上に投影されると、当該斜面に沿って画像が伸びたように投影され得る。そこで、表示制御部１１０は、画像が投影されるプレートの形状に応じて表示対象の画像を補正することも可能である。例えば、表示制御部１１０は、プレートの天面の形状（角度など）の認識結果に応じて、表示対象の画像を変換および補正を行う。そして、表示制御部１１０は、補正後の画像を該当のプレートの天面上に表示部１２２に投影させることが可能である。
なお、プレートの天面が斜面である場合に限定されず、曲面である場合や、凹凸を含む場合などに関しても、表示制御部１１０は、プレートの天面の形状の認識結果に応じて、表示対象の画像を補正することが可能である。
（２−１−６−３．実オブジェクトとユーザとの位置関係に応じた表示）
また、表示制御部１１０は、積層プレート３２とユーザとの位置関係（または、載置面３０とユーザとの位置関係）に応じて、表示対象の画像を補正することも可能である。例えば、図１４に示したように、積層プレート３２とユーザの顔の位置との位置関係の認識結果に応じて、図１４の（ｂ）に示したように、表示制御部１１０は、表示対象の画像をユーザの顔の方向から見たような画像となるように、当該画像を補正してもよい。または、表示制御部１１０は、積層プレート３２に対するユーザの視線方向の検出結果に応じて、表示対象の画像を視線方向から見たような画像となるように、当該画像を補正してもよい。なお、積層プレート３２とユーザの顔の位置との位置関係は、例えばユーザが位置する環境内に配置されたカメラ（図示省略）やデプスセンサ（図示省略）などのセンシング結果に基いて、認識部１０４により認識され得る。
この補正例によれば、奥行き感を表現することができる。従って、表示対象の画像に対応する断面や内部構造などをより自然に見るような感覚をユーザに与えることができる。
（２−１−６−４．光源と実オブジェクトとの位置関係に応じた表示）
また、表示制御部１１０は、３Ｄシーン内に配置されている仮想の平行光源（太陽など）の位置に応じて、表示対象の画像を補正することも可能である。図１５は、載置面３０からの積層プレート３２の高さに対応する階の内部の画像と、当該階の内部における日照のシミュレーション結果とが重畳された画像４０が積層プレート３２上に投影されている例を示した図である。なお、図１５に示した例では、３Ｄシーンにおいて仮想の太陽８０が配置されていることを前提としている。また、仮想の太陽８０の位置を示すアイコンが載置面３０上に投影されてもよい。
例えば、図１５に示した状態から図１６に示した状態へ変更されるように、例えば積層プレート３２の位置や向きが載置面３０上でユーザに変更されることにより、仮想の太陽８０と積層プレート３２との位置関係が変更されたとする。この場合、表示制御部１１０は、当該位置関係の変更に応じて、表示対象の画像を補正することも可能である。例えば、表示制御部１１０は、当該位置関係の変更に応じて、建物の窓から差し込む日差しや影が変化するように当該画像を補正し、そして、補正後の画像を表示部１２２に逐次投影させる。この表示例によれば、載置面３０上で積層プレート３２の位置や仮想の太陽８０のアイコンの位置をユーザが任意に動かすことにより、屋内に差し込む日差しや、屋内に生じる影の変化をシミュレーションすることができる。
（２−１−６−５．ＧＵＩの表示）
‐表示例１
また、表示制御部１１０は、さらに、例えばアイコンなどのＵＩオブジェクトを載置面３０上に投影させることも可能である。なお、同じＵＩオブジェクトが複数表示される場合には、特に処理を行わないと、表示部１２２により近い実オブジェクト上に投影されるＵＩオブジェクトほど、より小さいサイズで投影されてしまう。その結果、ＵＩオブジェクトをユーザが操作し難くなり得る。また、一般的に、アイコンなどのオブジェクトは、人間の指の太さに応じてサイズが設定されているので、高さが異なる実オブジェクト上に投影される場合であっても、同じサイズで投影されることが望ましい。
そこで、表示制御部１１０は、個々のＵＩオブジェクト５０が投影される面の、載置面３０からの高さ（または、個々のＵＩオブジェクト５０が投影される面と表示部１２２との距離）の認識結果に応じて、個々のＵＩオブジェクト５０のサイズを補正することが望ましい。これにより、図１７に示したように、同一のＵＩオブジェクト５０が投影される面の高さが異なる場合であっても、個々のＵＩオブジェクト５０は同じサイズで投影され得る。
‐表示例２
ところで、例えば図５に示した例のように、デジタルデータがボリュームデータ４２である場合には、積層プレート３２のうち表示部１２２に最も近いプレート３２０の天面の高さに対応する画像が当該プレート３２０に投影され得る。つまり、積層プレート３２に対してプレートが一枚取り外されたり、一枚積み重ねられると、ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する間隔だけずれた画像がプレート上に投影され得る。このため、該当のプレートをユーザが手で上下させることにより、ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する範囲の中間に位置する画像をプレート上に投影させることができる。
一方で、ボリュームデータ４２の高さ方向に関してユーザの所望の高さの画像が、手作業によらずに、より容易に投影可能であることも望まれる。例えば、ボリュームデータ４２の高さ方向に関して、一枚のプレートに対応する範囲のスケールが可変であることが望ましい。そこで、表示制御部１１０は、図１８に示したような、当該スケールを変更可能なＧＵＩ５０を載置面３０上に投影させることも可能である。図１８に示したように、ＧＵＩ５０は、例えば、スケール変更バー５００、オフセットレベル入力欄５０４、および、画像切り替え設定欄５０６を含み得る。ここで、スケール変更バー５００は、スケール拡大ボタン５０２ａ、および、スケール縮小ボタン５０２ｂを含み得る。スケール拡大ボタン５０２ａまたはスケール縮小ボタン５０２ｂは、ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する範囲のスケールを拡大したり、縮小するためのボタンである。例えば、スケール縮小ボタン５０２ｂがユーザに押下されると、図１９に示したように、一枚のプレート３２０に対応する、ボリュームデータ４２の高さ方向の範囲が「ｈ１」から「ｈ２」に縮小され得る。これにより、ユーザは、一つのプレートを重ねたり、取り外す操作を通して、ボリュームデータ４２の高さ方向に関してより細かい間隔で断層情報を確認することができる。
また、オフセットレベル入力欄５０４は、積層プレート３２に対応するデジタルデータに関して、載置面３０に最も近いプレート３２０に対応するデータの変更量をユーザが指定するための入力欄である。例えば、デジタルデータが複数の階層を含む場合には、載置面３０に最も近いプレート３２０に関連付けることをユーザが希望する階層と最下位の階層との差を示す値がオフセットレベル入力欄５０４に入力され得る。また、デジタルデータがボリュームデータ４２である場合には、載置面３０に最も近いプレート３２０に関連付けることをユーザが希望するデータの範囲の、ボリュームデータ４２の高さ方向に関するオフセット量がオフセットレベル入力欄５０４に入力され得る。
また、画像切り替え設定欄５０６は、積層プレート３２が移動した場合に、積層プレート３２に投影される画像を変更させるか否かを設定するための入力欄である。例えば、画像切り替え設定欄５０６に「ＯＦＦ」が入力されると、仮にユーザが積層プレート３２全体を手で持ち上げたとしても、表示制御部１１０は、積層プレート３２の天面に現在投影されている画像が変わらない（維持する）ように表示制御する。なお、画像切り替え設定欄５０６には、初期状態では「ＯＮ」（つまり、積層プレート３２が移動する度に、積層プレート３２に投影される画像が変更されること）が設定され得る。なお、ＧＵＩ５０は、スケール変更バー５００、オフセットレベル入力欄５０４、および、画像切り替え設定欄５０６の全てを含む例に限定されず、これらのうちのいずれか１個または２個だけを含んでもよい。
｛２−１−７．通信部１２０｝
通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、表示制御部１１０の制御に従って、表示対象の画像やデジタルデータの取得要求をサーバ２０へ送信する。また、通信部１２０は、画像やデジタルデータをサーバ２０から受信する。
｛２−１−８．表示部１２２｝
表示部１２２は、表示制御部１１０の制御に従って、画像を表示する。例えば、表示部１２２は、表示制御部１１０の制御に従って、表示部１２２の前方方向へ画像を投影する。
｛２−１−９．記憶部１２６｝
記憶部１２６は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２６は、関連付け部１０６による関連付けの内容を示す情報を一時的に記憶する。
＜２−２．適用例＞
以上、本実施形態による構成について説明した。次に、本実施形態の適用例について、「２−２−１．適用例１」〜「２−２−２．適用例２」において説明する。
｛２−２−１．適用例１｝
まず、適用例１について説明する。適用例１では、例えば、建築家とクライアントが注文住宅の間取りのシミュレーションを行う場面を想定する。また、適用例１では、例えば図８〜図１１に示したように、住宅の各階層を示す画像が積層プレート３２の天面上に投影される。
ここで、図２０および図２１を参照して、適用例１による処理の流れについて説明する。図２０に示したように、まず、例えば記憶部１２６に記憶されている複数のアプリケーションの中からユーザは住宅間取りシミュレーションアプリを選択し、そして、起動させる（Ｓ１０１）。その後、ユーザは、住宅間取りシミュレーションアプリにおいて、対象のクライアントの案件を選択する（Ｓ１０３）。
その後、表示部１２２は、表示制御部１１０の制御に従って、Ｓ１０３で選択されたクライアント案件に対応する敷地の画像を載置面３０上に投影する（Ｓ１０５）。
続いて、認識部１０４は、載置面３０上に実オブジェクトが配置されているか否かを認識する（Ｓ１０７）。載置面３０上に実オブジェクトが配置されていないと認識された場合には（Ｓ１０７：Ｎｏ）、制御部１００は、後述するＳ１３５の処理を行う。
一方、載置面３０上に実オブジェクトが配置されていることが認識された場合には（Ｓ１０７：Ｙｅｓ）、次に、認識部１０４は、該当の実オブジェクトの形状の認識結果と、例えば記憶部１２６に格納されている既知の実オブジェクトの形状の情報とを比較し、そして、比較結果に基いて、該当の実オブジェクトが新しい実オブジェクトであるか否かを認識する（Ｓ１０９）。該当の実オブジェクトが新しい実オブジェクトであると認識された場合には（Ｓ１０９：Ｙｅｓ）、制御部１００は、該当の実オブジェクトを識別するためのＩＤを該当の実オブジェクトに対して割り当てる。そして、制御部１００は、該当の実オブジェクトのＩＤと、認識部１０４により認識された該当の実オブジェクトの形状の情報とを関連付けて記憶部１２６に格納する（Ｓ１１１）。その後、制御部１００は、後述するＳ１１５の処理を行う。
一方、該当の実オブジェクトが新しい実オブジェクトではない（つまり、既知の実オブジェクトである）と認識された場合には（Ｓ１０９：Ｎｏ）、次に、認識部１０４は、該当の実オブジェクトの位置が直前から変化したか否かを認識する（Ｓ１１３）。該当の実オブジェクトの位置が変化していないと認識された場合には（Ｓ１１３：Ｎｏ）、制御部１００は、後述するＳ１３５の処理を行う。
一方、該当の実オブジェクトの位置が変化したと認識された場合には（Ｓ１１３：Ｙｅｓ）、制御部１００は、該当の実オブジェクトのＩＤと、Ｓ１１３で認識された該当の実オブジェクトの位置とを関連付けて記憶部１２６に格納する（Ｓ１１５）。
ここで、図２１を参照して、Ｓ１１５より後の処理の流れについて説明する。図２１に示したように、Ｓ１１５の後、認識部１０４は、該当の実オブジェクトが、家用の積層プレートであるか否かを認識する（Ｓ１２１）。該当の実オブジェクトが家用の積層プレートではないと認識された場合には（Ｓ１２１：Ｎｏ）、制御部１００は、後述するＳ１３３の処理を行う。
一方、該当の実オブジェクトが家用の積層プレートであると認識された場合には（Ｓ１２１：Ｙｅｓ）、次に、認識部１０４は、（載置面３０からの）該当の実オブジェクトの高さを認識する（Ｓ１２３）。該当の実オブジェクトの高さが「Ｈ１＋α（所定の閾値）」未満であると認識された場合には、決定部１０８は、該当の家の「１階」の画像を表示対象の画像として決定する。そして、表示制御部１１０は、該当の家の「１階」のデータを３Ｄシーン内に配置する（Ｓ１２５）。
一方、該当の実オブジェクトの高さが「Ｈ１＋α」以上「Ｈ２＋α」未満であると認識された場合には、決定部１０８は、該当の家の「２階」の画像を表示対象の画像として決定する。そして、表示制御部１１０は、該当の家の「２階」のデータを３Ｄシーン内に配置する（Ｓ１２７）。
一方、該当の実オブジェクトの高さが「Ｈ２＋α」以上であると認識された場合には、決定部１０８は、該当の家の「屋根」の画像を表示対象の画像として決定する。そして、表示制御部１１０は、該当の家の全体（屋根を含む）のデータを３Ｄシーン内に配置する（Ｓ１２９）。
そして、Ｓ１２５、Ｓ１２７、または、Ｓ１２９の後、表示制御部１１０は、３Ｄシーンに配置された該当の家のデータを、Ｓ１０５と同様のカメラアングルで仮想のカメラツールに撮影させ、そして、撮影された画像を取得する（Ｓ１３１）。そして、表示部１２２は、表示制御部１１０の制御に従って、Ｓ１３１で取得された画像を積層プレート上に投影する（Ｓ１３３）。
その後、住宅間取りシミュレーションアプリの終了の操作がユーザによりなされた場合には（Ｓ１３５：Ｙｅｓ）、当該処理は終了する。一方、住宅間取りシミュレーションアプリの終了の操作がユーザによりなされない場合には（Ｓ１３５：Ｎｏ）、制御部１００は、再びＳ１０７以降の処理を行う。
（変形例）
なお、上記の説明では、Ｓ１２５〜Ｓ１２９において、表示制御部１１０が表示対象の画像に対応する階のデータを３Ｄシーン内に配置する例について説明したが、かかる例に限定されない。変形例として、家のモデリングデータは３Ｄシーン内に固定され得る。そして、Ｓ１２５〜Ｓ１２９では、表示制御部１１０は、当該モデリングデータのうち、表示対象の画像に対応する階よりも上の階のデータを透明化してもよい。
｛２−２−２．適用例２｝
次に、適用例２について説明する。適用例２では、表示対象の画像が、ユーザの手の動きの認識結果に基いて移動可能なＵＩオブジェクトを含むことを想定する。
（２−２−２−１．表示制御部１１０）
適用例２による表示制御部１１０は、表示対象の画像が投影された、プレートの面に接近または接触したユーザの手の動きの認識結果に基いて、当該画像に含まれるＵＩオブジェクトの表示位置を変更することが可能である。例えば、表示制御部１１０は、当該画像に含まれる複数のＵＩオブジェクトのうち、当該面に接触または近接したと認識された際のユーザの手の位置に対応するＵＩオブジェクトの表示位置を、ユーザの手の動きの認識結果に基いて変更する。
また、表示制御部１１０は、当該面とユーザの手との位置関係に基いて、当該画像におけるＵＩオブジェクトの存在を示す表示を当該画像に重畳して表示部１２２に表示させることも可能である。
‐具体例
ここで、図２２〜図２５を参照して、上記の機能についてより詳細に説明する。なお、図２２の（ａ）に示したように、（載置面３０上に配置された）積層プレート３２の天面には、積層プレート３２の高さに応じた階の内部の画像が投影されており、かつ、当該画像は、家具のＵＩオブジェクト５２を含んでいるものとする。この場合、図２２の（ｂ）に示したように、投影されているＵＩオブジェクト５２の表示位置にユーザが手を接近させた場合には、表示制御部１１０は、ＵＩオブジェクト５２の存在を示す、例えば矢印の形のアイコン６０をＵＩオブジェクト５２上に表示部１２２に表示させる。
そして、ＵＩオブジェクト５２の表示位置（または当該表示位置の近傍）に対してユーザの手がタッチ（または近接）され、かつ、ドラッグが認識された場合には、図２３に示したように、表示制御部１１０は、ＵＩオブジェクト５２の表示位置を、認識されたドラッグに応じて移動させる。なお、この際、表示制御部１１０は、ＵＩオブジェクト５２の当初の表示位置を例えば輪郭線などにより表示部１２２にさらに投影させてもよい。
なお、積層プレート３２に対して同時に複数の手指が接近したことが認識された場合には、表示制御部１１０は、当該複数の手指の各々の動きの認識結果に基いて、ＵＩオブジェクト５２の存在を示すアイコン６０をそれぞれ表示させたり、ＵＩオブジェクト５２の表示位置をそれぞれ移動させることが可能である。
この表示例によれば、ユーザはプレート上で手を動かすことにより、該当のプレートに投影されている例えば家具や壁などの位置を自由に変更することができ、そして、変更後のレイアウトを確認することができる。
なお、図２４に示したように、画像が投影されているプレート３２０の天面に対するユーザのタッチ位置の座標に基いて、ユーザの選択対象のＵＩオブジェクト５２が特定され得る。例えば、図２４の（ａ）に示したように、プレート３２０上の位置７０ａがユーザにタッチされた場合には、位置７０ａのＸＹ座標に対応する、壁のＵＩオブジェクト５２ａがユーザに選択されたと判定され得る。また、図２４の（ｂ）に示したように、プレート３２０上の位置７０ｂがユーザにタッチされた場合には、位置７０ｂのＸＹ座標に対応する、テーブルのＵＩオブジェクト５２ｂがユーザに選択されたと判定され得る。
また、図２５に示したように、一つのプレート３２０の天面のＸＹ座標には、複数のＵＩオブジェクト５２が関連付けられてもよい。そして、この場合、例えば、プレート３２０の天面とユーザの手（例えば手指）との間の距離の認識結果に基いて、ユーザの選択対象のＵＩオブジェクト５２が特定され得る。図２５に示した例では、ユーザの手指はプレート３２０から離れて位置しており、かつ、当該手指に対応する、プレート３２０上のＸＹ座標には、照明のＵＩオブジェクト５２ａ、および、テーブルのＵＩオブジェクト５２ｂが関連付けられている。この場合、図２５の（ａ）に示したように、ユーザの手指とプレート３２０との間の距離が大きい場合には、（例えば仮想空間における）Ｚ座標値がより大きいＵＩオブジェクト５２（照明のＵＩオブジェクト５２ａ）がユーザに選択されたと判定されてもよい。また、図２５の（ｂ）に示したように、ユーザの手指とプレート３２０との間の距離が小さい場合には、Ｚ座標値がより小さいＵＩオブジェクト５２（テーブルのＵＩオブジェクト５２ｂ）がユーザに選択されたと判定されてもよい。
（２−２−２−２．処理の流れ）
ここで、図２６および図２７を参照して、適用例２による処理の流れについて説明する。図２６に示したように、まず、認識部１０４は、積層プレートに対してホバーが行われているか否かを認識する（Ｓ２０１）。ここで、ホバーとは、例えば、実オブジェクトに接触することなく、実オブジェクトから少し離れた位置でユーザが指や手を動かす動作であり得る。
積層プレートに対するホバーが認識されていない場合には（Ｓ２０１：Ｎｏ）、認識部１０４は、後述するＳ２１１の処理を行う。一方、積層プレートに対するホバーが認識された場合には（Ｓ２０１：Ｙｅｓ）、認識部１０４は、ホバー中の手指の座標（Ｘ０、Ｙ０、Ｚ０）を特定する（Ｓ２０３）。
その後、表示制御部１１０は、積層プレートに投影されている画像中に、Ｓ２０３で特定された座標を中心として半径Ｒ以内にＵＩオブジェクトが存在するか否かを判定する（Ｓ２０５）。半径Ｒ以内にＵＩオブジェクトが存在しない場合には（Ｓ２０５：Ｎｏ）、認識部１０４は、後述するＳ２１１の処理を行う。
一方、半径Ｒ以内にＵＩオブジェクトが存在する場合には（Ｓ２０５：Ｙｅｓ）、表示部１２２は、表示制御部１１０の制御に従って、該当のＵＩオブジェクトの近傍に矢印アイコンを表示する（Ｓ２０７）。
ここで、図２７を参照して、Ｓ２０７より後の処理の流れについて説明する。図２７に示したように、Ｓ２０７の後、認識部１０４は、積層プレートに対してタッチされているか否かを認識する（Ｓ２１１）。タッチされていないと認識された場合には、（Ｓ２１１：Ｎｏ）、当該処理は終了する。
一方、タッチされていると認識された場合には（Ｓ２１１：Ｙｅｓ）、認識部１０４は、積層プレート上でタッチされた位置の座標（Ｘ１、Ｙ１、Ｙ１）を特定する（Ｓ２１３）。
続いて、表示制御部１１０は、Ｓ２１３で特定された座標と（Ｘ、Ｙ）座標が同じであるＵＩオブジェクトが３Ｄシーン内に存在するか否かを判定する（Ｓ２１５）。該当のＵＩオブジェクトが存在しない場合には（Ｓ２１５：Ｎｏ）、当該処理は終了する。
一方、該当のＵＩオブジェクトが存在する場合には（Ｓ２１５：Ｙｅｓ）、表示制御部１１０は、該当のＵＩオブジェクトの座標を特定する（Ｓ２１７）。続いて、表示制御部１１０は、Ｓ２１３で特定された座標のうちＺ座標を、Ｓ２１７で特定されたオブジェクトのＺ座標と一致させるようにオフセットする（Ｓ２１９）。
その後、認識部１０４は、積層プレート上でドラッグされたか否かを認識する（Ｓ２２１）。ドラッグされていないと認識された場合には（Ｓ２２１：Ｎｏ）、当該処理は終了する。
一方、ドラッグされたと認識された場合には（Ｓ２２１：Ｙｅｓ）、表示制御部１１０は、Ｓ２１７で特定されたＵＩオブジェクトの表示位置を、認識されたドラッグに合わせて移動させる（Ｓ２２３）。そして、当該処理は終了する。
なお、適用例２による処理の流れは、適用例１による処理の流れと組み合わされてもよい。例えば、適用例２による処理の流れは、適用例１によるＳ１３３とＳ１３５との間で実行されてもよい。
＜２−３．効果＞
｛２−３−１．効果１｝
以上説明したように、本実施形態による情報処理装置１０は、実オブジェクトに含まれる面と基準位置との位置関係の認識結果、および、当該実オブジェクトに対応するデジタルデータに基いて、表示対象の画像を決定する。このため、情報処理装置１０は、実オブジェクトと基準位置との位置関係および当該実オブジェクトに適応的に、表示される画像を決定することができる。例えば、ユーザが、載置面３０上でプレートを積み上げたり、取り外したりすることにより、プレート上に投影される画像がインタラクティブに変更され得る。
｛２−３−２．効果２｝
また、情報処理装置１０は、積層プレートに対応するデジタルデータに関して、当該積層プレートの高さに応じた断面の画像を当該積層プレート上に投影することが可能である。このため、ユーザは、例えば、プレートを積み上げたり、取り外したりすることにより、建物の内部や商品の内部構造を容易に、かつ、直感的に確認することができる。
｛２−３−３．効果３｝
また、本実施形態によれば、実オブジェクトの面上に画像が投影され得る。このため、例えば３ＤＣＧの画面だけを見る場合と比較して、ユーザは、実際のスケールを把握しやすい。
｛２−３−４．効果４｝
また、本実施形態は、汎用的でプリミティブなプレートを用いて実現することができる。このため、システムを安価に構成することができる。
｛２−３−５．効果５｝
また、本実施形態によれば、積層プレート上に投影された画像を複数のユーザが同時に見ることができ、同時に操作することができる。例えば、建築設計や商品設計の場面において、複数の関係者が、計画途中の建物の内部や商品の内部構造の画像を見ることにより、細部の設計の検討を共同して行うことができる。
＜２−４．応用例＞
なお、上記の説明では、一以上のプレートが積層され、そして、積層されたプレートの合計の高さに基いて表示対象の画像を決定する例について説明したが、本開示はかかる例に限定されない。次に、本実施形態の応用例について説明する。後述するように、本応用例によれば、個々のプレートは並列に配置され、そして、複数の表示対象の画像を個々のプレート上に表示部１２２に投影させることが可能である。なお、以下では、上記の説明と重複する内容については説明を省略する。
｛２−４−１．関連付け部１０６｝
本応用例による関連付け部１０６は、個々のプレートに関する情報に応じて、個々のプレートと、デジタルデータとを関連付ける。例えば、デジタルデータが複数の階層のデータを含む場合には、関連付け部１０６は、個々のプレートに関する情報に応じて、個々のプレートと、当該複数の階層のデータのうちのいずれかとを関連付ける。ここで、プレートに関する情報は、プレートの高さ、プレートの形状、プレートの色（例えばプレートの外周部分などの色）、プレートに印刷された例えば二次元バーコードなどのマーカ（例えばインビジブルマーカなど）に含まれる情報、プレートに印刷された文字（例えば「１Ｆ」など）、画像、または罫線パターン、プレートの素材、および／または、載置面３０上でプレートが配置されたエリアの情報などを含み得る。また、関連付け部１０６は、個々のプレートの配置または積み上げの時系列情報（例えば、プレートＢ、プレートＡ、プレートＣの順に配置されたことを示す情報など）に応じて、個々のプレート（または積層されたプレート）とデジタルデータとを関連付けてもよい。
ここで、図２８を参照して、上記の機能についてより詳細に説明する。図２８は、個々のプレートの高さに応じて、複数の階層の各々のデータと個々のプレートとが関連付けられる例を示した図である。図２８に示したように、関連付け部１０６は、高さが「Ｈｃ」から所定の閾値の範囲内であるプレート３２０ｃと、ある不動産の「一階」のデジタルデータ４０ｃとを関連付ける。また、関連付け部１０６は、高さが「Ｈｂ」から所定の閾値の範囲内であるプレート３２０ｂと、当該不動産の「二階」のデジタルデータ４０ｂとを関連付ける。また、関連付け部１０６は、高さが「Ｈａ」から所定の閾値の範囲内であるプレート３２０ａと、当該不動産の「屋根」のデジタルデータ４０ａとを関連付ける。
｛２−４−２．決定部１０８｝
本応用例による決定部１０８は、認識部１０４により認識された、個々のプレートに関する情報、および、個々のプレートに対応するデジタルデータに基いて、プレートごとに表示対象の画像を決定する。
例えば、デジタルデータが複数の階層のデータを含む場合には、図２９に示したように、決定部１０８は、まず、センサ部１２４によりセンシングされる範囲内に位置する個々のプレートに関して、当該プレートの高さの認識結果に基いて、当該プレートに対応するデジタルデータを特定する。そして、決定部１０８は、個々のプレートに関して、特定したデジタルデータに基いて、表示対象の画像をそれぞれ決定する。
｛２−４−３．表示制御部１１０｝
本応用例による表示制御部１１０は、認識部１０４により認識された個々のプレートの面上に、決定部１０８により当該プレートに関して決定された表示対象の画像を表示部１２２に投影させる。
以上説明したように、本応用例によれば、個々のプレートは載置面３０上に並列に配置され得る。そして、情報処理装置１０は、個々のプレートに関する情報に応じて決定された表示対象の画像を、個々のプレート上にそれぞれ投影させる。このため、複数の断面を載置面３０上に展開表示することができる。例えば、ユーザは、ある不動産の各階の間取りを一覧的に確認することができる。
＜＜３．ハードウェア構成＞＞
次に、本実施形態による情報処理装置１０のハードウェア構成について、図３０を参照して説明する。図３０に示すように、情報処理装置１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を備える。
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理装置１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
インターフェース１５８は、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を、バス１５６と接続する。
入力装置１６０は、例えばタッチパネル、ボタン、スイッチ、ダイヤル、レバー、または、マイクロフォンなど、ユーザが情報を入力するための入力手段、および、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１５０に出力する入力制御回路などを含む。
出力装置１６２は、例えば、プロジェクタ、液晶ディスプレイ装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、または、ランプなどの表示装置を含む。また、出力装置１６２は、スピーカーなどの音声出力装置を含む。
ストレージ装置１６４は、記憶部１２６として機能する、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置１６６は、例えば通信網２２などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６６は、通信部１２０として機能する。
＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
＜４−１．変形例１＞
例えば、上述した実施形態では、ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する範囲のスケールを、図１８に示したようなＧＵＩ５０に対する操作により変更する例について説明したが、かかる例に限定されない。例えば、情報処理装置１０は、ジェスチャーの認識結果、音声コマンドの認識結果、または、所定の入力デバイスを用いて入力された情報などに基いて、当該スケールを変更することも可能である。
例えば、情報処理装置１０は、図３１に示したような、空中での二本の指の間の距離を変更するジェスチャーの認識結果に基いて、ボリュームデータ４２の高さ方向に関して一枚のプレートに対応する範囲のスケールを変更してもよい。例えば、図３１の（ａ）に示した両手の姿勢から図３１の（ｂ）に示した両手の姿勢へと、両手（または片手）が動かされたことが認識された場合には、情報処理装置１０は、例えば図１９に示したように、一枚のプレートに対応する、ボリュームデータ４２の高さ方向の範囲を縮小してもよい。
＜４−２．変形例２＞
また、例えば図９などでは、載置面３０上に一つの積層プレート３２だけが配置される例を示したが、かかる例に限定されず、載置面３０上に複数の積層プレート３２が配置されてもよい。そして、この場合、情報処理装置１０は、複数の積層プレート３２の各々に関して、当該積層プレート３２上に投影されるデジタルデータの種類を異ならせてもよい。例えば、情報処理装置１０は、積層プレート３２ａには「不動産Ａのレイアウト」を、積層プレート３２ｂには「不動産Ｂのレイアウト」をそれぞれ投影してもよい。また、情報処理装置１０は、積層プレート３２ａには「家のレイアウト画像」を、積層プレート３２ｂには「（当該家の）気流シミュレーションの結果の画像」をそれぞれ投影してもよい。
＜４−３．変形例３＞
また、上述した実施形態では、表示部１２２が画像を載置面３０上に投影する例について説明したが、かかる例に限定されない。例えば、表示部１２２は、メガネ型のディスプレイであり、かつ、情報処理装置１０は、センサ部１２４により検出された実オブジェクトに応じて決定された表示対象の画像を、当該実オブジェクトと関連付けて表示部１２２に表示してもよい。この場合、表示部１２２は、透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。後者の場合、表示部１２２の前方の映像が表示部１２２に付属されているカメラにより撮影され得る。そして、情報処理装置１０は、当該カメラにより撮影された画像に対して表示対象の画像を重畳させて、表示部１２２に表示し得る。
＜４−４．変形例４＞
また、本実施形態による情報処理システムの構成は、図１に示した例に限定されない。例えば、図１では、情報処理装置１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、上述した情報処理装置１０の機能が実現されてもよい。
＜４−５．変形例５＞
また、情報処理装置１０の構成は、図３に示した例に限定されない。例えば、表示部１２２およびセンサ部１２４のうち一以上は情報処理装置１０に含まれる代わりに、情報処理装置１０が通信可能な他の装置に含まれてもよい。この場合、さらに、情報処理装置１０は、図１に示したようなプロジェクタユニットではなく、他の種類の装置であってよい。例えば、情報処理装置１０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、ロボット、または、例えばＨＭＤ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、または、スマートウォッチなどのウェアラブルデバイスであってもよい。
また、上述した制御部１００に含まれる各構成要素をサーバ２０が含む場合には、本開示における情報処理装置は、サーバ２０であってもよい。
＜４−６．変形例６＞
また、上述した各適用例の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得する取得部と、
前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像を決定する決定部と、
を備える、情報処理システム。
（２）
前記位置関係は、前記第１の面と前記基準位置との間の距離である、前記（１）に記載の情報処理システム。
（３）
前記第１の面は、前記実オブジェクトに含まれる面のうち、前記基準位置との間の距離が最小または最大である面である、前記（２）に記載の情報処理システム。
（４）
複数の前記実オブジェクトが所定の空間内に配置され、
前記決定部は、前記複数の実オブジェクトのうち、前記基準位置との間の距離が最小または最大である第１の実オブジェクトの前記第１の面と前記基準位置との位置関係に基いて、前記画像を決定する、前記（１）〜（３）のいずれか一項に記載の情報処理システム。
（５）
前記複数の実オブジェクトのうち、前記基準位置との間の距離が最小または最大である実オブジェクトが、前記第１の実オブジェクトから第２の実オブジェクトに変わったことが認識された場合には、前記決定部は、前記第２の実オブジェクトと前記基準位置との位置関係に基いて、前記第２の実オブジェクトの前記第１の面と関連付けて表示される画像を決定する、前記（４）に記載の情報処理システム。
（６）
前記複数の実オブジェクトの各々は、一方向に並べて配置されている、前記（４）または（５）に記載の情報処理システム。
（７）
前記決定部は、さらに、前記実オブジェクトの形状の認識結果に基いて、前記画像を決定する、前記（１）〜（６）のいずれか一項に記載の情報処理システム。
（８）
前記デジタルデータは、複数の階層のデータを含み、
前記決定部は、前記複数の階層のデータのうち、前記位置関係に対応する階層のデータに基いて、前記画像を決定する、前記（１）〜（７）のいずれか一項に記載の情報処理システム。
（９）
前記デジタルデータは、複数の階層のデータを含み、
前記決定部は、前記複数の階層のデータのうち、前記実オブジェクトに対応する階層のデータに基いて、前記画像を決定する、前記（１）〜（７）のいずれか一項に記載の情報処理システム。
（１０）
前記デジタルデータは、三次元のデータであり、
前記決定部は、前記デジタルデータの、前記位置関係に応じた断面を示す画像を、前記第１の面と関連付けて表示される画像として決定する、前記（１）〜（７）のいずれか一項に記載の情報処理システム。
（１１）
複数の前記実オブジェクトが所定の空間内に配置され、
前記デジタルデータにおける前記複数の実オブジェクトの各々に対応するデータの範囲は、互いに異なる、前記（１０）に記載の情報処理システム。
（１２）
前記複数の実オブジェクトは、第１の実オブジェクトを含み、
前記デジタルデータのうち、前記第１の実オブジェクトに対応するデータの範囲は、ユーザの指定に基いて変更される、前記（１１）に記載の情報処理システム。
（１３）
前記情報処理システムは、前記デジタルデータのうち、前記第１の実オブジェクトに対応するデータの範囲を変更するための操作画像を表示部に表示させる表示制御部をさらに備える、前記（１２）に記載の情報処理システム。
（１４）
前記情報処理システムは、前記決定部により決定された画像を前記第１の面と関連付けて表示部に表示させる表示制御部をさらに備える、前記（１）〜（１２）のいずれか一項に記載の情報処理システム。
（１５）
前記表示部は、投影部であり、
前記表示制御部は、前記決定部により決定された画像を前記第１の面上に前記投影部に投影させる、前記（１４）に記載の情報処理システム。
（１６）
前記画像は、仮想オブジェクトを含み、
前記表示制御部は、前記第１の面に接近または接触した、ユーザの手の動きの認識結果に基いて、前記画像における前記仮想オブジェクトの表示位置を変更する、前記（１４）または（１５）に記載の情報処理システム。
（１７）
前記画像は、複数の前記仮想オブジェクトを含み、
前記表示制御部は、前記複数の仮想オブジェクトのうち、前記第１の面に接触または近接したと認識された前記ユーザの手の位置に対応する仮想オブジェクトの表示位置を、前記ユーザの手の動きの認識結果に基いて変更する、前記（１６）に記載の情報処理システム。
（１８）
前記表示制御部は、前記第１の面と前記ユーザの手との位置関係に基いて、前記画像における前記仮想オブジェクトの存在を示す表示を前記画像に重畳して前記表示部に表示させる、前記（１６）または（１７）に記載の情報処理システム。
（１９）
実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得することと、
前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像をプロセッサが決定することと
を含む、情報処理方法。
（２０）
コンピュータを、
実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得する取得部と、
前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像を決定する決定部、
として機能させるための、プログラム。
１０ 情報処理装置
２０ サーバ
２２ 通信網
１００ 制御部
１０２ 検出結果取得部
１０４ 認識部
１０６ 関連付け部
１０８ 決定部
１１０ 表示制御部
１２０ 通信部
１２２ 表示部
１２４ センサ部
１２６ 記憶部

Claims (20)

  1. 複数のプレートが積層された実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得する取得部と、
    前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像を決定する決定部と、
    前記決定部により決定された前記画像と、前記第１の面に対応して前記実オブジェクトの内部における環境シミュレーションの結果を示すシミュレーション画像とを重畳し、前記第１の面と関連付けて表示部に表示させる表示制御部と、
    を備える、情報処理システム。
  2. 前記位置関係は、前記第１の面と前記基準位置との間の距離である、請求項１に記載の情報処理システム。
  3. 前記第１の面は、前記実オブジェクトに含まれる面のうち、前記基準位置との間の距離が最小または最大である面である、請求項２に記載の情報処理システム。
  4. 複数の前記実オブジェクトが所定の空間内に配置され、
    前記決定部は、前記複数の実オブジェクトのうち、前記基準位置との間の距離が最小または最大である第１の実オブジェクトの前記第１の面と前記基準位置との位置関係に基いて、前記画像を決定する、請求項１乃至請求項３の何れか１項に記載の情報処理システム。
  5. 前記複数の実オブジェクトのうち、前記基準位置との間の距離が最小または最大である実オブジェクトが、前記第１の実オブジェクトから第２の実オブジェクトに変わったことが認識された場合には、前記決定部は、前記第２の実オブジェクトと前記基準位置との位置関係に基いて、前記第２の実オブジェクトの前記第１の面と関連付けて表示される画像を決定する、請求項４に記載の情報処理システム。
  6. 前記複数の実オブジェクトの各々は、一方向に並べて配置されている、請求項４または請求項５に記載の情報処理システム。
  7. 前記決定部は、さらに、前記実オブジェクトの形状の認識結果に基いて、前記画像を決定する、請求項１乃至請求項６の何れか１項に記載の情報処理システム。
  8. 前記デジタルデータは、複数の階層のデータを含み、
    前記決定部は、前記複数の階層のデータのうち、前記位置関係に対応する階層のデータに基いて、前記画像を決定する、請求項１乃至請求項７の何れか１項に記載の情報処理システム。
  9. 前記デジタルデータは、複数の階層のデータを含み、
    前記決定部は、前記複数の階層のデータのうち、前記実オブジェクトに対応する階層のデータに基いて、前記画像を決定する、請求項１乃至請求項７の何れか１項に記載の情報処理システム。
  10. 前記デジタルデータは、三次元のデータであり、
    前記決定部は、前記デジタルデータの、前記位置関係に応じた断面を示す画像を、前記第１の面と関連付けて表示される画像として決定する、請求項１乃至請求項７の何れか１項に記載の情報処理システム。
  11. 複数の前記実オブジェクトが所定の空間内に配置され、
    前記デジタルデータにおける前記複数の実オブジェクトの各々に対応するデータの範囲は、互いに異なる、請求項１０に記載の情報処理システム。
  12. 前記複数の実オブジェクトは、第１の実オブジェクトを含み、
    前記デジタルデータのうち、前記第１の実オブジェクトに対応するデータの範囲は、ユーザの指定に基いて変更される、請求項１１に記載の情報処理システム。
  13. 前記表示制御部は、前記デジタルデータのうち、前記第１の実オブジェクトに対応するデータの範囲を変更するための操作画像を表示部に表示させる、請求項１２に記載の情報処理システム。
  14. 前記決定部により決定された前記画像は、住宅の所定階の内部に関する前記デジタルデータを示す画像であり、
    前記シミュレーション画像は、前記住宅の所定階の内部における前記環境シミュレーションの結果を示す画像である、請求項１乃至請求項１３の何れか１項に記載の情報処理システム。
  15. 前記表示部は、投影部であり、
    前記表示制御部は、前記決定部により決定された画像を前記第１の面上に前記投影部に投影させる、請求項１乃至請求項１４の何れか１項に記載の情報処理システム。
  16. 前記画像は、仮想オブジェクトを含み、
    前記表示制御部は、前記第１の面に接近または接触した、ユーザの手の動きの認識結果に基いて、前記画像における前記仮想オブジェクトの表示位置を変更し、前記表示位置の変更に応じ、前記決定部により決定された前記画像と前記シミュレーション画像とを重畳した画像を補正する、請求項１乃至請求項１５の何れか１項に記載の情報処理システム。
  17. 前記画像は、複数の前記仮想オブジェクトを含み、
    前記表示制御部は、前記複数の仮想オブジェクトのうち、前記第１の面に接触または近接したと認識された前記ユーザの手の位置に対応する仮想オブジェクトの表示位置を、前記ユーザの手の動きの認識結果に基いて変更し、前記表示位置の変更に応じ、前記決定部により決定された前記画像と前記シミュレーション画像とを重畳した画像を補正する、請求項１６に記載の情報処理システム。
  18. 前記表示制御部は、前記第１の面と前記ユーザの手との位置関係に基いて、前記画像における前記仮想オブジェクトの存在を示す表示を前記画像に重畳して前記表示部に表示させる、請求項１６または請求項１７に記載の情報処理システム。
  19. 複数のプレートが積層された実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得することと、
    前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像をプロセッサが決定することと、
    前記プロセッサが、決定した前記画像と、前記第１の面に対応して前記実オブジェクトの内部における環境シミュレーションの結果を示すシミュレーション画像とを重畳し、前記第１の面と関連付けて表示部に表示させることと
    を含む、情報処理方法。
  20. コンピュータを、
    複数のプレートが積層された実オブジェクトに含まれる第１の面と、基準位置との位置関係の認識結果を取得する取得部と、
    前記位置関係の認識結果と、前記実オブジェクトに対応するデジタルデータとに基いて、前記第１の面と関連付けて表示される画像を決定する決定部と、
    前記決定部により決定された前記画像と、前記第１の面に対応して前記実オブジェクトの内部における環境シミュレーションの結果を示すシミュレーション画像とを重畳し、前記第１の面と関連付けて表示部に表示させる表示制御部、
    として機能させるための、プログラム。
JP2016168774A 2016-08-31 2016-08-31 情報処理システム、情報処理方法、およびプログラム Active JP6980990B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016168774A JP6980990B2 (ja) 2016-08-31 2016-08-31 情報処理システム、情報処理方法、およびプログラム
KR1020197004684A KR20190039524A (ko) 2016-08-31 2017-07-24 정보 처리 시스템, 정보 처리 방법, 및 프로그램
PCT/JP2017/026738 WO2018042948A1 (en) 2016-08-31 2017-07-24 Information processing system, method of information processing, and program
CN201780051318.4A CN109642788A (zh) 2016-08-31 2017-07-24 信息处理系统、信息处理方法以及程序
EP17755265.0A EP3507569A1 (en) 2016-08-31 2017-07-24 Information processing system, method of information processing, and program
US16/319,653 US20210287330A1 (en) 2016-08-31 2017-07-24 Information processing system, method of information processing, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168774A JP6980990B2 (ja) 2016-08-31 2016-08-31 情報処理システム、情報処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2018036813A JP2018036813A (ja) 2018-03-08
JP2018036813A5 JP2018036813A5 (ja) 2019-09-26
JP6980990B2 true JP6980990B2 (ja) 2021-12-15

Family

ID=59683989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168774A Active JP6980990B2 (ja) 2016-08-31 2016-08-31 情報処理システム、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US20210287330A1 (ja)
EP (1) EP3507569A1 (ja)
JP (1) JP6980990B2 (ja)
KR (1) KR20190039524A (ja)
CN (1) CN109642788A (ja)
WO (1) WO2018042948A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7078221B2 (ja) * 2018-03-30 2022-05-31 株式会社バンダイナムコアミューズメント 投影システム
US11151751B2 (en) * 2018-11-08 2021-10-19 Rovi Guides, Inc. Methods and systems for augmenting visual content
KR102260193B1 (ko) * 2019-12-30 2021-06-03 주식회사 버넥트 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
CN111207672B (zh) * 2019-12-31 2021-08-17 上海简家信息技术有限公司 一种ar量房方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3743988B2 (ja) 1995-12-22 2006-02-08 ソニー株式会社 情報検索システムおよび方法、並びに情報端末
JP2003203194A (ja) * 2001-08-17 2003-07-18 Ohbayashi Corp 風環境予測プログラム、このプラグラムを格納した媒体および風環境予測方法
JP4785662B2 (ja) * 2005-10-03 2011-10-05 キヤノン株式会社 情報処理装置、情報処理方法
JP4660771B2 (ja) * 2006-09-27 2011-03-30 国立大学法人岐阜大学 三次元像表示装置
JP5207167B2 (ja) * 2007-12-12 2013-06-12 国立大学法人岐阜大学 投影システムの校正装置
JP5024766B2 (ja) * 2008-03-11 2012-09-12 国立大学法人岐阜大学 三次元表示装置
US20100138793A1 (en) * 2008-12-02 2010-06-03 Microsoft Corporation Discrete objects for building virtual environments
CA2836505C (en) * 2011-05-23 2018-10-30 Lego A/S Generation of building instructions for construction element models
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102426486B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法及被操作设备
JP6000553B2 (ja) * 2012-01-24 2016-09-28 キヤノン株式会社 情報処理装置及びその制御方法
KR20160102412A (ko) * 2013-12-27 2016-08-30 소니 주식회사 제어 장치, 제어 방법 및 컴퓨터 프로그램
JP6270495B2 (ja) * 2014-01-16 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
JPWO2015159548A1 (ja) * 2014-04-18 2017-04-13 Ｎｅｃソリューションイノベータ株式会社 投影制御装置、投影制御方法及び投影制御プログラム

Also Published As

Publication number Publication date
JP2018036813A (ja) 2018-03-08
CN109642788A (zh) 2019-04-16
WO2018042948A1 (en) 2018-03-08
US20210287330A1 (en) 2021-09-16
KR20190039524A (ko) 2019-04-12
EP3507569A1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
US11762478B2 (en) Virtual or augmediated topological sculpting, manipulation, creation, or interaction with devices, objects, materials, or other entities
US10564731B2 (en) Processing of gesture-based user interactions using volumetric zones
JP6980990B2 (ja) 情報処理システム、情報処理方法、およびプログラム
CN103261997B (zh) 用于控制显示的信息的用户输入的装置和方法
CN104081307B (zh) 图像处理装置、图像处理方法和程序
CN103677240B (zh) 虚拟触摸交互方法和虚拟触摸交互设备
CN112313605A (zh) 增强现实环境中对象的放置和操纵
JPWO2018025511A1 (ja) 情報処理装置、方法、および、コンピュータプログラム
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
WO2018042923A1 (ja) 情報処理システム、情報処理方法、およびプログラム
WO2020197914A1 (en) Systems and methods for tracking

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210820

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210830

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R151 Written notification of patent or utility model registration

Ref document number: 6980990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151