JP6742701B2 - 情報処理装置、その制御方法及びプログラム - Google Patents

情報処理装置、その制御方法及びプログラム Download PDF

Info

Publication number
JP6742701B2
JP6742701B2 JP2015135540A JP2015135540A JP6742701B2 JP 6742701 B2 JP6742701 B2 JP 6742701B2 JP 2015135540 A JP2015135540 A JP 2015135540A JP 2015135540 A JP2015135540 A JP 2015135540A JP 6742701 B2 JP6742701 B2 JP 6742701B2
Authority
JP
Japan
Prior art keywords
virtual object
interference
virtual
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015135540A
Other languages
English (en)
Other versions
JP2017016577A5 (ja
JP2017016577A (ja
Inventor
将之 林
将之 林
武本 和樹
和樹 武本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015135540A priority Critical patent/JP6742701B2/ja
Priority to US15/201,113 priority patent/US10706625B2/en
Publication of JP2017016577A publication Critical patent/JP2017016577A/ja
Publication of JP2017016577A5 publication Critical patent/JP2017016577A5/ja
Application granted granted Critical
Publication of JP6742701B2 publication Critical patent/JP6742701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/21Collision detection, intersection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本発明は、仮想空間の画像を描画して表示する情報処理装置、その制御方法及びプログラムに関する。
近年、設計・製造分野において、プロトタイプを用いた評価の期間短縮や費用削減が求められている。CAD(コンピュータ支援設計)システムで作成した形状やデザイン等の設計データを用いて、組み立てやすさやメンテナンス性等を評価するための複合現実感(MR:Mixed Reality)システムが導入されている。
複合現実感システムを利用しての評価項目の例として、工具を目的の部品以外に干渉させずに作業が行えるかどうかを評価するというものがある。このような評価を行うための複合現実感システムでは、システム体験者が仮想物体(例えば工具)を動かして別の仮想物体(部品)に干渉させた場合に、その干渉部位を強調して提示する機能が求められることがある。その単純な実現方式として、干渉部位の表示色を予め定めておいた強調色に変更して提示する方式がある。しかしながら、この方式では、システム体験者の視点と干渉部位との間を遮蔽する仮想物体(遮蔽物)により干渉部位が隠されている場合、干渉部位を提示できなくなるという問題がある。
この対策として、特許文献1では、干渉する仮想物体の全体の表示色を変更して該仮想物体の画像を生成する方式が開示されている。この方式では、仮想物体の頂点ごとに異なる強調色を予め設定しておき、干渉が生じた際は、仮想物体全体の色を干渉部位に対応する頂点に設定された強調色に変えることで干渉部位を提示する。そのため、遮蔽物により干渉部位そのものがシステム体験者から見えなくなっている場合でも、干渉している仮想物体の少なくとも一部が見えていれば、各頂点と強調色との対応から干渉部位を把握することができる。
特許第4756899号公報
複合現実感システムにおいて仮想物体同士が干渉しており、システム体験者の視点からはその干渉部位の一部又は全体が遮蔽物によって隠されている状況を考える。
この状況においては、干渉部位の表示色を強調色に変更するだけでは、システム体験者に干渉部位を提示することが難しい。
また、特許文献1では、仮想物体の全体の表示色を変更することで、干渉部位そのものが隠されていても、仮想物体の一部が見えている状況では干渉部位がわかるようになっている。しかしながら、干渉部位そのものを可視的に表示することについては開示されていない。また、仮想物体の全体が見えていない状況では、干渉部位を提示できなくなる。
本発明は上記のような点に鑑みてなされたものであり、システム体験者の視点と干渉部位との間を遮蔽する仮想物体がある場合にも、干渉部位を視覚的に提示できるようにすることを目的とする。
本発明の情報処理装置は、仮想空間の画像を描画して表示する情報処理装置であって、仮想物体をユーザが頭部に装着する表示装置の位置姿勢に対応する仮想視点から見た画像として描画する仮想物体描画手段と、前記仮想物体描画手段で描画される仮想物体同士の干渉の有無を判定する干渉判定手段と、前記干渉判定手段で第1仮想物体と第2仮想物体が干渉していると判定された場合に、前記第1仮想物体と前記第2仮想物体の干渉によって生じる断面の輪郭線算出する干渉部位算出手段と、前記干渉部位算出手段で算出される輪郭線を、前記仮想視点から見て、前記第1仮想物体または前記第2仮想物体によって隠される部分も含めて、前記第1仮想物体及び前記第2仮想物体のいずれよりも手前に描画する干渉部位描画手段とを備え、前記仮想視点から見て、前記ユーザの手を表す仮想物体が、前記第1仮想物体と前記第2仮想物体とが干渉する部分を隠す場合、前記輪郭線を、前記第1仮想物体と前記第2仮想物体及び前記ユーザの手を表す仮想物体の全ての手前に描画することを特徴とする。
本発明によれば、システム体験者の視点と干渉部位との間を遮蔽する仮想物体がある場合にも、干渉部位を視覚的に提示することができる。これにより、組み立てやすさやメンテナンス性等を評価する際に、仮想物体同士の干渉部位がわかりやすくなり、評価を効率的に行うことができる。
第1の実施形態に係る情報処理装置の機能構成を示すブロック図である。 第1の実施形態に係る情報処理装置の処理動作を示すフローチャートである。 第1の実施形態における干渉部位描画処理の詳細を示すフローチャートである。 仮想空間の画像の例を示す模式図である。 仮想空間の画像の例を示す模式図である。 仮想空間の画像の例を示す模式図である。 第2の実施形態における干渉部位描画処理の詳細を示すフローチャートである。 仮想空間の画像の例を示す模式図である。 第3の実施形態における干渉部位描画処理の詳細を示すフローチャートである。 仮想空間の画像の例を示す模式図である。 実施形態に係る情報処理装置を実現するためのハードウェア構成例を示すブロック図である。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
[第1の実施形態]
図1は、第1の実施形態に係る情報処理装置の機能構成を示すブロック図である。
本実施形態に係る情報処理装置は、カメラ107から取り込んだ現実空間の画像と情報処理装置で描画した仮想空間の画像とを合成し、複合現実感映像として表示部110に表示する。
仮想物体データベース101は、仮想物体のモデルを保持するデータベースである。仮想物体のモデルは、例えば形状、表示色、初期位置姿勢を含んでいる。
カメラ107は、現実空間を撮影した画像を情報処理装置に取り込む。
位置姿勢入力部108は、カメラ107から取り込んだ現実空間の画像に基づいて、現実空間におけるカメラ107の位置姿勢を推定する。本実施形態では、カメラ107の位置姿勢がシステム体験者の視点位置姿勢と一致しているものとする。また、ここでは図示していないが、現実空間中には仮想物体の位置姿勢を定めるためのマーカが設置されており、システム体験者がこのマーカを動かすことによって仮想物体の位置姿勢を変更することができるものとする。なお、本発明を適用するにあたり、システム体験者の視点位置姿勢や仮想物体の位置姿勢を決定する方式はこれに限られるものではない。
仮想物体位置姿勢更新部102は、位置姿勢入力部108から入力されたシステム体験者の視点位置姿勢及び仮想物体の位置姿勢に基づいて、仮想視点、仮想物体を配置し、仮想空間を構築する。本実施形態では、仮想物体の形状を3次元の頂点の集合とその頂点を結んだ三角形ポリゴンの集合で表現する。そのため、仮想物体位置姿勢更新部102は、各仮想物体の各頂点の座標値を、カメラ107の光学中心を原点とした3次元の座標系における座標値に変換する。
仮想物体描画部104は、仮想物体を仮想視点から見た画像として描画する。3次元の仮想物体を描画する際には、本来見えないはずの線や面を描画しないようにすることで仮想物体の前後関係を正しく表現する、陰線・陰面処理が用いられる。
干渉判定部103は、仮想物体の位置姿勢及び形状に基づいて、仮想物体同士の干渉の有無を判定する。2つの仮想物体同士の干渉判定は、以下の手順で実現する。まず、それぞれの仮想物体から三角形ポリゴンを一つずつ取り出し、その三角形ポリゴン同士が交差しているかどうかを判定する。これを全ての三角形ポリゴンの組み合わせに対して行い、一つでも交差している場合は仮想物体同士が干渉していると判定する。さらに、この処理を全ての仮想物体の組み合わせに対して行う。なお、本発明を適用するにあたり、干渉の判定方式はこれに限られるものではない。
干渉部位算出部105は、干渉判定部103で干渉していると判定された仮想物体同士の干渉部位を算出する。本実施形態では、干渉部位を交差している三角形ポリゴンの集合と、交線の集合として表現する。なお、本発明を適用するにあたり、干渉部位の算出方式はこれに限られるものではない。
干渉部位描画部106は、仮想物体描画部104で描画された画像に対して、干渉部位算出部105で算出された干渉部位を重ねて描画する。干渉部位の描画の際は、陰線・陰面処理を無効化することで、仮想物体との前後関係によらず全ての干渉部位を描画する。すなわち、干渉部位は、仮想視点から見て、仮想物体描画部104で描画される仮想物体よりも手前に描画される。
本実施形態では、干渉部位の描画方法として、交線の集合を予め設定されたスタイルの線で描画する。予め設定された線のスタイルとは、色、線幅、パターン(線種)等のことであり、仮想物体同士の干渉部位の交線を例えば赤い太線で描画することで強調する。これを、干渉部位の強調表示と呼ぶ。これにより、システム体験者は干渉部位を把握することができる。
カメラ画像合成部109は、カメラ107から取り込んだ現実空間の画像に対して、仮想物体描画部104及び干渉部位描画部106で描画された仮想空間の画像を合成する。
表示部110は、ステレオ立体視が可能なビデオシースルー型HMD(Head Mounted Display)とする。HMDでは、カメラ及びディスプレイのペアが右目用及び左目用にそれぞれ取り付けられている。そのため、カメラ107、仮想物体描画部104、干渉部位描画部106、カメラ画像合成部109は、右目用及び左目用の画像を生成する。なお、表示部110の構成はこれに限られるものではない。
本実施形態では、現実空間の画像と仮想空間の画像とを合成し、複合現実感映像とする複合現実感システムを例に説明したが、それに限られるものではなく、本発明は仮想空間の画像を描画する情報処理装置であれば適用可能である。
図2に、第1の実施形態に係る情報処理装置の処理動作を示す。図4に、仮想空間の画像の例を示す。以下では、図4(a)に示すように、箱状の仮想物体401と円柱状の仮想物体402とが配置される状況を例として説明する。
ステップS201で、情報処理装置は、仮想物体データベース101から仮想物体401、402のモデルを読み込む。
ステップS202で、情報処理装置は、カメラ107で撮影された現実空間の画像を取り込む。
ステップS203で、仮想物体位置姿勢更新部102は、位置姿勢入力部108から入力されるカメラ107や仮想物体401、402の位置姿勢を定めるためのマーカの情報を、仮想物体401、402及び仮想視点の位置姿勢に反映させる。
ステップS204で、仮想物体描画部104は、一般的な陰線・陰面処理である奥行きバッファ(Zバッファ)を用いた判定を有効化し、ステップS205で、仮想物体401、402を描画する。これにより、仮想物体401、402を描画する際に、各画素における仮想物体401、402の奥行き値が、奥行きバッファの対応画素に保存されている値よりも小さい場合にのみ、その画素に仮想物体401、402を描画するよう処理される。また、奥行きバッファの対応画素の奥行き値も更新される。その結果、図4(a)に相当する画像が描画される。なお、本発明を適用するにあたり、陰線・陰面処理は、奥行きバッファを用いた判定に限られるものではない。
本実施形態では、仮想空間における仮想視点は、現実空間におけるカメラ107の位置姿勢と一致させる。これは、現実空間におけるシステム体験者の視点と、カメラ107の位置姿勢とが一致していると仮定しているためである。
また、現実空間中には仮想物体401、402それぞれの位置姿勢を定めるためのマーカが設置されており、システム体験者がこのマーカを動かすことによって仮想物体401、402の位置姿勢を変更することができるものとする。
ステップS206で、干渉判定部103は、仮想物体位置姿勢更新部102で更新された仮想物体401、402の位置姿勢及び形状に基づいて、仮想物体401、402が干渉しているかどうかを判定する。干渉が生じていた場合、ステップS208に進み、干渉が生じていない場合、ステップS207に進む。図4(b)は、図4(a)の状態からシステム体験者が仮想物体402に対応するマーカを移動させ、仮想物体402が仮想物体401に干渉した状況を示す。
ステップS208で、干渉部位算出部105は、干渉判定部103で干渉していると判定された仮想物体401、402の干渉部位を算出する。
ステップS209で、干渉部位描画部106は、干渉部位描画処理を実行し、その後、ステップS207に進む。
ここで、図3を参照して、ステップS209の干渉部位描画処理の詳細を説明する。
ステップ301で、奥行きバッファを用いた陰線・陰面処理を無効化する。これにより、その後のステップで描画するグラフィックスは前後関係を考慮せず、全ての線と面を既に描画済みの画像に重ねて描画するようになる。
ステップS302で、ステップS205で描画された画像に対して、干渉部位の交線(境界線)を予め設定された色の太線で描画する。その結果、図4(b)に示すように、仮想物体401、402に干渉部位の強調表示403が重ね描きされた画像が生成される。この画像では、仮想物体402の下部は仮想物体401との前後関係を考慮した陰線・陰面処理によって描かれていない。それに対して、干渉部位の強調表示403は、仮想物体402により陰線となる部分(上半分)も含めた全ての線が描画されている。これにより、干渉部位を視覚的に提示することができ、システム体験者は干渉部位を容易に把握することができる。
図2に説明を戻して、ステップS207で、カメラ画像合成部109は、以上のようにして描画された仮想物体401、402及び干渉部位の強調表示403を、カメラ107から取り込んだ現実空間の画像と合成して、表示部110に表示する。その後、ステップ202に戻り、以降を繰り返すことで、現実空間の撮影と、その撮影画像に対する仮想空間の画像の重畳とを連続的に行う複合現実感映像をシステム体験者に提示することができる。
本実施形態では、表示部110にステレオ視が可能なHMDを用いるので、ステップS202からS209は、右目用及び左目用それぞれで行われる。これにより、HMDを装着するシステム体験者は右目用及び左目用の映像の見え方の違いから、立体的な複合現実感映像を体験することができる。干渉部位の強調表示403を描画する際には、奥行きバッファを用いた陰線・陰面処理を無効化するため、2次元画像だけでは、線や面の隠れ方を手掛かりとした仮想物体との前後関係の把握が難しくなる可能性がある。そのため、ステレオ立体視を用いることで、両眼視差による奥行き知覚を手掛かりとした前後関係の把握が可能なHMDが適している。
次に、図4(c)を参照して、システム体験者の視点と干渉部位との間を遮蔽する仮想物体(遮蔽物)が存在する状況について説明する。ここでは、システム体験者の手をモデル化した仮想物体が遮蔽物404である例として説明する。遮蔽物404も仮想物体であるため、仮想物体401、402と同様に図2のフローチャートにおけるステップS205で描画される。すなわち、奥行きバッファを用いた陰線・陰面処理が有効化されており、遮蔽物404の後ろに配置されている仮想物体401、402の一部は描画されない。その一方で、仮想物体401、402の干渉部位の強調表示403は陰線・陰面処理が無効化されているため、全ての仮想物体よりも手前に描画される。これにより、図4(c)に示すように、干渉部位を視覚的に提示することができ、システム体験者は干渉部位を容易に把握することができる。
また、図4(d)を参照して、カメラ画像合成部109で生成された画像を表示部110に表示する際、必要に応じてGUI(グラフィカル・ユーザ・インタフェース)を重畳して表示する状況について説明する。図4(d)に示すように、GUI405の表示位置が干渉部位の強調表示403と重なっているとする。仮想物体の手前に描画される干渉部位の強調表示403よりもさらに手前にGUI405が表示される。これは、GUI405をカメラ画像合成部109で生成された画像の上に重ねて描画することで実現される。
本発明を適用するにあたり、GUIに限らず、システム体験者にとって干渉部位よりも重要性が高い情報を画面に表示する際には、カメラ画像合成部109で生成された画像の上にその情報を重ねて描画することで最前面に表示することができる。
図11は、本実施形態に係る情報処理装置を実現するためのハードウェア構成例を示すブロック図である。なお、図1に示した構成要素には同一の符号を付して、その説明は省略する。
1101はCPUであり、装置全体を制御する。1102はRAMであり、CPU1101が各部を制御しながら処理を行うときに作業領域として用いられる。1103はROMであり、制御プログラム、各種アプリケーションプログラム、データ等を記憶する。CPU1101がROM1103に記憶する制御プログラムをRAM1102に展開して実行することにより、図1の仮想物体位置姿勢更新部102、干渉判定部103、仮想物体描画部104、干渉部位算出部105、干渉部位描画部106等が実現される。1104は外部記憶装置であり、仮想物体データベース101は外部記憶装置1104上に保存される。
(変形例1)
第1の実施形態では、干渉部位の交線を予め設定された線のスタイル(例えば赤色の太線)で描画する例を説明したが、強調表示はこれに限られるものではない。例えば陰線とそれ以外の線(陽線)とで異なるスタイルの線で描画するようにしてもよい。
図5に示すように、陰線を点線で、陽線を実線で描画する干渉部位の強調表示501の実現方法について説明する。これは、ステップS301の処理を、奥行きバッファを用いた陰線・陰面処理の無効化ではなく、以下のような処理を有効化するように変更することで実現される。
干渉部位の強調表示を描画する際、各画素における仮想物体の奥行き値が、奥行きバッファの対応画素に保存されている奥行き値よりも小さい(つまり、陽線の一部である)場合には、その画素を第1のスタイルで描画する。それ以外(つまり、陰線の一部である)場合には、その画素を第2のスタイルで描画する。その結果、仮想物体の強調表示501に示すように、陰線と陽線とで異なるスタイルで描画することができる。ここで、スタイルとは色、線幅、パターン等の組み合わせを指し、予め第1及び第2のスタイルを定めておくものとする。
以上のように陰線と陽線とで異なるスタイルの線で描画することは、前後関係を把握する手がかりとなり、干渉部位がわかりやすくなる効果が期待できる。
(変形例2)
第1の実施形態では、干渉部位の交線を予め設定された線のスタイル(例えば赤色の太線)で描画する例を説明したが、強調表示の方法はこれに限られるものではない。例えば、干渉部位の交線を線で描画するのに加えて、或いは線で描画するのに替えて、面で描画するようにしてもよい。図6の例の強調表示601に示すように、交線を強調することに加え、交線で囲まれる面も強調することで、干渉部位をより目立たせる効果が期待できる。
また、強調表示する際の線や面のスタイル(色、線幅、パターン等)は予め定めておくのではなく、干渉している仮想物体の表示色やパターンに基づいて動的に決定するようしてもよい。この場合、干渉判定部103と干渉部位描画部106との間に、強調表示スタイル決定部を追加すればよい。強調表示スタイル決定部は、例えば仮想物体の表示色の補色を強調表示の色として決定する。これにより、仮想物体の表示色と干渉部位の強調表示の色の違いが明確になる効果が期待できる。
[第2の実施形態]
以下、第2の実施形態を説明する。なお、第1の実施形態と共通する内容については詳細を省略し、第1の実施形態との相違を中心に説明する。
第1の実施形態では、干渉部位算出部105で算出された全ての干渉部位について強調表示するものとしたが、これに限られるものではない。例えば図8(a)に示すように、仮想物体401と干渉する仮想物体402及び仮想物体801があり、仮想物体801が仮想物体402に包含されている状況を例に説明する。なお、図8(a)では、理解しやすくするため、仮想物体401、402及び801の陰線を点線で図示する。
図8(a)では、第1の実施形態で説明したとおり、全ての干渉部位について強調表示を行うため、強調表示403及び強調表示802が描画される。しかしながら、仮想物体801は仮想物体402に包含されているため、全ての線と面が陰線・陰面となり、仮想物体描画部104では描画されない。そのため、システム体験者には干渉部位の強調表示802のみが視覚的に提示される。これは、システム体験者に違和感を与える原因になる場合がある。
本実施形態では、干渉部位の強調表示802を描画せず、強調表示403のみを描画することで、システム体験者に与える違和感を軽減する例について説明する。
このような処理は、図2のフローチャートにおけるステップS209の干渉部位描画処理を、図7に示すフローチャートに変更することで実現できる。
ステップS701は、ステップS301と同様の処理である。
ステップS702で、干渉部位算出部105は、算出された干渉部位について、包含判定を行う。本実施形態では、干渉部位は三角形ポリゴンの集合と交線の集合で表現されている。包含判定は干渉部位の各三角形ポリゴンついて行う。ある三角形ポリゴンが仮想物体に内包されるかを判定するために、仮想物体の形状を近似するAABB(Axis−Aligned Bounding Box)を用いる。AABBとは、各辺が3次元空間のX、Y、Z軸に平行な直方体で、仮想物体の全頂点を包含する最小の大きさを持つものである。ある三角形ポリゴンの全頂点が、ある仮想物体のAABBに包含されている場合、その三角形ポリゴンはその仮想物体に包含されていると判定する。なお、本発明を適用するにあたり、包含判定の方式はこれに限られるものではない。
ステップS703で、ステップS702での包含判定に基づいて、干渉部位のある三角形ポリゴンが、干渉判定部103で干渉していると判定された全ての仮想物体のうちいずれかに内包されていない場合、干渉部位は強調表示を行い、少なくともいずれかに内包されている場合、その干渉部位は強調表示を行わない。
以上により、図8(b)に示すように、仮想物体402に包含されている仮想物体801の干渉部位の強調表示802は描画されないようにすることができる。なお、図8(b)では、理解しやすくするため、仮想物体801の陰線を点線で図示している。
[第3の実施形態]
以下、第3の実施形態を説明する。なお、第1の実施形態と共通する内容については詳細を省略し、第1の実施形態との相違を中心に説明する。
第1の実施形態では、干渉部位の交線を線又は面で描画する例を説明したが、これに限られるものではない。例えば図10(a)に示すように、干渉部位の形状を不透明又は半透明で描画するようにしてもよい。
本実施形態は、図2のフローチャートにおけるステップS209の干渉部位描画処理を、図9に示すフローチャートに変更することで実現できる。
ステップS901で、図10(b)に示すように、干渉部位算出部105で算出された干渉部位の形状を描画した画像(干渉部位画像と呼ぶ)1001を新たに生成する。この段階では、ステップS204で有効化された陰線・陰面処理が引き続き有効であるため、ここで生成される干渉部位画像1001は陰線・陰面処理を行った画像となる。
ステップS902で、陰線・陰面処理を無効化する。
ステップS903で、ステップS901で描画された干渉部位画像1001を、ステップS205で描画された仮想物体の画像に対して不透明又は半透明で重ね合わせる。
以上により、図10(a)に示すように、干渉部位の形状が不透明又は半透明で描画される。これにより、干渉部位とその形状を視覚的に提示することができ、システム体験者は干渉部位を容易に把握することができる。
本実施形態においても、干渉部位画像1001のスタイルは予め定めておくのではなく、干渉している仮想物体の表示色やパターンに基づいて動的に決定するようしてもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば第1、2の実施形態で説明した干渉部位の交線を強調する強調表示と、第3の実施形態で説明した干渉部位画像との両方を組み合わせる形態としてもかまわない。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:仮想物体データベース
102:仮想物体位置姿勢更新部
103:干渉判定部
104:仮想物体描画部
105:干渉部位算出部
106:干渉部位描画部
107:カメラ
108:位置姿勢入力部
109:カメラ画像合成部
110:表示部

Claims (8)

  1. 仮想空間の画像を描画して表示する情報処理装置であって、
    仮想物体をユーザが頭部に装着する表示装置の位置姿勢に対応する仮想視点から見た画像として描画する仮想物体描画手段と、
    前記仮想物体描画手段で描画される仮想物体同士の干渉の有無を判定する干渉判定手段と、
    前記干渉判定手段で第1仮想物体と第2仮想物体が干渉していると判定された場合に、前記第1仮想物体と前記第2仮想物体の干渉によって生じる断面の輪郭線算出する干渉部位算出手段と、
    前記干渉部位算出手段で算出される輪郭線を、前記仮想視点から見て、前記第1仮想物体または前記第2仮想物体によって隠される部分も含めて、前記第1仮想物体及び前記第2仮想物体のいずれよりも手前に描画する干渉部位描画手段とを備え
    前記仮想視点から見て、前記ユーザの手を表す仮想物体が、前記第1仮想物体と前記第2仮想物体とが干渉する部分を隠す場合、前記輪郭線を、前記第1仮想物体と前記第2仮想物体及び前記ユーザの手を表す仮想物体の全ての手前に描画することを特徴とする情報処理装置。
  2. 前記干渉判定手段で干渉していると判定された仮想物体に応じて、前記干渉部位算出手段で算出される輪郭線のスタイルを決定するスタイル決定手段を備えたことを特徴とする請求項に記載の情報処理装置。
  3. 前記スタイル決定手段は、前記干渉部位算出手段で算出される輪郭線の色を、前記干渉判定手段で干渉していると判定された仮想物体の色と異なる色にすることを特徴とする請求項に記載の情報処理装置。
  4. 前記干渉部位描画手段は、前記干渉部位算出手段で算出される輪郭線を、陰線とそれ以外の線とで異なるスタイルの線で描画することを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  5. 前記干渉判定手段で、前記第1の仮想物体と前記第2の仮想物体及び第3の仮想物体が干渉すると判定され、かつ、前記干渉部位算出手段で前記第3の仮想物体が前記第2の仮想物体に包含されていると判定された場合、前記干渉部位描画手段は、前記第1の仮想物体と前記第3の仮想物体との干渉部位は描画しないことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  6. 前記干渉部位描画手段は、前記干渉部位算出手段で算出される干渉部位の形状を描画した干渉部位画像を生成し、
    前記干渉部位画像を不透明又は半透明として、前記仮想物体描画手段で描画される画像に重ねて描画することを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  7. 仮想空間の画像を描画して表示する情報処理装置の制御方法であって、
    仮想物体をユーザが頭部に装着する表示装置の位置姿勢に対応する仮想視点から見た画像として描画する仮想物体描画ステップと、
    前記仮想物体描画ステップで描画される仮想物体同士の干渉の有無を判定する干渉判定ステップと、
    前記干渉判定ステップで第1仮想物体と第2仮想物体が干渉していると判定された場合に、前記第1仮想物体と前記第2仮想物体の干渉によって生じる断面の輪郭線算出する干渉部位算出ステップと、
    前記干渉部位算出ステップで算出される輪郭線を、前記仮想視点から見て、前記第1仮想物体または前記第2仮想物体によって隠される部分も含めて、前記第1仮想物体及び前記第2仮想物体のいずれよりも手前に描画する干渉部位描画ステップとを有し、
    前記仮想視点から見て、前記ユーザの手を表す仮想物体が、前記第1仮想物体と前記第2仮想物体とが干渉する部分を隠す場合、前記輪郭線を、前記第1仮想物体と前記第2仮想物体及び前記ユーザの手を表す仮想物体の全ての手前に描画することを特徴とする情報処理装置の制御方法。
  8. 仮想空間の画像を描画して表示するためのプログラムであって、
    仮想物体をユーザが頭部に装着する表示装置の位置姿勢に対応する仮想視点から見た画像として描画する仮想物体描画手段と、
    前記仮想物体描画手段で描画される仮想物体同士の干渉の有無を判定する干渉判定手段と、
    前記干渉判定手段で第1仮想物体と第2仮想物体が干渉していると判定された場合に、前記第1仮想物体と前記第2仮想物体の干渉によって生じる断面の輪郭線算出する干渉部位算出手段と、
    前記干渉部位算出手段で算出される輪郭線を、前記仮想視点から見て、前記第1仮想物体または前記第2仮想物体によって隠される部分も含めて、前記第1仮想物体及び前記第2仮想物体のいずれよりも手前に描画する干渉部位描画手段としてコンピュータを機能させ
    前記仮想視点から見て、前記ユーザの手を表す仮想物体が、前記第1仮想物体と前記第2仮想物体とが干渉する部分を隠す場合、前記輪郭線を、前記第1仮想物体と前記第2仮想物体及び前記ユーザの手を表す仮想物体の全ての手前に描画することを特徴とするプログラム。
JP2015135540A 2015-07-06 2015-07-06 情報処理装置、その制御方法及びプログラム Active JP6742701B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015135540A JP6742701B2 (ja) 2015-07-06 2015-07-06 情報処理装置、その制御方法及びプログラム
US15/201,113 US10706625B2 (en) 2015-07-06 2016-07-01 Information processing apparatus, control method, and storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015135540A JP6742701B2 (ja) 2015-07-06 2015-07-06 情報処理装置、その制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2017016577A JP2017016577A (ja) 2017-01-19
JP2017016577A5 JP2017016577A5 (ja) 2018-08-16
JP6742701B2 true JP6742701B2 (ja) 2020-08-19

Family

ID=57731339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015135540A Active JP6742701B2 (ja) 2015-07-06 2015-07-06 情報処理装置、その制御方法及びプログラム

Country Status (2)

Country Link
US (1) US10706625B2 (ja)
JP (1) JP6742701B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
DE102016209671B4 (de) * 2016-06-02 2022-01-05 Adidas Ag Vorrichtung zum Designen eines Musters für einen tragbaren Gegenstand
US11164378B1 (en) 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
JP6446072B2 (ja) * 2017-01-23 2018-12-26 株式会社カプコン ゲームプログラム及びゲームシステム
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
JP6253834B1 (ja) * 2017-04-11 2017-12-27 大豊精機株式会社 仮想作業表示方法、仮想作業データ作成方法、及び3次元空間けがきデータ作成方法
JP6744990B2 (ja) * 2017-04-28 2020-08-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11600047B2 (en) * 2018-07-17 2023-03-07 Disney Enterprises, Inc. Automated image augmentation using a virtual character
JP7042380B1 (ja) 2021-09-15 2022-03-25 株式会社日立プラントコンストラクション 表示装置、プログラムおよび表示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0623989B2 (ja) * 1988-09-30 1994-03-30 インターナショナル・ビジネス・マシーンズ・コーポレーション 境界表現ソリツド・モデリング・システム
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
JP4756899B2 (ja) * 2005-04-21 2011-08-24 キヤノン株式会社 情報処理装置、情報処理方法
US7790975B2 (en) * 2006-06-30 2010-09-07 Avid Technologies Europe Limited Synchronizing a musical score with a source of time-based information
JP2008250813A (ja) * 2007-03-30 2008-10-16 Konami Digital Entertainment:Kk 画像生成装置、画像処理方法、および、プログラム
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9594487B2 (en) * 2012-02-27 2017-03-14 Autodesk, Inc Systems and methods for manipulating a 3D object in a 3D model using a software widget and surface constraints
CN105264571B (zh) * 2013-05-30 2019-11-08 查尔斯·安东尼·史密斯 Hud对象设计和方法
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display

Also Published As

Publication number Publication date
US10706625B2 (en) 2020-07-07
US20170011556A1 (en) 2017-01-12
JP2017016577A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6742701B2 (ja) 情報処理装置、その制御方法及びプログラム
JP6643170B2 (ja) 作業支援システム及び方法
JP2020198115A (ja) 拡張現実(ar)システムを動作させる方法
KR100294925B1 (ko) 3차원 그래픽 영상 생성 방법 및 이를 위한 양안 시차 조절 방법
CA2550512A1 (en) 3d videogame system
JP2009104249A (ja) 画像処理装置、画像処理方法
JP7197451B2 (ja) 画像処理装置、方法及びプログラム
CN111033573B (zh) 信息处理装置、系统、图像处理方法及存储介质
EP3649621B1 (en) 3d modelling for 3d printing of objects having zero-thickness parts
KR20060131145A (ko) 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
US6501468B1 (en) Stereoscopic display device and recording media recorded program for image processing of the display device
JP6017795B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法
JP2004362218A (ja) 三次元物体操作方法
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
KR20180122248A (ko) 인터랙티브 콘텐츠 제공 장치 및 그 방법
WO2020036114A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4931038B2 (ja) 立体視画像装置、ゲーム装置、立体視画像映写装置、立体視画像データ生成方法、制御プログラムおよび可読記録媒体
JP5428409B2 (ja) 画像生成方法
JP6562371B1 (ja) 表示装置、表示処理装置、および表示処理プログラム
Otsuki et al. Please show me inside: Improving the depth perception using virtual mask in stereoscopic AR
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
WO2022239297A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2023120217A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018142273A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R151 Written notification of patent or utility model registration

Ref document number: 6742701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151