JP6473872B2 - 映像構築装置、擬似視覚体験システム、および映像構築プログラム - Google Patents
映像構築装置、擬似視覚体験システム、および映像構築プログラム Download PDFInfo
- Publication number
- JP6473872B2 JP6473872B2 JP2015152945A JP2015152945A JP6473872B2 JP 6473872 B2 JP6473872 B2 JP 6473872B2 JP 2015152945 A JP2015152945 A JP 2015152945A JP 2015152945 A JP2015152945 A JP 2015152945A JP 6473872 B2 JP6473872 B2 JP 6473872B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- flow
- space
- video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
図1に基づき、本発明の実施の一形態に係る擬似視覚体験システム10の構成について説明する。図1は、擬似視覚体験システム10の全体構成を示すブロック図である。同図に示すように、擬似視覚体験システム10は、HMD1(ヘッドマウントディスプレイ;頭部装着ディスプレイ)、PC2(パーソナルコンピュータ;映像構築装置)、および入力インターフェース3を備える。
HMD1は、頭部位置姿勢センサー11、およびカメラ12を備えた頭部装着ディスプレイ(ヘッドマウントディスプレイ)である。HMD1を頭部に装着したユーザは、VR空間またはAR空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像と、特定の物理現象に基づく物理量の流れを示す物理流関連データを視覚的に表示する流れ画像と、が合成された3次元映像(VR映像またはAR映像)を視覚することができるようになっている。ここで、「物理流関連データ」の例としては、例えば、特定の物理現象に基づく物理量の流れを示す流線データまたはベクトルデータを例示することができる。また、VR空間(仮想空間)とは、コンピュータネットワーク上の仮想的な空間やコンピュータが作り出した環境のことであり、すべての対象がコンピュータグラフィクスなどで構成される空間のことである。AR空間(拡張現実空間)とは、ユーザが直接知覚できる現実世界の対象物に対して、コンピュータがさらに情報を付加・提示して構成される環境のことであり、現実世界を撮像した撮像映像と、コンピュータグラフィクスなどとの組合せで構成される空間のことである。
PC2は、表示情報変更部21、データベース22(記憶部)、マーカー認識部23、3D映像構築部24、および表示コントローラ25を備えたパーソナルコンピュータである。
次に、図2に基づき、擬似視覚体験システム10の基本動作について説明する。図2は、擬似視覚体験システム10の基本動作の流れを示すフローチャートである。
次に、図3に基づき、間引き動作について説明する。図3は、間引き動作の流れを示すフローチャートである。S201では、流れ画像生成部247は、閉空間を複数のセル空間に分割して、S203に進む。S202からS208までの間の動作は、分割したセル空間ごとに実施される。S203では、流れ画像生成部247が、セル空間の中心点を算出し、S205に進む。
次に、図4に基づき、HMD1装着時にユーザが視覚する流線データの例について説明する。図4の(a)〜図4の(e)は、それぞれ、HMD1を頭部に装着して頭部を様々な方向に動かしたときに表示される流線データの例を示す図である。これらの図では、熱処理炉の内部にて対流する空気流を視覚的に表示した流線形状を流線データとして表示している。例えば、図4の(a)は、HMD1を頭部に装着した状態で、上方向を見上げたときに、ユーザが視覚する流線データの例である。次に、図4の(b)は、HMD1を頭部に装着した状態で、左方向に頭を旋回させたときにユーザが視覚する流線データの例である。図4の(c)は、HMD1を頭部に装着した状態で顔を正面に向けたときにユーザが視覚する流線データの例である。図4の(d)は、HMD1を頭部に装着した状態で、右方向に頭を旋回させたときにユーザが視覚する流線データの例である。図4の(e)は、HMD1を頭部に装着した状態で、下方向を見下ろしたときに、ユーザが視覚する流線データの例である。
次に、図5に基づき、シーンパラメータ(場面構築パラメータ)について説明する。図5の(a)は、シーンパラメータを作成、設定する画面の例を示す図である。シーンパラメータは、上述した流れ画像を生成するためのパラメータである。例えば、図5の(a)に示す、「データ設定 スケール1」、「外形設定 STLファイル」、「流線設定 CSVファイル 表示ベクトル数 X:20・・・・」、「色設定 グラデーション20」などは、シーンパラメータの例である。図5の(b)は、シーンパラメータに関するXMLファイルの一部を抜粋したデータの例を示す図である。
次に、PC2に関し、図6に基づき、起動処理のフローおよびシーングラフ構築フローについて説明する。図6の(a)は、起動処理フローの流れを示すフローチャートである。
次に、図7の(a)に基づき、ベクトルデータ構築フローについて説明する。図7の(a)は、ベクトルデータ構築フローの流れを示すフローチャートである。図7の(a)に示すS501では、流れ画像生成部247は、データベース22から流体解析などの解析結果のレコードを読み込んで、S502に進む。S502では、流れ画像生成部247は、シーンパラメータから空間分割数を取得してS503に進む。S503では、流れ画像生成部247は、セル空間の構築処理を実行して、S504に進む。S504では、可視データ(ベクトルデータまたは流線データ)の削減処理を実行する。
次に、PC2に関し、図7の(b)に基づき、VR映像の頭部位置姿勢情報更新フローについて説明する。図7の(b)は、VR映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。図7の(b)に示すS601からS604までの間のステップは、フレーム毎に実行される。S602では、頭部位置姿勢特定部241は、頭部位置姿勢センサー11の検出結果からHMD1の位置・姿勢を取得(特定)し、その結果を画像合成部248に通知して、S603に進む。S603では、画像合成部248が、データベース22のメモリ上のHMD1の位置・姿勢情報を更新する。
次に、図8に基づき、AR映像の頭部位置姿勢情報更新フローについて説明する。図8は、AR映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。S701からS708までの間のステップは、フレーム毎に実行される。S702では、頭部位置姿勢センサー11のセンサー使用モードに設定されているか否かについて確認し、センサー使用モードに設定されている場合は、S706に進む。一方、センサー使用モードに設定されていない場合は、S703に進む。S706では、頭部位置姿勢センサー11の検出結果からHMD1の位置・姿勢を取得(特定)し、その結果を画像合成部248に通知して、S707に進む。
次に、図9に基づき、レンダリングループフローについて説明する。図9は、レンダリングループフローの流れを示すフローチャートである。S801からS805までの間のステップは、フレーム毎に実行される。S802では、画像合成部248は、設定されたカメラの位置・姿勢を更新して、S803に進む。S803では、画像合成部248が、シーンレンダリングを実行し、3次元映像を構成して、表示コントローラ25に送り、S804に進む。S804では、表示コントローラ25が3次元映像をHMD1に送信(出力)する。
次に、図10の(a)に基づき、シーンレンダリングフローについて説明する。図10の(a)は、シーンレンダリングフローの流れを示すフローチャートである。S8031では、画像合成部248が、カメラの設置(視点の設定)を行い、S8032に進む。S8032では、画像合成部248が、背景画像として、Skybox画像を配置し、S8033に進む。S8033では、閉空間映像生成部245が、構造物の外形のレンダリングを実行し、S8034に進む。S8034では、流れ画像生成部247が現在のシーンを判定し、流線図シーンの場合は、S8035に進み、コンター図シーンの場合は、S8036に進み、ベクトル図シーンの場合は、S8037に進む。
次に、図10の(b)〜図10の(e)に基づき、背景画像に天空画像(Skybox画像)を設定した場合の3次元映像について説明する。図10の(b)は、背景画像に天空画像を設定した場合の視点の移動前の状態を示す図である。図10の(c)は、背景画像に天空画像を設定した場合の視点の移動後の状態を示す図である。図10の(d)は、背景画像が無地(背景画像なし)の場合の視点の移動前の状態を示す図である。図10の(e)は、背景画像が無地(背景画像なし)の場合の視点の移動後の状態を示す図である。
次に、図11の(a)に基づき、VR映像での外形(構造物の外面)に係るレンダリングフローについて説明する。図11の(a)は、VR映像での外形に係るレンダリングフローの流れを示すフローチャートである。図11の(a)に示すS901では、閉空間映像生成部245が、構造物の外面の裏面をレンダリングするか否かを決定し、裏面のレンダリングを行う場合、S902に進む(YES)。一方、裏面のレンダリングを行わない場合、S903に進む。S902では、閉空間映像生成部245が、裏面のレンダリングを行って、S903に進む。S903では、閉空間映像生成部245が、構造物の外形の前面をレンダリングするか否かを決定し、前面のレンダリングを行う場合、S904に進む(YES)。一方、前面のレンダリングを行わない場合、動作を終了する。S904では、閉空間映像生成部245が、前面のレンダリングを行う。
次に、図11の(b)および図11の(c)に基づき、カリングについて説明する。一般にカリングとは、描画するときに裏表描画しないように片方の面を描画しない処理のことである。図11の(b)は、構造物の外形の前面をカリングする前の3次元映像の様子を示す図である。一方、図11の(c)は、構造物の外形の前面をカリングした後の3次元映像の様子を示す図である。読み込まれた構造物の外形形状(STL)の外面の法線方向から、外面の表(前面)と裏(裏面)を判別し、表の場合は透過(描画しない)、裏の場合は描画する。表面が透過されるため、構造物の外からでも内部構造が把握できる。ここでは、VR映像でベクトルデータまたは流線データを表示する際に、外形のCGが邪魔になる場合があったため、前面をカリングして、裏面だけを表示するようにしている。
次に、図12の(a)に基づき、AR映像での構造物の外形(構造物の外面)に係るレンダリングフローについて説明する。図12の(a)は、AR映像での外形に係るレンダリングフローの流れを示すフローチャートである。S905では、画像合成部248が、マーカーをレンダリングするか否かを決定し、マーカーをレンダリングする場合は、S906に進む(YES)。一方、マーカーをレンダリングしない場合は、S907に進む(NO)。S906では、画像合成部248が、マーカーのワイヤフレームレンダリング〔ワイヤーフレーム画像(仮想マーカ画像)のレンダリング〕を行い、S907に進む。S907では、閉空間映像生成部245が、構造物の外形のレンダリングを行うか否かを決定し、外形のレンダリングを行う場合には、S908に進む(YES)。一方、外形のレンダリングを行わない場合は、動作を終了する(NO)。S908では、閉空間映像生成部245が、構造物の外形のワイヤーフレームレンダリングを行う。
次に、図12の(b)および(c)に基づき、ワイヤーフレーム画像(仮想マーカー画像)について説明する。図12の(b)は、ワイヤーフレーム画像を表示していない場合における現物のマーカー付近の映像の例を示す。一方、図12の(c)は、ワイヤーフレーム画像を表示した場合における現物のマーカー付近の映像の例を示す。マーカーが印刷されているボードと同じ形状、同じサイズのワイヤーフレーム画像(仮想マーカー画像)を用意し、マーカーに対して同じ位置に表示されるように設定する。マーカー認識時にワイヤーフレーム画像を表示させ、現実のボードとワイヤーフレーム画像との重なりを見ることで、正しい位置認識ができているか確認できる。
次に、図13に基づき、流線図シーン、コンター図シーン、およびベクトル図シーンの各シーンのレンダリングフローについて説明する。図13の(a)は、流線図シーンのレンダリングフローの流れを示すフローチャートである。図13の(a)に示すS1001では、流れ画像生成部247が、流線形状のレンダリングを行い、S1002に進む。S1002では、流れ画像生成部247が、ベクトルデータのレンダリングを行う。
次に、図14の(a)に基づき、ベクトルデータレンダリングフローについて説明する。図14の(a)は、ベクトルデータレンダリングフローの流れを示すフローチャートである。S2001では、流れ画像生成部247は、閉空間内の一部の領域を上記流線データまたはベクトルデータを表示する領域である興味領域として設定し、この興味領域とセル空間との交差判定を実行するか否かを決定し、交差判定を実行する場合は、S2002に進む(YES)。一方、交差判定を実行しない場合は、S2005に進む(NO)。
次に、図15に基づき、視点位置操作受付フローについて説明する。視点位置操作受付フローの流れを示すフローチャートである。S3001からS3004までの間のステップは、フレーム毎に実施される。S3002では、3D映像構築部24は、入力インターフェース3を介したユーザの視点位置操作入力を受付けて、S3003に進む。S3003では、画像合成部248が、視点位置・姿勢を更新する。
次に、図16の(a)に基づき、俯瞰操作入力受付フローについて説明する。図16の(a)は、俯瞰操作入力受付フローの流れを示すフローチャートである。S4001からS4008までの間のステップは、フレーム毎に実行される。S4002では、入力インターフェース3を介してユーザによる俯瞰切替え入力を受付ける。S4003で、俯瞰切替え入力があった場合は、S4004に進む(YES)。一方、俯瞰切替え入力がなかった場合は、S4005に進む。
次に、図16の(b)および図16の(c)に基づき、通常モードおよび俯瞰モードについて説明する。図16の(b)は、通常モードにおける3次元映像の表示例を示す図である。一方、図16の(c)は、俯瞰モードにおける3次元映像の表示例を示す図である。例えば、入力インターフェース3に接続されたマウスの中ボタンを押すと、押している間は俯瞰モードにする。マウスから手を離すと通常モードに戻す。俯瞰モード時は、一定距離になるまで、視線を手前側に引いて行き、図16の(c)に示すように、元の場所にアバターが表示されるようになっている。上記俯瞰モードによれば、通常モードで閉空間の内部において視点(現在のカメラ)の位置がわからなくなった場合でも、一旦カメラを大きく引いて全体を俯瞰し、表示されたアバターの位置を確認することで、通常モードの際に閉空間の内部において視点の位置がどこにあったかを確認することができる。
PC2の制御ブロック(特に、閉空間映像生成部245、演算部246、流れ画像生成部247、および画像合成部248)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
2 PC(映像構築装置)
10 擬似視覚体験システム
245 閉空間映像生成部
246 演算部
247 流れ画像生成部
248 画像合成部
Claims (9)
- 頭部装着ディスプレイに出力する3次元映像を構築する映像構築装置であって、
仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像を生成する閉空間映像生成部と、
上記閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する演算部と、
算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する流れ画像生成部と、
上記閉空間映像と上記流れ画像とを合成することで3次元映像を構築する画像合成部と、を備え、
上記流れ画像生成部は、
上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して、上記流れ画像を生成することを特徴とする映像構築装置。 - 上記流れ画像生成部は、
上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して、上記流れ画像を生成することを特徴とする請求項1に記載の映像構築装置。 - 上記画像合成部は、
上記構造物の全体を外部から俯瞰する3次元映像を構築することが可能になっていることを特徴とする請求項1または2に記載の映像構築装置。 - 上記画像合成部は、
上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした3次元映像を構築することが可能になっていることを特徴とする請求項1から3までの何れか1項に記載の映像構築装置。 - 上記画像合成部は、
上記仮想空間における上記構造物の背景画像を、晴天に雲が点在する天空を示す天空画像とした3次元映像を構築することが可能になっていることを特徴とする請求項1から4までの何れか1項に記載の映像構築装置。 - 上記画像合成部は、
実空間に設置される現物のマーカーに対応する仮想マーカー画像を生成し、上記拡張現実空間における上記マーカーが設置された位置に対応する位置に上記仮想マーカー画像が表示されるようにした3次元映像を構築することが可能になっていることを特徴とする請求項1から5までの何れか1項に記載の映像構築装置。 - 請求項1から6までの何れか1項に記載の映像構築装置と、
上記頭部装着ディスプレイと、を備えていることを特徴とする擬似視覚体験システム。 - 上記頭部装着ディスプレイに出力される3次元映像は、上記仮想空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、上記仮想空間における上下方向を回転軸の方向とする旋回操作に限定されていることを特徴とする請求項7に記載の擬似視覚体験システム。
- 請求項1に記載の映像構築装置としてコンピュータを機能させるための映像構築プログラムであって、上記閉空間映像生成部、上記演算部、上記流れ画像生成部および上記画像合成部としてコンピュータを機能させるための映像構築プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015152945A JP6473872B2 (ja) | 2015-07-31 | 2015-07-31 | 映像構築装置、擬似視覚体験システム、および映像構築プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015152945A JP6473872B2 (ja) | 2015-07-31 | 2015-07-31 | 映像構築装置、擬似視覚体験システム、および映像構築プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017033312A JP2017033312A (ja) | 2017-02-09 |
JP6473872B2 true JP6473872B2 (ja) | 2019-02-27 |
Family
ID=57986273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015152945A Active JP6473872B2 (ja) | 2015-07-31 | 2015-07-31 | 映像構築装置、擬似視覚体験システム、および映像構築プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6473872B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111447504B (zh) * | 2020-03-27 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3105131B2 (ja) * | 1993-07-02 | 2000-10-30 | 松下電器産業株式会社 | 視覚を中心とした擬似体験装置 |
JPH1019919A (ja) * | 1996-06-28 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 流線測定方法および流線測定装置 |
JP4056021B2 (ja) * | 1997-12-05 | 2008-03-05 | 株式会社バンダイナムコゲームス | 画像生成装置及び情報記憶媒体 |
JP2007064684A (ja) * | 2005-08-29 | 2007-03-15 | Canon Inc | マーカ配置補助方法及び装置 |
JP4785662B2 (ja) * | 2005-10-03 | 2011-10-05 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP4465331B2 (ja) * | 2006-05-17 | 2010-05-19 | 株式会社シーピーユー | 建築設計プログラム、これを格納した記録媒体、及び、このプログラムをインストールした建築cad装置 |
-
2015
- 2015-07-31 JP JP2015152945A patent/JP6473872B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017033312A (ja) | 2017-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021203688B2 (en) | Volumetric depth video recording and playback | |
US9741167B1 (en) | Method and system for providing an image of a virtual space to a head mounted display | |
EP2996088B1 (en) | Method for visualising surface data together with panorama image data of the same surrounding | |
US20160307374A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
WO2015182227A1 (ja) | 情報処理装置および情報処理方法 | |
KR20170007102A (ko) | 3차원 지도 생성 및 표시 장치 및 방법 | |
US20160343166A1 (en) | Image-capturing system for combining subject and three-dimensional virtual space in real time | |
US20150077592A1 (en) | Devices, systems, and methods for generating proxy models for an enhanced scene | |
EP1503348A2 (en) | Image displaying method and apparatus for mixed reality space | |
WO2019159617A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP3227862A1 (en) | Mixed-reality visualization and method | |
US20120306860A1 (en) | Image generation system, image generation method, and information storage medium | |
JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2007052304A (ja) | 映像表示システム | |
CN113168732A (zh) | 增强现实显示装置和增强现实显示方法 | |
WO2017169273A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP2021135776A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20110088995A (ko) | 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체 | |
US20170104982A1 (en) | Presentation of a virtual reality scene from a series of images | |
JP4724476B2 (ja) | 情報処理方法及び装置 | |
JP6695997B2 (ja) | 情報処理装置 | |
EP3542877A1 (en) | Optimized content sharing interaction using a mixed reality environment | |
JP6473872B2 (ja) | 映像構築装置、擬似視覚体験システム、および映像構築プログラム | |
KR100728110B1 (ko) | 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180316 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180316 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6473872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |