JP6827134B2 - 生成システム、及び生成プログラム - Google Patents
生成システム、及び生成プログラム Download PDFInfo
- Publication number
- JP6827134B2 JP6827134B2 JP2020024986A JP2020024986A JP6827134B2 JP 6827134 B2 JP6827134 B2 JP 6827134B2 JP 2020024986 A JP2020024986 A JP 2020024986A JP 2020024986 A JP2020024986 A JP 2020024986A JP 6827134 B2 JP6827134 B2 JP 6827134B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- image
- space
- dimensional virtual
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 114
- 239000003550 marker Substances 0.000 description 97
- 230000008569 process Effects 0.000 description 90
- 238000001514 detection method Methods 0.000 description 35
- 230000000007 visual effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
また、仮想撮像装置を基準として三次元仮想対象物が仮想区画壁に投影された場合の、投影された三次元仮想対象物の二次元形状に基づいて、実空間マスク画像を生成することにより、例えば、実対象物が写っている部分以外をマスクした実空間マスク画像を確実に生成することが可能となる。
まず、本実施の形態に係る表示システム100について説明する。図1は、本発明の実施の形態に係る表示システムを例示するブロック図であり、図2は、実空間を例示した図である。なお、図2のZ軸が鉛直方向又は高さ方向であり、+Z方向を上側と称し、−Z方向を下側と称し、また、X軸及びY軸がZ軸に対して直交する水平方向であることとして説明する。図1の表示システム100は、例えば、端末装置1、及び表示装置2を備える。
端末装置1は、生成システムであり、例えば、空間認識及びAR(拡張現実:Augmented Reality)に関する機能が搭載されている装置である。端末装置1は、例えば、図2に示すように、実物体31〜34が設けられている実空間である工場内のユーザが顔に装着して用いるゴーグル型のウェアラブル端末装置である。「実物体」31〜34とは、実空間に設けられている物であり、例えば、工場内に設けられている装置である。なお、図2では、実物体31〜34については、説明の便宜上、直方体形状にて図示されている。また、図2の工場内のユーザが当該工場で作業を行っている作業員であり、また、実物体31〜34は相互に異なるメーカの装置である場合において、端末装置1を用いて、液晶ディスプレイ311(つまり、情報を表示する手段)を有する実物体31の画像を示す表示画像を当該実物体31のメーカ側に送信する場合を例示して説明する。つまり、実物体31が「実対象物」である場合について説明する。なお、「表示画像」については後述する。
通信部11は、ネットワーク(図示省略)を介して外部装置(例えば、表示装置2等)との間で通信するための通信手段である。この通信部11の具体的な種類や構成は任意であるが、例えば、公知の無線通信手段を用いることができる。
センサ部12は、情報を検出又は取得する検出手段である。このセンサ部12の具体的な種類や構成は任意であるが、例えば、慣性ユニット、デプスセンサ、及びカメラ等を含んで構成することができる。「慣性ユニット」とは、例えば、端末装置1の動き及び回転又は傾きを検出するためのものであり、例えば、加速度センサ(つまり、モーションセンサ)、及びジャイロセンサ等を用いて構成することができる。「デプスセンサ」とは、深度センサであり、例えば、周辺環境を三次元として認識するための情報を検出するためのセンサであり、一例としては、TOF(Time Of Flight)の技術を用いて実現可能なセンサ等を用いることができる。「カメラ」とは、前述の撮像手段及び撮像装置であり、例えば、動画又は静止画を撮像するためのものであり、一例としては、CCD又はCMOSイメージセンサ等を用いて構成することができる。なお、センサ部12の構成の全部又は一部を任意に変更してもよく、例えば、本実施の形態で説明する各種処理を実現できるように任意のセンサ又は検出ユニットを用いてもよいし、あるいは、マイク等を設けて端末装置1に音声入力を行えるように構成してもよい。そして、以下では、カメラを用いて動画を撮像する場合について説明する。
図3は、図2の平面図であり、図4は、レンズ部を介して視認される実空間を例示した図である。なお、図3の−X方向を矢視している矢印は、ユーザの向きであり、つまり、端末装置1の向きを示していることとする(他の図面での矢印も同様とする)。図1のレンズ部13は、端末装置1を装着したユーザに対して当該レンズ部13を介して実空間を視認させる視認手段である。つまり、ユーザが端末装置1を自己の顔に装着した場合に、レンズ部13がユーザの目の正面に配置され、当該ユーザはレンズ部13を介して実空間を視認することが可能となる。このレンズ部13の具体的な種類や構成は任意であるが、例えば、ユーザがレンズ部13を介して実空間を視認できるように透明又は半透明となっており、また、少なくとも表示対象を表示できるように表示機能も備えているものを用いることができる。このレンズ部13としては、例えば、シースルー・ホログラフィック・レンズを用いてもよい。そして、このようなレンズ部13に表示対象を表示することにより、当該レンズ部13を介して実空間を視認したユーザは、実空間に表示対象が重畳されている状態を観念することが可能となる。
記録部14は、端末装置1の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのフラッシュメモリ(図示省略)を用いて構成されている。ただし、フラッシュメモリに代えてあるいはフラッシュメモリと共に、ハードディスク、磁気ディスクの如き磁気的記録媒体、又はDVDやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。この記録部14は、例えば、空間認識情報、第1特定情報、及び第2特定情報を格納している。
図5は、空間認識情報を説明するための図である。図5においては、図4において図示されている実空間をメッシュとして空間認識する場合の当該メッシュの一例が便宜上図示されている。図1の「空間認識情報」とは、センサ部12のデプスセンサの検出結果(つまり、端末装置1からの距離等)及びカメラの撮像結果(つまり、撮像画像)に基づいて、実空間について任意の三次元空間認識の技術を用いて認識した結果を示す情報であり、例えば、実空間の特徴を示すメッシュ等を特定する情報である。そして、当該空間認識情報を用いることにより、三次元空間認識された実空間に対応する三次元仮想空間を生成し、当該三次元仮想空間に関する処理を行うことが可能となる。ここでは、例えば、図4において図示されている実空間の特徴を示す図5のメッシュを特定する情報(例えば、メッシュにおける交点、辺、又は面の三次元座標の集合等)が空間認識情報として格納されることになる。そして、このような空間認識情報の具体的な格納手法は任意であるが、例えば、後述する表示処理を実行することにより格納される。
図6は、第1仮想物体及び第2仮想物体を示す図であり、図7は、第1特定情報を例示した図である。なお、図7で具体的に図示されている各情報は、説明の便宜上の記載である。図1の「第1特定情報」とは、第1仮想物体及び第1設定用仮想物体を特定する情報である。第1特定情報は、例えば、図7に示すように、項目「マーカID」に対応する情報と、項目「第1仮想物体特定情報」に対応する情報と、項目「第1設定用仮想物体特定情報」に対応する情報と、項目「位置情報」に対応する情報とが相互に関連付けられている。
図1の「第2特定情報」とは、第2仮想物体を特定する情報である。「第2仮想物体」とは、前述の三次元仮想中空体であり、例えば、図6の第2仮想物体42を特定する情報である。
図1の制御部15は、端末装置1を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して端末装置1にインストールされることで、制御部15の各部を実質的に構成する。
図1の表示装置2は、例えば、端末装置1が設けられている工場に対する遠隔地である実物体31のメーカのサポートセンタに設けられている装置であり、一例としては、通信部21、表示部22、記録部23、及び制御部24を備える。
通信部21は、ネットワーク(図示省略)を介して外部装置(例えば、端末装置1等)との間で通信するための通信手段である。この通信部21の具体的な種類や構成は任意であるが、例えば、端末装置1の通信部11と同様にして構成することができる。
表示部22は、制御部24の処理により、画像を表示する表示手段である。この表示部22の具体的な種類や構成は任意であるが、例えば、公知の液晶パネルディスプレイ等を用いて構成することができる。
記録部23は、表示装置2の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、端末装置1の記録部14と同様にして構成することができる。
制御部24は、表示装置2を制御する制御手段であり、例えば、端末装置1の制御部15と同様にして構成することができる。
次に、このように構成される表示システム100によって実行される表示処理について説明する。図8は、表示処理のフローチャートである(以下の各処理の説明ではステップを「S」と略記する)。表示処理は、概略的には、表示システム100の端末装置1にて行われる処理であり、具体的には、表示画像を生成して利用する処理である。「表示画像」とは、センサ部12のカメラにて撮像された画像(以下、カメラにて撮像された画像を「撮像画像」とも称する)に基づく画像であり、例えば、当該撮像画像の少なくとも一部がマスクされた画像である。この表示処理を実行するタイミングは任意であるが、例えば、端末装置1の電源をオンした場合に、起動されて実行を開始することとして、実行を開始したところから説明する。ここでは、例えば、図2の工場内において実物体31〜34のうちの実物体31にのみにARマーカ(具体的には、ARマーカM1)が設けられていることとし、端末装置1が、当該ARマーカM1を認識する場合を適宜例示して説明する。また、端末装置1の電源をオンした場合、センサ部12の慣性ユニット、デプスセンサ、及びカメラの動作を開始し、これらの各要素が自動的に及び連続的に動作しているものとして以下説明する。また、端末装置1の記録部14の第1特定情報として、図7のマーカID、第1仮想物体特定情報、及び第1設定用仮想物体特定情報は予め格納されているものの、位置情報については、端末装置1の電源をオンした直後には未だ格納されていないものとして説明する。
まず、第1仮想物体を配置する処理については具体的には任意であるが、例えば、端末装置1の配置部151は、まず、図10のSB1の場合と同様にして、SA2で認識したARマーカの座標を特定し、また、図10のSB3の場合と同様にして、SA2で認識したARマーカが示す方向を特定する。次に、SA5で取得した位置情報を取得し、前述の特定したARマーカの座標に対する当該取得した位置情報が示す三次元相対座標に対応する座標(以下、「配置座標」とも称する)を、前述の「基準情報」を基準に特定する。次に、SA5で取得した位置情報を取得し、前述の特定したARマーカの方向に対する当該取得した位置情報が示す相対回転角度に対応する回転角度(以下、「配置回転角度」とも称する)を、前述の「基準情報」を基準に特定する。次に、SA1で記録した空間認識情報にて特定される三次元仮想空間内において、前述の特定した「配置座標」及び特定した「配置回転角度」を基準に、SA5で取得した第1仮想物体特定情報が特定する第1仮想物体を配置する。そして、この後、三次元仮想空間内において、第1仮想物体を当該配置した位置(所定位置であり、実空間内の実物体31の位置に対応する三次元仮想空間内の位置)に固定する。
次に、第2仮想物体を配置する処理については具体的には任意であるが、例えば、端末装置1の配置部151は、まず、図1の記録部14の第2特定情報を取得し、SA1で記録した空間認識情報にて特定される三次元仮想空間内に、当該取得した第2特定情報が示す第2仮想物体を配置する。第2仮想物体を配置する位置及び方向は、仮想端末装置V1及び第1仮想物体が第2仮想物体の内部に配置される限りにおいて任意である。
「第1の処理」とは、「撮像画像取得ステップ」で取得した撮像画像の一部の領域をマスクすることにより、表示画像を生成する処理である。この「第1の処理」においては、まず、「特定ステップ」で特定した位置及び方向の仮想端末装置V1を基準(例えば、仮想的な光源)として、仮想視野領域VR1内において第1仮想物体を第2仮想物体の仮想区画壁に投影した場合の、仮想視野領域VR1内の仮想区画壁に投影された第1仮想物体の二次元形状の像を特定する(以下、「第1の処理の第1ステップ」)。次に、仮想視野領域VR1内の仮想区画壁において、投影された二次元形状の像(つまり、「第1の処理の第1ステップ」で特定された二次元形状の像)に対応する部分を透明な部分とし(つまり、当該部分を介して一方側から他方側を視認できる部分とし)、当該二次元形状の像以外の部分を不透明な部分とする(つまり、当該部分を介して一方側から他方側を視認可能でない部分)とする(以下、「第1の処理の第2ステップ」)。次に、「撮像画像取得ステップ」で取得した撮像画像において、当該撮像画像の一部を「第1の処理の第2ステップ」での処理結果に基づいてマスクした画像を表示画像として生成する(以下、「第1の処理の第3ステップ」)。
図16は、三次元仮想空間を例示した図であり、図17は、図16の平面図であり、図18は、撮像画像を例示した図であり、図19は、第1マスク用画像を例示した図であり、図20は、撮像画像に第1マスク用画像を重ね合わせた状態を例示した図であり、図21は、表示画像を例示した図である。なお、図17における仮想視野領域VR1の境界を示す2本の一点鎖線の内側の2本の破線は、仮想端末装置V1を光源とした場合の当該光源と第1仮想物体41の外形の最外部分とを結んだ直線である。
「第2の処理」とは、「撮像画像取得ステップ」で取得した撮像画像の全部の領域をマスクすることにより、表示画像を生成する処理である。この「第2の処理」においては、「特定ステップ」で特定した位置及び方向の仮想端末装置V1を基準として、第2マスク用画像(例えば、仮想視野領域VR1内の仮想区画壁を基準にして生成されるマスク用画像であって、全ての部分をマスク領域とするマスク用画像)を生成し、「撮像画像取得ステップ」で取得した撮像画像に対して当該生成した第2マスク用画像を重ね合わせる処理を行うことにより、前述の撮像画像の全部が第2マスク用画像にてマスクされた画像を表示画像として生成してもよい。
図22は、実空間を例示した平面図であり、図23は、図22の実空間に対応する三次元仮想空間を例示した平面図であり、図24は、第2マスク用画像を例示した図であり、図25は、表示画像を例示した図である。
このように本実施の形態によれば、少なくとも配置部151が設けた第1仮想物体41と、センサ部12のカメラが撮像した実空間の画像である撮像画像とに基づいて、マスク対象領域をマスクした実空間マスク画像(表示画像)を生成することにより、例えば、実空間マスク画像を確実に生成することが可能となる。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。例えば、端末装置1の少なくとも一部の機能を不図示のサーバ装置又は表示装置2に設けてもよい。より具体的には、例えば、端末装置1の第1特定情報又は第2特定情報を不図示のサーバに格納した上で、端末装置1が当該サーバと適宜通信を行いつつ上述の各処理を実行するように構成してもよい。
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
また、上記実施の形態の図8のSA6で配置する第1仮想物体41及び第2仮想物体42については、SA7での表示画像の生成のために用いられるが、この第1仮想物体41及び第2仮想物体42について、レンズ部13に表示してユーザが当該レンズ部13を介して視認可能となるように構成してもよい。この場合、図10のSB4の場合と同様にして表示してもよい。なお、ここでの、第1仮想物体41及び第2仮想物体42については、表示又は非表示をユーザからの入力に基づいて選択可能としてもよい。
また、上記実施の形態では、図7の第1設定用仮想物体特定情報を省略してもよい。この場合、図10の設定処理においては、第1仮想物体を用いて処理を行うように変更してもよい。この場合、SA4においては、ユーザによって予め定められている半透明の色にて、第1仮想物体を表示するように構成してもよい。
また、上記第2仮想物体の構成を任意に変更してもよい。例えば、図6の第2仮想物体42を十分に大きなサイズ(例えば、実空間である工場の建築物に対応するサイズ等)にしてもよい。この場合、ユーザが工場の建築物内で移動する限りにおいて、実空間における端末装置1の移動に応じて、三次元仮想空間における仮想端末装置V1が第2仮想物体42の外部に移動することは想定されないので、図8のSA9及びSA10の処理を省略してもよい。
また、上記実施の形態の図8のSA7で生成した表示画像について、制御部15が、記録部14に記録するように構成してもよい。
また、上記実施の形態の図21又は図25の撮像画像がマスクされている領域に、他の画像(実空間とは無関係の画像)が表示されるように、表示画像を生成しもよい。他の画像としては、例えば、ユーザが設定可能となるように構成してもよいし、あるいは、予め定められているものとしてもよく、一例としては、風景画像等のユーザの心理状態に影響を与えうる画像を採用してもよい。
また、上記実施の形態では、生成システムとしてウェアラブル端末装置を用いる場合を例示して説明したが、これに限らない。例えば、生成システムとしてタブレット端末を用いてもよい。この場合、例えば、ユーザが、工場内で作業する場合に、生成システムであるタブレット端末を用いて当該工場内の実物体31周辺を、当該タブレット端末のカメラで動画又は静止画を撮像することにより、タブレット端末が表示画像情報を生成するように構成してもよい。また、生成システムとして例えばスマートフォンを用いてもよい。
また、上記実施の形態では、レンズ部13が透明である場合について説明したが、これに限らず、レンズ部13を半透明にしたり、あるいは、レンズ部の代わりに小型ディスプレイ(つまり、画像表示装置)を用いたりしてもよい。
また、上記実施の形態では、センサ部12の慣性ユニットを用いて端末装置1の位置を特定する場合について説明したが、これに限らない。例えば、GPS(Global Positioning System)の技術を用いて、端末装置1の位置を特定するように構成してもよい。
また、上記実施の形態では、図10のSB6において三次元相対座標及び相対回転角度を特定する情報を、図7の位置情報として格納する場合について説明したが、これに限らない。例えば、前述の「基準情報」を基準とした三次元座標及び回転角度(つまり、SB1で一時保存したARマーカの三次元座標に対してSB2で受け付けた入力情報を反映した三次元座標、SA2で認識したARマーカが示す方向を基準にした当該入力情報を反映した方向(回転角度)を反映した回転角度)を位置情報として格納してもよい。
また、上記実施の形態の各用語については、ARの技術、仮想空間に関する技術、空間認識の技術等において各処理を実現するための具体的な情報処理を特定しているものと解釈することとしてもよい。例えば、第1仮想物体41を「配置する」とは、三次元仮想空間(ここでは、例えば、SA1で記録した空間認識情報にて特定される三次元仮想空間)内に第1仮想物体41を設けることに対応する概念であり、例えば、三次元仮想空間内に第1仮想物体41を設けるための情報をメモリ又は記録部14に記録すること等を含む概念であるものと解釈してもよい(他の仮想物体を「配置する」についても同様としてもよい)。また、第1仮想物体41を「固定する」とは、例えば、固定した以後の処理において明示的に第1仮想物体41を移動させる処理を行うまで、三次元仮想空間内の同じ場所に設けられていることを示す概念と解釈してもよい。また、第1仮想物体41を「固定する」とは、三次元仮想空間内に第1仮想物体41を設けるための情報をメモリ又は記録部14に記録しておき、固定した以後の処理において明示的に第1仮想物体41を移動させる処理を行うまで、当該記録しておいた情報を用いて三次元仮想空間内の第1仮想物体41の位置を特定する概念であるものと解釈してもよい(他の仮想物体を「固定する」についても同様としてもよい)。あるいは、本願発明の範囲を逸脱しない範囲において、ここで説明した用語の解釈以外の任意の解釈を行ってもよい。
また、上記実施の形態と変形例の特徴を任意に組み合わせてもよい。また、各処理の各ステップについては、任意に組み替えてもよい。
付記1の生成システムは、実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、前記実空間を撮像する撮像手段と、前記配置手段が設けた前記三次元仮想対象物と、前記撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、を備え、前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成する。
(付記の効果)
付記1に記載の生成システム、及び付記5に記載の生成プログラムによれば、少なくとも配置手段が設けた三次元仮想対象物と、撮像手段が撮像した実空間の画像である実空間撮像画像とに基づいて、マスク対象領域をマスクした実空間マスク画像を生成することにより、例えば、実空間マスク画像を確実に生成することが可能となる。
2 表示装置
11 通信部
12 センサ部
13 レンズ部
14 記録部
15 制御部
21 通信部
22 表示部
23 記録部
24 制御部
31 実物体
32 実物体
33 実物体
34 実物体
41 第1仮想物体
41a 像
42 第2仮想物体
43 第1設定用仮想物体
100 表示システム
151 配置部
152 生成部
311 液晶ディスプレイ
421 仮想区画壁
421a 仮想区画壁
421a1 領域
421b 仮想区画壁
421b1 領域
G31 実物体画像
G32 実物体画像
G33 実物体画像
G34 実物体画像
G311 液晶ディスプレイ画像
M1 ARマーカ
R1 視野領域
R21 マスク領域
R22 非マスク領域
V1 仮想端末装置
V31 仮想物体
V32 仮想物体
V33 仮想物体
V34 仮想物体
VR1 仮想視野領域
Claims (4)
- 実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、
前記実空間を撮像する撮像手段と、
前記配置手段が設けた前記三次元仮想対象物と、前記撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、を備え、
前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成し、
前記撮像手段は、前記実空間に設けられている撮像装置であり、
前記配置手段は、前記実空間の前記撮像装置に対応する仮想撮像装置であって前記三次元仮想空間における前記仮想撮像装置と、前記三次元仮想対象物とが内部に配置される三次元仮想中空体であって、当該三次元仮想中空体の内外を区画する仮想区画壁を有する前記三次元仮想中空体を前記三次元仮想空間に設け、
前記生成手段は、
前記三次元仮想空間において、前記仮想撮像装置を基準として前記三次元仮想対象物が前記仮想区画壁に投影された場合の、投影された前記三次元仮想対象物の二次元形状に基づいて、前記実空間マスク画像を生成する、
生成システム。 - 前記配置手段は、前記撮像装置が前記実空間内を移動することにより、前記仮想撮像装置が前記三次元仮想空間内を移動した場合に、前記三次元仮想空間内の前記仮想撮像装置の位置に応じて、前記三次元仮想中空体の位置を変更する、
請求項1に記載の生成システム。 - 前記配置手段は、前記三次元仮想空間内の所定位置に前記三次元仮想対象物を固定して設ける、
請求項1又は2に記載の生成システム。 - コンピュータを、
実対象物が設けられている実空間に対応付けられている三次元仮想空間に前記実対象物に対応する三次元仮想対象物を設ける配置手段と、
前記配置手段が設けた前記三次元仮想対象物と、撮像手段が撮像した前記実空間の画像である実空間撮像画像とに基づいて、前記実空間撮像画像上のマスク対象領域であって前記三次元仮想対象物の位置又は形状を基準とした前記マスク対象領域をマスクした実空間マスク画像を生成する生成手段と、として機能させ、
前記生成手段は、前記実空間撮像画像上の前記実対象物が写っていない領域を前記マスク対象領域としてマスクした前記実空間マスク画像を生成し、
前記撮像手段は、前記実空間に設けられている撮像装置であり、
前記配置手段は、前記実空間の前記撮像装置に対応する仮想撮像装置であって前記三次元仮想空間における前記仮想撮像装置と、前記三次元仮想対象物とが内部に配置される三次元仮想中空体であって、当該三次元仮想中空体の内外を区画する仮想区画壁を有する前記三次元仮想中空体を前記三次元仮想空間に設け、
前記生成手段は、
前記三次元仮想空間において、前記仮想撮像装置を基準として前記三次元仮想対象物が前記仮想区画壁に投影された場合の、投影された前記三次元仮想対象物の二次元形状に基づいて、前記実空間マスク画像を生成する、
生成プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049692 | 2019-03-18 | ||
JP2019049692 | 2019-03-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020156083A JP2020156083A (ja) | 2020-09-24 |
JP6827134B2 true JP6827134B2 (ja) | 2021-02-10 |
Family
ID=72560044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024986A Active JP6827134B2 (ja) | 2019-03-18 | 2020-02-18 | 生成システム、及び生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6827134B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7294667B2 (ja) * | 2020-10-27 | 2023-06-20 | Necフィールディング株式会社 | 映像送信システム、映像送信システムの動作方法及び映像送信システムの動作プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2216781C2 (ru) * | 2001-06-29 | 2003-11-20 | Самсунг Электроникс Ко., Лтд | Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта |
US7609910B2 (en) * | 2004-04-09 | 2009-10-27 | Siemens Medical Solutions Usa, Inc. | System and method for creating a panoramic view of a volumetric image |
JP5870958B2 (ja) * | 2012-04-27 | 2016-03-01 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム |
JP2014219448A (ja) * | 2013-05-01 | 2014-11-20 | コニカミノルタ株式会社 | 表示システム、表示方法、表示端末および表示プログラム |
JP6362401B2 (ja) * | 2014-05-02 | 2018-07-25 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
JP7116410B2 (ja) * | 2017-03-31 | 2022-08-10 | 株式会社バンダイナムコエンターテインメント | プログラム及び画像生成システム |
-
2020
- 2020-02-18 JP JP2020024986A patent/JP6827134B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020156083A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107209386B (zh) | 增强现实视野对象跟随器 | |
KR102222974B1 (ko) | 홀로그램 스냅 그리드 | |
JP6780642B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20130282345A1 (en) | Context aware surface scanning and reconstruction | |
KR20170100641A (ko) | 실세계 객체들의 가상 표현들 | |
JPWO2019123729A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR20230017849A (ko) | 증강 현실 안내 | |
WO2022005726A1 (en) | Augmented reality eyewear 3d painting | |
CN114341943A (zh) | 使用平面提取的简单环境求解器 | |
KR20230029885A (ko) | 말 풍선들 및 번역을 갖는 증강 현실 안경류 | |
US20210407213A1 (en) | Augmented reality eyewear with 3d costumes | |
WO2020179027A1 (ja) | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム | |
CN115735149A (zh) | 包括多用户共享交互式体验的眼戴器 | |
KR20230022239A (ko) | 증강 현실 환경 향상 | |
WO2017122270A1 (ja) | 画像表示装置 | |
JP6827134B2 (ja) | 生成システム、及び生成プログラム | |
KR20230025913A (ko) | 기분 공유를 갖는 증강 현실 안경류 | |
JP2024024099A (ja) | 後方散乱レーザスペックルパターンのオプティカルフローの追跡 | |
EP4172739A1 (en) | Eyewear with shared gaze-responsive viewing | |
JP6682624B2 (ja) | 画像処理装置 | |
US20230007227A1 (en) | Augmented reality eyewear with x-ray effect | |
US11972037B2 (en) | Head mounted information processing apparatus and head mounted display system | |
KR20210102210A (ko) | 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼 | |
JP6611143B1 (ja) | 画像表示方法、画像表示システム、プログラム | |
CN112053444B (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200218 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200218 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200421 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6827134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |