JP6007079B2

JP6007079B2 - 仮想のぞき穴画像生成システム

Info

Publication number: JP6007079B2
Application number: JP2012256699A
Authority: JP
Inventors: 壮史周防
Original assignee: Hitachi Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2012-11-22
Filing date: 2012-11-22
Publication date: 2016-10-12
Anticipated expiration: 2032-11-22
Also published as: JP2014106556A

Description

本発明は、カメラ映像から、のぞき穴からのぞいたときと同様な仮想のぞき穴画像（動画、静止画等）を生成する仮想のぞき穴画像生成システムに関する。

本技術分野の背景技術として、特開２００５−３２７２０４号公報（特許文献１）がある。

この公報には、「撮像部１０１によって撮影された現実世界の撮像画像内において、体験者が操作入力部１０４により追加マーカを指定すると、マーカ抽出・管理部１０６は該追加マーカの世界座標を、撮像画像内にある既知マーカ群情報を用いて算出し、既知マーカ群情報として登録、管理する。」と記載されている（要約参照）。

また、ＡＲマーカをＷＥＢカメラと言うリーダを通じ、あらかじめプログラム化されているソフト（専用ソフト）で特殊処理を施すことによって、パソコンや携帯端末の画面上にＣＧと合成されたような画像が映し出される仕組みのＡＲ（拡張現実）機能を有する技術が存在する。

特開２００５−３２７２０４号公報

前記特許文献１には、店撮像手段によって撮影された現実世界の撮像画像に対して仮想画像を重畳する際に、前記現実世界にあって世界座標が既知である既知指標情報を用いて位置合わせを行う画像合成方法であって、前記撮像画像内において追加指標を指定し、前記追加指標の世界座標を、前記撮像画像内にある前記既知指標情報を用いて算出し、前記追加指標の世界座標を、前記既知指標情報として登録する画像合成システム、方法、装置が記載されている。

しかし、特許文献１の画像合成システムは、現実空間と仮想空間との位置あわせに用いるマーカの追加登録を、ＨＭＤを装着したまま行うことについては、考慮されているも、会場内の様子をのぞき穴から見ているような仮想のぞき穴画像として生成することまでは記載されておらず、当該画像をもって広告・宣伝を行うと言う発想もない。

また、既存のＡＲ技術は、画像を正方形の枠内に映し出し、当該画像を積極的に見せることを前提としたものであって、ＷＥＢカメラの位置、つまりＡＲマーカとＷＥＢカメラとの相対位置関係（ＷＥＢカメラの視角）に応じて、画像が見える範囲を変えることまでは記載されていない。

つまり、のぞき穴からのぞいた場合と同様な画像、例えば通常の目線でのぞいた場合と下から見上げるようにのぞいた場合や上から見下ろすようにのぞいた場合とでは、穴の厚みにより、画像の見える範囲が変わって見えるようにすることまでは考慮されていない。
換言すれば、ＷＥＢカメラの見る視角によって画像の見える範囲が変わって、あたかものぞき穴から見ているようなのぞき穴画像として見ることはできない。

そこで、本発明は、建物の会場内の様子をのぞき穴から見ているのと同じく、見る角度（視角）によって、会場内の様子を撮影した映像の視野範囲が異なる画像（以下、仮想のぞき穴画像と言う）として見ることができる仮想のぞき穴画像生成システムを提供する。

例えば、有料のライブ会場や展覧会、美術館、博物館等（以下、建物と言う）の屋内（以下、建物内と言う）の様子をのぞき穴から見ているのと同様に仮想のぞき穴画像として見ることができるにし、建物内の様子に興味を持たせることが可能な仮想のぞき穴画像を生成することができる仮想のぞき穴画像生成システムを提供する。

上記課題を解決するために、本発明は、建物外に取り付けられたＡＲマーカを読み取るカメラを有する端末からの映像を受信し、当該映像にＡＲマーカが存在する場合、当該ＡＲマーカを分析し、当該分析結果を元に、端末投影用３Ｄオブジェクトを変更する手段を設け、当該端末投影用３Ｄオブジェクトを元に、マッピング用の画像を生成し、当該マッピング用の画像を当該端末に送信し、当該端末側に映し出される画像の見える範囲が変わるように構成した。

例えば、本発明の仮想のぞき穴画像生成システムは、
端末と、サーバを有し、
前記端末は、カメラ、表示部、画像処理部、情報送受信部を有し、
前記カメラは、ＡＲマーカを読み取り、
前記画像処理部は、前記カメラの映像と前記サーバから送られてくる画像情報をマッピングし、前記表示部に出力し、
前記表示部は、マッピング画像をモニタし、
前記情報送受信部は、前記カメラにより撮影したＡＲマーカを含む映像を前記サーバに送信し、また前記サーバからのマッピング用画像を受信し、
前記サーバは、ＡＲマーカ分析部、３Ｄオブジェクト作成部、３Ｄオブジェクト変更部、マッピング用画像生成部、情報送受信部、を有し、
前記ＡＲマーカ分析部は、前記ＡＲマーカの大きさ、向き、角度を分析し、
前記３Ｄオブジェクト作成部は、建物内の様子を再現するオブジェクト及びのぞき穴オブジェクトを含む端末投影用３Ｄオブジェクトを生成し、
前記３Ｄオブジェクト変更部は、前記ＡＲマーカ分析部による前記ＡＲマーカの大きさ、向き、角度を元に、前記端末投影用３Ｄオブジェクトの建物内の様子を再現するオブジェクト及びのぞき穴オブジェクトの大きさ、向き、角度を設定し、
前記マッピング用画像生成部は、前記端末投影用３Ｄオブジェクトを元に、前記マッピング用画像を生成し、
前記情報送受信部は、前記端末からのＡＲマーカを含むカメラ映像を受信し、また前記マッピング用画像を前記端末に送信し、
前記端末の表示部において、前記カメラ映像と前記マッピング用画像をマッピングして表示する
ことを特徴とする。

仮想のぞき穴画像生成システムにおいて、前記サーバは、さらにＡＲ機能を有し、前記画像処理部は、前記建物内の様子を撮影するカメラの映像から一部を隠した映像を作成する処理部、を有し、
前記マッピング用画像生成部は、当該一部を隠した映像を前記端末投影用３Ｄオブジェクトにマッピングするように構成する。

仮想のぞき穴画像生成システムにおいて、前記サーバは、さらに建物内の奥行きを計測する奥行きセンサを有し、前記３Ｄオブジェクト作成部は、前記奥行きセンサにより計測した数値を元に、３Ｄ空間を作成し、
前記マッピング用画像生成部は、当該３Ｄ空間に前記端末のカメラで撮影した映像をマッピングできるように構成する。

本発明によれば、建物の壁に穴をあけることなく、のぞき穴と同様に建物内の様子をのぞき見することができる仮想のぞき穴画像を作成することができる。また、実際に壁に穴をあけるものではないので、短時間、低コストで、しかも形状の動的な変更が可能である。

また、来場者という人の集まりを、周囲の関心を集める手段として活用することにより、人件費を掛けずして、更なる宣伝効果が期待できる。また、仮想のぞき穴を見ている人達は、マーカの前でしゃがんだり、背伸びしたりと、いわば滑稽な格好をする場合があり、その様子は、周囲からの注目を得ることになる。そのような状況が、更なる宣伝効果をもたらすことが期待できる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の仮想のぞき穴画像生成システムの一構成例を示すブロック図である。図１の仮想のぞき穴画像生成システムの処理手順および３Ｄオブジェクトを作成する例１、例３を説明するフローチャートである。図２の仮想のぞき穴画像生成システムの処理手順および３Ｄオブジェクトを作成する例１、例３において、カメラ２１０から取得した映像にＡＲ技術処理を施した場合のフローチャートである。図１の構成と図３の処理との関係を示す図である。図３のステップＳ３０５のＡＲ技術処理により、隠したいところを隠した映像を作成する様子を模式的に示す図である。３Ｄオブジェクトの作成処理における例１のマッピングを説明する図である。３Ｄオブジェクトの変更処理における例１のオブジェクトの回転を説明する図である例１において、マーカを映し出す角度によるマッピング結果の違いを説明する図であって、３Ｄオブジェクトとマッピングとの位置関係に対応して端末に表示される画像、カメラ１００が撮影したＡＲマーカ画像の様子を示す図である。本発明の仮想のぞき穴画像生成システムの他の構成例を示すブロック図である。図８の仮想のぞき穴画像生成システムの処理手順および３Ｄオブジェクトを作成する例２を説明するフローチャートである。図９のステップＳ３１２およびステップＳ３０３における処理画像の様子を示す図である。複数のカメラと奥行きセンサを使用し、屋内の様子を再現するオブジェクトを作成する例２における建物内の様子を再現するオブジェクト２３２を作成する原理を説明する図である。屋内の様子を再現するオブジェクトを作成する例３において、３６０度レンズを使用した場合における３Ｄオブジェクトモデルを説明する図である。のぞき穴オブジェクトの形状の例を説明する図である。本発明の仮想のぞき穴画像生成システムの利用例を説明する図である。

以下、実施例を、図面を用いて説明する。
一般的に有料のライブや展示会などは、その会場の様子が外部に見えないように壁等により仕切られた空間で開催される。そのため、当然ながら壁向こうの非来場者には、来場者のリアクション、例えば爆笑、熱狂などの盛況な様子は伝わらない。この盛況な様子を効果的に非来場者にも伝える手段があれば、より有効な宣伝効果（集客アップ）にもなり得る。

その手段の一つとして、壁にのぞき穴をあける方法が考えられる。しかし、このように実際の壁等にのぞき穴をあける場合、その工事が必要である。

また穴の大きさや形状を工夫する必要があり、時間、コストがかかり、実用向きとは言えない。また、時間、コストは勿論のこと、穴をあけるに際しての制限などにより、状況に応じた柔軟の対応が難しく、現実的な方法とは言えない。

本発明は、係る点に鑑み、壁に穴をあけることなく、穴をあけた場合と同様に建物内の様子の一部が見ることができる、つまり必要以上に見せることなく、壁向こうの非来場者に対して建物内の様子を伝えることができる仮想的のぞき穴画像を作成するものである。
この画像（映像）は、動画であっても静止画であってもよい。

以下、宣伝効果を意図した実施例について説明する。
図１は、本発明の仮想のぞき穴画像生成システムの一実施例を示す構成図である。また、オブジェクトの作成方法として、カメラ１台を用意し、建物内の様子を再現するオブジェクトを半球の形状として、当該オブジェクトの半球の内側にテクスチャとしてカメラ映像をマッピングする例（例１）および当該カメラとして、３６０度レンズを使用し、建物内の様子を再現するオブジェクトの形状を球体とする例（例３）を実現する例である。

仮想のぞき穴画像生成システムは、端末１００、サーバ２００を有する。

端末１００は、表示部１２０、情報の送受信部１３０、映像出力部１４０、画像処理部１５０、を有する。

情報の送受信部１３０は、カメラ１１０、例えばＷＥＢカメラで読み取った映像（含ＡＲマーカ３００の情報）をサーバ２００側に送信し、またサーバ２００の仮想のぞき穴画像の情報を受信する。
カメラ１１０は、ＷＥＢカメラに特定する必要はないが、以下、ＷＥＢカメラを前提として説明する。

表示部１２０は、サーバ２００からの仮想のぞき穴画像の情報をモニタする機能を有する。映像出力部１４０は、ＷＥＢカメラ１１０の映像を受け、画像処理部１５０に出力する。

画像処理部１５０は、必要に応じサーバ２００の画像情報（端末投影用３Ｄオブジェクト）をカメラ１１０の映像とマッピングし、表示部１２０に出力する。

ＷＥＢカメラ１１０は、例えば建物の壁に貼り付けられたポスターのＡＲマーカ３００を読み取る。

サーバ２００は、情報の送受信部２２０、３Ｄオブジェクト作成部２３０、映像−３Ｄオブジェクト画像マッピング部２４０、ＡＲマーカ分析部２５０、端末投影用オブジェクト変更部２６０、画像処理部２７０、を有する。

情報の送受信部２２０は、端末１００からの情報（含ＡＲマーカ映像を含む情報；図７参照）を無線により受信し、また画像処理部２７０により生成されるマッピング用の画像を含む情報を端末１００へ無線により送信する。

３Ｄオブジェクト作成部２３０は、のぞき穴オブジェクト２３１、建物内の様子を再現するオブジェクト２３２（図７参照）を作成する。建物内の様子を再現するオブジェクト２３２の形状は、例えば半球、球体、立方体、三角錐であり、またそれ以外の形状であってもよい。３Ｄオブジェクトの作成処理については後述する。

のぞき穴オブジェクト２３１および建物内の様子を再現するオブジェクト２３２は、それぞれ映像に映し出されたＡＲマーカ３００の角度に応じて回転する回転軸（図６参照）を有する。

映像−３Ｄオブジェクト画像マッピング部２４０は、端末１００からの映像と３Ｄオブジェクト作成部２３０からのオブジェクトをマッピングする。

ＡＲマーカ分析部２５０は、端末１００からの映像に含まれるＡＲマーカ（マーカの大きさ、向き、角度）を分析する。

端末投影用オブジェクト変更部２６０は、端末投影用３Ｄオブジェクトの変更を行う。つまり、ＡＲマーカ分析部２５０のマーカの大きさを元に、３Ｄオブジェクト作成部２３０により作成される３Ｄオブジェクトの大きさを設定し、マーカの向きを元に、３Ｄオブジェクトの向きを設定し、マーカの角度を元に、３Ｄオブジェクトの角度を設定する。

画像処理部２７０は、端末投影用３Ｄオブジェクト変更部２６０からの端末投影用３Ｄオブジェクトを元に、マッピング用の画像を生成し（図４参照）、情報の送受信部２２０に出力する。
マッピングする例については後述する。

図２は、図１のシステム構成における端末１００側の処理フローとサーバ２００側の基本処理フローを示す図である。また、カメラ２１０を１台使用した場合（例１）と、カメラ２１０が３６０度レンズを使用した場合（例３）における３Ｄオブジェクトの作成処理手順を説明する図である。

端末１００は、ステップＳ１０１において、ＷＥＢカメラ１１０のカメラ機能により、映像を取得する。

ステップＳ１０２において、当該映像をサーバ２００に送信する。

サーバ２００は、ステップＳ２０１において、端末１００からの映像を受信する。

次いで、ステップＳ２０２において、映像の中にＡＲマーカ（ＡＲマーカ情報）が存在するか否かを判断する。その結果、マーカが存在しない場合（Ｎｏ）には、ステップＳ２０３において、処理を終了する。

マーカが存在する場合（ＹＥＳ）には、ステップＳ２０４において、ＡＲマーカを分析する。すなわち、マーカの大きさ、マーカの向き、マーカの角度を分析する。これらの大きさ、向き、角度は、画像（又は映像）との比較により決まる。

次に、ステップＳ２０５において、後述する端末投影用３Ｄオブジェクトの変更処理を行う。すなわち、ＡＲマーカの分析結果を受け、マーカの大きさを元に、別途作成される３Ｄオブジェクトの大きさを設定する。また、マーカの向きを元に、別途作成される３Ｄオブジェクトの向きを設定する。また、マーカの角度を元に、別途作成される３Ｄオブジェクトの角度を設定する。

次いで、ステップＳ２０６において、端末投影用３Ｄオブジェクトを元に、マッピング用の画像（端末投影用３Ｄオブジェクト画像）を生成する。

ステップＳ２０７において、ステップＳ２０６により、生成したマッピング用の画像（のぞき穴画像）を情報として端末１００に送信する。

端末１００は、ステップＳ１０３において、サーバ２００からの情報を受信する。

次いで、ステップＳ１０４において、サーバ２００から受信した画像情報（端末投影用３Ｄオブジェクト）を表示部１２０に出力する。この出力をもって、端末１００のカメラ映像と画像をマッピングする。

ステップＳ１０５において、処理を終了するか否かを判断し、終了しない場合（Ｎｏ）には、ステップＳ１０１に戻り、上述したステップを繰り返し行う。

次に、上述した３Ｄオブジェクトおよびマッピングについて説明する。３Ｄオブジェクトの作成例としては、何通りかあるが、本例では、１つのカメラ映像を、建物内の様子を再現するオブジェクト（例えば、半球形状）の内側にテクチャ（ｔｅｘｔｕｒｅ）として、マッピングする例である。また、カメラ２１０が１台の場合の例１およびカメラ２１０に３６０度レンズを使用した場合の例３についての処理手順を説明するものである。

図２において、ステップＳ３０１において、まず３Ｄオブジェクト（のぞき穴オブジェクト２３１および建物内の様子を再現するオブジェクト２３２）を作成する。

ステップＳ３０２において、建物内に設置され、建物内の様子を撮影するカメラ２１０からの映像を取得する。ここで、後述するが、図３に示すように、当該映像で非来場者に見せたくない映像部分（？部分）を隠した映像を作成してもよい。

ステップＳ３０３において、カメラ２１０の映像を作成した３Ｄオブジェクトの建物内の様子を再現するオブジェクト２３２（図６Ａ参照）にマッピングする。

ステップＳ３０４において、カメラ映像の取得、マッピングを終了するか否か判断し、終了しない場合（Ｎｏ）には、ステップＳ３０２に戻り、上述したステップを繰り返す。

ここで、カメラ２１０のレンズとして３６０度カメラを使用し、オブジェクト（建物内の様子を再現するオブジェクト２３２）の形状を球体とした例３の場合も同ステップで処理する。

この場合には、建物内の様子を再現するオブジェクトの形状が球体であることから、映像範囲が建物内の様子を再現するオブジェクトの形状が半球の場合よりも広く、上下左右（天井、床、壁）のどこからでも仮想のぞき穴で映像を見ることができる。

図３は、例１、例３において、カメラ２１０からの映像で隠したいところを隠した映像を作成する処理を施したものであって、図２との相違点は、ステップＳ３０５の有無である。

すなわち、図３では、ステップＳ３０５において、カメラ２１０からの映像で隠したいところを隠した映像は、画像処理部２７０により、例えば「？」マークなどのように画像処理を施す。

図４は、上述した図１の構成と図２の処理との対応関係および各処理部における処理画像を明示したものである。その内容は、上述したとおりであるので、同一部分には同一符号を付して、その説明は省略する。

図５は、サーバ２００側のステップＳ３０５における処理の様子を映像にて示すものであって、図３のステップＳ３０５において、カメラ２１０により、建物内の様子を撮影し、当該撮影映像に見せたくない映像をＡＲ技術により「？」印で隠した例を示す図である。

図６Ａは３Ｄオブジェクトの作成処理における例１のマッピングを説明する図である。
図６Ｂは、３Ｄオブジェクトの変更処理における例１のオブジェクトの回転を説明する図である。

３Ｄオブジェクトは、のぞき穴オブジェクト２３１、建物内の様子を再現するオブジェクト２３２を有する。建物内の様子を再現するオブジェクト２３２は、本例では、半球形状であるが、この形状に限る必要はなく、例えば後述するような球体、立方体、三角錐等でもよく、また、必要に応じて変えてもよい。

そして、図６Ａに示す如く、建物内の様子を再現するオブジェクト２３２の、球面の裏側に、画像処理部２７０で処理した映像をマッピングする。

また、のぞき穴オブジェクト２３１および建物内の様子を再現するオブジェクト２３２は、それぞれが回転軸を持っており、図６Ｂに示す如く、映像に映し出されたマーカの角度に合わせて回転する。この回転により、建物内の様子を再現するオブジェクト２３２に映し出される映像が如何にものぞき穴からのぞいて見えるような映像として見ることが可能となる。

図７は、例１において、マーカを映し出す角度によるマッピング結果の違いを説明する図であって、３Ｄオブジェクトとマッピングとの位置関係に対応して端末に表示される画像、カメラ１００が撮影したＡＲマーカ画像の様子を示す図である。

同図において、左側は、３Ｄオブジェクト（のぞき穴オブジェクト２３１、建物内の様子を再現するオブジェクト２３２）／マッピングの様子を示し、中央側に端末１００のモニタ１２０に表示される画像を示し、右側にカメラ１１０が撮影したＡＲマーカ画像を示している。また、上段は、カメラ１１０によるＡＲマーカ３００の撮影を正面から撮影した場合、中段は、ＡＲマーカの上側から見下ろすようにして撮影した場合、下段は、ＡＲマーカを下側から見上げるようにして撮影した場合である。
同図から、ＡＲマーカ３００を端末１００のカメラ１１０で撮影することにより、仮想のぞき穴が表示され、３Ｄオブジェクトの角度を変更することにより、通常の拡張現実と同様にマーカ３００の大きさや形状なども変わる様子が分かる。

すなわち、ＡＲマーカ３００の撮影位置、つまりＡＲマーカを映し出す角度により、３Ｄオブジェクト、カメラ画像、ＡＲマーカ画像が変化する様子が分かる。また、端末１００に見上げる、見下げるなどの角度を付けるとのぞき穴オブジェクト２３１の穴部分の厚みにより見える範囲が狭くなって見える。このように、見上げる場合と、見下ろす場合は、通常の目線の場合に比べ、のぞき穴オブジェクト２３１から見える映像の範囲が狭くなって見えることから、如何にも物理的ののぞき穴からのぞいた映像（画像）と同じように見える。

なお、本例では、カメラ２１０で撮影した映像が全て見えるようにしているが、この映像に図３のステップＳ３０５によりＡＲ技術処理を施すことにより、図５に示す如く、隠したい部分（例えば、絵画部分）には、「？」で見えないようにしてもよい。

図８は、本発明の仮想のぞき穴画像生成システムの他の実施例を示す構成図である。つまり、建物内の様子を再現するオブジェクト２３２を、建物内の様子をジオラマのように再現した形状を実現する例（例２）である。

図１の実施例との相違点は、サーバ２００側に複数のカメラ２１０、奥行きセンサ２８０、情報取得部２９０を設けた点にある。

奥行きセンサ２８０は、建物内の奥行きを計測する。３Ｄオブジェクト作成部２３０は、奥行センサ２８０により計測した数値を元に、３Ｄ空間を作成する。

情報取得部２９０は、複数のカメラ２１０から映像を取得し、また奥行きセンサ２８０からも情報を取得する。

図９は、カメラ２１０が複数の場合であって、奥行きセンサ２８０がある場合における３Ｄオブジェクト（建物内の様子を再現するオブジェクト２３２）の作成例を示す処理フローである。

ステップＳ３１１において、建物内に設置の複数台のカメラ２１０から映像を取得する。また、奥行きセンサ２８０からも奥行き情報を取得する。

ステップＳ３１２において、奥行きセンサ２８０の情報を元に３Ｄオブジェクト（のぞき穴オブジェクト２３１、建物内の様子を再現するオブジェクト２３２）を作成する。

ステップＳ３０３において、カメラ２１０の映像を、ステップＳ３１１により、作成した３Ｄオブジェクトにマッピングする。

ステップＳ３０４において、３Ｄオブジェクトの作成を終了するか否か判断し、終了しない場合（Ｎｏ）には、ステップ３１１に戻り、上述したステップを繰り返す。

図１０は、図９におけるステップＳ３１２およびステップＳ３０３における処理画像を示す図である。

図１１Ａは、複数のカメラと奥行きセンサを使用し、屋内の様子を再現するオブジェクトを作成する例２における建物内の様子を再現するオブジェクト２３２を作成する原理を説明する図である。本例は、奥行きセンサ２８０で得た３Ｄ空間情報に、カメラ２１０の映像をマッピングすることにより、建物内の様子を再現するオブジェクト２３２を作成する様子を示している。

図１１Ｂは、屋内の様子を再現するオブジェクトを作成する例３において、３６０度レンズを使用した場合における３Ｄオブジェクトモデルを説明する図である。本例は、カメラ２１０に３６０度レンズを設定した場合であって、当該３６０度レンズからの映像は、適切に処理され、球体内側にマッピングされる。すなわち、屋内の様子を再現するオブジェクト２３２の形状が球体であって、その内部に、のぞき穴プロジェクトがある様子を示している。

図１２Ａ〜図１２Ｄは、のぞき穴オブジェクト２３１の形状の例を示す図である。同図において、のぞき穴オブジェクト２３１は、３Ｄデータであることから、任意の形状に変更することが可能であること、また動的に変更することも可能であることを示している。

つまり、建物内の状況により、のぞき穴オブジェクト２３１の形状を変更することができる。その結果、建物内の盛り上がりに比例して、のぞき穴オブジェクト２３１の直径を小さくしていき、映像がより見え難くするなどが可能となる。盛り上がり状況を判断する方法としては、例えば建物内の音量を測定し、音量の大きさで盛り上げ具合を判定する仕組みを採り入れればよい。また、のぞき穴オブジェクト２３１には、例えば、図１２Ｄの如く、穴部分にレンズがあるかのような３Ｄオブジェクトを追加することや、図１２Ｃの如く、セロファンのような透過性のある着色された膜のような３Ｄオブジェクトを付加することも可能である。

図１３は、本発明の仮想のぞき穴画像生成システムを利用した場合における効果の例を模式的に示した図である。
本例によれば、仮想のぞき穴を見ている人は、仮想のぞき穴で見える範囲は、限られている（建物内の様子は見えるが、見える範囲が狭い）。従って、人の心理として、何とか見たいところを見ようとする（何とか見ようと、しゃがんだり、背伸びしたりする）。しかし、見ることができない。このことから入場してでも見たくなる（次第に我慢できなくなって、入場料を払ってでも見たくなる）、と言った行動を誘発することが期待できる。

また、仮想のぞき穴を見ている人に気付いた人は、仮想のぞき穴を覗いている人達の様子が気になる（ポスターの前で、端末片手に立ったり、座ったりしている人達がいる）。その人達の様子やポスターなどに注目する（一体何をしているのだろうと思う）。これにより、入場したくなる、又は仮想のぞき穴を覗きたくなる（見ている人達に近づいていきたくなる）。つまり、のぞき穴利用者によって、更なる宣伝効果を生み出す。

なお、本発明は上記した実施例限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、Ｓｓｄ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、宣伝効果を意図しているが、仮想のぞき画像を生成するシステムであれば、如何なるシステムにも適用可能である。

１００端末
１１０ＷＥＢカメラ
１２０表示部
１３０情報の送受信部
１４０映像出力部
１５０画像処理部
２００サーバ
２１０カメラ
２２０情報の送受信部
２３０３Ｄオブジェクト作成部
２４０マッピング部
２５０ＡＲマーカ分析部
２６０端末投影用オブジェクト変更部
２７０画像処理部
２８０奥行きセンサ
２９０情報取得部
３００ＡＲマーカ

Claims

端末と、サーバを有し、
前記端末は、カメラ、表示部、画像処理部、情報送受信部を有し、
前記カメラは、ＡＲマーカを読み取り、
前記画像処理部は、前記カメラの映像と前記サーバから送られてくる画像情報をマッピングし、前記表示部に出力し、
前記表示部は、マッピング画像をモニタし、
前記情報送受信部は、前記カメラにより撮影したＡＲマーカを含む映像を前記サーバに送信し、また前記サーバからのマッピング用画像を受信し、
前記サーバは、ＡＲマーカ分析部、３Ｄオブジェクト作成部、３Ｄオブジェクト変更部、マッピング用画像生成部、情報送受信部、を有し、
前記ＡＲマーカ分析部は、前記ＡＲマーカの大きさ、向き、角度を分析し、
前記３Ｄオブジェクト作成部は、建物内の様子を再現するオブジェクト及びのぞき穴オブジェクトを含む端末投影用３Ｄオブジェクトを生成し、
前記３Ｄオブジェクト変更部は、前記ＡＲマーカ分析部による前記ＡＲマーカの大きさ、向き、角度を元に、前記端末投影用３Ｄオブジェクトの建物内の様子を再現するオブジェクト及びのぞき穴オブジェクトの大きさ、向き、角度を設定し、
前記マッピング用画像生成部は、前記端末投影用３Ｄオブジェクトを元に、前記マッピング用画像を生成し、
前記情報送受信部は、前記端末からのＡＲマーカを含むカメラ映像を受信し、また前記マッピング用画像を前記端末に送信し、
前記端末の表示部において、前記カメラ映像と前記マッピング用画像をマッピングして表示する
ことを特徴とする仮想のぞき穴画像生成システム。
請求項１記載の仮想のぞき穴画像生成システムにおいて、前記サーバは、さらにＡＲ機能を有し、前記画像処理部は、前記建物内の様子を撮影するカメラの映像から一部を隠した映像を作成する処理部、を有し、
前記マッピング用画像生成部は、当該一部を隠した映像を前記端末投影用３Ｄオブジェクトにマッピングするように構成する仮想のぞき穴画像生成システム。
請求項１記載の仮想のぞき穴画像生成システムにおいて、前記サーバは、さらに建物内の奥行きを計測する奥行きセンサを有し、前記３Ｄオブジェクト作成部は、前記奥行きセンサにより計測した数値を元に、３Ｄ空間を作成し、
前記マッピング用画像生成部は、当該３Ｄ空間に前記端末のカメラで撮影した映像をマッピングできるように構成する仮想のぞき穴画像生成システム。