JP7020115B2 - Ｖｒ空間における自撮り装置、方法、およびプログラム - Google Patents

Description

本発明は、現実空間内で撮影された画像と、バーチャルリアリティの空間の映像とを合成する技術に関する。

従来、ヘッドマウントディスプレイ（以下、ＨＭＤとも言う）や巨大スクリーンなどに映し出された映像を見ることによって、その映像によって表現される仮想現実の空間内にあたかも実際にいるかのような体験をすることができるバーチャルリアリティ（以下、ＶＲとも言う）の技術が開発されている。ＨＭＤを利用するＶＲの場合、ＨＭＤを装着している者は、現実の世界から遮断されるので、より一層ＶＲの世界に没入することができる。

しかしながら、ＨＭＤに映し出される映像は、ＨＭＤを装着している者しか見ることができない。そのため、ＨＭＤを装着している者以外の他の者は、ＶＲを体験している者が一体どのような体験をしているのかを知ることができない。すなわち、ＶＲの空間は、ＨＭＤを装着している者だけしか知ることができない閉じられた世界である。このように、ＨＭＤを装着している者は、ＶＲの空間内で体験した出来事を他の者と共有するのが難しい。

ところで、昨今、自分で自分を撮影する“自撮り”が人気である。“自撮り”とは、スマートフォンなどのディスプレイで自分自身の姿を確認しながら、自分自身を被写体として写す撮影方法である。自分が体験している出来事を他の者に分かりやすいよう、自分の思い通りに撮影することが可能である。そのため、他の者は、自撮りで撮影された写真を見ることによって、自撮りを行なった者が体験した出来事を容易に知ることができる。

そこで、本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、ＨＭＤを装着してＶＲを体験している者が、その者が現実空間内で撮影された画像と、ＶＲの空間の映像とを合成することによって、その者がＶＲの空間内にいるかのごとく自撮りで撮影することができる、装置、方法、およびプログラムを提供することにある。

このような目的を達成するために、本発明の第１の態様は、装置である。この装置は、バーチャルリアリティ（ＶＲ）空間内に、ヘッドマウントディスプレイ（ＨＭＤ）を装着しているユーザの現実空間内での身体を表わす身体領域画像を配置し、前記身体領域画像が配置された前記ＶＲ空間内の画像に、前記ユーザの前記ＨＭＤを装着していない顔の画像を重畳する、ように構成されたプロセッサを備える。

本発明の第２の態様は、装置によって実施される方法である。この方法は、バーチャルリアリティ（ＶＲ）空間内に、ヘッドマウントディスプレイ（ＨＭＤ）を装着しているユーザの現実空間内での身体を表わす身体領域画像を配置するステップと、前記身体領域画像が配置された前記ＶＲ空間内の画像に、前記ユーザの前記ＨＭＤを装着していない顔の画像を重畳するステップと、を含む。

本発明の第３の態様は、プログラムである。このプログラムは、コンピュータを第１の態様の装置として機能させるプログラムである。

本発明によれば、ＨＭＤを装着してＶＲを体験している者が現実空間内で自撮りで撮影された画像と、そのＶＲを体験している者がＨＭＤを装着していない顔の画像と、ＶＲ空間の映像と、を合成することができる。それにより、ＨＭＤを装着してＶＲを体験している者は、ＶＲの空間内にいるかのごとく自撮りで撮影することができる。

本発明の一実施形態にかかるＶＲ空間における自撮りサービスのイメージ図である。 本発明の一実施形態にかかるＶＲ空間における自撮りシステムの全体の概要図である。 本発明の一実施形態にかかるＶＲ空間における自撮りシステムの画像処理装置の機能ブロック図である。 本発明の一実施形態にかかる顔合成を説明するための図である。 本発明の一実施形態にかかるＶＲ空間における自撮りシステムの画像処理装置における処理フローの一例を示すフローチャートである。

最初に、本明細書で利用する用語について説明する。「自撮り」とは、撮影する者が自分自身を被写体として撮影することであり、自分撮り、セルフィなどとも言われる。また、「ＶＲ空間」とは、ＨＭＤ上に映し出される映像によって表現される仮想現実の空間である。また、「現実空間」とは、現実の空間、つまり、実在する空間である。なお、本発明では、両眼、単眼、非透過型、透過型などの任意のＨＭＤを用いることができる。

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。

図１は、本発明の一実施形態にかかるＶＲ空間における自撮りサービスのイメージ図である。図１に示されるように、現実空間１１０において、ユーザ１００は、ＨＭＤ１１３を装着してＨＭＤ１１３に映し出される映像を見ているとする。その結果、ユーザ１００は、ＶＲ空間１３０内にいるかのような体験をすることができる。ユーザ１００は、ＶＲ空間１３０内を視点１３１から見ながら（つまり、ＨＭＤ１１３を装着したまま）、撮影デバイス１１２へ顔を向けて自撮りを行なう。そうすると、ＶＲ空間１３０内にいるユーザ１００が自撮りで撮影されたかのような自撮り画像１４０を取得することができる。以下、さらに具体的に図１を説明する。

＜現実空間とＶＲ空間の合成＞
ユーザ１００は、ＨＭＤ１１３に映し出されるＨＭＤ映像１１１を見ながら、撮影デバイス１１２へ顔を向けて自撮りを行なう。ＨＭＤ映像１１１は、ユーザ１００の眼前に拡がるＶＲ空間１３０の映像である。さらに、ＨＭＤ映像１１１には、ユーザ１００が自分の手に持っているかのようにＶＲ空間１３０内を移動させることができる仮想カメラ１２２が映っている。仮想カメラ１２２の動きは、撮影デバイス１１２の動きと連動している。ユーザ１００は、仮想カメラ１２２のモニタに表示されている現実・ＶＲ合成画像１２１を見ることによって、自分自身の姿を確認することができる。現実・ＶＲ合成画像１２１は、現実空間１１０とＶＲ空間１３０とを合成したＶＲ空間である現実・ＶＲ合成空間１２０内で仮想カメラ１２２が写している画像である。つまり、現実・ＶＲ合成画像１２１は、現実空間１１０内で撮影デバイス１１２が撮影しているユーザ１００の身体の画像と、ユーザ１００がＨＭＤ１１３を装着していない顔の画像（詳細は、下記の＜顔画像の合成＞で述べる）と、ユーザ１００の背面に拡がるＶＲ空間１２０の映像と、が合成された画像である。ユーザ１００が撮影デバイス１１２に対して撮影するよう指示を与えると、現実・ＶＲ空間１２０内の仮想カメラ１２２が撮影を行なう。

＜顔画像の合成＞
現実空間１１０内で撮影デバイス１１２が撮影しているユーザ１００は、ＨＭＤ１１３を装着している。そのため、現実・ＶＲ合成空間１２０内では、現実空間１１０内のＨＭＤ１１３を装着しているユーザ１００の顔の画像に、事前に撮影しておいたＨＭＤ１１３を装着していないユーザ１００の顔の画像を重畳している。このように、本発明では、ユーザ１００が現実空間１１０内で自撮りで撮影された画像と、そのユーザ１００がＨＭＤ１１３を装着していない顔の画像と、ＶＲ空間１３０の映像と、が合成される。

図２は、本発明の一実施形態にかかるＶＲ空間における自撮りシステム２００の全体の概要図である。概要図には、画像処理装置２０１、撮影デバイス１１２、ヘッドマウントディスプレイ（ＨＭＤ）１１３が含まれる。画像処理装置２０１は、撮影デバイス１１２、ＨＭＤ１１３のそれぞれと、データの送受信をすることができる。画像処理装置２０１は、撮影デバイス１１２で自撮りで撮影しているＨＭＤ１１３を装着している者の身体の画像と、その者がＨＭＤ１１３を装着していない顔の画像と、ＨＭＤ１１３に映し出されているＶＲ空間の映像と、を合成することができる。

ヘッドマウントディスプレイ（ＨＭＤ）１１３は、両眼、単眼、非透過型、透過型などの任意のＨＭＤである。ＨＭＤ１１３は、画像処理装置２０１とデータの送受信をすることができる。ＨＭＤ１１３は、画像処理装置２０１から受信した映像をディスプレイ上で表示することができる。

撮影デバイス１１２は、カメラ機能と、ジャイロセンサ（角速度センサ）と、深度センサと、仮想カメラに対して撮影するよう指示を与えるためのボタンと、を備えることができる。また、撮影デバイス１１２は、完成した画像（つまり、図１の自撮り画像１４０）を記憶するためのメモリを備えることができる。撮影デバイス１１２は、画像処理装置２０１とデータの送受信をすることができる。撮影デバイス１１２は、画像処理装置２０１へ、カメラ機能が撮影している画像と、ジャイロセンサ（角速度センサ）および深度センサが測定している情報と、を送信することができる。また、撮影デバイス１１２は、画像処理装置２０１へ、仮想カメラに対して撮影するよう指示が与えられたという情報を送信することができる。また、撮影デバイス１１２は、画像処理装置２０１から、完成した画像（つまり、図１の自撮り画像１４０）を受信することができる。

撮影デバイス１１２のカメラ機能は、従来のデジタルカメラやスマートフォンなどのカ
メラ機能のように動画像を撮影することができる。撮影デバイス１１２は、画像処理装置２０１へ、カメラ機能が撮影中の動画像を常時（リアルタイム処理で）送信することができる。

撮影デバイス１１２のジャイロセンサ（角速度センサ）は、撮影デバイス１１２の角度や角速度を測定することができる。撮影デバイス１１２は、画像処理装置２０１へ、ジャイロセンサ（角速度センサ）が測定中の情報を常時（リアルタイム処理で）送信することができる。そのため、画像処理装置２０１は、撮影デバイス１１２の向きを算出することができる。

撮影デバイス１１２の深度センサは、撮影デバイス１１２と、撮影デバイス１１２で自撮りで撮影している者（つまり、ＨＭＤ１１３を装着している者）との距離を測定することができる。また、撮影デバイス１１２の深度センサは、撮影デバイス１１２と、撮影デバイス１１２で自撮りで撮影している者以外の物体との距離を測定することができる。撮影デバイス１１２は、画像処理装置２０１へ、深度センサが測定中の情報を常時（リアルタイム処理で）送信することができる。そのため、画像処理装置２０１は、カメラ機能が撮影している動画像内の各点の奥行き（デプス）に関する情報を取得することができる。その結果、画像処理装置２０１は、撮影デバイス１１２で自撮りで撮影している者の身体やその者以外の物体を立体的に捉えることができる。画像処理装置２０１は、カメラ機能が撮影している動画像内の各点の奥行き（デプス）に関する情報に基づいて、撮影デバイス１１２で自撮りで撮影している者を、カメラ機能が撮影している動画像内で識別して、その者の身体を表わす仮想的な立体物（以下、身体領域画像とも言う）を生成することができる。

撮影デバイス１１２のボタンは、仮想カメラに対して撮影するよう指示が与えられたことを識別することができる。例えば、ボタンが押下されると、撮影デバイス１１２は、仮想カメラに対して撮影するよう指示が与えられたと判断することができる。

図３は、本発明の一実施形態にかかる画像処理装置２０１の機能ブロック図である。画像処理装置２０１は、現実空間画像取得部３０１、現実・ＶＲ合成部３０２、顔合成部３０３、自撮り画像送信部３０４、顔画像記憶部３０５、自撮り画像記憶部３０６を含む。画像処理装置２０１は、プロセッサおよびメモリを含む１または複数のコンピュータである。また、画像処理装置２０１は、現実空間画像取得部３０１、現実・ＶＲ合成部３０２、顔合成部３０３、自撮り画像送信部３０４を動作させるためのプログラム、または、後述する処理フローを実行するためのプログラム、を格納した記憶媒体を含む。

現実空間画像取得部３０１は、撮影デバイス１１２から、撮影デバイス１１２がリアルタイム処理で送信している現実空間内の動画像、および、ジャイロセンサ（角速度センサ）および深度センサが測定した情報を受信することができる。現実空間内の動画像は、ＨＭＤ１１３を装着している者（以下、ユーザとも言う）が撮影デバイス１１２で自撮りで撮影している動画像である。現実空間画像取得部３０１は、現実・ＶＲ合成部３０２が参照できるように、撮影デバイス１１２から受信した現実空間内の動画像とジャイロセンサ（角速度センサ）および深度センサが測定した情報とをメモリ（図示せず）に記憶することができる。

＜現実・ＶＲ合成画像の表示＞
現実・ＶＲ合成部３０２は、ユーザが撮影デバイス１１２で自撮りで撮影している現実空間内の動画像と、そのユーザの背面に拡がるＶＲ空間の映像と、を合成して、その合成画像を仮想カメラのモニタに表示させることができる。その際、顔合成部３０３は、現実空間内のＨＭＤ１１３を装着しているユーザの顔の画像と、顔画像記憶部３０５に記憶されているＨＭＤ１１３を装着していないユーザ１００の顔の画像と、を合成する。そして、仮想カメラが撮影を行なう。以下、図１を参照しながら、現実空間とＶＲ空間の合成について詳細に説明する。

図１の現実空間１１０では、ＨＭＤ１１３を装着しているユーザが撮影デバイス１１２で自撮りで撮影している。現実・ＶＲ合成空間 １２０は、ユーザが撮影デバイス１１２で自撮りで撮影している現実空間１１０内の動画像と、そのユーザの背面に拡がるＶＲ空間１３０の映像とを合成した画像（つまり、現実・ＶＲ合成画像１２１）を生成するためのＶＲ空間である。ＶＲ空間 １３０は、ＨＭＤ１１３を装着しているユーザが見ている映像によって表現されるＶＲ空間である。つまり、ＨＭＤ１１３を装着しているユーザは、現実・ＶＲ合成空間 １２０ではなく、視点１３１を視点としてＶＲ空間 １３０内を見ている。

現実・ＶＲ合成部３０２は、現実空間画像取得部３０１が受信した現実空間内の動画像と深度センサが測定した情報とに基づいて、ユーザの身体を表わす仮想的な立体物（つまり、身体領域画像）を生成することができる。また、現実・ＶＲ合成部３０２は、現実・ＶＲ合成空間 １２０内に任意の大きさで身体領域画像を配置することができる。この際、現実・ＶＲ合成部３０２は、ＨＭＤ１１３のヘッドトラッキング機能（ユーザの頭の動きの検知）に基づいて、現実空間１１０内のユーザの顔の向きと、現実・ＶＲ空間 １２０内の身体領域画像の顔の向きとを一致させることができる。また、現実・ＶＲ合成部３０２は、ＨＭＤ１１３のポジショントラッキング機能（ＨＭＤ１１３の現実空間１１０内での位置の検知）に基づいて、現実空間１１０内のユーザの位置と、現実・ＶＲ空間 １２０内の身体領域画像の位置とを一致させることができる。

さらに、現実・ＶＲ合成部３０２は、現実空間１１０内でユーザが撮影デバイス１１２を持っている位置に相当する現実・ＶＲ合成空間１２０内での位置（つまり、身体領域画像の手）に、現実・ＶＲ合成空間１２０内を撮影するための仮想カメラ１２２を配置することができる。また、現実・ＶＲ合成部３０２は、ＶＲ空間１３０内に、仮想カメラ１２２のモニタを配置することができる。また、現実・ＶＲ合成部３０２は、ＶＲ空間１３０内の仮想カメラ１２２のモニタに、現実・ＶＲ合成空間１２０内の仮想カメラ１２２が撮影しようとしている現実・ＶＲ合成空間１２０内の画像を表示させることができる。なお、ユーザが手にモニタを持っているかのように、ＶＲ空間１３０内で、仮想カメラ１２２のモニタのほかに、ユーザの手または自撮り棒に相当する仮想的な立体物を配置するようにしてもよい。

ここで、現実・ＶＲ合成空間１２０内の仮想カメラ１２２およびＶＲ空間１３０内の仮想カメラ１２２のモニタについて説明する。現実・ＶＲ合成空間１２０内の仮想カメラ１２２は、仮想カメラ１２２の位置を視点とし、その視点に投影される２次元画像を撮影する（記憶する）ためのものである。そして、ＶＲ空間１３０内の仮想カメラ１２２のモニタは、現実・ＶＲ合成空間１２０内の仮想カメラ１２２が撮影しようとしている現実・ＶＲ合成空間１２０内の画像を表示するためのものである。

現実・ＶＲ合成空間１２０内の仮想カメラ１２２と、ＶＲ空間１３０内の仮想カメラ１２２のモニタと、現実空間１１０内の撮影デバイス１１２とは、位置、向き、動きが連動している。具体的には、現実・ＶＲ合成部３０２は、例えば、図１の位置追跡装置１１４（カメラなど）が測定した情報（撮影された画像など）を取得してその情報に基づいて、現実空間１１０内の撮影デバイス１１２とユーザとの位置関係を算出することができる。また、現実・ＶＲ合成部３０２は、現実空間画像取得部３０１が受信したジャイロセンサ（角速度センサ）が測定した情報に基づいて、撮影デバイス１１２の向きを算出することができる。あるいは、現実・ＶＲ合成部３０２は、図１の位置追跡装置１１４（例えば、カメラなど）が取得した情報（例えば、撮影された画像）に基づいて、撮影デバイス１１２の向きを算出することができる。

現実・ＶＲ合成部３０２は、現実空間１１０内の撮影デバイス１１２とユーザとの位置関係と、現実・ＶＲ空間１２０内の仮想カメラ１２２とユーザとの位置関係と、が一致するように、現実・ＶＲ空間１２０内に仮想カメラ１２２を配置することができる。また、現実・ＶＲ合成部３０２は、撮影デバイス１１２の向きと仮想カメラ１２２の向きとが一致するように、現実・ＶＲ空間１２０内に仮想カメラ１２２を配置することができる。

また、現実・ＶＲ合成部３０２は、現実空間１１０内の撮影デバイス１１２とユーザとの位置関係と、ＶＲ空間１３０内の仮想カメラ１２２のモニタと視点１３１との位置関係と、が一致するように、ＶＲ空間１３０内に仮想カメラ１２２のモニタを配置することができる。また、現実・ＶＲ合成部３０２は、撮影デバイス１１２の向きと仮想カメラ１２２のモニタの向きとが一致するように、ＶＲ空間１３０内に仮想カメラ１２２のモニタを配置することができる。

＜現実・ＶＲ合成画像の撮影＞
現実・ＶＲ合成部３０２は、撮影デバイス１１２のボタンが押下されることに応答して、仮想カメラに撮影させることができる。具体的には、現実・ＶＲ合成部３０２は、撮影デバイス１１２から、仮想カメラに対して撮影するよう指示が与えられたという情報を受信することができる。また、現実・ＶＲ合成部３０２は、撮影の指示を受信した時にＶＲ空間１３０内の仮想カメラ１２２のモニタに表示されている画像（つまり、現実・ＶＲ合成空間１２０内で、仮想カメラの位置を視点とし、その視点に投影される２次元画像）を取得して自撮り画像記憶部３０６に記憶することができる。

顔画像記憶部３０５は、ＨＭＤ１１３を装着してないユーザの顔を１または複数の角度から撮影した画像を格納している。例えば、顔画像記憶部３０５に格納される顔の画像は、全方位（３６０度）から撮影された顔の画像である。ユーザの顔を全方位から撮影することによって、ユーザの顔が立体的に捉えられうる。顔の画像は、顔の特徴的な部分（鼻、口、耳、顎など）に特徴点を有している。

顔合成部３０３は、現実・ＶＲ合成空間１２０内で、現実空間１１０内のＨＭＤ１１３を装着しているユーザの顔の画像と、顔画像記憶部３０５に記憶されているＨＭＤ１１３を装着していないユーザ１００の顔の画像と、を合成することができる。図４を参照しながら、顔合成部３０３について詳細に説明する。

図４は、本発明の一実施形態にかかる顔合成を説明するための図である。

画像ａは、顔画像記憶部３０５に格納されているユーザの顔の実写の画像である。画像ａ内の星印で示されるように、ユーザの顔の実写の画像は、１または複数の特徴点を有している。特徴点は、ユーザの顔のなかで特徴的な部分（鼻、口、耳、顎などのＨＭＤ１１３に覆われる可能性が無い部分）の位置を示す。

画像ｂは、現実空間内のＨＭＤ１１３を装着しているユーザの顔の実写の画像である。つまり、画像ｂは、身体領域画像である。画像ｂ内の星印で示されるように、身体領域画像は、１または複数の特徴点を有している。

画像ｃは、顔合成部３０３によって生成された画像である。顔合成部３０３は、画像ａ内の特徴点と画像ｂ内の特徴点とが合うように画像ａの顔を変形させて、画像ｃを生成することができる。なお、画像ｃは、顔の上半分（つまり、ＨＭＤ１１３で覆われている部分）の画像であるが、顔全体の画像とすることもできる。

画像ｄは、顔合成部３０３によって生成された画像である。顔合成部３０３は、画像ｂに画像ｃを重畳して、画像ｄを生成することができる。

なお、本明細書では、現実・ＶＲ合成空間内１２０内のユーザの顔に、ＨＭＤ１１３を装着していないユーザの顔を重畳する実施例を説明したが、仮想カメラ１２２が撮影した画像内のユーザの顔に、ＨＭＤ１１３を装着していないユーザの顔を重畳するようにしてもよい。すなわち、仮想カメラ１２２は、現実・ＶＲ合成空間１２０内でＨＭＤ１１３を装着しているユーザを撮影する。そして、顔合成部３０３は、仮想カメラ１２２が撮影した画像内のユーザの顔に、ＨＭＤ１１３を装着していないユーザの顔を重畳する。仮想カメラ１２２が撮影した画像内のユーザの顔にＨＭＤ１１３を装着していないユーザの顔を重畳する実施例でも、現実・ＶＲ合成空間内１２０内のユーザの顔にＨＭＤ１１３を装着していないユーザの顔を重畳する実施例と同様の自撮り画像１４０を取得することができる。

図３に戻る。自撮り画像記憶部３０６は、仮想カメラ１２２が撮影した自撮り画像を格納することができる。この自撮り画像は、ＶＲ空間内にいるユーザが自撮りで撮影されたかのような画像である。

自撮り画像送信部３０４は、撮影デバイス１１２またはその他のデバイスへ、自撮り画像記憶部３０６内の自撮り画像を送信することができる。具体的には、自撮り画像送信部３０４は、メールなどで自撮り画像を送信することができる。あるいは、自撮り画像送信部３０４は、撮影デバイス１１２またはその他のデバイスに自撮り画像をダウンロードさせることができる。

図５は、本発明の一実施形態にかかるＶＲ空間における自撮りシステムの画像処理装置２０１における処理フローの一例を示すフローチャートである。

ステップ５０１で、画像処理装置２０１は、撮影デバイス１１２から、撮影デバイス１１２がリアルタイム処理で送信している現実空間１１０内の動画像、および、ジャイロセンサ（角速度センサ）および深度センサが測定した情報を受信する。

ステップ５０２で、画像処理装置２０１は、ステップ５０１で受信した現実空間１１０内の動画像と深度センサが測定した情報とに基づいて、ユーザの身体を表わす仮想的な立体物（身体領域画像）を生成する。

ステップ５０３で、画像処理装置２０１は、ステップ５０２で生成した身体領域画像を現実・ＶＲ合成空間１２０内に配置する。

ステップ５０４で、画像処理装置２０１は、現実空間１１０内でユーザが撮影デバイス１１２を持っている位置に相当する現実・ＶＲ空間１２０内での位置（つまり、身体領域画像の手）に、仮想カメラを配置する。また、画像処理装置２０１は、現実空間１１０内でユーザが撮影デバイス１１２を持っている位置に相当するＶＲ空間１３０内での位置に、仮想カメラのモニタを配置する。画像処理装置２０１は、例えば、図１の位置追跡装置１１４（カメラなど）が測定した情報（撮影された画像など）やステップ５０１で受信したジャイロセンサ（角速度センサ）が測定した情報に基づいて、仮想カメラや仮想カメラのモニタを配置することができる。

ステップ５０５で、画像処理装置２０１は、ステップ５０４で配置した仮想カメラのモニタに、ステップ５０４で配置した仮想カメラが撮影しようとしている現実・ＶＲ空間１２０内の画像を表示させる。具体的には、画像処理装置２０１は、仮想カメラの位置を視点とし、その視点に投影される２次元画像を仮想カメラのモニタに表示させる。

ステップ５０６で、画像処理装置２０１は、仮想カメラで撮影する。具体的には、画像処理装置２０１は、撮影デバイス１１２から撮影の指示を受信した時に仮想カメラのモニタに表示されている画像（つまり、仮想カメラの位置を視点とし、その視点に投影される２次元画像）を取得してメモリに記憶する。

ステップ５０７で、画像処理装置２０１は、撮影デバイス１１２へ、ステップ５０７で仮想カメラが撮影した自撮り画像を送信する。

なお、上記のとおり、顔合成は、ステップ５０３で行なってもよいし、ステップ５０６後に行ってもよい。

なお、本明細書で説明した画像処理装置２０１の現実空間画像取得部３０１～自撮り画像記憶部３０６のうちの一部または全部を、撮影デバイス１１２またはＨＭＤ１１３の処理装置およびメモリが画像処理装置２０１の代わりに備えてもよい。また、撮影デバイス１１２は、専用のデバイスであってもよいし、あるいは、撮影デバイス１１２と同様の処理を実行可能なアプリケーションソフトがインストールされたスマートフォンなどのデバイスであってもよい。

このように、本発明では、ヘッドマウントディスプレイを装着してバーチャルリアリティを体験している者が、ヘッドマウントディスプレイを装着していない状態でバーチャルリアリティの空間内で自撮りで撮影したかのような自撮り画像を生成することができる。

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。

また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

１００ ユーザ
１１０ 現実空間
１１１ ＨＭＤ映像
１１２ 撮影デバイス
１１３ ＨＭＤ
１１４ 位置追跡装置
１２０ 現実・ＶＲ合成空間
１２１ 現実・ＶＲ合成画像
１２２ 仮想カメラ
１３０ ＶＲ空間
１３１ 視点
１４０ 自撮り画像
２００ 自撮りシステム
２０１ 画像処理装置
３０１ 現実空間画像取得部
３０２ 現実・ＶＲ合成部
３０３ 顔合成部
３０４ 自撮り画像送信部
３０５ 顔画像記憶部
３０６ 自撮り画像記憶部

Claims (5)

1. バーチャルリアリティ（ＶＲ）空間内に、ヘッドマウントディスプレイ（ＨＭＤ）を装着しているユーザの現実空間内での身体を表わす身体領域画像を配置し、
   前記身体領域画像が配置された前記ＶＲ空間内の画像に、前記ユーザの前記ＨＭＤを装着していない顔の画像を重畳し、
   前記ＶＲ空間内に仮想カメラを配置し、
   前記仮想カメラのモニタに、前記仮想カメラの位置にある視点に投影される前記身体領域画像が配置された前記ＶＲ空間内の画像を表示し、
   前記仮想カメラに対する撮影の指示を受けたときに前記視点に投影されている前記身体領域画像が配置された前記ＶＲ空間内の画像を取得する
   ように構成されたプロセッサを備えた
   ことを特徴とする装置。
2. 前記仮想カメラの動きは、前記ユーザの現実空間内での動きと連動している
   ことを特徴とする請求項１に記載の装置。
3. 前記身体領域画像は、前記ＨＭＤを装着している前記ユーザの現実空間内の動画像、および、前記動画像の奥行きを算出するための情報に基づいて生成される
   ことを特徴とする請求項１又は２に記載の装置。
4. 装置によって実施される方法であって、
   バーチャルリアリティ（ＶＲ）空間内に、ヘッドマウントディスプレイ（ＨＭＤ）を装着しているユーザの現実空間内での身体を表わす身体領域画像を配置するステップと、
   前記身体領域画像が配置された前記ＶＲ空間内の画像に、前記ユーザの前記ＨＭＤを装着していない顔の画像を重畳するステップと、
   前記ＶＲ空間内に仮想カメラを配置するステップと、
   前記仮想カメラのモニタに、前記仮想カメラの位置にある視点に投影される前記身体領域画像が配置された前記ＶＲ空間内の画像を表示するステップと、
   前記仮想カメラに対する撮影の指示を受けたときに前記視点に投影されている前記身体領域画像が配置された前記ＶＲ空間内の画像を取得するステップと
   を含む
   ことを特徴とする方法。
5. 請求項４に記載の方法をコンピュータに実行させるためのプログラム。

Images