WO2022014170A1

WO2022014170A1 - 情報処理装置、情報処理方法、および情報処理システム

Info

Publication number: WO2022014170A1
Application number: PCT/JP2021/019897
Authority: WO
Inventors: 孝悌清水
Original assignee: ソニーグループ株式会社
Priority date: 2020-07-13
Filing date: 2021-05-26
Publication date: 2022-01-20
Also published as: US20230260235A1; CN115668301A; JPWO2022014170A1

Abstract

【課題】仮想空間における撮影体験のエンターテインメント性をより高めることが可能な情報処理装置、情報処理方法、および情報処理システムを提供する。【解決手段】仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、および情報処理システム

　本開示は、情報処理装置、情報処理方法、および情報処理システムに関する。

　近年普及しているＶＲ（Virtual　Reality）アプリケーションでは、３Ｄモデルが配置された仮想空間内を、ユーザが任意の視点から視聴することができる。このようなＶＲの世界は、主にユーザの視界を表示部で覆う非透過型のＨＭＤ（Head　Mounted　Display）を用いて提供され得る。仮想空間での体験をより楽しむためのイベントの１つとして、仮想空間内における写真撮影（仮想空間として表示されている画像の保存）が挙げられる。現状のゲームや動画配信コンテンツでは、表示デバイス全体に描画された映像の静止画を取得するスクリーンショット機能がある。

　また、仮想空間を提供する技術に関し、例えば以下のような文献が挙げられる。

　下記特許文献１では、仮想空間に配置されたカメラオブジェクト（仮想物体）をユーザが操作して仮想空間内（に展開されるパノラマ画像）を撮影すると、撮影により生成された写真画像がモニタオブジェクトに表示される技術が開示されている。そして、ユーザによるモニタオブジェクトへのスライド操作に応じて、写真オブジェクトが仮想空間内に配置される。

　また、下記特許文献２では、仮想空間におけるアバター（ユーザの分身となるキャラクタオブジェクト）の操作により撮影された写真画像を現実世界のプリンタから出力する技術が開示されている。

特開２０１９－０２１１２２号公報特開２００９－１７６０２５号公報

　しかし、仮想空間内で撮像した写真画像を仮想空間内に配置する場合、上記特許文献１では、撮影操作とスライド操作といった２つの操作が必要となり、操作が煩雑である。

　そこで、本開示では、仮想空間における撮影体験のエンターテインメント性をより高めることが可能な情報処理装置、情報処理方法、および情報処理システムを提案する。

　本開示によれば、仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を備える、情報処理装置を提案する。

　本開示によれば、プロセッサが、仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行うことを含む、情報処理方法を提案する。

　本開示によれば、表示装置と、コントローラと、前記表示装置に表示される仮想空間の被写体を撮像する撮像トリガが前記コントローラにより検知された際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を有する情報処理装置と、を備える、情報処理システムを提案する。

本開示の一実施形態による情報処理システムの構成例を示す図である。本実施形態によるユーザ視点による仮想空間映像の一例を示す図である。本実施形態による撮像画像の仮想空間における配置について説明する図である。本実施形態による表示装置の構成の一例を示すブロック図である。本実施形態によるコントローラの構成の一例を示すブロック図である。本実施形態による情報処理装置の構成の一例を示すブロック図である。本実施形態による撮像処理の流れの一例を示すフローチャートである。本実施形態による撮影操作に応じた画像取得について説明する図である。本実施形態による撮影失敗の保険用に行われる画像の連続取得について説明する図である。本実施形態による撮像画像の配置処理の流れの一例を示すフローチャートである。本実施形態による撮像画像の配置位置について説明する図である。本実施形態による撮像画像の配置位置までの移動軌跡を描画する場合について説明する図である。本実施形態による撮像画像のタグ処理の流れの一例を示すフローチャートである。本実施形態による撮像画像のフィルタリング処理について説明する図である。本実施形態による撮像時のフィルタリング処理の流れの一例を示すフローチャートである。本実施形態による撮像画像の手動による再配置の一例について説明する図である。本実施形態による自動再配置（整列配置）の一例について説明する図である。本実施形態による撮像画像の再配置処理の流れの一例を示すフローチャートである。本実施形態による共有操作の一例について説明する図である。本実施形態による撮像画像の共有処理の流れの一例を示すフローチャートである。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　３．動作処理
　　３－１．撮像処理
　　３－２．撮像画像の配置処理
　　３－３．撮像画像のタグ処理
　　３－４．撮像時のフィルタリング処理
　　３－５．撮像画像の再配置処理
　　３－６．撮像画像の共有処理
　４．その他
　５．まとめ

　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１～図３を参照して本開示の一実施形態による情報処理システムの概要について説明する。図１は、本開示の一実施形態による情報処理システムの構成例を示す図である。図１に示すように、本実施形態による情報処理システムは、表示装置１０、コントローラ２０、および情報処理装置３０を有する。

　本実施形態では、仮想空間（ＶＲ：Virtual　Reality）における、よりエンターテインメント性の高い撮影体験を提供する。仮想空間は、例えばユーザの視界を覆う非透過型のＨＭＤ（Head　Mounted　Display）を用いて呈示される。本実施形態では、一例として表示装置１０がＨＭＤにより実現される場合を想定する。

　表示装置１０を実現するＨＭＤは、ユーザの頭部に装着され、また、左右の眼毎の画像表示部を有すると共に、ヘッドフォンを併用し、ユーザの視覚および聴覚を制御できるよう構成されていてもよい。外界を遮る構成にすることで、視聴時の仮想現実感（仮想空間への没入感）を増すことができる。また、ＨＭＤは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示することで３Ｄ画像を提示し得る。

　また、仮想空間内には、生成された三次元画像（いわゆる３Ｄモデル）である仮想オブジェクトや、実空間を撮像して得た情報に基づいて生成された立体視画像等が配置（表示）される。実空間の撮像は、全天球カメラにより撮像されてもよい。また、実空間の撮像は、複数のカメラにより行われてもよい。

　このような仮想空間映像（本明細書において、ＶＲコンテンツとも称する）は、全天球コンテンツや自由視点コンテンツであってもよい。なお自由視点コンテンツとは、任意の位置に仮想カメラを置いた際の映像を生成し、あらゆる視点からの映像視聴を可能としたものである。また、本明細書で使用する「仮想空間」（または「ＶＲ」）という用語は、実際のユーザが、１つ以上の表示装置を介して感知し得る、および／または１つ以上のユーザインタフェースを介してインタラクトしうる、１つ以上のプロセッサによってシミュレートされるインタラクションのルールを有する現実または架空の環境の表現を指す。「ユーザインタフェース」との用語は、ユーザが仮想世界との間で、入力を送信するか出力を受信することができる実際のデバイスを指す。

　仮想空間内では、ユーザがアバターによって表現されてもよいし、ディスプレイにアバターを表示せずに、アバターの視点から仮想空間の世界を表示してもよい。本明細書において、仮想空間におけるユーザの（またはアバターの）視点（本明細書において、「仮想空間内のユーザ視点」とも称す）とは、仮想カメラの視界とみなすことができる。「仮想カメラ」とは、仮想空間内の視点を指し、三次元の仮想空間を二次元画像としてディスプレイ（表示装置）に描画するための計算に使用される。

　また、本実施形態によるＶＲコンテンツは、例えば音楽コンサート、舞台、各種イベント、講演会、授業、番組等の生配信（リアルタイムでの配信）であってもよいし、過去の配信を記録したものであってもよいし、配信用に記録、生成したものであってもよい。また、ＶＲコンテンツは、ゲーム、映画、ドラマ、アニメ等であってもよい。ＶＲコンテンツの中身については特に限定しない。

　また、本実施形態による情報処理システムは、ユーザの意図をシステムに伝えるためのコントローラ２０を含む。コントローラ２０は複数あってもよい。また、コントローラ２０は、ユーザの手に把持されるものであってもよいし、肘や腕、膝、足首、太もも等、身体の一部に装着されるものであってもよい。ユーザは、コントローラ２０により仮想空間内における撮影を操作することが可能である。

　また、表示装置１０により提供される仮想空間の情報（ＶＲコンテンツ）は、情報処理装置３０から取得され得る。情報処理装置３０は、ネットワーク上に設けられるサーバであってもよいし、ユーザと同一空間に配置された専用端末や、スマートフォン、タブレット端末、またはＰＣ等により実現されてもよい。また、情報処理装置３０は複数の装置により実現されてもよい。例えば、情報処理装置３０は、ネットワーク上に設けられるサーバと、ユーザと同一空間に配置された専用端末とにより実現されてもよい。

　情報処理装置３０は、ＶＲコンテンツを格納し、ＶＲコンテンツに基づいて構築される仮想空間を表示装置１０に提供する機能を有する。具体的には、情報処理装置３０は、ＶＲコンテンツから、ユーザの動きやコントローラ操作等に応じて自由視点画像を生成し、表示装置１０に出力する。ユーザの動きとは、ユーザの位置や姿勢（頭部の向きを含む）の変化である。表示装置１０は、ユーザの位置や姿勢を検出し、情報処理装置３０に出力する。情報処理装置３０は、実世界でのユーザ視点位置（３次元位置）を認識し、認識したユーザ視点位置に基づいて仮想空間内でのユーザ視点位置を算出する。

　なお、上記ＶＲコンテンツからユーザの動きやコントローラ操作等に応じて自由視点画像を生成する処理は表示装置１０で行ってもよい。

　（背景）
　ここで、仮想空間内での特定のシーンを記念に残したり、仲間とシェアしたりする等、仮想空間体験をさらに楽しむための手段として、仮想空間内で撮影を行う機能が挙げられる。

　現状、動画配信をスマートフォン等で視聴している場合におけるシーンの保存方法としては、表示画面に映る動画を静止画像として保存するスクリーンショット機能があるが、単純に表示画面に描画された映像の静止画であるため、現場で撮影した写真といったリアリティ感は得られない。

　一方、仮想空間内においてユーザの視点で撮影を行うことができれば、リアリティのある現場写真を取得することが可能となる。また、このように撮影した写真を仲間とシェアすることができれば、さらにＶＲコンテンツを楽しむことができ、ＶＲコンテンツの価値も向上し、ビジネススケール拡大にも貢献し得る。

　また、仮想空間内で撮影した写真を仮想空間内において手元で閲覧することができれば、仮想空間への没入感を継続したまま、撮影した写真を楽しむことができる。また、ＶＲコンテンツとして音楽コンサートを視聴している場合など、お気に入りのシーンを写真に撮りながらも視聴対象に注視していたいことも想定されるため、撮影や閲覧における操作の煩わしさはできるだけ低減されることが望ましい。

　そこで、本開示による情報処理システムでは、仮想空間の被写体を撮影するユーザ操作に応じて撮像から撮像画像の配置までを行って操作の煩わしさを低減し、撮像画像を仮想オブジェクトとして仮想空間に配置することで仮想空間における撮影体験のエンターテインメント性をより高めることを可能とする。

　具体的には、例えば図２に示すように、仮想空間の映像４００が表示装置１０の表示部１４０に表示されている場合に、ユーザがコントローラ２０を用いて映像４００に映る被写体４０１の撮影を行うことを想定する。ユーザは、コントローラ２０の所定のボタンを押す等の撮影操作により、所謂シャッターを切ることができる。本明細書において、「仮想空間の被写体」とは、仮想世界の情報として表示部１４０に表示される画像である。「仮想空間の被写体」は、例えば実写映像に基づいて生成された立体視画像に含まれる人物や物体であってもよいし、ＣＧ等によって生成された３Ｄモデル（仮想オブジェクト）であってもよい。また、「撮影操作」は、仮想空間の被写体を撮像する撮像トリガの一例である。

　情報処理装置３０は、コントローラ２０で所定のボタンを押す等の撮影操作が行われた場合、シャッターが切られたものとみなし、仮想空間内のユーザ視点に基づいて、所定の画角６００（フレームサイズ）の画像を取得（生成）する。かかる画像の生成が、所謂「撮影」に相当する。なお、撮像処理部３０２は、画角６００の表示を仮想空間内に表示するようにしてもよい。これによりユーザは撮影における画角（撮影範囲）を直感的に把握することができる。例えば撮像処理部３０２は、ユーザによるコントローラ２０の所定のボタンの半押し操作で画角６００（フレーム）を出現させ、そのままボタンが押し込まれた際に（全押し操作で）撮影を実行するようにしてもよい。また、情報処理装置３０は、撮影におけるズームインやズームアウトも操作できるようにしてもよい。

　情報処理装置３０は、画角６００の２Ｄテクスチャ（２次元画像）をレンダリング（生成）し、当該２Ｄテクスチャを写真オブジェクト（写真画像として用いられる仮想オブジェクト）に描画する。かかる２Ｄテクスチャが描画された写真オブジェクトが、仮想空間内における「撮像画像」（所謂、撮影操作によって得られた写真）に相当する。

　そして、情報処理装置３０は、撮像画像を仮想空間に配置する。配置する箇所は、例えばユーザの横など、ユーザの視界を邪魔しない位置（少なくともステージと被らない位置など）としてもよい。例えば図２に示すようにユーザがステージ方向を見た状態で被写体４０１を撮影した場合、撮像画像（画角６００の画像）がユーザの右側（視界外）に配置されてもよい。この場合、ユーザが右側を向くと（顔を右に向けると）、仮想空間におけるユーザ視点が変化し、図３に示すように、右方向の仮想空間の映像４１０が表示部１４０に表示される。そして、ユーザの右側に配置された撮像画像５１０（仮想オブジェクト）を視認することが可能となる。

　以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。

　＜＜２．構成例＞＞
　＜２－１．表示装置１０の構成例＞
　図４は、本実施形態による表示装置１０の構成の一例を示すブロック図である。図４に示すように、表示装置１０は、制御部１００、通信部１１０、操作入力部１２０、センサ部１３０、表示部１４０、音声出力部１５０、および記憶部１６０を有する。

　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。

　本実施形態による制御部１００は、通信部１１０を介して情報処理装置３０から受信した情報に基づいて、表示部１４０や音声出力部１５０を制御し、ユーザの視覚や聴覚に仮想空間の情報を提示する制御を行う。また、制御部１００は、操作入力部１２０から入力されたユーザ操作の情報や、センサ部１３０によりセンシングされたデータに基づくユーザの位置や姿勢等の変化を、通信部１１０から情報処理装置３０に送信する制御を行う。また、制御部１００は、コントローラ２０から受信したユーザ操作の情報も、情報処理装置３０に送信する制御を行う。また、制御部１００は、ユーザ操作の情報や、位置、姿勢等の変化に応じて、表示部１４０や音声出力部１５０を制御し、ユーザの視覚や聴覚に提示する仮想空間の情報を変化させてもよい。

　センサ部１３０によりセンシングされたセンシングデータに基づく制御部１００による位置や姿勢等の算出について説明する。制御部１００は、各種センシングデータに基づいて、ユーザの頭部の動きを追従したり（ヘッドトラッキング）、視線の動きを追従したり（アイトラッキング）、位置や姿勢を追従したり（ポジショントラッキング）する。より具体的には、例えばヘッドトラッキングは、ユーザの頭部に装着された表示装置１０に設けられるセンサ部１３０により検出された９軸の検出結果に基づいて、頭部の姿勢情報を算出することにより行われ得る。また、アイトラッキングは、ユーザの頭部に装着された表示装置１０に設けられるセンサ部１３０により検出されたユーザの眼の撮像画像（例えば赤外線を眼に発光してその反射を撮像した赤外線画像）に基づいて、ユーザの視線（視線方向）を算出することにより行われ得る。また、ポジショントラッキングには、外部に設置したセンサを利用するアウトサイド・イン方式と、計測したいもの自体（表示装置１０（ＨＭＤ））に搭載したセンサを利用するインサイド・アウト方式と、これらの組み合わせであるハイブリッド方式とがある。

　（通信部１１０）
　通信部１１０は、有線または無線により、情報処理装置３０やコントローラ２０と通信接続してデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いた通信を行い得る。

　（操作入力部１２０）
　操作入力部１２０は、ユーザによる操作指示を受付け、その操作内容を制御部１００に出力する。操作入力部１２０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１２０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。

　（センサ部１３０）
　センサ部１３０は、ユーザまたは周辺の状況等、実空間をセンシングする機能を有する。具体的には、センサ部１３０は、位置情報取得部、カメラ（内向き／外向きカメラ）、マイク（マイクロホン）、加速度センサ、角速度センサ、地磁気センサ、および生体センサ（脈拍、心拍、発汗、血圧、体温、呼吸、筋電値、脳波等の検知）等を含む。なお、センサ部１３０の具体例はこれらに限定されず、例えば、センサ部１３０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサを有していてもよい。また、センサ部１３０は、ユーザの視線を検出する視線検出センサとして、例えばユーザの眼前に位置する表示部１４０の周辺に設けられた赤外線センサ（赤外線発光部および赤外線カメラ）等の内向きカメラや、ユーザの眼の周辺の筋肉の動きを検知する筋電センサ、若しくは脳波センサ等を有していてもよい。

　（表示部１４０）
　表示部１４０は、例えば表示装置１０がＨＭＤとして構成される場合、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する。表示部１４０の画面は、例えば液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（（Electro　Luminescence）ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１４０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。

　（音声出力部１５０）
　音声出力部１５０は、例えば表示装置１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成され、音声信号を再生する。なお音声出力部１５０は、ヘッドフォン型に限定されず、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。

　（記憶部１６０）
　記憶部１６０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。

　以上、表示装置１０の構成について具体的に説明したが、本開示による表示装置１０の構成は図４に示す例に限定されない。例えば、表示装置１０は、複数の装置により実現されてもよい。具体的には、ＨＭＤ等により実現される表示装置（少なくとも表示部１４０に対応）と、スマートフォンやタブレット端末、ＰＣ等により実現される情報処理端末（少なくとも制御部１００に対応）とを含む構成であってもよい。また、上述した制御部１００によるトラッキング処理を外部装置で行ってもよい。

　また、制御部１００が有する各機能を、ネットワーク上に設けられたサーバ（例えば情報処理装置３０）で実現してもよいし、ユーザと同一空間に配置された専用端末や、スマートフォン、タブレット端末、またはＰＣ等により実現してもよい。

　また、表示装置１０は、スマートフォンやタブレット端末等の非装着型のデバイスであってもよい。

　＜２－２．コントローラ２０の構成例＞
　図５は、本実施形態によるコントローラ２０の構成の一例を示すブロック図である。図５に示すように、コントローラ２０は、制御部２００、通信部２１０、操作入力部２２０、センサ部２３０、および記憶部２４０を有する。

　制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってコントローラ２０内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。

　本実施形態による制御部２００は、操作入力部２２０から入力されたユーザ操作の情報や、センサ部２３０によりセンシングされたデータに基づくユーザの動きの変化を、通信部２１０からコントローラ２０に送信する制御を行う。例えば制御部２００は、コントローラ２０に設けられたボタンが押下されたこと（撮影操作の一例）を検知し、表示装置１０に出力する。

　（通信部２１０）
　通信部２１０は、有線または無線により、コントローラ２０と通信接続してデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いた通信を行い得る。

　（操作入力部２２０）
　操作入力部２２０は、ユーザによる操作指示を受付け、その操作内容を制御部２００に出力する。操作入力部２２０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部２２０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。

　（センサ部２３０）
　センサ部２３０は、ユーザまたは周辺の状況等、実空間をセンシングする機能を有する。具体的には、センサ部２３０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサであってもよい。また、センサ部２３０は、さらにカメラ、マイク、および生体センサ（脈拍、発汗、血圧、体温等の検知）等を含んでいてもよい。

　（記憶部２４０）
　記憶部２４０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。

　以上、コントローラ２０の構成について具体的に説明したが、本開示によるコントローラ２０の構成は図５に示す例に限定されない。例えば、コントローラ２０は、さらに表示部や振動部、発光部等を有していてもよい。コントローラ２０は、表示装置１０から受信した制御信号に従って、表示部や振動部、発光部等からユーザへのフィードバックを行い得る。

　また、コントローラ２０は、当該ＶＲコンテンツの操作専用のコントローラであってもよいし、スマートフォンや携帯電話端末、また、スマートウォッチ等のウェアラブルデバイスといった汎用装置であってもよい。

　なお、本実施形態では一例としてコントローラ２０を含むシステム構成としているが、本開示はこれに限定されない。ユーザはコントローラ２０を用いずに、例えば手や身体全体によるジェスチャ、若しくは音声等により、システムに対してユーザの意図を伝えることも可能である。ジェスチャ入力や音声入力は、表示装置１０（ＨＭＤ）に設けられた外向きカメラやマイクにより検出されてもよい。また、ジェスチャ入力は、ユーザの周囲に設けられユーザの全身を撮影するカメラ（不図示）により検出され、表示装置１０または情報処理装置３０に送信されてもよい。

　＜２－３．情報処理装置３０の構成例＞
　続いて、情報処理装置３０の構成例について図６を参照して説明する。情報処理装置３０は、ネットワーク上に設けられたサーバであってもよいし、ユーザと同一空間に配置された専用端末や、スマートフォン、タブレット端末、またはＰＣ等であってもよい。

　図６は、本実施形態による情報処理装置３０の構成の一例を示すブロック図である。図６に示すように、情報処理装置３０は、制御部３００、通信部３１０、および記憶部３２０を有する。

　制御部３００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置３０内の動作全般を制御する。制御部３００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部３００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。

　また、本実施形態による制御部３００は、コンテンツ視聴制御部３０１、撮像処理部３０２、配置制御部３０３、タグ付け部３０４、および共有制御部３０５としても機能する。

　コンテンツ視聴制御部３０１は、ＶＲコンテンツの視聴を制御する機能を有する。具体的には、コンテンツ視聴制御部３０１は、記憶部３２０に格納されたＶＲコンテンツの情報に基づいて、当該ＶＲコンテンツにより構築（定義）される仮想空間（３次元のバーチャル空間）におけるユーザ視点（３次元位置座標）に対応する仮想空間の映像（自由視点画像）を生成する。コンテンツ視聴制御部３０１は、仮想空間におけるユーザ視点を、例えば表示装置１０から出力されるセンシングデータに基づいて算出されるユーザの位置や姿勢（頭部の向きを含む）から認識し得る。また、コンテンツ視聴制御部３０１は、生成した仮想空間の映像を、通信部３１０から表示装置１０に送信し、表示部１４０に表示させる。また、コンテンツ視聴制御部３０１は、ＶＲコンテンツの情報に基づいて、上記ユーザ視点に対応する仮想空間の音声情報を生成し、表示装置１０に送信する。

　コンテンツ視聴制御部３０１は、以上の処理を継続的に行うことで、ユーザが実世界で前後左右に移動したり（若しくはコントローラ２０で前後左右への移動を指示する操作入力をしたり）、視点（例えば頭部の向き）を変化させた際に、仮想空間でも同じ移動量（または所定の比率での対応する移動量）で前後左右に移動したり視点を変化させたりすることができる。これにより仮想空間への没入感を高め、よりリアリティのあるＶＲ体験を提供することができる。

　撮像処理部３０２は、仮想空間の被写体を撮像する処理を行う。具体的には、撮像処理部３０２は、ユーザによる撮影操作（例えばコントローラ２０で所定のボタンを押す等）が行われた場合に、仮想空間内のユーザ視点に基づいて、（ユーザの視界内における）所定の画角（縦横指定のフレームサイズ）の画像を取得（生成）する。取得する画像は、２次元画像であってもよいし、３次元画像であってもよい。そして、撮像処理部３０２は、取得した画角６００の画像（例えば２Ｄテクスチャ）を、写真オブジェクトに描画し、仮想空間内における「撮像画像」（仮想空間内で取り扱うことのできる仮想オブジェクト）を生成する。また、撮像処理部３０２は、被写体と重なる付加的な仮想オブジェクトの除外など撮像時に適宜フィルタリング処理を行ってもよい。

　配置制御部３０３は、撮像処理部３０２により生成された撮像画像を仮想空間に配置する制御を行う。配置は、予め設定された配置ルールに従って行ってもよい。例えば配置制御部３０３は、仮想空間を視聴するユーザの位置に対して予め設定された場所に配置する。例えば配置制御部３０３は、ユーザの視界外に配置するようにしてもよい。また、配置制御部３０３は、ユーザの周囲であって、仮想空間のステージ、配信者（演者等）、進行方向など、視聴しているコンテンツのメインとなる視聴対象（予め設定され得る）を避けた場所に配置するようにしてもよい。また、配置制御部３０３は、ユーザ操作に応じて、仮想空間内に配置された撮像画像をユーザが指定した任意の位置（手動貼り付け位置）に再配置する。また、配置制御部３０３は、手動で配置された撮像画像を仮想空間内の所定のスペースに自動で整列させることも可能である。

　タグ付け部３０４は、撮像処理部３０２により生成される撮像画像に、当該撮像画像に関する付随情報（本明細書において「タグ」と称する）を付与する処理を行う。例えばタグ付け部３０４は、撮像画像に映る被写体の情報、撮影日時、撮影を行った当該ＶＲコンテンツに関する情報、当該ＶＲコンテンツの再生時間軸上における当該撮影を行った時刻の情報（再生開始位置）等を取得し、タグとして撮像画像に付与する。かかるタグは、撮像画像の検索や、多数の撮像画像をグループ分けして配置する時、また、再生開始時等に利用され得る。

　共有制御部３０５は、撮像画像を他者（他ユーザの表示装置）や他のシステム等の外部と共有する制御を行う。具体的には、共有制御部３０５は、ユーザに選択された撮像画像のコピーを共有先（例えば友人の表示装置や、Ｔシャツやマグカップ、紙などの実物体にプリントを行ってユーザ宅に配送するサービスを提供するシステム等）に送信する制御を行う。また、共有制御部３０５は、他者から共有された撮像画像を受信して記憶部３２０に保存したり、当該受信した撮像画像をユーザが視聴している仮想空間に配置したりする制御を行う。

　以上制御部３００の各種機能について説明した。なお上述した各種機能は一例であって、本実施形態はこれに限定されない。例えば制御部３００は、ユーザに対して仮想空間内の表示や音、表示装置１０またはコントローラ２０の振動等により各種通知やフィードバックを行い得る。

　（通信部３１０）
　通信部３１０は、有線または無線により表示装置１０とデータの送受信を行う。通信部３１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等により表示装置１０と通信接続する。

　（記憶部３２０）
　記憶部３２０は、制御部３００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。

　本実施形態により記憶部３２０は、ＶＲコンテンツを格納する。また、記憶部３２０は、ユーザ情報（ユーザの氏名、ＩＤ、アドレス等）を格納していてもよい。

　以上、情報処理装置３０の構成について具体的に説明したが、本開示による情報処理装置３０の構成は図６に示す例に限定されない。例えば、情報処理装置３０は、複数の装置により実現されてもよい。具体的には、制御部３００を、スマートフォンやタブレット端末、ＰＣ等により実現される情報処理端末又はユーザと同一空間に配置された専用端末に設け、記憶部３２０をネットワーク上のサーバに設けてよい。また、制御部３００の少なくとも一部の機能を表示装置１０で実行してもよい。また、情報処理装置３０は、表示装置１０と、情報処理端末（スマートフォンやタブレット端末、ＰＣ等）又は専用端末と、サーバと、により実現されてもよい。

　＜＜３．動作処理＞＞
　次に、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。

　　＜３－１．撮像処理＞
　図７は、本実施形態による撮像処理の流れの一例を示すフローチャートである。図７に示すように、まず、表示装置１０は、情報処理装置３０から取得した情報に基づいて、ＶＲコンテンツの視聴を開始する（ステップＳ１０３）。具体的には、情報処理装置３０のコンテンツ視聴制御部３０１によりＶＲコンテンツの視聴制御が行われ、仮想空間内のユーザ視点における画像および音声が生成され、表示装置１０に送信される。

　次に、情報処理装置３０の撮像処理部３０２は、表示装置１０またはコントローラ２０から取得されるユーザの操作情報に基づいて、撮像操作（撮影の実施を意図する操作入力）があったか否かを判断する（ステップＳ１０６）。撮像処理部３０２は、例えばコントローラ２０に設けられた所定のボタンが押下されたことを、撮像操作として認識してもよい。

　次いで、撮像操作があった場合（ステップＳ１０６／Ｙｅｓ）、撮像処理部３０２は、図８に示すように、仮想カメラ６０（すなわちユーザ視点）の中心軸Ｓが仮想空間内の物体（ここでは被写体４０１Ｃ）と直交するターゲット点Ｔを中心に、縦横指定のフレームサイズ（すなわち画角６１０のサイズ）の２Ｄテクスチャ（画像）を生成する（ステップＳ１０９）。なお、取得画像のフレームサイズ（画角６１０のサイズ）は予め設定されていてもよいし、ユーザが任意に設定してもよい。このように、撮像処理部３０２は、仮想空間を視聴するユーザの視界の一部（表示部１４０の表示範囲の一部）の画像を取得する。なお、図８では、撮影対象である被写体４０１の３次元位置を後述するタグ付け処理で用いるためターゲット点Ｔを定めているが、本実施形態はこれに限定されず、画角６１０とは、仮想カメラ６０の中心軸Ｓに直交する平面における当該平面と中心軸が直交する点を中心とする縦横指定サイズのフレームである。

　次に、撮像処理部３０２は、上記画像の取得に続けて固定のフレーム周期で複数枚の画像を連続で取得し、記憶部３２０に格納する（ステップＳ１１２）。すなわち、図９に示すように、撮影開始フレーム（frame0）から、固定のフレーム周期でｎフレーム分連続して（同じ画角での）画像が取得される。かかる複数の画像は、撮影失敗時の保険用に取得されるものである。すなわち、動画を静止画で保存する際、撮影タイミングの遅れで撮影ミス（被写体が目をつぶっている、被写体の衣装がめくれている、手ブレ等）が起こり得るため、複数の撮影を取得しておくことで、撮影ミスした際も成功画像を残すことができる。連続して取得する画像の枚数は予め設定され得る。

　具体的には、撮像処理部３０２は、先頭の取得画像から順に撮影成否を判定する（ステップＳ１１５）。例えば被写体の目つぶり、顔向き、表情、衣装めくれ等を検出し、予め設定された撮影失敗の状態となっているか否かが判定される。

　次いで、撮影失敗の判定がなされなかった場合（ステップＳ１１８）、その画像は撮影成功判定がなされた画像とも言えるため、撮像処理部３０２は、当該撮影成功判定がなされた画像を確定画像として写真オブジェクト（仮想空間内で取り扱える仮想オブジェクト）を生成し、配置制御部３０３により当該写真オブジェクトを仮想空間内に配置する（ステップＳ１２１）。当該写真オブジェクトの仮想空間内への配置は撮像処理部３０２により行われてもよい。また、仮想空間内への配置は、予め設定された場所に配置するようにしてもよい。配置処理については図１０を参照して次に説明する。

　以上説明したステップＳ１０６～Ｓ１２１に示す処理は、ＶＲコンテンツの視聴が終了するまで繰り返され得る（ステップＳ１２４）。このように本実施形態では、ユーザによる撮影操作に応じて、撮像画像の取得から仮想空間への配置までが一連に行われ、操作の煩わしさが低減され、仮想空間における撮影体験のエンターテインメント性をより高めることができる。

　なお、上記撮像処理は、ＶＲコンテンツの再生時間内において、撮像が許可された所定の時間帯のみ行えるようにしてもよい。また、撮像処理部３０２は、仮想空間内の所定の場所や対象のみ（許可された場所や対象のみ）撮像を行えるようにしてもよい。

　以上、本実施形態による撮像処理について説明した。なお図７に示す動作処理は一例であって、本開示は図７に示す例に限定されない。例えば、本開示は、図７に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図７に示す全ての処理が必ずしも実行されてなくともよい。例えば、連続で画像を取得すると共に撮影成否の判定を行い、撮影が成功するまで連続的に画像を取得するようにしてもよい。

　また、図７に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、上記では図７に示す処理が全て情報処理装置３０で行われることを想定して説明したが、本開示はこれに限定されない。例えば図７に示す処理が全て表示装置１０で行われてもよいし、表示装置１０と情報処理装置３０とで行われてもよい。

　＜３－２．撮像画像の配置処理＞
　次に、上記ステップＳ１２１に示す撮像画像（写真オブジェクト）の仮想空間への配置について説明する。仮想空間への配置は、ユーザ視点の周辺にランダムに行ってもよいし、予め設定された場所に行ってもよい。予め設定された場所とは、例えばＶＲコンテンツの視聴を邪魔しない位置、すなわちユーザの視界外など、ＶＲコンテンツにおいてメインとなる視聴対象（例えばステージや進行方向等）と重複しない場所が想定される。以下、図１０～図１２を参照して具体的に説明する。

　図１０は、本実施形態による撮像画像の配置処理の流れの一例を示すフローチャートである。図１１は、本実施形態による撮像画像の配置位置について説明する図である。

　図１０および図１１に示すように、まず、配置制御部３０３は、仮想空間における視聴位置Ｐ（ユーザ視点）から、当該ＶＲコンテンツの視聴対象（例えばステージ方向など。また、ＶＲコンテンツ内で定められている正面方向であってもよい）に対して水平視野角約１１０°の外側に、最終配置位置Ｑを設定する（ステップＳ２０３）。ここで、「水平視野角約１１０°」とは、人間の識別視野角を考慮した「視界」の範囲の一例であるが、本実施形態の「視界」の範囲（角度）はこれに限定されない。また、「視界」の定義は、識別視野角を考慮したものに限定されない。また、配置制御部３０３は、ユーザの視界外であってさらにユーザの手が届く距離に、最終配置位置Ｑを設定するようにしてもよい。

　次に、配置制御部３０３は、最終配置位置Ｑまで撮像画像の移動軌跡を描画する（ステップＳ２０６）。ここでは一例として撮像画像の最終配置位置までの移動軌跡を描画する場合について説明するが、本開示はこれに限定されず、移動軌跡を描画せずに最終配置位置に撮像画像を配置するようにしてもよい。

　図１２は、本実施形態による撮像画像の配置位置までの移動軌跡を描画する場合について説明する図である。図１２に示すように、例えば表示装置１０の表示部１４０に表示される仮想空間の映像４３０において、ユーザによる撮影操作がなされた際、当該映像４３０から画角６００の領域が浮き出し、ユーザの視界外（表示部１４０に表示される仮想空間の映像４３０外）に設定された最終配置位置Ｑに向かって撮像画像５１０が移動する。例えば最終配置位置Ｑがユーザの右側の場合、撮像画像５１０が徐々に小さくなりながら映像４３０の右方向にフェードアウトするアニメーションが提示され得る。これによりユーザは撮影した画像がどの方向に配置されたかを直感的に把握することが可能となる。

　なお、かかる撮像画像の移動軌跡には、イージーカーブなどの速度演出（例えば移動開始時、移動途中、カーブ時、到着直前などにおける加速や減速）や、軌跡の曲線デザインといった演出を与えてもよい。

　次いで、撮像画像が最終配置位置Ｑに到達すると（ステップＳ２０９／Ｙｅｓ）、配置制御部３０３は、最終配置位置Ｑに撮像画像を固定し、効果音により配置位置の方向をユーザに通知する（ステップＳ２１２）。例えば最終配置位置Ｑがユーザの右側の場合、右方向から効果音が聞こえることで、ユーザは、視界には見えていないが右側に撮影した画像が配置されていることを直感的に把握することができる。なお配置制御部３０３は、上記移動過程のアニメーションを表示せずに、撮影操作に応じて即時に撮像画像５１０（写真オブジェクト）を最終配置位置Ｑに配置すると共に、効果音（シャッター音等）を配置方向から聞こえるよう音声出力する制御を行ってもよい。ここでは一例として音による通知を挙げているが、本開示はこれに限定されず、表示や振動等により撮像画像を視界外に配置したことや配置方向、配置位置等を通知するようにしてもよい。表示の一例としては、例えば配置方向を示す矢印の表示が挙げられる。

　また、「撮像画像を固定」とは、仮想空間におけるユーザ位置に対して相対的な位置関係の固定でもよいし、仮想空間における絶対的な位置の固定であってもよい。相対的な位置関係の固定の場合、仮想空間でユーザが移動するとユーザの横等に配置された撮像画像もユーザの移動に追随して移動する。

　また、ユーザは、最終配置位置Ｑに配置された撮像画像５１０（図３参照）を仮想空間内で手に取って他の場所に移動させたり、拡大縮小することも可能である。撮像画像５１０（写真オブジェクト）とのインタラクションは、コントローラ２０の操作やジェスチャにより行われ得る。具体的には、例えばコンテンツ視聴制御部３０１は、ユーザの操作や、手の形、手の位置、手の動き等を反映させる仮想手（手の形をした仮想オブジェクト）を仮想空間内に表示し、仮想手により撮像画像５１０を掴むことができるようにしてもよい。この場合、撮像画像５１０の拡大縮小は、例えば仮想手で撮像画像５１０に対してピンチアウト／ピンチインしたり、仮想手で撮像画像５１０の両端を掴んで撮像画像５１０を伸ばしたり縮めたりしたり、撮像画像５１０の上で仮想手を握ったり開いたりすることで行えるようにしてもよい。また、ユーザは、各撮像画像を好みの位置に再配置（手動配置）してオリジナルの視聴空間を創ることも可能である。撮像画像の再配置については後述する。

　また、配置制御部３０３は、最終配置位置Ｑに、複数の撮影操作により得られた複数の撮像画像を重ねて表示するようにしてもよい。例えば図３に示す例では、直近に撮影された撮像画像５１０が最前面に配置されていると解してもよい。また、配置制御部３０３は、複数の撮像画像が最終配置位置Ｑに存在していることが直感的にユーザに伝わるよう、撮像画像５１０の背面に一定数の撮像画像を少しずらして表示するようにしてもよい。

　以上、本実施形態による配置処理について説明した。なお図１０に示す動作処理は一例であって、本開示は図１０に示す例に限定されない。例えば、本開示は、図１０に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図１０に示す全ての処理が必ずしも実行されてなくともよい。

　また、図１０に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、上記では図１０に示す処理が全て情報処理装置３０で行われることを想定して説明したが、本開示はこれに限定されない。例えば図１０に示す処理が全て表示装置１０で行われてもよいし、表示装置１０と情報処理装置３０とで行われてもよい。

　＜３－３．撮像画像のタグ処理＞
　次に、上記ステップＳ１２１で生成される撮像画像（写真オブジェクト）へのタグの付与および当該タグの利用について説明する。図１３は、本実施形態による撮像画像のタグ処理の流れの一例を示すフローチャートである。

　図１３に示すように、まず、タグ付け部３０４は、撮像画像に映る被写体の位置情報または顔認識結果に基づいて被写体の情報を推定し、タグ（付随情報）として撮像画像に付与する（ステップＳ２２３）。被写体の位置情報とは、例えば仮想空間内における三次元位置座標である。例えばタグ付け部３０４は、図８に示す画角６１０で撮像が行われた場合、ターゲット点Ｔと近接する被写体４０１Ｃの立ち位置Ｐｃ（Ｘｃ,Ｙｃ,Ｚｃ）を、被写体の位置情報として取得する。コンサートや舞台等の場合に、予め演者（パフォーマー）の立ち位置が定められている場合がある。タグ付け部３０４は、予め生成された立ち位置に関する情報と、撮像時刻および被写体の立ち位置に基づいて、撮像画像に映る被写体が誰であるか、当該被写体の氏名等の情報（被写体情報）を取得することが可能となる。また、タグ付け部３０４は、被写体の顔画像を解析し、顔認識に基づいて当該被写体が誰であるかを推定してもよい。ＶＲコンテンツにおける演者等の顔認識用情報は予め用意され得る。

　なお、タグ付け部３０４は、基本的に撮像画像の中心に映る被写体の情報をタグ付けするが、本開示はこれに限定されない。例えばタグ付け部３０４は、撮像画像に映る全ての被写体の情報をタグ付けしてもよい。また、タグ付け部３０４は、撮像画像に映る各被写体のうち、ピント（焦点）が合っている被写体の情報をタグ付けするようにしてもよい。また、タグ付け部３０４は、撮像画像に映る各被写体のうち、最も大きく映っている被写体の情報をタグ付けするようにしてもよい。

　次に、タグ付け部３０４は、撮像を行ったＶＲコンテンツの情報と、撮影時刻情報（再生開始位置情報）を、撮像画像にタグとして付与する（ステップＳ２２６）。撮影時刻情報とは、撮像を行った当該ＶＲコンテンツの再生時間軸上における当該撮影を行った時刻の情報であって、再生開始位置として扱われる。

　以上、撮像画像へのタグ付与処理について説明した。続いて、撮像画像に付与したタグの利用について説明する。

　例えば、配置制御部３０３は、ユーザによる撮像画像のグルーピング配置操作があった場合（ステップＳ２２９／Ｙｅｓ）、例えば各撮像画像に付与されている被写体情報に基づいて、被写体毎に（例えば、被写体４０１Ａ、被写体４０１Ｃ、被写体４０１Ｄごとに）撮像画像を配置する制御を行う（ステップＳ２３２）。配置制御部３０３は、複数の撮像画像をグループ毎に縦または横に並べて配置してもよいし、重ねて配置してもよい。また、仮想空間内におけるグルーピング配置の場所は特に限定しないが、例えばＶＲコンテンツのメインとなる視聴対象（ステージや進行方向等）と重ならない場所が挙げられる。より具体的には、ユーザから少し離れた場所、ユーザの背面、ユーザの手元、ユーザの上方（天井や空など）等であってもよい。

　ここでは一例として被写体毎にグループ分けする場合について説明したが、本実施形態はこれに限定されない。配置制御部３０３は、各撮像画像に付与されているタグに基づいて他の要素で撮像画像をグループ分けして配置してもよい。例えば、配置制御部３０３は、シーン（舞台転換）ごとや、被写体の種別ごと、衣装の種別ごと、立ち位置のまとまりごと等にグループ分けして配置してもよい。すなわち、各撮像画像には、撮像した時のシーンや被写体の種別、立ち位置等もタグとして付与され得る。

　また、コンテンツ視聴制御部３０１は、撮像画像に対して、当該撮像画像の取得元であるＶＲコンテンツの再生操作があった場合（ステップＳ２３５／Ｙｅｓ）、選択された当該撮像画像のタグ（再生開始位置情報）に基づいて、当該ＶＲコンテンツの再生を開始する制御を行う（ステップＳ２３８）。これにより、ユーザは、仮想空間において、撮影を行った時点からＶＲコンテンツを再生することが可能となる。

　以上、本実施形態によるタグ処理について説明した。なお図１３に示す動作処理は一例であって、本開示は図１３に示す例に限定されない。例えば、本開示は、図１３に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図１３に示す全ての処理が必ずしも実行されてなくともよい。

　また、図１３に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、上記では図１３に示す処理が全て情報処理装置３０で行われることを想定して説明したが、本開示はこれに限定されない。例えば図１３に示す処理が全て表示装置１０で行われてもよいし、表示装置１０と情報処理装置３０とで行われてもよい。

　＜３－４．撮像時のフィルタリング処理＞
　本実施形態による撮像処理部３０２は、上記ステップＳ１２１において、撮像画像を生成する際に、邪魔になるエフェクトや演者以外の被写体（例えば他ユーザのアバター）等を除去するフィルタリング処理を行ってもよい。

　図１４は、本実施形態による撮像画像のフィルタリング処理について説明する図である。図１４に示すように、例えば撮像画像５２０に、ターゲットとなる（ターゲット点Ｔと近接する）被写体４０１Ｃや、さらには他の被写体４０１Ｂの少なくとも一部が、エフェクト画像４０３（４０３Ａ、４０３Ｂ）や、他ユーザのアバター４０５（４０５Ａ～４０５Ｃ）で隠れる場合がある。そこで、本実施形態では、ＶＲコンテンツにおいて主な視聴対象となる被写体（演者やゲームキャラクター等）のみを撮影することを可能とする。

　図１５は、本実施形態による撮像時のフィルタリング処理の流れの一例を示すフローチャートである。図１５に示すように、演者のみ撮像する設定がされている場合（ステップＳ２４３／Ｙｅｓ）、撮像処理部３０２は、演者以外のＣＧオブジェクト（エフェクトや他ユーザのアバターなど）を除外して（画角６００の範囲で）２Ｄテクスチャを生成（撮像画像を取得）する（ステップＳ２４５）。ここで、仮想空間内の各仮想オブジェクトには、それが演者であるのか、エフェクトであるのか、他ユーザのアバターであるのか等の情報が付与されている。撮像処理部３０２は、画角６００内に映り込む各仮想オブジェクトを認識し、演者以外の仮想オブジェクトを除去した上で画像取得する。なお被写体が実写映像から生成された立体視画像の一部の場合であっても、エフェクトや他ユーザのアバターから成る仮想オブジェクトを除去する処理を行うことで、邪魔になる映り込みを除外することが実現できる。なおここでは「演者」と説明したが、本実施形態では、ＶＲコンテンツにおいてメインとなる視聴対象が、演出のための付加的な仮想オブジェクトに邪魔されることなく確実に撮影することが可能となる。

　また、撮像処理部３０２は、演出のための付加的な仮想オブジェクトが被写体（演者等）の手前（前面）に位置する場合のみ除去するようにしてもよいし、付加的な仮想オブジェクトが被写体（演者等）に重なる場合のみ除去するようにしてもよい。

　以上、本実施形態によるフィルタリング処理について説明した。なお図１５に示す動作処理は一例であって、本開示は図１５に示す例に限定されない。

　また、図１５に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、上記では図１５に示す処理が全て情報処理装置３０で行われることを想定して説明したが、本開示はこれに限定されない。例えば図１５に示す処理が全て表示装置１０で行われてもよいし、表示装置１０と情報処理装置３０とで行われてもよい。

　＜３－５．撮像画像の再配置処理＞
　また、本実施形態では、ユーザは各撮像画像を好みの位置に再配置（手動再配置）してオリジナルの視聴空間を創ることが可能である。

　より具体的には、ユーザは、例えば図３に示すように、撮影操作に応じて所定位置に配置された撮像画像５１０を、仮想手等により選択し、ユーザの前方（ステージ方向等）など他の見やすい場所や好みの場所に移動させることが可能である。ここで、図１６に、ユーザが複数の撮像画像を手動で再配置した場合の一例を示す。図１６に示すように、ユーザは撮像画像５１０ａ～５１０ｇを自分の見やすい場所（例えば正面（ステージ）の方向）に好きにレイアウト（好きな位置、姿勢）で配置することが可能である。すなわち、情報処理装置３０の配置制御部３０３は、コントローラ２０により検出されたユーザ操作等に基づいて、ユーザに選択された撮像画像をユーザが指定した任意の位置に任意の姿勢で配置する制御を行う。

　ユーザはステージを視聴しながらも、自分が撮影したお気に入りの写真に囲まれた自分だけの空間創りを体験することができる。かかる体験は、視聴者毎や配信毎に異なるものであって、ＶＲコンテンツの反復体験意欲を活性化する新たなＶＲ体験価値となり得る。また、多数の写真を配置して自分が創ったオリジナルの空間を撮像（例えば視界全体を静止画像または動画像により保存）して他ユーザに見せたりできるようにすることで、ファン同士の競い合いのモチベーション活性化にも繋がり、ビジネススケール拡大への貢献も期待できる。

　なお、手動配置された撮像画像は、仮想空間において絶対的な配置位置として固定されてもよいし、ユーザ位置に対する相対的な配置位置として固定されてもよい。相対的な配置の場合、仮想空間内でユーザが移動するとユーザの周辺に配置された撮像画像５１０ａ～５１０ｇもユーザの移動に追随して移動する。

　また、本実施形態では、ユーザが手動で自身の周囲等に再配置した撮像画像の配置枚数が上限を超えた場合や撮像画像による専有面積が所定値を超えた場合などに、手動配置された複数の撮像画像を、ユーザから少し離れた場所に自動で整列配置（自動再配置）させることも可能である。整列配置は、仮想空間内において縦方向または横方向に整列させる配置であってもよいし、奥行き方向に整列させる配置であってもよい。このような各整列のまとまりを、本明細書では以下「整列棚」と称する。自動再配置（整列配置）は、手動再配置した撮像画像が所定の枚数を超えた場合等所定の条件を満たした場合に自動で行われてもよいし、ユーザが自動再配置（整列配置）の実施を指示してもよい。

　図１７は、本実施形態による自動再配置（整列配置）の一例について説明する図である。配置制御部３０３は、図１７に示すように、ユーザの周囲に手動配置された複数の撮像画像を例えばステージ方向に対してユーザの左側のある程度離れた位置などに縦に並べ（整列させて）、整列棚７１０ａを作成する。整列棚７１０ａは、ユーザの周囲に手動配置されていた撮像画像５１０ａ～５１０ｆが縦方向に整列されて形成される。

　整列棚７１０は複数作成されてもよい。例えば配置制御部３０３は、自動再配置（整列配置）を行う度に新たに整列棚７１０を生成してもよい。図１７に示す例では、ｎ個の整列棚７１０が作成されている。また、整列棚７１０は、仕分けグループ毎に用意されていてもよい。仕分けグループとは、例えば上述したタグに基づくグループである。配置制御部３０３は、例えば撮像画像に映る被写体ごとに各整列棚７１０（被写体Ａの整列棚、被写体Ｂの整列棚等）に撮像画像を格納してもよい。

　また、整列棚７１０の領域（大きさ）が予め設定されていてもよく、配置制御部３０３は、撮像画像が整列棚に入りきらない場合は各撮像画像を縮小して整列（格納）するようにしてもよい。若しくは、配置制御部３０３は、撮像画像が整列棚に入りきらない場合は、次の整列棚を新たに生成して撮像画像を整列（格納）するようにしてもよい。

　また、整列棚７１０の配置場所は特に限定しないが、例えばステージに被らず、かつユーザから多少離れてはいるが各撮像画像の視認性は確保できる程度の距離に配置されることが好ましい。ユーザは、整列棚７１０から任意の撮像画像を取り出して手動配置することも可能である。整列棚７１０がユーザの手の届かない距離に配置されている場合、ユーザは仮想空間内でレーザーポインター等の操作アイテムを用いることで、整列棚７１０から任意の撮像画像を取り出したり、整列棚７１０を移動させたり等の操作を行うことができる。

　また、手動配置された１以上の撮像画像を整列棚に自動整列する際、配置制御部３０３は、各撮像画像が整列棚に移動する軌跡（移動アニメーション）を表示するようにしてもよい。かかる軌跡には、イージーカーブなどの速度演出や、軌跡の曲線デザインといった演出を与えてもよい。

　また、配置制御部３０３は、手動配置時における各撮像画像の位置および姿勢を記憶しておき、整列棚に整列された複数の撮像画像を再び手動配置状態に戻すことも可能である。

　以上説明した撮像画像の各再配置に関する動作処理について、以下図１８を参照して説明する。

　図１８は、本実施形態による撮像画像の再配置処理の流れの一例を示すフローチャートである。図１８に示すように、まず、ユーザによる手動配置操作があった場合（ステップＳ３０３／Ｙｅｓ）、配置制御部３０３は、選択された撮像画像をユーザに指定された手動貼り付け位置に移動する（ステップＳ３０６）。ユーザは、例えばコントローラ２０を用いて、撮影直後に所定位置に配置された撮像画像５１０（図３参照）を掴む（選択）操作を行い、仮想空間内で撮像画像５１０を掴んだ状態で任意の位置まで移動させるよう、実世界においてコントローラ２０を把持する手を動かす。配置制御部３０３は、コントローラ２０により検出されたユーザ操作（ボタン操作や、加速度等のセンシングデータ）に応じて、撮像画像５１０の位置や姿勢を制御する。

　上記ステップＳ３０３～Ｓ３０６に示す処理は、手動配置の上限値を超えるまで繰り返され得る（ステップＳ３０９）。すなわちユーザは、複数の撮像画像を順次任意の位置に貼り付ける（移動させる）操作を行うことが可能である。

　次に、手動配置の上限値を超えた場合（ステップＳ３０９／Ｙｅｓ）、配置制御部３０３は、手動配置されている全ての撮像画像の手動配置座標を記憶部３２０に記憶する（ステップＳ３１２）。各撮像画像には画像ＩＤが付与され、配置制御部３０３は、画像ＩＤと対応付けて手動配置座標を記憶する。また、手動配置の上限値とは、上限枚数であってもよいし、上限専有率（ユーザの周辺領域に対して手動配置撮像画像が占める割合等）であってもよい。また、手動配置座標には、仮想空間内における三次元位置のみならず、各撮像画像の配置姿勢（傾き、角度）も含まれる。また、配置制御部３０３は、各撮像画像の拡大／縮小の状態も記憶してもよい。このように、配置制御部３０３は、複数の撮像画像の手動配置の状態を画像ＩＤに対応付けて記憶し得る。なお配置制御部３０３は、各撮像画像の画像ＩＤから成る画像ＩＤ群を、記憶日時（手動配置していた日時）や呼び出し番号を付与して記憶してもよい。

　次いで、配置制御部３０３は、各画像の自動整列配置座標を決定し、自動整列を実行する（ステップＳ３１５）。各画像の自動整列配置座標とは、画像の整列先を示す情報である。具体的には、例えば整列棚の番地が相当する。配置制御部３０３は、各撮像画像に、それぞれ整列棚の番地を割り当てる。例えば、配置制御部３０３は、整列棚Ａの先頭番地（縦に並べる整列棚の場合であれば一番上の配置場所）から順に割り当て、全番地まで満たされると、次の整列棚Ｂの先頭番地から同様に順に割り当てる。なお、複数の整列棚が仕分けグループ毎に用意されている場合、配置制御部３０３は、各撮像画像のタグに基づいて、それぞれ対応する整列棚の空いている番地を割り当てる。配置制御部３０３は、割り当てた番地に各撮像画像を移動させる（自動整列の実行）。また、各自動整列配置座標は、それぞれ画像ＩＤに対応付けて記憶される。

　以上、手動配置された撮像画像の整列棚への自動整列について説明した。このように自動整列された撮像画像は、上記記憶された情報に基づいていつでも手動配置位置に戻すことが可能である。

　具体的には、ユーザによる手動配置呼び出し操作があると（ステップＳ３１８／Ｙｅｓ）、配置制御部３０３は、対象の撮像画像群の手動配置座標に基づいて、各撮像画像を整列棚から手動貼り付け位置に移動させる制御を行う（ステップＳ３２１）。手動配置の呼び出しは、上記呼び出し番号や、手動配置の日時を指定して行い得る。ユーザは、例えば手動配置の呼び出し番号一覧表示等から指定してもよい。

　以上、本実施形態による撮像画像の再配置処理について説明した。なお図１８に示す動作処理は一例であって、本開示は図１８に示す例に限定されない。

　また、図１８に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、上記では図１８に示す処理が全て情報処理装置３０で行われることを想定して説明したが、本開示はこれに限定されない。例えば図１８に示す処理が全て表示装置１０で行われてもよいし、表示装置１０と情報処理装置３０とで行われてもよい。

　＜３－６．撮像画像の共有処理＞
　また、本実施形態では、撮像画像を外部と共有することが可能である。例えばユーザは、任意の撮像画像を選択して所定の共有操作を行うことで、一緒にＶＲコンテンツを視聴している他ユーザに当該撮像画像を共有（当該撮像画像のコピーを送信）することが可能となる。共有先はユーザが任意に選ぶことが可能である。一例として、共有先は一緒にＶＲコンテンツを視聴している他ユーザであってもよいし、友達登録している他ユーザであってもよい。ＶＲコンテンツがリアルタイム配信等の場合に、友人と一緒に参加して視聴することも想定される。この場合、仮想空間内に友達のアバターが配置され、ユーザは友達と会話（音声またはチャット）や撮像画像の共有等を行うことが可能となる。

　共有操作は、例えば図１９に示すように、共有したい撮像画像５１０ｇを仮想手８２０で掴み、所定の共有オブジェクト８１０（仮想オブジェクト）に設けられた切り込みにスライドさせたりタッチさせたり差し込んだり等する操作であってもよい。共有制御部３０５は、かかる操作が行われた場合に共有先を選択する画面を表示してユーザに共有先を選択させてもよい。若しくは、共有制御部３０５は、一緒に参加している友達（同じＶＲコンテンツを同時に視聴している友達登録された他ユーザ）を共有先として自動的に決定してもよい。共有制御部３０５は、共有された撮像画像を、共有先ユーザの仮想空間内の所定位置に配置し、呈示する。共有された撮像画像の呈示は音や表示により共有先ユーザに通知してもよい。なお、一緒に参加している友達とは、同じＶＲコンテンツをＨＭＤで同様に視聴している友達に限らず、同じＶＲコンテンツをスマートフォンやタブレット端末等で視聴している友達であってもよい。

　また、撮像画像の外部との共有は、撮像画像を用いた各種のサービスをユーザに提供するシステム（図示しない他サーバ）への共有であってもよい。例えば、撮像画像からアルバムを作成したり、撮像画像を印刷したマグカップやＴシャツ、紙等を作成するなど、撮像画像を用いたソフトまたはハードの商品を作成するサービスが挙げられる。かかるサービスの利用は有料であってもよい。

　また、撮像画像の外部との共有における「外部」とは、表示装置１０の外を意味し、表示装置１０以外の装置が全て対象となり得る。従って、本システムでは、例えば、ユーザのスマートフォンやタブレット端末等に、撮像画像を共有（転送）することも可能である。また、外部からの共有として、ユーザのスマートフォンやタブレット端末、また、ユーザが利用しているクラウドから画像を取得する（仮想空間内に配置する）ことも可能である。

　仮想空間において自分が撮影した画像を外部に共有（転送）する体験など、仮想空間における体験が実世界での体験に及ぶ次世代体験を提供し、ＶＲ体験の新たな価値を創出することができる。

　以上説明した撮像画像の共有処理について、以下図２０を参照して説明する。

　図２０は、本実施形態による撮像画像の共有処理の流れの一例を示すフローチャートである。図２０に示すように、まず、外部への共有操作があった場合（ステップＳ４０３）、共有制御部３０５は、ユーザによる共有操作において選択された撮像画像を、所定の共有先に送信する（ステップＳ４０６）。より具体的には、コンテンツ視聴制御部３０１により共有先ユーザの仮想空間に共有する撮像画像が配置されることで、実質的に当該撮像画像が共有先ユーザの表示装置に送信され得る。若しくは共有制御部３０５が共有先ユーザの表示装置に当該撮像画像を送信し、共有先ユーザの表示装置において、仮想空間内に当該撮像画像を配置する制御が行われる。また、共有先は、撮像画像を用いた各種サービスを提供するシステムのサーバであってもよい。また、所定の共有先とは、ユーザが任意に選択した共有先であってもよいし、予め設定された共有先であってもよい。また、共有操作に用いる共有オブジェクト８１０（仮想オブジェクト）を複数用意し、利用された共有オブジェクト８１０に予め対応付けられた共有先を所定の共有先としてもよい。

　一方、外部からの撮像画像の共有があった場合（ステップＳ４０９／Ｙｅｓ）、共有制御部３０５は、共有された撮像画像を、ユーザの仮想空間の所定位置に配置する（ステップＳ４１２）。表示装置１０は、撮像画像が呈示されたことを音や表示によりユーザに通知してもよい。また、共有された撮像画像の所定配置位置は、例えば仮想空間におけるユーザの視界外であってもよい。すなわち、例えばユーザの視界外右側には、ユーザが撮像した撮像画像が配置され、視界外左側には、共有された撮像画像が配置されるようにしてもよい。また、共有制御部３０５は、誰から（どこから）共有された撮像画像であるかをアイコン等により明示するようにしてもよい。

　以上、本実施形態による撮像画像の共有処理について説明した。なお図２０に示す動作処理は一例であって、本開示は図２０に示す例に限定されない。

　また、図２０に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、上記では図２０に示す処理が全て情報処理装置３０で行われることを想定して説明したが、本開示はこれに限定されない。例えば図２０に示す処理が全て表示装置１０で行われてもよいし、表示装置１０と情報処理装置３０とで行われてもよい。

　＜＜４．その他＞＞
　本実施形態による情報処理システムについて、以下補足する。

　撮像は静止画像の取得に限定されず、動画像の取得であってもよい。具体的には、例えば撮像処理部３０２は、数秒など一瞬だけ動く写真といった、より臨場感のある写真を取得することも可能である。動く時間（秒数等）はユーザが予め設定してもよい。また、かかる動く写真（動画像）は、さらに音声付きであってもよい。

　また、仮想空間内での撮像において動画像を取得する際も、図７および図８を参照して説明した撮影成否の判定をフレーム毎に行ってもよい。撮像処理部３０２は、目つぶりや衣装めくれ等の失敗判定されたフレームはカットしたり暗転させたりする処理を行うようにしてもよい。どのようなフレームを失敗判定とみなすかはコンテンツの配信者側が予め設定できるようにしてもよい。

　また、情報処理装置３０は、被写体を撮像する際の被写体の顔サイズに上限を設定してもよい。すなわち、ズームイン処理に制限を与えることで、あまりに被写体の顔に近付いた写真の撮影を禁止することが可能となる。かかる設定は、コンテンツの配信者側が適宜設定できるようにしてもよい。

　また、コンテンツ視聴制御部３０１は、図１６に示すように空間に貼り付けられた撮像画像が、仮想空間に居る当該コンテンツの配信者（例えばステージ上に居る演者やゲームキャラクター等、当該コンテンツのメインとなる視聴対象）の動きに連動してなびく（動く）よう制御してもよい。また、コンテンツ視聴制御部３０１は、演者等のボーン情報等を取得し、演者と、空間に貼り付けられた撮像画像が衝突した際（例えばステージ上の演者がユーザ側に手を伸ばして近付いた際等）、撮像画像を振動させる等の挙動を与えるようにしてもよい。このように、演者等の動きに応じて、空間に貼り付けられた撮像画像を動かすことで、仮想空間の臨場感をユーザに与えることができる。

　また、配置制御部３０３は、仮想空間内における演者等の位置を認識し、撮像画像が演者等と重ならない配置となるよう配置をサポートする機能を有していてもよい。

　また、仮想空間に配置する画像は、仮想空間内での撮影により取得された撮像画像のみならず、記憶部３２０や他の端末に既に保存されている各種画像を呼び出して仮想空間内において好きな位置にレイアウトして配置してもよい。

　また、取得する撮像画像は、２Ｄ画像（２Ｄテクスチャ）に限定されず、３Ｄ画像（３Ｄの静止画像や動画像）であってもよい。

　また、コンテンツ視聴制御部３０１は、仮想空間内に、同コンテンツを同時に視聴している他ユーザのアバターを表示してもよい。また、コンテンツ視聴制御部３０１は、ユーザの友達（友達登録されている他ユーザ）のアバターの位置を示す情報をユーザに提示してもよい。また、情報処理装置３０６は、ユーザに共有された撮像画像から、当該撮像画像を撮影した仮想空間内の場所を特定し、特定した撮影場所をユーザに提示することも可能である。

　また、上記実施形態は一例としてＶＲコンテンツを想定して述べたが、本開示は、ＡＲ（Augmented　Reality）やＭＲ（Mixed　Reality）に適用することも可能である。例えばＡＲの場合、情報処理装置３０は、実世界（実空間）に重畳表示される仮想空間の被写体（仮想オブジェクトなど、実世界と融合する仮想世界の情報として表示される画像）を含めて表示範囲の一部を画像として取得し（本明細書では「撮像」とみなす）、撮像画像を写真オブジェクトとして、実空間に重畳表示される仮想空間に配置する。また、表示装置１０は、透過型のＨＭＤであってもよいし、スマートフォンやタブレット端末等であってもよい。

　また、情報処理装置３０は、上述した各種機能（撮像画像の取得、撮像画像の手動配置、撮像画像の整列配置、撮像画像の共有機等）をそれぞれ課金対象機能としてもよい。

　また、上述した実施形態では、手動配置された撮像画像を整列棚に自動整列する旨を説明したが、本開示はこれに限定されない。配置制御部３０３は、例えば図３に示すような撮像後に配置された撮像画像を、整列棚に自動整列する制御を行ってもよい。かかる自動整列の制御は、ユーザ操作をトリガとして行われてもよいし、配置された撮像画像が上限枚数に達した際に行われてもよい。

　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、仮想空間における撮影体験のエンターテインメント性をより高めることが可能となる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、上述した表示装置１０、コントローラ２０、または情報処理装置３０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、表示装置１０、コントローラ２０、または情報処理装置３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、本技術は以下のような構成も取ることができる。
（１）
　仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を備える、情報処理装置。
（２）
　前記制御部は、予め設定された配置ルールに従って前記撮像画像を前記仮想空間に配置する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記仮想空間を視聴するユーザの位置に対して予め設定された場所に配置する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記ユーザの視界外に配置する制御を行う、前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記仮想空間の所定の視聴対象と重なる位置を避けた場所に配置する制御を行う、前記（３）または（４）に記載の情報処理装置。
（６）
　前記制御部は、前記仮想空間を視聴するユーザの視界の一部を撮像する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記仮想空間を視聴するユーザの視界は、前記仮想空間が表示される表示部の表示範囲であって、
　前記制御部は、前記表示部の表示範囲の一部を撮像画像として取得する、前記（６）に記載の情報処理装置。
（８）
　前記制御部は、前記撮像トリガを検知した際、前記撮像画像を連続で取得し、各撮像画像の撮影成否判定を行う前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、前記連続で取得した撮像画像のうち、撮影成功と判定した撮像画像を前記仮想オブジェクトとして前記仮想空間に配置する、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記撮像画像を配置したことをユーザに知らせる通知を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記制御部は、前記撮像画像に、前記撮像画像に関する付随情報を付与する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記付随情報は、前記撮像画像に映る前記被写体の情報、または、前記仮想空間で提供されるコンテンツの再生時間軸上における前記撮像を行った時刻の情報、を少なくとも含む、前記（１１）に記載の情報処理装置。
（１３）
　前記制御部は、少なくとも前記被写体と重なる付加的な仮想オブジェクトを除外した撮像画像を取得する、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記制御部は、前記配置された撮像画像を、ユーザ操作に応じて前記仮想空間において任意の位置および姿勢で再配置する、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記制御部は、所定の位置に配置された複数の撮像画像を前記仮想空間における別の場所に移動させ整列させる、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記制御部は、前記整列される前の前記複数の撮像画像の配置状態を記憶し、前記別の場所に移動させ整列させた前記複数の撮像画像を前記整列の前の状態に戻す制御を行う、前記（１５）に記載の情報処理装置。
（１７）
　前記制御部は、前記仮想空間に配置された前記撮像画像を外部に共有する制御を行う、前記（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）
　前記制御部は、前記仮想空間が表示される表示部に、前記撮像する範囲を示す表示を行う、前記（１）～（１７）のいずれか１項に記載の情報処理装置。
（１９）
　プロセッサが、
　仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行うことを含む、情報処理方法。
（２０）
　表示装置と、
　コントローラと、
　前記表示装置に表示される仮想空間の被写体を撮像する撮像トリガが前記コントローラにより検知された際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を有する情報処理装置と、
を備える、情報処理システム。

　１０　表示装置
　１４０　表示部
　２０　コントローラ
　３０　情報処理装置
　３００　制御部
　３０１　コンテンツ視聴制御部
　３０２　撮像処理部
　３０３　配置制御部
　３０４　タグ付け部
　３０５　共有制御部

Claims

　仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を備える、情報処理装置。
　前記制御部は、予め設定された配置ルールに従って前記撮像画像を前記仮想空間に配置する、請求項１に記載の情報処理装置。
　前記制御部は、前記仮想空間を視聴するユーザの位置に対して予め設定された場所に配置する、請求項２に記載の情報処理装置。
　前記制御部は、前記ユーザの視界外に配置する制御を行う、請求項３に記載の情報処理装置。
　前記制御部は、前記仮想空間の所定の視聴対象と重なる位置を避けた場所に配置する制御を行う、請求項３に記載の情報処理装置。
　前記制御部は、前記仮想空間を視聴するユーザの視界の一部を撮像する、請求項１に記載の情報処理装置。
　前記仮想空間を視聴するユーザの視界は、前記仮想空間が表示される表示部の表示範囲であって、
　前記制御部は、前記表示部の表示範囲の一部を撮像画像として取得する、請求項６に記載の情報処理装置。
　前記制御部は、前記撮像トリガを検知した際、前記撮像画像を連続で取得し、各撮像画像の撮影成否判定を行う請求項１に記載の情報処理装置。
　前記制御部は、前記連続で取得した撮像画像のうち、撮影成功と判定した撮像画像を前記仮想オブジェクトとして前記仮想空間に配置する、請求項８に記載の情報処理装置。
　前記制御部は、前記撮像画像を配置したことをユーザに知らせる通知を行う、請求項１に記載の情報処理装置。
　前記制御部は、前記撮像画像に、前記撮像画像に関する付随情報を付与する、請求項１に記載の情報処理装置。
　前記付随情報は、前記撮像画像に映る前記被写体の情報、または、前記仮想空間で提供されるコンテンツの再生時間軸上における前記撮像を行った時刻の情報、を少なくとも含む、請求項１１に記載の情報処理装置。
　前記制御部は、少なくとも前記被写体と重なる付加的な仮想オブジェクトを除外した撮像画像を取得する、請求項１に記載の情報処理装置。
　前記制御部は、前記配置された撮像画像を、ユーザ操作に応じて前記仮想空間において任意の位置および姿勢で再配置する、請求項１に記載の情報処理装置。
　前記制御部は、所定の位置に配置された複数の撮像画像を前記仮想空間における別の場所に移動させ整列させる、請求項１に記載の情報処理装置。
　前記制御部は、前記整列される前の前記複数の撮像画像の配置状態を記憶し、前記別の場所に移動させ整列させた前記複数の撮像画像を前記整列の前の状態に戻す制御を行う、請求項１５に記載の情報処理装置。
　前記制御部は、前記仮想空間に配置された前記撮像画像を外部に共有する制御を行う、請求項１に記載の情報処理装置。
　前記制御部は、前記仮想空間が表示される表示部に、前記撮像する範囲を示す表示を行う、請求項１に記載の情報処理装置。
　プロセッサが、
　仮想空間の被写体を撮像する撮像トリガを検知した際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行うことを含む、情報処理方法。
　表示装置と、
　コントローラと、
　前記表示装置に表示される仮想空間の被写体を撮像する撮像トリガが前記コントローラにより検知された際、前記被写体を撮像した撮像画像を生成し、当該生成した撮像画像を仮想オブジェクトとして前記仮想空間に配置する制御を行う制御部を有する情報処理装置と、
を備える、情報処理システム。