添付図面に従って本開示の技術に係る実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。LANとは、“Local Area Network”の略称を指す。3Dとは、“3 Dimension”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HMDとは、“Head Mounted Display”の略称を指す。fpsとは、“frame per second”の略省を指す。GPSとは、“Global Positioning System”の略称を指す。
一例として図1に示すように、情報処理システム10は、表示制御装置12、第1スマートフォン14A、第2スマートフォン14B、複数の撮像装置16、撮像装置18、無線通信基地局(以下、単に「基地局」と称する)20、第1HMD34A、及び第2HMD34Bを備えている。
撮像装置16及び18は、CMOSイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及びデジタルズーム機能が搭載されている。なお、CMOSイメージセンサに代えてCCDイメージセンサ等の他種類のイメージセンサを採用してもよい。以下では、説明の便宜上、撮像装置18及び複数の撮像装置16を区別して説明する必要がない場合、符号を付さずに「複数の撮像装置」と称する。
複数の撮像装置16は、サッカー競技場22内に設置されている。複数の撮像装置16の各々は、サッカーフィールド24を取り囲むように配置されており、サッカーフィールド24を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置16の各々がサッカーフィールド24を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置16の配置は、生成したい仮想視点画像に応じて決定される。サッカーフィールド24の全部を取り囲むように複数の撮像装置16を配置してもよいし、特定の一部を取り囲むように複数の撮像装置16を配置してもよい。撮像装置18は、無人航空機(例えば、ドローン)に設置されており、サッカーフィールド24を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド24を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド24に対する撮像装置18による撮像面を指す。
表示制御装置12は、管制室32に設置されている。複数の撮像装置16及び表示制御装置12は、LANケーブル30を介して接続されており、表示制御装置12は、複数の撮像装置16を制御し、かつ、複数の撮像装置16の各々によって撮像されることで得られた画像を取得する。なお、ここでは、LANケーブル30による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。
基地局20は、表示制御装置12、第1スマートフォン14A、第2スマートフォン14B、第1HMD34A、第2HMD34B、及び無人航空機27と電波を介して各種情報の送受信を行う。すなわち、表示制御装置12は、基地局20を介して、第1スマートフォン14A、第2スマートフォン14B、第1HMD34A、第2HMD34B、及び無人航空機27と無線通信可能に接続されている。表示制御装置12は、基地局20を介して無人航空機27と無線通信を行うことにより、無人航空機27を制御したり、撮像装置18によって撮像されることで得られた画像を無人航空機27から取得したりする。
表示制御装置12は、サーバに相当するデバイスであり、第1スマートフォン14A、第2スマートフォン14B、第1HMD34A、及び第2HMD34Bは、表示制御装置12に対するクライアント端末に相当するデバイスである。なお、以下では、第1スマートフォン14A、第2スマートフォン14B、第1HMD34A、及び第2HMD34Bを区別して説明する必要がない場合、符号を付さずに「端末装置」と称する。
表示制御装置12及び端末装置は、基地局20を介して互いに無線通信を行うことにより、端末装置は、表示制御装置12に対して各種サービスの提供を要求し、表示制御装置12は、端末装置からの要求に応じたサービスを端末装置に提供する。
表示制御装置12は、複数の撮像装置から複数の画像を取得し、取得した複数の画像に基づいて生成した映像を、基地局20を介して端末装置に送信する。図1に示す例において、視聴者28Aは、第1スマートフォン14Aを所持しており、視聴者28Aの頭部には第1HMD34Aが装着されている。
視聴者28Bは、視聴者28Aとは異なる人物である。視聴者28Bは、第2スマートフォン14Bを所持しており、視聴者28Bの頭部には第2HMD34Bが装着されている。表示制御装置12から送信された映像(以下、「配信映像」とも称する)は、端末装置によって受信され、端末装置によって受信された配信映像は、端末装置を通して視聴者28A及び28Bによって視認される。なお、視聴者28Aは、本開示の技術に係る「第2人物」の一例であり、視聴者28Bは、本開示の技術に係る「第1人物」の一例である。また、配信映像は、本開示の技術に係る「映像」の一例である。
一例として図2に示すように、第1HMD34Aは、本体部11A及び装着部13Aを備えている。視聴者28Aに第1HMD34Aが装着される場合、本体部11Aは視聴者28Aの眼前に位置し、装着部13Aは視聴者28Aの頭部の上半部に位置する。
装着部13Aは、数センチメートル程度の幅を有する帯状部材であり、内側リング13A1と外側リング15A1とを備えている。内側リング13A1は、円環状に形成されており、視聴者28Aの頭部の上半部に対して密着した状態で固定される。外側リング15A1は、視聴者28Aの後頭部側が切り欠かれた形状で形成されている。外側リング15A1は、内側リング13A1のサイズの調整に応じて、初期位置から外側に撓んだり、撓んだ状態から初期位置に向けて内側に縮んだりする。
本体部11Aは、保護枠11A1、コンピュータ150、及びディスプレイ156を備えている。コンピュータ150は、第1HMD34Aの全体を制御する。保護枠11A1は、視聴者28Aの両眼全体を覆うように湾曲した1枚の透明板であり、例えば、透明な色付きプラスチックで形成される。
ディスプレイ156は、スクリーン156A及び投影部156Bを備えており、投影部156Bは、コンピュータ150によって制御される。スクリーン156Aは、保護枠11A1の内側に配置されている。スクリーン156Aは、視聴者28Aの両眼の各々に割り当てられている。スクリーン156Aは、保護枠11A1と同様に透明な材料で形成されている。視聴者28Aは、スクリーン156A及び保護枠11A1を介して実空間を肉眼で視認する。つまり、第1HMD34Aは、透過型のHMDである。
スクリーン156Aは、視聴者28Aの眼と正対する位置にあり、スクリーン156Aの内面(視聴者28A側の面)には、コンピュータ150の制御下で投影部156Bによって配信映像が投影される。投影部156Bは、周知のデバイスであるので詳しい説明は省略するが、配信映像を表示する液晶等の表示素子と、表示素子に表示された配信映像をスクリーン156Aの内面に向けて投影する投影光学系と、を有するデバイスである。スクリーン156Aは、投影部156Bによって投影された配信映像を反射し、かつ、実空間の光を透過するハーフミラーを用いることで実現される。投影部156Bは、既定のフレームレート(例えば、60fps)でスクリーン156Aの内面に配信映像を投影する。配信映像は、スクリーン156Aの内面で反射して視聴者28Aの眼に入射する。これにより、視聴者28Aは、配信映像を視覚的に認識する。なお、ここでは、スクリーン156Aとしてハーフミラーを例示したが、これに限らず、スクリーン156A自体を液晶等の表示素子としてもよい。
なお、第2HMD34Bも、第1HMD34Aと同様の構成を有しており、第1HMD34Aが視聴者28Aに対して適用されるのに対し、第2HMD34Bは視聴者28Bに対して適用される。
第2HMD34Bは、本体部11B及び装着部13Bを備えている。装着部13Bは、第1HMD34Aの装着部13Aに対応している。図2に示す例において、内側リング13B1は、内側リング13A1に対応しており、外側リング15B1は、外側リング15A1に対応している。また、図2に示す例において、本体部11Bは、第1HMD34Aの本体部11Aに対応している。また、図2に示す例において、保護枠11B1は、保護枠11A1に対応しており、ディスプレイ206は、ディスプレイ156に対応しており、コンピュータ200は、コンピュータ150に対応している。また、図2に示す例において、スクリーン206Aは、スクリーン156Aに対応しており、投影部206Bは、投影部156Bに対応している。
一例として図3に示すように、表示制御装置12は、上空から観察した場合のサッカーフィールド24を含む領域を示す俯瞰映像46Aを無人航空機27から取得する。俯瞰映像46Aは、サッカーフィールド24を含む領域が撮像領域(以下、単に「撮像領域」とも称する)として上空から俯瞰した状態で無人航空機27の撮像装置18によって撮像されることで得られた動画像である。なお、ここでは、俯瞰映像46Aを例示しているが、これに限らず、上空から観察した場合のサッカーフィールド24を含む領域を示す静止画像であってもよい。
表示制御装置12は、複数の撮像装置16の各々の位置から観察した場合の撮像領域を示す撮像映像46Bを複数の撮像装置16の各々から取得する。撮像映像46Bは、撮像領域が複数の撮像装置16の各々によって撮像されることで得られた動画像である。なお、ここでは、撮像映像46Bを例示しているが、これに限らず、複数の撮像装置16の各々の位置から観察した場合の撮像領域を示す静止画像であってもよい。
俯瞰映像46A及び撮像映像46Bは、サッカーフィールド24を含む領域が互いに異なる複数の視点位置から撮像されることで得られた映像であり、本開示の技術に係る「画像」の一例である。
表示制御装置12は、俯瞰映像46A及び撮像映像46Bに基づいて仮想視点映像46Cを生成する。仮想視点映像46Cは、複数の撮像装置の各々の視点位置及び視線方向とは異なる視点位置及び視線方向から撮像領域を観察した場合の撮像領域を示す映像である。図3に示す例において、仮想視点映像46Cとは、観戦席26内の視点位置42及び視線方向44から撮像領域を観察した場合の撮像領域を示す仮想視点映像を指す。仮想視点映像46Cの一例としては、3Dポリゴンを用いた動画像が挙げられる。なお、ここでは、仮想視点映像46Cとして動画像を例示しているが、これに限らず、3Dポリゴンを用いた静止画像であってもよい。ここでは、撮像装置18によって撮像されることで得られた俯瞰映像46Aも生成に供される形態例を示しているが、本開示の技術はこれに限定されない。例えば、俯瞰映像46Aが仮想視点映像46Cの生成に供されずに、複数の撮像装置16の各々によって撮像されることで得られた複数の撮像映像46Bのみが仮想視点映像46Cの生成に供されるようにしてもよい。すなわち、撮像装置18(例えば、ドローン)から得られる映像を使用せずに、複数の撮像装置16によって撮像されることで得られた映像のみから仮想視点映像46Cが生成されるようにしてもよい。また、撮像装置18(例えば、ドローン)から得られる映像を使用すれば、より高精度な仮想視点映像の生成が可能となる。
表示制御装置12は、配信映像として俯瞰映像46A、撮像映像46B、及び仮想視点映像46Cを選択的に端末装置に送信する。
一例として図4に示すように、表示制御装置12は、コンピュータ50、受付デバイス52、ディスプレイ53、第1通信I/F54、および第2通信I/F56を備えている。コンピュータ50は、CPU58、ストレージ60、及びメモリ62を備えており、CPU58、ストレージ60、及びメモリ62は、バスライン64を介して接続されている。図4に示す例では、図示の都合上、バスライン64として1本のバスラインが図示されているが、バスライン64には、データバス、アドレスバス、及びコントロールバス等が含まれている。
CPU58は、表示制御装置12の全体を制御する。ストレージ60は、各種パラメータ及び各種プログラムを記憶している。ストレージ60は、不揮発性の記憶装置である。ここでは、ストレージ60の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ62は、揮発性の記憶装置である。メモリ62には、各種情報が一時的に記憶される。メモリ62は、CPU58によってワークメモリとして用いられる。ここでは、メモリ62の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
受付デバイス52は、表示制御装置12の使用者等からの指示を受け付ける。受付デバイス52の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス52は、バスライン64に接続されており、受付デバイス52によって受け付けられた指示は、CPU58によって取得される。
ディスプレイ53は、バスライン64に接続されており、CPU58の制御下で、各種情報を表示する。ディスプレイ53の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ELディスプレイ等の他の種類のディスプレイがディスプレイ53として採用されてもよい。
第1通信I/F54は、LANケーブル30に接続されている。第1通信I/F54は、例えば、FPGAを有するデバイスによって実現される。第1通信I/F54は、バスライン64に接続されており、CPU58と複数の撮像装置16との間で各種情報の授受を司る。例えば、第1通信I/F54は、CPU58の要求に従って複数の撮像装置16を制御する。また、第1通信I/F54は、複数の撮像装置16の各々によって撮像されることで得られた撮像映像46B(図3参照)を取得し、取得した撮像映像46BをCPU58に出力する。
第2通信I/F56は、基地局20に対して無線通信可能に接続されている。第2通信I/F56は、例えば、FPGAを有するデバイスによって実現される。第2通信I/F56は、バスライン64に接続されている。第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と無人航空機27との間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と第1スマートフォン14Aとの間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と第1HMD34Aとの間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と第2スマートフォン14Bとの間で各種情報の授受を司る。更に、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と第2HMD34Bとの間で各種情報の授受を司る。
一例として図5に示すように、第1スマートフォン14Aは、コンピュータ70、GPS受信機72、ジャイロセンサ74、受付デバイス76、ディスプレイ78、マイクロフォン80、スピーカ82、撮像装置84、及び通信I/F86を備えている。コンピュータ70は、CPU88、ストレージ90、及びメモリ92を備えており、CPU88、ストレージ90、及びメモリ92は、バスライン94を介して接続されている。図5に示す例では、図示の都合上、バスライン94として1本のバスラインが図示されているが、バスライン94には、データバス、アドレスバス、及びコントロールバス等が含まれている。
CPU88は、第1スマートフォン14Aの全体を制御する。ストレージ90は、各種パラメータ及び各種プログラムを記憶している。ストレージ90は、不揮発性の記憶装置である。ここでは、ストレージ90の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ92は、揮発性の記憶装置である。メモリ92には、各種情報が一時的に記憶され、メモリ92は、CPU88によってワークメモリとして用いられる。ここでは、メモリ92の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
GPS受信機72は、CPU88からの指示に応じて複数のGPS衛星(図示省略)からの電波を受信し、受信結果を示す受信結果情報をCPU88に出力する。CPU88は、GPS受信機72から入力された受信結果情報に基づいて第1スマートフォン14Aの現在位置を示す現在位置情報を三次元座標として算出する。
ジャイロセンサ74は、第1スマートフォン14Aのヨー軸周りの角度(以下、「ヨー角」とも称する)、第1スマートフォン14Aのロール軸周りの角度(以下、「ロール角」とも称する)、及び第1スマートフォン14Aのピッチ軸周りの角度(以下、「ピッチ角」とも称する)を測定する。ジャイロセンサ74は、バスライン94に接続されており、ジャイロセンサ74によって測定されたヨー角、ロール角、及びピッチ角を示す角度情報は、バスライン94を介してCPU88によって取得される。なお、第1スマートフォン14Aは、加速度センサ(図示省略)も備えている。なお、加速度センサとジャイロセンサ74は、統合された多軸(例えば6軸)センサとして実装されていてもよい。
受付デバイス76は、視聴者28Aからの指示を受け付ける。受付デバイス76の一例としては、タッチパネル76A及びハードキー等が挙げられる。受付デバイス76は、バスライン94に接続されており、受付デバイス76によって受け付けられた指示は、CPU88によって取得される。
ディスプレイ78は、バスライン94に接続されており、CPU88の制御下で、各種情報を表示する。ディスプレイ78の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ELディスプレイ等の他の種類のディスプレイがディスプレイ78として採用されてもよい。
第1スマートフォン14Aは、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル76A及びディスプレイ78によって実現される。すなわち、ディスプレイ78の表示領域に対してタッチパネル76Aを重ね合わせることによってタッチパネル・ディスプレイが形成される。
マイクロフォン80は、収集した音を電気信号に変換する。マイクロフォン80は、バスライン94に接続されている。マイクロフォン80によって収集された音が変換されて得られた電気信号は、バスライン94を介してCPU88によって取得される。
スピーカ82は、電気信号を音に変換する。スピーカ82は、バスライン94に接続されている。スピーカ82は、CPU88から出力された電気信号を、バスライン94を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音を第1スマートフォン14Aの外部に出力する。
撮像装置84は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置84は、バスライン94に接続されている。撮像装置84によって被写体が撮像されることで得られた画像は、バスライン94を介してCPU88によって取得される。
通信I/F86は、基地局20に対して無線通信可能に接続されている。通信I/F86は、例えば、FPGAを有するデバイスによって実現される。通信I/F86は、バスライン94に接続されている。通信I/F86は、基地局20を介して、無線通信方式で、CPU88と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、表示制御装置12、無人航空機27、第2スマートフォン14B、第1HMD34A、及び第2HMD34Bが挙げられる。
第2スマートフォン14Bは、第1スマートフォン14Aと同様の構成を有する。すなわち、第2スマートフォン14Bは、コンピュータ100、GPS受信機102、ジャイロセンサ104、受付デバイス106、タッチパネル106A、ディスプレイ108、マイクロフォン110、スピーカ112、撮像装置114、通信I/F116、CPU118、ストレージ120、メモリ122、及びバスライン124を備えている。
コンピュータ100は、コンピュータ70に対応している。GPS受信機102は、GPS受信機72に対応している。ジャイロセンサ104は、ジャイロセンサ74に対応している。受付デバイス106は、受付デバイス76に対応している。タッチパネル106Aは、タッチパネル76Aに対応している。ディスプレイ108は、ディスプレイ78に対応している。マイクロフォン110は、マイクロフォン80に対応している。スピーカ112は、スピーカ82に対応している。撮像装置114は、撮像装置84に対応している。通信I/F116は、通信I/F86に対応している。CPU118は、CPU88に対応している。ストレージ120は、ストレージ90に対応している。メモリ122は、メモリ92に対応している。バスライン124は、バスライン94に対応している。バスライン64及び94と同様に、バスライン124には、データバス、アドレスバス、及びコントロールバス等が含まれている。
一例として図6に示すように、第1HMD34Aは、コンピュータ150、受付デバイス152、ディスプレイ154、マイクロフォン157、スピーカ158、アイトラッカ166、及び通信I/F168を備えている。コンピュータ150は、CPU160、ストレージ162、及びメモリ164を備えており、CPU160、ストレージ162、及びメモリ164は、バスライン170を介して接続されている。図6に示す例では、図示の都合上、バスライン170として1本のバスラインが図示されているが、バスライン170には、データバス、アドレスバス、及びコントロールバス等が含まれている。
CPU160は、第1HMD34Aの全体を制御する。ストレージ162は、各種パラメータ及び各種プログラムを記憶している。ストレージ162は、不揮発性の記憶装置である。ここでは、ストレージ162の一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ164は、揮発性の記憶装置である。メモリ164には、各種情報が一時的に記憶され、メモリ164は、CPU160によってワークメモリとして用いられる。ここでは、メモリ164の一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。
受付デバイス152は、視聴者28Aからの指示を受け付ける。受付デバイス152の一例としては、リモートコントローラ及び/又はハードキー等が挙げられる。受付デバイス152は、バスライン170に接続されており、受付デバイス152によって受け付けられた指示は、CPU160によって取得される。
ディスプレイ154は、視聴者28Aが視認する配信映像を表示可能なディスプレイであって、後述の複数の視点映像46(図8参照)から選択された第1視点映像を表示可能なディスプレイである。ディスプレイ154は、バスライン170に接続されており、CPU160の制御下で、各種情報を表示する。ディスプレイ154の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ELディスプレイ等の他の種類のディスプレイがディスプレイ154として採用されてもよい。なお、ディスプレイ154は、本開示の技術に係る「第1表示部(第1ディスプレイ)」の一例である。
アイトラッカ166は、撮像装置(図示省略)を有しており、撮像装置を用いることで既定のフレームレート(例えば、60fps)に従って視聴者28Aの両眼を撮像し、撮像することで得た画像に基づいて、視聴者28Aの視点位置及び視線方向を検出する。そして、アイトラッカ166は、検出した視点位置及び視線方向に基づいてディスプレイ154に表示されている配信映像内のうち視聴者28Aが注視している注視点を特定する。
通信I/F168は、基地局20に対して無線通信可能に接続されている。通信I/F168は、例えば、FPGAを有するデバイスによって実現される。通信I/F168は、バスライン170に接続されている。通信I/F168は、基地局20を介して、無線通信方式で、CPU160と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、表示制御装置12、無人航空機27、第1スマートフォン14A、第2スマートフォン14B、及び第2HMD34Bが挙げられる。
第2HMD34Bは、第1HMD34Aと同様の構成を有する。すなわち、第2HMD34Bは、コンピュータ200、受付デバイス202、ディスプレイ204、マイクロフォン207、スピーカ208、CPU210、ストレージ212、メモリ214、アイトラッカ216、通信I/F218、及びバスライン220を備えている。
コンピュータ200は、コンピュータ150に対応している。受付デバイス202は、受付デバイス152に対応している。ディスプレイ204は、ディスプレイ154に対応している。マイクロフォン207は、マイクロフォン157に対応している。スピーカ208は、スピーカ158に対応している。CPU210は、CPU160に対応している。ストレージ212は、ストレージ162に対応している。メモリ214は、メモリ164に対応している。アイトラッカ216は、アイトラッカ166に対応している。通信I/F218は、通信I/F168に対応している。バスライン220は、バスライン170に対応している。バスライン64,94及び170と同様に、バスライン220には、データバス、アドレスバス、及びコントロールバス等が含まれている。
ディスプレイ204は、視聴者28Bが視認する配信映像を表示可能なディスプレイであって、後述の複数の視点映像46(図8参照)から選択された第2視点映像を表示可能なディスプレイである。なお、ディスプレイ204は、本開示の技術に係る「第2表示部(第2ディスプレイ)」の一例である。
一例として図7に示すように、表示制御装置12において、ストレージ60には、第1表示制御プログラム60A、第2表示制御プログラム60B、及び設定プログラム60Cが記憶されている。なお、以下では、第1表示制御プログラム60A、第2表示制御プログラム60B、及び設定プログラム60Cを区別して説明する必要がない場合、符号を付さずに「表示制御装置プログラム」と称する。
CPU58は、ストレージ60から表示制御装置プログラムを読み出し、読み出した表示制御装置プログラムをメモリ62に展開する。CPU58は、メモリ62に展開した表示制御装置プログラムに従って表示制御装置12の全体を制御し、かつ、複数の撮像装置、無人航空機27、及び端末装置との間で各種情報の授受を行う。
CPU58は、本開示の技術に係る「プロセッサ」の一例であり、メモリ62は、本開示の技術に係る「メモリ」の一例である。CPU58は、ストレージ60から第1表示制御プログラム60Aを読み出し、読み出した第1表示制御プログラム60Aをメモリ62に展開する。CPU58は、メモリ62に展開した第1表示制御プログラム60Aに従って第1取得部58A及び第1制御部58Bとして動作する。CPU58は、第1取得部58A及び第1制御部58Bとして動作することで、後述の第1表示制御処理(図35~図37参照)を実行する。
CPU58は、ストレージ60から第2表示制御プログラム60Bを読み出し、読み出した第2表示制御プログラム60Bをメモリ62に展開する。CPU58は、メモリ62に展開した第2表示制御プログラム60Bに従って第2取得部58C及び第2制御部58Dとして動作する。CPU58は、第2取得部58C及び第2制御部58Dとして動作することで、後述の第2表示制御処理(図38~図40参照)を実行する。
CPU58は、ストレージ60から設定プログラム60Cを読み出し、読み出した設定プログラム60Cをメモリ62に展開する。CPU58は、メモリ62に展開した設定プログラム60Cに従って設定部58Eとして動作する。CPU58は、設定部58Eとして動作することで、後述の設定処理(図41参照)を実行する。
一例として図8に示すように、表示制御装置12において、CPU58は、視点映像生成処理を実行する。視点映像生成処理は、複数の視点映像46を生成する処理である。上述した配信映像には、複数の視点映像46が含まれる。複数の視点映像46の各々は、対応する固有の視点から観察した撮像領域を示す映像である。複数の視点映像46には、俯瞰映像46A、撮像映像46B、及び仮想視点映像46Cが含まれる。仮想視点映像46Cは、撮像装置18から取得された俯瞰映像46A、及び複数の撮像装置16から取得された複数の撮像映像46Bに基づいて生成される。
なお、ここでは、俯瞰映像46A及び複数の撮像映像46Bに基づいて仮想視点映像46Cが生成される形態例を挙げて説明しているが、本開示の技術はこれに限定されず、俯瞰映像46A及び複数の撮像映像46Bのうちの少なくとも2つ以上の映像に基づいて仮想視点映像46Cが生成されるようにしてもよい。また、ここでは、複数の視点映像46に、俯瞰映像46A、撮像映像46B、及び仮想視点映像46Cが含まれる形態例を示しているが、本開示の技術はこれに限定されず、複数の視点映像46に仮想視点映像46Cが含まれていなくてもよいし、複数の視点映像46に俯瞰映像46Aが含まれていなくてもよい。また、CPU58は、複数の撮像装置16の全てから撮像映像46Bを取得する必要はなく、一部の撮像映像46Bを取得しなくてもよい。
また、視点映像46は、第1スマートフォン14Aのディスプレイ78(図5参照)、第2スマートフォン14Bのディスプレイ108、第1HMD34Aのディスプレイ154、及び第2HMD34Bのディスプレイ204等の各ディスプレイに表示される。視点映像生成処理によって生成された視点映像46の大きさと、各ディスプレイに表示された視点映像46の表示サイズとは相似関係にある。また、以下の説明において、視点映像46の大きさの変更は、視点映像46の表示サイズの変更を意味する。なお、後述のアバターについても同様であり、アバターの大きさの変更は、アバターの表示サイズの変更を意味する。
一例として図9に示すように、CPU58によって視点映像生成処理が実行されることで得られる複数の視点映像46の各々は、視点映像識別子、固有視点位置情報、固有視線方向情報、及び固有画角情報を有する。すなわち、複数の視点映像46の各々には、視点映像識別子、固有視点位置情報、及び固有視線方向情報が対応付けられている。視点映像識別子は、対応する視点映像46を一意に特定可能な識別子である。固有視点位置情報は、固有の視点位置を示す情報である。固有の視点位置は、対応する視点映像46が有する視点位置である。すなわち、固有の視点位置とは、対応する視点映像46により示される撮像領域を観察している視点位置を指す。固有視点位置情報の一例としては、複数の視点映像46の各々の互いに固有の視点位置が相対的に特定可能な三次元座標が挙げられる。なお、ここでは、固有の視点位置が撮像領域の一部領域内に制限されている。一部領域とは、例えば、観戦席26(図1及び図3参照)を指す。
固有視線方向情報は、固有の視線方向を示す情報である。固有の視線方向は、対応する視点映像46が有する視線方向である。対応する視点映像46が有する視線方向とは、対応する視点映像46により示される撮像領域を観察している視線方向を指す。ここでは、固有の視線方向の一例として、対応する視点映像46に対して正対する方向(例えば、視点映像46の中心を、視点映像46に対して垂直に貫く方向)が採用されている。
固有画角情報は、固有の画角を示す情報である。固有の画角は、対応する視点映像46が有する画角である。すなわち、固有の画角とは、対応する視点映像46により示される撮像領域に対する画角を指す。
一例として図10に示すように、表示制御装置12において、CPU58は、俯瞰映像送信処理を実行する。俯瞰映像送信処理は、視点映像生成処理によって生成された複数の視点映像46のうちの俯瞰映像46Aを第1スマートフォン14A及び第2スマートフォン14Bに送信する処理である。
俯瞰映像46Aは、第1スマートフォン14Aによって受信され、受信された俯瞰映像46Aは、第1スマートフォン14Aのディスプレイ78に表示される。ディスプレイ78に俯瞰映像46Aが表示されている状態で、視聴者28Aは、第1スマートフォン14Aに対して第1視点視線指示を与える。第1スマートフォン14Aのタッチパネル76Aは、第1視点視線指示を受け付け可能なデバイスであり、本開示の技術に係る「第1受付部(第1受付デバイス)」の一例である。第1視点視線指示は、撮像領域に対する視点位置及び視線方向の指示であり、複数の視点映像46の何れかを選択する指示として用いられる。第1視点視線指示としては、例えば、タッチパネル76Aに対するタッチ操作及びスライド操作が挙げられる。この場合、タッチパネル76Aに対してタッチ操作が行われることで視点位置が指示され、タッチパネル76Aに対してスライド操作が行われることで視線方向が指示される。タッチパネル76A内のタッチ操作が行われた位置は撮像領域に対する視点位置に対応しており、タッチパネル76A内のスライド操作が行われた方向が撮像領域に対する視線方向に対応している。なお、第1視点視線指示は、本開示の技術に係る「第1指示」の一例である。
俯瞰映像46Aは、第2スマートフォン14Bによって受信され、受信された俯瞰映像46Aは、第2スマートフォン14Bのディスプレイ108に表示される。ディスプレイ108に俯瞰映像46Aが表示されている状態で、視聴者28Bは、第2スマートフォン14Bに対して第2視点視線指示を与える。第2スマートフォン14Bのタッチパネル106Aは、第2視点視線指示を受け付け可能なデバイスであり、本開示の技術に係る「第2受付部(第2受付デバイス)」の一例である。第2視点視線指示は、撮像領域に対する視点位置及び視線方向の指示であり、複数の視点映像46の何れかを選択する指示として用いられる。第2視点視線指示としては、例えば、タッチパネル106Aに対するタッチ操作及びスライド操作が挙げられる。この場合、タッチパネル106Aに対してタッチ操作が行われることで視点位置が指示され、タッチパネル106Aに対してスライド操作が行われることで視線方向が指示される。タッチパネル106A内のタッチ操作が行われた位置は撮像領域に対する視点位置に対応しており、タッチパネル106A内のスライド操作が行われた方向が撮像領域に対する視線方向に対応している。なお、第2視点視線指示は、本開示の技術に係る「第2指示」の一例である。
一例として図11に示すように、タッチパネル76Aによって受け付けられた第1視点視線指示は、CPU88によって表示制御装置12のCPU58に送信され、CPU58によって受信される。タッチパネル106Aによって受け付けられた第2視点視線指示は、CPU118によって表示制御装置12のCPU58に送信され、CPU58によって受信される。
一例として図12に示すように、表示制御装置12において、第1制御部58Bは、第1視点映像取得部58B1、第1判定部58B2、第1合成部58B3、第1アバター表示サイズ変更部58B4、第1画質制御部58B5、第1表示態様変更部58B6、及び第1視点映像出力部58B7を備えている。第1制御部58Bは、複数の視点映像46から選択された第1視点映像を第1HMD34Aのディスプレイ154に表示する制御を行う。ここで、「第1視点映像」とは、第1制御部58Bによって複数の視点映像46から選択された1つの視点映像を指す。CPU58は、メモリ62に展開した第1表示制御プログラム60Aに従って、第1視点映像取得部58B1、第1判定部58B2、第1合成部58B3、第1アバター表示サイズ変更部58B4、第1画質制御部58B5、第1表示態様変更部58B6、及び第1視点映像出力部58B7として動作する。
表示制御装置12において、第2制御部58Dは、第2視点映像取得部58D1、第2判定部58D2、第2合成部58D3、第2アバター表示サイズ変更部58D4、第2画質制御部58D5、第2表示態様変更部58D6、及び第2視点映像出力部58D7を備えている。第2制御部58Dは、複数の視点映像46から選択された第1視点映像を第2HMD34Bのディスプレイ204に表示する制御を行う。ここで、「第2視点映像」とは、第2制御部58Dによって複数の視点映像46から選択された1つの視点映像を指す。CPU58は、メモリ62に展開した第2表示制御プログラム60Bに従って、第2視点映像取得部58D1、第2判定部58D2、第2合成部58D3、第2アバター表示サイズ変更部58D4、第2画質制御部58D5、第2表示態様変更部58D6、及び第2視点映像出力部58D7として動作する。
一例として図13に示すように、第1視点映像取得部58B1は、第1スマートフォン14Aから送信される第1視点視線指示を受信する。第1視点映像取得部58B1は、第1視点視線指示を受信すると、第1視点視線指示に従って、複数の視点映像46から1つの視点映像46を第1視点映像として選択し、選択した第1視点映像を取得する。第1視点映像は、第1視点視線指示よって指示された視点位置及び視線方向に対応する固有視点位置情報及び固有視線方向情報を有する視点映像46である。
第1視点映像取得部58B1は、取得した第1視点映像に対応付けられている視点映像識別子を取得し、取得した視点映像識別子を第1取得部58Aに出力する。第1取得部58Aは、第1視点映像取得部58B1から入力された視点映像識別子によって特定される視点映像46に対応付けられている固有視点位置情報、固有視線方向情報、及び固有画角情報を取得する。
メモリ62は、第1記憶領域62A及び第2記憶領域62Bを有する。第1取得部58Aは、取得した固有視点位置情報を第2視点位置情報として第1記憶領域62Aに記憶する。第2視点位置情報は、複数の視点映像46のうちの何れかの固有視点位置情報である。ここで、第2視点位置情報とは、第2視点位置を示す情報を指す。第2視点位置とは、撮像領域に対する視聴者28Aの視点位置を指す。
第1取得部58Aは、取得した固有視線方向情報を第2視線方向情報として第1記憶領域62Aに記憶する。第2視線方向情報は、複数の視点映像46のうちの何れかの固有視線方向情報である。ここで、第2視線方向情報とは、第2視線方向を示す情報を指す。第2視線方向とは、撮像領域に対する視聴者28Aの視線方向を指す。
第1取得部58Aは、取得した固有画角情報を第1記憶領域62Aに記憶する。また、第1取得部58Aは、第1視点映像取得部58B1から入力された視点映像識別子を第1記憶領域62Aに記憶する。
なお、第1取得部58Aによって第2視点位置情報、第2視線方向情報、及び固有画角情報が新たに取得されると、第1取得部58Aによって、新たな第2視点位置情報、第2視線方向情報、及び固有画角情報が第1記憶領域62Aに上書き保存される。第1取得部58Aに第1視点映像取得部58B1から視点映像識別子が新たに入力されると、第1取得部58Aによって、新たな視点映像識別子が第1記憶領域62Aに上書き保存される。
第2視点映像取得部58D1は、第2スマートフォン14Bから送信される第2視点視線指示を受信する。第2視点映像取得部58D1は、第2視点視線指示を受信すると、第2視点視線指示に従って、複数の視点映像46から1つの視点映像46を第2視点映像として選択し、選択した第2視点映像を取得する。第2視点映像は、第2視点視線指示よって指示された視点位置及び視線方向に対応する固有視点位置情報及び固有視線方向情報を有する視点映像46である。
第2視点映像取得部58D1は、取得した第2視点映像に対応付けられている視点映像識別子を取得し、取得した視点映像識別子を第2取得部58Cに出力する。第2取得部58Cは、第2視点映像取得部58D1から入力された視点映像識別子によって特定される視点映像46に対応付けられている固有視点位置情報、固有視線方向情報、及び固有画角情報を取得する。
第2取得部58Cは、取得した固有視点位置情報を第1視点位置情報として第2記憶領域62Bに記憶する。第1視点位置情報は、複数の視点映像46のうちの何れかの固有視点位置情報である。ここで、第1視点位置情報とは、第1視点位置を示す情報を指す。第1視点位置とは、撮像領域に対する視聴者28Bの視点位置を指す。
第2取得部58Cは、取得した固有視線方向情報を第1視線方向情報として第2記憶領域62Bに記憶する。第1視線方向情報は、複数の視点映像46のうちの何れかの固有視線方向情報である。ここで、第1視線方向情報とは、第1視線方向を示す情報を指す。第1視線方向とは、撮像領域に対する視聴者28Bの視線方向を指す。
第2取得部58Cは、取得した固有画角情報を第2記憶領域62Bに記憶する。また、第2取得部58Cは、第2視点映像取得部58D1から入力された視点映像識別子を第2記憶領域62Bに記憶する。
なお、第2取得部58Cによって第1視点位置情報、第1視線方向情報、及び固有画角情報が新たに取得されると、第2取得部58Cによって、新たな第1視点位置情報、第1視線方向情報、及び固有画角情報が第2記憶領域62Bに上書き保存される。第2取得部58Cに第2視点映像取得部58D1から視点映像識別子が新たに入力されると、第2取得部58Cによって、新たな視点映像識別子が第2記憶領域62Bに上書き保存される。
一例として図14に示すように、第1取得部58Aは、第1視点位置情報を取得する。具体的には、第2HMD34Bのディスプレイ204に表示されている第2視点映像に対応する固有視点位置情報が第1視点位置情報として第2記憶領域62Bに格納されており、第1取得部58Aによって第2記憶領域62Bから第1視点位置情報が取得される。
第1制御部58Bは、第1視点映像内に、第1取得部58Aによって取得された第1視点位置情報により示される第1視点位置が含まれている場合に、第1取得部58Aによって取得された第1視点位置情報により示される第1視点位置を特定可能な第1人物アバター(図25参照)を第1視点映像内に表示させる制御を行う。また、第1制御部58Bは、ディスプレイ154によって表示されている第1アバター入り視点映像(図31参照)の画角に応じて第1アバターの表示サイズを変更する制御を行う。
また、第1制御部58Bは、第1視点映像の画質と第1アバターの画質との相違度を第1既定範囲に収める制御をディスプレイ154に対して行う(図24及び図25参照)。また、第1制御部58Bは、第1視点映像の表示サイズと第1アバターの表示サイズとの関係に応じて第1アバターの表示態様を変更する制御をディスプレイ154に対して行う。また、第1制御部58Bは、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第1既定値(例えば、5パーセント)以上の場合に、ディスプレイ154に対して、第1アバターの表示態様を変更する制御を行う(図27~図29参照)。なお、第1既定値は、本開示の技術の「第1閾値」の一例である。以下、具体的に説明する。
第1視点映像取得部58B1は、取得した第1視点映像を第1判定部58B2に出力する。第1判定部58B2は、第1視点映像取得部58B1から第1視点映像が入力されると、第1取得部58Aに対して第1視点位置情報の取得を要求する。第1取得部58Aは、第1判定部58B2からの要求に応じて第2記憶領域62Bから第1視点位置情報を取得し、取得した第1視点位置情報を第1判定部58B2に出力する。
第1判定部58B2は、第1視点映像内に、第1取得部58Aから入力された第1視点位置情報により示される第1視点位置が含まれているか否かを判定する。第1視点映像内に第1視点位置が含まれているか否かの判定は、例えば、第1視点映像に対応する固有画角情報、固有視点位置情報、及び固有視線方向情報を参照して行われる。
ここで、第1視点映像内に第1視点位置が含まれているとは、一例として図15に示すように、現時点において、第2視点映像を視認している視聴者28Bの視点位置が、視聴者28Aによって視認されている第1視点映像内に含まれていることを意味する。なお、図15に示す視聴者28A及び28Bは、便宜的に示した虚像であり、図15に示す例では、サッカーフィールド24に対する視聴者28A及び28Bの仮想的な存在位置を特定可能に表現しているに過ぎない。
一例として図16に示すように、第2取得部58Cは、第2視点位置情報を取得する。具体的には、第1HMD34Aのディスプレイ154に表示されている第1視点映像に対応する固有視点位置情報が第2視点位置情報として第1記憶領域62Aに格納されており、第2取得部58Cによって第1記憶領域62Aから第2視点位置情報が取得される。
第2制御部58Dは、第2視点映像内に、第2取得部58Cによって取得された第2視点位置情報により示される第2視点位置が含まれている場合に、第2取得部58Cによって取得された第2視点位置情報により示される第2視点位置を特定可能な第2人物アバターを第2視点映像内に表示させる制御を行う。また、第2制御部58Dは、ディスプレイ204によって表示されている第2アバター入り視点映像(図32参照)の画角に応じて第2アバターの表示サイズを変更する制御を行う。
また、第2制御部58Dは、第2視点映像の画質と第2アバターの画質との相違度を第2既定範囲に収める制御をディスプレイ204に対して行う。また、第2制御部58Dは、第2視点映像の表示サイズと第2アバターの表示サイズとの関係に応じて第2アバターの表示態様を変更する制御をディスプレイ204に対して行う。また、第2制御部58Dは、第2視点映像の表示サイズに対する第2アバターの表示サイズの割合が第2既定値(例えば、5パーセント)以上の場合に、ディスプレイ204に対して、第2アバターの表示態様を変更する制御を行う(図29及び図30参照)。なお、第2既定値は、本開示の技術の「第3閾値」の一例である。以下、具体的に説明する。
第2視点映像取得部58D1は、取得した第2視点映像を第2判定部58D2に出力する。第2判定部58D2は、第2視点映像取得部58D1から第2視点映像が入力されると、第2取得部58Cに対して第2視点位置情報の取得を要求する。第2取得部58Cは、第2判定部58D2からの要求に応じて第1記憶領域62Aから第2視点位置情報を取得し、取得した第2視点位置情報を第2判定部58D2に出力する。
第2判定部58D2は、第2視点映像内に、第2取得部58Cから入力された第2視点位置情報により示される第2視点位置が含まれているか否かを判定する。第2視点映像内に第2視点位置が含まれているか否かの判定は、例えば、第2視点映像に対応する固有画角情報、固有視点位置情報、及び固有視線方向情報を参照して行われる。
ここで、第2視点映像内に第2視点位置が含まれているとは、一例として図17に示すように、現時点において、第1視点映像を視認している視聴者28Aの視点位置が、視聴者28Bによって視認されている第2視点映像内に含まれていることを意味する。なお、図17に示す視聴者28A及び28Bは、便宜的に示した虚像であり、図17に示す例では、サッカーフィールド24に対する視聴者28A及び28Bの仮想的な存在位置を特定可能に表現しているに過ぎない。
一例として図18に示すように、第1判定部58B2は、第1視点映像内に第1視点位置が含まれていると判定した場合に、視聴者28Aの視界に視聴者28Bが存在していること、すなわち、第1視点位置が存在していることを示す第1人物存在情報を第1合成部58B3に出力する。第1判定部58B2は、第1視点映像内に第1視点位置が含まれていないと判定した場合に、視聴者28Aの視界に視聴者28Bが存在していないこと、すなわち、第1視点位置が存在していないことを示す第1人物不存在情報を第1視点映像取得部58B1に出力する。
第1視点映像取得部58B1は、第1判定部58B2から第1人物不存在情報が入力されると、第1視点映像を第1視点映像出力部58B7に出力する。第1視点映像出力部58B7は、第1視点映像取得部58B1から入力された第1視点映像を第1HMD34Aに出力する。第1視点映像出力部58B7は、第1視点映像を第1HMD34Aに出力することで、ディスプレイ154に対して第1視点映像を表示させる。
ストレージ60には、第1基準アバター群が格納されている。第1基準アバター群は、複数の第1基準アバターの集合である。第1基準アバターとは、視聴者28Bを模した仮想的な画像を指す。第1基準アバター群には、視聴者28Bを複数の方向から観察した場合の視聴者28Bを示す複数の第1基準アバターが含まれている。
第1合成部58B3は、第1判定部58B2から第1人物存在情報が入力されると、第1取得部58Aに対して第1視点位置情報及び第1視線方向情報の取得を要求する。第1取得部58Aは、第1合成部58B3からの要求に応じて第2記憶領域62Bから第1視点位置情報及び第1視線方向情報を取得し、取得した第1視点位置情報及び第1視線方向情報を第1合成部58B3に出力する。
第1合成部58B3は、第1判定部58B2から第1人物存在情報が入力されると、第1視点映像取得部58B1から第1視点映像を取得し、ストレージ60から第1基準アバター群を取得する。
第1合成部58B3は、第1取得部58Aから入力された第1視線方向情報に基づいて第1アバターを生成する。第1アバターとは、視聴者28Bを模した仮想的な画像を指す。第1合成部58B3は、第1基準アバター群を用いることで、第1視線方向情報により示される第1視線方向を特定可能な第1アバターを生成する。つまり、第1合成部58B3は、第1基準アバター群を合成することで、第1視線方向を向いている視聴者28Bを示す第1アバターを生成する。このように、第1アバターは、第1取得部58Aによって取得された第1視線方向情報により示される第1視線方向を特定可能なアバターとして第1合成部58B3によって生成される。なお、第1アバターは、本開示の技術に係る「第1特定情報」の一例である。
第1合成部58B3は、第1視点映像に対して、第1取得部58Aから入力された第1視点位置情報により示される第1視点位置に、第1アバターを重畳させることで、一例として図19に示すように、第1アバター入り視点映像を生成する。第1合成部58B3は、生成した第1アバター入り視点映像を第1アバター表示サイズ変更部58B4に出力する。なお、ここでは、第1視点映像に対して第1アバターを重畳させる形態例を挙げているが、本開示の技術はこれに限定されず、例えば、第1視点映像内に第1アバターが埋め込まれるようにしてもよく、最終的に、第1HMD34Aのディスプレイ154に表示される第2視点映像内に第1アバターが表示されるようにすればよい。
一例として図20に示すように、第2判定部58D2は、第2視点映像内に第2視点位置が含まれていると判定した場合に、視聴者28Bの視界に視聴者28Aが存在していること、すなわち、第2視点位置が存在していることを示す第2人物存在情報を第2合成部58D3に出力する。第2判定部58D2は、第2視点映像内に第2視点位置が含まれていないと判定した場合に、視聴者28Bの視界に視聴者28Aが存在していないこと、すなわち、第2視点位置が存在していないことを示す第2人物不存在情報を第2視点映像取得部58D1に出力する。
第2視点映像取得部58D1は、第2判定部58D2から第2人物不存在情報が入力されると、第2視点映像を第2視点映像出力部58D7に出力する。第2視点映像出力部58D7は、第2視点映像取得部58D1から入力された第2視点映像を第2HMD34Bに出力する。第2視点映像出力部58D7は、第2視点映像を第2HMD34Bに出力することで、ディスプレイ204に対して第2視点映像を表示させる。
ストレージ60には、第2基準アバター群が格納されている。第2基準アバター群は、複数の第2基準アバターの集合である。第2基準アバターとは、視聴者28Aを模した仮想的な画像を指す。第2基準アバター群には、視聴者28Aを複数の方向から観察した場合の視聴者28Aを示す複数の第2基準アバターが含まれている。
第2合成部58D3は、第2判定部58D2から第2人物存在情報が入力されると、第2取得部58Cに対して第2視点位置情報及び第2視線方向情報の取得を要求する。第2取得部58Cは、第2合成部58D3からの要求に応じて第1記憶領域62Aから第2視点位置情報及び第2視線方向情報を取得し、取得した第2視点位置情報及び第2視線方向情報を第2合成部58D3に出力する。
第2合成部58D3は、第2判定部58D2から第2人物存在情報が入力されると、第2視点映像取得部58D1から第2視点映像を取得し、ストレージ60から第2基準アバター群を取得する。
第2合成部58D3は、第2取得部58Cから入力された第2視線方向情報に基づいて第2アバターを生成する。第2アバターとは、視聴者28Aを模した仮想的な画像を指す。第2合成部58D3は、第2基準アバター群を用いることで、第2視線方向情報により示される第2視線方向を特定可能な第2アバターを生成する。つまり、第2合成部58D3は、第2基準アバター群を合成することで、第2視線方向を向いている視聴者28Aを示す第2アバターを生成する。このように、第2アバターは、第2取得部58Cによって取得された第2視線方向情報により示される第2視線方向を特定可能なアバターとして第2合成部58D3によって生成される。なお、第2アバターは、本開示の技術に係る「第2特定情報」の一例である。
第2合成部58D3は、第2視点映像に対して、第2取得部58Cから入力された第2視点位置情報により示される第2視点位置に、第2アバターを重畳させることで、図19に示す例と同様に、第2アバター入り視点映像を生成する。第2合成部58D3は、生成した第2アバター入り視点映像を第2アバター表示サイズ変更部58D4に出力する。なお、ここでは、第2視点映像に対して第2アバターを重畳させる形態例を挙げているが、本開示の技術はこれに限定されず、例えば、第2視点映像内に第2アバターが埋め込まれるようにしてもよく、最終的に、第2HMD34Bのディスプレイ206に表示される第2視点映像内に第2アバターが表示されるようにすればよい。なお、以下では、説明の便宜上、第1アバターと第2アバターとを区別して説明する必要がない場合、単に「アバター」と称する。
一例として図21に示すように、第1アバター表示サイズ変更部58B4は、第1合成部58B3から第1アバター入り視点映像が入力されると、第1取得部58Aに対して、固有画角情報の取得を要求する。第1取得部58Aは、第1アバター表示サイズ変更部58B4からの要求に応じて第2記憶領域62Bから固有画角情報を取得し、取得した固有画角情報を第1アバター表示サイズ変更部58B4に出力する。
ストレージ60には、アバター用大きさ導出テーブルが格納されている。アバター用大きさ導出テーブルは、視点映像46の画角とアバターの大きさとが対応付けられたテーブルである。アバターの大きさとは、例えば、アバターの面積を指す。アバター用大きさ導出テーブル内での視点映像46の画角とアバターの大きさとの関係は、受付デバイス152によって受け付けられた指示に応じて変更可能である。ここでは、大きさ導出テーブルを例示しているが、これに限らず、視点映像46の画角を独立変数とし、アバターの大きさを従属変数として演算式を適用することも可能である。
第1アバター表示サイズ変更部58B4は、第1アバター入り視点映像内の第1アバターの大きさを固有画角情報により示される画角に応じた大きさに変更する。この場合、第1アバター表示サイズ変更部58B4は、アバター用大きさ導出テーブルから固有画角情報に従って第1アバターの大きさを導出する。第1アバターの大きさとして、固有画角情報により示される画角に対応する大きさがアバター用大きさ導出テーブルから導出される。第1アバター表示サイズ変更部58B4は、第1アバター入り視点映像内の第1アバターを、アバター用大きさ導出テーブルから導出した大きさに変更する。
例えば、図19に示す第1アバター入り視点映像内の第1アバターの大きさは、第1アバター表示サイズ変更部58B4によって、図22に示す第1アバター入り視点映像内の第1アバターの大きさに変更される。図19に示す例では、第1アバターの大きさは、第1アバター入り視点映像内の観客の大きさに比べ、数倍以上も大きいのに対し、図22に示す例では、第1アバターの大きさは、第1アバター入り視点映像内の観客とほぼ同じ大きさに変更されている。この結果、第1HMD34Aのディスプレイ154によって第1アバター入り視点映像が表示される場合、ディスプレイ154によって表示されている第1アバター入り視点映像の画角に応じて第1アバターの表示サイズが変更される。
一例として図23に示すように、第2アバター表示サイズ変更部58D4は、第2合成部58D3から第2アバター入り視点映像が入力されると、第2取得部58Cに対して、固有画角情報の取得を要求する。第2取得部58Cは、第2アバター表示サイズ変更部58D4からの要求に応じて第1記憶領域62Aから固有画角情報を取得し、取得した固有画角情報を第2アバター表示サイズ変更部58D4に出力する。
第2アバター表示サイズ変更部58D4は、第1アバター入り視点映像内の第1アバターの大きさを変更した方法と同様に、第2アバター入り視点映像内の第2アバターの大きさを固有画角情報により示される画角に応じた大きさに変更する。すなわち、第2アバター表示サイズ変更部58D4は、アバター用大きさ導出テーブルから固有画角情報に従って第2アバターの大きさを導出する。第2アバターの大きさとして、固有画角情報により示される画角に対応する大きさがアバター用大きさ導出テーブルから導出される。第2アバター表示サイズ変更部58D4は、第2アバター入り視点映像内の第2アバターを、アバター用大きさ導出テーブルから導出した大きさに変更する。この結果、第2HMD34Bのディスプレイ204によって第2アバター入り視点映像が表示される場合、ディスプレイ204によって表示されている第2アバター入り視点映像の画角に応じて第2アバターの表示サイズが変更される。
一例として図24に示すように、第1アバター表示サイズ変更部58B4は、第1アバターを画角に応じた大きさに変更して得た第1アバター入り視点映像を第1画質制御部58B5に出力する。第1画質制御部58B5は、第1アバター入り視点映像において、第1視点映像の画質と第1アバターの画質との相違度を第1既定範囲に収めるように第1アバター入り視点映像の画質を制御する。ここで、「相違度」は、第1視点映像の画質と第1アバターの画質と両者間の差であってもよいし、第1視点映像の画質及び第1アバターの画質のうちの一方に対する他方の割合であってもよい。
具体的には、第1画質制御部58B5は、第1アバター入り視点映像において、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲に収まっているか否かを判定する。そして、第1画質制御部58B5は、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲に収まっていない場合に、第1視点映像の画質と第1アバターの画質との相違度を第1既定範囲に収めるように第1アバター入り視点映像の画質を制御する。
ここで、「画質」とは、解像度、コントラスト、及び明暗の度合いを指す。また、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲内に収まるとは、解像度の相違度が既定の解像度範囲に収まり、コントラストの相違度が既定のコントラスト範囲に収まり、かつ、明暗の度合いの相違度が既定の明暗度合い範囲に収まることを意味する。既定の解像度範囲、既定のコントラスト範囲、及び既定の明暗度合い範囲は、固定値であってもよいし、可変値であってもよい。固定値としては、例えば、官能試験及び/又はコンピュータ・シミュレーション等によって、視点映像46にアバターが入り込んだ場合に視覚的な違和感が生じない値として予め導き出された値が挙げられる。可変値としては、受付デバイス52,76,106,152又は202によって受け付けられた指示に従って変更可能な値が挙げられる。
第1アバター入り視点映像において、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲に収まるように第1アバター入り視点映像の画質が制御されることで、例えば、図22に示す第1アバターの画質は、一例として図25に示すように変更される。つまり、第1アバターが第1視点映像から浮かび上がったり、第1視点映像に沈み込んだりすることに起因して視覚的な違和感が生じないように第1アバターの画質が変更される。
一例として図26に示すように、第2アバター表示サイズ変更部58D4は、第2アバターを画角に応じた大きさに変更して得た第2アバター入り視点映像を第2画質制御部58D5に出力する。第2画質制御部58D5は、第1画質制御部58B5と同様の方法で、第2アバター入り視点映像において、第2視点映像の画質と第2アバターの画質との相違度を第2既定範囲に収めるように第2アバター入り視点映像の画質を制御する。ここで、「相違度」は、第2視点映像の画質と第2アバターの画質と両者間の差であってもよいし、第2視点映像の画質及び第2アバターの画質のうちの一方に対する他方の割合であってもよい。
具体的には、第2画質制御部58D5は、第2アバター入り視点映像において、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲に収まっているか否かを判定する。そして、第2画質制御部58D5は、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲に収まっていない場合に、第2視点映像の画質と第2アバターの画質との相違度を第2既定範囲に収めるように第2アバター入り視点映像の画質を制御する。
ここで、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲内に収まるとは、第1視点映像の画質と第1アバターの画質との相違度と第1既定範囲との関係と同様に、解像度の相違度が既定の解像度範囲に収まり、コントラストの相違度が既定のコントラスト範囲に収まり、かつ、明暗の度合いの相違度が既定の明暗度合い範囲に収まることを意味する。
第2アバター入り視点映像において、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲に収まるように第2アバター入り視点映像の画質が制御されることで、第2アバターが第2視点映像から浮かび上がったり、第2視点映像に沈み込んだりすることに起因して視覚的な違和感が生じないように第2アバターの画質が変更される。
なお、ここでは、「画質」の一例として、解像度、コントラスト、及び明暗の度合いを挙げたが、本開示の技術はこれに限定されず、解像度、コントラスト、及び明暗の度合いのうちの少なくとも1つ又は2つであってもよい。また、解像度、コントラスト、及び明暗の度合い以外で、画質に影響を及ぼす因子であってもよい。
一例として図27に示すように、第1画質制御部58B5は、第1アバター入り視点映像を第1表示態様変更部58B6に出力する。第1表示態様変更部58B6は、第1画質制御部58B5から入力された第1アバター入り視点映像について、第1視点映像の大きさと第1アバターの大きさとの関係に応じて第1アバターの表示態様を変更する。
第1表示態様変更部58B6は、第1アバター入り視点映像について、第1視点映像の大きさに対する第1アバターの大きさの割合が第1既定値以上であるか否かを判定する。第1表示態様変更部58B6は、第1視点映像の大きさに対する第1アバターの大きさの割合が第1既定値未満の場合に、第1画質制御部58B5から入力された第1アバター入り視点映像をそのまま、第1視点映像出力部58B7に転送する。第1表示態様変更部58B6は、第1視点映像の大きさに対する第1アバターの大きさの割合が第1既定値以上の場合に第1アバターの表示態様を変更する。そして、第1表示態様変更部58B6は、表示態様を変更して得た第1アバター入り視点映像を第1視点映像出力部58B7に出力する。第1既定値は、固定値であってもよいし、可変値であってもよい。固定値としては、例えば、官能試験及び/又はコンピュータ・シミュレーション等によって、視点映像46にアバターが入り込んだ場合に視覚的な不快感が生じるアバターの大きさの下限値として予め導き出された値が挙げられる。可変値としては、受付デバイス52,76,106,152又は202の何れかによって受け付けられた指示に従って変更可能な値が挙げられる。
第1アバターの表示態様の変更の一例としては、第1アバターの非表示が挙げられる。すなわち、第1表示態様変更部58B6は、第1視点映像の大きさに対する第1アバターの大きさの割合が第1既定値以上の場合に、第1アバター入り視点映像から第1アバターを消去することで第1アバター入り視点映像の表示態様を変更する。例えば、図28に示すように、第1アバター入り視点映像内において、第1視点映像の大きさに対する第1アバターの大きさの割合が第1既定値以上の場合に、一例として図29に示すように、第1アバター入り視点映像から第1アバターが消去される。この結果、第1HMD34Aのディスプレイ154には、一例として図29に示す第1視点映像、すなわち、第1アバターが非表示された状態の第1視点映像が表示される。
一例として図30に示すように、第2画質制御部58D5は、第2アバター入り視点映像を第2表示態様変更部58D6に出力する。第2表示態様変更部58D6は、第2画質制御部58D5から入力された第2アバター入り視点映像について、第2視点映像の大きさと第2アバターの大きさとの関係に応じて第2アバターの表示態様を変更する。
第2表示態様変更部58D6は、第2視点映像の大きさに対する第2アバターの大きさの割合が第2既定値以上であるか否かを判定する。第2表示態様変更部58D6は、第2視点映像の大きさに対する第2アバターの大きさの割合が第2既定値未満の場合に、第2画質制御部58D5から入力された第2アバター入り視点映像をそのまま、第2視点映像出力部58D7に転送する。第2視点映像の大きさに対する第2アバターの大きさの割合が第2既定値以上の場合に第2アバターの表示態様を変更する。そして、第2表示態様変更部58D6は、表示態様を変更して得た第2アバター入り視点映像を第2視点映像出力部58D7に出力する。
第2既定値は、第1既定値と同じ値であってもよいし、異なる値であってもよい。また、第2既定値は、第1既定値と同様に、固定値であってもよいし、可変値であってもよい。
第2アバターの表示態様の変更の一例としては、第2アバターの非表示が挙げられる。すなわち、第2表示態様変更部58D6は、第2視点映像の大きさに対する第2アバターの大きさの割合が第2既定値以上の場合に、第2アバター入り視点映像から第2アバターを消去することで第2アバター入り視点映像の表示態様を変更する。すなわち、第2アバター入り視点映像内において、第2視点映像の大きさに対する第2アバターの大きさの割合が第2既定値以上の場合に、第2アバター入り視点映像から第2アバターが消去される。この結果、第2HMD34Bのディスプレイ204には、第2アバターが非表示された状態の第2視点映像が表示される。
一例として図31に示すように、第1視点映像出力部58B7には、第1表示態様変更部58B6から第1アバター入り視点映像又は第1視点映像が入力される。第1視点映像出力部58B7は、第1表示態様変更部58B6から第1アバター入り視点映像が入力されると、入力された第1アバター入り視点映像を第1HMD34Aに出力する。第1視点映像出力部58B7は、第1アバター入り視点映像を第1HMD34Aに出力することで、第1HMD34Aのディスプレイ154に対して第1アバター入り視点映像を表示させる。
第1視点映像出力部58B7は、第1表示態様変更部58B6から第1視点映像が入力されると、入力された第1視点映像を第1HMD34Aに出力する。第1視点映像出力部58B7は、第1視点映像を第1HMD34Aに出力することで第1HMD34Aのディスプレイ154に対して第1視点映像を表示させる。
一例として図32に示すように、第2視点映像出力部58D7には、第2表示態様変更部58D6から第2アバター入り視点映像又は第2視点映像が入力される。第2視点映像出力部58D7は、第2表示態様変更部58D6から第2アバター入り視点映像が入力されると、入力された第2アバター入り視点映像を第2HMD34Bに出力する。第2視点映像出力部58D7は、第2アバター入り視点映像を第2HMD34Bに出力することで、第2HMD34Bのディスプレイ204に対して第2アバター入り視点映像を表示させる。
第2視点映像出力部58D7は、第2表示態様変更部58D6から第2視点映像が入力されると、入力された第2視点映像を第2HMD34Bに出力する。第2視点映像出力部58D7は、第2視点映像を第2HMD34Bに出力することで第2HMD34Bのディスプレイ204に対して第2視点映像を表示させる。
一例として図33に示すように、視聴者28Aは、第1スマートフォン14Aに対して、アバターの非表示を指示するアバター非表示指示を与える。アバター非表示指示は、第1スマートフォン14Aのタッチパネル76Aによって受け付けられる。第1スマートフォン14Aは、タッチパネル76Aによって受け付けられたアバター非表示指示を表示制御装置12の設定部58Eに送信する。
一方、視聴者28Bは、第2スマートフォン14Bに対してアバター非表示指示を与える。アバター非表示指示は、第2スマートフォン14Bのタッチパネル106Aによって受け付けられる。第2スマートフォン14Bは、タッチパネル106Aによって受け付けられたアバター非表示指示を表示制御装置12の設定部58Eに送信する。
設定部58Eは、第2スマートフォン14Bから送信されたアバター非表示指示を受信した場合に第2アバターを非表示にする設定を行う。また、設定部58Eは、第1スマートフォン14Aから送信されたアバター非表示指示を受信した場合に第1アバターを非表示にする設定を行う。なお、設定部58Eは、本開示の技術に係る「第1設定部」及び「第2設定部」の一例である。
一例として図34に示すように、設定部58Eは、第1スマートフォン14Aから送信されたアバター非表示指示を受信すると、アバター非表示フラグのオンを指示するフラグ設定指示情報を第1制御部58Bに出力する。ここで、アバター非表示フラグとは、アバターの非表示を指示するフラグを指す。設定部58Eは、第2スマートフォン14Bから送信されたアバター非表示指示を受信すると、フラグ設定指示情報を第2制御部58Dに出力する。なお、第1スマートフォン14Aから送信されたアバター非表示指示の設定部58Eによる受信は、本開示の技術に係る「第2既定条件」の一例であり、第2スマートフォン14Bから送信されたアバター非表示指示の設定部58Eによる受信は、本開示の技術に係る「第1既定条件」の一例である。
ここでは、本開示の技術に係る「第2既定条件」の一例として、第1スマートフォン14Aから送信されたアバター非表示指示の設定部58Eによる受信を例示しているが、本開示の技術はこれに限定されない。例えば、第1HMD34Aの受付デバイス152等の他の受付デバイスによって受け付けられたアバター非表示指示が表示制御装置12に送信され、表示制御装置12の設定部58Eによってアバター非表示指示が受信されたことを条件に、第1アバターを非表示にする設定が行われるようにしてもよい。
また、ここでは、本開示の技術に係る「第1既定条件」の一例として、第2スマートフォン14Bから送信されたアバター非表示指示の設定部58Eによる受信を例示しているが、本開示の技術はこれに限定されない。例えば、第2HMD34Bの受付デバイス202等の他の受付デバイスによって受け付けられたアバター非表示指示が表示制御装置12に送信され、表示制御装置12の設定部58Eによってアバター非表示指示が受信されたことを条件に、第2アバターを非表示にする設定が行われるようにしてもよい。
第1制御部58Bは、設定部58Eからフラグ設定指示情報が入力されると、アバター非表示フラグをオンにする。第1制御部58Bにおいて、アバター非表示フラグがオン状態の場合、第1アバター入り視点映像は生成されず、第1視点映像出力部58B7は、第1視点映像を第1HMD34Aに出力する。
第2制御部58Dは、設定部58Eからフラグ設定指示情報が入力されると、アバター非表示フラグをオンにする。第2制御部58Dにおいて、アバター非表示フラグがオン状態の場合、第2アバター入り視点映像は生成されず、第2視点映像出力部58D7は、第2視点映像を第2HMD34Bに出力する。
次に、情報処理システム10の作用について説明する。
先ず、表示制御装置12のCPU58によって第1表示制御プログラム60Aに従って実行される第1表示制御処理の流れの一例について図35~図37を参照しながら説明する。なお、ここでは、CPU58によって視点映像生成処理が実行されることで、複数の視点映像が生成され、各視点映像に対して視点映像識別子、固有視点位置情報、固有視線方向情報、及び固有画角情報が対応付けられていることを前提として説明する。また、ここでは、第1スマートフォン14Aから第1視点視線指示が表示制御装置12に送信されたことを前提として説明する。
図35に示す第1表示制御処理では、先ず、ステップST10で、第1視点映像取得部58B1は、第1スマートフォン14Aから送信された第1視点視線指示を受信したか否かを判定する。ステップST10において、第1スマートフォン14Aから送信された第1視点視線指示を受信していない場合は、判定が否定されて、ステップST10の判定が再び行われる。ステップST10において、第1スマートフォン14Aから送信された第1視点視線指示を受信した場合は、判定が肯定されて、第1表示制御処理はステップST12へ移行する。
ステップST12で、第1視点映像取得部58B1は、第1視点視線指示に対応する固有視点位置情報及び固有視線方向情報が対応付けられた視点映像46を第1視点映像として取得し、第1視点映像に対応付けられている視点映像識別子を取得する。
次のステップST14で、第1取得部58Aは、ステップST12で取得された視点映像識別子から特定される視点映像46に対応付けられている固有視点位置情報を第2視点位置情報として取得し、その後、第1表示制御処理はステップST16へ移行する。
ステップST16で、第1取得部58Aは、ステップST12で取得された視点映像識別子から特定される視点映像46に対応付けられている固有視線方向情報を第2視線方向情報として取得し、その後、第1表示制御処理はステップST17へ移行する。
ステップST17で、第1取得部58Aは、ステップST12で取得された視点映像識別子から特定される視点映像46に対応付けられている固有画角情報を取得し、その後、第1表示制御処理はステップST18へ移行する。
ステップST18で、第1取得部58Aは、第2視点位置情報等を第1記憶領域62Aに格納し、その後、第1表示制御処理はステップST20へ移行する。ここで、第2視点位置情報等とは、ステップST12で取得された視点映像識別子、ステップST14で取得された第2視点位置情報、ステップST16で取得された第2視線方向情報、及びステップST17で取得された固有画角情報を指す。
ステップST20で、第1取得部58Aは、第2記憶領域62Bに第1視点位置情報等が格納されているか否かを判定する。ここで、第1視点位置情報等とは、視点映像識別子、第1視点位置情報、第1視線方向情報、及び固有画角情報を指す。ステップST20において、第2記憶領域62Bに第1視点位置情報等が格納されていない場合は、判定が否定されて、ステップST20の判定が再び行われる。ステップST20において、第2記憶領域62Bに第1視点位置情報等が格納されている場合は、判定が肯定されて、第1表示制御処理はステップST22へ移行する。
ステップST22で、第1取得部58Aは、第2記憶領域62Bから第1視点位置情報等を取得し、その後、第1表示制御処理はステップST24へ移行する。
ステップST24で、第1判定部58B2は、第1視点映像取得部58B1から第1視点映像を取得し、その後、第1表示制御処理はステップST26へ移行する。
ステップST26で、第1判定部58B2は、ステップST24で取得した第1視点映像内に、ステップST22で取得された第1視点位置情報により示される第1視点位置が含まれているか否かを判定する。ステップST26において、第1視点映像内に第1視点位置が含まれていない場合は、判定が否定されて、図37に示すステップST44へ移行する。ステップST26において、第1視点映像内に第1視点位置が含まれている場合は、判定が肯定されて、第1表示制御処理は図36に示すステップST28へ移行する。
図36に示すステップST28で、第1判定部58B2は、第1人物存在情報を第1合成部58B3に出力し、その後、第1表示制御処理はステップST30へ移行する。
ステップST30で、第1合成部58B3は、第1取得部58Aに対して第2記憶領域62Bから第1視点位置情報及び第1視線方向情報を取得させる。また、第1合成部58B3は、ストレージ60から第1基準アバター群を取得する。また、第1合成部58B3は、第1視点映像取得部58B1から第1視点映像を取得する。そして、第1合成部58B3は、第1視線方向情報及び第1基準アバター群を用いることで、第1アバターを生成する。第1合成部58B3は、第1視点映像から第1視点位置情報により示される第1視点位置を特定し、第1視点映像のうちの特定した第1視点位置に、第1アバターを重畳させることで第1アバター入り視点映像を生成し、その後、第1表示制御処理はステップST34へ移行する。
ステップST34で、第1アバター表示サイズ変更部58B4は、ストレージ60内のアバター用大きさ導出テーブルに従って、第1アバター入り視点映像内の第1アバターの大きさを固有画角情報により示される画角に応じた大きさに変更し、その後、第1表示制御処理はステップST36へ移行する。
ステップST36で、第1画質制御部58B5は、ステップST34で第1アバターの大きさが画角に応じた大きさに変更された第1アバター入り視点映像内の第1アバターの画質が第1視点映像の画質とミスマッチか否かを判定する。ここで、「ミスマッチ」とは、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲外であることを意味する。ステップST36において、第1アバターの画質が第1視点映像の画質とミスマッチでない場合は、判定が否定されて、第1表示制御処理はステップST40へ移行する。ステップST36において、第1アバターの画質が第1視点映像の画質とミスマッチの場合は、判定が肯定されて、第1表示制御処理はステップST38へ移行する。
ステップST38で、第1画質制御部58B5は、第1アバター入り視点映像において、第1視点映像の画質と第1アバターの画質との相違度を第1既定範囲に収めるように第1アバター入り視点映像の画質を制御し、その後、第1表示制御処理はステップST40へ移行する。
ステップST40で、第1表示態様変更部58B6は、第1画質制御部58B5によって第1アバターの画質が制御されることで得られた第1アバター入り視点映像に含まれる第1アバターの表示態様を変更する条件(第1表示態様変更条件)を満足しているか否かを判定する。ここで、第1表示態様変更条件とは、例えば、第1画質制御部58B5によって第1アバターの画質が制御されることで得られた第1アバター入り視点映像について、第1アバター入り視点映像の全体の大きさ、すなわち、第1視点映像の大きさに対する第1アバターの割合が第1既定値以上である、との条件を指す。
ステップST40において、第1表示態様変更条件を満足していない場合は、判定が否定されて、第1表示制御処理は図37に示すステップST46へ移行する。ステップST40において、第1表示態様変更条件を満足した場合は、判定が肯定されて、第1表示制御処理はステップST42へ移行する。
ステップST42で、第1表示態様変更部58B6は、第1アバター入り視点映像から第1アバターを消去することで第1アバター入り視点映像の表示態様を変更する。第1アバター入り視点映像から第1アバターが消去されることで、第1アバター入り視点映像は第1視点映像に変更される。ステップST42の処理の実行が終了すると、第1表示制御処理は図37に示すステップST46へ移行する。
図37に示すステップST44で、第1視点映像出力部58B7は、第1視点映像を第1HMD34Aに出力する。第1HMD34Aは、第1視点映像出力部58B7から入力された第1視点映像を、ディスプレイ154に対して表示させる。ステップST44の処理の実行が終了すると、第1表示制御処理はステップST48へ移行する。
図37に示すステップST46で、第1視点映像出力部58B7は、第1アバター入り視点映像又は第1視点映像を第1HMD34Aに出力する。すなわち、第1視点映像出力部58B7は、ステップST40において判定が否定された場合は第1アバター入り視点映像を第1HMD34Aに出力し、ステップST40において判定が肯定された場合は第1視点映像を第1HMD34Aに出力する。第1HMD34Aは、第1視点映像出力部58B7から入力された第1視点映像を、ディスプレイ154に対して表示させ、第1視点映像出力部58B7から入力された第1アバター入り視点映像を、ディスプレイ154に対して表示させる。ステップST46の処理の実行が終了すると、第1表示制御処理はステップST48へ移行する。
ステップST48で、CPU58は、第1表示制御処理を終了する条件(第1表示制御処理終了条件)を満足したか否かを判定する。第1表示制御処理終了条件の一例としては、受付デバイス52,76,106,152又は202によって、第1表示制御処理を終了する指示が受け付けられた、との条件が挙げられる。
ステップST48において、第1表示制御処理終了条件を満足していない場合は、判定が否定されて、第1表示制御処理は図35に示すステップST10へ移行する。ステップST48において、第1表示制御処理終了条件を満足した場合は、判定が肯定されて、第1表示制御処理が終了する。
次に、表示制御装置12のCPU58によって第2表示制御プログラム60Bに従って実行される第2表示制御処理の流れの一例について図38~図40を参照しながら説明する。なお、ここでは、CPU58によって視点映像生成処理が実行されることで、複数の視点映像が生成され、各視点映像に対して視点映像識別子、固有視点位置情報、固有視線方向情報、及び固有画角情報が対応付けられていることを前提として説明する。また、ここでは、第2スマートフォン14Bから第2視点視線指示が表示制御装置12に送信されたことを前提として説明する。
図38に示す第2表示制御処理では、先ず、ステップST100で、第2視点映像取得部58D1は、第2スマートフォン14Bから送信された第2視点視線指示を受信したか否かを判定する。ステップST100において、第2スマートフォン14Bから送信された第2視点視線指示を受信していない場合は、判定が否定されて、ステップST100の判定が再び行われる。ステップST100において、第2スマートフォン14Bから送信された第2視点視線指示を受信した場合は、判定が肯定されて、第2表示制御処理はステップST102へ移行する。
ステップST102で、第2視点映像取得部58D1は、第2視点視線指示に対応する固有視点位置情報及び固有視線方向情報が対応付けられた視点映像46を第2視点映像として取得し、第2視点映像に対応付けられている視点映像識別子を取得する。
次のステップST104で、第2取得部58Cは、ステップST102で取得された視点映像識別子から特定される視点映像46に対応付けられている固有視点位置情報を第1視点位置情報として取得し、その後、第2表示制御処理はステップST106へ移行する。
ステップST106で、第2取得部58Cは、ステップST102で取得された視点映像識別子から特定される視点映像46に対応付けられている固有視線方向情報を第1視線方向情報として取得し、その後、第2表示制御処理はステップST107へ移行する。
ステップST107で、第2取得部58Cは、ステップST102で取得された視点映像識別子から特定される視点映像46に対応付けられている固有画角情報を取得し、その後、第2表示制御処理はステップST108へ移行する。
ステップST108で、第2取得部58Cは、第1視点位置情報等を第2記憶領域62Bに格納し、その後、第2表示制御処理はステップST110へ移行する。ここで、第1視点位置情報等とは、ステップST102で取得された視点映像識別子、ステップST104で取得された第1視点位置情報、ステップST106で取得された第1視線方向情報、及びステップST107で取得された固有画角情報を指す。
ステップST110で、第2取得部58Cは、第1記憶領域62Aに第2視点位置情報等が格納されているか否かを判定する。ここで、第2視点位置情報等とは、視点映像識別子、第2視点位置情報、第2視線方向情報、及び固有画角情報を指す。ステップST110において、第1記憶領域62Aに第2視点位置情報等が格納されていない場合は、判定が否定されて、ステップST110の判定が再び行われる。ステップST110において、第1記憶領域62Aに第2視点位置情報等が格納されている場合は、判定が肯定されて、第2表示制御処理はステップST112へ移行する。
ステップST112で、第2取得部58Cは、第1記憶領域62Aから第2視点位置情報等を取得し、その後、第2表示制御処理はステップST114へ移行する。
ステップST114で、第2判定部58D2は、第2視点映像取得部58D1から第2視点映像を取得し、その後、第2表示制御処理はステップST116へ移行する。
ステップST116で、第2判定部58D2は、ステップST114で取得した第2視点映像内に、ステップST112で取得された第2視点位置情報により示される第2視点位置が含まれているか否かを判定する。ステップST116において、第2視点映像内に第2視点位置が含まれていない場合は、判定が否定されて、図40に示すステップST134へ移行する。ステップST116において、第2視点映像内に第2視点位置が含まれている場合は、判定が肯定されて、第2表示制御処理は図39に示すステップST118へ移行する。
図39に示すステップST118で、第2判定部58D2は、第2人物存在情報を第2合成部58D3に出力し、その後、第2表示制御処理はステップST120へ移行する。
ステップST120で、第2合成部58D3は、第2取得部58Cに対して第1記憶領域62Aから第2視点位置情報及び第2視線方向情報を取得させる。また、第2合成部58D3は、ストレージ60から第2基準アバター群を取得する。また、第2合成部58D3は、第2視点映像取得部58D1から第2視点映像を取得する。そして、第2合成部58D3は、第2視線方向情報及び第2基準アバター群を用いることで、第2アバターを生成する。第2合成部58D3は、第2視点映像から第2視点位置情報により示される第2視点位置を特定し、第2視点映像のうちの特定した第2視点位置に、第2アバターを重畳させることで第2アバター入り視点映像を生成し、その後、第2表示制御処理はステップST124へ移行する。
ステップST124で、第2アバター表示サイズ変更部58D4は、ストレージ60内のアバター用大きさ導出テーブルに従って、第2アバター入り視点映像内の第2アバターの大きさを固有画角情報により示される画角に応じた大きさに変更し、その後、第2表示制御処理はステップST126へ移行する。
ステップST126で、第2画質制御部58D5は、ステップST124で第2アバターの大きさが画角に応じた大きさに変更された第2アバター入り視点映像内の第2アバターの画質が第2視点映像の画質とミスマッチか否かを判定する。ここで、「ミスマッチ」とは、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲外であることを意味する。ステップST126において、第2アバターの画質が第2視点映像の画質とミスマッチでない場合は、判定が否定されて、第2表示制御処理はステップST130へ移行する。ステップST126において、第2アバターの画質が第2視点映像の画質とミスマッチの場合は、判定が肯定されて、第2表示制御処理はステップST128へ移行する。
ステップST128で、第2画質制御部58D5は、第2アバター入り視点映像において、第2視点映像の画質と第2アバターの画質との相違度を第2既定範囲に収めるように第2アバター入り視点映像の画質を制御し、その後、第2表示制御処理はステップST130へ移行する。
ステップST130で、第2表示態様変更部58D6は、第2画質制御部58D5によって第2アバターの画質が制御されることで得られた第2アバター入り視点映像に含まれる第2アバターの表示態様を変更する条件(第2表示態様変更条件)を満足しているか否かを判定する。ここで、第2表示態様変更条件とは、例えば、第2画質制御部58D5によって第2アバターの画質が制御されることで得られた第2アバター入り視点映像について、第2アバター入り視点映像の全体の大きさ、すなわち、第2視点映像の大きさに対する第2アバターの割合が第2既定値以上である、との条件を指す。
ステップST130において、第2表示態様変更条件を満足していない場合は、判定が否定されて、第2表示制御処理は図40に示すステップST136へ移行する。ステップST130において、第2表示態様変更条件を満足した場合は、判定が肯定されて、第2表示制御処理はステップST132へ移行する。
ステップST132で、第2表示態様変更部58D6は、第2アバター入り視点映像から第2アバターを消去することで第2アバター入り視点映像の表示態様を変更する。第2アバター入り視点映像から第2アバターが消去されることで、第2アバター入り視点映像は第2視点映像に変更される。ステップST132の処理の実行が終了すると、第2表示制御処理は図40に示すステップST136へ移行する。
図40に示すステップST134で、第2視点映像出力部58D7は、第2視点映像を第2HMD34Bに出力する。第2HMD34Bは、第2視点映像出力部58D7から入力された第2視点映像を、ディスプレイ204に対して表示させる。ステップST134の処理の実行が終了すると、第2表示制御処理はステップST138へ移行する。
図40に示すステップST136で、第2視点映像出力部58D7は、第2アバター入り視点映像又は第2視点映像を第2HMD34Bに出力する。すなわち、第2視点映像出力部58D7は、ステップST130において判定が否定された場合は第2アバター入り視点映像を第2HMD34Bに出力し、ステップST130において判定が肯定された場合は第2視点映像を第2HMD34Bに出力する。第2HMD34Bは、第2視点映像出力部58D7から入力された第2視点映像を、ディスプレイ204に対して表示させ、第2視点映像出力部58D7から入力された第2アバター入り視点映像を、ディスプレイ204に対して表示させる。ステップST136の処理の実行が終了すると、第2表示制御処理はステップST138へ移行する。
ステップST138で、CPU58は、第2表示制御処理を終了する条件(第2表示制御処理終了条件)を満足したか否かを判定する。第2表示制御処理終了条件の一例としては、受付デバイス52,76,106,152又は202によって、第2表示制御処理を終了する指示が受け付けられた、との条件が挙げられる。
ステップST138において、第2表示制御処理終了条件を満足していない場合は、判定が否定されて、第2表示制御処理は図38に示すステップST100へ移行する。ステップST138において、第2表示制御処理終了条件を満足した場合は、判定が肯定されて、第2表示制御処理が終了する。
次に、表示制御装置12のCPU58によって設定プログラム60Cに従って実行される設定処理の流れの一例について図41を参照しながら説明する。なお、ここでは、第1スマートフォン14Aからアバター非表示指示が送信されたことを前提として説明する。また、第2スマートフォン14Bからアバター非表示指示が送信された場合の設定処理は、第1スマートフォン14Aからアバター非表示指示が送信された場合の設定処理に比べ、設定部58Eが第2制御部58Dに対して働きかけることで第2制御部58Dが動作するという点のみが異なる。そのため、第2スマートフォン14Bからアバター非表示指示が送信された場合の設定処理についての説明は省略する。
図41に示す設定処理では、先ず、ステップST200で、設定部58Eは、第1スマートフォン14Aから送信されたアバター非表示指示を受信したか否かを判定する。ステップST200において、第1スマートフォン14Aから送信されたアバター非表示指示を受信していない場合は、判定が否定されて、ステップST200の判定が再び行われる。ステップST200において、第1スマートフォン14Aから送信されたアバター非表示指示を受信した場合は、判定が肯定されて、設定処理はステップST202へ移行する。
ステップST202で、設定部58Eは、フラグ設定指示情報を第1制御部58Bに出力し、その後、設定処理はステップST204へ移行する。
ステップST204で、第1制御部58Bは、アバター非表示フラグがオフか否かを判定する。ステップST204において、アバター非表示フラグがオンの場合は、判定が否定されて、設定処理はステップST208へ移行する。ステップST204において、アバター非表示フラグがオフの場合は、判定が肯定されて、設定処理はステップST206へ移行する。
ステップST206で、第1制御部58Bは、アバター非表示フラグをオフからオンに変更し、その後、設定処理はステップST208へ移行する。アバター非表示フラグがオン状態の場合、第1アバター入り視点映像は生成されずに、第1HMD34Aのディスプレイ154には第1視点映像が表示される。
ステップST208で、設定部58Eは、設定処理を終了する条件(設定処理終了条件)を満足したか否かを判定する。設定処理終了条件の一例としては、受付デバイス52,76,106,152又は202の何れかによって、設定処理を終了する指示が受け付けられた、との条件が挙げられる。
ステップST208において、設定処理終了条件を満足していない場合、判定が否定されて、設定処理はステップST200へ移行する。ステップST208において、設定処理終了条件を満足した場合は、判定が肯定されて、設定処理が終了する。
以上説明したように、表示制御装置12では、複数の視点映像46から選択された第1視点映像内に第1視点位置が含まれている場合に、第1視点位置を特定可能な第1アバターが第1視点映像内に表示される。そして、第1視点映像の画角に応じて第1アバターの大きさが変更され、これにより、第1アバターの表示サイズが第1視点映像の画角に応じて変更される。従って、複数の視点映像46から選択された第1視点映像を通して視聴者28Bの存在を知覚可能な状態において、視聴者28Aによって視聴される視点映像の画角に応じて、視聴者28Bの存在感を変化させることができる。
また、表示制御装置12では、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲に収める制御が行われる。従って、第1視点映像の画質と第1アバターの画質との相違度が第1既定範囲外の場合に比べ、第1視点映像と第1アバターとの画質の違いに起因して生じる視覚的な違和感を軽減することができる。
また、表示制御装置12では、第1視点映像の大きさと第1アバターの大きさとの関係、すなわち、第1視点映像の表示サイズと第1アバターの表示サイズとの関係に応じて第1アバターの表示態様が変更される。従って、第1視点映像の表示サイズと第1アバターの表示サイズとの関係に関わらず第1アバターの表示態様が一定の場合に比べ、第1視点映像の表示サイズと第1アバターの表示サイズとの違いに起因して生じる視覚的な不快感を軽減することができる。
また、表示制御装置12では、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第1既定値以上の場合に、第1アバターの表示態様が変更される。具体的には、第1アバターが非表示される。従って、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第1既定値以上の場合であるか否かに関わらず第1アバターの表示態様が一定の場合に比べ、第1アバターの存在が第1視点映像の視認を妨げることに起因して生じる視覚的な不快感を軽減することができる。
また、表示制御装置12では、ディスプレイ154を有する第1HMD34Aが視聴者28Aの頭部に装着されており、第1アバター入り視点映像がディスプレイ154に表示される。従って、第1視点映像及び第1アバターを、第1HMD34Aを通して視聴者28Aに対して視覚的に知覚させることができる。
また、表示制御装置12では、第1スマートフォン14Aのタッチパネル76Aによって受けられた第1視点視線指示に従って複数の視点映像46から第1視点映像が選択される。従って、複数の視点映像46から視聴者28Aが意図する視点映像を視聴者28Aに対して提供することができる。
また、表示制御装置12では、第1視線方向情報が第1取得部58Aによって取得される。そして、第1取得部58Aによって取得された第1視線方向情報により示される第1視線方向を特定可能なアバターが第1アバターとして生成される。従って、複数の視点映像46から選択された第1視点映像を通して、視聴者28Bの視線方向を視聴者28Aに対して知覚させることができる。
また、表示制御装置12では、複数の視点映像46の各々が固有視点位置情報を有している。また、複数の視点映像46の各々は、対応する固有視点位置情報により示される視点位置から観察した撮像領域を示す映像である。そして、第1取得部58Aによって、複数の視点映像46のうちの何れかの固有視点位置情報が第1視点位置情報として取得される。従って、視点映像46とは無関係に視聴者28Aの視点位置を定める場合に比べ、視点映像46との結び付きが強い視点位置を視聴者28Aの視点位置として定めることができる。
また、表示制御装置12では、第2HMD34Bのディスプレイ204に表示されている第2視点映像に対応する固有視点位置情報が第1視点位置情報として第1取得部58Aによって取得される。従って、第2HMD34Bのディスプレイ204に表示されている第2視点映像とは無関係に視聴者28Aの視点位置を定める場合に比べ、第2HMD34Bのディスプレイ204に表示されている第2視点映像との結び付きが強い視点位置を視聴者28Aの視点位置として定めることができる。
また、表示制御装置12では、第2HMD34Bのディスプレイ204に表示されている第2視点映像に対して正対する方向を示す情報が第1視線方向情報として第1取得部58Aによって取得される。従って、検出デバイスで視聴者28Bの視線方向を検出することで視聴者28Bの視線方向を定める場合に比べ、視聴者28Bの視線方向を容易に定めることができる。
また、表示制御装置12では、ディスプレイ204を有する第2HMD34Bが視聴者28Bの頭部に装着されており、第2アバター入り視点映像がディスプレイ204に表示される。従って、第2視点映像及び第2アバターを、第2HMD34Bを通して視聴者28Bに対して視覚的に知覚させることができる。
また、表示制御装置12では、第2スマートフォン14Bのタッチパネル106Aによって受けられた第2視点視線指示に従って複数の視点映像46から第2視点映像が選択される。従って、複数の視点映像46から視聴者28Bが意図する視点映像を視聴者28Bに対して提供することができる。
また、表示制御装置12では、複数の視点映像46から選択された第2視点映像内に第2視点位置が含まれている場合に、第2視点位置を特定可能な第2アバターが第2視点映像内に表示される。そして、第2視点映像の画角に応じて第2アバターの大きさが変更され、これにより、第2アバターの表示サイズが第2視点映像の画角に応じて変更される。従って、複数の視点映像46から選択された視点映像46を通して視聴者28A及び28Bが互いの存在を知覚可能な状態において、視認される視点映像46の画角に応じて、視聴者28A,28Bの互いの存在感を変化させることができる。
また、表示制御装置12では、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲に収める制御が行われる。従って、第2視点映像の画質と第2アバターの画質との相違度が第2既定範囲外の場合に比べ、第2視点映像と第2アバターとの画質の違いに起因して生じる視覚的な違和感を軽減することができる。
また、表示制御装置12では、第2視点映像の大きさと第2アバターの大きさとの関係、すなわち、第2視点映像の表示サイズと第2アバターの表示サイズとの関係に応じて第1アバターの表示態様が変更される。従って、第2視点映像の表示サイズと第2アバターの表示サイズとの関係に関わらず第2アバターの表示態様が一定の場合に比べ、第2視点映像の表示サイズと第2アバターの表示サイズとの違いに起因して生じる視覚的な不快感を軽減することができる。
また、表示制御装置12では、第2視点映像の表示サイズに対する第2アバターの表示サイズの割合が第2既定値以上の場合に、第2アバターの表示態様が変更される。具体的には、第2アバターが非表示される。従って、第2視点映像の表示サイズに対する第2アバターの表示サイズの割合が第2既定値以上の場合であるか否かに関わらず第2アバターの表示態様が一定の場合に比べ、第2アバターの存在が第2視点映像の視認を妨げることに起因して生じる視覚的な不快感を軽減することができる。
また、表示制御装置12では、第2視線方向情報が第2取得部58Cによって取得される。そして、第2取得部58Cによって取得された第2視線方向情報により示される第2視線方向を特定可能なアバターが第2アバターとして生成される。従って、複数の視点映像46から選択された第2視点映像を通して、視聴者28Aの視線方向を視聴者28Bに対して知覚させることができる。
また、表示制御装置12では、複数の視点映像46の各々が固有視点位置情報を有している。また、複数の視点映像46の各々は、対応する固有視点位置情報により示される視点位置から観察した撮像領域を示す映像である。そして、第1取得部58Aによって、複数の視点映像46のうちの何れかの固有視点位置情報が第1視点位置情報として取得され、第2取得部58Cによって、複数の視点映像46のうちの何れかの固有視点位置情報が第2視点位置情報として取得される。従って、視点映像46とは無関係に視聴者28A及び28Bの各々の視点位置を定める場合に比べ、視点映像46との結び付きが強い視点位置を視聴者28A及び28Bの各々の視点位置として定めることができる。
また、表示制御装置12では、第2HMD34Bのディスプレイ204に表示されている第2視点映像に対応する固有視点位置情報が第1視点位置情報として第1取得部58Aによって取得される。また、第1HMD34Aのディスプレイ154に表示されている第1視点映像に対応する固有視点位置情報が第2視点位置情報として第2取得部58Cによって取得される。従って、表示されている視点映像46とは無関係に視聴者28A及び28Bの各々の視点位置を定める場合に比べ、表示されている視点映像46との結び付きが強い視点位置を視聴者28A及び28Bの各々の視点位置として定めることができる。
また、表示制御装置12では、第2HMD34Bのディスプレイ204に表示されている第2視点映像に対して正対する方向を示す情報が第1視線方向情報として第1取得部58Aによって取得される。また、第1HMD34Aのディスプレイ154に表示されている第1視点映像に対して正対する方向を示す情報が第2視線方向情報として第2取得部58Cによって取得される。従って、第1検出デバイスで視聴者28Bの視線方向を検出することで視聴者28Bの視線方向を定め、第2検出デバイスで視聴者28Aの視線方向を検出することで視聴者28Aの視線方向を定める場合に比べ、視聴者28A及び28Bの各々の視線方向を容易に定めることができる。
また、表示制御装置12では、第2スマートフォン14Bから送信されたアバター非表示指示が設定部58Eによって受信された場合に第2アバターを非表示にする設定が設定部58Eによって行われる。従って、視聴者28Bの意図に従って第2アバターを視点映像46内に表示させないようにすることができる。
また、表示制御装置12では、第1視点位置及び第2視点位置が撮像領域の一部領域内(図1及び図3に示す例では、観戦席26)に制限されている。従って、第1視点位置及び第2視点位置が撮像領域の一部領域内に制限されない場合に比べ、視聴者28A及び28Bは、複数の視点映像46から選択した視点映像を通して互いの存在を容易に知覚することができる。
また、表示制御装置12では、第1スマートフォン14Aから送信されたアバター非表示指示が設定部58Eによって受信された場合に第1アバターを非表示にする設定が設定部58Eによって行われる。従って、視聴者28Aの意図に従って第1アバターを視点映像46内に表示させないようにすることができる。
更に、表示制御装置12では、複数の視点映像46に仮想視点映像46Cが含まれている。従って、実際の撮像装置が存在していない位置から観察した撮像領域の態様を把握することができる。
なお、上記実施形態では、第1視点位置及び第2視点位置が撮像領域の一部領域内(図1及び図3に示す例では、観戦席26)に制限されているが、本開示の技術はこれに限定されず、第1視点位置又は第2視点位置が撮像領域の一部領域内に制限されるようにしてもよい。
また、上記実施形態では、アバターの表示態様の変更の一例として、アバターの非表示を挙げたが、本開示の技術はこれに限定されない。例えば、アバターの表示態様の変更の他の例としては、アバターのうちの輪郭のみの表示、及びアバターの半透明化等が挙げられる。
また、上記実施形態では、第1視点映像の表示サイズと第1アバターの表示サイズとの関係性のみに応じて第1アバターの表示態様が変更される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第1表示態様変更部58B6は、第1視点映像の表示サイズと第1アバターの表示サイズとの関係、第1視点映像の表示位置と第1アバターの表示位置との関係に応じて第1アバターの表示態様を変更するようにしてもよい。
例えば、図42に示すように、第1アバター入り視点映像の表示サイズに対する第1アバターの表示サイズの割合が第1既定値以上であり、かつ、第1アバターが第1アバター入り視点映像の特定領域(図42に示す例では、中央領域180)と重なっている場合に、第1表示態様変更部58B6によって第1アバターの表示態様が変更される。第1アバターの表示態様の変更としては、例えば、第1アバター入り視点映像からの第1アバターの消去、第1アバターのうちの輪郭のみの表示、及び第1アバターの半透明化等が挙げられる。
本構成によれば、第1視点映像の表示サイズと第1アバターの表示サイズとの関係、及び第1視点映像の表示位置と第1アバターの表示位置との関係に関わらず第1アバターの表示態様が一定の場合に比べ、第1視点映像の表示サイズと第1アバターの表示サイズとの違い、及び第1視点映像の表示位置と第1アバターの表示位置との違いに起因して生じる視覚的な不快感を軽減することができる。
図42に示す例では、第1アバターが中央領域180と重なっている場合に第1アバターの表示態様が変更されるが、これに限らず、第1アバター入り視点映像のうちの中央領域180とは異なる領域に対して第1アバターが重なっている場合に第1アバターの表示態様が変更されるようにしてもよい。
また、図42に示す例では、第1アバター入り視点映像と第1アバターとの間の大きさ及び位置の関係を例示しているが、第2アバター入り視点映像と第2アバターとの間の大きさ及び位置の関係についても同様の条件を満たせば、第1アバターの表示態様の変更と同様に、第2表示態様変更部58D6によって第2アバターの表示態様が変更されるようにしてもよい。これにより、第2視点映像の表示サイズと第2アバターの表示サイズとの関係、及び第2視点映像の表示位置と第2アバターの表示位置との関係に関わらず第2アバターの表示態様が一定の場合に比べ、第2視点映像の表示サイズと第2アバターの表示サイズとの違い、及び第2視点映像の表示位置と第2アバターの表示位置との違いに起因して生じる視覚的な不快感を軽減することができる。
また、上記実施形態では、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第1既定値以上の場合に、第1表示態様変更部58B6が、第1アバターを非表示させることで第1アバターの表示態様を変更する形態例を示したが、本開示の技術はこれに限定されない。例えば、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第3既定値未満の場合に、第1表示態様変更部58B6は、第1HMD34Aのディスプレイ154に対して、第1アバター入り視点映像内の他の領域よりも強調された表示態様で第1アバターを表示させるようにしてもよい。他の領域よりも強調された表示態様の一例としては、第1アバターの輪郭の強調表示、第1アバターの視線方向を示す矢印等のマークでの表示、及び第1アバターのポップアップ表示等が挙げられる。なお、第3既定値は、本開示の技術に係る「第2閾値」の一例である。第3既定値としては、例えば、上述した第1既定値が挙げられる。また、第3既定値は、第1既定値よりも小さな値であってもよい。
本構成によれば、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第3既定値未満の場合であるか否かに関わらず第1アバターの表示態様が一定である場合に比べ、複数の視点映像46から選択された視点映像を通して視聴者28Bの存在を容易に知覚することができる。
ここでは、第1視点映像の表示サイズに対する第1アバターの表示サイズの割合が第3既定値未満の場合に、第1アバター入り視点映像内の他の領域よりも強調された表示態様で第1アバターが表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第2視点映像の表示サイズと第2アバターの表示サイズとの関係についても同様の条件を満たせば、第1アバターの表示態様の変更と同様に、第2表示態様変更部58D6によって第2アバターの表示態様が変更されるようにしてもよい。これにより、第2視点映像の表示サイズに対する第2アバターの表示サイズの割合が第3既定値未満の場合であるか否かに関わらず第2アバターの表示態様が一定である場合に比べ、複数の視点映像46から選択された視点映像を通して視聴者28Aの存在を容易に知覚することができる。なお、この場合、「第3既定値」は、本開示の技術に係る「第4閾値」の一例である。
また、図42に示す例では、中央領域180に対して第1アバターが重なっている場合に表示態様が変更される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図43及び図44に示すように、第1アバター入り視点映像に対する視聴者28Aによる注目領域に対して第1アバターの少なくとも一部が重なっている場合に第1表示態様変更部58B6によって表示態様が変更されるようにしてもよい。図43に示す例では、第1アバターが注目領域に重なっていないのに対し、図44に示す例では、第1アバターが注目領域に重なっており、この場合、第1アバターが半透明化した半透明化第1アバターが第1視点映像に重畳表示される。
注目領域は、第1スマートフォン14Aの受付デバイス76及び/又は第1HMD34Aの受付デバイス152によって受け付けられた指示に従って定められるようにしてもよい。また、第1HMD34Aのアイトラッカ166(図6参照)によって視聴者28Aの眼の動きを検出し、検出結果に応じて第1アバター入り視点映像内の注目領域を定めるようにしてもよい。
なお、第2アバター入り視点映像に対する視聴者28Bによる注目領域に対して第2アバターの少なくとも一部が重なっている場合に第2表示態様変更部58D6によって表示態様が変更されるようにしてもよい。この場合も、注目領域は、第2スマートフォン14Bの受付デバイス106及び/又は第2HMD34Bの受付デバイス202によって受け付けられた指示に従って定められるようにしてもよい。また、第2HMD34Bのアイトラッカ216(図6参照)によって視聴者28Bの眼の動きを検出し、検出結果に応じて第2アバター入り視点映像内の注目領域を定めるようにしてもよい。
また、上記実施形態では、固有視線方向情報が第1視線方向情報及び第2視線方向情報として用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第1視線方向情報がアイトラッカ166での検出結果に基づいて定められるようにしてもよいし、第2視線方向情報がアイトラッカ216での検出結果に基づいて定められるようにしてもよい。
また、上記実施形態では、視聴者28A及び28Bの何れもが観戦席26で観戦していないことを前提として説明したが、視聴者28A及び/又は28Bが観戦席26で観戦していてもよい。この場合、視聴者28A及び28Bの位置がGPS受信機72及び102での受信結果に基づいて特定され、特定された視聴者28A及び28Bの位置が第1視点位置及び第2視点位置として用いられるようにしてもよい。
また、上記実施形態では、第1スマートフォン14Aに対して与えられた第1視点視線指示に従って複数の視点映像46から1つの視点映像が第1視点映像として選択される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数の視点映像46が第1スマートフォン14Aのディスプレイ78に表示されている状態で、視聴者28Aに対してタッチパネル76Aを介して何れかの視点映像46を第1視点映像として選択させるようにしてもよい。なお、第2視点映像の選択についても同様である。
また、上記実施形態では、アバターを例示したが、本開示の技術はこれに限定されず、視聴者28A及び28Bの一方が他方の視点位置及び視線方向を特定することが可能な情報であれば如何なる情報であってもよい。視点位置及び視線方向を特定することが可能な情報としては、例えば、矢印等のマーク、矢印等のマークとアバターとの組み合わせ、又はアバターの位置を示す矢印が挙げられる。
また、上記実施形態では、表示制御装置12のCPU58によって第1表示制御処理、第2表示制御処理、及び設定処理(以下、これらを区別して説明する必要がない場合、「表示制御装置側処理」と称する)が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されず、表示制御装置側処理は、第1スマートフォン14A、第2スマートフォン14B、第1HMD34A、及び第2HMD34Bによって分散して実行されるようにしてもよい。
例えば、第1HMD34Aに第1表示制御処理及び設定処理を実行させ、第2HMD34Bに第2表示制御処理及び設定処理を実行させるようにしてもよい。この場合、一例として図45に示すように、第1HMD34Aのストレージ162には、第1表示制御プログラム60A及び設定プログラム60Cが格納されている。CPU160は、第1表示制御プログラム60Aに従って第1取得部58A及び第1制御部58Bとして動作することで第1表示制御処理を実行する。また、CPU160は、設定プログラム60Cに従って設定部58Eとして動作することで設定処理を実行する。
一方、一例として図46に示すように、第2HMD34Bのストレージ212には、第2表示制御プログラム60B及び設定プログラム60Cが格納されている。CPU210は、第2表示制御プログラム60Bに従って第2取得部58C及び第2制御部58Dとして動作することで第2表示制御処理を実行する。また、CPU210は、設定プログラム60Cに従って設定部58Eとして動作することで設定処理を実行する。
また、上記実施形態では、第1HMD34A及び第2HMD34Bを例示したが、本開示の技術はこれに限定されず、第1HMD34A及び第2HMD34Bのうちの少なくとも一方は、スマートフォン、タブレット端末、ヘッドアップディスプレイ、又はパーソナル・コンピュータ等の演算装置付きの各種デバイスであっても代替することが可能である。
また、上記実施形態では、サッカー競技場22を例示したが、これはあくまでも一例に過ぎず、野球場、カーリング場、及び競泳場等のように、複数の撮像装置が設置可能であれば、如何なる場所であってもよい。
また、上記実施形態では、基地局20を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。
また、上記実施形態では、無人航空機27を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置18(例えば、ワイヤを伝って移動可能な自走式の撮像装置)によって撮像領域が撮像されるようにしてもよい。
また、上記実施形態では、コンピュータ50,70,100,150及び200を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ50,70,100,150及び/又は200に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ50,70,100,150及び/又は200に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
また、上記実施形態では、ストレージ60に表示制御装置プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図47に示すように、非一時的記憶媒体であるSSD又はUSBメモリなどの任意の可搬型の記憶媒体400に表示制御装置プログラムが記憶されていてもよい。この場合、記憶媒体400に記憶されている表示制御装置プログラムがコンピュータ50にインストールされ、CPU58は、表示制御装置プログラムに従って、表示制御装置側処理を実行する。
また、通信網(図示省略)を介してコンピュータ50に接続される他のコンピュータ又はサーバ装置等の記憶部に表示制御装置プログラムを記憶させておき、表示制御装置12の要求に応じて表示制御装置プログラムが表示制御装置12にダウンロードされるようにしてもよい。この場合、ダウンロードされた表示制御装置プログラムに基づく表示制御装置側処理がコンピュータ50のCPU58によって実行される。
また、上記実施形態では、CPU58を例示したが、本開示の技術はこれに限定されず、GPUを採用してもよい。また、CPU58に代えて、複数のCPUを採用してもよい。つまり、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって表示制御装置側処理が実行されるようにしてもよい。
表示制御装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って表示制御装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のプロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで表示制御装置側処理を実行する。
表示制御装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、表示制御装置側処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、表示制御装置側処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、表示制御装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、表示制御装置側処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上述した表示制御装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を含み、
上記プロセッサは、
撮像領域に対する第1人物の第1視点位置を示す第1視点位置情報を取得し、
上記第1人物とは異なる第2人物が視認する映像を表示可能な第1表示部であって、上記撮像領域が互いに異なる複数の視点位置から撮像されることで得られた画像に基づいて生成された複数の視点映像から選択された第1視点映像を第1表示部に表示する制御を行い、
上記第1視点映像内に、取得した上記第1視点位置情報により示される上記第1視点位置が含まれている場合に、取得した上記第1視点位置情報により示される上記第1視点位置を特定可能な第1特定情報を上記第1視点映像内に表示させる制御を行い、
上記第1表示部によって表示されている上記第1視点映像の画角に応じて上記第1特定情報の表示サイズを変更する制御を行う
表示制御装置。