WO2023188022A1 - 画像生成装置、画像生成方法、及びプログラム - Google Patents

画像生成装置、画像生成方法、及びプログラム Download PDF

Info

Publication number
WO2023188022A1
WO2023188022A1 PCT/JP2022/015599 JP2022015599W WO2023188022A1 WO 2023188022 A1 WO2023188022 A1 WO 2023188022A1 JP 2022015599 W JP2022015599 W JP 2022015599W WO 2023188022 A1 WO2023188022 A1 WO 2023188022A1
Authority
WO
WIPO (PCT)
Prior art keywords
image generation
image data
scene
recording
display
Prior art date
Application number
PCT/JP2022/015599
Other languages
English (en)
French (fr)
Inventor
陽 徳永
圭史 松永
雅宏 藤原
昌毅 高瀬
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/015599 priority Critical patent/WO2023188022A1/ja
Publication of WO2023188022A1 publication Critical patent/WO2023188022A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成するとともに、当該シーンに係る画像データを、第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成する画像生成装置である。

Description

画像生成装置、画像生成方法、及びプログラム
 本発明は、表示装置に表示させる画像を生成する画像生成装置、画像生成方法、及びプログラムに関する。
 例えばビデオゲームなどにおいては、画像生成装置は、仮想空間などの様子を示す画像を生成し、生成した画像を表示装置の画面に表示させる処理を繰り返し実行することによって、ユーザーに映像を提示する。このとき、後に第三者に公開したりするために、画像生成装置が表示用に生成した画像のスクリーンショットや、映像の内容を記録することがある。
 上述した従来技術において、表示用に生成される画像は必ずしも第三者に閲覧させる用途に適したものであるとは限らない。
 本発明は上記実情を考慮してなされたものであって、その目的の一つは、リアルタイムに生成され表示された内容を、後に閲覧しやすい形で表示できるようにする画像生成装置、画像生成方法、及びプログラムを提供することにある。
 本発明の一態様に係る画像生成装置は、シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成する表示用画像生成部と、前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成する記録用画像生成部と、を含む画像生成装置である。
 本発明の一態様に係る画像生成方法は、シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成するステップと、前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成するステップと、を含む画像生成方法である。
 本発明の一態様に係るプログラムは、シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成するステップと、前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る画像生成装置の構成を示す構成ブロック図である。 本発明の実施の形態に係る画像生成装置の機能を示す機能ブロック図である。 記録用画像データの一例を説明する図である。
 以下、本発明の実施形態について、図面に基づき詳細に説明する。
 図1は、本発明の一実施形態に係る画像生成装置10の構成を示す構成ブロック図である。画像生成装置10は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ等であって、同図に示されるように、制御部11と、記憶部12と、インタフェース部13と、を含んで構成されている。また、画像生成装置10は表示装置14及び操作デバイス15と接続されている。
 制御部11は、CPU等のプロセッサを少なくとも一つ含み、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
 インタフェース部13は、表示装置14、及び操作デバイス15との間のデータ通信のためのインタフェースである。画像生成装置10は、インタフェース部13を介して有線又は無線のいずれかで表示装置14、及び操作デバイス15のそれぞれと接続される。具体的にインタフェース部13は、画像生成装置10が供給する映像信号を表示装置14に送信するためのマルチメディアインタフェースを含むこととする。また、操作デバイス15に対してユーザーが行った操作内容を示す信号を受信するためのデータ通信インタフェースを含んでいる。さらにインタフェース部13は、インターネット等の通信ネットワークを介して他の通信機器との間でデータを送受信するための通信インタフェースを備えてもよい。
 表示装置14は、画像生成装置10から供給される映像信号に応じた映像を画面上に表示する。表示装置14は、家庭用テレビ受像機などの据え置き型の表示装置であってもよいし、携帯型の表示装置であってもよい。また、表示装置14はユーザーの左右の目それぞれに別の映像を提示することによって立体映像を提示可能な頭部装着型の表示装置であってもよい。
 操作デバイス15は、例えば家庭用ゲーム機のコントローラなどであって、ユーザーからの操作入力を受け付ける。操作デバイス15は、画像生成装置10と有線又は無線により接続され、ユーザーから受け付けた操作入力の内容を示す操作信号を画像生成装置10に対して送信する。なお、操作デバイス15は、例えばユーザーが手で把持して使用するデバイスや、手に装着して使用するデバイスなど、各種の形状のものであってよい。
 以下、画像生成装置10が実現する機能について、図2の機能ブロック図を用いて説明する。図2に示すように、画像生成装置10は機能的に、シーン情報生成部21と、表示用画像生成部22と、記録用画像生成部23と、を含んで構成されている。これらの機能は、制御部11が記憶部12に記憶された1又は複数のプログラムに従って動作することにより実現される。これらのプログラムは、インターネット等の通信ネットワークを介して画像生成装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
 シーン情報生成部21は、ユーザーに提示すべきシーンの内容を決定し、その内容を特定するためのシーン情報を生成する。シーン情報生成部21は、例えばゲームプログラムなどのアプリケーションプログラムによって実現されてよい。
 本実施形態では、ユーザーに提示すべきシーンは仮想的な3次元空間(仮想空間)の内部の様子であるものとする。この場合、シーン情報生成部21は、仮想空間内に配置されるオブジェクトの形状や外観、仮想空間内における位置などを特定するための情報をシーン情報として決定する。
 さらにシーン情報生成部21は、シーン情報によって定められるシーンの中で実際に表示対象となる部分を特定する情報を併せて決定するものとする。具体的にシーン情報生成部21は、ユーザーの指示等に応じて仮想空間内に設定される視点の位置及び視野方向を決定する。また、表示装置14がユーザーの頭部に装着されるタイプの表示装置である場合、シーン情報生成部21はそのユーザーの顔の向きに連動するように視野方向を決定してもよい。この場合におけるユーザーの顔の向きを表す視野方向情報は、例えば表示装置14に内蔵された姿勢センサーの検出結果を用いるなど、各種の方法で取得することができる。
 また、シーン情報生成部21は、仮想空間内の様子だけでなく、その他の情報を併せてユーザーに提示する場合に、その内容を表す表示オブジェクト及びその配置位置を決定する。例えばゲームなどにおいては、現在のプレイ状況に関する情報やキャラクターの情報、マップ情報などのコンテンツが仮想空間内の様子に重畳して表示装置14の画面に表示される場合がある。このような情報は、仮想空間内の様子や視点位置などに関係なく、画面内の所定の位置に表示されることが望ましい。以下ではこのような情報の内容を表すオブジェクトを情報オブジェクトという。シーン情報生成部21は、この情報オブジェクトに含める情報の内容、及び画面内における表示位置を決定し、シーン情報に含めることとする。
 表示用画像生成部22は、シーン情報生成部21が生成したシーン情報を参照して、このシーン情報が表すシーンに係る画像データを、表示用画像データIDをとして生成する。ここで表示用画像生成部22は、所定の第1画像生成パラメータに基づいて表示用画像データIDを生成する。表示用画像生成部22は、シーン情報生成部21を実現するアプリケーションプログラムとは別のレンダリングエンジンなどのプログラムによって実現されてもよい。
 具体的に表示用画像生成部22は、シーン情報に含まれる各種のオブジェクトが配置された仮想空間を、シーン情報生成部21が指定する視点位置及び視野方向から見た様子を表す画像を表示用画像データIDとして生成する。仮想空間の全体を一度に表示装置14の画面に表示することはできないため、この表示用画像データIDは、シーン情報生成部21が提供するシーン情報が表すシーン(仮想3次元空間の様子)の一部分を表す画像データとなる。また、表示用画像生成部22は、必要に応じてシーン情報に含まれる情報オブジェクトの内容を仮想空間の描画内容に重畳して表示用画像データIDを生成する。
 なお、表示装置14が視差による立体視を実現する場合、ユーザーの右目と左目のそれぞれに画像を提示するため、表示用画像生成部22は右目用の画像と左目用の画像をそれぞれ生成することとなる。以下では説明の便宜のため、いずれか一方の画像のみを対象として説明するが、画像生成装置10は右目用画像と左目用画像の双方について同様の処理を実行することとしてよい。
 表示用画像生成部22は、生成した表示用画像データIDを含む映像信号を表示装置14に対して送信する。これにより、表示用画像が表示装置14の画面に表示され、ユーザーに提示されることになる。本実施形態に係る画像生成装置10は、シーン情報生成部21によるシーン情報の生成処理、表示用画像生成部22による表示用画像データIDの生成処理、及び表示用画像データIDの表示装置14への送信処理を所与のフレームレートで繰り返し実行することによって、表示装置14に時間とともに変化する仮想空間の様子を示す映像を表示させることができる。
 ここで、表示用画像データIDを生成する際に用いられる第1画像生成パラメータは、シーン情報によって定められるシーン内で実際に表示対象となる領域を画定するためのパラメータを含む。本実施形態では前述したように、視点位置及び視野方向の情報が表示対象の領域を画定するために用いられる。
 また、第1画像生成パラメータは、表示装置14の表示性能に応じて定められるパラメータを含んでよい。具体例として、表示用画像データIDの解像度は、表示装置14が表示可能な画像の解像度やサイズに応じて定められる。例えば表示用画像生成部22は、表示装置14が新たに接続された際にその表示装置14の表示性能に関する情報(表示可能な画像サイズの情報など)を取得し、その内容に応じて表示画像データIDを生成する際の解像度を決定する。また、表示用画像データIDに含まれるシーン内の領域を画定するためのパラメータ(例えば視野角など)も表示装置14の表示性能に応じて定められることとしてもよい。
 記録用画像生成部23は、シーン情報生成部21が生成したシーン情報を参照して、このシーン情報が表すシーンに係る画像データを、記録用画像データIRとして生成する。ここで記録用画像生成部23は、表示用画像生成部22が表示用画像データIDを生成する際に参照したシーン情報と同じシーン情報を参照して、表示用画像データIDの生成に用いられた第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データIRを生成する。この第2画像生成パラメータの具体例については、後述する。
 記録用画像生成部23が記録用画像データIRを生成する処理は、生成に用いるパラメータが異なるほかは、表示用画像生成部22が表示用画像データIDを生成する処理と同様の処理であってよい。また、記録用画像生成部23は、表示用画像生成部22が表示用画像データIDを生成する処理を実行している時間に、同じシーン情報に基づいて並列的に記録用画像データIRを生成する処理を実行してもよい。
 記録用画像生成部23は、ユーザーの指示等に基づいて、1枚の記録用画像データIRを生成、保存してもよい。具体例として、記録用画像生成部23は、ユーザーが操作デバイス15に対する操作入力によってスクリーンショットの撮影を指示した場合に、そのタイミングにおける表示用画像データIDの生成に用いられたシーン情報を参照して、1枚の静止画像として記録用画像データIRを生成する。この記録用画像データIRは、表示用画像データIDと同じシーンを対象としているが、異なる画像生成パラメータに基づいて生成されているため、表示用画像データIDとは異なる画像データとなる。以下では、このように単独で生成された記録用画像データIRを記録静止画像データという。
 また、記録用画像生成部23は、時系列に沿って生成される複数の表示用画像データIDと対応する複数の記録用画像データIRを生成してもよい。この場合、記録用画像生成部23は、ユーザーによる記録開始の指示などに基づいて、記録用画像データIRの生成処理を開始する。そして、ユーザーが記録終了を指示するなどして記録用画像データIRの生成処理を終了するまでの間、表示用画像生成部22が表示用画像データIDを1枚生成するごとに、その表示用画像データIDの生成に用いられたシーン情報を用いて1枚の記録用画像データIRを生成する。このような処理を所定時間にわたって繰り返し実行することによって、記録用画像生成部23は、この期間内に表示装置14が表示する表示用画像データIDと同じシーンを対象とした同じ枚数の記録用画像データIRを生成することになる。
 この場合、記録用画像生成部23は、記録対象となる期間にわたって時系列に沿って生成された複数の記録用画像データIRによって構成されるデータを、記録映像データとして保存する。なお、記録映像データは複数の記録用画像データIRをそのままの形式で含むデータであってもよいし、所与の映像符号化方式によって符号化されたデータであってもよい。また、以下では画像生成装置10が保存対象とする記録静止画像データ及び/又は記録映像データを総称して記録コンテンツデータという。
 画像生成装置10のユーザーは、記録用画像生成部23が保存した記録コンテンツデータを、所定のサーバ装置にアップロードしたり、他のユーザーからの要求に応じて配信したりして他者に公開することができる。また、ユーザーは記録静止画像データや記録映像データの内容を自身の手で編集してから第三者に公開してもよい。
 以下、記録用画像生成部23が第2画像生成パラメータに基づいて記録用画像データIRを生成する処理のいくつかの具体例について、説明する。
 第1の例として、記録用画像生成部23は、表示用画像データIDとは異なる解像度で記録用画像データIRを生成してもよい。より具体的に、記録用画像生成部23は表示用画像データIDよりも高解像度になるように記録用画像データIRを生成してもよい。上述したように表示用画像生成部22は表示装置14の表示性能に応じて決まる解像度で表示用画像データIDを生成する。しかしながら、記録用画像データIRは表示装置14よりも高解像度の表示装置で表示される可能性もあり、必ずしも表示装置14の表示性能に合わせた解像度である必要はない。そこで記録用画像生成部23は、表示用画像データIDと同じ領域を対象として、表示用画像データIDよりも高い解像度の記録用画像データIRを生成してもよい。
 特に1枚の記録用画像データIRを記録静止画像データとして保存する場合、映像データと比較して描画処理に要する処理負荷や保存に必要なデータ容量が少ないため、記録用画像生成部23は比較的余裕を持って記録用画像データIRを生成、保存することができる。ただし、記録用画像生成部23は記録静止画像データに限らず、記録映像データを保存する場合にもこの記録映像データを構成する複数の記録用画像データIRをそれぞれ表示用画像データIDより高解像度で生成してもよい。
 また、記録用画像生成部23は、画像を生成する際の色空間やビット深度についても、表示用画像データIDを生成する際と異なるパラメータで記録用画像データIRを生成することとしてもよい。
 第2の例として、記録用画像生成部23は、シーン情報によって定められるシーンのうち、表示用画像データIDに含まれる領域とは異なる大きさの領域を対象として記録用画像データIRを生成してもよい。具体的に、例えば記録用画像生成部23は、表示用画像データIDの内容を含み、表示用画像データIDよりも広い領域を対象として記録用画像データIRを生成する。これにより、記録用画像データIRのデータサイズは表示用画像データIDよりも大きくなるが、表示装置14の画面に表示されている範囲の外側の領域の様子も含む記録コンテンツデータを保存することができる。
 第3の例として、記録用画像生成部23は、表示用画像データIDを生成する際に用いられる視野方向とは異なる視野方向に向かって仮想空間を見た様子を示す記録用画像データIRを生成してもよい。この場合にも、第2の例と同様に、表示用画像データIDに含まれる領域とは異なる領域を対象とした記録用画像データIRが生成される。例えば記録用画像生成部23は、第2画像生成パラメータの一部として、表示用画像データIDの生成に用いられた視野方向に基づいて新たな視野方向を決定し、この新たな視野方向から仮想空間を見た様子を示す記録用画像データIRを生成する。具体例として、記録用画像生成部23は、表示用画像データIDの生成に用いられた視野方向を所定の方向(例えば左右方向)に所定角度だけずらした視野方向のパラメータを用いて記録用画像データIRを生成する。また、表示用画像データIDの生成に用いられた視野方向とは逆方向を視野方向として記録用画像データIRを生成してもよい。
 このような手法によれば、表示用画像データIDには含まれない(すなわち、表示装置14を閲覧するユーザーは閲覧していない)仮想空間内の場所の状況を示す記録コンテンツデータを生成することができる。例えばユーザーが逆方向の様子を撮影する指示を行ったタイミングでこのような記録用画像データIRを生成、保存することにより、ユーザーは後から自分が閲覧していたゲーム画面の外側の様子を確認できる。なお、記録用画像生成部23は、表示用画像データIDの生成に用いられた視野方向を基準として決定される複数の視野方向のそれぞれについて、記録用画像データIRを生成してもよい。
 第4の例として、記録用画像生成部23は、シーン情報に含まれる仮想空間内の所定のオブジェクトの位置に応じて、記録用画像データIRに含める領域の位置を決定してもよい。この例も、第2及び第3の例と同様に表示用画像データIDと異なる領域を対象とした記録用画像データIRを生成する例であるが、これまでの例と異なりシーン情報に含まれるオブジェクトの情報に基づいて記録用画像データIRに含める領域の位置を決定する。
 具体的に、記録用画像生成部23は、注目オブジェクトTの位置を基準として記録用画像データIRに含める領域を決定する。この例における注目オブジェクトTは、例えばユーザーが操作対象とするキャラクターオブジェクトや、ユーザーが特に注目すると想定されるオブジェクト(例えばユーザーが攻撃対象とする敵オブジェクトなど)であってよく、シーン情報生成部21によって指定されるオブジェクトであってよい。
 例えば記録用画像生成部23は、指定された注目オブジェクトTが記録用画像データIRの中央に配置されるように記録用画像データIRに含める領域の位置を決定する。これにより、注目オブジェクトT及びその周囲の様子を確認することのできる記録コンテンツデータを保存することができる。特にゲームをプレイしている場合など、ユーザーは周囲の様子を確認したりするために視野方向を変化させて注目オブジェクトTから離れた位置を表示装置14に表示させる場合がある。このような場合でも、表示用画像データIDとは別に注目オブジェクトTを基準とした領域を含む記録用画像データIRを生成することで、注目オブジェクトTの様子を確認しやすい記録コンテンツデータを保存することができる。
 また、記録用画像生成部23は、注目オブジェクトTとその周囲の領域を表示用画像データIDから抽出することによって記録用画像データIRを生成してもよい。具体例として、記録用画像生成部23は、表示用画像データIDの中から、注目オブジェクトTとその周囲の所定サイズの領域を抽出することによって記録用画像データIRを生成する。これにより、特定のオブジェクト(ユーザーが操作するキャラクターオブジェクトなど)のみに注目した記録静止画像データや記録映像データを簡単に作成することができる。
 この例における抽出サイズは、シーン情報生成部21からの指定に応じて決定されてもよいし、ユーザーが予め設定した内容に応じて決定されてもよい。例えばシーン情報生成部21は、対象となる注目オブジェクトT自身のサイズや移動速度を考慮して注目オブジェクトTを中心とした抽出対象領域の大きさを指定する。
 さらに記録用画像生成部23は、シーン情報に複数の注目オブジェクトTが含まれる場合に、そのそれぞれを対象として複数の記録用画像データIRを生成してもよい。図3はこのように複数の記録用画像データIRを生成する場合の具体例を示す図である。この図の例では、注目オブジェクトT1及びT2の2個の注目オブジェクトTが表示用画像エータIDに含まれており、そのそれぞれを対象として2個の記録用画像データIR1及びIR2が生成されている。
 第5の例として、記録用画像生成部23は、表示用画像データIDが表示対象となるシーンが複数種類のオブジェクトによって構成されている場合に、そのうちの一部の種類のオブジェクトによって構成される記録用画像データIRを生成してもよい。この例においては、描画対象となるシーンは複数種類のオブジェクトによって構成されることとし、同じ種類のオブジェクトは同じレイヤーに属するものとする。表示用画像生成部22は、複数のレイヤーを重ね合わせた画像データを表示画像データIDとして生成する。
 具体例として、前述したように表示用画像生成部22は、仮想空間内のオブジェクトを所与の視点から見た様子を示す空間画像を一つのレイヤー画像として描画するとともに、このレイヤー画像に対して情報オブジェクトの内容を表すレイヤー画像を重ね合わせることによって表示用画像データIDを生成する。この場合において記録用画像生成部23は、仮想空間内の様子を表すレイヤー画像と情報オブジェクトの内容を表すレイヤー画像とを互いに独立に描画し、そのそれぞれを記録用画像データIRとして保存することとする。あるいは記録用画像生成部23は、仮想空間内の様子を示すレイヤー画像のみを記録用画像データIRとして生成してもよい。情報オブジェクトがキャラクターのステータスなどの情報を含む場合、このような情報はゲームのプレイ中には確認できる必要があるが、後からゲームのプレイ内容を閲覧する際にはプレイ内容の表示の妨げとなる場合もある。そのため、情報オブジェクトの内容を除いた画像を記録用画像データIRとして生成することによって、情報オブジェクトが表示されない状態の画像を後から閲覧することができる。
 また、同じ仮想空間内に配置されるオブジェクトの中にも、様々な種類のオブジェクトが含まれる場合がある。例えば仮想空間内における位置が基本的に変化しない背景を構成するオブジェクトや、ゲームの進行に伴って空間内を移動するキャラクターオブジェクトなどが同じシーンに含まれることが一般的である。表示用画像生成部22は、これらのオブジェクトをいずれも含むような表示用画像データIDを生成する。これに対して記録用画像生成部23は、これらのオブジェクトを種類毎に別に描画して記録用画像データIRを生成してもよい。これにより、背景レイヤーの画像、キャラクターレイヤーの画像などを個別に記録用画像データIRとして生成し、保存することができる。
 以上説明したように同じシーンに基づいてオブジェクトの種類毎に生成された記録用画像データIRは、後に単独で表示されてもよいし、互いに合成されて表示されることとしてもよい。例えばキャラクターオブジェクトを含む記録用画像データIRを単体で表示することで、後にユーザーはキャラクターの動きに着目した映像を閲覧することができる。また、同じシーンを対象として一度に生成された複数の記録用画像データIRを重ねて表示対象とすることで、これらの記録用画像データIRが記録された際にユーザーが見ていた表示用画像データIDに近い画像を後から閲覧することもできる。
 なお、記録用画像生成部23は、これまでに説明した手法を組み合わせて用いることによって記録用画像データIRを生成してもよい。例えば記録用画像生成部23は、表示用画像データIDとは異なる領域を対象として、表示用画像データIDよりも高解像度の記録用画像データIRを生成してもよい。
 また、記録用画像生成部23は、記録用画像データIRとともに、その記録用画像データIRを生成した際に取得された関連情報を併せて記録コンテンツデータに含めてもよい。例えば記録用画像生成部23は、記録用画像データIRを生成するために利用された注目オブジェクトTの位置を示す情報や、視点位置、及び視野方向の情報などを記録コンテンツデータに含めてもよい。また、表示用画像データIDが表示される際にユーザーが操作デバイス15に対して実施した操作内容を示す情報を記録コンテンツデータに含めてもよい。これらの情報は、後にユーザーが記録コンテンツデータの内容を表示したり編集したりする際に利用することができる。
 以上説明したように、本実施形態に係る画像生成装置10によれば、表示用画像データIDを生成する際に、並行して表示用画像データIDとは異なる画像生成パラメータに基づいて同じシーンを表す記録用画像データIRを生成することで、後にそのシーンを他のユーザーが閲覧しやすくすることができる。
 なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明においては、シーン情報生成部21が生成するシーン情報は3次元の仮想空間内の様子を示すものであるとし、表示用画像データIDは3次元の仮想空間内の様子を示す画像であることとした。しかしながらこれに限らず、シーン情報生成部21が生成するシーン情報は平面的なシーンの内容を示すものであることとしてもよい。このような場合にも、そのシーンを構成する複数のオブジェクトを含む表示用画像データIDが生成される場合に、記録用画像生成部23は表示用画像データIDの生成に用いられる第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データIRを生成することとしてもよい。
 また、以上の説明においては、画像生成装置10はユーザーから比較的近い位置に存在し、表示装置14及び操作デバイス15と直接的に接続されている情報処理装置であることとした。しかしながらこれに限らず、例えばクラウドゲーミングサービスなどと呼ばれるサービスにおいては、ユーザーが使用する表示装置14及び操作デバイス15と直接的に接続されているクライアント装置ではなく、クライアント装置と通信ネットワークを介して接続されたサーバ装置が表示装置14の画面に表示させる画像を生成する場合がある。このような場合、ユーザーが使用するクライアント装置と通信ネットワークを介して接続されたサーバ装置が、本発明における画像生成装置10として機能することとしてもよい。この場合、クライアント装置が取得した操作デバイス15に対する操作情報などが通信ネットワークを介して画像生成装置10に対して送信される。画像生成装置10は受信した情報に基づいて表示用画像データIDを生成し、クライアント装置に対して送信する。そして、クライアント装置は受信した表示用画像データIDを表示装置14の画面に表示させる。一方、これまで説明したように画像生成装置10は表示用画像データIDとともに記録用画像データIRを生成する。生成した記録用画像データIRは、画像生成装置10自身に保存されてもよいし、クライアント装置に対して送信され、クライアント装置に保存されることとしてもよい。
 本開示は、以下の態様を含んでよい。
[項目1]
 画像生成装置であって、1つ以上のプロセッサを備え、
 前記1つ以上のプロセッサは、
 シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成し、
 前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成する、
 画像生成装置。
[項目2]
 項目1に記載の画像生成装置であって、
 前記第1画像生成パラメータ及び前記第2画像生成パラメータは、生成する画像データの解像度を少なくとも含み、
 前記1つ以上のプロセッサは、前記表示用画像データとは異なる解像度で前記記録用画像データを生成する、
 画像生成装置。
[項目3]
 項目1に記載の画像生成装置であって、
 前記第1画像生成パラメータ及び前記第2画像生成パラメータは、生成する画像データに含まれる前記シーン内の領域を表す情報を少なくとも含み、
 前記1つ以上のプロセッサは、前記表示用画像データに含まれる前記シーン内の領域とは異なる領域を含む前記記録用画像データを生成する、
 画像生成装置。
[項目4]
 項目3に記載の画像生成装置であって、
 前記シーンには、少なくとも一つのオブジェクトが含まれ、
 前記第2画像生成パラメータは、前記オブジェクトの位置に関する情報に基づいて決定される、前記シーン内から抽出する領域を表す情報を含み、
 前記少なくとも一つのプロセッサは、前記第2画像生成パラメータに含まれる情報が表す領域内の画像を記録用画像データとして生成する、
 画像生成装置。
[項目5]
 項目1から4のいずれか一項に記載の画像生成装置であって、
 前記シーンには、複数のオブジェクトが含まれ、
 前記少なくとも一つのプロセッサは、前記シーンに係る画像データであって、当該シーンに含まれる前記複数のオブジェクトのうちの1又は複数のオブジェクトを抽出した画像データを、前記第2画像生成パラメータに基づいて記録用画像データとして生成する、
 画像生成装置。
[項目6]
 項目5に記載の画像生成装置であって、
 前記一部のオブジェクトは、前記シーンに含まれるキャラクターオブジェクトである、
 画像生成装置。
[項目7]
 項目1から4のいずれか一項に記載の画像生成装置であって、
 前記シーンには、複数種類のオブジェクトが含まれ、
 前記少なくとも一つのプロセッサは、前記シーンに係る画像データであって、当該シーンに含まれるそれぞれ同じ種類のオブジェクトを含む1又は複数の画像データを、前記第2画像生成パラメータに基づいて記録用画像データとして生成する、
 画像生成装置。
[項目8]
 シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成し、
 前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成する、
 画像生成方法。
[項目9]
 コンピュータ読み取り可能で非一時的な情報記憶媒体であって、
 シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成し、
 前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成する、
 処理をコンピュータに実行させるためのプログラムを格納する情報記憶媒体。
 10 画像生成装置、11 制御部、12 記憶部、13 インタフェース部、14 表示装置、15 操作デバイス、21 シーン情報生成部、22 表示用画像生成部、23 記録用画像生成部。

Claims (9)

  1.  シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成する表示用画像生成部と、
     前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成する記録用画像生成部と、
     を含む画像生成装置。
  2.  請求項1に記載の画像生成装置であって、
     前記第1画像生成パラメータ及び前記第2画像生成パラメータは、生成する画像データの解像度を少なくとも含み、前記記録用画像生成部は、前記表示用画像データとは異なる解像度で前記記録用画像データを生成する
     画像生成装置。
  3.  請求項1に記載の画像生成装置であって、
     前記第1画像生成パラメータ及び前記第2画像生成パラメータは、生成する画像データに含まれる前記シーン内の領域を表す情報を少なくとも含み、前記記録用画像生成部は、前記表示用画像データに含まれる前記シーン内の領域とは異なる領域を含む前記記録用画像データを生成する
     画像生成装置。
  4.  請求項3に記載の画像生成装置であって、
     前記シーンには、少なくとも一つのオブジェクトが含まれ、
     前記第2画像生成パラメータは、前記オブジェクトの位置に関する情報に基づいて決定される、前記シーン内から抽出する領域を表す情報を含み、
     前記記録用画像生成部は、前記第2画像生成パラメータに含まれる情報が表す領域内の画像を記録用画像データとして生成する
     画像生成装置。
  5.  請求項1から4のいずれか一項に記載の画像生成装置であって、
     前記シーンには、複数のオブジェクトが含まれ、
     前記記録用画像生成部は、前記シーンに係る画像データであって、当該シーンに含まれる前記複数のオブジェクトのうちの1又は複数のオブジェクトを抽出した画像データを、前記第2画像生成パラメータに基づいて記録用画像データとして生成する
     画像生成装置。
  6.  請求項5に記載の画像生成装置であって、
     前記一部のオブジェクトは、前記シーンに含まれるキャラクターオブジェクトである
     画像生成装置。
  7.  請求項1から4のいずれか一項に記載の画像生成装置であって、
     前記シーンには、複数種類のオブジェクトが含まれ、
     前記記録用画像生成部は、前記シーンに係る画像データであって、当該シーンに含まれるそれぞれ同じ種類のオブジェクトを含む1又は複数の画像データを、前記第2画像生成パラメータに基づいて記録用画像データとして生成する
     画像生成装置。
  8.  シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成するステップと、
     前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成するステップと、
     を含む画像生成方法。
  9.  シーン情報を参照し、当該シーン情報が表すシーンに係る画像データを、所定の第1画像生成パラメータに基づいて表示用画像データとして生成するステップと、
     前記シーンに係る画像データを、前記第1画像生成パラメータとは異なる第2画像生成パラメータに基づいて記録用画像データとして生成するステップと、
     をコンピュータに実行させるためのプログラム。
PCT/JP2022/015599 2022-03-29 2022-03-29 画像生成装置、画像生成方法、及びプログラム WO2023188022A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015599 WO2023188022A1 (ja) 2022-03-29 2022-03-29 画像生成装置、画像生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015599 WO2023188022A1 (ja) 2022-03-29 2022-03-29 画像生成装置、画像生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023188022A1 true WO2023188022A1 (ja) 2023-10-05

Family

ID=88200146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015599 WO2023188022A1 (ja) 2022-03-29 2022-03-29 画像生成装置、画像生成方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023188022A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022291A1 (ja) * 2015-08-06 2017-02-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2017085974A1 (ja) * 2015-11-17 2017-05-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2018084087A1 (ja) * 2016-11-01 2018-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像表示装置、その制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022291A1 (ja) * 2015-08-06 2017-02-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2017085974A1 (ja) * 2015-11-17 2017-05-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2018084087A1 (ja) * 2016-11-01 2018-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像表示装置、その制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP7419460B2 (ja) Vr観戦のための拡大された視野再レンダリング
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP6663505B2 (ja) Vr環境における観客ビュー視点
CN106716306B (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN109999491B (zh) 在头戴式显示器上渲染图像的方法和计算机可读存储介质
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
WO2019067480A1 (en) PLACE MAPPING TO ATTEND VIRTUAL REALITY TO ELECTRONIC SPORTS EVENTS
US11806615B2 (en) Asynchronous virtual reality interactions
JP2012174237A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US11468605B2 (en) VR real player capture for in-game interaction view
WO2022199260A1 (zh) 静态对象的立体显示方法、装置、介质及电子设备
CN113646752A (zh) Vr直播发布系统、发布服务器、发布服务器的控制方法、发布服务器的程序、以及vr原始照片数据的数据结构
JP2016001476A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
WO2018173207A1 (ja) 情報処理装置
WO2023188022A1 (ja) 画像生成装置、画像生成方法、及びプログラム
US20220377313A1 (en) Information processing apparatus, information processing method, and program
WO2018173206A1 (ja) 情報処理装置
WO2023188020A1 (ja) 画像生成装置、画像再生装置、画像生成方法、及びプログラム
US20240078767A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935170

Country of ref document: EP

Kind code of ref document: A1