JP2024072122A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2024072122A JP2024072122A JP2022182798A JP2022182798A JP2024072122A JP 2024072122 A JP2024072122 A JP 2024072122A JP 2022182798 A JP2022182798 A JP 2022182798A JP 2022182798 A JP2022182798 A JP 2022182798A JP 2024072122 A JP2024072122 A JP 2024072122A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- dimensional shape
- image
- image quality
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 74
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013441 quality evaluation Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 65
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 10
- 238000009877 rendering Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001010 compromised effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、情報処理装置、情報処理方法、及びプログラムに関し、特に仮想視点画像の生成技術に関する。 The present disclosure relates to an information processing device, an information processing method, and a program, and in particular to a technology for generating virtual viewpoint images.
複数の撮像装置を異なる位置に設置することにより複数視点からの同期撮影を行い、このような撮影により得られた複数視点からの画像を用いて仮想視点画像を生成する技術が注目されている。このような技術によれば、従来は撮像装置が入れなかった視点からの画像を含む、迫力のあるコンテンツを制作することができる。 A technology that is gaining attention is one in which multiple imaging devices are placed in different positions to capture images from multiple viewpoints simultaneously, and then the images from the multiple viewpoints obtained through such capture are used to generate a virtual viewpoint image. This technology makes it possible to create powerful content that includes images from viewpoints that were previously inaccessible to imaging devices.
このような仮想視点画像は、撮像画像群に基づいて被写体の三次元モデルを生成し、この三次元モデルを仮想カメラで撮影する（すなわちレンダリングする）ことにより、生成することができる。特許文献１は、仮想視点画像の生成を行う際に、仮想視点から近い撮像装置によって撮像された画像を選択し、視点に依存して対象物体の色を決定することを提案している。 Such a virtual viewpoint image can be generated by generating a three-dimensional model of the subject based on a group of captured images, and then photographing (i.e., rendering) this three-dimensional model with a virtual camera. Patent Document 1 proposes that when generating a virtual viewpoint image, an image captured by an imaging device close to the virtual viewpoint is selected, and the color of the target object is determined depending on the viewpoint.
仮想視点画像を生成する際には、望ましい仮想視点画像が得られるように視点の位置が決定される。この際には、高い画質の仮想視点画像が得られるように視点の位置を決定することも求められる。しかしながら、各視点における仮想視点画像の画質を評価することは簡単ではなかった。例えば、視点に依存して対象物体の色を決定する方法によれば、高精細な仮想視点画像の生成が可能である一方で、最終的な画質を判定するために仮想視点画像を生成する必要があった。このため、より高品質な仮想視点画像を生成するためには、仮想視点画像の生成と、仮想視点の調整とを繰り返す必要があった。しかも、仮想視点画像の生成には処理時間を要することに加え、仮想視点画像を生成するためには一般に専用の装置が用いられるという課題があった。 When generating a virtual viewpoint image, the position of the viewpoint is determined so that a desirable virtual viewpoint image can be obtained. At this time, it is also necessary to determine the position of the viewpoint so that a virtual viewpoint image of high image quality can be obtained. However, it is not easy to evaluate the image quality of the virtual viewpoint image at each viewpoint. For example, while a method of determining the color of a target object depending on the viewpoint can generate a high-definition virtual viewpoint image, it is necessary to generate a virtual viewpoint image in order to judge the final image quality. For this reason, in order to generate a virtual viewpoint image of higher quality, it is necessary to repeatedly generate the virtual viewpoint image and adjust the virtual viewpoint. Moreover, there is an issue that generating a virtual viewpoint image requires processing time, and a dedicated device is generally used to generate a virtual viewpoint image.
本開示は、仮想視点画像を生成する技術において、仮想視点を設定する際に、得られる仮想視点画像の品質評価を容易に行えるようにすることを目的とする。 The purpose of this disclosure is to make it easy to evaluate the quality of the resulting virtual viewpoint image when setting the virtual viewpoint in a technology for generating virtual viewpoint images.
一実施形態に係る情報処理装置は以下の構成を備える。すなわち、
被写体の仮想視点画像の生成に用いられる、前記被写体の三次元形状を示す三次元形状情報を取得する取得手段と、
撮像装置による前記被写体の撮像画像における、前記被写体の画質を特定する特定手段と、
前記被写体の画質を示す情報と、前記被写体の三次元形状情報と、を出力する出力手段と、
を備えることを特徴とする。
An information processing device according to an embodiment includes the following configuration:
An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of the subject, which is used for generating a virtual viewpoint image of the subject;
a determination unit for determining an image quality of the subject in an image captured by an imaging device;
an output means for outputting information indicating the image quality of the subject and three-dimensional shape information of the subject;
The present invention is characterized by comprising:
仮想視点画像を生成する技術において、仮想視点を設定する際に、得られる仮想視点画像の品質評価を容易に行えるようにすることができる。 In a technology for generating a virtual viewpoint image, when setting a virtual viewpoint, it is possible to easily evaluate the quality of the resulting virtual viewpoint image.
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 The following embodiments are described in detail with reference to the attached drawings. Note that the following embodiments do not limit the scope of the claims. Although the embodiments describe multiple features, not all of these multiple features are necessarily essential, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.
一実施形態に係る情報処理装置は、被写体の三次元形状を示す三次元形状情報に、被写体の撮像画像における、被写体の画質を示す情報を対応付ける。複数の撮像装置によって得られた撮像画像に基づいて仮想視点画像を生成する場合、仮想視点画像上の被写体は、被写体の撮像画像に基づいて生成される。このため、被写体の撮像画像における画質を示す情報は、生成される仮想視点画像の画質の指標として参照することができる。一実施形態においては、仮想視点画像を生成するための専用の画像生成装置を用いることなく、汎用の三次元コンピュータグラフィックス（ＣＧ）ツール上で、仮想視点画像の最終的な画質を大まかに可視化することが可能である。 An information processing device according to one embodiment associates information indicating the image quality of a subject in a captured image of the subject with three-dimensional shape information indicating the three-dimensional shape of the subject. When a virtual viewpoint image is generated based on captured images obtained by multiple imaging devices, the subject in the virtual viewpoint image is generated based on the captured image of the subject. Therefore, the information indicating the image quality in the captured image of the subject can be referred to as an index of the image quality of the virtual viewpoint image to be generated. In one embodiment, it is possible to roughly visualize the final image quality of a virtual viewpoint image on a general-purpose three-dimensional computer graphics (CG) tool without using a dedicated image generation device for generating virtual viewpoint images.
被写体の画質を示す情報としては、様々な形態が考えられる。以下では、まず、被写体の画質を示す情報として、テクスチャを用いる場合について説明する。以下の例では、被写体の三次元形状の複数の位置に、被写体の撮像画像における各位置の画質に応じたテクスチャが付与される。 The information indicating the image quality of the subject can take various forms. Below, we will first explain the case where texture is used as information indicating the image quality of the subject. In the following example, textures are assigned to multiple positions on the three-dimensional shape of the subject according to the image quality at each position in the captured image of the subject.
仮想視点画像を生成するための画像生成システム１の例を図１に示す。画像生成システム１においては、撮影対象エリア２内にいる被写体３が、複数の撮像装置１０によって撮像される。そして、複数の撮像装置１０によって得られた撮像画像に基づいて、仮想視点画像が生成される。複数の撮像装置１０は、例えば図１に示すように、被写体３を囲むように配置され、それぞれが異なる撮像位置から撮影対象エリア２の撮像を行う。モデリング装置２０は、撮像装置１０によって得られた撮像画像を用いて、被写体３の三次元形状を示す三次元形状情報を生成し、データベース３０に格納する。レンダリング装置４０は、データベース３０に格納されている被写体の三次元形状情報を用いて、入力装置５０によって指定された仮想視点からの仮想視点画像をレンダリングする。表示装置６０は、レンダリング装置４０が生成した仮想視点画像を表示する。
An example of an image generation system 1 for generating a virtual viewpoint image is shown in FIG. 1. In the image generation system 1, a subject 3 in a shooting area 2 is captured by a plurality of
情報処理装置１００は、データベース３０に格納されたデータを用いて後述するように画質の評価を行う。そして、情報処理装置１００は、評価された画質を示す情報をデータベース３０に出力する。ここで、情報処理装置１００は、評価された画質を示す情報を含む、汎用のＣＧフォーマットに従うＣＧデータを、データベース３０に出力することができる。このとき、ユーザは、情報処理装置１００が出力した画質を示す情報を参照しながら、入力装置５０を介して仮想視点を指定することができる。入力装置５０では、汎用の三次元コンピュータグラフィックス（ＣＧ）ツールが動作していてもよい。この場合、入力装置５０は、情報処理装置１００が出力したＣＧデータに従う、特定の視点からの仮想視点画像を生成し、ユーザに対して表示することができる。ユーザは、入力装置５０によって表示された仮想視点画像を見ながら、レンダリング装置４０に生成させる仮想視点画像の仮想視点を指定することができる。
The
なお、複数の撮像装置１０は、同期した撮像を連続して行うことができる。この場合、画像生成システム１は、時系列の被写体の三次元形状情報を生成することができ、さらに時系列の仮想視点画像、すなわち仮想視点映像を生成することができる。このような構成において、入力装置５０は、時系列で位置が変化する仮想視点を指定することができる。このように移動する仮想視点は、仮想カメラパス又はカメラワークとも呼ばれる。
The
図２は、一実施形態に係る情報処理装置１００として利用可能なコンピュータのハードウェアの構成例を示すブロック図である。情報処理装置１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、通信Ｉ／Ｆ２０５、及びバス２０６を有する。なお、モデリング装置２０及び入力装置５０も同様のハードウェアを用いて実現することができる。一方で、情報処理装置１００が、ネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。さらに、モデリング装置２０、レンダリング装置４０、及び入力装置５０のうちの１以上が、ネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。
FIG. 2 is a block diagram showing an example of the hardware configuration of a computer that can be used as an
ＲＯＭ２０２は、変更を必要としないプログラムなどを格納するメモリである。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラム又はデータ、及び通信Ｉ／Ｆ２０５を介して外部から供給されるデータなどを一時記憶するメモリである。補助記憶装置２０４は、画像データ又は音声データなどの種々のデータを記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等のストレージであってもよい。通信Ｉ／Ｆ２０５は、情報処理装置１００の外部の装置との通信に用いられる。例えば、情報処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０５に接続される。また、情報処理装置１００が外部の装置と無線通信する場合には、通信Ｉ／Ｆ２０５はアンテナを備える。バス２０６は、情報処理装置１００が有する各部をつなぎ、情報を伝達する。
The
このように、ＣＰＵ２０１のようなプロセッサは、ＲＯＭ２０２又はＲＡＭ２０３のようなメモリに格納されたコンピュータプログラム又はデータを用いて情報処理装置１００の全体を制御する。こうして、図３に示す情報処理装置１００が有する各処理部の機能が実現される。なお、情報処理装置１００は、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有していてもよい。この場合、ＣＰＵ２０１が行う処理のうちの少なくとも一部を、専用のハードウェアが行うことができる。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などが挙げられる。また、一実施形態に係る情報処理装置１００は、例えばネットワークを介して接続された複数の情報処理装置によって構成される情報処理システムによって実現されてもよい。
In this way, a processor such as the
本実施形態に係る情報処理装置１００の構成の一例を図３に示す。情報処理装置１００は、形状取得部３１０、画角取得部３２０、評価部３３０、生成部３４０、及び出力部３５０を有する。
An example of the configuration of the
形状取得部３１０は、被写体の三次元形状を示す三次元形状情報を取得する。上述のように、この三次元形状情報は被写体の仮想視点画像を生成するために用いられる。形状取得部３１０が取得する三次元形状情報は、画像生成システム１において生成された三次元形状情報であってもよいし、別途用意された三次元形状情報であってもよい。また、形状取得部３１０は、仮想の三次元形状情報を取得してもよい。別途用意された三次元形状情報を用いる場合、画像生成システム１に合わせて座標系の変換、例えばスケーリング又は位置姿勢の調整を行うことができる。以下では、三次元形状情報がメッシュモデルである場合について説明する。しかし、三次元形状情報はメッシュモデルに限られず、例えば点群データなどの三次元形状を示す他の情報であってもよい。また、三次元形状情報は、ボクセルの集合体で表現されるボリュームデータであってもよい。
The
画角取得部３２０は、画像生成システム１における複数の撮像装置１０のそれぞれのパラメータを示す情報を取得する。このパラメータは、撮像装置の位置及び姿勢を表す外部カメラパラメータを含むことができる。また、このパラメータは、撮像装置の焦点距離などを示す内部パラメータを含むことができる。以下では、画角取得部３２０が取得する撮像装置１０のパラメータのことを画角情報と呼ぶ。この画角情報は、撮像装置の画角又は撮像範囲を示すことができる。
The angle of
評価部３３０は、撮像装置１０による被写体の撮像画像における、被写体の画質を特定する。評価部３３０は、撮像装置１０による被写体の撮像画像における、被写体の複数の位置のそれぞれの画質を評価することができる。ここで、評価部３３０は、撮像装置１０による被写体の撮像画像における、被写体の解像度を判定することができる。評価部３３０は、画角取得部３２０が取得した画角情報に従って、解像度の判定を行うことができる。評価部３３０は、複数の撮像装置１０のそれぞれによって撮像された撮像画像について、このような画質の評価を行うことができる。こうして、評価部３３０は、被写体の特定位置がそれぞれの撮像装置にどの程度の解像度で映るのかを判定することができる。そして、評価部３３０は、判定された解像度に基づいて被写体の画質を評価することができる。評価部３３０は、このような評価を被写体の各位置について行うことができる。以下に説明する実施形態において、評価部３３０は、このような評価を、被写体の三次元形状を表すメッシュモデルの各面に対して行う。こうして評価された画質は、レンダリング装置４０が生成した仮想視点画像における、被写体の特定位置の画質と近くなると考えられる。
The
生成部３４０は、評価部３３０による画質の評価結果に従って、被写体の画質を示す情報を生成する。生成部３４０は、被写体の複数の位置のそれぞれについて、被写体の画質を示す情報を生成することができる。ここで、生成部３４０は、複数の撮像装置１０のそれぞれによって撮像された撮像画像における被写体の画質に基づいて、被写体の画質を示す情報を生成することができる。また、生成部３４０は、被写体の画質を示す可視化された情報を生成することができる。可視化された情報は、例えば画像情報又は形状情報であってもよい。例えば、生成部３４０が生成する被写体の画質を示す情報は、三次元モデルのテクスチャ情報又は三次元モデルの形状情報であってもよい。
The generating
本実施形態の場合、生成部３４０は、被写体の画質を示す情報として、三次元モデルのテクスチャを示すテクスチャ情報を生成する。生成部３４０は、被写体の画質に応じたテクスチャを生成することができる。一実施形態において、テクスチャは要素の繰り返しを含んでいる。この要素は、任意の画像でありうる。このように、テクスチャとしては、繰り返しパターンを用いることができる。そして、要素の大きさは、被写体の画質に応じて選択される。以下の実施形態では、繰り返しパターンのスケールが、画質の評価値に基づいて変更される。
In this embodiment, the generating
出力部３５０は、被写体の画質を示す情報と、被写体の三次元形状情報と、を出力する。出力部３５０は、被写体の画質を示す情報を、三次元形状情報に対応付けて出力してもよい。出力部３５０は、被写体の複数の位置のそれぞれの画質を示す情報を、三次元形状情報に対応付けて出力することができる。また、出力部３５０は、被写体の画質を示す可視化された情報を出力することができる。出力部３５０は、例えば、生成部３４０が生成したテクスチャのような画像情報を、形状取得部３１０が取得した三次元形状情報と対応付けて出力することができる。ここで、出力部３５０は、被写体の画質を示す情報に基づく三次元モデルを表す情報を出力してもよい。例えば、出力部３５０が出力するデータは、汎用のフォーマットに従うデータであってもよい。汎用フォーマットに従うデータは、例えば、ＯＢＪデータとＭＴＬデータの組み合わせ、又はＰＬＹデータなどの、三次元形状情報とテクスチャデータとを併せ持つデータである。出力部３５０は、三次元形状情報に対応付けて被写体の画質を示す情報を表示する表示部であってもよい。また、出力部３５０は、外部の装置に情報を出力する機能部であってもよい。
The
図４は、一実施形態に係る情報処理装置１００が行う情報処理方法のフローチャートである。図４に従う処理により、画質の評価が行われる。図４に示す処理は、ＲＯＭ２０２に格納され、ＲＡＭ２０３に読み出された制御プログラムを、ＣＰＵ２０１が実行することにより実現できる。
Figure 4 is a flowchart of an information processing method performed by the
Ｓ４０１では、形状取得部３１０が三次元形状情報を取得する。形状取得部３１０は、データベース３０に格納された三次元形状情報のファイルを読み込んでもよい。また、形状取得部３１０は、ネットワークを介して三次元形状情報を受信してもよい。一方で、形状取得部３１０は、撮像装置１０による被写体の撮像画像に基づいて被写体の三次元形状を推定することにより、三次元形状情報を生成してもよい。この場合、形状取得部３１０は、視体積交差法等に基づいて、複数の撮像装置１０による被写体の撮像画像を用いて被写体の三次元形状を生成することができる。
In S401, the
Ｓ４０２では、画角取得部３２０が複数の撮像装置１０の画角情報を取得する。画角取得部３２０は、画像生成システム１の全ての撮像装置１０の画角情報を取得することができる。
In S402, the angle of
Ｓ４０３では、評価部３３０が、Ｓ４０１で取得された三次元形状情報と、Ｓ４０２で取得された画角情報とに基づいて、被写体の複数の位置のそれぞれについての画質の評価値を算出する。評価部３３０は、被写体の特定位置についての撮像画像上の解像度を示す評価値を算出することができる。図５は、三次元形状を表す複数の面のそれぞれについて、このような画質の評価を行うための処理フローの一例を示す。
In S403, the
Ｓ５０１では、評価部３３０が、三次元形状情報であるメッシュモデルの各面のうち、評価値が算出されていない面を選択する。Ｓ５０１で選択された対象面について、以下の処理により評価値が算出される。Ｓ５０１～Ｓ５０５の処理を繰り返すことにより、被写体のメッシュモデルのすべての面について評価値が算出される。なお、評価部３３０は、図５に従う処理を開始する前に１つの面を細分化してもよい。このような構成により、面が大きいために１つの面内で画質がばらつくことが想定される場合に、画質をより精細に評価することができる。
In S501, the
Ｓ５０２では、評価部３３０が、複数の撮像装置１０のうち、対象面に関する画質の評価対象となっていない撮像装置を選択する。
In S502, the
Ｓ５０３では、評価部３３０が、Ｓ５０２で選択された撮像装置からＳ５０１で選択した対象面が可視であるかどうかを判定する。対象面が可視ではない場合、例えばメッシュモデルの他の面によって対象面が隠れている場合、処理はＳ５０５へ移行する。対象面が可視の場合、処理はＳ５０４に移行する。対象面が可視かどうかの判定には、対象面から撮像装置までの距離情報を利用する方法を用いることができる。例えば、以下の方法で、対象面が可視かどうかが判定されてもよい。まず、対象面の三次元位置と、撮像装置の三次元位置との間の距離が算出される。一方で、撮像装置から最も近い被写体までの距離を示すデプスマップにおける、対象面に該当する画素の画素値が取得される。そして、対象面の三次元位置と撮像装置の三次元位置との間の算出距離と、デプスマップにおける対象面に該当する画素の画素値が示す距離との差分が算出される。算出された差分が閾値より小さい場合は、可視と判定される。また、算出された差分が閾値より大きい場合は、可視ではない（不可視である）と判定される。
In S503, the
Ｓ５０４では、評価部３３０が、Ｓ５０２で選択された撮像装置によって撮像された撮像画像における、対象面に対応する被写体の特定位置の解像度を算出する。解像度は、撮像装置の画角情報と、対象面の位置に基づいて算出することができる。また、解像度は、撮像画像の画素あたりの、被写体の特定位置の物理的な大きさによって表すことができる。例えば、対象面の位置をＸｔ、対象撮像装置の位置をＸｃ、焦点距離をｆ（ｐｉｘ）とすると、解像度ｒ（ｍｍ／ｐｉｘ）は、以下の式に従って算出できる。以下の式において、√（Ｘｔ－Ｘｃ）２はＸｔとＸｃとの間の距離を表す。
ｒ［ｍｍ／ｐｉｘ］＝√（Ｘｔ－Ｘｃ）２ ／ｆ
In S504, the
r [mm/pix] = √(Xt-Xc) 2 /f
Ｓ５０５において、対象面に関する画質の評価対象となっていない撮像装置がある場合には、処理はＳ５０２に戻る。対象面に関して全ての撮像装置による画質が評価されている場合、処理はＳ５０６に移行する。このように、それぞれの撮像装置について、Ｓ５０２～Ｓ５０５の処理は繰り返される。 In S505, if there is an imaging device that has not been evaluated for image quality on the target surface, the process returns to S502. If the image quality of all imaging devices on the target surface has been evaluated, the process proceeds to S506. In this manner, the processes of S502 to S505 are repeated for each imaging device.
Ｓ５０６では、評価部３３０が、対象面に関して、Ｓ５０４で複数の撮像装置１０のそれぞれについて算出した解像度に基づいて、対象面の評価値を決定する。一例として、評価部３３０は、複数の撮像装置１０のそれぞれについて算出した解像度のうち、最も高い解像度を、対象面の評価値として用いることができる。こうして、評価部３３０は、撮像装置１０による被写体の撮像画像における、被写体の特定位置の画質（この例では解像度）を示す評価値を決定することができる。Ｓ５０３では、複数の撮像装置１０から、被写体の特定位置が可視である撮像装置が選択されている。したがって、Ｓ５０６では、選択された撮像装置による被写体の撮像画像に基づいて、被写体の特定位置の画質が評価される。
In S506, the
視点に依存して対象物体の色を決定する視点依存レンダリング手法では、三次元形状の特定位置に対する色付けが、特定位置が可視である撮像装置の撮像画像を投影することで行われる。このため、可視である撮像装置による撮像画像の画質が、最終的に得られる仮想視点画像の画質に関係する。また、仮想視点画像の特定位置についての最もよい画質は、複数の撮像画像による撮像画像のうち最も高い画質を持つ撮像画像の画質によって定まる。このために、上記のように決定された評価値は、仮想視点画像の特定位置（すなわち対象面）についての画質を評価するために用いることができる。 In a viewpoint-dependent rendering technique that determines the color of a target object depending on the viewpoint, coloring of a specific position of a three-dimensional shape is performed by projecting an image captured by an imaging device where the specific position is visible. Therefore, the image quality of the image captured by the visible imaging device is related to the image quality of the virtual viewpoint image that is ultimately obtained. Furthermore, the best image quality for a specific position of the virtual viewpoint image is determined by the image quality of the image captured with the highest image quality among multiple captured images. For this reason, the evaluation value determined as described above can be used to evaluate the image quality of a specific position (i.e., the target surface) of the virtual viewpoint image.
一方で、評価値の決定方法は上記の方法には限定されない。仮想視点画像をレンダリングした際の画質を示唆する任意の指標を用いることができる。例えば、評価値は、複数の撮像装置１０のそれぞれについて算出した解像度の平均値又は中央値等の統計値であってもよい。さらに、統計値を算出する際に、解像度に対する重み付けを、特定位置（例えば対象面）の法線と、解像度に対応する撮像装置の光軸との間の角度に基づいて行ってもよい。例えば、この法線とこの光軸との角度が小さいほど、重みを大きくすることができる。
On the other hand, the method of determining the evaluation value is not limited to the above method. Any index that indicates the image quality when the virtual viewpoint image is rendered can be used. For example, the evaluation value may be a statistical value such as the average or median of the resolution calculated for each of the multiple
Ｓ５０７において、三次元形状情報であるメッシュモデルの各面のうち、評価値が算出されていない面がある場合には、処理はＳ５０１に戻る。評価値が算出されていない面がない場合には、図５に従う評価値の算出が終了する。このように、それぞれの面について、Ｓ５０１～Ｓ５０７の処理は繰り返される。なお、三次元形状情報が点群等の場合には、点ごとに評価値が算出されてもよいし、点群を構成する複数の点のうち、いくつかの点からなる領域ごとに評価値が算出されてもよい。三次元形状情報がボクセルからなるボリュームデータである場合も、同様に、ボクセルごとに評価値が算出されてもよいし、いくつかのボクセル群ごとに評価値が算出されてもよい。 In S507, if there is any face of the mesh model, which is the three-dimensional shape information, for which an evaluation value has not been calculated, the process returns to S501. If there is no face for which an evaluation value has not been calculated, the calculation of the evaluation value according to FIG. 5 ends. In this manner, the processes of S501 to S507 are repeated for each face. Note that, if the three-dimensional shape information is a point cloud or the like, an evaluation value may be calculated for each point, or an evaluation value may be calculated for each region consisting of several points out of the multiple points that make up the point cloud. Similarly, if the three-dimensional shape information is volume data consisting of voxels, an evaluation value may be calculated for each voxel, or an evaluation value may be calculated for several voxel groups.
Ｓ４０４では、生成部３４０が、評価部３３０が算出した評価値に基づいて、被写体の複数の位置のそれぞれの画質に応じたテクスチャを生成する。生成されたテクスチャは、画質の指標として用いられる。図６（Ａ）はテクスチャが含む要素の例を、図６（Ｂ）はテクスチャが付与されたメッシュモデルの例を示す。説明を簡単にするため、図６（Ｂ）には立方体のメッシュモデルが示されているが、三次元形状は立方体に限定されない。
In S404, the
テクスチャは、図６（Ａ）に示すような要素の繰り返しであるパターンを含む。図６（Ａ）に示す要素は「ＮＧ」が書かれている画像である。本実施形態において、生成部３４０は、評価値に従う大きさの要素を含むテクスチャを生成する。ここで、評価値が高いほどテクスチャは小さい要素を含み、評価値が低いほどテクスチャは大きい要素を含む。例えば、生成部３４０は、テクスチャ座標を下記の式に従う倍率でスケーリングすることで、このようなテクスチャを生成することができる。重みとしては適当な値を設定することができる。
倍率＝重み／評価値
The texture includes a pattern that is a repetition of elements as shown in FIG. 6A. The element shown in FIG. 6A is an image with "NG" written on it. In this embodiment, the
Multiplier = weight/evaluation value
生成部３４０は、三次元形状情報が示す被写体の三次元形状の各位置について、この位置の画質を示す情報を生成することができる。例えば、生成部３４０は、メッシュモデルの各面について、評価値に応じたテクスチャを生成することができる。
The generating
Ｓ４０５では、出力部３５０が、被写体の画質を示す情報と、三次元形状情報と、を出力する。出力部３５０は、被写体の画質を示す情報を、三次元形状情報に対応付けて出力することができる。また、出力部３５０は、三次元形状情報が示す被写体の三次元形状の各位置に、生成部３４０が生成したこの位置の画質を示す情報を対応付けることができる。
In S405, the
例えば、出力部３５０は、被写体の三次元形状と、被写体の三次元形状の複数の位置のそれぞれに付されたテクスチャと、を示す三次元形状情報を出力することができる。本実施形態において、出力部３５０は、Ｓ４０４で生成部３４０が生成したテクスチャを、Ｓ４０１で形状取得部３１０が取得した三次元形状情報に付与する。具体的には、出力部３５０は、三次元形状情報が示す被写体の三次元形状の複数の位置に、撮像装置による被写体の撮像画像における各位置の画質に応じたテクスチャを付与することができる。例えば、出力部３５０は、メッシュモデルの各面に、生成部３４０が生成した、評価値に応じたテクスチャを貼り付けることができる。上述したように、出力部３５０は、被写体の画質を示す情報及び三次元形状情報を、汎用フォーマットに従うＣＧデータとして出力することができる。
For example, the
このように出力部３５０が出力したＣＧデータは、汎用のＣＧツールによって、図６（Ｂ）に示すように表示される。面６０１は、低い評価値を有する面であり、大きなサイズの要素を含むテクスチャが貼り付けられている。一方で面６０２は、高い評価値を有する面であり、小さいサイズの要素を含むテクスチャが貼り付けられている。
The CG data thus output by the
上述のように、ユーザは、入力装置５０などを用いて仮想視点画像の仮想視点を指定することができる。情報処理装置１００、入力装置５０、又はその他の装置は、三次元形状情報に従う被写体の三次元形状と、出力部３５０が出力した被写体の画質を示す情報と、を表示装置６０のような表示装置に表示させる表示制御部（不図示）を有していてもよい。また、情報処理装置１００、入力装置５０、又はその他の装置は、ユーザから仮想視点画像に対応する仮想視点の指定を受け付ける受付部（不図示）を有していてもよい。このような構成により、ユーザは、被写体の画質を示す情報を確認しながら仮想視点を指定することができる。そして、レンダリング装置４０は、被写体の撮像画像、三次元形状情報、及び指定された仮想視点に基づいて、仮想視点画像を生成する。
As described above, the user can specify the virtual viewpoint of the virtual viewpoint image using the
例えば、仮想視点画像のカメラワーク制作者は、出力部３５０が出力したテクスチャ付きのＣＧデータを参照しながらカメラワークを作成することができる。このため、特定の仮想視点からみた仮想視点画像の最終画質が破綻するか否かを、カメラワーク制作時に知ることができる。このように、本実施形態によれば、仮想視点を設定する際に、得られる仮想視点画像の品質評価を容易に行うことができる。
For example, the creator of the camerawork for the virtual viewpoint image can create the camerawork while referring to the textured CG data output by the
具体的には、作成したカメラワークに従う位置の仮想視点から三次元モデルを見た際に、テクスチャ上の要素が視認できる場合には、最終画質が破綻する可能性が高い。一方で、テクスチャ上の要素が視認できない場合には、画質が担保される可能性が高い。例えば、図６（Ｂ）では、面６０２のテクスチャから「ＮＧ」の文字が読めないため、仮想視点画像の面６０２における画質は十分である可能性が高い。しかしながら、面６０１のテクスチャからは「ＮＧ」の文字が読めるため、仮想視点画像の面６０１における画質が破綻する可能性がある。この場合、カメラワーク制作者は、画質が担保されるように仮想視点を面６０１から離す、焦点距離を変更することにより視野を広角にする、又は、仮想視点を面６０２の方へ移動するように、カメラワークを変更することができる。このように、情報処理装置１００が出力した被写体の画質を示す情報を用いることで、仮想視点画像をレンダリングすることなく、仮想視点画像の画質が破綻しないように仮想視点を設定することが容易になる。
Specifically, when the three-dimensional model is viewed from a virtual viewpoint at a position according to the created camerawork, if the elements on the texture are visible, the final image quality is likely to be broken. On the other hand, if the elements on the texture are not visible, the image quality is likely to be guaranteed. For example, in FIG. 6B, the character "NG" cannot be read from the texture of the surface 602, so the image quality of the surface 602 of the virtual viewpoint image is likely to be sufficient. However, the character "NG" can be read from the texture of the surface 601, so the image quality of the surface 601 of the virtual viewpoint image may be broken. In this case, the camerawork creator can change the camerawork so that the virtual viewpoint is moved away from the surface 601 so that the image quality is guaranteed, the field of view is made wider by changing the focal length, or the virtual viewpoint is moved toward the surface 602. In this way, by using the information indicating the image quality of the subject output by the
生成部３４０がＳ４０４で生成するテクスチャは、図６に示すような画像である必要はない。テクスチャとしては、ユーザが画質を判断できる助けになる任意のものを用いることができる。例えば、格子模様を要素として有するテクスチャを用いることができる。図７（Ａ）は、格子模様を有するテクスチャの一例を示す。また、図７（Ｂ）は、テクスチャが付与された三次元モデルの例を示す。この場合、評価値が高い場合には格子模様が細かくなり、評価値が低い場合には格子模様が粗くなる。このため、画質が担保できる場合には、格子模様がモアレのように見えるために視認しにくくなる。一方で、はっきりと格子が視認できる部分については、画質が担保されないことを知ることができる。
The texture generated by the
ここまで、画質を示す情報としてテクスチャを用いる場合について説明した。三次元形状情報にテクスチャを付与することにより、ユーザは、テクスチャの視認性に基づいて、仮想視点画像の最終的な画質が許容可能か否かを判断することができる。一方で、被写体の画質を示す情報は、被写体の三次元形状の周囲に設定された領域を示す領域情報であってもよい。このような領域の大きさは、被写体の画質に応じて設定することができる。例えば、被写体から所定距離以内の領域を示す情報を三次元形状に付与することができ、ここで、所定距離は、被写体の画質が高いほど短くすることができる。このような領域を示す情報は、ユーザが画質を担保できる範囲を知るために用いることができる。 So far, we have described the case where texture is used as information indicating image quality. By adding texture to the three-dimensional shape information, the user can determine whether the final image quality of the virtual viewpoint image is acceptable or not based on the visibility of the texture. On the other hand, the information indicating the image quality of the subject may be area information indicating an area set around the three-dimensional shape of the subject. The size of such an area can be set according to the image quality of the subject. For example, information indicating an area within a predetermined distance from the subject can be added to the three-dimensional shape, and here the predetermined distance can be made shorter as the image quality of the subject becomes higher. Such information indicating an area can be used to know the range within which the user can ensure image quality.
以下の例では、被写体の三次元形状の複数の位置のそれぞれの周囲に領域が設定される。ここで、被写体の三次元形状の特定位置の周囲に設定された領域は、撮像装置による被写体の撮像画像における、特定位置についての画質を示す情報に応じて設定される。仮想視点がこの領域内にあることは、特定位置についての仮想視点画像の画質が破綻する可能性が高いことを示し、仮想視点がこの領域外にあることは、特定位置についての仮想視点画像の画質が担保される可能性が高いことを示す。 In the following example, an area is set around each of multiple positions on the three-dimensional shape of the subject. Here, the area set around a specific position on the three-dimensional shape of the subject is set according to information indicating the image quality for the specific position in an image of the subject captured by an imaging device. The virtual viewpoint being within this area indicates that there is a high possibility that the image quality of the virtual viewpoint image for the specific position will be compromised, and the virtual viewpoint being outside this area indicates that there is a high possibility that the image quality of the virtual viewpoint image for the specific position will be guaranteed.
また、被写体の三次元形状の周囲に設定される領域は、上記のように被写体の三次元形状の複数の位置のそれぞれの周囲に設定された領域を包含する領域（例えば各領域の和集合）であってもよい。このような包含領域を示す情報、例えば三次元モデル情報を、被写体の三次元形状情報に付与してもよい。このような三次元モデル情報に従って、仮想視点画像の品質が担保されない領域又は品質が担保される領域を判別することができる。このような情報を用いることにより、仮想視点画像の画質を画一的に判断することが可能となる。 The area set around the three-dimensional shape of the subject may be an area that includes the areas set around each of the multiple positions of the three-dimensional shape of the subject as described above (e.g., the union of each area). Information indicating such an inclusion area, such as three-dimensional model information, may be added to the three-dimensional shape information of the subject. According to such three-dimensional model information, it is possible to determine areas where the quality of the virtual viewpoint image is not guaranteed or areas where the quality is guaranteed. By using such information, it becomes possible to uniformly judge the image quality of the virtual viewpoint image.
このような変形例において、評価部３３０は、さらに仮想視点の焦点距離を示す情報を取得することができる。焦点距離取得部（不図示）が、仮想視点（又は仮想カメラ）の焦点距離を示す情報をユーザから取得してもよい。また、焦点距離取得部（不図示）は、指定された仮想視点の焦点距離を示す情報を入力装置５０から取得してもよい。
In such a modified example, the
仮想視点の焦点距離が長い場合、仮想カメラから被写体までの距離が遠くても、仮想視点画像の画質を担保するために要求される、撮像された撮像画像における被写体の解像度は高くなる。一方で、仮想視点の焦点距離が短い場合には、広角の画像が得られるため、仮想視点画像の画質を担保するために要求される、撮像された撮像画像における被写体の解像度は低くなる。そこで、本変形において被写体の三次元形状の周囲に設定される領域の大きさは、仮想視点画像に対応する仮想視点の焦点距離にさらに応じて設定することができる。このように、仮想視点の焦点距離に応じて、仮想視点画像の画質が担保されない領域を示す三次元モデルが生成される。この領域は、仮想視点の焦点距離に応じて変わるため、本変形例で評価部３３０は事前におおよその焦点距離を取得する。もっとも、評価部３３０が焦点距離を取得することは必須ではない。例えば、評価部３３０は、焦点距離の所定値に基づいて被写体の画質を示す情報を生成してもよい。
When the focal length of the virtual viewpoint is long, even if the distance from the virtual camera to the subject is long, the resolution of the subject in the captured image required to ensure the image quality of the virtual viewpoint image is high. On the other hand, when the focal length of the virtual viewpoint is short, a wide-angle image is obtained, so the resolution of the subject in the captured image required to ensure the image quality of the virtual viewpoint image is low. Therefore, in this modification, the size of the area set around the three-dimensional shape of the subject can be set further according to the focal length of the virtual viewpoint corresponding to the virtual viewpoint image. In this way, a three-dimensional model indicating an area where the image quality of the virtual viewpoint image is not guaranteed is generated according to the focal length of the virtual viewpoint. Since this area changes according to the focal length of the virtual viewpoint, in this modification, the
生成部３４０は、評価部３３０が決定した評価値、及び仮想視点の焦点距離に基づいて、被写体の各位置について、画質が担保される距離を算出する。また、生成部３４０は、算出した距離に基づいて、仮想視点画像の品質が担保されない領域を示す三次元モデルを生成する。図８は、このようなモデルの例を示す概略図である。図８には、被写体の三次元形状を示す領域９０が示されている。生成部３４０は、被写体の各位置（例えば各対象面）について、画質が担保される距離９１を算出する。例えば、生成部３４０は、距離ｄ＝α・ｅ・ｆにより、距離９１を算出することができる。ここで、画質評価値ｅ（ｍｍ／ｐｉｘ）は、Ｓ５０６と同様に算出された対象面の評価値である。また、焦点距離ｆ（ｐｉｘ）は仮想視点の焦点距離である。重みαとしては適当な値を設定することができる。
The generating
生成部３４０は、このように、被写体の各位置（例えば各対象面）から、各位置について算出された距離９１以内の領域を判定することができる。そして、生成部３４０は、各位置について判定された領域を包含する領域９２を、画質が担保されない領域として判定することができる。仮想視点が領域９２の内部にあることは、仮想視点画像の画質が破綻する恐れがあることを示す。生成部３４０は、こうして判定された領域を示す三次元モデルを生成することができる。この三次元モデルは、例えば半透過モデルであってもよい。
In this way, the generating
出力部３５０は、被写体の三次元形状と、被写体の三次元形状の周囲に設定された領域を示す三次元形状と、を示す三次元形状情報を出力することができる。例えば、出力部３５０は、こうして生成された三次元モデルを被写体の三次元形状情報に対応付けて出力することができる。一例として、出力部３５０は、被写体の三次元モデルと生成部３４０が生成した半透過モデルとの双方を含む、汎用フォーマットに従うＣＧデータを出力することができる。
The
このように出力部３５０が出力したＣＧデータは、汎用のＣＧツールによって、図６（Ｂ）に示すように表示される。面６０１は、低い評価値を有する面であり、大きなサイズの要素を含むテクスチャが貼り付けられている。一方で面６０２は、高い評価値を有する面であり、小さいサイズの要素を含むテクスチャが貼り付けられている。
The CG data thus output by the
ユーザは、上記の半透過モデルのような、仮想視点画像の品質が担保されない領域を示す情報に従って、仮想視点を指定することができる。このため、仮想視点画像の画質が担保されるように仮想視点を指定することが容易となる。例えば、仮想視点画像のカメラワーク制作者は、出力部３５０が出力したＣＧデータを見ながら仮想カメラを操作することができる。このとき、領域９２内に仮想カメラが入ると仮想カメラからは領域９２が不可視になる。また、領域９２の外に仮想カメラが出ていると、仮想カメラから領域９２は可視である。したがって、領域９２が可視となるように仮想カメラを操作することで、仮想視点画像の画質が担保されるようにカメラワークを作成することが可能となる。
The user can specify a virtual viewpoint according to information indicating an area where the quality of the virtual viewpoint image is not guaranteed, such as the semi-transparent model described above. This makes it easy to specify a virtual viewpoint so that the image quality of the virtual viewpoint image is guaranteed. For example, the creator of the camerawork of the virtual viewpoint image can operate a virtual camera while looking at the CG data output by the
被写体の画質を示す情報は上記のものに限られない。例えば、被写体の画質を示す情報が、三次元モデルとして可視化される情報（例えばテクスチャ又は半透過モデル）である必要はない。例えば、出力部３５０は、被写体の画質を示す情報を、メタ情報として三次元形状情報に対応付けて出力してもよい。このような被写体の画質を示す情報は、例えば、被写体の各面における、撮像装置ごとの上記の解像度ｒであってもよいし、被写体の各面についての上記の評価値であってもよいし、被写体の各面について画質が担保される距離９１であってもよい。
The information indicating the image quality of the subject is not limited to the above. For example, the information indicating the image quality of the subject does not need to be information visualized as a three-dimensional model (e.g., texture or semi-transparent model). For example, the
この場合、入力装置５０のような仮想視点を指定するための装置（例えばカメラワーク制作装置）は、生成部３４０と同様の機能を有していてもよい。例えば、この装置は、メタ情報に従って被写体の画質を示す情報（例えばテクスチャ又は半透過モデル）を三次元モデルとともにユーザに対して表示してもよい。一方で、この装置は、メタ情報に従って、指定された仮想視点からの仮想視点画像において画質が担保されるか否かを判定し、判定結果をユーザに通知してもよい。例えば、この装置は、メタ情報に示される、被写体の各面について画質が担保される距離９１と、仮想視点から被写体の各面までの距離とに基づいて、仮想視点画像の画質が担保されるか否かを判定することができる。
In this case, a device for specifying a virtual viewpoint such as the input device 50 (e.g., a camerawork production device) may have the same functions as the
なお、形状取得部３１０がメッシュモデル以外の三次元形状情報を取得した場合であっても、出力部３５０は三次元形状情報に被写体の画質を示す情報を対応付けることができる。例えば、形状取得部３１０が点群データを取得した場合、生成部３４０は各点から距離９１以内の領域を判定することができる。また、出力部３５０は、各領域を包含する領域を示す情報を、三次元形状情報に対応付けることができる。また、出力部３５０は、点群データに基づいて生成されたメッシュモデルに、上記のようなテクスチャを付与することもできる。なお、出力部３５０は、被写体の三次元形状情報と、被写体の画質を示す情報とを対応付けて出力しなくてもよい。例えば、出力部３５０は、被写体の三次元形状情報と被写体の画質を示す情報とを対応付ける情報を別途出力してもよい。また、出力部３５０は、被写体の三次元形状情報と、被写体の画質を示す情報とを、別のタイミングで出力してもよい。例えば、被写体の三次元形状情報と被写体の画質を示す情報とを対応付ける情報は、タイムコードであってもよい。
Note that even if the
ここまで、情報処理装置１００を画像生成システム１の一部として説明した。しかしながら、情報処理装置１００は、画像生成システム１とは別の単体の装置であってもよい。また、入力装置５０のような仮想視点を指定するための装置が、情報処理装置１００の機能を有していてもよい。例えば、入力装置５０が図３に示す各処理部を有していてもよい。この場合、入力装置５０は、生成部３４０が生成した被写体の画質を示す情報（例えばテクスチャ又は半透過モデル）をユーザに対して表示してもよい。一方で、入力装置５０は、生成部３４０が生成した被写体の画質を示す情報に従って、指定された仮想視点からの仮想視点画像において画質が担保されるか否かを判定し、判定結果をユーザに通知してもよい。
So far, the
（その他の実施例）
本技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
Other Examples
The present technology can also be realized by a process in which a program for realizing one or more functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present technology can also be realized by a circuit (e.g., ASIC) for realizing one or more functions.
本明細書の開示は、以下の撮像装置、撮像システム、方法及びプログラムを含む。 The disclosure of this specification includes the following imaging device, imaging system, method, and program.
（項目１）
被写体の仮想視点画像の生成に用いられる、前記被写体の三次元形状を示す三次元形状情報を取得する取得手段と、
撮像装置による前記被写体の撮像画像における、前記被写体の画質を特定する特定手段と、
前記被写体の画質を示す情報と、前記被写体の三次元形状情報と、を出力する出力手段と、
を備えることを特徴とする情報処理装置。
(Item 1)
An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of the subject, which is used for generating a virtual viewpoint image of the subject;
a determination unit for determining an image quality of the subject in an image captured by an imaging device;
an output means for outputting information indicating the image quality of the subject and three-dimensional shape information of the subject;
An information processing device comprising:
（項目２）
前記出力手段は、前記被写体の画質を示す可視化された情報を出力することを特徴とする、項目１に記載の情報処理装置。
(Item 2)
2. The information processing device according to item 1, wherein the output means outputs visualized information indicating an image quality of the subject.
（項目３）
前記出力手段は、前記被写体の画質を示す情報に基づく三次元モデルを表す情報を出力することを特徴とする、項目１又は２に記載の情報処理装置。
(Item 3)
3. The information processing device according to item 1 or 2, wherein the output means outputs information representing a three-dimensional model based on information indicating an image quality of the subject.
（項目４）
前記被写体の画質を示す情報は、三次元モデルのテクスチャを示すテクスチャ情報であることを特徴とする、項目１から３のいずれか１項目に記載の情報処理装置。
(Item 4)
4. The information processing device according to any one of items 1 to 3, wherein the information indicating the image quality of the subject is texture information indicating a texture of a three-dimensional model.
（項目５）
前記テクスチャは要素の繰り返しを含み、前記要素の大きさは前記被写体の画質に応じて選択されることを特徴とする、項目４に記載の情報処理装置。
(Item 5)
5. The information processing device according to item 4, wherein the texture includes repetition of elements, and the size of the elements is selected according to the image quality of the subject.
（項目６）
前記出力手段は、前記被写体の三次元形状と、前記被写体の三次元形状の複数の位置のそれぞれに付されたテクスチャと、を示す三次元形状情報を出力し、
前記被写体の三次元形状の特定位置に付されるテクスチャは、前記撮像装置による前記被写体の撮像画像における、前記特定位置についての画質に応じて決定されることを特徴とする、項目１から５のいずれか１項目に記載の情報処理装置。
(Item 6)
the output means outputs three-dimensional shape information indicating a three-dimensional shape of the subject and textures applied to each of a plurality of positions on the three-dimensional shape of the subject;
6. The information processing device according to any one of items 1 to 5, wherein a texture to be applied to a specific position of the three-dimensional shape of the subject is determined according to image quality at the specific position in an image of the subject captured by the imaging device.
（項目７）
前記出力手段は、前記被写体の画質を示す情報として、前記被写体の三次元形状の周囲に設定された領域を示す領域情報を出力し、
前記領域の大きさは前記被写体の画質に応じて設定されることを特徴とする、項目１から３のいずれか１項目に記載の情報処理装置。
(Item 7)
the output means outputs area information indicating an area set around a three-dimensional shape of the subject as information indicating an image quality of the subject;
4. The information processing device according to any one of items 1 to 3, wherein the size of the region is set according to the image quality of the subject.
（項目８）
前記領域の大きさは、前記仮想視点画像に対応する仮想視点の焦点距離にさらに応じて設定されることを特徴とする、項目７に記載の情報処理装置。
(Item 8)
8. The information processing device according to item 7, wherein the size of the region is set further depending on a focal length of a virtual viewpoint corresponding to the virtual viewpoint image.
（項目９）
前記被写体の三次元形状の周囲に設定された領域は、前記被写体の三次元形状の複数の位置のそれぞれの周囲に設定された領域を包含し、
前記被写体の三次元形状の特定位置の周囲に設定された領域は、前記撮像装置による前記被写体の撮像画像における、前記特定位置についての画質を示す情報に応じて設定されていることを特徴とする、項目７又は８に記載の情報処理装置。
(Item 9)
the region set around the three-dimensional shape of the subject includes regions set around each of a plurality of positions of the three-dimensional shape of the subject;
Item 9. The information processing device according to
（項目１０）
前記出力手段は、前記被写体の三次元形状と、前記被写体の三次元形状の周囲に設定された前記領域を示す三次元形状と、を示す三次元形状情報を出力することを特徴とする、項目７から９のいずれか１項目に記載の情報処理装置。
(Item 10)
The information processing device according to any one of items 7 to 9, characterized in that the output means outputs three-dimensional shape information indicating a three-dimensional shape of the subject and a three-dimensional shape indicating the area set around the three-dimensional shape of the subject.
（項目１１）
前記特定手段は、前記撮像装置の画角を示す画角情報に基づいて、前記被写体の画質を特定することを特徴とする、項目１から１０のいずれか１項目に記載の情報処理装置。
(Item 11)
11. The information processing device according to any one of items 1 to 10, wherein the specifying unit specifies the image quality of the subject based on angle-of-view information indicating an angle of view of the imaging device.
（項目１２）
前記特定手段は、前記撮像装置による前記被写体の撮像画像における、前記被写体の解像度に基づいて、前記被写体の画質を特定することを特徴とする、項目１から１１のいずれか１項目に記載の情報処理装置。
(Item 12)
12. The information processing device according to any one of items 1 to 11, wherein the specifying unit specifies image quality of the subject based on a resolution of the subject in an image of the subject captured by the imaging device.
（項目１３）
前記特定手段は、前記撮像装置による前記被写体の撮像画像における、前記被写体の複数の位置のそれぞれの画質を特定し、
前記出力手段は、前記被写体の複数の位置のそれぞれの画質を示す情報を、前記三次元形状情報に対応付けて出力することを特徴とする、項目１から１２のいずれか１項目に記載の情報処理装置。
(Item 13)
The specifying means specifies image quality at each of a plurality of positions of the subject in an image captured by the imaging device of the subject,
13. The information processing device according to any one of items 1 to 12, wherein the output means outputs information indicating image quality at each of a plurality of positions of the subject in association with the three-dimensional shape information.
（項目１４）
前記特定手段は、前記被写体の特定位置の画質を、複数の撮像装置から選択された、前記被写体の特定位置が可視である撮像装置による前記被写体の撮像画像に基づいて特定することを特徴とする、項目１から１３のいずれか１項目に記載の情報処理装置。
(Item 14)
The information processing device described in any one of items 1 to 13, characterized in that the identification means identifies the image quality of the specific position of the subject based on an image of the subject captured by an imaging device selected from a plurality of imaging devices in which the specific position of the subject is visible.
（項目１５）
前記取得手段は、前記被写体の撮像画像に基づいて前記被写体の三次元形状を推定することにより、前記三次元形状情報を生成することを特徴とする、項目１から１４のいずれか１項目に記載の情報処理装置。
(Item 15)
15. The information processing device according to any one of items 1 to 14, wherein the acquisition means generates the three-dimensional shape information by estimating a three-dimensional shape of the subject based on a captured image of the subject.
（項目１６）
前記三次元形状情報に従う前記被写体の三次元形状と、前記被写体の画質を示す情報と、を表示装置に表示させる表示制御手段と、
ユーザから前記仮想視点画像に対応する仮想視点の指定を受け付ける受付手段と、をさらに備え、
前記被写体の撮像画像、前記三次元形状情報、及び指定された前記仮想視点に基づいて、前記仮想視点画像が生成されることを特徴とする、項目１から１５のいずれか１項目に記載の情報処理装置。
(Item 16)
a display control means for causing a display device to display the three-dimensional shape of the subject according to the three-dimensional shape information and information indicating image quality of the subject;
and a receiving unit for receiving, from a user, a designation of a virtual viewpoint corresponding to the virtual viewpoint image,
16. The information processing device according to any one of items 1 to 15, wherein the virtual viewpoint image is generated based on the captured image of the subject, the three-dimensional shape information, and the designated virtual viewpoint.
（項目１７）
被写体の三次元形状を示す三次元形状情報を取得する取得手段と、
前記三次元形状情報が示す前記被写体の三次元形状の複数の位置に、撮像装置による前記被写体の撮像画像における各位置の画質に応じたテクスチャを付与する付与手段と、
を備えることを特徴とする情報処理装置。
(Item 17)
An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of a subject;
an applying means for applying a texture to a plurality of positions of the three-dimensional shape of the subject indicated by the three-dimensional shape information according to image quality of each position in an image of the subject captured by an imaging device;
An information processing device comprising:
（項目１８）
被写体の三次元形状を示す三次元形状情報を取得する取得手段と、
前記三次元形状情報が示す前記被写体の三次元形状から、撮像装置による前記被写体の撮像画像における前記被写体の画質に応じた範囲内にある領域を示す領域情報を生成する生成手段と、
を備えることを特徴とする情報処理装置。
(Item 18)
An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of a subject;
a generating means for generating area information indicating an area within a range corresponding to an image quality of the subject in an image captured by an imaging device of the subject from the three-dimensional shape of the subject indicated by the three-dimensional shape information;
An information processing device comprising:
（項目１９）
情報処理装置が行う情報処理方法であって、
被写体の仮想視点画像の生成に用いられる、前記被写体の三次元形状を示す三次元形状情報を取得する工程と、
撮像装置による前記被写体の撮像画像における、前記被写体の画質を特定する工程と、
前記被写体の画質を示す情報と、前記被写体の三次元形状情報と、を出力する工程と、
を備えることを特徴とする情報処理方法。
(Item 19)
An information processing method performed by an information processing device,
acquiring three-dimensional shape information indicating a three-dimensional shape of the subject, the three-dimensional shape information being used to generate a virtual viewpoint image of the subject;
specifying an image quality of the subject in an image captured by an imaging device;
outputting information indicating an image quality of the object and three-dimensional shape information of the object;
An information processing method comprising:
（項目２０）
コンピュータを、項目１から１８のいずれか１項目に記載の情報処理装置として機能させるためのプログラム。
(Item 20)
19. A program for causing a computer to function as the information processing device according to any one of items 1 to 18.
本開示は上記実施形態に制限されるものではなく、本願の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。 This disclosure is not limited to the above embodiments, and various modifications and variations are possible without departing from the spirit and scope of the present application.
１００：情報処理装置、３１０：形状取得部、３２０：画角取得部、３３０：評価部、３４０：生成部、３５０：出力部 100: Information processing device, 310: Shape acquisition unit, 320: View angle acquisition unit, 330: Evaluation unit, 340: Generation unit, 350: Output unit
Claims (20)
撮像装置による前記被写体の撮像画像における、前記被写体の画質を特定する特定手段と、
前記被写体の画質を示す情報と、前記被写体の三次元形状情報と、を出力する出力手段と、
を備えることを特徴とする情報処理装置。 An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of the subject, which is used for generating a virtual viewpoint image of the subject;
a determination unit for determining an image quality of the subject in an image captured by an imaging device;
an output means for outputting information indicating the image quality of the subject and three-dimensional shape information of the subject;
An information processing device comprising:
前記被写体の三次元形状の特定位置に付されるテクスチャは、前記撮像装置による前記被写体の撮像画像における、前記特定位置についての画質に応じて決定されることを特徴とする、請求項４に記載の情報処理装置。 the output means outputs three-dimensional shape information indicating a three-dimensional shape of the subject and textures applied to each of a plurality of positions on the three-dimensional shape of the subject;
The information processing apparatus according to claim 4 , wherein the texture to be applied to the specific position of the three-dimensional shape of the subject is determined according to the image quality of the specific position in the image of the subject captured by the imaging device.
前記領域の大きさは前記被写体の画質に応じて設定されることを特徴とする、請求項１に記載の情報処理装置。 the output means outputs area information indicating an area set around a three-dimensional shape of the subject as information indicating an image quality of the subject;
The information processing apparatus according to claim 1 , wherein the size of the region is set in accordance with the image quality of the subject.
前記被写体の三次元形状の特定位置の周囲に設定された領域は、前記撮像装置による前記被写体の撮像画像における、前記特定位置についての画質を示す情報に応じて設定されていることを特徴とする、請求項７に記載の情報処理装置。 the region set around the three-dimensional shape of the subject includes regions set around each of a plurality of positions of the three-dimensional shape of the subject;
The information processing device according to claim 7, characterized in that the area set around the specific position of the three-dimensional shape of the subject is set according to information indicating the image quality of the specific position in the image of the subject captured by the imaging device.
前記出力手段は、前記被写体の複数の位置のそれぞれの画質を示す情報を、前記三次元形状情報に対応付けて出力することを特徴とする、請求項１に記載の情報処理装置。 The specifying means specifies image quality at each of a plurality of positions of the subject in an image of the subject captured by the imaging device,
2. The information processing apparatus according to claim 1, wherein said output means outputs information indicating image quality at each of a plurality of positions of said subject in association with said three-dimensional shape information.
ユーザから前記仮想視点画像に対応する仮想視点の指定を受け付ける受付手段と、をさらに備え、
前記被写体の撮像画像、前記三次元形状情報、及び指定された前記仮想視点に基づいて、前記仮想視点画像が生成されることを特徴とする、請求項１に記載の情報処理装置。 a display control means for causing a display device to display the three-dimensional shape of the subject according to the three-dimensional shape information and information indicating image quality of the subject;
and a receiving unit for receiving, from a user, a designation of a virtual viewpoint corresponding to the virtual viewpoint image,
The information processing apparatus according to claim 1 , wherein the virtual viewpoint image is generated based on the captured image of the subject, the three-dimensional shape information, and the designated virtual viewpoint.
前記三次元形状情報が示す前記被写体の三次元形状の複数の位置に、撮像装置による前記被写体の撮像画像における各位置の画質に応じたテクスチャを付与する付与手段と、
を備えることを特徴とする情報処理装置。 An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of a subject;
an applying means for applying a texture to a plurality of positions of the three-dimensional shape of the subject indicated by the three-dimensional shape information according to image quality of each position in an image of the subject captured by an imaging device;
An information processing device comprising:
前記三次元形状情報が示す前記被写体の三次元形状から、撮像装置による前記被写体の撮像画像における前記被写体の画質に応じた範囲内にある領域を示す領域情報を生成する生成手段と、
を備えることを特徴とする情報処理装置。 An acquisition means for acquiring three-dimensional shape information indicating a three-dimensional shape of a subject;
a generating means for generating area information indicating an area within a range corresponding to an image quality of the subject in an image captured by an imaging device of the subject from the three-dimensional shape of the subject indicated by the three-dimensional shape information;
An information processing device comprising:
被写体の仮想視点画像の生成に用いられる、前記被写体の三次元形状を示す三次元形状情報を取得する工程と、
撮像装置による前記被写体の撮像画像における、前記被写体の画質を特定する工程と、
前記被写体の画質を示す情報と、前記被写体の三次元形状情報と、を出力する工程と、
を備えることを特徴とする情報処理方法。 An information processing method performed by an information processing device,
acquiring three-dimensional shape information indicating a three-dimensional shape of the subject, the three-dimensional shape information being used to generate a virtual viewpoint image of the subject;
specifying an image quality of the subject in an image captured by an imaging device;
outputting information indicating an image quality of the object and three-dimensional shape information of the object;
An information processing method comprising:
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022182798A JP2024072122A (en) | 2022-11-15 | 2022-11-15 | Information processing device, information processing method, and program |
| US18/504,191 US20240161394A1 (en) | 2022-11-15 | 2023-11-08 | Information processing apparatus, information processing method, and computer-readable medium |
| EP23209344.3A EP4372692A1 (en) | 2022-11-15 | 2023-11-13 | Information processing apparatus, information processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022182798A JP2024072122A (en) | 2022-11-15 | 2022-11-15 | Information processing device, information processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024072122A true JP2024072122A (en) | 2024-05-27 |
Family
ID=91194066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022182798A Pending JP2024072122A (en) | 2022-11-15 | 2022-11-15 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024072122A (en) |
-
2022
- 2022-11-15 JP JP2022182798A patent/JP2024072122A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6425780B1 (en) | Image processing system, image processing apparatus, image processing method and program | |
| US20100156901A1 (en) | Method and apparatus for reconstructing 3d model | |
| RU2695528C2 (en) | Laser scanning data image visualization | |
| US9117278B2 (en) | System and method for geometric modeling using multiple data acquisition means | |
| JP5093053B2 (en) | Electronic camera | |
| JP7182976B2 (en) | Information processing device, information processing method, and program | |
| US10733786B2 (en) | Rendering 360 depth content | |
| KR101334187B1 (en) | Apparatus and method for rendering | |
| KR20140100656A (en) | Point video offer device using omnidirectional imaging and 3-dimensional data and method | |
| KR20170134513A (en) | How to Display an Object | |
| JP2019197279A (en) | Image processing apparatus, method for controlling image processing apparatus, and program | |
| JP2020173529A (en) | Information processing device, information processing method, and program | |
| WO2020184174A1 (en) | Image processing device and image processing method | |
| US10652514B2 (en) | Rendering 360 depth content | |
| EP3573018B1 (en) | Image generation device, and image display control device | |
| JP2024072122A (en) | Information processing device, information processing method, and program | |
| US20120162215A1 (en) | Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image | |
| JP6564259B2 (en) | Image processing apparatus and image processing method | |
| JP7394566B2 (en) | Image processing device, image processing method, and image processing program | |
| US20240161394A1 (en) | Information processing apparatus, information processing method, and computer-readable medium | |
| JPH09138865A (en) | Three-dimensional shape data processor | |
| Hwang et al. | Image-based object reconstruction using run-length representation | |
| JP2003216933A (en) | Data processing device, storage medium and program | |
| JP2003323636A (en) | Three-dimensional supplying device and method and image synthesizing device and method and user interface device | |
| KR102355578B1 (en) | Information processing apparatus, program recording medium and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240808 |