JP6672417B2 - Image processing apparatus, image processing system, image processing method, and program - Google Patents
Image processing apparatus, image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP6672417B2 JP6672417B2 JP2018192134A JP2018192134A JP6672417B2 JP 6672417 B2 JP6672417 B2 JP 6672417B2 JP 2018192134 A JP2018192134 A JP 2018192134A JP 2018192134 A JP2018192134 A JP 2018192134A JP 6672417 B2 JP6672417 B2 JP 6672417B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- display device
- viewpoint image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、仮想視点画像を生成する技術に関するものである。 The present invention relates to a technique for generating a virtual viewpoint image.
昨今、複数のカメラを異なる位置に設置して多視点から被写体を撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像や３次元モデルを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。 In recent years, attention has been focused on a technique in which a plurality of cameras are installed at different positions to photograph a subject from multiple viewpoints, and a virtual viewpoint image or a three-dimensional model is generated using the plurality of viewpoint images obtained by the photographing. According to the technology for generating a virtual viewpoint image from a plurality of viewpoint images as described above, for example, a highlight scene of soccer or basketball can be viewed from various angles. High realism can be given.
特許文献１では、複数の視点から撮影した画像を合成して仮想視点画像を生成する場合に、画像内のオブジェクトの境界領域におけるレンダリング単位を小さくすることで、仮想視点画像の画質を向上することについて記載されている。 According to Patent Document 1, when a virtual viewpoint image is generated by combining images captured from a plurality of viewpoints, the image quality of the virtual viewpoint image is improved by reducing a rendering unit in a boundary region of an object in the image. Is described.
しかしながら、従来の技術では、異なる複数の要件に応じた仮想視点画像を生成できない場合が考えられる。例えば、高画質の仮想視点画像だけを生成する場合には、生成に係る処理時間が長くなることが考えられ、画質は低くともリアルタイムで仮想視点画像を見たいユーザの要件に応えることが困難になる虞がある。一方、低画質の仮想視点画像だけを生成する場合には、リアルタイム性よりも仮想視点画像が高画質であることを優先するユーザの要件に応えることが困難になる虞がある。 However, in the related art, there may be cases where virtual viewpoint images corresponding to a plurality of different requirements cannot be generated. For example, when only a high-quality virtual viewpoint image is generated, the processing time for generation is considered to be long, and it is difficult to meet the requirements of a user who wants to view the virtual viewpoint image in real time even if the image quality is low. There is a risk of becoming. On the other hand, when only low-quality virtual viewpoint images are generated, it may be difficult to meet the requirement of a user who gives priority to high-quality virtual viewpoint images over real-time characteristics.
本発明は上記の課題に鑑みてなされたものであり、異なる複数の要件に応じた仮想視点画像を生成することを目的とする。 The present invention has been made in view of the above problems, and has as its object to generate virtual viewpoint images corresponding to a plurality of different requirements.
上記課題を解決するため、本発明に係る画像処理システムは、例えば以下の構成を有する。すなわち、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点を示す視点情報を取得する情報取得手段と、前記画像取得手段により取得された画像と前記情報取得手段により取得された前記視点情報とに基づいて仮想視点画像を生成する生成手段であって、表示装置へ出力される第１の仮想視点画像と、前記第１の仮想視点画像より画質が高い第２の仮想視点画像であって前記表示装置への前記第１の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される第２の仮想視点画像とを生成する生成手段とを有する。 In order to solve the above problems, an image processing system according to the present invention has, for example, the following configuration. That is, an image acquisition unit that acquires an image based on photographing from a plurality of directions by a plurality of cameras, an information acquisition unit that acquires viewpoint information indicating a virtual viewpoint, an image acquired by the image acquisition unit, and the information acquisition Means for generating a virtual viewpoint image based on the viewpoint information obtained by the means, wherein a first virtual viewpoint image output to a display device and a first virtual viewpoint image having a higher image quality than the first virtual viewpoint image. Generating means for generating a second virtual viewpoint image and a second virtual viewpoint image output to another display device at a timing later than the output of the first virtual viewpoint image to the display device. .
本発明によれば、異なる複数の要件に応じた仮想視点画像を生成することができる。 According to the present invention, it is possible to generate a virtual viewpoint image according to a plurality of different requirements.
［システム構成］
以下、本発明の実施形態について図面を参照して説明する。まず図１を用いて、仮想視点画像を生成し出力する画像処理システム１０の構成について説明する。本実施形態における画像処理システム１０は、画像処理装置１、カメラ群２、表示装置３、及び表示装置４を有する。
[System configuration]
Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, the configuration of an
なお、本実施形態における仮想視点画像は、仮想的な視点から被写体を撮影した場合に得られる画像である。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。 Note that the virtual viewpoint image in the present embodiment is an image obtained when a subject is photographed from a virtual viewpoint. In other words, the virtual viewpoint image is an image representing the appearance at the designated viewpoint. The virtual viewpoint (virtual viewpoint) may be specified by the user, or may be automatically specified based on a result of image analysis or the like. That is, the virtual viewpoint image includes an arbitrary viewpoint image (free viewpoint image) corresponding to the viewpoint arbitrarily specified by the user. In addition, an image corresponding to a viewpoint designated by the user from a plurality of candidates and an image corresponding to a viewpoint automatically designated by the device are also included in the virtual viewpoint image. In the present embodiment, a case will be mainly described where the virtual viewpoint image is a moving image, but the virtual viewpoint image may be a still image.
カメラ群２は、複数のカメラを含み、各カメラはそれぞれ異なる方向から被写体を撮影する。本実施形態において、カメラ群２に含まれる複数のカメラは、それぞれが画像処理装置１と接続されており、撮影画像や各カメラのパラメータ等を画像処理装置１に送信する。ただしこれに限らず、カメラ群２に含まれる複数のカメラ同士が通信可能であり、カメラ群２に含まれる何れかのカメラが複数のカメラによる撮影画像や複数のカメラのパラメータ等を画像処理装置１に送信してもよい。また、カメラ群２に含まれる何れかのカメラが、撮影画像に代えて、複数のカメラによる撮影画像の差分に基づいて生成された画像など、カメラ群２による撮影に基づく画像を送信してもよい。
The
表示装置３は、仮想視点画像を生成するための仮想視点の指定を受け付け、指定に応じた情報を画像処理装置１に送信する。例えば、表示装置３はジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの入力部を有し、仮想視点を指定するユーザ（操作者）は入力部を操作することで仮想視点を指定する。本実施形態におけるユーザとは、表示装置３の入力部を操作して仮想視点を指定する操作者または表示装置４により表示される仮想視点画像を見る視聴者であり、操作者と視聴者を特に区別しない場合には単にユーザと記載する。本実施形態では視聴者と操作者が異なる場合を中心に説明するが、これに限らず、視聴者と操作者が同一のユーザであってもよい。なお、本実施形態において、表示装置３から画像処理装置１に送信される仮想視点の指定に応じた情報は、仮想視点の位置や向きを示す仮想視点情報である。ただしこれに限らず、仮想視点の指定に応じた情報は仮想視点画像における被写体の形状や向きなど仮想視点に応じて定まる内容を示す情報であってもよく、画像処理装置１はこのような仮想視点の指定に応じた情報に基づいて仮想視点画像を生成してもよい。
The
さらに表示装置３は、カメラ群２による撮影に基づく画像と表示装置３が受け付けた仮想視点の指定とに基づいて画像処理装置１により生成され出力された仮想視点画像を表示する。これにより操作者は、表示装置３に表示された仮想視点画像を見ながら仮想視点の指定を行うことができる。なお、本実施形態では仮想視点画像を表示する表示装置３が仮想視点の指定を受け付けるものとするが、これに限らない。例えば、仮想視点の指定を受け付ける装置と、操作者に仮想視点を指定させるための仮想視点画像を表示する表示装置とが、別々の装置であってもよい。
Further, the
また表示装置３は、操作者による操作に基づいて、仮想視点画像の生成を開始させるための生成指示を画像処理装置１に対して行う。なお生成指示はこれに限らず、例えば所定の時刻に仮想視点画像の生成が開始されるように画像処理装置１に仮想視点画像の生成を予約するための指示であってもよい。また例えば、所定のイベントが発生した場合に仮想視点画像の生成が開始されるように予約するための指示であってもよい。なお、画像処理装置１に対して仮想視点画像の生成指示を行う装置が表示装置３と異なる装置であってもよいし、ユーザが画像処理装置１に対して生成指示を直接入力してもよい。
Further, the
表示装置４は、表示装置３を用いた操作者による仮想視点の指定に基づいて画像処理装置１により生成される仮想視点画像を、仮想視点を指定する操作者とは異なるユーザ（視聴者）に対して表示する。なお、画像処理システム１０は複数の表示装置４を有していてもよく、複数の表示装置４がそれぞれ異なる仮想視点画像を表示してもよい。例えば、生放送される仮想視点画像（ライブ画像）を表示する表示装置４と、収録後に放送される仮想視点画像（非ライブ画像）を表示する表示装置４とが、画像処理システム１０に含まれていてもよい。
The display device 4 converts the virtual viewpoint image generated by the image processing apparatus 1 based on the designation of the virtual viewpoint by the operator using the
画像処理装置１は、カメラ情報取得部１００、仮想視点情報取得部１１０（以降、視点取得部１１０）、画像生成部１２０、及び出力部１３０を有する。カメラ情報取得部１００は、カメラ群２による撮影に基づく画像や、カメラ群２に含まれる各カメラの外部パラメータ及び内部パラメータなどを、カメラ群２から取得し、画像生成部１２０へ出力する。視点取得部１１０は、操作者による仮想視点の指定に応じた情報を表示装置３から取得し、画像生成部１２０へ出力する。また視点取得部１１０は、表示装置３による仮想視点画像の生成指示を受け付ける。画像生成部１２０は、カメラ情報取得部１００により取得された撮影に基づく画像と、視点取得部１１０により取得された指定に応じた情報と、視点取得部１１０により受け付けられた生成指示とに基づいて、仮想視点画像を生成し、出力部１３０へ出力する。出力部１３０は、画像生成部１２０により生成された仮想視点画像を、表示装置３や表示装置４などの外部の装置へ出力する。
The image processing device 1 includes a camera
なお、本実施形態において画像処理装置１は、画質の異なる複数の仮想視点画像を生成し、各仮想視点画像に応じた出力先に出力する。例えば、リアルタイム（低遅延）の仮想視点画像を要望する視聴者が見ている表示装置４には、生成に係る処理時間が短い低画質の仮想視点画像を出力する。一方、高画質の仮想視点画像を要望する視聴者が見ている表示装置４には、生成に係る処理時間が長い高画質の仮想視点画像を出力する。なお、本実施形態における遅延は、カメラ群２による撮影が行われてからその撮影に基づく仮想視点画像が表示されるまでの期間に対応する。ただし遅延の定義はこれに限らず、例えば現実世界の時刻と表示画像に対応する時刻との時間差を遅延としてもよい。
In the present embodiment, the image processing apparatus 1 generates a plurality of virtual viewpoint images having different image qualities and outputs the generated virtual viewpoint images to output destinations corresponding to the respective virtual viewpoint images. For example, a low-quality virtual viewpoint image with a short processing time for generation is output to the display device 4 viewed by a viewer who desires a real-time (low delay) virtual viewpoint image. On the other hand, a high-quality virtual viewpoint image with a long processing time for generation is output to the display device 4 that is viewed by a viewer who desires a high-quality virtual viewpoint image. Note that the delay in the present embodiment corresponds to a period from when an image is captured by the
続いて、画像処理装置１のハードウェア構成について、図２を用いて説明する。画像処理装置１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信部２０７、及びバス２０８を有する。ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて画像処理装置１の全体を制御する。なお、画像処理装置１がＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ２０１による処理の少なくとも一部をＧＰＵが行ってもよい。ＲＯＭ２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信部２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
Next, a hardware configuration of the image processing apparatus 1 will be described with reference to FIG. The image processing apparatus 1 includes a
表示部２０５は、例えば液晶ディスプレイ等で構成され、ユーザが画像処理装置１を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。通信部２０７は、カメラ群２や表示装置３、表示装置４などの外部の装置と通信を行う。例えば、画像処理装置１が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部２０７に接続される。なお、画像処理装置１が外部の装置と無線通信する機能を有する場合、通信部２０７はアンテナを備える。バス２０８は、画像処理装置１の各部を繋いで情報を伝達する。
The
なお、本実施形態では表示部２０５と操作部２０６は画像処理装置１の内部に存在するが、画像処理装置１は表示部２０５及び操作部２０６の少なくとも一方を備えていなくてもよい。また、表示部２０５及び操作部２０６の少なくとも一方が画像処理装置１の外部に別の装置として存在していて、ＣＰＵ２０１が、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作してもよい。
In the present embodiment, the
［動作フロー］
次に図３を用いて、画像処理装置１の動作の１形態について説明する。図３に示す処理は、視点取得部１１０が仮想視点画像の生成指示の受付を行ったタイミングで開始され、定期的（例えば仮想視点画像が動画である場合の１フレームごと）に繰り返される。ただし、図３に示す処理の開始タイミングは上記タイミングに限定されない。図３に示す処理は、ＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ２０１とは異なる専用のハードウェアにより実現してもよい。
[Operation flow]
Next, one mode of the operation of the image processing apparatus 1 will be described with reference to FIG. The process illustrated in FIG. 3 is started at a timing when the
図３に示すフローにおいて、Ｓ２０１０とＳ２０２０は情報を取得する処理に対応し、Ｓ２０３０−Ｓ２０５０は操作者に仮想視点を指定させるための仮想視点画像（指定用画像）を生成し出力する処理に対応する。また、Ｓ２０７０−Ｓ２１００は、ライブ画像を生成し出力する処理に対応する。Ｓ２１１０−Ｓ２１３０は、非ライブ画像を生成し出力する処理に対応する。以下、各ステップにおける処理の詳細を説明する。 In the flow illustrated in FIG. 3, S2010 and S2020 correspond to a process of acquiring information, and S2030 to S2050 correspond to a process of generating and outputting a virtual viewpoint image (designation image) for allowing the operator to specify a virtual viewpoint. I do. Steps S2070 to S2100 correspond to processing for generating and outputting a live image. Steps S2110 to S2130 correspond to processing for generating and outputting a non-live image. Hereinafter, the processing in each step will be described in detail.
Ｓ２０１０において、カメラ情報取得部１００は、カメラ群２による撮影に基づく各カメラの撮影画像と、各カメラの外部パラメータ及び内部パラメータを取得する。外部パラメータはカメラの位置や姿勢に関する情報であり、内部パラメータはカメラの焦点距離や画像中心に関する情報である。
In S2010, the camera
Ｓ２０２０において、視点取得部１１０は、操作者による仮想視点の指定に応じた情報として仮想視点情報を取得する。本実施形態において仮想視点情報は、仮想視点から被写体を撮影する仮想カメラの外部パラメータと内部パラメータに対応し、仮想視点画像の１フレームを生成するために１つの仮想視点情報が必要となる。
In S2020, the
Ｓ２０３０において、画像生成部１２０は、カメラ群２による撮影画像に基づいて、被写体となるオブジェクトの３次元形状を推定する。被写体となるオブジェクトは、例えば、カメラ群２の撮影範囲内に存在する人物や動体などである。画像生成部１２０は、カメラ群２から取得した撮影画像と、予め取得した各カメラに対応する背景画像との差分を算出することにより、撮影画像内のオブジェクトに対応する部分（前景領域）が抽出されたシルエット画像を生成する。そして画像生成部１２０は、各カメラに対応するシルエット画像と各カメラのパラメータを用いて、オブジェクトの３次元形状を推定する。３次元形状の推定には、例えばＶｉｓｕａｌ Ｈｕｌｌ手法が用いられる。この処理の結果、被写体となるオブジェクトの３次元形状を表現した３Ｄ点群（３次元座標を持つ点の集合）が得られる。なお、カメラ群２による撮影画像からオブジェクトの３次元形状を導出する方法はこれに限らない。
In S2030, the
Ｓ２０４０において、画像生成部１２０は、取得された仮想視点情報に基づいて、３Ｄ点群と背景３Ｄモデルをレンダリングし、仮想視点画像を生成する。背景３Ｄモデルは、例えばカメラ群２が設置されている競技場などのＣＧモデルであり、予め作成されて画像処理システム１０内に保存されている。ここまでの処理により生成される仮想視点画像において、オブジェクトに対応する領域や背景領域はそれぞれ所定の色（例えば一色）で表示される。なお、３Ｄ点群や背景３Ｄモデルをレンダリングする処理はゲームや映画の分野において既知であり、例えばＧＰＵを用いて処理する方法など、高速に処理を行うための方法が知られている。そのため、Ｓ２０４０までの処理で生成される仮想視点画像は、カメラ群２による撮影及び操作者による仮想視点の指定に応じて高速に生成可能である。
In S2040, the
Ｓ２０５０において、出力部１３０は、画像生成部１２０によりＳ２０４０で生成された仮想視点画像を、操作者に仮想視点を指定させるための表示装置３へ出力する。ここで、表示装置３により表示される表示画面３０の画面構成を、図４を用いて説明する。表示画面３０は領域３１０と領域３２０と領域３３０から構成される。例えば、指定用画像として生成された仮想視点画像は領域３１０に表示され、ライブ画像として生成された仮想視点画像は領域３２０に表示され、非ライブ画像として生成された仮想視点画像は領域３３０に表示される。すなわち、Ｓ２０４０において生成されＳ２０５０において出力された仮想視点画像は、領域３１０に表示される。そして操作者は領域３１０の画面を見ながら仮想視点の指定を行う。なお、表示装置３は少なくとも指定用画像を表示すればよく、ライブ画像や非ライブ画像を表示しなくてもよい。
In S2050, the
Ｓ２０６０において、画像生成部１２０は、Ｓ２０４０で生成した仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、仮想視点を指定させるための低画質な画像だけが必要とされている場合は、Ｓ２０７０へは進まず処理を終了する。一方、より高画質な画像が必要である場合は、Ｓ２０７０へ進み処理を続ける。
In S2060, the
Ｓ２０７０において、画像生成部１２０は、Ｓ２０３０で推定したオブジェクトの形状モデル（３Ｄ点群）を、例えばＰｈｏｔｏＨｕｌｌ手法を用いてさらに高精度化する。具体的には、３Ｄ点群の各点を各カメラの撮影画像に射影し、各撮影画像における色の一致度を評価することで、その点が被写体形状を表現するために必要な点かどうかを判定する。例えば３Ｄ点群内のある点について、射影先の画素値の分散が閾値より大きければ、その点は被写体の形状を表す点としては正しくないと判定され、３Ｄ点群からその点が削除される。この処理を３Ｄ点群内の全点に対して行い、オブジェクトの形状モデルの高精度化を実現する。なお、オブジェクトの形状モデルを高精度化する方法はこれに限らない。
In S2070, the
Ｓ２０８０において、画像生成部１２０は、Ｓ２０７０で高精度化された３Ｄ点群に色を付け、それを仮想視点の座標に射影して前景領域に対応する前景画像を生成する処理と、仮想視点から見た背景画像を生成する処理とを実行する。そして画像生成部１２０は、生成された背景画像に前景画像を重ねることでライブ画像としての仮想視点画像を生成する。
In step S2080, the
ここで、仮想視点画像の前景画像（オブジェクトに対応する領域の画像）を生成する方法の一例について説明する。前景画像を生成するために、３Ｄ点群に色を付ける処理が実行される。色付け処理は点の可視性判定と色の算出処理で構成される。可視性の判定では、３Ｄ点群内の各点とカメラ群２に含まれる複数のカメラとの位置関係から、各点について撮影可能なカメラを特定することができる。次に各点について、その点を撮影可能なカメラの撮影画像に点を射影し、射影先の画素の色をその点の色とする。ある点が複数のカメラにより撮影可能な場合、複数のカメラの撮影画像に点を射影し、射影先の画素値を取得し、画素値の平均を算出することでその点の色を決める。このようにして色が付けられた３Ｄ点群を既存のＣＧレンダリング手法によりレンダリングすることで、仮想視点画像の前景画像を生成することができる。
Here, an example of a method of generating a foreground image (image of an area corresponding to an object) of a virtual viewpoint image will be described. In order to generate a foreground image, a process of coloring a 3D point group is performed. The coloring process includes a process of determining the visibility of a point and a process of calculating a color. In the determination of the visibility, it is possible to specify a camera that can shoot each point from the positional relationship between each point in the 3D point group and a plurality of cameras included in the
次に、仮想視点画像の背景画像を生成する方法の一例について説明する。まず、背景３Ｄモデルの頂点（例えば競技場の端に対応する点）が設定される。そして、これらの頂点が、仮想視点に近い２台のカメラ（第１カメラ及び第２カメラとする）の座標系と仮想視点の座標系に射影される。また、仮想視点と第１カメラの対応点、及び仮想視点と第２カメラの対応点を用いて、仮想視点と第１カメラの間の第１射影行列と仮想視点と第２カメラの間の第２射影行列が算出される。そして、第１射影行列と第２射影行列を用いて、背景画像の各画素が第１カメラの撮影画像と第２カメラの撮影画像に射影され、射影先の２つの画素値の平均を算出することで、背景画像の画素値が決定される。なお、同様の方法により、３台以上のカメラの撮影画像から背景画像の画素値を決定してもよい。 Next, an example of a method for generating a background image of a virtual viewpoint image will be described. First, a vertex of the background 3D model (for example, a point corresponding to the edge of the stadium) is set. Then, these vertices are projected to a coordinate system of two cameras (referred to as a first camera and a second camera) near the virtual viewpoint and a coordinate system of the virtual viewpoint. Further, a first projection matrix between the virtual viewpoint and the first camera and a first projection matrix between the virtual viewpoint and the second camera are obtained by using a corresponding point between the virtual viewpoint and the first camera and a corresponding point between the virtual viewpoint and the second camera. Two projection matrices are calculated. Then, using the first projection matrix and the second projection matrix, each pixel of the background image is projected on the captured image of the first camera and the captured image of the second camera, and an average of two pixel values of the projection destination is calculated. Thus, the pixel value of the background image is determined. Note that the pixel value of the background image may be determined from images captured by three or more cameras by a similar method.
このようにして得られた仮想視点画像の背景画像上に前景画像を重ねることで、色が付いた仮想視点画像が生成できる。すなわち、Ｓ２０８０で生成された仮想視点画像はＳ２０４０で生成された仮想視点画像よりも色の階調数に関して画質が高い。逆に言うと、Ｓ２０４０で生成された仮想視点画像に含まれる色の階調数は、Ｓ２０８０で生成された仮想視点画像に含まれる色の階調数より少ない。なお、仮想視点画像に色情報を付加する方法はこれに限らない。 By superimposing the foreground image on the background image of the virtual viewpoint image obtained in this way, a colored virtual viewpoint image can be generated. That is, the virtual viewpoint image generated in S2080 has higher image quality with respect to the number of color gradations than the virtual viewpoint image generated in S2040. In other words, the number of gradations of the colors included in the virtual viewpoint image generated in S2040 is smaller than the number of gradations of the colors included in the virtual viewpoint image generated in S2080. Note that the method of adding color information to the virtual viewpoint image is not limited to this.
Ｓ２０９０において、出力部１３０は、画像生成部１２０によりＳ２０８０において生成された仮想視点画像を、ライブ画像として表示装置３及び表示装置４へ出力する。表示装置３に出力された画像は領域３２０へ表示されて操作者が見ることができ、表示装置４に出力された画像は視聴者が見ることができる。
In S2090, the
Ｓ２１００において、画像生成部１２０は、Ｓ２０８０において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、仮想視点画像を視聴者に対して生放送でのみ提供する場合は、Ｓ２１１０へは進まず処理を終了する。一方、収録後に視聴者に向けてより高画質な画像を放送する場合は、Ｓ２１１０へ進み処理を続ける。
In S2100, the
Ｓ２１１０において、画像生成部１２０は、Ｓ２０７０で生成されたオブジェクトの形状モデルをさらに高精度化する。本実施形態では、形状モデルの孤立点を削除することで高精度化を実現する。孤立点除去においては、まず、Ｐｈｏｔｏ Ｈｕｌｌで算出されたボクセル集合（３Ｄ点群）について、各ボクセルの周囲に別のボクセルが存在するか否か調べられる。周囲にボクセルがない場合、そのボクセルは孤立した点であると判断され、そのボクセルはボクセル集合から削除される。このようにして孤立点を削除した形状モデルを用いてＳ２０８０と同様の処理を実行することで、Ｓ２０８０で生成された仮想視点画像よりもオブジェクトの形状が高精度化された仮想視点画像が生成される。
In S2110, the
Ｓ２１２０において、画像生成部１２０は、Ｓ２１１０で生成された仮想視点画像の前景領域と背景領域との境界に平滑化処理をかけ、境界領域が滑らかに表示されるように画像の修正を行う。
In S2120, the
Ｓ２１３０において、出力部１３０は、画像生成部１２０によりＳ２１２０において生成された仮想視点画像を非ライブ画像として表示装置３及び表示装置４へ出力する。表示装置３へ出力された非ライブ画像は領域３３０へ表示される。
In S2130, the
以上の処理により画像処理装置１は、指定用画像としての仮想視点画像と、指定用画像より画質が高い仮想視点画像であるライブ画像とを、１組の撮影画像と仮想視点情報に基づいて生成する。また、画像処理装置１は、ライブ画像よりさらに画質が高い仮想視点画像である非ライブ画像も生成する。そして画像処理装置１は、生成したライブ画像及び非ライブ画像を、非ライブ画像が表示されるより前にライブ画像が表示されるように、表示装置４へ出力する。また画像処理装置１は、生成した指定用画像を、ライブ画像が表示装置４に表示されるより前に指定用画像が表示装置３に表示されるように、表示装置３へ出力する。
Through the above processing, the image processing apparatus 1 generates a virtual viewpoint image as a designation image and a live image that is a virtual viewpoint image having higher image quality than the designation image based on a set of captured images and virtual viewpoint information. I do. The image processing device 1 also generates a non-live image that is a virtual viewpoint image having higher image quality than the live image. Then, the image processing device 1 outputs the generated live image and the non-live image to the display device 4 so that the live image is displayed before the non-live image is displayed. Further, the image processing device 1 outputs the generated specifying image to the
これにより、表示装置４は、低画質の指定用画像と、指定用画像より高画質であり生放送されるライブ画像と、ライブ画像よりさらに高画質であり収録後に放送される非ライブ画像とを表示することが可能となる。なお、表示装置４はライブ画像と非ライブ画像の何れか一方だけを表示してもよく、その場合には画像処理装置１は表示装置４に適した仮想視点画像を出力する。また、表示装置３は、指定用画像としての低画質の仮想視点画像と、ライブ画像としての中画質の仮想視点画像と、非ライブ画像としての高画質の仮想視点画像との、３種類の仮想視点画像を表示することが可能となる。なお、表示装置３はライブ画像及び非ライブ画像の少なくとも何れかを表示しなくてもよい。
As a result, the display device 4 displays the low-quality designation image, the live image that has higher quality than the designation image and is broadcast live, and the non-live image that has higher quality than the live image and is broadcast after recording. It is possible to do. The display device 4 may display only one of a live image and a non-live image. In that case, the image processing device 1 outputs a virtual viewpoint image suitable for the display device 4. In addition, the
すなわち、画像処理装置１は、ユーザに仮想視点を指定させるための表示装置３に対して指定用画像を出力する。そして画像処理装置１は、ユーザによる仮想視点の指定に基づいて生成される仮想視点画像を表示するための表示装置４に対して指定用画像より高画質なライブ画像及び非ライブ画像の少なくとも何れかを出力する。これにより、仮想視点を指定するために低遅延で仮想視点画像を表示させたい操作者と、高画質な仮想視点画像を見たい視聴者の、両方の要件に応えることができる。
That is, the image processing apparatus 1 outputs the specification image to the
なお、以上の処理では、カメラ群２による撮影に基づく画像と仮想視点の指定に応じた情報とに基づいて仮想視点画像が生成され、その生成のための処理の結果に基づいてより高画質の仮想視点画像が生成される。そのため、低画質の仮想視点画像と高画質の仮想視点画像をそれぞれ独立した処理で生成する場合よりも、全体の処理量を低減することができる。ただし、低画質の仮想視点画像と高画質の仮想視点画像を独立した処理により生成してもよい。また、仮想視点画像を競技会場やライブ会場に設置されたディスプレイに表示させたり生放送したりする場合であって、収録後に放送する必要がない場合には、画像処理装置１は非ライブ画像を生成するための処理を行わない。これにより、高画質な非ライブ画像を生成するための処理量を削減することができる。
In the above processing, a virtual viewpoint image is generated based on the image based on the image captured by the
次に図５を用いて、画像処理装置１の動作の別の１形態について説明する。図３を用いて上述した動作形態では、低画質の仮想視点画像を生成した後に、新たな種別の処理を追加で行うことで、高画質の仮想視点画像を生成する。一方、図５を用いて以下で説明する動作形態では、仮想視点画像を生成するために使用するカメラの台数を増やすことで仮想視点画像の高画質化を実現する。以下の説明において、図３の処理と同様の部分については説明を省略する。 Next, another embodiment of the operation of the image processing apparatus 1 will be described with reference to FIG. In the operation mode described above with reference to FIG. 3, a high-quality virtual viewpoint image is generated by generating a low-quality virtual viewpoint image and additionally performing a new type of process. On the other hand, in the operation mode described below with reference to FIG. 5, the image quality of the virtual viewpoint image is improved by increasing the number of cameras used to generate the virtual viewpoint image. In the following description, a description of the same parts as those in the processing of FIG. 3 will be omitted.
図５に示す処理は、視点取得部１１０が仮想視点画像の生成指示の受付を行ったタイミングで開始される。ただし図５の処理の開始タイミングはこれに限定されない。Ｓ２０１０及びＳ２０２０において、画像処理装置１は、図３で説明したものと同様の処理により、カメラ群２の各カメラによる撮影画像と仮想視点情報とを取得する。
The process illustrated in FIG. 5 is started at a timing when the
Ｓ４０３０において、画像生成部１２０は、仮想視点画像の生成に用いる撮影画像に対応するカメラの数を設定する。ここで画像生成部１２０は、Ｓ４０５０−Ｓ４０７０の処理が所定の閾値（例えば仮想視点画像が動画である場合の１フレームに対応する時間）以下の処理時間で完了するようにカメラの数を設定する。例えば、予め１００台のカメラの撮影画像を用いてＳ４０５０−Ｓ４０７０の処理を実行し、その処理時間が０．５秒であったとする。この場合に、フレームレートが６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）である仮想視点画像の１フレームに対応する０．０１６秒以内にＳ４０５０−Ｓ４０７０の処理を完了させたければ、カメラの数を３台に設定する。
In S4030, the
なお、Ｓ４０５０−Ｓ４０７０の処理によって仮想視点画像が出力された後に、Ｓ４０８０において画像生成を続ける判断がされた場合、Ｓ４０３０に戻って使用するカメラの数を再設定する。ここでは、先に出力した仮想視点画像より高画質な仮想視点画像が生成されるように、許容する処理時間を長くし、それに応じてカメラの数を増やす。例えば、０．１秒以下の処理時間でＳ４０５０−Ｓ４０７０の処理が完了されるように、使用する撮影画像に対応するカメラの数を２０台に設定する。 If it is determined in step S4080 that the image generation is to be continued after the virtual viewpoint image is output by the processing in steps S4050 to S4070, the process returns to step S4030 to reset the number of cameras to be used. Here, the allowable processing time is increased so that a virtual viewpoint image having higher image quality than the previously output virtual viewpoint image is generated, and the number of cameras is increased accordingly. For example, the number of cameras corresponding to captured images to be used is set to 20 so that the processing of S4050 to S4070 is completed in a processing time of 0.1 second or less.
Ｓ４０４０において、画像生成部１２０は、仮想視点画像を生成するために使用する撮影画像に対応するカメラを、Ｓ４０３０で設定されたカメラの数に応じてカメラ群２の中から選択する。例えば、１００台のカメラから３台のカメラを選択する場合、仮想視点に一番近いカメラと、そのカメラから数えて３４台目のカメラ及び６７台目のカメラを選択する。
In S4040, the
また、仮想視点画像を１回生成した後に、使用する撮影画像の数を増やして２回目の処理を行う場合には、１回目の処理で推定した形状モデルをさらに高精度化することから、１回目で選択されたカメラ以外のカメラが選択される。具体的には、１００台のカメラから２０台のカメラを選択する場合、１回目の処理で選択されていないカメラの中から仮想視点に一番近いカメラをまず選択し、そこから５台間隔でカメラを選択していく。この際、１回目で既に選択したカメラは飛ばして次のカメラを選択する。なお、例えば非ライブ画像として最も高画質な仮想視点画像を生成する場合には、カメラ群２に含まれる全てのカメラを選択し、各カメラの撮影画像を使用してＳ４０５０−Ｓ４０７０の処理を実行する。
In addition, when the second processing is performed by increasing the number of captured images to be used after generating the virtual viewpoint image once, the shape model estimated in the first processing is further improved in accuracy. A camera other than the camera selected at the time is selected. Specifically, when selecting 20 cameras from 100 cameras, the camera closest to the virtual viewpoint is first selected from the cameras not selected in the first processing, and the camera is selected at intervals of 5 from the selected camera. Select cameras. At this time, the camera already selected at the first time is skipped and the next camera is selected. For example, when the highest quality virtual viewpoint image is generated as a non-live image, all the cameras included in the
なお、使用する撮影画像に対応するカメラを選択する方法はこれに限らない。例えば、仮想視点に近いカメラを優先して選択してもよい。この場合、被写体となるオブジェクトの形状推定において仮想視点からは見えない背面領域の形状推定の精度は低くなるが、仮想視点から見える前面領域の形状推定の精度は向上する。つまり、仮想視点画像の中で視聴者にとって目につき易い領域の画質を優先的に向上させることができる。 The method of selecting a camera corresponding to a captured image to be used is not limited to this. For example, a camera closer to the virtual viewpoint may be preferentially selected. In this case, in the shape estimation of the object serving as the subject, the accuracy of the shape estimation of the back region which cannot be seen from the virtual viewpoint is reduced, but the accuracy of the shape estimation of the front region seen from the virtual viewpoint is improved. That is, it is possible to preferentially improve the image quality of a region in the virtual viewpoint image that is easily visible to the viewer.
Ｓ４０５０において、画像生成部１２０は、Ｓ４０４０で選択されたカメラによる撮影画像を用いて、オブジェクトの形状推定処理を実行する。ここでの処理は、例えば、図３のＳ２０３０における処理（ＶｉｓｕａｌＨｕｌｌ）とＳ２０７０における処理（ＰｈｏｔｏＨｕｌｌ）の組み合わせである。ＶｉｓｕａｌＨｕｌｌの処理は、使用する複数の撮影画像に対応する複数のカメラの視体積の論理積を計算する処理を含む。また、ＰｈｏｔｏＨｕｌｌの処理は形状モデルの各点を複数の撮影画像に射影して画素値の一貫性を計算する処理を含む。そのため、使用する撮影画像に対応するカメラの数が少ないほど、形状推定の精度は低くなり処理時間が短くなる。
In step S4050, the
Ｓ４０６０において、画像生成部１２０は、レンダリング処理を実行する。ここでの処理は、図３のＳ２０８０における処理と同様であり、３Ｄ点群の色付け処理と背景画像の生成処理を含む。３Ｄ点群の色付け処理も背景画像の生成処理も、複数の撮影画像の対応する点の画素値を用いた計算により色を決定する処理を含む。そのため、使用する撮影画像に対応するカメラの数が少ないほど、レンダリングの精度は低くなり処理時間が短くなる。
In S4060, the
Ｓ４０７０において、出力部１３０は、画像生成部１２０によりＳ４０６０において生成された仮想視点画像を、表示装置３や表示装置４へ出力する。
In S4070, the
Ｓ４０８０において、画像生成部１２０は、Ｓ４０６０において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、Ｓ４０６０において生成された仮想視点画像が操作者に仮想視点を指定させるための画像であり、さらにライブ画像を生成する場合には、Ｓ４０３０に戻って、使用するカメラの数を増やしてライブ画像としての仮想視点画像を生成する。また、さらにライブ画像を生成した後に、非ライブ画像を生成する場合には、さらにカメラの数を増やして非ライブ画像としての仮想視点画像を生成する。すなわち、ライブ用画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数は、指定用画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数より多いため、ライブ画像は指定用画像よりも画質が高い。同様に、非ライブ画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数は、ライブ画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数よりも多いため、非ライブ画像はライブ画像よりも画質が高い。
In S4080, the
なおＳ４０８０において、既に生成した仮想視点画像より高画質な仮想視点画像を生成する必要がないと判断された場合、もしくはより高画質な仮想視点画像を生成することはできないと判断された場合には、処理を終了する。 If it is determined in S4080 that it is not necessary to generate a higher quality virtual viewpoint image than the already generated virtual viewpoint image, or if it is determined that a higher quality virtual viewpoint image cannot be generated, , And the process ends.
以上の処理により、画像処理装置１は、画質を段階的に向上させた複数の仮想視点画像をそれぞれ適切なタイミングで生成して出力することが可能となる。例えば、仮想視点画像の生成に使用するカメラを、設定された処理時間以内に生成処理が完了できるような台数に制限することで、遅延の少ない指定用画像を生成することができる。また、ライブ画像や非ライブ画像を生成する場合には、使用するカメラの数を増やして生成処理を行うことで、より高画質の画像を生成することができる。 Through the above processing, the image processing apparatus 1 can generate and output a plurality of virtual viewpoint images whose image quality is improved stepwise at appropriate timing. For example, by limiting the number of cameras used for generating a virtual viewpoint image to a number that allows the generation processing to be completed within a set processing time, a specification image with a small delay can be generated. When generating a live image or a non-live image, a higher quality image can be generated by increasing the number of cameras used and performing the generation process.
次に図６を用いて、画像処理装置１の動作の別の１形態について説明する。図５を用いて上述した動作形態では、仮想視点画像を生成するために使用するカメラの台数を増やすことで仮想視点画像の高画質化を実現する。一方、図６を用いて以下で説明する動作形態では、仮想視点画像の解像度を段階的に高めていくことで仮想視点画像の高画質化を実現する。以下の説明において、図３や図５の処理と同様の部分については説明を省略する。なお、以下で説明する動作形態においては、生成される仮想視点画像の画素数は常に４Ｋ（３８４０×２１６０）であり、画素値の計算を大きい画素ブロックごとに行うか小さい画素ブロックごとに行うかによって仮想視点画像の解像度を制御する。ただしこれに限らず、生成される仮想視点画像の画素数を変更することで解像度を制御してもよい。 Next, another mode of the operation of the image processing apparatus 1 will be described with reference to FIG. In the operation mode described above with reference to FIG. 5, the image quality of the virtual viewpoint image is improved by increasing the number of cameras used to generate the virtual viewpoint image. On the other hand, in the operation mode described below with reference to FIG. 6, high resolution of the virtual viewpoint image is realized by gradually increasing the resolution of the virtual viewpoint image. In the following description, the description of the same parts as those in the processing of FIGS. 3 and 5 will be omitted. In the operation mode described below, the number of pixels of the generated virtual viewpoint image is always 4K (3840 × 2160), and the calculation of the pixel value is performed for each large pixel block or each small pixel block. Controls the resolution of the virtual viewpoint image. However, the resolution is not limited to this, and the resolution may be controlled by changing the number of pixels of the generated virtual viewpoint image.
図６に示す処理は、視点取得部１１０が仮想視点画像の生成指示の受付を行ったタイミングで開始される。ただし図６の処理の開始タイミングはこれに限定されない。Ｓ２０１０及びＳ２０２０において、画像処理装置１は、図３で説明したものと同様の処理により、カメラ群２の各カメラによる撮影画像と仮想視点情報とを取得する。
The process illustrated in FIG. 6 is started at the timing when the
Ｓ５０３０において、画像生成部１２０は、生成する仮想視点画像の解像度を設定する。ここで画像生成部１２０は、Ｓ５０５０及びＳ４０７０の処理が所定の閾値以下の処理時間で完了するように解像度を設定する。例えば、予め４Ｋ解像度の仮想視点画像を生成する場合のＳ５０５０及びＳ４０７０の処理を実行し、その処理時間が０．５秒であったとする。この場合に、フレームレートが６０ｆｐｓである仮想視点画像の１フレームに対応する０．０１６秒以内にＳ５０５０及びＳ４０７０の処理を完了させたければ、解像度を４Ｋの０．０１６／０．５＝１／３１．２５倍以下にする必要がある。そこで、仮想視点画像の解像度を縦横それぞれ４Ｋ解像度の１／８倍に設定すれば、画素値を計算すべき画素ブロックの数は１／６４になり、０．０１６秒未満で処理を完了できる。
In S5030, the
なお、Ｓ５０５０及びＳ４０７０の処理によって仮想視点画像が出力された後に、Ｓ４０８０において画像生成を続ける判断がされた場合、Ｓ５０３０に戻って解像度を再設定する。ここでは、先に出力した仮想視点画像より高画質な仮想視点画像が生成されるように、許容する処理時間を長くし、それに応じて解像度を高くする。例えば、解像度を縦横それぞれ４Ｋ解像度の１／４に設定すると、０．１秒以下の処理時間でＳ５０５０及びＳ４０７０の処理が完了される。Ｓ５０４０において、画像生成部１２０は、仮想視点画像において画素値を計算すべき画素の位置を、Ｓ５０３０で設定された解像度に応じて決定する。例えば、仮想視点画像の解像度を４Ｋ解像度の１／８に設定した場合、縦横それぞれ８画素毎に画素値が算出される。そして、画素値が算出された画素（ｘ，ｙ）と画素（ｘ＋８，ｙ＋８）の間に存在する画素には、画素（ｘ，ｙ）と同じ画素値が設定される。
If it is determined in S4080 that the image generation is to be continued after the virtual viewpoint image is output in S5050 and S4070, the process returns to S5030 to reset the resolution. Here, the allowable processing time is increased so that a virtual viewpoint image having higher image quality than the previously output virtual viewpoint image is generated, and the resolution is increased accordingly. For example, when the resolution is set to 1/4 of the 4K resolution in each of the vertical and horizontal directions, the processing of S5050 and S4070 is completed in a processing time of 0.1 second or less. In S5040, the
また、仮想視点画像を１回生成した後に、解像度を高くして２回目の処理を行う場合には、１回目に画素値が算出された画素は飛ばして画素値を算出する。例えば、解像度が４Ｋ解像度の１／４に設定された場合、画素（ｘ＋４，ｙ＋４）の画素値を算出し、画素（ｘ＋４，ｙ＋４）と画素（ｘ＋８，ｙ＋８）の間に存在する画素には、画素（ｘ＋４，ｙ＋４）と同じ画素値が設定される。このように、画素値を算出する画素の数を増やしていくことで、仮想視点画像の解像度を最大で４Ｋ解像度まで高くすることができる。 When the second processing is performed after increasing the resolution after generating the virtual viewpoint image once, the pixel whose pixel value has been calculated the first time is skipped and the pixel value is calculated. For example, when the resolution is set to 1/4 of the 4K resolution, the pixel value of the pixel (x + 4, y + 4) is calculated, and the pixel existing between the pixel (x + 4, y + 4) and the pixel (x + 8, y + 8) is calculated. , The same pixel value as the pixel (x + 4, y + 4) is set. In this way, by increasing the number of pixels for which pixel values are calculated, the resolution of the virtual viewpoint image can be increased up to 4K resolution.
Ｓ５０５０において、画像生成部１２０は、Ｓ５０４０で決定された位置の画素の画素値を算出して仮想視点画像への色付け処理を行う。画素値の算出方法としては、例えばＩｍａｇｅ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ｈｕｌｌの方法を使用することができる。この方法では画素毎に画素値が算出されるので、画素値を算出すべき画素の数が少ないほど、すなわち仮想視点画像の解像度が低いほど、処理時間が短くなる。
In S5050, the
Ｓ４０７０において、出力部１３０は、画像生成部１２０によりＳ５０５０において生成された仮想視点画像を、表示装置３や表示装置４へ出力する。
In S4070, the
Ｓ４０８０において、画像生成部１２０は、Ｓ５０５０において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、Ｓ５０５０において生成された仮想視点画像が操作者に仮想視点を指定させるための画像であり、さらにライブ画像を生成する場合には、Ｓ５０３０に戻って、解像度を高くした仮想視点画像を生成する。また、ライブ画像を生成した後に、さらに非ライブ画像を生成する場合には、さらに解像度を高くした非ライブ画像としての仮想視点画像を生成する。すなわち、ライブ画像としての仮想視点画像は、指定用画像としての仮想視点画像より解像度が高いため、ライブ画像は指定用画像よりも画質が高い。同様に、非ライブ画像としての仮想視点画像は、ライブ画像としての仮想視点画像よりも解像度が高いため、非ライブ画像はライブ画像よりも画質が高い。
In S4080, the
なおＳ４０８０において、既に生成した仮想視点画像より高画質な仮想視点画像を生成する必要がないと判断された場合、もしくはより高画質な仮想視点画像を生成することはできないと判断された場合には、処理を終了する。 If it is determined in S4080 that it is not necessary to generate a higher quality virtual viewpoint image than the already generated virtual viewpoint image, or if it is determined that a higher quality virtual viewpoint image cannot be generated, , And the process ends.
以上の処理により、画像処理装置１は、解像度を段階的に向上させた複数の仮想視点画像をそれぞれ適切なタイミングで生成して出力することが可能となる。例えば、仮想視点画像の解像度を、設定された処理時間以内に生成処理が完了できるような解像度に設定することで、遅延の少ない指定用画像を生成することができる。また、ライブ画像や非ライブ画像を生成する場合には、解像度を高く設定して生成処理を行うことで、より高画質の画像を生成することができる。 Through the above processing, the image processing apparatus 1 can generate and output a plurality of virtual viewpoint images whose resolution is stepwise improved at appropriate timing. For example, by setting the resolution of the virtual viewpoint image to such a resolution that the generation processing can be completed within the set processing time, it is possible to generate a specification image with a small delay. When a live image or a non-live image is generated, a higher quality image can be generated by setting the resolution to a high value and performing the generation process.
以上のように、画像処理装置１は、仮想視点画像の画質を向上させるための画像処理を行うことにより高画質の画像（例えば非ライブ画像）を生成する。また画像処理装置１は、該画像処理に含まれる部分的な処理であって所定の閾値以下の処理時間で実行される処理によって低画質の画像（例えばライブ画像）を生成する。これにより、所定時間以下の遅延で表示される仮想視点画像と、高画質な仮想視点画像とを両方生成して表示することが可能となる。 As described above, the image processing device 1 generates a high-quality image (for example, a non-live image) by performing image processing for improving the image quality of the virtual viewpoint image. In addition, the image processing apparatus 1 generates a low-quality image (for example, a live image) by a process that is a partial process included in the image processing and that is performed with a processing time shorter than a predetermined threshold. This makes it possible to generate and display both a virtual viewpoint image displayed with a delay of a predetermined time or less and a high-quality virtual viewpoint image.
なお、図６の説明においては、所定の閾値以下の処理時間で生成処理を完了させるための生成パラメータ（解像度）を推定し、推定された生成パラメータで仮想視点画像を生成するものとした。ただしこれに限らず、画像処理装置１は、仮想視点画像の画質を段階的に向上させていき、処理時間が所定の閾値に達した時点において生成済みの仮想視点画像を出力してもよい。例えば、処理時間が所定の閾値に達した時点において、解像度が４Ｋ解像度の１／８である仮想視点画像が生成済みであり、解像度が４Ｋ解像度の１／４である仮想視点画像が未完成である場合には、１／８の解像度の仮想視点画像を出力してもよい。また、１／８の解像度から１／４の解像度へ解像度を向上させる処理が途中まで行われた仮想視点画像を出力してもよい。 In the description of FIG. 6, it is assumed that a generation parameter (resolution) for completing the generation process in a processing time equal to or shorter than a predetermined threshold is estimated, and a virtual viewpoint image is generated using the estimated generation parameter. However, the present invention is not limited thereto, and the image processing apparatus 1 may gradually improve the image quality of the virtual viewpoint image, and may output the generated virtual viewpoint image when the processing time reaches a predetermined threshold. For example, when the processing time reaches a predetermined threshold, a virtual viewpoint image with a resolution of 1/8 of the 4K resolution has already been generated, and a virtual viewpoint image with a resolution of 1/4 of the 4K resolution is incomplete. In some cases, a virtual viewpoint image with 1/8 resolution may be output. Alternatively, a virtual viewpoint image may be output in which the process of improving the resolution from ８ resolution to １ ／ resolution has been performed halfway.
本実施形態では、画像処理装置１が有する画像生成部１２０が、カメラ情報取得部１００が取得した画像と視点取得部１１０が取得した仮想視点情報とに基づいて仮想視点画像の生成を制御し、異なる画質の複数の仮想視点画像を生成する場合を中心に説明した。ただしこれに限らず、仮想視点画像の生成を制御する機能と、実際に仮想視点画像を生成する機能とが、それぞれ異なる装置に備わっていてもよい。
In the present embodiment, the
例えば、画像処理システム１０内に、画像生成部１２０の機能を有し仮想視点画像を生成する生成装置（不図示）が存在してもよい。そして、画像処理装置１はカメラ情報取得部１００が取得した画像及び視点取得部１１０が取得した情報に基づいて生成装置による仮想視点画像の生成を制御してもよい。具体的には、画像処理装置１が撮影画像と仮想視点情報を生成装置に送信し、仮想視点画像の生成を制御する指示を行う。そして生成装置は、第１の仮想視点画像と、第１の仮想視点画像が表示されるより早いタイミングで表示されるべき第２の仮想視点画像であって第１の仮想視点画像より画質が低い第２の仮想視点画像とを、受信した撮影画像と仮想視点情報とに基づいて生成する。ここで第１の仮想視点画像は例えば非ライブ画像であり、第２の仮想視点画像は例えばライブ画像である。ただし第１の仮想視点画像と第２の仮想視点画像の用途はこれに限定されない。なお、画像処理装置１は、第１の仮想視点画像と第２の仮想視点画像とがそれぞれ異なる生成装置により生成されるように制御を行ってもよい。また、画像処理装置１は、生成装置による仮想視点画像の出力先や出力タイミングを制御する等の出力制御を行ってもよい。
For example, a generation device (not shown) that has the function of the
また、生成装置が視点取得部１１０及び画像生成部１２０の機能を有しており、画像処理装置１がカメラ情報取得部１００により取得される画像に基づいて生成装置による仮想視点画像の生成を制御してもよい。ここでカメラ情報取得部１００により取得される画像は、カメラ群２により撮影された撮影画像や複数の撮影画像の差分に基づいて生成された画像などの、撮影に基づく画像である。また、生成装置がカメラ情報取得部１００及び画像生成部１２０の機能を有しており、画像処理装置１が視点取得部１１０により取得される画像に基づいて生成装置による仮想視点画像の生成を制御してもよい。ここで視点取得部１１０により取得される画像は、仮想視点画像における被写体の形状や向きなど仮想視点に応じて定まる内容を示す情報や仮想視点情報など、仮想視点の指定に応じた情報である。すなわち、画像処理装置１は、撮影に基づく画像及び仮想視点の指定に応じた情報の少なくとも何れかを含む仮想視点画像の生成に係る情報を取得し、取得した情報に基づいて仮想視点画像の生成を制御してもよい。
Further, the generation device has the functions of the
また例えば、画像処理システム１０内に存在する生成装置がカメラ情報取得部１００、視点取得部１１０及び画像生成部１２０の機能を有しており、画像処理装置１は仮想視点画像の生成に係る情報に基づいて生成装置による仮想視点画像の生成を制御してもよい。この場合における仮想視点画像の生成に係る情報は、例えば生成装置により生成される第１の仮想視点画像の画質に関するパラメータ及び第２の仮想視点画像の画質に関するパラメータの少なくとも何れかを含む。画質に関するパラメータの具体例としては、仮想視点画像の生成に用いられる撮影画像に対応するカメラの数、仮想視点画像の解像度、仮想視点画像の生成に係る処理時間として許容される時間等がある。画像処理装置１は例えば操作者による入力に基づいてこれらの画質に関するパラメータを取得し、パラメータを生成装置に送信するなど、取得したパラメータに基づいて生成装置を制御する。これにより操作者は、それぞれ異なる所望の画質の複数の仮想視点画像を生成させることができる。
Further, for example, the generation device existing in the
以上説明したように、画像処理装置１は、複数のカメラによるそれぞれ異なる方向からの被写体の撮影に基づく画像と仮想視点の指定に応じた情報とに基づく仮想視点画像の生成指示を受け付ける。そして画像処理装置１は、第１表示装置に出力される第１の仮想視点画像と第２表示装置に出力される第２の仮想視点画像とが、撮影に基づく画像と仮想視点の指定に応じた情報とに基づいて生成されるように、生成指示の受け付けに応じて制御を行う。ここで、第２の仮想視点画像は、第１の仮想視点画像より画質が高い仮想視点画像である。これにより、例えばリアルタイムで仮想視点画像を見たいユーザとリアルタイム性よりも仮想視点画像が高画質であることを優先するユーザの両方がいるような場合にも、表示されるべきタイミングに適した仮想視点画像を生成することができる。 As described above, the image processing apparatus 1 accepts an instruction to generate a virtual viewpoint image based on an image based on shooting of a subject from different directions by a plurality of cameras and information according to the designation of the virtual viewpoint. Then, the image processing device 1 determines whether the first virtual viewpoint image output to the first display device and the second virtual viewpoint image output to the second display device correspond to the image based on the shooting and the designation of the virtual viewpoint. The control is performed according to the reception of the generation instruction so that the generation instruction is generated based on the generated information. Here, the second virtual viewpoint image is a virtual viewpoint image having higher image quality than the first virtual viewpoint image. Accordingly, for example, even when there are both a user who wants to view the virtual viewpoint image in real time and a user who gives priority to the virtual viewpoint image having higher image quality than the real-time property, the virtual A viewpoint image can be generated.
なお、本実施形態では仮想視点画像の画質として色の階調、解像度、及び仮想視点画像の生成に用いられる撮影画像に対応するカメラの数を制御する場合について説明したが、画質としてその他のパラメータを制御してもよい。また、画質に関する複数のパラメータを同時に制御してもよい。 In the present embodiment, the case has been described in which the image quality of the virtual viewpoint image controls the color gradation, the resolution, and the number of cameras corresponding to the captured image used for generating the virtual viewpoint image. May be controlled. Also, a plurality of parameters relating to image quality may be controlled simultaneously.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。 The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions. Alternatively, the program may be provided by being recorded on a computer-readable recording medium.
１ 画像処理装置
２ カメラ群
１００ カメラ情報取得部
１１０ 仮想視点情報取得部
１２０ 画像生成部
DESCRIPTION OF SYMBOLS 1
Claims (25)
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得された画像と前記情報取得手段により取得された前記視点情報とに基づいて仮想視点画像を生成する生成手段であって、表示装置へ出力される第１の仮想視点画像と、前記第１の仮想視点画像より画質が高い第２の仮想視点画像であって前記表示装置への前記第１の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される前記第２の仮想視点画像とを生成する生成手段とを有することを特徴とする画像処理システム。 Image acquisition means for acquiring an image based on shooting from a plurality of directions by a plurality of cameras,
Information acquisition means for acquiring viewpoint information indicating a virtual viewpoint,
A generating unit configured to generate a virtual viewpoint image based on the image obtained by the image obtaining unit and the viewpoint information obtained by the information obtaining unit, and a first virtual viewpoint image output to a display device; The second virtual viewpoint image having a higher image quality than the first virtual viewpoint image, the second virtual viewpoint image being output to another display device at a later timing than the output of the first virtual viewpoint image to the display device. Generating means for generating two virtual viewpoint images.
前記第２の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項１又は２に記載の画像処理システム。 The display device to which the first virtual viewpoint image is output is a display device used to specify a virtual viewpoint to a user,
The image processing apparatus according to claim 1, wherein the another display device to which the second virtual viewpoint image is output is a display device that is not used to allow a user to specify a virtual viewpoint. system.
前記第２の仮想視点画像は、前記オブジェクトの形状に加えてさらに前記第１の仮想視点画像には表れない前記オブジェクトの色を表す画像であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。 The first virtual viewpoint image is an image representing a shape of an object captured by at least one of the plurality of cameras,
11. The image according to claim 1, wherein the second virtual viewpoint image is an image representing a color of the object that does not appear in the first virtual viewpoint image in addition to the shape of the object. 2. The image processing system according to claim 1.
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得された画像と前記情報取得手段により取得された前記視点情報とに基づいて仮想視点画像を生成する生成手段であって、表示装置へ出力される第１の仮想視点画像と、前記表示装置への前記第１の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される第２の仮想視点画像とを生成する生成手段とを有し、
前記画像取得手段により取得された撮影に基づく画像から前記第２仮想視点画像を生成する処理に係る前記生成手段の処理量は、当該撮影に基づく画像から前記第１仮想視点画像を生成する処理に係る前記生成手段の処理量より大きいことを特徴とする画像処理システム。 Image acquisition means for acquiring an image based on shooting from a plurality of directions by a plurality of cameras,
Information acquisition means for acquiring viewpoint information indicating a virtual viewpoint,
A generating unit configured to generate a virtual viewpoint image based on the image obtained by the image obtaining unit and the viewpoint information obtained by the information obtaining unit, and a first virtual viewpoint image output to a display device; Generating means for generating a second virtual viewpoint image output to another display device at a timing later than the output of the first virtual viewpoint image to the display device,
The processing amount of the generating unit according to the process of generating the second virtual viewpoint image from the image based on the image captured by the image obtaining unit is the same as the process amount of generating the first virtual viewpoint image from the image based on the shooting. An image processing system, wherein the processing amount is larger than the processing amount of the generation unit.
前記第２の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項１６又は１７に記載の画像処理システム。 The display device to which the first virtual viewpoint image is output is a display device used to specify a virtual viewpoint to a user,
The image processing according to claim 16, wherein the another display device to which the second virtual viewpoint image is output is a display device that is not used to allow a user to specify a virtual viewpoint. system.
複数のカメラによる複数の方向からの撮影に基づく画像と仮想視点を示す視点情報とに基づいて仮想視点画像を生成する生成手段を制御する制御手段であって、表示装置へ出力される第１の仮想視点画像と、前記第１の仮想視点画像より画質が高い第２の仮想視点画像であって前記表示装置への前記第１の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される前記第２の仮想視点画像とが前記生成手段により生成されるように、前記受付手段による前記生成指示の受け付けに応じて前記生成手段を制御する制御手段とを有することを特徴とする画像処理装置。 Receiving means for receiving a virtual viewpoint image generation instruction;
Control means for controlling a generation means for generating a virtual viewpoint image based on an image based on images taken by a plurality of cameras from a plurality of directions and viewpoint information indicating a virtual viewpoint, the first means being a first output to a display device A virtual viewpoint image and a second virtual viewpoint image having higher image quality than the first virtual viewpoint image, which are output to another display device at a later timing than the output of the first virtual viewpoint image to the display device. Control means for controlling the generation means in response to the reception of the generation instruction by the reception means so that the second virtual viewpoint image to be generated is generated by the generation means. Processing equipment.
前記第２の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項１９又は２０に記載の画像処理装置。 The display device to which the first virtual viewpoint image is output is a display device used to specify a virtual viewpoint to a user,
21. The image processing apparatus according to claim 19, wherein the another display device to which the second virtual viewpoint image is output is a display device that is not used to allow a user to specify a virtual viewpoint. apparatus.
仮想視点を示す視点情報を取得する情報取得工程と、
前記画像取得工程において取得された画像と前記情報取得工程において取得された前記視点情報とに基づいて仮想視点画像を生成する生成工程であって、表示装置へ出力される第１の仮想視点画像と、前記第１の仮想視点画像より画質が高い第２の仮想視点画像であって前記表示装置への前記第１の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される前記第２の仮想視点画像とを生成する生成工程とを有することを特徴とする画像処理方法。 An image obtaining step of obtaining an image based on shooting from a plurality of directions by a plurality of cameras,
An information acquisition step of acquiring viewpoint information indicating a virtual viewpoint,
A generation step of generating a virtual viewpoint image based on the image acquired in the image acquisition step and the viewpoint information acquired in the information acquisition step, and a first virtual viewpoint image output to a display device; The second virtual viewpoint image having a higher image quality than the first virtual viewpoint image, the second virtual viewpoint image being output to another display device at a later timing than the output of the first virtual viewpoint image to the display device. And a generating step of generating two virtual viewpoint images.
前記第２の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項２２又は２３に記載の画像処理方法。 The display device to which the first virtual viewpoint image is output is a display device used to specify a virtual viewpoint to a user,
24. The image processing apparatus according to claim 22, wherein the another display device to which the second virtual viewpoint image is output is a display device that is not used to allow a user to specify a virtual viewpoint. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018192134A JP6672417B2 (en) | 2018-10-10 | 2018-10-10 | Image processing apparatus, image processing system, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018192134A JP6672417B2 (en) | 2018-10-10 | 2018-10-10 | Image processing apparatus, image processing system, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016211905A Division JP6419128B2 (en) | 2016-10-28 | 2016-10-28 | Image processing apparatus, image processing system, image processing method, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020036313A Division JP7016899B2 (en) | 2020-03-03 | 2020-03-03 | Image processing equipment, image processing system, image processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019053738A JP2019053738A (en) | 2019-04-04 |
| JP6672417B2 true JP6672417B2 (en) | 2020-03-25 |
Family
ID=66013478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018192134A Active JP6672417B2 (en) | 2018-10-10 | 2018-10-10 | Image processing apparatus, image processing system, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6672417B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11682142B2 (en) | 2019-12-20 | 2023-06-20 | Raytheon Company | Information weighted rendering of 3D point set |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3532823B2 (en) * | 2000-03-31 | 2004-05-31 | 株式会社東芝 | Image composition method and medium recording image composition program |
| JP3971691B2 (en) * | 2002-10-31 | 2007-09-05 | 日本電信電話株式会社 | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and recording medium |
| JP6128748B2 (en) * | 2012-04-13 | 2017-05-17 | キヤノン株式会社 | Image processing apparatus and method |
| JP2013255171A (en) * | 2012-06-08 | 2013-12-19 | Canon Inc | Image distribution apparatus and image display apparatus |
| JP2014215828A (en) * | 2013-04-25 | 2014-11-17 | シャープ株式会社 | Image data reproduction device, and viewpoint information generation device |
| CN105264876B (en) * | 2013-05-26 | 2019-04-23 | 皮克索洛特公司 | The method and system of inexpensive television production |
-
2018
- 2018-10-10 JP JP2018192134A patent/JP6672417B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019053738A (en) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6419128B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP7051457B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP6407460B1 (en) | Image processing apparatus, image processing method, and program | |
| JP7439146B2 (en) | Image processing system, image processing method and program | |
| JP7023696B2 (en) | Information processing equipment, information processing methods and programs | |
| KR20210059775A (en) | Image composition | |
| JP6672417B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP6717486B1 (en) | Extended virtual space providing system | |
| WO2022176719A1 (en) | Image processing device, image processing method, and program | |
| JP2020035218A (en) | Image processing device, method, and program | |
| US20230291865A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2022103836A (en) | Information processing device, information processing method, and program | |
| JP2023175503A (en) | Image processing apparatus and its image processing method | |
| JP2022094788A (en) | Generating device, generating method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181010 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200304 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6672417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |