JP6685364B2 - Display control device and display control method - Google Patents

Display control device and display control method Download PDF

Info

Publication number
JP6685364B2
JP6685364B2 JP2018201135A JP2018201135A JP6685364B2 JP 6685364 B2 JP6685364 B2 JP 6685364B2 JP 2018201135 A JP2018201135 A JP 2018201135A JP 2018201135 A JP2018201135 A JP 2018201135A JP 6685364 B2 JP6685364 B2 JP 6685364B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
display control
virtual
viewpoint
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018201135A
Other languages
Japanese (ja)
Other versions
JP2019115035A (en
Inventor
奥谷　泰夫
泰夫 奥谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018201135A priority Critical patent/JP6685364B2/en
Publication of JP2019115035A publication Critical patent/JP2019115035A/en
Application granted granted Critical
Publication of JP6685364B2 publication Critical patent/JP6685364B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、撮像画像に基づく仮想視点画像の表示技術に関するものである。   The present invention relates to a display technology of a virtual viewpoint image based on a captured image.

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、該撮影により得られた複数枚の画像（複数視点画像）を用いて、カメラ設置位置からの画像だけでなく任意の視点（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。   In recent years, a plurality of cameras have been installed at different positions to perform synchronous shooting from multiple viewpoints, and a plurality of images (multi-viewpoint images) obtained by the shooting are used to determine not only an image from the camera installation position but also an arbitrary viewpoint. A technique for generating an image (virtual viewpoint image) from a (virtual viewpoint) is drawing attention.

複数視点画像に基づく仮想視点画像の生成及び閲覧は、次のような処理によって実現できる。すなわち、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、該画像処理部にて仮想視点に基づくレンダリング等の処理を行って仮想視点画像を生成し、該仮想視点画像をユーザ端末に表示することで実現できる。   Generation and viewing of a virtual viewpoint image based on a plurality of viewpoint images can be realized by the following processing. That is, images captured by a plurality of cameras are aggregated in an image processing unit such as a server, the image processing unit performs processing such as rendering based on a virtual viewpoint to generate a virtual viewpoint image, and the virtual viewpoint image is displayed by the user. It can be realized by displaying it on the terminal.

仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作することができる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動させながら、試合観戦したりすることができるようにもなり、ユーザに高臨場感を与えることができる。特許文献１では、ユーザが複数の仮想視点の中からひとつの仮想視点を選択する技術が開示されている。   In a service using a virtual viewpoint image, for example, a video creator can create a powerful viewpoint content from a video image of a soccer or basketball game. In addition, the user who is viewing the content can freely watch the game while moving his or her viewpoint freely, and can give the user a high sense of presence. Patent Document 1 discloses a technique in which a user selects one virtual viewpoint from a plurality of virtual viewpoints.

特開２０１４−２１５８２８号公報JP, 2014-215828, A

特許文献１に記載の発明では、複数用意された仮想視点の中からユーザがひとつの仮想視点を選択し、該選択された仮想視点における仮想視点画像を表示することができる。また、仮想視点のおおよその位置が文字列で表示されるため、仮想視点の区別をすることができる。しかしながら、例えばスポーツの生中継において仮想視点のオペレータが利用する場合、仮想視点の切り替え前に切り替え後の仮想視点画像に何が映るのかを知ることができない。そのため、プレーに応じた仮想視点の適切な選択を行えない場合があった。本発明は、ユーザに適切な仮想視点を選択させるための技術を提供する。   In the invention described in Patent Document 1, the user can select one virtual viewpoint from a plurality of prepared virtual viewpoints, and the virtual viewpoint image at the selected virtual viewpoint can be displayed. Moreover, since the approximate position of the virtual viewpoint is displayed as a character string, the virtual viewpoint can be distinguished. However, for example, when a virtual viewpoint operator is used in live sports broadcasting, it is not possible to know what appears in the virtual viewpoint image after switching before the virtual viewpoint is switched. Therefore, it may not be possible to appropriately select the virtual viewpoint according to the play. The present invention provides a technique for allowing a user to select an appropriate virtual viewpoint.

本発明の一様態は、仮想視点画像に対応する仮想視点の位置及び向きを変更するためのユーザ操作に応じた入力を受け付ける視点操作受付手段と、
前記視点操作受付手段により受け付けられるユーザ操作に応じた入力に基づいて位置及び向きを変更可能な複数の仮想視点に対応する複数の仮想視点画像を画面上に表示させる表示制御手段と、
前記表示制御手段により前記画面上に表示された前記複数の仮想視点画像に含まれる仮想視点画像を選択するためのユーザ操作に応じた入力を受け付ける選択操作受付手段と
を有し、
前記複数の仮想視点のうち前記選択操作受付手段により受け付けられたユーザ操作に応じた入力に基づいて決定された仮想視点に対応する仮想視点画像は、複数の撮影装置が撮影対象領域を撮影して得られる複数の撮影画像に基づいて生成され、他の装置へ送信されることを特徴とする。 According to one aspect of the present invention, a viewpoint operation reception unit that receives an input according to a user operation for changing the position and orientation of a virtual viewpoint corresponding to a virtual viewpoint image,
Display control means for displaying on the screen a plurality of virtual viewpoint images corresponding to a plurality of virtual viewpoints whose positions and orientations can be changed based on an input according to a user operation received by the viewpoint operation receiving means ,
A selection operation receiving unit that receives an input according to a user operation for selecting a virtual viewpoint image included in the plurality of virtual viewpoint images displayed on the screen by the display control unit ,
Virtual viewpoint image corresponding to the virtual viewpoint that is determined based on the input corresponding to a user operation accepted by the selection operation acceptance means of the plurality of virtual viewpoints, a plurality of photographing devices photographing the imaging region It is characterized in that it is generated based on a plurality of captured images obtained and transmitted to another device.

本発明の構成により、ユーザに適切な仮想視点を選択させることができる。   The configuration of the present invention allows the user to select an appropriate virtual viewpoint.

システムの構成例を示すブロック図。The block diagram which shows the structural example of a system. 表示制御装置１００の機能構成例を示すブロック図。3 is a block diagram showing a functional configuration example of the display control device 100. FIG. システムが行う処理のフローチャート。The flowchart of the process which a system performs. 表示画面の構成例、仮想視点の配置例を示す図。The figure which shows the structural example of a display screen, and the example of arrangement | positioning of a virtual viewpoint. 「複数の仮想視点に係る情報」の構成例を示す図。The figure which shows the structural example of "the information which concerns on several virtual viewpoints." 表示制御装置１００の機能構成例を示すブロック図。3 is a block diagram showing a functional configuration example of the display control device 100. FIG. システムが行う処理のフローチャート。The flowchart of the process which a system performs. 入力デバイスの一例を示す図。The figure which shows an example of an input device. システムが行う処理のフローチャート。The flowchart of the process which a system performs. 表示制御装置１００の機能構成例を示すブロック図。3 is a block diagram showing a functional configuration example of the display control device 100. FIG. システムが行う処理のフローチャート。The flowchart of the process which a system performs. 第４の実施形態を説明する図。The figure explaining 4th Embodiment. 第４の実施形態を説明する図。The figure explaining 4th Embodiment. 仮想視点セットの一例、テーブル情報の構成例を示す図。The figure which shows an example of a virtual viewpoint set, and the structural example of table information.

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。   Embodiments of the present invention will be described below with reference to the accompanying drawings. In addition, the embodiment described below shows an example of the case where the present invention is specifically implemented, and is one of the specific embodiments of the configuration described in the claims.

［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、表示制御装置１００、画像生成装置１１０、撮像装置１０９−１〜１０９−ｎ（ｎは２以上の整数）、を有する。 [First Embodiment]
First, a configuration example of the system according to the present embodiment will be described with reference to the block diagram of FIG. As shown in FIG. 1, the system according to the present embodiment includes a display control device 100, an image generation device 110, and imaging devices 109-1 to 109-n (n is an integer of 2 or more).

先ず、撮像装置１０９−１〜１０９−ｎについて説明する。撮像装置１０９−１〜１０９−ｎは互いに異なる複数の方向から被写体の映像を撮像するために設けられたものであり、撮像装置１０９−１〜１０９−ｎのそれぞれは、撮像した映像を構成する各フレームの画像（撮像画像）を画像生成装置１１０に出力する。撮像装置１０９−１〜１０９−ｎと画像生成装置１１０との間の接続形態については特定の接続形態に限らない。すなわち、撮像装置１０９−１〜１０９−ｎと画像生成装置１１０との間の接続形態はデイジーチェーンであっても良いし、スター型のネットワーク構成であっても良い。また、この接続形態は無線であっても良いし有線であっても良いし、それらの組み合わせであっても良い。   First, the image pickup devices 109-1 to 109-n will be described. The image capturing devices 109-1 to 109-n are provided to capture the image of the subject from a plurality of different directions, and each of the image capturing devices 109-1 to 109-n constitutes the imaged image. The image (captured image) of each frame is output to the image generation device 110. The connection form between the imaging devices 109-1 to 109-n and the image generation device 110 is not limited to a specific connection form. That is, the connection form between the imaging devices 109-1 to 109-n and the image generation device 110 may be a daisy chain or a star type network configuration. Further, this connection form may be wireless, wired, or a combination thereof.

次に、表示制御装置１００について説明する。表示制御装置１００は、仮想視点に基づく仮想視点画像の生成を画像生成装置１１０に要求し、該要求に応じて該画像生成装置１１０が生成した仮想視点画像の表示制御を行うものである。表示制御装置１００は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット型端末装置、等のコンピュータ装置により構成される。   Next, the display control device 100 will be described. The display control device 100 requests the image generation device 110 to generate a virtual viewpoint image based on a virtual viewpoint, and controls the display of the virtual viewpoint image generated by the image generation device 110 in response to the request. The display control device 100 is configured by a computer device such as a PC (personal computer), a smartphone, a tablet terminal device, or the like.

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１０１は、表示制御装置１００全体の動作制御を行うと共に、表示制御装置１００が行うものとして後述する各処理を実行若しくは制御する。   A CPU (Central Processing Unit) 101 executes processing using computer programs and data stored in a ROM (Read-Only Memory) 102 and a RAM (Random Access Memory) 103. As a result, the CPU 101 controls the operation of the entire display control device 100, and also executes or controls each process described below as being performed by the display control device 100.

ＲＯＭ１０２には、起動プログラムや設定データなど、書換不要のコンピュータプログラムやデータが格納されている。   The ROM 102 stores computer programs and data that do not require rewriting, such as startup programs and setting data.

ＲＡＭ１０３は、ＲＯＭ１０２やＨＤＤ（ハードディスクドライブ）１０４からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ１０３は、通信Ｉ／Ｆ（インターフェース）１０６を介して画像生成装置１１０から受信したデータ（例えば仮想視点画像）、を格納するためのエリアを有する。またＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。   The RAM 103 has an area for storing computer programs and data loaded from the ROM 102 and HDD (hard disk drive) 104. Further, the RAM 103 has an area for storing data (for example, a virtual viewpoint image) received from the image generating apparatus 110 via the communication I / F (interface) 106. The RAM 103 also has a work area used when the CPU 101 executes various processes. In this way, the RAM 103 can provide various areas as needed.

ＨＤＤ１０４は、ＯＳ（オペレーティングシステム）や、表示制御装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。ＨＤＤ１０４に保存されているデータには、以下の説明において既知の情報として説明するものが含まれている。ＨＤＤ１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。   The HDD 104 stores an OS (operating system), and computer programs and data for causing the CPU 101 to execute or control each process described below as being performed by the display control device 100. The data stored in the HDD 104 includes what is described as known information in the following description. The computer programs and data stored in the HDD 104 are appropriately loaded into the RAM 103 under the control of the CPU 101, and are processed by the CPU 101.

表示部１０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１０５は、ＣＰＵ１０１による処理結果を画像や文字として投影する投影装置であっても良い。また表示部１０５は、タッチパネル画面であっても良いし、ＨＭＤ（ヘッドマウントディスプレイ）等の頭部装着型表示装置、ハンドヘルドタイプの表示装置、スマートフォン、タブレット型端末装置であっても良い。   The display unit 105 includes a CRT, a liquid crystal screen, and the like, and can display the processing result by the CPU 101 as an image or characters. The display unit 105 may be a projection device that projects the processing result of the CPU 101 as an image or a character. The display unit 105 may be a touch panel screen, a head-mounted display device such as an HMD (head mount display), a handheld display device, a smartphone, or a tablet terminal device.

通信Ｉ／Ｆ１０６は、画像生成装置１１０との間のデータ通信を行うためのインターフェースとして機能するものである。表示制御装置１００と画像生成装置１１０との間の接続形態は特定の接続形態に限るものではない。例えば、表示制御装置１００と画像生成装置１１０との間のネットワークは無線ネットワークであっても良いし、有線ネットワークであっても良いし、それらの組み合わせであっても良い。   The communication I / F 106 functions as an interface for performing data communication with the image generating apparatus 110. The connection form between the display control device 100 and the image generation device 110 is not limited to a specific connection form. For example, the network between the display control device 100 and the image generation device 110 may be a wireless network, a wired network, or a combination thereof.

操作部１０７は、キーボード、マウス、ジョイスティック、ゲームパッド、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。   The operation unit 107 is composed of a user interface such as a keyboard, a mouse, a joystick, a game pad, a touch panel, and the like, and can be operated by the user to input various instructions to the CPU 101.

ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、表示部１０５、通信Ｉ／Ｆ１０６、操作部１０７、は何れもバス１０８に接続されている。なお、図１に示した表示制御装置１００の構成は一例であり、以下に表示制御装置１００が行うものとして後述する処理を実現可能な構成であれば、如何なる構成を採用しても良い。例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等の情報記録媒体への情報の読み書きを行う構成を表示制御装置１００に加えても良い。この場合、ＨＤＤ１０４が保持するものとして説明する情報をこの情報記録媒体に格納させておいても良い。また、情報を記録する媒体として、表示制御装置１００とネットワークを介して接続されているサーバ装置を使用しても良い。このように、表示制御装置１００が取り扱うコンピュータプログラムやデータなどの情報を保持する機器は特定の機器に限らない。   The CPU 101, the ROM 102, the RAM 103, the HDD 104, the display unit 105, the communication I / F 106, and the operation unit 107 are all connected to the bus 108. It should be noted that the configuration of the display control device 100 shown in FIG. 1 is an example, and any configuration may be adopted as long as it is a configuration capable of realizing the processing described below as being performed by the display control device 100. For example, a configuration may be added to the display control device 100 to read / write information from / to an information recording medium such as a flexible disk (FD), CD-ROM, DVD, USB memory, MO, or flash memory. In this case, the information described as being held by the HDD 104 may be stored in this information recording medium. A server device connected to the display control device 100 via a network may be used as a medium for recording information. As described above, the device that holds information such as a computer program and data handled by the display control device 100 is not limited to a specific device.

次に、画像生成装置１１０について説明する。画像生成装置１１０は、表示制御装置１００からの要求に応じて、仮想視点に基づく仮想視点画像の生成を、撮像装置１０９−１〜１０９−ｎのうち１つ以上の撮像装置による撮像画像に基づいて生成する。そして画像生成装置１１０は、該生成した仮想視点画像を表示制御装置１００に対して送信する。画像生成装置１１０は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット型端末装置、等のコンピュータ装置により構成される。   Next, the image generation device 110 will be described. In response to a request from the display control device 100, the image generation device 110 generates a virtual viewpoint image based on a virtual viewpoint based on images captured by one or more of the imaging devices 109-1 to 109-n. To generate. Then, the image generation device 110 transmits the generated virtual viewpoint image to the display control device 100. The image generation device 110 is configured by a computer device such as a PC (personal computer), a smartphone, a tablet type terminal device, or the like.

次に、表示制御装置１００の機能構成例について、図２のブロック図を用いて説明する。管理部２０１は、ＨＤＤ１０４やＲＡＭ１０３に保持している複数の仮想視点に係る情報を管理する。管理部２０１が管理する「複数の仮想視点に係る情報」の構成例について、図５を用いて説明する。図５のテーブル情報は、「複数の仮想視点に係る情報」の一例である。図５のテーブル情報には、６つの仮想視点のそれぞれの視点情報（視点種類、視点ＩＤ、位置、方向、画角）が登録されている。なお、図５では、視点情報には視点種類、視点ＩＤ、位置、方向、画角が含まれているものとしたが、視点情報が含む情報はこれに限らず、例えば、視点種類、視点ＩＤ、位置、方向、画角に加えて焦点距離など他の情報を含んでも良い。また、各仮想視点を規定する情報の内容や各視点を規定する情報の管理方法については特定の形態に限らない。   Next, a functional configuration example of the display control device 100 will be described with reference to the block diagram of FIG. The management unit 201 manages information related to a plurality of virtual viewpoints held in the HDD 104 and the RAM 103. A configuration example of "information relating to a plurality of virtual viewpoints" managed by the management unit 201 will be described with reference to FIG. The table information of FIG. 5 is an example of “information relating to a plurality of virtual viewpoints”. In the table information of FIG. 5, viewpoint information (viewpoint type, viewpoint ID, position, direction, angle of view) of each of the six virtual viewpoints is registered. Note that in FIG. 5, the viewpoint information includes the viewpoint type, viewpoint ID, position, direction, and angle of view, but the information included in the viewpoint information is not limited to this. In addition to the position, direction, and angle of view, other information such as the focal length may be included. Further, the content of information defining each virtual viewpoint and the management method of information defining each viewpoint are not limited to a specific form.

図５に示す如く、６つの仮想視点のうち１つの仮想視点のみが選択仮想視点（視点種類）となり、残りの５つの仮想視点が切替用仮想視点（視点種類）となる。「選択仮想視点」とは、ユーザが操作部１０７を操作して操作する対象となる仮想視点であり、「切替用仮想視点」とは、ユーザが操作部１０７を操作して選択仮想視点として選択する候補となる仮想視点である。図５の場合、視点ＩＤ＝４０８に対応する仮想視点が選択仮想視点であり、視点ＩＤ＝４０９〜４１３に対応する仮想視点が切替用仮想視点である。   As shown in FIG. 5, only one of the six virtual viewpoints is the selected virtual viewpoint (viewpoint type), and the remaining five virtual viewpoints are switching virtual viewpoints (viewpoint type). The “selected virtual viewpoint” is a virtual viewpoint to be operated by the user operating the operation unit 107, and the “switching virtual viewpoint” is selected by the user operating the operation unit 107 as a selected virtual viewpoint. It is a virtual viewpoint that is a candidate for. In the case of FIG. 5, the virtual viewpoint corresponding to the viewpoint ID = 408 is the selected virtual viewpoint, and the virtual viewpoint corresponding to the viewpoint ID = 409 to 413 is the switching virtual viewpoint.

例えば、ユーザが操作部１０７を操作して視点ＩＤ＝４０９の仮想視点を選択仮想視点として選択（指定）する操作を行ったとする。このとき管理部２０１は、視点ＩＤ＝４０９に対応する視点種類を「選択仮想視点」に変更し、視点ＩＤ＝４０８に対応する視点種類を「切替用仮想視点」に変更する。このようにして、ユーザは操作部１０７を操作することで、図５のテーブル情報に登録されている６つの仮想視点のうち任意の１つの仮想視点を選択仮想視点として選択することができる。以下では具体的な説明を行うために、ＨＤＤ１０４やＲＡＭ１０３には図５に示すようなテーブル情報が登録されているものとし、管理部２０１は、このテーブル情報を管理しているものとする。切替用仮想視点の初期値は、事前にユーザにより任意に設定されたものでもよいし、システムによって定められた任意の値を用いてもよい。   For example, it is assumed that the user operates the operation unit 107 to perform an operation of selecting (designating) the virtual viewpoint with the viewpoint ID = 409 as the selected virtual viewpoint. At this time, the management unit 201 changes the viewpoint type corresponding to the viewpoint ID = 409 to “selected virtual viewpoint” and the viewpoint type corresponding to the viewpoint ID = 408 to “switching virtual viewpoint”. In this way, the user operates the operation unit 107 to select any one virtual viewpoint from the six virtual viewpoints registered in the table information of FIG. 5 as the selected virtual viewpoint. In the following, for concrete description, it is assumed that table information as shown in FIG. 5 is registered in the HDD 104 and the RAM 103, and the management unit 201 manages this table information. The initial value of the switching virtual viewpoint may be arbitrarily set by the user in advance, or an arbitrary value set by the system may be used.

そして管理部２０１は、テーブル情報に登録されている各切替用仮想視点の視点情報を読み出して出力部２０２に対して出力する。また管理部２０１は、テーブル情報に登録されている選択仮想視点の視点情報を読み出す。そして管理部２０１は、該読み出した視点情報に含まれている位置をコピーした第２位置、該視点情報に含まれている方向をコピーした第２方向、該視点情報に含まれている画角をコピーした第２画角を生成する。そして管理部２０１は、テーブル情報に登録されている選択仮想視点の視点情報に含まれている視点種類及び視点ＩＤと、第２位置、第２方向、第２画角と、を含む選択視点情報を生成し、該選択視点情報を出力部２０２に対して出力する。   Then, the management unit 201 reads out the viewpoint information of each switching virtual viewpoint registered in the table information and outputs the viewpoint information to the output unit 202. Further, the management unit 201 reads out the viewpoint information of the selected virtual viewpoint registered in the table information. Then, the management unit 201 copies the position included in the read viewpoint information, the second position, the second direction in which the direction included in the viewpoint information is copied, and the view angle included in the viewpoint information. To generate a second angle of view. Then, the management unit 201 selects the selected viewpoint information including the viewpoint type and viewpoint ID included in the viewpoint information of the selected virtual viewpoint registered in the table information, and the second position, the second direction, and the second angle of view. Is generated and the selected viewpoint information is output to the output unit 202.

出力部２０２は、管理部２０１から出力された視点情報及び選択視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して出力することで、選択仮想視点及び各切替用仮想視点に対応する仮想視点画像の生成を画像生成装置１１０に対して要求する。   The output unit 202 outputs the viewpoint information and the selected viewpoint information output from the management unit 201 to the image generation apparatus 110 via the communication I / F 106 to correspond to the selected virtual viewpoint and each switching virtual viewpoint. The image generation apparatus 110 is requested to generate a virtual viewpoint image.

受信部２０３は、出力部２０２による上記の要求に応じて画像生成装置１１０が生成した仮想視点画像（選択仮想視点に対応する仮想視点画像、切替用仮想視点に対応する仮想視点画像）を、通信Ｉ／Ｆ１０６を介して画像生成装置１１０から受信する。なお、画像生成装置１１０から出力される仮想視点画像には、該仮想視点画像に対応する仮想視点の視点ＩＤが添付されているものとする。   The receiving unit 203 communicates the virtual viewpoint image (the virtual viewpoint image corresponding to the selected virtual viewpoint, the virtual viewpoint image corresponding to the switching virtual viewpoint) generated by the image generating apparatus 110 in response to the above request from the output unit 202. It is received from the image generation apparatus 110 via the I / F 106. It is assumed that the virtual viewpoint image output from the image generation apparatus 110 is attached with the viewpoint ID of the virtual viewpoint corresponding to the virtual viewpoint image.

制御部２０４は、受信部２０３が受信したそれぞれの仮想視点画像を互いに重複することなく、表示部１０５の表示画面上に並べて表示する。例えば図４（ａ）に示す如く、表示部１０５における表示領域４０１内の表示領域４０２には、受信部２０３が受信した仮想視点画像のうち選択仮想視点に対応する視点ＩＤが添付された仮想視点画像が表示される。また、表示領域４０１内の表示領域４０３〜４０６には、受信部２０３が受信した仮想視点画像のうち切替用仮想視点の視点ＩＤが添付された仮想視点画像が表示される。図５の場合、視点ＩＤ＝４０８の選択仮想視点について画像生成装置１１０が生成した仮想視点画像は表示領域４０２内に表示される。また、視点ＩＤ＝４０９〜４１２の切替用仮想視点について画像生成装置１１０が生成した仮想視点画像はそれぞれ、表示領域４０３〜４０６に表示される。   The control unit 204 displays the virtual viewpoint images received by the receiving unit 203 side by side on the display screen of the display unit 105 without overlapping each other. For example, as shown in FIG. 4A, in the display area 402 in the display area 401 of the display unit 105, the virtual viewpoint to which the viewpoint ID corresponding to the selected virtual viewpoint of the virtual viewpoint images received by the receiving unit 203 is attached is displayed. The image is displayed. Further, in the display areas 403 to 406 in the display area 401, the virtual viewpoint image to which the viewpoint ID of the switching virtual viewpoint of the virtual viewpoint images received by the receiving unit 203 is attached is displayed. In the case of FIG. 5, the virtual viewpoint image generated by the image generating apparatus 110 for the selected virtual viewpoint of viewpoint ID = 408 is displayed in the display area 402. Further, the virtual viewpoint images generated by the image generating apparatus 110 for the switching virtual viewpoints of viewpoint ID = 409 to 412 are displayed in the display areas 403 to 406, respectively.

なお、表示領域４０１は、表示部１０５の表示画面の全体領域であっても良いし、表示部１０５の表示画面の一部領域（例えば表示部１０５に表示されているウィンドウ内の領域）であっても良い。   The display area 401 may be the entire area of the display screen of the display unit 105 or a partial area of the display screen of the display unit 105 (for example, the area within the window displayed on the display unit 105). May be.

入力部２０５は、ユーザが操作部１０７を操作することで入力した操作入力（ユーザ操作）に応じて、選択視点情報に含まれている第２位置、第２方向、第２画角のうち少なくとも１つを変更操作することで、ユーザによる選択仮想視点の操作を実現する。つまり、ユーザが操作部１０７を操作して選択仮想視点の位置や方向や画角を変更しても、この変更は上記のテーブル情報には反映されず、選択仮想視点に対応する仮想視点画像の生成に反映されることになる。   The input unit 205 includes at least the second position, the second direction, and the second angle of view included in the selected viewpoint information according to the operation input (user operation) input by the user operating the operation unit 107. By changing one, the user operates the selected virtual viewpoint. That is, even if the user operates the operation unit 107 to change the position, direction, or angle of view of the selected virtual viewpoint, the change is not reflected in the above table information and the virtual viewpoint image corresponding to the selected virtual viewpoint is displayed. It will be reflected in the generation.

更に入力部２０５は、ユーザが操作部１０７を操作して選択仮想視点の選択操作を行った場合には、管理部２０１に対して選択仮想視点の変更を指示する。管理部２０１による選択仮想視点の変更処理については上記の通りである。   Further, when the user operates the operation unit 107 to select the selected virtual viewpoint, the input unit 205 instructs the management unit 201 to change the selected virtual viewpoint. The processing for changing the selected virtual viewpoint by the management unit 201 is as described above.

なお、以下では、図２の各機能部（管理部２０１、出力部２０２、受信部２０３、制御部２０４、入力部２０５）を処理の主体として説明する。しかし、実際には、これらの機能部の機能をＣＰＵ１０１に実行させるためのコンピュータプログラムを該ＣＰＵ１０１が実行することで、該機能部の機能が実現される。これは、後述する図６，１０についても同様である。なお、図２に記載の機能構成の一部またはすべてを専用のハードウェアにより実現してもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどである。また、図２に記載の機能構成の一部を、表示制御装置１００とは異なる１または複数の他の装置が有していてもよい。   In the following description, each functional unit (management unit 201, output unit 202, reception unit 203, control unit 204, input unit 205) in FIG. However, actually, the functions of the functional units are realized by the CPU 101 executing a computer program for causing the CPU 101 to execute the functions of these functional units. This also applies to FIGS. 6 and 10 described later. Note that part or all of the functional configuration shown in FIG. 2 may be realized by dedicated hardware. The dedicated hardware is, for example, an ASIC, FPGA, GPU, or the like. In addition, a part of the functional configuration illustrated in FIG. 2 may be included in one or more other devices different from the display control device 100.

また、図１では、画像生成装置１１０と表示制御装置１００とは別個の装置としているが、画像生成装置１１０と表示制御装置１００とを一体化させても良い。その場合、出力部２０２及び受信部２０３は省くことができる。   Although the image generation device 110 and the display control device 100 are separate devices in FIG. 1, the image generation device 110 and the display control device 100 may be integrated. In that case, the output unit 202 and the receiving unit 203 can be omitted.

次に、本実施形態に係るシステムが行う処理について、図３のフローチャートに従って説明する。図３のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。また図３のステップＳ３０２〜ステップＳ３１０の処理は仮想視点の設定画面（例えば図４（ａ）の表示領域４０１）に表示する仮想視点画像の１フレームにつき１回ループするものとする。例えば６０ｆｐｓ（フレーム／秒）で仮想視点画像を生成する場合、このループは１秒間に６０回繰り返されることになる。   Next, the processing performed by the system according to this embodiment will be described with reference to the flowchart of FIG. The process according to the flowchart of FIG. 3 is started when the application for setting the virtual viewpoint is started and is ended until the application for setting the virtual viewpoint is ended. Further, the processing of steps S302 to S310 in FIG. 3 is assumed to be looped once for each frame of the virtual viewpoint image displayed on the virtual viewpoint setting screen (for example, the display area 401 in FIG. 4A). For example, when a virtual viewpoint image is generated at 60 fps (frame / second), this loop will be repeated 60 times per second.

ステップＳ３０１では、管理部２０１は、上記のテーブル情報に登録されているそれぞれの切替用仮想視点の視点情報を読み出すと共に、上記のテーブル情報に登録されている選択仮想視点の視点情報から選択視点情報を生成する。そして管理部２０１は、各切替用仮想視点の視点情報及び選択仮想視点の選択視点情報のそれぞれを出力部２０２に対して出力する。   In step S301, the management unit 201 reads the viewpoint information of each switching virtual viewpoint registered in the table information, and selects the selected viewpoint information from the viewpoint information of the selected virtual viewpoint registered in the table information. To generate. Then, the management unit 201 outputs the viewpoint information of each switching virtual viewpoint and the selected viewpoint information of the selected virtual viewpoint to the output unit 202.

ステップＳ３０２では、出力部２０２は、管理部２０１から出力された全ての切替用仮想視点の視点情報を画像生成装置１１０に対して送信したか否かを判断する。この判断の結果、管理部２０１から出力された各切替用仮想視点の視点情報のうち未だ画像生成装置１１０に対して送信していない視点情報が残っている場合には、処理はステップＳ３０３に進む。一方、この判断の結果、管理部２０１から出力された全ての切替用仮想視点の視点情報を画像生成装置１１０に対して送信済みである場合には、処理はステップＳ３０５に進む。   In step S302, the output unit 202 determines whether or not the viewpoint information of all the switching virtual viewpoints output from the management unit 201 has been transmitted to the image generation apparatus 110. As a result of this determination, if the viewpoint information that has not yet been transmitted to the image generating apparatus 110 remains among the viewpoint information of each switching virtual viewpoint output from the management unit 201, the process proceeds to step S303. . On the other hand, as a result of this determination, when the viewpoint information of all the switching virtual viewpoints output from the management unit 201 has been transmitted to the image generating apparatus 110, the process proceeds to step S305.

ステップＳ３０３では、出力部２０２は、管理部２０１から出力された切替用仮想視点の視点情報のうち未送信の視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して出力する。画像生成装置１１０は、出力部２０２から出力された視点情報に含まれている位置、方向、画角と、撮像装置１０９−１〜１０９−ｎのうち１つ以上の撮像装置による撮像画像と、に基づいて仮想視点画像を生成する。そして画像生成装置１１０は、該生成した仮想視点画像に、該視点情報に含まれている視点ＩＤを添付して表示制御装置１００に対して送信する。   In step S303, the output unit 202 outputs the untransmitted viewpoint information among the viewpoint information of the switching virtual viewpoint output from the management unit 201 to the image generation apparatus 110 via the communication I / F 106. The image generation apparatus 110 includes a position, a direction, and an angle of view included in the viewpoint information output from the output unit 202, and an image captured by one or more of the image capturing apparatuses 109-1 to 109-n. A virtual viewpoint image is generated based on. Then, the image generating apparatus 110 attaches the viewpoint ID included in the viewpoint information to the generated virtual viewpoint image and transmits the virtual viewpoint image to the display control apparatus 100.

ステップＳ３０４では、受信部２０３は、画像生成装置１１０から送信された仮想視点画像を通信Ｉ／Ｆ１０６を介して受信する。そして、制御部２０４は、該受信した仮想視点画像を、該仮想視点画像に添付されている視点ＩＤに対応する表示領域（表示領域４０３〜４０６の何れか）に表示する。   In step S304, the receiving unit 203 receives the virtual viewpoint image transmitted from the image generating apparatus 110 via the communication I / F 106. Then, the control unit 204 displays the received virtual viewpoint image in the display area (one of the display areas 403 to 406) corresponding to the viewpoint ID attached to the virtual viewpoint image.

ステップＳ３０５で入力部２０５は、ユーザが操作部１０７を操作して選択仮想視点の位置／方向／画角を変更する操作入力を行った場合、選択視点情報に含まれている第２位置／第２方向／第２画角に対して、該操作入力に応じた変更を行う。例えばユーザが操作部１０７を操作することで選択仮想視点の位置を変更する操作入力を行った場合には、入力部２０５は、選択視点情報に含まれている第２位置をこの操作入力に応じて変更する。またユーザが操作部１０７を操作することで選択仮想視点の方向を変更する操作入力を行った場合には、入力部２０５は、選択視点情報に含まれている第２方向をこの操作入力に応じて変更する。またユーザが操作部１０７を操作することで選択仮想視点の画角を変更する操作入力を行った場合には、入力部２０５は、選択視点情報に含まれている第２画角をこの操作入力に応じて変更する。   In step S305, when the user operates the operation unit 107 to perform an operation input to change the position / direction / angle of view of the selected virtual viewpoint, the input unit 205 includes the second position / second position included in the selected viewpoint information. The two directions / second angle of view are changed according to the operation input. For example, when the user inputs an operation input to change the position of the selected virtual viewpoint by operating the operation unit 107, the input unit 205 sets the second position included in the selected viewpoint information to the operation input. To change. When the user operates the operation unit 107 to perform an operation input for changing the direction of the selected virtual viewpoint, the input unit 205 determines the second direction included in the selected viewpoint information according to the operation input. To change. Further, when the user operates the operation unit 107 to perform an operation input for changing the angle of view of the selected virtual viewpoint, the input unit 205 inputs the second angle of view included in the selected viewpoint information to this operation input. Change accordingly.

ステップＳ３０６では、出力部２０２は、選択視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して送信することで、該選択視点情報に基づいて選択仮想視点に対応する仮想視点画像の生成を画像生成装置１１０に対して要求する。画像生成装置１１０は、該要求に応じて、上記のステップＳ３０３と同様にして選択仮想視点に対応する仮想視点画像を生成し、該生成した仮想視点画像に、選択視点情報に含まれている視点ＩＤを添付して表示制御装置１００に対して送信する。   In step S306, the output unit 202 generates the virtual viewpoint image corresponding to the selected virtual viewpoint based on the selected viewpoint information by transmitting the selected viewpoint information to the image generation device 110 via the communication I / F 106. Is requested to the image generation apparatus 110. In response to the request, the image generation device 110 generates a virtual viewpoint image corresponding to the selected virtual viewpoint in the same manner as in step S303 described above, and the viewpoint included in the selected viewpoint information is included in the generated virtual viewpoint image. The ID is attached and transmitted to the display control device 100.

ステップＳ３０７では、受信部２０３は、ステップＳ３０６にて画像生成装置１１０から送信された仮想視点画像を通信Ｉ／Ｆ１０６を介して受信する。そして制御部２０４は、該受信した仮想視点画像を、該仮想視点画像に添付されている視点ＩＤに対応する表示領域（表示領域４０２）に表示する。   In step S307, the reception unit 203 receives the virtual viewpoint image transmitted from the image generation device 110 in step S306 via the communication I / F 106. Then, the control unit 204 displays the received virtual viewpoint image in the display area (display area 402) corresponding to the viewpoint ID attached to the virtual viewpoint image.

ステップＳ３０８では、入力部２０５は、ユーザが操作部１０７を操作することで選択仮想視点の選択指示を入力したか否かを判断する。例えば、ユーザが操作部１０７を操作して図４（ａ）の表示領域４０３〜４０６のうち表示領域４０５を指定する操作を行ったとする。このとき入力部２０５は、表示領域４０５に表示される仮想視点画像に対応する仮想視点を選択仮想視点として選択する操作指示の入力があったと判断する。なお、選択仮想視点の選択操作方法は特定の選択操作方法に限らない。   In step S308, the input unit 205 determines whether or not the user operates the operation unit 107 to input a selection instruction of the selected virtual viewpoint. For example, it is assumed that the user operates the operation unit 107 to perform an operation of designating the display area 405 among the display areas 403 to 406 in FIG. At this time, the input unit 205 determines that an operation instruction for selecting the virtual viewpoint corresponding to the virtual viewpoint image displayed in the display area 405 as the selected virtual viewpoint has been input. The selection operation method of the selected virtual viewpoint is not limited to the specific selection operation method.

この判断の結果、選択仮想視点の選択指示を入力した場合には、処理はステップＳ３０９に進み、選択仮想視点の選択指示を入力していない場合には、処理はステップＳ３１０に進む。   As a result of this determination, if the selection instruction of the selected virtual viewpoint is input, the process proceeds to step S309, and if the selection instruction of the selected virtual viewpoint is not input, the process proceeds to step S310.

ステップＳ３０９では、管理部２０１は、ユーザが操作部１０７を操作することで表示領域４０１上で選択した仮想視点仮想に対応する切替用仮想視点についてテーブル情報で管理している視点種類を「選択仮想視点」に変更する。そして管理部２０１は、表示領域４０２に表示している仮想視点画像についてテーブル情報で管理している視点種類を「切替用仮想視点」に変更する。そして管理部２０１は、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報にて管理している位置をコピーした第２位置を生成する。また管理部２０１は、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報にて管理している方向をコピーした第２方向を生成する。また管理部２０１は、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報にて管理している画角をコピーした第２画角を生成する。つまり、第２位置、第２方向、第２画角のそれぞれは常に、現在の選択仮想視点の最新の位置、方向、画角を表すものである。そして管理部２０１は、視点種類「選択視点情報」と、ステップＳ３０９で更新された第２位置、第２方向、第２画角と、視点種類が「選択仮想視点」に変更された仮想視点についてテーブル情報で管理している視点ＩＤと、を含む選択視点情報を生成する。なお、管理部２０１は、選択仮想視点として設定されている視点ＩＤに対応する位置／方向／画角を、切り替え指示により特定された切替用仮想視点の値と同じにしてもよい。   In step S <b> 309, the management unit 201 sets the viewpoint type managed by the table information regarding the switching virtual viewpoint corresponding to the virtual viewpoint virtual selected on the display area 401 by the user operating the operation unit 107 to “selection virtual”. Change to "viewpoint". Then, the management unit 201 changes the viewpoint type managed in the table information for the virtual viewpoint image displayed in the display area 402 to “switching virtual viewpoint”. Then, the management unit 201 generates a second position that is a copy of the position managed by the table information regarding the virtual viewpoint whose viewpoint type has been changed to the “selected virtual viewpoint”. The management unit 201 also generates a second direction in which the direction managed by the table information is copied for the virtual viewpoint whose viewpoint type has been changed to the “selected virtual viewpoint”. The management unit 201 also generates a second angle of view obtained by copying the angle of view managed in the table information for the virtual viewpoint whose viewpoint type has been changed to the “selected virtual viewpoint”. That is, each of the second position, the second direction, and the second angle of view always represents the latest position, direction, and angle of view of the currently selected virtual viewpoint. Then, the management unit 201, regarding the viewpoint type “selected viewpoint information”, the second position, the second direction, and the second angle of view updated in step S309, and the virtual viewpoint whose viewpoint type is changed to “selected virtual viewpoint” The selected viewpoint information including the viewpoint ID managed by the table information is generated. Note that the management unit 201 may set the position / direction / angle of view corresponding to the viewpoint ID set as the selected virtual viewpoint to be the same as the value of the switching virtual viewpoint specified by the switching instruction.

このように、ユーザ（仮想視点のオペレータ）は、表示領域４０２に表示されている仮想視点画像を見ながら、操作部１０７を操作して所望の仮想視点画像を得るべく仮想視点の位置や方向や画角を操作することができる。またユーザは、表示領域４０３〜４０６を参照することで所望の仮想視点画像を得るために望ましい視点を探すことができる。そして、望ましい視点の仮想視点画像を見つけた場合には、その仮想視点画像を選択指定することで、該該仮想視点画像が表示領域４０２に表示され、その仮想視点を操作することができる。然るに表示領域４０２〜４０６は図４（ａ）に示す如く、互いに重ならずに表示されることが望まれるし、一度に閲覧できることが望まれる。   As described above, the user (the operator of the virtual viewpoint) operates the operation unit 107 while looking at the virtual viewpoint image displayed in the display area 402 to obtain the position and direction of the virtual viewpoint in order to obtain the desired virtual viewpoint image. The angle of view can be manipulated. Further, the user can search for a desired viewpoint in order to obtain a desired virtual viewpoint image by referring to the display areas 403-406. When a virtual viewpoint image having a desired viewpoint is found, the virtual viewpoint image is displayed in the display area 402 by selecting and designating the virtual viewpoint image, and the virtual viewpoint can be operated. Therefore, it is desired that the display areas 402 to 406 are displayed without overlapping with each other as shown in FIG.

ステップＳ３１０では、入力部２０５は、ユーザが操作部１０７を操作することで、仮想視点の設定用アプリケーションの終了指示を入力したか否かを判断する。この判断の結果、仮想視点の設定用アプリケーションの終了指示を入力した場合には、図３のフローチャートに従った処理は終了し、仮想視点の設定用アプリケーションの終了指示を入力していない場合には、処理はステップＳ３０２に進む。   In step S310, the input unit 205 determines whether or not the user operates the operation unit 107 to input a termination instruction of the virtual viewpoint setting application. As a result of this determination, if the end instruction of the application for setting the virtual viewpoint is input, the processing according to the flowchart of FIG. 3 ends, and if the end instruction of the application for setting the virtual viewpoint is not input, The process proceeds to step S302.

仮想視点の配置例を図４（ｂ）に示す。図４（ｂ）に示す如く、仮想視点４０８〜４１３は、サッカーのフィールド４０７における様々な位置で様々な方向から該フィールド４０７を観察できるように設定されており、それぞれの仮想視点の位置、方向、画角は図５に示す如く管理されている。例えば、仮想視点の位置は、フィールド４０７に対して規定されている座標系における３次元位置、仮想視点の方向は、パン、チルト、ロールの値、仮想視点の画角は、該仮想視点の水平画角の値とする。表示制御装置１００は、図４（ｂ）に示す画面を図４（ａ）に示す画面とともに表示させてもよい。表示制御装置１００は、撮影対象であるフィールド４０７の俯瞰図に、各仮想視点の位置を示すアイコン（図４（ｂ）に示す例ではカメラを示すアイコン）を表示させる。また、表示制御装置１００は、選択仮想視点の位置と切替用仮想視点の位置とを識別可能に区別して表示させてもよい。例えば、表示制御装置１００は、選択仮想視点の位置と切替用仮想視点の位置とを異なる色またはアイコンにより表示してもよい。また、表示制御装置１００は、仮想視点の位置を示すアイコンに視点ＩＤを関連付けて表示してもよい。このように、図４（ｂ）に示す仮想視点の配置を表示することで、選択仮想視点と切替用仮想視点との位置関係を容易に把握させることが可能となり、所望の仮想視点画像を得るために望ましい視点を探すことができる。   An example of arrangement of virtual viewpoints is shown in FIG. As shown in FIG. 4B, the virtual viewpoints 408 to 413 are set so that the field 407 can be observed from various directions at various positions in the soccer field 407. The angle of view is managed as shown in FIG. For example, the position of the virtual viewpoint is a three-dimensional position in the coordinate system defined for the field 407, the direction of the virtual viewpoint is the pan, tilt, and roll values, and the angle of view of the virtual viewpoint is the horizontal direction of the virtual viewpoint. The value of the angle of view. The display control device 100 may display the screen shown in FIG. 4B together with the screen shown in FIG. The display control device 100 displays an icon indicating the position of each virtual viewpoint (in the example shown in FIG. 4B, an icon indicating a camera) on the bird's-eye view of the field 407 that is a shooting target. Further, the display control device 100 may display the position of the selected virtual viewpoint and the position of the switching virtual viewpoint in a distinguishable manner. For example, the display control device 100 may display the position of the selected virtual viewpoint and the position of the switching virtual viewpoint in different colors or icons. Further, the display control device 100 may display the icon indicating the position of the virtual viewpoint in association with the viewpoint ID. In this way, by displaying the arrangement of the virtual viewpoints shown in FIG. 4B, it becomes possible to easily grasp the positional relationship between the selected virtual viewpoint and the switching virtual viewpoint, and obtain a desired virtual viewpoint image. You can search for the desired perspective for.

なお、図５のテーブル情報では、視点ＩＤ＝４１３に対応する視点種類は「切替用仮想視点（非表示）」となっており、表示対象ではないことを示している。制御部２０４は、この視点種類に対応する仮想視点画像は表示しない。また、この視点種類に対応する仮想視点画像を生成しないようにしても良い。   In the table information of FIG. 5, the viewpoint type corresponding to the viewpoint ID = 413 is “switching virtual viewpoint (non-display)”, which indicates that it is not a display target. The control unit 204 does not display the virtual viewpoint image corresponding to this viewpoint type. Further, the virtual viewpoint image corresponding to this viewpoint type may not be generated.

このように、本実施形態によれば、各切替用仮想視点に対応する仮想視点画像を、次に選択仮想視点として選択するために参考にすべき参考情報として表示している。そのため、例えば、参考情報として各撮像装置による撮像画像を表示するよりも、次にどの仮想視点を選択すればよいのかをより直感的に把握することができる。   As described above, according to the present embodiment, the virtual viewpoint image corresponding to each switching virtual viewpoint is displayed as reference information that should be referred to in order to be selected next as the selected virtual viewpoint. Therefore, for example, it is possible to more intuitively understand which virtual viewpoint should be selected next, rather than displaying an image captured by each imaging device as reference information.

なお、表示領域４０２に表示されている仮想視点画像（選択仮想視点に対応する仮想視点画像）は、例えば、表示制御装置１００のＨＤＤ１０４に保存するようにしても良いし、通信Ｉ／Ｆ１０６を介して外部の機器に対して送信しても良い。例えば後者の場合、表示領域４０２に表示されている仮想視点画像（選択仮想視点に対応する仮想視点画像）を通信Ｉ／Ｆ１０６を介して放送用として放送しても良い。   The virtual viewpoint image displayed in the display area 402 (the virtual viewpoint image corresponding to the selected virtual viewpoint) may be stored in, for example, the HDD 104 of the display control device 100, or via the communication I / F 106. It may be transmitted to an external device. For example, in the latter case, the virtual viewpoint image (the virtual viewpoint image corresponding to the selected virtual viewpoint) displayed in the display area 402 may be broadcast for broadcasting via the communication I / F 106.

＜変形例＞
仮想視点のオペレータは、撮像装置が撮像している対象の状況が把握できればよいため、例えば、仮想視点画像として簡易仮想視点画像を生成してもよい。簡易仮想視点画像には、３ＤＣＧ（三次元コンピュータグラフィック）を用いる。まず、受信部２０３は、画像生成装置１１０から撮像画像中の前景（例えば選手とボール）の位置を取得する。仮想視点画像の生成過程では通常、前景と背景とを分離する処理が行われる。その過程で前景の位置を求めることが一般的である。よって、表示制御装置１００は、画像生成装置１１０から前景の位置を容易に取得することができる。次に表示制御装置１００は事前に用意した選手とボールの三次元ＣＧモデルを、画像生成装置１１０から取得した位置に配置する。また、背景であるスタジアムのフィールドや観客席の三次元ＣＧモデルも別途用意しておくものとする。これらの三次元モデルを表示制御装置１００が有する３ＤＣＧのレンダリングエンジンに入力すると、仮想視点から見た簡易仮想視点画像を生成することが可能である。表現能力の点で通常の仮想視点画像に劣ることは否めないが、オペレータは例えばプレーの状況が把握でき、かつ、計算機リソースを軽減できるというメリットがある。また、例えば、表示領域４０２に表示されている仮想視点画像と、表示領域４０３〜４０６に表示される切替用仮想視点に対応する仮想視点画像とを異なるフレームレートにより表示させてもよい。 <Modification>
The operator of the virtual viewpoint only needs to be able to grasp the situation of the target imaged by the imaging device, and thus may generate a simple virtual viewpoint image as the virtual viewpoint image, for example. 3DCG (three-dimensional computer graphic) is used for the simple virtual viewpoint image. First, the reception unit 203 acquires the position of the foreground (for example, the player and the ball) in the captured image from the image generation device 110. In the process of generating the virtual viewpoint image, a process of separating the foreground and the background is usually performed. In the process, it is common to find the position of the foreground. Therefore, the display control device 100 can easily acquire the position of the foreground from the image generation device 110. Next, the display control device 100 arranges the three-dimensional CG models of the player and the ball prepared in advance at the position acquired from the image generation device 110. In addition, the field of the stadium, which is the background, and the 3D CG model of the audience seats will also be prepared separately. By inputting these three-dimensional models into the 3DCG rendering engine of the display control device 100, it is possible to generate a simple virtual viewpoint image viewed from the virtual viewpoint. Although it cannot be denied that it is inferior to the normal virtual viewpoint image in terms of expression ability, it has the advantage that the operator can grasp the playing situation, for example, and can reduce computer resources. Further, for example, the virtual viewpoint image displayed in the display area 402 and the virtual viewpoint image corresponding to the switching virtual viewpoint displayed in the display areas 403 to 406 may be displayed at different frame rates.

このように本実施形態では複数の仮想視点のうち操作対象としてユーザにより選択された選択仮想視点に対応する仮想視点画像と複数の仮想視点のうち選択仮想視点以外の仮想視点に対応する仮想視点画像とが互いに重複することなく配置された画面を表示する。これにより、オペレータがある仮想視点に切り替える前に切り替え後の仮想視点画像に何が映るのかを知ることができるため、仮想視点の適切な選択を行うことができる。   As described above, in this embodiment, the virtual viewpoint image corresponding to the selected virtual viewpoint selected by the user as the operation target among the plurality of virtual viewpoints and the virtual viewpoint image corresponding to the virtual viewpoint other than the selected virtual viewpoint among the plurality of virtual viewpoints Display a screen where and are arranged without overlapping each other. This allows the operator to know what appears in the virtual viewpoint image after switching before switching to a certain virtual viewpoint, so that the virtual viewpoint can be appropriately selected.

［第２の実施形態］
以降の各実施形態や各変形例では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、表示された仮想視点画像のうち何れか１つを指定することで、該指定された１つの仮想視点画像に対応する仮想視点を選択仮想視点として選択した。しかし、選択仮想視点の選択方法は第１の実施形態において説明した選択方法に限らない。本実施形態では、選択仮想視点の選択方法として第１の実施形態とは異なる選択方法について説明する。 [Second Embodiment]
In each of the following embodiments and modifications, differences from the first embodiment will be described, and the same as the first embodiment unless otherwise mentioned below. In the first embodiment, by specifying any one of the displayed virtual viewpoint images, the virtual viewpoint corresponding to the specified one virtual viewpoint image is selected as the selected virtual viewpoint. However, the selection method of the selected virtual viewpoint is not limited to the selection method described in the first embodiment. In the present embodiment, a selection method different from that of the first embodiment will be described as a selection method of the selected virtual viewpoint.

本実施形態に係る表示制御装置１００の機能構成例について、図６のブロック図を用いて説明する。図６において図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。処理部６０１は、切替用仮想視点（図４（ａ）の場合は表示領域４０３〜４０６のそれぞれに対応する切替用仮想視点）を、操作部１０７が有する複数の選択ボタンの何れかに割り当てる。   A functional configuration example of the display control device 100 according to the present embodiment will be described using the block diagram of FIG. 6. In FIG. 6, the same reference numerals are assigned to the same functional units as those shown in FIG. 2, and the description of the functional units will be omitted. The processing unit 601 assigns the switching virtual viewpoint (in the case of FIG. 4A, the switching virtual viewpoint corresponding to each of the display areas 403 to 406) to one of the plurality of selection buttons included in the operation unit 107.

そして入力部２０５は、ユーザが押下した選択ボタンに対応する切替用仮想視点が選択仮想視点として選択されたと判断する。管理部２０１は、テーブル情報において現時点で選択仮想視点となっているものを切替用仮想視点に変更し、ユーザが押下した選択ボタンに対応する切替用仮想視点を選択仮想視点に変更する。   Then, the input unit 205 determines that the switching virtual viewpoint corresponding to the selection button pressed by the user is selected as the selected virtual viewpoint. The management unit 201 changes the currently selected virtual viewpoint in the table information to the switching virtual viewpoint, and changes the switching virtual viewpoint corresponding to the selection button pressed by the user to the selected virtual viewpoint.

次に、本実施形態に係るシステムが行う処理について、図７のフローチャートに従って説明する。図７のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。図７において、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。   Next, the processing performed by the system according to this embodiment will be described with reference to the flowchart of FIG. 7. The process according to the flowchart of FIG. 7 is started when the application for setting the virtual viewpoint is started and is ended until the application for setting the virtual viewpoint is ended. In FIG. 7, the same process steps as those shown in FIG. 3 are designated by the same step numbers, and the description of the process steps will be omitted.

ステップＳ７０１では、処理部６０１は、切替用仮想視点（図４（ａ）の場合は表示領域４０３〜４０６のそれぞれに対応する切替用仮想視点）を、操作部１０７が有する複数の選択ボタンの何れかに割り当てる。   In step S <b> 701, the processing unit 601 selects a switching virtual viewpoint (in the case of FIG. 4A, a switching virtual viewpoint corresponding to each of the display areas 403 to 406) from among a plurality of selection buttons included in the operation unit 107. Assign to crab.

操作部１０７として適用可能な入力デバイスの一例を図８に示す。図８に示す入力デバイス８０１には、選択ボタン８０３〜８０６が設けられている。処理部６０１は、例えば、選択ボタン８０３〜８０６に表示領域４０３〜４０６（つまり表示領域４０３〜４０６のそれぞれに対応する切替用仮想視点）をそれぞれ割り当てる。これにより、ユーザが選択ボタン８０３を押下した場合には、入力部２０５は、表示領域４０３の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。また、ユーザが選択ボタン８０４を押下した場合には、入力部２０５は、表示領域４０４の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。ユーザが選択ボタン８０５を押下した場合には、入力部２０５は、表示領域４０５の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。ユーザが選択ボタン８０６を押下した場合には、入力部２０５は、表示領域４０６の仮想視点画像が選択された（該仮想視点画像に対応する仮想視点が選択された）と判断することができる。   FIG. 8 shows an example of an input device applicable as the operation unit 107. The input device 801 shown in FIG. 8 is provided with selection buttons 803 to 806. For example, the processing unit 601 assigns the display areas 403 to 406 (that is, the switching virtual viewpoints corresponding to the display areas 403 to 406) to the selection buttons 803 to 806, respectively. Accordingly, when the user presses the selection button 803, the input unit 205 determines that the virtual viewpoint image in the display area 403 has been selected (the virtual viewpoint corresponding to the virtual viewpoint image has been selected). You can When the user presses the selection button 804, the input unit 205 may determine that the virtual viewpoint image in the display area 404 has been selected (the virtual viewpoint corresponding to the virtual viewpoint image has been selected). it can. When the user presses the selection button 805, the input unit 205 can determine that the virtual viewpoint image in the display area 405 has been selected (the virtual viewpoint corresponding to the virtual viewpoint image has been selected). When the user presses the selection button 806, the input unit 205 can determine that the virtual viewpoint image in the display area 406 has been selected (the virtual viewpoint corresponding to the virtual viewpoint image has been selected).

このように表示領域及び選択ボタンが共に横並びで配置されている場合、左端の表示領域を左端の選択ボタンに割り当て、左端から２番目の表示領域を左端から２番目の選択ボタンに割り当て、…というように並び順に従って選択ボタンに表示領域を割り当てる。また、表示領域及び選択ボタンが共に縦並びで配置されている場合、上端の表示領域を上端の選択ボタンに割り当て、上端から２番目の表示領域を上端から２番目の選択ボタンに割り当て、…というように並び順に従って選択ボタンに表示領域を割り当てる。なお、どの選択ボタンにどの表示領域を割り当てるのかについては特定の割り当て方法を採用することに限らない。   When the display areas and the selection buttons are arranged side by side in this way, the leftmost display area is assigned to the leftmost selection button, the second leftmost display area is assigned to the second leftmost selection button, ... In this way, the display areas are assigned to the selection buttons according to the arrangement order. When the display areas and the selection buttons are arranged vertically, the display area at the upper end is assigned to the selection button at the upper end, the second display area from the upper end is assigned to the second selection button from the upper end, and so on. In this way, the display areas are assigned to the selection buttons according to the arrangement order. It should be noted that which display area is assigned to which selection button is not limited to a specific assignment method.

なお、切替用仮想視点の数が入力デバイス上の選択ボタンの数より多い場合は、例えば左から割り当てられる限りの切替用仮想視点を割り当てればよい。どの選択ボタンにどの切替用仮想視点を割り当てたのかの管理方法としては、例えば、テーブル情報において、各切替用仮想視点の視点情報に、該切替用仮想視点に割り当てた選択ボタンの識別情報を含めるようにしても良い。しかし、その管理方法は特定の管理方法に限らない。   When the number of switching virtual viewpoints is greater than the number of selection buttons on the input device, for example, switching virtual viewpoints as long as they are allocated from the left may be allocated. As a management method of which selection button is assigned which switching virtual viewpoint, for example, in the table information, the viewpoint information of each switching virtual viewpoint includes the identification information of the selection button assigned to the switching virtual viewpoint. You may do it. However, the management method is not limited to a specific management method.

然るに、ステップＳ３０８では、入力部２０５は、ユーザが押下した選択ボタンに対応する切替用仮想視点が選択仮想視点として選択された（選択指示が入力された）と判断する。   Therefore, in step S308, the input unit 205 determines that the switching virtual viewpoint corresponding to the selection button pressed by the user has been selected as the selection virtual viewpoint (the selection instruction has been input).

また、入力デバイス８０１には、選択仮想視点を移動させるためにユーザが操作するジョイスティック８０２が設けられている。ユーザはこのジョイスティック８０２を操作することで、視点の位置や方向などを移動させることができる。ユーザによるジョイスティック８０２の操作により、選択視点情報に含まれている第２位置、第２方向、第２画角のうち操作入力に応じた成分が変更される。   Further, the input device 801 is provided with a joystick 802 operated by a user to move the selected virtual viewpoint. The user can move the position and direction of the viewpoint by operating the joystick 802. When the user operates the joystick 802, the component corresponding to the operation input among the second position, the second direction, and the second angle of view included in the selected viewpoint information is changed.

このように、本実施形態によれば、入力デバイス上の選択ボタンに切替用仮想視点を割り当てることによって、仮想視点のオペレータはマウスや画面に手を持っていくことなく、仮想視点の操作を行う入力デバイス上で仮想視点の選択も行うことができる。これによって、迅速に仮想視点を選択することができる。   As described above, according to the present embodiment, by assigning the switching virtual viewpoint to the selection button on the input device, the operator of the virtual viewpoint operates the virtual viewpoint without holding the mouse or the screen. A virtual viewpoint can also be selected on the input device. As a result, the virtual viewpoint can be quickly selected.

［第３の実施形態］
本実施形態では、テーブル情報に対する編集操作を可能にする。本実施形態では、第２の実施形態に係るシステムの構成を利用する。本実施形態に係るシステムが行う処理について、図９のフローチャートに従って説明する。図９のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。図９において、図３、７に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。 [Third Embodiment]
In the present embodiment, it is possible to edit the table information. In this embodiment, the configuration of the system according to the second embodiment is used. The processing performed by the system according to this embodiment will be described with reference to the flowchart of FIG. The process according to the flowchart of FIG. 9 is started when the application for setting the virtual viewpoint is started and is ended until the application for setting the virtual viewpoint is ended. In FIG. 9, the same process steps as those shown in FIGS. 3 and 7 are given the same step numbers, and the description of the process steps will be omitted.

ステップＳ９０１では、入力部２０５は、ユーザが操作部１０７を操作することで、現在の選択仮想視点の位置、方向、画角をテーブル情報に登録する指示（登録指示）を入力したか否かを判断する。登録指示の入力方法は特定の入力方法に限らない。例えば、表示部１０５の表示画面に表示されている登録ボタンをユーザが操作部１０７を操作して指示することで登録指示を入力しても良いし、ユーザが操作部１０７において特定のボタンを押下することで登録指示を入力しても良い。この判断の結果、登録指示を入力した場合には、処理はステップＳ９０２に進み、登録指示を入力していない場合には、処理はステップＳ９０３に進む。   In step S901, the input unit 205 determines whether or not the user operates the operation unit 107 to input an instruction (registration instruction) to register the position, direction, and angle of view of the currently selected virtual viewpoint in the table information. to decide. The input method of the registration instruction is not limited to a specific input method. For example, the user may input a registration instruction by instructing the registration button displayed on the display screen of the display unit 105 by operating the operation unit 107, or the user may press a specific button on the operation unit 107. By doing so, the registration instruction may be input. As a result of this determination, if the registration instruction is input, the process proceeds to step S902, and if the registration instruction is not input, the process proceeds to step S903.

ステップＳ９０２では、管理部２０１は、新たな視点ＩＤを発行し、該発行した視点ＩＤと、視点種類「切替用仮想視点」と、現在の選択視点情報に含まれている第２位置、第２方向、第２画角と、を含む新規の視点情報を生成してテーブル情報に登録する。また、管理部２０１は、この登録した仮想視点に対応する仮想視点画像を表示領域４０３〜４０６のどこに表示するのか、それとも非表示とするのかについてもテーブル情報に登録する若しくはテーブル情報とは別個の情報として登録する。   In step S902, the management unit 201 issues a new viewpoint ID, issues the viewpoint ID, the viewpoint type “switching virtual viewpoint”, the second position included in the currently selected viewpoint information, and the second position. New viewpoint information including the direction and the second angle of view is generated and registered in the table information. The management unit 201 also registers in the table information whether the virtual viewpoint image corresponding to the registered virtual viewpoint is to be displayed or hidden in the display areas 403 to 406, or separate from the table information. Register as information.

ステップＳ９０３では、入力部２０５は、ユーザが操作部１０７を操作することで、表示領域４０３〜４０６のそれぞれに表示されている仮想視点画像の並び順を変更する指示（並び替え指示）が入力されたのか否かを判断する。この判断の結果、並び替え指示が入力された場合には、処理はステップＳ９０４に進み、並び替え指示が入力されていない場合には、処理はステップＳ９０５に進む。   In step S903, the user operates the operation unit 107 to input an instruction (rearrangement instruction) to change the arrangement order of the virtual viewpoint images displayed in each of the display areas 403 to 406, in the input unit 205. Determine whether or not. As a result of this determination, if the rearrangement instruction is input, the process proceeds to step S904, and if the rearrangement instruction is not input, the process proceeds to step S905.

ステップＳ９０４では、制御部２０４は、ユーザが操作部１０７を操作することで入力した操作入力に応じて、表示領域４０３〜４０６のそれぞれに表示されている仮想視点画像の並び順を変更する。この並び替えのためにユーザが行う操作については特定の操作に限らない。例えば、ユーザは操作部１０７を操作して、表示部１０５の表示画面に表示されている変更ボタンを指示すると、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付ける。なお、ユーザが操作部１０７における特定のボタンを押下した場合に、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付けるようにしても良い。   In step S904, the control unit 204 changes the arrangement order of the virtual viewpoint images displayed in each of the display areas 403 to 406 according to the operation input input by the user operating the operation unit 107. The operation performed by the user for this rearrangement is not limited to a specific operation. For example, when the user operates the operation unit 107 to instruct a change button displayed on the display screen of the display unit 105, the input unit 205 instructs the virtual viewpoint images displayed in the display areas 403 to 406 to operate. Accept. It should be noted that when the user presses a specific button on the operation unit 107, the input unit 205 may accept an operation instruction for the virtual viewpoint image displayed in the display areas 403 to 406.

そして例えば、ユーザが操作部１０７を操作して、表示領域４０４内の仮想視点画像をドラッグして表示領域４０６内に移動させたとする。このとき制御部２０４は、表示領域４０５，４０６内に表示されていた仮想視点画像をそれぞれ表示領域４０４，４０５に移動させる。また制御部２０４は、表示領域４０６内にドラッグされた仮想視点画像（表示領域４０４内に表示されていた仮想視点画像）を表示領域４０６内に移動させる。このとき、管理部２０１は、表示領域と切替用仮想視点との対応付けを変更する。   Then, for example, it is assumed that the user operates the operation unit 107 to drag the virtual viewpoint image in the display area 404 and move it to the display area 406. At this time, the control unit 204 moves the virtual viewpoint images displayed in the display areas 405 and 406 to the display areas 404 and 405, respectively. Further, the control unit 204 moves the virtual viewpoint image dragged in the display area 406 (the virtual viewpoint image displayed in the display area 404) to the display area 406. At this time, the management unit 201 changes the association between the display area and the switching virtual viewpoint.

また例えば、ユーザが操作部１０７を操作して、表示領域４０４内の仮想視点画像をドラッグして表示領域４０１の外側に移動させたとする。このとき制御部２０４は、表示領域４０５，４０６内に表示されていた仮想視点画像をそれぞれ表示領域４０４，４０５に移動させる。管理部２０１は、ドラッグして表示領域４０１外に移動させた仮想視点画像の視点種類を非表示にし、代わりに、視点種類が非表示となっていた視点ＩＤ＝４１３の切替用仮想視点の視点種類から非表示を削除する。そして、視点ＩＤ＝４１３の切替用仮想視点に対応する仮想視点画像が上記の如く生成されて表示領域４０６内に表示される。なお、切替用仮想視点に対応する仮想視点画像の並び替え操作については様々な操作があり、特定の操作に限るものではない。   In addition, for example, it is assumed that the user operates the operation unit 107 and drags the virtual viewpoint image in the display area 404 to move it to the outside of the display area 401. At this time, the control unit 204 moves the virtual viewpoint images displayed in the display areas 405 and 406 to the display areas 404 and 405, respectively. The management unit 201 hides the viewpoint type of the virtual viewpoint image that is dragged and moved to the outside of the display area 401, and instead, the viewpoint of the switching virtual viewpoint of the viewpoint ID = 413 in which the viewpoint type is hidden. Remove hidden from types. Then, the virtual viewpoint image corresponding to the switching virtual viewpoint of viewpoint ID = 413 is generated as described above and displayed in the display area 406. There are various operations for rearranging the virtual viewpoint images corresponding to the switching virtual viewpoint, and the rearranging operation is not limited to a specific operation.

ステップＳ９０５では、入力部２０５は、ユーザが操作部１０７を操作することで、表示領域４０３〜４０６のそれぞれに表示されている仮想視点画像のうち何れかを削除する指示（削除指示）が入力されたか否かを判断する。この判断の結果、削除指示が入力された場合には、処理はステップＳ９０６に進み、削除指示が入力されていない場合には、処理はステップＳ９０７に進む。   In step S905, the input unit 205 receives an instruction (deletion instruction) to delete any one of the virtual viewpoint images displayed in each of the display areas 403 to 406 by the user operating the operation unit 107. Determine whether or not. As a result of this determination, if a deletion instruction has been input, the processing proceeds to step S906, and if no deletion instruction has been input, the processing proceeds to step S907.

ステップＳ９０６では、管理部２０１は、削除指示の対象となった仮想視点の視点情報をテーブル情報から削除し、制御部２０４は、削除指示の対象となった仮想視点に対応する仮想視点画像を表示部１０５の表示画面から消去する。この削除のためにユーザが行う操作については特定の操作に限らない。例えば、ユーザが操作部１０７を操作して表示部１０５の表示画面に表示されている削除ボタンを指示すると、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付ける。なお、ユーザが操作部１０７における特定のボタンを押下した場合に、入力部２０５は、表示領域４０３〜４０６に表示されている仮想視点画像に対する操作指示を受け付けるようにしても良い。   In step S906, the management unit 201 deletes the viewpoint information of the virtual viewpoint targeted for the deletion instruction from the table information, and the control unit 204 displays the virtual viewpoint image corresponding to the virtual viewpoint targeted for the deletion instruction. It is deleted from the display screen of the unit 105. The operation performed by the user for this deletion is not limited to a specific operation. For example, when the user operates the operation unit 107 to instruct a delete button displayed on the display screen of the display unit 105, the input unit 205 issues an operation instruction to the virtual viewpoint images displayed in the display areas 403 to 406. Accept. It should be noted that when the user presses a specific button on the operation unit 107, the input unit 205 may accept an operation instruction for the virtual viewpoint image displayed in the display areas 403 to 406.

そして例えばユーザが操作部１０７を操作して表示領域４０４を指定すると、管理部２０１は、テーブル情報から表示領域４０４に表示されていた仮想視点画像に対応する切替用仮想視点の視点情報をテーブル情報から削除する。そして制御部２０４は、表示領域４０４から仮想視点画像を消去する。   Then, for example, when the user operates the operation unit 107 to specify the display area 404, the management unit 201 sets the viewpoint information of the switching virtual viewpoint corresponding to the virtual viewpoint image displayed in the display area 404 from the table information to the table information. Remove from. Then, the control unit 204 deletes the virtual viewpoint image from the display area 404.

ステップＳ９０７では、入力部２０５は、ユーザが操作部１０７を操作することで、テーブル情報において切替用仮想視点の視点情報を、他の切替用仮想視点の視点情報に切り替える指示（視点セット切替指示）が入力されたのか否かを判断する。例えば、入力部２０５は、表示部１０５の表示画面に表示されている視点セット切替ボタンが指示された、若しくは操作部１０７における特定のボタンが押下された場合には、視点セット切替指示が入力されたと判断する。この判断の結果、視点セット切替指示が入力された場合には、処理はステップＳ９０８に進み、視点セット切替指示が入力されていない場合には、処理はステップＳ３１０に進む。   In step S907, the input unit 205 instructs the user to operate the operation unit 107 to switch the viewpoint information of the switching virtual viewpoint in the table information to the viewpoint information of another switching virtual viewpoint (viewpoint set switching instruction). It is determined whether or not is input. For example, when the viewpoint set switching button displayed on the display screen of the display unit 105 is instructed or the specific button in the operation unit 107 is pressed, the input unit 205 inputs the viewpoint set switching instruction. Determine that As a result of this determination, if the viewpoint set switching instruction is input, the processing proceeds to step S908, and if the viewpoint set switching instruction is not input, the processing proceeds to step S310.

ステップＳ９０８では、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、予め作成してＨＤＤ１０４に登録されている仮想視点セットの何れかに置き換える。仮想視点セットとは、後述するように、１つ以上の仮想視点の視点情報である。ＨＤＤ１０４に登録されている仮想視点セットは１つであっても良いし、複数であっても良い。   In step S <b> 908, the management unit 201 replaces the viewpoint information of the viewpoint type “switching virtual viewpoint” in the table information with any of the virtual viewpoint sets created in advance and registered in the HDD 104. The virtual viewpoint set is viewpoint information of one or more virtual viewpoints, as will be described later. The virtual viewpoint set registered in the HDD 104 may be one or plural.

ＨＤＤ１０４に１つの仮想視点セットが登録されている場合、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、該１つの仮想視点セットに置き換える。   When one virtual viewpoint set is registered in the HDD 104, the management unit 201 replaces the viewpoint information of the viewpoint type “switching virtual viewpoint” in the table information with the one virtual viewpoint set.

ＨＤＤ１０４に複数の仮想視点セットが登録されている場合、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、該複数の仮想視点セットのうちの何れか１つに置き換える。複数の仮想視点セットから上記の置き換えに使用する１つの仮想視点セットを選択するための方法は特定の方法に限らない。例えば制御部２０４は、この複数の仮想視点セットの内容やファイル名が記載されたリストを表示部１０５の表示画面に表示する。この表示画面を見てユーザが操作部１０７を操作して該複数の仮想視点セットのうち１つを選択すると、管理部２０１は、テーブル情報において視点種類が「切替用仮想視点」の視点情報を、該選択された仮想視点セットに置き換える。   When a plurality of virtual viewpoint sets are registered in the HDD 104, the management unit 201 sets the viewpoint information of the viewpoint type “switching virtual viewpoint” in the table information to any one of the plurality of virtual viewpoint sets. replace. The method for selecting one virtual viewpoint set used for the above replacement from a plurality of virtual viewpoint sets is not limited to a particular method. For example, the control unit 204 displays a list in which the contents and file names of the plurality of virtual viewpoint sets are described on the display screen of the display unit 105. When the user looks at this display screen and operates the operation unit 107 to select one of the plurality of virtual viewpoint sets, the management unit 201 displays the viewpoint information of the viewpoint type “switching virtual viewpoint” in the table information. , And replace with the selected virtual viewpoint set.

仮想視点セットを複数設けて、そこから１つを選択して使用する、という構成は、例えば、プレーの状況に応じて仮想視点のオペレータが使い分けることを想定している。例えば、コーナーキック用の仮想視点セット、キックオフ用の仮想視点セット、ペナルティキック用の仮想視点セットなどを事前に用意しておくと有用である。さらに、ペナルティキック用の仮想視点セットの場合は、ゴール側からペナルティスポットの方向を見る仮想視点、その逆方向の仮想視点、ペナルティスポット越しにゴール側を見る仮想視点、ベンチを見る仮想視点などをセットとして用意しておくと便利である。なお、ステップＳ９０８でテーブル情報を変更した場合、管理部２０１は、該変更したテーブル情報に登録されているそれぞれの切替用仮想視点の視点情報を読み出し、該各切替用仮想視点の視点情報を出力部２０２に対して出力する。   The configuration in which a plurality of virtual viewpoint sets are provided and one of them is selected for use is assumed to be used by an operator of the virtual viewpoints according to the playing situation, for example. For example, it is useful to prepare in advance a virtual viewpoint set for corner kick, a virtual viewpoint set for kickoff, a virtual viewpoint set for penalty kick, and the like. Furthermore, in the case of a virtual viewpoint set for a penalty kick, a virtual viewpoint that looks at the penalty spot from the goal side, a virtual viewpoint in the opposite direction, a virtual viewpoint that looks at the goal side over the penalty spot, a virtual viewpoint that looks at the bench, etc. It is convenient to prepare as a set. When the table information is changed in step S908, the management unit 201 reads the viewpoint information of each switching virtual viewpoint registered in the changed table information, and outputs the viewpoint information of each switching virtual viewpoint. Output to the unit 202.

仮想視点セットの一例を図１４に示す。図１４（ａ）には、仮想視点セット１４０１、仮想視点セット１４０２、仮想視点セット１４０３のそれぞれの構成例を示している。仮想視点セット１４０１には４つの切替用仮想視点の視点情報が登録されている。仮想視点セット１４０２には、３つの切替用仮想視点の視点情報が登録されている。仮想視点セット１４０３には、５つの切替用仮想視点の視点情報が登録されている。   An example of the virtual viewpoint set is shown in FIG. FIG. 14A shows a configuration example of each of the virtual viewpoint set 1401, the virtual viewpoint set 1402, and the virtual viewpoint set 1403. The viewpoint information of four switching virtual viewpoints is registered in the virtual viewpoint set 1401. In the virtual viewpoint set 1402, viewpoint information of three switching virtual viewpoints is registered. In the virtual viewpoint set 1403, viewpoint information of five switching virtual viewpoints is registered.

ここで、上記のステップＳ９０８において仮想視点セット１４０１が選択された場合に、図５のテーブル情報において視点種類が「切替用仮想視点」の視点情報を該仮想視点セット１４０１に置き換えた後のテーブル情報の構成例を図１４（ｂ）に示す。図１４（ｂ）のテーブル情報では、図５のテーブル情報から切替用仮想視点が４つに減り、位置、方向、画角が仮想視点セット１４０１の値に置き換わっており、また、新たに視点ＩＤが割振られている（４１３〜４１６）。なお、選択仮想視点はこの操作により変わらないため、図５と同じ値が維持される。   Here, when the virtual viewpoint set 1401 is selected in step S908, the table information after replacing the viewpoint information of the viewpoint type “switching virtual viewpoint” in the table information of FIG. 5 with the virtual viewpoint set 1401. FIG. 14B shows a configuration example of the above. In the table information of FIG. 14B, the number of switching virtual viewpoints is reduced to four from the table information of FIG. 5, the position, direction, and angle of view are replaced with the values of the virtual viewpoint set 1401, and the viewpoint ID is newly added. Are allocated (413 to 416). Since the selected virtual viewpoint does not change by this operation, the same value as in FIG. 5 is maintained.

［第４の実施形態］
第１〜３の実施形態では、表示領域４０２に表示する仮想視点画像のフレームレートと、表示領域４０３〜４０６に表示する仮想視点画像のフレームレートと、は同じであった。しかし、全ての仮想視点の仮想視点画像のフレームレートを同じにしなくても良い。画像生成装置１１０が仮想視点画像を生成するには、多くのデータの読み出しやデータ処理が必要となる。そのため、第１〜３の実施形態で説明したように選択仮想視点および切替用仮想視点のすべてに対応する仮想視点画像を６０ｆｐｓ（フレーム／秒）で生成することは膨大な計算機リソースが必要となり、コストが高くなってしまう。そこで、本実施形態では、画像生成装置１１０の画像生成能力を考慮したフレームレート制御について説明する。 [Fourth Embodiment]
In the first to third embodiments, the frame rate of the virtual viewpoint image displayed in the display area 402 and the frame rate of the virtual viewpoint image displayed in the display areas 403 to 406 are the same. However, the frame rates of virtual viewpoint images of all virtual viewpoints do not have to be the same. In order for the image generation device 110 to generate a virtual viewpoint image, it is necessary to read a large amount of data and perform data processing. Therefore, as described in the first to third embodiments, generating virtual viewpoint images corresponding to all the selected virtual viewpoint and the switching virtual viewpoint at 60 fps (frames / second) requires a huge amount of computer resources. The cost will be high. Therefore, in the present embodiment, frame rate control in consideration of the image generation capability of the image generation device 110 will be described.

本実施形態に係る表示制御装置１００の機能構成例について、図１０のフロック図を用いて説明する。図１０において図２，６と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。   A functional configuration example of the display control device 100 according to the present embodiment will be described with reference to the flock diagram of FIG. 10, the same functional units as those in FIGS. 2 and 6 are designated by the same reference numerals, and the description of the functional units will be omitted.

処理部１００１は、画像生成装置１１０の画像生成能力に応じて、選択仮想視点に対応する仮想視点画像のフレームレートと、切替用仮想視点に対応する仮想視点画像のフレームレートと、を設定する。   The processing unit 1001 sets the frame rate of the virtual viewpoint image corresponding to the selected virtual viewpoint and the frame rate of the virtual viewpoint image corresponding to the switching virtual viewpoint according to the image generation capability of the image generating apparatus 110.

本実施形態に係るシステムが行う処理について、図１１のフローチャートに従って説明する。図１１のフローチャートに従った処理は、仮想視点の設定用アプリケーションが起動した状態をスタートとし、仮想視点の設定用アプリケーションが終了するまでを対象としている。図１１において、図３、７、９に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。   The processing performed by the system according to this embodiment will be described with reference to the flowchart of FIG. The process according to the flowchart of FIG. 11 is started from the state in which the application for setting the virtual viewpoint is started and is ended until the application for setting the virtual viewpoint is ended. In FIG. 11, the same process steps as those shown in FIGS. 3, 7, and 9 are given the same step numbers, and the description of the process steps will be omitted.

ステップＳ１１０１では、処理部１００１は、テーブル情報に登録されているそれぞれの仮想視点について、該仮想視点に対応する仮想視点画像のフレームレートを設定する。なお、本実施形態に係るステップＳ３０３では、出力部２０２は、管理部２０１から出力された切替用仮想視点の視点情報のうち、現フレームにおいて生成すべき仮想視点画像に対応する視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して出力する。本実施形態に係るステップＳ３０６では、出力部２０２は、現フレームが選択仮想視点に対応する仮想視点画像を生成するフレームであれば、選択視点情報を通信Ｉ／Ｆ１０６を介して画像生成装置１１０に対して送信する。   In step S1101, the processing unit 1001 sets, for each virtual viewpoint registered in the table information, the frame rate of the virtual viewpoint image corresponding to the virtual viewpoint. Note that, in step S303 according to the present embodiment, the output unit 202 transmits the viewpoint information corresponding to the virtual viewpoint image to be generated in the current frame among the viewpoint information of the switching virtual viewpoint output from the management unit 201 to the communication I. It outputs to the image generation apparatus 110 via / F106. In step S306 according to the present embodiment, the output unit 202 sends the selected viewpoint information to the image generation apparatus 110 via the communication I / F 106 if the current frame is a frame for generating a virtual viewpoint image corresponding to the selected virtual viewpoint. To send.

上記のステップＳ１１０１における処理について、具体例を用いて説明する。ここでは、画像生成装置１１０の画像生成能力が１２０ｆｐｓ（１秒あたり１２０フレームの画像が生成可能）であるとし、図５に示す如く、選択仮想視点が１つ、切替用仮想視点が４つ存在する場合を考える。   The processing in step S1101 described above will be described using a specific example. Here, it is assumed that the image generation capacity of the image generation apparatus 110 is 120 fps (120 frames of image can be generated per second), and as shown in FIG. 5, there are one selected virtual viewpoint and four switching virtual viewpoints. Think about when.

選択仮想視点に対応する仮想視点画像は、選択仮想視点の操作に不可欠な画像であり、選択仮想視点を指定した結果が遅滞なく仮想視点画像として表示される必要がある。選択仮想視点の指定から仮想視点画像の表示までの遅延時間が大きくなるに従い、選択仮想視点の操作は困難になることが分かっている。よって、選択仮想視点には６０ｆｐｓを割り当て、残りの６０ｆｐｓを４つの切替用仮想視点で案分することにする。つまり図１２（ａ）に示す如く、選択仮想視点に対応する仮想視点画像は６０ｆｐｓで生成されて表示領域４０２に表示されることになり、各切替用仮想視点に対応する仮想視点画像は１５ｆｐｓで生成されて表示領域４０３〜４０６に表示されることになる。切替用仮想視点に対応する仮想視点画像については、その表示は若干なめらかではなくなるものの、その仮想視点で何が映っているかを把握するには十分なフレームレートである。本実施形態では、ステップＳ１１０１において各仮想視点に対するフレームレートが決定すると、図１２（ｂ）に示す如く、管理部２０１が管理しているテーブル情報に、各仮想視点に対するフレームレートが登録される。   The virtual viewpoint image corresponding to the selected virtual viewpoint is an image indispensable for the operation of the selected virtual viewpoint, and the result of designating the selected virtual viewpoint needs to be displayed as a virtual viewpoint image without delay. It is known that the operation of the selected virtual viewpoint becomes difficult as the delay time from the designation of the selected virtual viewpoint to the display of the virtual viewpoint image increases. Therefore, 60 fps is allocated to the selected virtual viewpoint, and the remaining 60 fps is divided among the four switching virtual viewpoints. That is, as shown in FIG. 12A, the virtual viewpoint image corresponding to the selected virtual viewpoint is generated at 60 fps and displayed in the display area 402, and the virtual viewpoint image corresponding to each switching virtual viewpoint is at 15 fps. It is generated and displayed in the display areas 403 to 406. The display of the virtual viewpoint image corresponding to the switching virtual viewpoint is not smooth, but the frame rate is sufficient for grasping what is reflected in the virtual viewpoint. In this embodiment, when the frame rate for each virtual viewpoint is determined in step S1101, the frame rate for each virtual viewpoint is registered in the table information managed by the management unit 201, as shown in FIG.

このとき、ステップＳ３０３及びステップＳ３０６にて画像生成装置１１０で生成される各フレームの仮想視点画像について、図１３を用いて説明する。画像生成装置１１０の画像生成能力が１２０ｆｐｓであり、且つ選択仮想視点に対応する仮想視点画像のフレームレートが６０ｆｐｓであるから、選択仮想視点に対応する仮想視点画像は２フレームに１回の割合で生成され、表示される。図１３では、１フレーム目で選択仮想視点に対応する仮想視点画像が生成、表示されているので、以降、（２×ｆ＋１）（ｆは１以上の整数）フレーム目に生成、表示されることになる。   At this time, the virtual viewpoint image of each frame generated by the image generating apparatus 110 in steps S303 and S306 will be described with reference to FIG. Since the image generation capability of the image generation device 110 is 120 fps and the frame rate of the virtual viewpoint image corresponding to the selected virtual viewpoint is 60 fps, the virtual viewpoint image corresponding to the selected virtual viewpoint is once every two frames. Generated and displayed. In FIG. 13, since the virtual viewpoint image corresponding to the selected virtual viewpoint is generated and displayed in the first frame, it should be generated and displayed in the (2 × f + 1) (f is an integer of 1 or more) frame thereafter. become.

また、画像生成装置１１０の画像生成能力が１２０ｆｐｓで且つ４つの切替用仮想視点のそれぞれに対応する仮想視点画像のフレームレートが１５ｆｐｓであるから、各切替用仮想視点に対応する仮想視点画像は８フレームに１回の割合で生成され、表示される。例えば、図１３では、２フレーム目で切替用仮想視点１に対応する仮想視点画像が生成、表示されているので、以降、（８×ｆ＋２）フレーム目に生成、表示されることになる。同様に、切替用仮想視点２、切替用仮想視点３、切替用仮想視点４はそれぞれ、４，６，８フレーム目で表示され、以降、（８×ｆ＋４）フレーム目、（８×ｆ＋６）フレーム目、（８×ｆ＋８）フレーム目に生成、表示されることになる。   Further, since the image generation capacity of the image generation device 110 is 120 fps and the frame rate of the virtual viewpoint image corresponding to each of the four switching virtual viewpoints is 15 fps, the virtual viewpoint image corresponding to each switching virtual viewpoint is 8 It is generated and displayed once per frame. For example, in FIG. 13, since the virtual viewpoint image corresponding to the switching virtual viewpoint 1 is generated and displayed in the second frame, it will be generated and displayed in the (8 × f + 2) th frame thereafter. Similarly, the switching virtual viewpoint 2, the switching virtual viewpoint 3, and the switching virtual viewpoint 4 are respectively displayed in the fourth, sixth, and eighth frames, and thereafter, the (8 × f + 4) th frame and the (8 × f + 6) th frame are displayed. It is generated and displayed in the (8 × f + 8) th frame of the eye.

然るに出力部２０２は、現フレームで生成、表示されるべき仮想視点画像に対応する仮想視点の視点情報を画像生成装置１１０に対して出力し、画像生成装置１１０は、出力部２０２から受けた視点情報に対応する仮想視点画像を生成する。仮想視点画像を生成するタイミングを均等に分散することにより、よりなめらかな画像表示が可能になる。   Therefore, the output unit 202 outputs the viewpoint information of the virtual viewpoint corresponding to the virtual viewpoint image to be generated and displayed in the current frame to the image generation apparatus 110, and the image generation apparatus 110 receives the viewpoint received from the output unit 202. A virtual viewpoint image corresponding to the information is generated. By evenly distributing the timing of generating the virtual viewpoint image, a smoother image display becomes possible.

なお、ここで挙げた数値は何れも具体例を説明するために使用した一例であり、上記の動作はこれらの数値に限ったものではない。つまり、システムの能力や、仮想視点画像を放送する放送システムの要件に合わせて適切に設定すべきものである。   It should be noted that all of the numerical values given here are examples used to describe specific examples, and the above-described operation is not limited to these numerical values. That is, it should be appropriately set in accordance with the system capability and the requirements of the broadcasting system that broadcasts the virtual viewpoint image.

このように本実施形態によれば、仮想視点画像を生成するフレームレートを選択仮想視点及び切替用仮想視点で適切に配分することにより、計算機リソースを増やすことなく、仮想視点の操作及びプレー等に応じた仮想視点の選択を同時に実現することができる。   As described above, according to the present embodiment, by appropriately distributing the frame rate for generating the virtual viewpoint image among the selected virtual viewpoint and the switching virtual viewpoint, it is possible to operate and play the virtual viewpoint without increasing computer resources. It is possible to simultaneously realize the selection of the virtual viewpoint according to the above.

［第５の実施形態］
第１〜４の実施形態では、選択仮想視点に対応する仮想視点画像と、切替用仮想視点に対応する仮想視点画像と、を１つの表示画面に表示するようにしたが、これに限るものではない。例えば、選択仮想視点に対応する仮想視点画像と、切替用仮想視点に対応する仮想視点画像と、を別個の表示装置に表示するようにしても良い。 [Fifth Embodiment]
In the first to fourth embodiments, the virtual viewpoint image corresponding to the selected virtual viewpoint and the virtual viewpoint image corresponding to the switching virtual viewpoint are displayed on one display screen, but the present invention is not limited to this. Absent. For example, the virtual viewpoint image corresponding to the selected virtual viewpoint and the virtual viewpoint image corresponding to the switching virtual viewpoint may be displayed on separate display devices.

また、第３，４の実施形態では、仮想視点画像の生成及び表示の処理ループの中で、仮想視点の登録、並び替え、削除、視点セットの切替、の処理を行うようにしたが、これに限るものではない。例えば、仮想視点画像の生成及び表示の処理ループとは別個のスレッドでもって、仮想視点の登録、並び替え、削除、視点セットの切替、の処理を行うようにしても良い。   In addition, in the third and fourth embodiments, the processing of virtual viewpoint registration, rearrangement, deletion, and viewpoint set switching is performed in the processing loop for generating and displaying virtual viewpoint images. It is not limited to. For example, the processing of registration, rearrangement, deletion of virtual viewpoints, and switching of viewpoint sets may be performed by a thread separate from the processing loop for generating and displaying virtual viewpoint images.

なお、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても良い。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても良い。   It should be noted that some or all of the above-described embodiments and modified examples may be appropriately combined and used. Moreover, you may selectively use some or all of each embodiment and each modification demonstrated above.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

２０１：管理部 ２０２：出力部 ２０３：受信部 ２０４：制御部 ２０５：入力部 201: management unit 202: output unit 203: reception unit 204: control unit 205: input unit

Claims (16)

仮想視点画像に対応する仮想視点の位置及び向きを変更するためのユーザ操作に応じた入力を受け付ける視点操作受付手段と、
前記視点操作受付手段により受け付けられるユーザ操作に応じた入力に基づいて位置及び向きを変更可能な複数の仮想視点に対応する複数の仮想視点画像を画面上に表示させる表示制御手段と、
前記表示制御手段により前記画面上に表示された前記複数の仮想視点画像に含まれる仮想視点画像を選択するためのユーザ操作に応じた入力を受け付ける選択操作受付手段と
を有し、
前記複数の仮想視点のうち前記選択操作受付手段により受け付けられたユーザ操作に応じた入力に基づいて決定された仮想視点に対応する仮想視点画像は、複数の撮影装置が撮影対象領域を撮影して得られる複数の撮影画像に基づいて生成され、他の装置へ送信されることを特徴とする表示制御装置。 Viewpoint operation accepting means for accepting an input according to a user operation for changing the position and orientation of the virtual viewpoint corresponding to the virtual viewpoint image,
Display control means for displaying on the screen a plurality of virtual viewpoint images corresponding to a plurality of virtual viewpoints whose positions and orientations can be changed based on an input according to a user operation received by the viewpoint operation receiving means ,
A selection operation receiving unit that receives an input according to a user operation for selecting a virtual viewpoint image included in the plurality of virtual viewpoint images displayed on the screen by the display control unit ,
Virtual viewpoint image corresponding to the virtual viewpoint that is determined based on the input corresponding to a user operation accepted by the selection operation acceptance means of the plurality of virtual viewpoints, a plurality of photographing devices photographing the imaging region A display control device, which is generated based on a plurality of obtained captured images and is transmitted to another device. 前記他の装置へ送信される仮想視点画像は、放送によって送信されることを特徴とする請求項１に記載の表示制御装置。   The display control device according to claim 1, wherein the virtual viewpoint image transmitted to the other device is transmitted by broadcasting. 仮想視点を新規に登録するためのユーザ操作に応じた入力を受け付ける登録操作受付手段を有し、
前記表示制御手段は、前記登録操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて、前記画面上に表示させる仮想視点画像を追加することを特徴とする請求項１又は２に記載の表示制御装置。 It has a registration operation receiving means for receiving an input according to a user operation for newly registering a virtual viewpoint,
The display control means adds a virtual viewpoint image to be displayed on the screen in response to reception of an input according to the user operation by the registration operation reception means. Display controller. 前記画面上に表示させる仮想視点画像を切り替えるためのユーザ操作に応じた入力を受け付ける切替操作受付手段を有し、
前記表示制御手段は、前記切替操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて、第１の複数の仮想視点に応じた第１の複数の仮想視点画像を前記画面上に表示させる状態から、第２の複数の仮想視点に応じた第２の複数の仮想視点画像を前記画面上に表示させる状態へ切り替えることを特徴とする請求項１乃至３のうち、何れか１項に記載の表示制御装置。 A switching operation receiving unit that receives an input according to a user operation for switching the virtual viewpoint image displayed on the screen,
The display control means causes the first plurality of virtual viewpoint images corresponding to the first plurality of virtual viewpoints to be displayed on the screen in response to reception of an input according to the user operation by the switching operation reception means. 4. The state is switched to a state in which a second plurality of virtual viewpoint images corresponding to a second plurality of virtual viewpoints is displayed on the screen. 4. Display controller. 仮想視点を削除するためのユーザ操作に応じた入力を受け付ける削除操作受付手段を有し、
前記表示制御手段は、前記削除操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて、前記画面上に表示させる仮想視点画像の数を減らすことを特徴とする請求項１乃至４のうち、何れか１項に記載の表示制御装置。 A deletion operation receiving means for receiving an input corresponding to a user operation for deleting the virtual viewpoint,
5. The display control means reduces the number of virtual viewpoint images to be displayed on the screen in response to reception of an input according to the user operation by the deletion operation reception means. , The display control device according to any one of items. 前記画面上に表示される仮想視点画像の並び替えのためのユーザ操作に応じた入力を受け付ける並替操作受付手段を有し、
前記表示制御手段は、前記並替操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて、前記画面上に表示される仮想視点画像を並び替えることを特徴とする請求項１乃至５のうち、何れか１項に記載の表示制御装置。 A rearrangement operation receiving unit that receives an input according to a user operation for rearranging the virtual viewpoint images displayed on the screen,
6. The display control means rearranges the virtual viewpoint images displayed on the screen in response to the input of the user operation by the rearrangement operation receiving means being rearranged. The display control device according to any one of the above. 前記表示制御手段は、前記複数の仮想視点画像のうち、他の装置へ送信される仮想視点画像を、他の仮想視点画像よりも大きく表示させることを特徴とする請求項１乃至６のうち、何れか１項に記載の表示制御装置。   7. The display control means displays a virtual viewpoint image transmitted to another device among the plurality of virtual viewpoint images in a larger size than that of the other virtual viewpoint images. The display control device according to claim 1. 前記表示制御手段は、前記複数の仮想視点画像のうち、他の装置へ送信される仮想視点画像は、他の仮想視点画像よりも高いフレームレートで表示させることを特徴とする請求項１乃至７の何れか１項に記載の表示制御装置。   8. The display control unit displays a virtual viewpoint image transmitted to another device among the plurality of virtual viewpoint images at a frame rate higher than that of the other virtual viewpoint images. The display control device according to any one of 1. 前記視点操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて、変更後の仮想視点の位置及び向きに応じた仮想視点画像を生成する生成手段と、
前記生成手段により生成された仮想視点画像を、前記他の装置へ送信する送信手段と
を有することを特徴とする請求項１乃至８のうち、何れか１項に記載の表示制御装置。 Generating means for generating a virtual viewpoint image according to the position and orientation of the changed virtual viewpoint in response to reception of an input according to the user operation by the viewpoint operation receiving means ,
The display control device according to claim 1 , further comprising: a transmission unit that transmits the virtual viewpoint image generated by the generation unit to the other device. 前記視点操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて、変更後の前記仮想視点の位置及び向きを示す情報を、仮想視点画像を生成する生成装置に対して送信する送信手段を有し、
前記生成装置により生成された仮想視点画像は、前記他の装置へ送信されることを特徴とする請求項１乃至８のうち、何れか１項に記載の表示制御装置。 A transmission unit that transmits information indicating the changed position and orientation of the virtual viewpoint to the generation device that generates the virtual viewpoint image in response to reception of an input according to the user operation by the viewpoint operation reception unit. Have,
Virtual viewpoint image generated by the generating device, of claims 1 to 8, characterized in that it is transmitted to the other apparatus, the display control device according to any one. 前記他の装置へ送信される仮想視点画像に対応する仮想視点を切り替えるための切替処理を、前記選択操作受付手段による前記ユーザ操作に応じた入力の受け付けに応じて実行する切替手段を有することを特徴とする請求項１乃至１０のうち、何れか１項に記載の表示制御装置。 A switching unit that executes a switching process for switching a virtual viewpoint corresponding to a virtual viewpoint image transmitted to the other device, in response to receiving an input corresponding to the user operation by the selection operation receiving unit. The display control device according to claim 1, wherein the display control device is a display control device. 前記表示制御手段は、前記選択操作受付手段による前記ユーザ操作に応じた入力の受け付けまで選択されていた仮想視点画像の表示位置に、前記選択操作受付手段が受け付けた前記ユーザ操作に応じた入力により選択された仮想視点画像を表示させるよう前記画面上の表示内容を変更することを特徴とする請求項１１に記載の表示制御装置。 Wherein the display control unit, the display position of the virtual viewpoint image that has been selected to reception of input in accordance with the user operation by the selection operation acceptance means, the input the selection operation acceptance means according to the user operation accepted The display control device according to claim 11, wherein the display content on the screen is changed to display the selected virtual viewpoint image. 前記表示制御手段により前記画面上に表示される前記複数の仮想視点画像に対応する前記複数の仮想視点のうち、前記視点操作受付手段により受け付けられる前記ユーザ操作に応じた入力に従って位置及び向きが変更される変更対象の仮想視点を選択する選択手段を有し、Of the plurality of virtual viewpoints corresponding to the plurality of virtual viewpoint images displayed on the screen by the display control unit, the position and the orientation are changed according to the input according to the user operation received by the viewpoint operation receiving unit. Selection means for selecting a virtual viewpoint to be changed,
前記選択手段による選択と前記視点操作受付手段により受け付けられた前記ユーザ操作に応じた入力とに基づいて決定された仮想視点の位置及び向きに応じた前記仮想視点画像が、前記他の装置へ送信されることを特徴とする請求項１乃至１０の何れか１項に記載の表示制御装置。The virtual viewpoint image according to the position and orientation of the virtual viewpoint determined based on the selection by the selection means and the input according to the user operation accepted by the viewpoint operation acceptance means is transmitted to the other device. The display control device according to claim 1, wherein the display control device is a display control device. 表示制御装置が行う表示制御方法であって、
仮想視点画像に対応する仮想視点の位置及び向きを変更するためのユーザ操作に応じた入力を受け付ける視点操作受付工程と、
前記視点操作受付工程で受け付けられるユーザ操作に応じた入力に基づいて位置及び向きを変更可能な複数の仮想視点に対応する複数の仮想視点画像を画面上に表示させる表示制御工程と、
前記表示制御工程で前記画面上に表示された前記複数の仮想視点画像に含まれる仮想視点画像を選択するためのユーザ操作に応じた入力を受け付ける選択操作受付工程と
を有し、
前記複数の仮想視点のうち前記選択操作受付工程で受け付けられたユーザ操作に応じた入力に基づいて決定された仮想視点に対応する仮想視点画像は、複数の撮影装置が撮影対象領域を撮影して得られる複数の撮影画像に基づいて生成され、他の装置へ送信されることを特徴とする表示制御方法。 A display control method performed by a display control device,
A viewpoint operation receiving step of receiving an input according to a user operation for changing the position and orientation of the virtual viewpoint corresponding to the virtual viewpoint image,
A display control step of displaying on the screen a plurality of virtual viewpoint images corresponding to a plurality of virtual viewpoints whose positions and orientations can be changed based on an input according to a user operation received in the viewpoint operation receiving step ,
A selection operation receiving step of receiving an input according to a user operation for selecting a virtual viewpoint image included in the plurality of virtual viewpoint images displayed on the screen in the display control step ,
Virtual viewpoint image corresponding to the virtual viewpoint that is determined based on the input corresponding to the user operation received by the selecting operation receiving step among the plurality of virtual viewpoints, a plurality of photographing devices photographing the imaging region A display control method, which is generated based on a plurality of obtained captured images and transmitted to another device. 前記他の装置へ送信される仮想視点画像に対応する仮想視点を切り替えるための切替処理を、前記複数の仮想視点画像の中から仮想視点画像を選択するためのユーザ操作の受け付けに応じて実行する切替工程を有することを特徴とする請求項１４に記載の表示制御方法。 A switching process for switching a virtual viewpoint corresponding to a virtual viewpoint image transmitted to the other device is executed in response to a user operation for selecting a virtual viewpoint image from the plurality of virtual viewpoint images. The display control method according to claim 14 , further comprising a switching step. コンピュータを請求項１乃至１３のうち、何れか１項に記載の表示制御装置の各手段として動作させるためのプログラム。 A program for operating a computer as each unit of the display control device according to any one of claims 1 to 13 .
JP2018201135A 2018-10-25 2018-10-25 Display control device and display control method Active JP6685364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018201135A JP6685364B2 (en) 2018-10-25 2018-10-25 Display control device and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018201135A JP6685364B2 (en) 2018-10-25 2018-10-25 Display control device and display control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017245392A Division JP6427258B1 (en) 2017-12-21 2017-12-21 Display control device, display control method

Publications (2)

Publication Number Publication Date
JP2019115035A JP2019115035A (en) 2019-07-11
JP6685364B2 true JP6685364B2 (en) 2020-04-22

Family

ID=67222886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018201135A Active JP6685364B2 (en) 2018-10-25 2018-10-25 Display control device and display control method

Country Status (1)

Country Link
JP (1) JP6685364B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236535A (en) * 1999-02-15 2000-08-29 P I Ii:Kk Dynamic image information processing method, its system and moving picture information distribution method
JP5517598B2 (en) * 2009-12-22 2014-06-11 キヤノン株式会社 Video playback apparatus and control method thereof
JP5236039B2 (en) * 2010-06-01 2013-07-17 キヤノン株式会社 Video processing apparatus and control method thereof
JP2014215828A (en) * 2013-04-25 2014-11-17 シャープ株式会社 Image data reproduction device, and viewpoint information generation device
JP6622650B2 (en) * 2016-05-18 2019-12-18 キヤノン株式会社 Information processing apparatus, control method therefor, and imaging system

Also Published As

Publication number Publication date
JP2019115035A (en) 2019-07-11

Similar Documents

Publication Publication Date Title
US9531984B2 (en) Terminal device, information processing device, and computer-readable medium
WO2018051688A1 (en) Information processing device, method and program related to generation of virtual viewpoint image
US20150373296A1 (en) Terminal Device and Computer-Readable Medium for the Same
US11205360B2 (en) Display control apparatus, display control method, and non-transitory computer-readable storage medium
CN103544441B (en) Mobile video generation device
US10659822B2 (en) Information processing apparatus, information processing method, and medium
JP2020024619A (en) Information processing apparatus, information processing method, and program
JPWO2016194441A1 (en) 3D advertisement space determination system, user terminal, and 3D advertisement space determination computer
JP6685364B2 (en) Display control device and display control method
KR20230152589A (en) Image processing system, image processing method, and storage medium
JP2023057124A (en) Image processing apparatus, method, and program
JP2015162117A (en) server device, program, and information processing method
JP2008293360A (en) Object information display device and method
JP5992729B2 (en) Information processing apparatus and information processing method
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP2018174376A (en) Video distribution system, terminal and video data distribution device
JP2020022189A (en) Video distribution system, video data distribution device, video data distribution device control program, video data distribution method, terminal device, terminal device control program, and terminal control method
JP2019047502A (en) Information processing apparatus, information processing method, and program
JP2015162815A (en) Terminal, and program
JP2010125040A (en) Image processor
WO2022234699A1 (en) Moving image delivery device, display control device, moving image delivery system, moving image delivery method, and program
JP2015069346A (en) Information processor and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200331

R151 Written notification of patent or utility model registration

Ref document number: 6685364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151