JP7152873B2 - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
JP7152873B2
JP7152873B2 JP2018091404A JP2018091404A JP7152873B2 JP 7152873 B2 JP7152873 B2 JP 7152873B2 JP 2018091404 A JP2018091404 A JP 2018091404A JP 2018091404 A JP2018091404 A JP 2018091404A JP 7152873 B2 JP7152873 B2 JP 7152873B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
image
speed
display control
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018091404A
Other languages
Japanese (ja)
Other versions
JP2019197409A (en
Inventor
拓 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018091404A priority Critical patent/JP7152873B2/en
Publication of JP2019197409A publication Critical patent/JP2019197409A/en
Application granted granted Critical
Publication of JP7152873B2 publication Critical patent/JP7152873B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、仮想視点画像の表示制御に関する。 The present invention relates to display control of virtual viewpoint images.

複数カメラを用いて異なる位置から同期撮影を行い、得られた多視点の画像を使用して、仮想視点画像と呼ばれる画像を生成する技術が注目されている。この技術は、撮影に使用するカメラとは異なる視点である仮想視点から画像を見ることを可能にする。このような仮想視点画像を生成する技術は、例えば、サッカーやラグビーなどのスポーツのハイライトシーンを様々な角度から閲覧することが出来るため、通常の画像と比較して、ユーザに高臨場感を与えることが出来る。 A technique for generating an image called a virtual viewpoint image by performing synchronous photography from different positions using a plurality of cameras and using the obtained multi-viewpoint images is attracting attention. This technique allows viewing images from a virtual viewpoint, which is different from the camera used to capture the image. The technology for generating such virtual viewpoint images, for example, allows the highlight scenes of sports such as soccer and rugby to be viewed from various angles, so compared to normal images, it gives the user a high sense of realism. can give.

近年では、仮想視点画像を応用した技術が開発されている。特許文献１には、仮想視点画像に仮想的な広告を合成する技術について開示されている。具体的には、仮想視点が所定の位置と向きの場合に、所定の仮想広告を表示することが記載されている。 In recent years, techniques that apply virtual viewpoint images have been developed. Patent Literature 1 discloses a technique for synthesizing a virtual advertisement with a virtual viewpoint image. Specifically, it is described that a predetermined virtual advertisement is displayed when the virtual viewpoint is at a predetermined position and orientation.

特許第５５９３３５６号公報Japanese Patent No. 5593356

しかしながら、特許文献１に開示されている技術では、広告の表示制御において仮想視点の変化の速度が考慮されていない。そのため、仮想視点が速く動くシーンにおいて、仮想視点画像中の広告のブレによりユーザ（視聴者）が内容を認識しづらくなり、煩わしい印象をユーザに与える場合や、広告としての表示効果を失ってしまう場合がある。また、特許文献１に開示されている仮想広告に限らず、仮想視点画像に含まれるその他のオブジェクトに関しても、仮想視点が速く動く時に、オブジェクトによっては煩わしい印象をユーザに与える、または、元の表示効果を失ってしまう可能性がある。 However, in the technique disclosed in Patent Document 1, the speed of change of the virtual viewpoint is not taken into consideration in the advertisement display control. Therefore, in a scene where the virtual viewpoint moves rapidly, blurring of the advertisement in the virtual viewpoint image makes it difficult for the user (viewer) to recognize the content, which may give the user a troublesome impression, or the display effect of the advertisement may be lost. Sometimes. Moreover, not only the virtual advertisement disclosed in Patent Document 1, but also other objects included in the virtual viewpoint image may give the user a troublesome impression when the virtual viewpoint moves rapidly, or may cause the original display to change depending on the object. It may lose its effectiveness.

本発明は上記課題に鑑みてなされたものであり、仮想視点の変化により仮想視点画像が見づらくなる虞を低減することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to reduce the possibility that a virtual viewpoint image becomes difficult to see due to a change in virtual viewpoint.

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、設定された仮想視点に対応する仮想視点画像を生成する生成手段と、前記仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定手段と、前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトを非表示する制御、前記指定されたオブジェクトの透過度を上げる制御、グレーアウトする制御、解像度を下げる制御のうち何れかの制御を行う表示制御手段と、を有する。 As one means for achieving the above object, the image processing apparatus of the present invention has the following configuration. That is, generating means for generating a virtual viewpoint image corresponding to a set virtual viewpoint; designating means for designating one or more display-controlled objects included in the virtual viewpoint image; Display that performs any one of control to hide the specified object in the virtual viewpoint image, control to increase the transparency of the specified object, control to gray out, and control to lower the resolution according to the speed. and a control means.

本発明によれば、仮想視点の変化により仮想視点画像が見づらくなる虞を低減することが可能となる。 According to the present invention, it is possible to reduce the possibility that a virtual viewpoint image becomes difficult to see due to a change in virtual viewpoint.

仮想視点画像生成システムを説明するための図。FIG. 2 is a diagram for explaining a virtual viewpoint image generation system; 画像処理装置１０４の構成を説明するための図。2 is a diagram for explaining the configuration of an image processing apparatus 104; FIG. 仮想視点の動きと速度を説明するための図。A diagram for explaining the movement and speed of a virtual viewpoint. 実施形態１における表示制御のフローチャート。4 is a flowchart of display control in Embodiment 1. FIG. 実施形態１における仮想視点画像の一例を説明するための図。FIG. 2 is a diagram for explaining an example of a virtual viewpoint image according to the first embodiment; FIG. オブジェクトの見かけ上の動きと速度を説明するための図。A diagram for explaining the apparent motion and speed of an object. 実施形態２における表示制御のフローチャート。10 is a flowchart of display control according to the second embodiment; 実施形態２における仮想視点画像の一例を説明するための図。FIG. 11 is a diagram for explaining an example of a virtual viewpoint image according to the second embodiment; 実施形態３における表示制御のフローチャート。10 is a flowchart of display control in Embodiment 3. FIG. 実施形態３における仮想視点画像の一例を説明するための図。FIG. 11 is a diagram for explaining an example of a virtual viewpoint image according to the third embodiment;

以下、本発明の実施形態について図面を参照し説明する。なお、以下で説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, the embodiment described below shows an example of a specific implementation of the present invention, and is not limited to this.

［実施形態１］
実施形態１では、仮想視点の速度に応じたオブジェクトの表示制御の一例として、オブジェクトの通常表示と例外表示の切り替えを説明する。以下の実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。 [Embodiment 1]
In the first embodiment, switching between normal display and exceptional display of an object will be described as an example of object display control according to the speed of the virtual viewpoint. A virtual viewpoint image in the following embodiments is also called a free viewpoint video, but is not limited to an image corresponding to a viewpoint freely (arbitrarily) specified by the user. An image corresponding to is also included in the virtual viewpoint image.

（仮想視点画像生成システムの構成と配置）
図１に、本実施形態における仮想視点画像生成システムを説明するための図を示す。図１（ａ）は、仮想視点画像生成システムの構成図である。仮想視点画像生成システムは、Ｎ個のセンサシステム１０１ａ、１０１ｂ、１０１ｃ、…１０１ｎを含む。特に説明がない場合は、Ｎ個のセンサシステム１０１ａ、１０１ｂ、１０１ｃ、…１０１ｎは区別せず、センサシステム１０１と記載する。センサシステム１０１は、それぞれカメラとマイク（不図示）を有する。センサシステム１０１の各カメラは、同期し画像を撮影することができる。また、センサシステム１０１の各マイクは、同期し音声を集音することができる。画像記録装置１０２は、センサシステム１０１から画像及び音声を取得し、データベース１０３に書き込む。仮想視点操作ＵＩ（ユーザインタフェース）１０５は、ジョイスティック、ジョグダイヤル、タッチパネル等であり、仮想視点の移動や回転などの操作が可能な入力装置である。 (Configuration and Arrangement of Virtual Viewpoint Image Generation System)
FIG. 1 shows a diagram for explaining a virtual viewpoint image generation system according to this embodiment. FIG. 1(a) is a configuration diagram of a virtual viewpoint image generation system. The virtual viewpoint image generation system includes N sensor systems 101a, 101b, 101c, . . . 101n. Unless otherwise specified, the N sensor systems 101a, 101b, 101c, . Each sensor system 101 has a camera and a microphone (not shown). Each camera in the sensor system 101 can capture images in synchronism. Also, each microphone of the sensor system 101 can synchronize and collect sound. The image recording device 102 acquires images and sounds from the sensor system 101 and writes them to the database 103 . A virtual viewpoint operation UI (user interface) 105 is a joystick, a jog dial, a touch panel, or the like, and is an input device capable of performing operations such as movement and rotation of the virtual viewpoint.

画像処理装置１０４は、仮想視点操作ＵＩ１０５から仮想視点の指定を受け付け、その仮想視点に応じて、データベース１０３から必要な画像及び音声データを読み出す。画像処理装置１０４は、読み出したデータをレンダリング処理し、仮想視点画像を生成する。画像処理装置１０４は、仮想視点の速度に応じて、あらかじめ表示制御対象として設定したオブジェクトの表示態様を切り換えて、仮想視点画像を生成する。この処理の詳細は図４を用いて後述する。画像処理装置１０４は、生成した仮想視点画像を、放送局やユーザ端末（スマートフォンなど）へ送る。なお、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。 The image processing device 104 receives designation of a virtual viewpoint from the virtual viewpoint operation UI 105, and reads necessary image and audio data from the database 103 according to the virtual viewpoint. The image processing device 104 renders the read data to generate a virtual viewpoint image. The image processing device 104 generates a virtual viewpoint image by switching the display mode of an object set in advance as a display control target according to the speed of the virtual viewpoint. Details of this process will be described later with reference to FIG. The image processing device 104 sends the generated virtual viewpoint image to a broadcasting station or a user terminal (such as a smart phone). Note that, in this embodiment, for the sake of simplification of explanation, the description of audio is partially omitted, but it is assumed that basically both images and audio are processed.

図１（ｂ）は、仮想視点画像生成システムの設置例を示す図である。本実施形態では、スタジアムのフィールドを囲むように、Ｎ台のセンサシステム１０１が設置される。仮想視点１１０（仮想カメラとも呼ぶ）は、センサシステム１０１に含まれるどのカメラとも異なる視点でスタジアム内を閲覧できる。なお、仮想視点画像生成システムの設置場所は、スタジアムに限らず、スタジオ等でも可能である。 FIG. 1B is a diagram showing an installation example of the virtual viewpoint image generation system. In this embodiment, N sensor systems 101 are installed so as to surround the stadium field. A virtual viewpoint 110 (also referred to as a virtual camera) can view the stadium from a different viewpoint than any of the cameras included in the sensor system 101 . Note that the installation location of the virtual viewpoint image generation system is not limited to the stadium, and can be a studio or the like.

（画像処理装置の構成）
次に、図２を参照して、画像処理装置１０４の構成を説明する。図２（ａ）は、画像処理装置１０４の機能構成図である。パラメータ取得部２０１は、仮想視点操作ＵＩ１０５から、仮想視点パラメータを取得する。仮想視点パラメータは、仮想視点を指定するためのパラメータ（値）であり、仮想視点（仮想カメラ）の位置や向き（姿勢）に関するパラメータが含まれる。またこれに限らず、仮想視点パラメータには仮想視点の焦点距離に関するパラメータなどが含まれてもよい。パラメータ取得部２０１は、仮想視点パラメータを、仮想視点画像のフレーム毎に取得する。三次元モデル生成部２０２は、データベース１０３より取得した撮影画像を基に、三次元モデルを生成する。三次元モデルは、例えばＶｉｓｕａｌ Ｈｕｌｌなどの形状推定方法により生成され、点群で構成されるものとする。ただしモデルの生成方法はこれに限定されず、三次元モデルはポリゴンなどで構成されてもよい。 (Configuration of image processing device)
Next, the configuration of the image processing apparatus 104 will be described with reference to FIG. FIG. 2A is a functional configuration diagram of the image processing apparatus 104. As shown in FIG. A parameter acquisition unit 201 acquires virtual viewpoint parameters from the virtual viewpoint operation UI 105 . A virtual viewpoint parameter is a parameter (value) for specifying a virtual viewpoint, and includes parameters relating to the position and orientation (orientation) of a virtual viewpoint (virtual camera). The virtual viewpoint parameters are not limited to this, and may include parameters related to the focal length of the virtual viewpoint. The parameter acquisition unit 201 acquires a virtual viewpoint parameter for each frame of a virtual viewpoint image. A three-dimensional model generation unit 202 generates a three-dimensional model based on the captured images acquired from the database 103 . The three-dimensional model is generated by a shape estimation method such as Visual Hull, and is composed of point groups. However, the model generation method is not limited to this, and the three-dimensional model may be composed of polygons or the like.

画像生成部２０３は、三次元モデル生成部２０２により生成された三次元モデルを利用して、仮想視点の位置と向きに基づき仮想視点画像を生成する。具体的には、画像生成部２０３は、三次元モデルを構成する点毎に撮影画像を選択し、撮影画像から適切な画素値を取得して色付け処理を行う。そして、画像生成部２０３は、色付け処理を施した点群を三次元空間に配置し、仮想視点へ投影することにより仮想視点画像を生成する。速度取得部２０４は、パラメータ取得部２０１により取得された仮想視点パラメータを用いて、仮想視点の速度（仮想視点速度と呼ぶ）を算出する。仮想視点速度については、図３を用いて後述する。 The image generator 203 uses the 3D model generated by the 3D model generator 202 to generate a virtual viewpoint image based on the position and orientation of the virtual viewpoint. Specifically, the image generation unit 203 selects a captured image for each point forming the three-dimensional model, acquires appropriate pixel values from the captured image, and performs coloring processing. Then, the image generation unit 203 arranges the colored point group in a three-dimensional space and projects it onto the virtual viewpoint to generate a virtual viewpoint image. The speed acquisition unit 204 uses the virtual viewpoint parameters acquired by the parameter acquisition unit 201 to calculate the speed of the virtual viewpoint (referred to as virtual viewpoint speed). The virtual viewpoint speed will be described later with reference to FIG.

オブジェクト指定部２０５は、仮想視点画像に含まれる１つ以上のオブジェクトの中から、ユーザによる操作または画像処理等を介して、表示制御対象のオブジェクトを指定（選択）する。ここで、オブジェクト指定部２０５は、例えばユーザが選択したオブジェクトを表示制御対象のオブジェクトに指定してもよいし、逆に、複数のオブジェクトのうちユーザが選択したオブジェクト以外のオブジェクトを表示制御対象のオブジェクトに指定してもよい。本実施形態において、オブジェクトとは、仮想視点画像の前景や背景に含まれる対象物である、例えば、フィールド上の人物、フィールド周辺の構造物、スタジアム内の広告等とする。また、仮想広告のような、実際のフィールド上には存在しないが、仮想視点画像に表示される仮想オブジェクトも、表示制御対象のオブジェクトに含まれてもよい。オブジェクト指定部２０５は、選択したオブジェクトに関する情報（オブジェクト情報と呼ぶ）を、表示制御部２０６に渡す。本実施形態において、オブジェクト情報とは、例えばオブジェクトの座標である。 The object designation unit 205 designates (selects) an object to be subject to display control from among one or more objects included in the virtual viewpoint image through user operation, image processing, or the like. Here, the object designating unit 205 may designate, for example, an object selected by the user as an object to be subject to display control, or conversely, among a plurality of objects, an object other than the object selected by the user may be designated to be subject to display control. You can specify the object. In this embodiment, the object is a subject included in the foreground or background of the virtual viewpoint image, such as a person on the field, a structure around the field, an advertisement in the stadium, or the like. In addition, a virtual object that does not exist on the actual field but is displayed in the virtual viewpoint image, such as a virtual advertisement, may also be included in the display-controlled object. The object designation unit 205 passes information about the selected object (called object information) to the display control unit 206 . In this embodiment, the object information is, for example, the coordinates of the object.

表示制御部２０６は、仮想視点速度に基づいて、仮想視点画像内のオブジェクトの表示を制御する。オブジェクト表示制御の処理結果は、画像生成部２０３で生成される仮想視点画像に反映される。オブジェクト表示制御については、図４と図５を用いて後述する。外部画像データ保持部２０７は、データベース１０３以外から取得した外部データを保持する。外部データとは、例えば広告の内容を示すデータである。外部画像データ保持部２０７は、外部データをオブジェクト情報に含め、オブジェクト指定部２０５を介して画像生成部２０３に渡すことができ、結果として、外部データは仮想視点画像に追加され得る。画像出力部２１０は、画像生成部２０３により生成された仮想視点画像を、放送局やユーザ端末に出力する。 The display control unit 206 controls display of objects in the virtual viewpoint image based on the virtual viewpoint speed. A processing result of the object display control is reflected in the virtual viewpoint image generated by the image generation unit 203 . Object display control will be described later with reference to FIGS. 4 and 5. FIG. The external image data holding unit 207 holds external data obtained from sources other than the database 103 . External data is, for example, data indicating the content of an advertisement. The external image data holding unit 207 can include the external data in the object information and pass it to the image generating unit 203 via the object designating unit 205, and as a result the external data can be added to the virtual viewpoint image. The image output unit 210 outputs the virtual viewpoint image generated by the image generation unit 203 to a broadcasting station or a user terminal.

次に、画像処理装置１０４のハードウェア構成について説明する。図２（ａ）は、画像処理装置１０４のハードウェア構成図である。ＣＰＵ（Central Processing Unit）１１１は、ＲＡＭ（Random Access Memory）１１２やＲＯＭ（Read Only Memory）１１３に格納されているコンピュータプログラムやデータを用いて処理を行う。また。ＣＰＵ１１１は、画像処理装置１０４の全体の動作制御と後述する各種の処理を実行する。 Next, the hardware configuration of the image processing apparatus 104 will be described. FIG. 2A is a hardware configuration diagram of the image processing apparatus 104. As shown in FIG. A CPU (Central Processing Unit) 111 performs processing using computer programs and data stored in a RAM (Random Access Memory) 112 and a ROM (Read Only Memory) 113 . Also. The CPU 111 executes overall operation control of the image processing apparatus 104 and various types of processing described later.

ＲＡＭ１１２は、ＲＯＭ１１３からロードされたコンピュータプログラムやデータを一時的に記憶するためのワークエリアを有する。また、ＲＡＭ１１２は、ＣＰＵ１１１が各種の処理を実行する際に用いるワークエリアを提供する。ＲＯＭ１１３は、コンピュータプログラムやデータを保持する。 RAM 112 has a work area for temporarily storing computer programs and data loaded from ROM 113 . Also, the RAM 112 provides a work area used when the CPU 111 executes various processes. ROM 113 holds computer programs and data.

入力部１１４は、例えば、仮想視点操作ＵＩ１０５からの入力情報を受け付ける。外部インタフェース１１５は、例えば、ＬＡＮ（Local Area Network）を通じて、データベース１０３や仮想視点操作ＵＩ１０５との間で情報の送受信を行う。例えば、外部インタフェース１１５は、仮想視点画像をＳＤＩケーブル経由で放送局に出力し、および／または、インターネット経由でユーザ端末に出力する。出力部１１６は、例えば、ディスプレイやスピーカ等から構成され、オペレータ操作に必要な情報をとして、生成した仮想視点画像やＵＩなどを出力する。 The input unit 114 receives input information from the virtual viewpoint operation UI 105, for example. The external interface 115 transmits and receives information to and from the database 103 and the virtual viewpoint operation UI 105 via a LAN (Local Area Network), for example. For example, the external interface 115 outputs the virtual viewpoint image to a broadcasting station via an SDI cable and/or to a user terminal via the Internet. The output unit 116 includes, for example, a display, a speaker, and the like, and outputs a generated virtual viewpoint image, a UI, and the like as information necessary for operator operation.

（仮想視点の動きの算出手法）
図３を用いて仮想視点の動き（変化）について説明する。概要として、仮想視点の動きは、仮想視点の移動と回転の組み合わせとなる。また、単位時間当たりの仮想視点の変化量が仮想視点速度となり、速度取得部２０４により算出される。仮想視点速度は、図４を用いて後述するオブジェクト表示制御で使用される。 (Method for calculating movement of virtual viewpoint)
The movement (change) of the virtual viewpoint will be described with reference to FIG. As an overview, the motion of the virtual viewpoint is a combination of translation and rotation of the virtual viewpoint. Also, the amount of change in the virtual viewpoint per unit time is the virtual viewpoint speed, which is calculated by the speed acquisition unit 204 . The virtual viewpoint speed is used in object display control, which will be described later with reference to FIG.

仮想視点の移動と回転を表現するための座標系を図３（ａ）に示す。本実施形態では、図３（ａ）に示す座標系がスタジアムに設定される。例えば、原点（０、０、０）がフィールドの中心へ、Ｚ軸がフィールドに対して鉛直方向へ、Ｘ軸がフィールドの長辺方向へ、Ｙ軸がフィールドの短辺方向に設定される。なお、各軸の方向については、これに限定されない。 A coordinate system for representing the movement and rotation of the virtual viewpoint is shown in FIG. 3(a). In this embodiment, the coordinate system shown in FIG. 3(a) is set in the stadium. For example, the origin (0, 0, 0) is set to the center of the field, the Z axis is set to the direction perpendicular to the field, the X axis is set to the long side direction of the field, and the Y axis is set to the short side direction of the field. Note that the direction of each axis is not limited to this.

図３（ｂ）に、仮想視点操作ＵＩ１０５での操作が行われていない場合の、仮想視点の位置と向きについて説明する。図３（ｂ）に示される四角錐において、頂点が仮想視点の位置３０１を表し、頂点を起点とする視線方向のベクトルが仮想視点の向き３０２を表す。仮想視点の向き３０２は、前方クリップ面３０３と後方クリップ面３０４の中心点を通るものとする。また、画像生成部２０３が仮想視点画像に投影する範囲（すなわち仮想視点画像の生成対象の範囲）である、仮想視点の視錐台は、前方クリップ面３０３と後方クリップ面に挟まれた空間３０５である。 FIG. 3B illustrates the position and orientation of the virtual viewpoint when no operation is performed on the virtual viewpoint operation UI 105 . In the quadrangular pyramid shown in FIG. 3B, the vertex represents the position 301 of the virtual viewpoint, and the line-of-sight direction vector starting from the vertex represents the orientation 302 of the virtual viewpoint. A virtual viewpoint orientation 302 is assumed to pass through the center points of the front clip plane 303 and the rear clip plane 304 . The view frustum of the virtual viewpoint, which is the range projected onto the virtual viewpoint image by the image generation unit 203 (that is, the range for which the virtual viewpoint image is to be generated), is the space 305 sandwiched between the front clip plane 303 and the rear clip plane. is.

次に、仮想視点操作ＵＩ１０５での操作が行われた場合の、仮想視点の移動と回転について説明する。仮想視点の位置３０１は、仮想視点操作ＵＩ１０５での操作に従い、三次元座標で表現された空間内を移動および／または回転する。単位時間当たりの仮想視点の移動に係る変化量は移動速度となる。また、仮想視点の回転は、ヨー、ピッチ、ロールの３つの指定可能である。ヨー（Ｙａｗ）は、Ｚ軸回りの回転、ピッチ（Ｐｉｔｃｈ）はＸ軸回りの回転、ロール（Ｒｏｌｌ）はＹ軸回りの回転とする。仮想視点の回転に係る変化量は角速度となる。 Next, the movement and rotation of the virtual viewpoint when an operation is performed on the virtual viewpoint operation UI 105 will be described. A virtual viewpoint position 301 moves and/or rotates within a space represented by three-dimensional coordinates according to an operation on the virtual viewpoint operation UI 105 . The amount of change associated with the movement of the virtual viewpoint per unit time is the movement speed. Also, the rotation of the virtual viewpoint can be specified in three directions: yaw, pitch, and roll. Yaw is rotation around the Z-axis, Pitch is rotation around the X-axis, and Roll is rotation around the Y-axis. The amount of change associated with the rotation of the virtual viewpoint is the angular velocity.

次に、仮想視点の動きの例を、図３（ｄ）を参照して説明する。図３（ｄ）は、仮想視点の動きを説明するための図である。図３（ｄ）では、仮想視点がＸ軸のプラス方向に移動し、かつ、Ｙａｗ軸をマイナス方向に回転した動きの例が示されている。なお、図の例は一例に過ぎず、仮想視点の動きは、これらの方向に限定されないことは言うまでもない。仮想視点の動きを説明するために、仮想視点の視錐台内の一点３１０を使用する。図３（ｃ）に、視錐台内の一点３１０を説明するための図を示す。図３（ｃ）は、図３（ｂ）の仮想視点を上（Ｚ軸）から見た図である。視錐台内の一点３１０は、図３（ｃ）に示すように、仮想視点の向きを示すベクトル上の、前方クリップ面３０３と後方クリップ面３０４の間の中点とする。図３（ｄ）に示すように、点３１０の動き３１１（仮想視点の位置３０１からの視線方向に離れた一点の動き）が、仮想視点の動きである移動と回転との組み合わせを反映したものとなる。 Next, an example of the movement of the virtual viewpoint will be described with reference to FIG. 3(d). FIG. 3D is a diagram for explaining the movement of the virtual viewpoint. FIG. 3D shows an example of movement in which the virtual viewpoint moves in the positive direction of the X axis and rotates in the negative direction of the Yaw axis. Note that the example in the drawing is only an example, and it goes without saying that the movement of the virtual viewpoint is not limited to these directions. A point 310 in the view frustum of the virtual viewpoint is used to describe the motion of the virtual viewpoint. FIG. 3(c) shows a diagram for explaining one point 310 in the view frustum. FIG. 3(c) is a view of the virtual viewpoint of FIG. 3(b) viewed from above (Z-axis). A point 310 in the view frustum is the midpoint between the front clipping plane 303 and the rear clipping plane 304 on the vector indicating the orientation of the virtual viewpoint, as shown in FIG. 3(c). As shown in FIG. 3(d), the movement 311 of the point 310 (the movement of one point away from the position 301 of the virtual viewpoint in the line-of-sight direction) reflects the combination of the movement and rotation of the virtual viewpoint. becomes.

次に、単位時間当たりの仮想視点の変化量である仮想視点速度について説明する。なお、本実施形態では、仮想視点速度（仮想視点の速度）と、前述の移動速度は異なるものとして定義する。仮想視点速度は、仮想視点の視錐台内の一点３１０の移動量に応じた速度とする。つまり、仮想視点速度は、大きさと方向を持つ速度ベクトルで表される。具体的には、視錐台内の一点３１０の１フレーム間における変化量を、フレーム間隔の時間で除算し得ることができる。例えば、図３（ｄ）は、６０ｆｐｓの画像を想定し、１フレームの間に仮想視点が移動したものを示すとすると、仮想視点速度は（点３１０の座標の差分）／（１／６０）となる。仮想視点速度は、フレーム毎に計算され、図４を用いて後述するオブジェクト表示制御で使用される。 Next, the virtual viewpoint speed, which is the amount of change in the virtual viewpoint per unit time, will be described. Note that, in this embodiment, the virtual viewpoint speed (speed of the virtual viewpoint) is defined as being different from the movement speed described above. The virtual viewpoint speed is a speed corresponding to the amount of movement of the point 310 within the viewing frustum of the virtual viewpoint. In other words, the virtual viewpoint velocity is represented by a velocity vector having magnitude and direction. Specifically, the amount of change of one point 310 in the view frustum between one frame can be divided by the frame interval time. For example, FIG. 3(d) assumes a 60 fps image and shows the movement of the virtual viewpoint during one frame. becomes. The virtual viewpoint speed is calculated for each frame and used in object display control, which will be described later with reference to FIG.

なお、仮想視点速度の定義は、仮想視点の移動に係る変化量と回転に係る変化量とに応じたパラメータであれば、これに限るものでない。また、仮想視点の移動速度や角速度だけでなく、加速度などを含めてもよい。 Note that the definition of the virtual viewpoint speed is not limited to this as long as it is a parameter that corresponds to the amount of change related to movement and the amount of change related to rotation of the virtual viewpoint. Also, acceleration and the like may be included in addition to the moving speed and angular velocity of the virtual viewpoint.

（実施形態１におけるオブジェクトの表示制御）
図４を参照して、仮想視点速度に応じたオブジェクトの表示制御について説明する。図４は、本実施形態における表示制御のフローチャートである。 (Object display control in Embodiment 1)
Display control of an object according to the virtual viewpoint speed will be described with reference to FIG. FIG. 4 is a flow chart of display control in this embodiment.

ステップＳ４０１では、表示制御部２０６が、表示制御対象のオブジェクトのオブジェクト情報を取得する。オブジェクト情報は、前述の様にオブジェクトの座標や領域等である。表示制御対象のオブジェクトは、例えば、オブジェクト指定部２０５により、フィールド周辺の構造物が表示制御対象のオブジェクトとして事前に指定され、当該表示制御対象のオブジェクトのオブジェクト情報が表示制御部２０６に渡される。なお、表示制御対象のオブジェクトは、フィールド周辺の構造物に限らず、仮想視点画像に含まれる指定されたオブジェクトであればよい。 In step S401, the display control unit 206 acquires object information of an object whose display is to be controlled. The object information is the coordinates, area, etc. of the object as described above. Objects subject to display control, for example, structures around the field are designated in advance as objects subject to display control by the object designating unit 205 , and object information of the object subject to display control is passed to the display control unit 206 . Note that the display-controlled object is not limited to the structures around the field, and may be any specified object included in the virtual viewpoint image.

ステップＳ４０２では、表示制御部２０６が、仮想視点速度を所定の閾値と比較する。仮想視点速度の算出方法は図３で説明した通りである。判定結果が真の場合（仮想視点速度が閾値未満）は、処理はステップＳ４０３へ、偽の場合（仮想視点速度が閾値以上）は、処理はステップＳ４０４へ進む。この閾値は、例えば画像処理装置１０４に対するユーザ操作に基づいて設定されてもよいし、仮想視点画像の生成対象となるイベントの内容や、表示制御対象のオブジェクトに応じて自動で設定されてもよい。ステップＳ４０３では、表示制御部２０６が、表示制御対象のオブジェクトを通常通りに表示する通常表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。ステップＳ４０４では、表示制御部２０６が、表示制御対象のオブジェクトを通常通りに表示しない例外表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。例外表示とは、オブジェクトの透過度を上げたり、グレーアウトしたり、解像度を下げたり、ぼかしたりすることによる、通常表示と異なる表示形態での表示を意味する。ステップＳ４０４では、例えば、例外表示として、表示制御対象のオブジェクトの透過度を１００％に設定する。なお、仮想視点速度に応じて異なる例外表示が行われてもよい。例えば、仮想視点速度が速いほど表示制御対象のオブジェクトの透過率を上げたり、ボケ量を大きくしたりしてもよい。 In step S402, the display control unit 206 compares the virtual viewpoint speed with a predetermined threshold. The method of calculating the virtual viewpoint velocity is as described with reference to FIG. If the determination result is true (the virtual viewpoint speed is less than the threshold), the process proceeds to step S403, and if false (the virtual viewpoint speed is greater than or equal to the threshold), the process proceeds to step S404. This threshold value may be set, for example, based on a user operation on the image processing apparatus 104, or may be automatically set according to the content of an event for which a virtual viewpoint image is to be generated, or an object whose display is to be controlled. . In step S403, the display control unit 206 sets the display control target object to normal display in which the object is displayed normally, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, and the display control unit 206 generates a virtual viewpoint image reflecting the setting. display the virtual viewpoint image. In step S404, the display control unit 206 sets the display control target object to an exceptional display that does not display normally, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, and the display control unit 206 generates the virtual viewpoint image. display the virtual viewpoint image. Exceptional display means display in a display form different from normal display by increasing the transparency of an object, graying out, lowering the resolution, or blurring the object. In step S404, for example, as an exceptional display, the transparency of the display-controlled object is set to 100%. Note that different exception displays may be performed according to the virtual viewpoint speed. For example, the higher the virtual viewpoint speed, the higher the transmittance of the object subject to display control, or the larger the blur amount.

なお、ステップＳ４０２の仮想視点速度と閾値の比較に関して、仮想視点速度は速度ベクトルで表されるため、厳密には仮想視点速度の大きさと閾値の比較となる。また、仮想視点速度の方向を限定して速度を比較する（仮想視点の変化量の１以上の所定の方向における大きさを比較する）構成も可能である。例えば、仮想視点速度のＸ方向とＹ方向の大きさのみを閾値との比較対象とし、Ｚ方向の大きさを考慮しないことも可能である。また、ステップＳ４０２の仮想視点速度と閾値の比較において、閾値を０に設定した場合は、仮想視点速度に関わらず常に判定が偽となる。つまり、表示制御対象のオブジェクトを常にステップＳ４０４で例外表示に設定することもできる。 Note that the comparison of the virtual viewpoint speed and the threshold in step S402 is strictly a comparison of the magnitude of the virtual viewpoint speed and the threshold because the virtual viewpoint speed is represented by a speed vector. A configuration is also possible in which the direction of the virtual viewpoint speed is limited and the speeds are compared (the magnitude of the change amount of the virtual viewpoint in one or more predetermined directions is compared). For example, it is possible to compare only the magnitudes of the virtual viewpoint velocity in the X direction and the Y direction with the threshold and not consider the magnitude in the Z direction. Also, in the comparison between the virtual viewpoint speed and the threshold in step S402, if the threshold is set to 0, the determination is always false regardless of the virtual viewpoint speed. In other words, it is possible to always set the display-controlled object to exceptional display in step S404.

また、上記説明では、ステップＳ４０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示した。これに替えて、ステップＳ４０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３を介さずに、表示制御部２０６が当該設定を反映させた仮想視点画像を表示するようにしてもよい。 Further, in the above description, the display control unit 206 sets normal display or exceptional display of the object subject to display control according to the determination in step S402, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, The display control unit 206 displayed the generated virtual viewpoint image. Instead, the display control unit 206 sets normal display or exceptional display of the object subject to display control according to the determination in step S402, and the display control unit 206 reflects the setting without going through the image generation unit 203. It is also possible to display the virtual viewpoint image that has been set.

続いて、本実施形態における仮想視点画像の表示形態の一例について説明する。図５（ａ）～（ｃ）は、図４の処理により表示される仮想視点画像の一例を説明するための図である。図５（ａ）～（ｃ）では、いずれも、左図にＺ軸の負方向（上空からフィールドへの方向）から見た仮想視点の動きと、右図に左図に示す仮想視点の動きに応じて生成・表示される仮想視点画像を表している。なお、図５（ｃ）の仮想視点の動きに関しては、図５（ｂ）と同じため省略している。 Next, an example of the display form of the virtual viewpoint image in this embodiment will be described. FIGS. 5A to 5C are diagrams for explaining an example of a virtual viewpoint image displayed by the process of FIG. 4. FIG. In each of FIGS. 5(a) to (c), the left figure shows the movement of the virtual viewpoint seen from the negative direction of the Z axis (direction from the sky to the field), and the right figure shows the movement of the virtual viewpoint shown in the left figure. represents a virtual viewpoint image that is generated and displayed according to . Note that the motion of the virtual viewpoint in FIG. 5(c) is omitted because it is the same as in FIG. 5(b).

図５（ａ）の右図に示すように、仮想視点画像に含まれるオブジェクトは、観客席５０１、フィールド周辺の構造物５０２、フィールド５０３や、ボール５１１、人物５２１～５２８、である。ここで、オブジェクト指定部２０５が、これらのオブジェクトの中から、表示制御対象のオブジェクトとして、フィールド周辺の構造物５０２を事前に指定しているものとする。 As shown in the right diagram of FIG. 5A, the objects included in the virtual viewpoint image are a spectator seat 501, a structure 502 around the field, a field 503, a ball 511, and people 521-528. Here, it is assumed that the object designating unit 205 has previously designated the structure 502 around the field as an object whose display is to be controlled from among these objects.

図５（ａ）は、仮想視点の動きが小さく、ほぼ動いていない例を示している。この時、表示制御部２０６は、ステップＳ４０２で仮想視点速度が閾値未満であると判定し、ステップＳ４０３に進み、表示制御対象のオブジェクトである構造物５０２を通常表示に設定する。画像生成部２０３は、当該設定を反映した仮想視点画像を生成する。画像生成部２０３により生成された仮想視点画像が図５（ａ）の右図となる。この図では、構造物５０２を含め、全オブジェクトが通常表示されている。 FIG. 5(a) shows an example in which the movement of the virtual viewpoint is small and hardly moves. At this time, the display control unit 206 determines in step S402 that the virtual viewpoint speed is less than the threshold, proceeds to step S403, and sets the structure 502, which is the object subject to display control, to normal display. The image generation unit 203 generates a virtual viewpoint image reflecting the settings. The virtual viewpoint image generated by the image generation unit 203 is the right diagram of FIG. 5(a). In this view, all objects are normally displayed, including structure 502 .

続いて、図５（ｂ）～（ｃ）について説明する。図５（ｂ）～（ｃ）は、仮想視点の動きは速く、仮想視点速度は閾値以上である例を示している。図５（ｂ）と図５（ｃ）の違いは、図４で説明した表示制御を実行するか否かに基づく。すなわち、図５（ｂ）では、表示制御対象のオブジェクトが指定されておらず、図５（ｃ）では、構造物５０２が表示制御対象のオブジェクトとして事前に指定され、図４の表示制御が実行されている。 Next, FIGS. 5(b) to 5(c) will be described. FIGS. 5(b) and 5(c) show examples in which the movement of the virtual viewpoint is fast and the virtual viewpoint speed is equal to or higher than the threshold. The difference between FIG. 5(b) and FIG. 5(c) is based on whether or not the display control described with reference to FIG. 4 is executed. That is, in FIG. 5B, the display control target object is not specified, and in FIG. 5C, the structure 502 is specified in advance as the display control target object, and the display control in FIG. It is

図５（ｂ）では、表示制御対象のオブジェクトが指定されていないため、図４の表示制御は実行されない。結果として、図５（ｂ）の右図に示すように、全オブジェクトが通常表示される仮想視点画像が生成される。この図では、仮想視点速度が速いため、フィールド周辺の構造物５０２はブレが目立ち、内容を理解しづらく煩わしい印象をユーザに与えてしまう問題が発生する。 In FIG. 5(b), the display control shown in FIG. 4 is not executed because the display control target object is not specified. As a result, as shown in the right diagram of FIG. 5B, a virtual viewpoint image in which all objects are normally displayed is generated. In this figure, since the virtual viewpoint speed is high, the structures 502 around the field are conspicuously blurred, giving the user a troublesome impression that it is difficult to understand the contents.

図５（ｃ）では、構造物５０２が表示制御対象のオブジェクトとして事前に指定され、図４の表示制御が実行される。具体的には、表示制御部２０６は、ステップＳ４０２で仮想視点速度が閾値以上であると判定し、ステップＳ４０４に進み、構造物５０２を例外表示に設定する。結果として、図５（ｃ）の右図に示すような仮想視点画像が生成される。この図では、構造物５０２のみが透過度１００％で非表示となり、それ以外の全オブジェクトは通常表示されている。図５（ｂ）ではフィールド周辺の構造物５０２は、内容を理解しづらく煩わしく感じさせるが、図５（ｃ）では、構造物５０２を非表示にすることで、ユーザ（視聴者）はフィールド内のプレイに集中し視聴することが可能となる。 In FIG. 5C, a structure 502 is specified in advance as an object to be subject to display control, and the display control of FIG. 4 is executed. Specifically, the display control unit 206 determines in step S402 that the virtual viewpoint speed is equal to or greater than the threshold, proceeds to step S404, and sets the structure 502 to exceptional display. As a result, a virtual viewpoint image as shown in the right diagram of FIG. 5(c) is generated. In this figure, only structure 502 is hidden with 100% transparency, and all other objects are normally displayed. In FIG. 5(b), the structures 502 around the field make it difficult to understand the contents and make the user feel troublesome. It is possible to concentrate on the play and watch it.

このように、本実施形態によれば、仮想視点速度に応じたオブジェクトの表示制御を行うことができる。仮想視点画像は、実カメラで困難なダイナミックなカメラパスを仮想視点により実現できる点が、大きな長所となる。そのため、仮想視点の速い動きによって、ユーザに煩わしい印象を与えてしまうと、その長所を発揮しきれず仮想視点画像の価値が低下することになる。一方、本実施形態によれば、例えば、仮想視点が速く動くダイナミックなシーンにおいて、従来は内容を理解しづらく煩わしく感じていたオブジェクトを例外表示することで、注目したいオブジェクトに集中し視聴できる仮想視点画像を提供することができる。 As described above, according to the present embodiment, display control of an object can be performed according to the virtual viewpoint speed. The virtual viewpoint image has the great advantage that a dynamic camera path, which is difficult with a real camera, can be realized by the virtual viewpoint. Therefore, if the fast movement of the virtual viewpoint gives a troublesome impression to the user, the merits of the virtual viewpoint image cannot be fully exhibited and the value of the virtual viewpoint image is lowered. On the other hand, according to the present embodiment, for example, in a dynamic scene in which the virtual viewpoint moves rapidly, objects that are difficult to understand and are annoying in the past are displayed as exceptions, thereby enabling the virtual viewpoint to focus on and view objects of interest. Images can be provided.

［実施形態２］
実施形態２では、仮想視点の速度に加え、オブジェクトの速度に応じた表示制御について説明する。本実施形態において、仮想画像視点生成システムの構成は図１、画像処理装置１０４の構成は図２と同様であるため、説明を省略する。また、仮想視点の速度（仮想視点速度）は、図３を参照して説明したように算出される。 [Embodiment 2]
In the second embodiment, display control according to the speed of the object in addition to the speed of the virtual viewpoint will be described. In this embodiment, the configuration of the virtual image viewpoint generation system is the same as that of FIG. 1, and the configuration of the image processing device 104 is the same as that of FIG. Also, the speed of the virtual viewpoint (virtual viewpoint speed) is calculated as described with reference to FIG.

（オブジェクトの速度の算出手法）
図６を参照して、オブジェクトの動きと速度、および、オブジェクトの見かけ上の動きと速度について説明する。図６は、オブジェクトの見かけ上の動きと速度を説明する図である。概要としては、本実施形態において、オブジェクトの見かけ上の動きは、仮想視点の動きと、オブジェクトの動きの組み合わせとなる。そして、オブジェクトの見かけ上の動きの変化量が、オブジェクトの見かけ上の速度（オブジェクトの擬似速度と呼ぶ）となる。 言い換えると、オブェクトの擬似速度は、仮想視点の速度（仮想視点速度）と、オブジェクトの速度（オブジェクト速度）を合わせたものと表すこともできる。このオブジェクトの擬似速度は、後述する図７に示すオブジェクトの表示制御で使用される。 (Calculation method of object speed)
The motion and speed of an object and the apparent motion and speed of an object will be described with reference to FIG. FIG. 6 is a diagram for explaining the apparent motion and speed of an object. As an overview, in this embodiment, the apparent motion of the object is a combination of the motion of the virtual viewpoint and the motion of the object. Then, the amount of change in the apparent movement of the object becomes the apparent velocity of the object (referred to as the pseudo velocity of the object). In other words, the pseudo velocity of the object can also be expressed as the combination of the velocity of the virtual viewpoint (virtual viewpoint velocity) and the velocity of the object (object velocity). This pseudo velocity of the object is used in object display control shown in FIG. 7, which will be described later.

図６（ａ）は、三次元空間上を人物二人が移動中の例を示す。人物二人をそれぞれオブジェクト６０１、６０２とする。これらのオブジェクトは、図に示す様に、フレーム間で、それぞれ右（Ｘ軸）方向に移動中である。二つのオブジェクトの動きを、それぞれ動き６１１、６１２とする。各オブジェクト６０１、６０２を映すため、仮想視点も右（Ｘ軸）方向に移動（仮想視点の動き３１１）する。図６（ａ）において、オブジェクト（人物）と仮想視点とも、現フレームは黒色（濃色、右）で、前フレームは灰色（淡色、左）で記載されている。 FIG. 6A shows an example in which two people are moving in a three-dimensional space. Two persons are assumed to be objects 601 and 602, respectively. These objects are each moving in the right (X-axis) direction between frames as shown. Let the motions of the two objects be motions 611 and 612, respectively. In order to project the objects 601 and 602, the virtual viewpoint also moves in the right (X-axis) direction (virtual viewpoint movement 311). In FIG. 6A, both the object (person) and the virtual viewpoint are described in black (dark color, right) in the current frame and in gray (light color, left) in the previous frame.

単位時間当たりの各オブジェクト６０１、６０２の動き６１１、６１２の変化量が、各オブジェクト速度となる。オブジェクト速度は、大きさと方向を持つ速度ベクトルで表される。具体的には、オブジェクト速度は、各オブジェクト６０１、６０２の座標の１フレーム間の変化量を、フレーム間隔の時間で除算し得ることができる。例えば、図６（ａ）は、６０ｆｐｓの画像を想定し１フレームの間にオブジェクト６０１が移動したものとすると、オブジェクト速度は（動き６１２の変化量）／（１／６０）となる。オブジェクト速度はフレーム毎に計算される。なお、各オブジェクト６０１、６０２の座標は、三次元モデル生成部２０２で生成した各オブジェクトの点群の中心点などから算出される。もしくは、各オブジェクト６０１、６０２（すなわち人物）にセンサーを付与し、センサー情報に基づいてオブジェクトの座標値が算出される構成などでもよい。 The amount of change in motion 611, 612 of each object 601, 602 per unit time is the speed of each object. Object velocity is represented by a velocity vector that has magnitude and direction. Specifically, the object velocity can be obtained by dividing the amount of change in the coordinates of each object 601, 602 during one frame by the frame interval time. For example, in FIG. 6A, assuming a 60 fps image and the object 601 moving during one frame, the object speed is (amount of change in motion 612)/(1/60). Object velocities are calculated every frame. The coordinates of each object 601 and 602 are calculated from the center point of the point group of each object generated by the three-dimensional model generation unit 202 and the like. Alternatively, a configuration may be adopted in which a sensor is assigned to each of the objects 601 and 602 (that is, a person), and coordinate values of the object are calculated based on sensor information.

なお、同図における仮想視点やオブジェクトの移動方向は一例である。実施形態１に示した様に、仮想視点の動きは、一方向に限定されないことは言うまでもなく、オブジェクトに関しても同様である。 It should be noted that the virtual viewpoint and the moving direction of the object in the figure are examples. Needless to say, the movement of the virtual viewpoint is not limited to one direction as shown in the first embodiment, and the same applies to objects.

次に、仮想視点の動きと各オブジェクトの動きを合わせた仮想視点画像について説明する。図６（ｂ）は、図６（ａ）の仮想視点を使用して作成中の仮想視点画像である。具体的には、画像生成部２０３は、各オブジェクト６０１、６０２の三次元モデルと仮想視点の位置及び向きに基づき、投影中（色付け処理前）の仮想視点画像を生成する。図６（ｂ）の上図は前フレーム、下図は現フレームのものであり、オブジェクト６０１はオブジェクト６０２より手前にあり、大きく投影されている。 Next, a virtual viewpoint image in which the motion of the virtual viewpoint and the motion of each object are combined will be described. FIG. 6(b) is a virtual viewpoint image being created using the virtual viewpoint of FIG. 6(a). Specifically, the image generation unit 203 generates a virtual viewpoint image during projection (before coloring) based on the three-dimensional models of the objects 601 and 602 and the positions and orientations of the virtual viewpoints. The upper figure in FIG. 6B is the previous frame, and the lower figure is the current frame.

続いて、図６（ａ）と（ｂ）を合わせ、オブジェクトの見かけ上の動きについて説明する。オブジェクトの見かけ上の動きは、仮想視点の動きと、オブジェクトの動きと、仮想視点とオブジェクトの位置関係から決まるものであり、仮想視点画像内におけるオブジェクトの動きと言い換えることもできる。オブジェクト６０１の見かけ上の動きは、仮想視点の動き３１１と、オブジェクトの動き６１１とを合わせた動き６２１となる。同様に、オブジェクト６０２の見かけ上の動きは、仮想視点の動き３１１と、オブジェクトの動き６１２とを合わせた動き６２２となる。オブジェクト６０１、６０２の動きは、三次元空間上で同じ移動量とする。つまり、オブジェクト６０１、６０２は同速度で移動中である。しかし、オブジェクト６０１、６０２の見かけ上の動きは、仮想視点に向かって手前にあるオブジェクト６０２が大きくなる（動き６２１＞動き６２２）。 Next, referring to FIGS. 6A and 6B, the apparent movement of the object will be described. The apparent movement of an object is determined by the movement of the virtual viewpoint, the movement of the object, and the positional relationship between the virtual viewpoint and the object, and can be rephrased as the movement of the object within the virtual viewpoint image. The apparent motion of the object 601 is a motion 621 that is a combination of the motion 311 of the virtual viewpoint and the motion 611 of the object. Similarly, the apparent motion of the object 602 is a motion 622 that is a combination of the motion 311 of the virtual viewpoint and the motion 612 of the object. The motions of the objects 601 and 602 are assumed to be the same amount of movement in the three-dimensional space. That is, the objects 601 and 602 are moving at the same speed. However, as for the apparent movements of the objects 601 and 602, the object 602 in front of the virtual viewpoint becomes larger (movement 621>movement 622).

最後に、オブジェクトの見かけ上の速度（擬似速度）について説明する。オブジェクトの擬似速度は、単位時間当たりの上記のオブジェクトの見かけ上の動きの変化量で表す。つまり、オブジェクトの疑似速度は、大きさと方向を持つ速度ベクトルで表される。具体的には、オブジェクトの疑似速度は、オブジェクトのフレーム間の見かけ上の移動量を、フレーム間隔の時間で除算し得ることができる。例えば、図６（ｂ）は、６０ｆｐｓの画像を想定し１フレームの間に仮想視点及びオブジェクトが移動したものとすると、オブジェクト６０１の擬似速度は（６２１の変化量）／（１／６０）である。オブジェクトの擬似速度は、フレーム毎に計算され、後述する図７のオブジェクト表示制御で使用される。 Finally, the apparent velocity (pseudo velocity) of the object will be explained. The pseudo-velocity of an object is represented by the amount of change in apparent motion of the object per unit time. In other words, the pseudo-velocity of an object is represented by a velocity vector that has magnitude and direction. Specifically, the pseudo-velocity of an object can be obtained by dividing the apparent amount of movement of the object between frames by the time between frames. For example, in FIG. 6B, assuming an image of 60 fps and the virtual viewpoint and the object moving during one frame, the pseudo velocity of the object 601 is (variation of 621)/(1/60). be. The pseudo velocity of the object is calculated for each frame and used in object display control in FIG. 7, which will be described later.

なお、オブジェクトの擬似速度の定義は、仮想視点の速度とオブジェクトの速度とに基づいて決まるパラメータ、あるいは、仮想視点の動きとオブジェクトの動き双方の大きさに関わるパラメータであればよく、上記に限定されない。また、オブジェクトの加速度などを含めてもよい。 The definition of the pseudo velocity of the object may be a parameter determined based on the velocity of the virtual viewpoint and the velocity of the object, or a parameter related to the magnitude of both the movement of the virtual viewpoint and the movement of the object. not. Acceleration of the object may also be included.

（実施形態２におけるオブジェクトの表示制御）
図７を参照して、仮想視点速度とオブジェクト速度に応じたオブジェクトの表示制御を説明する。図７は、本実施形態における表示制御のフローチャートである。 (Object display control in the second embodiment)
Object display control according to the virtual viewpoint velocity and the object velocity will be described with reference to FIG. FIG. 7 is a flow chart of display control in this embodiment.

ステップＳ７０１では、表示制御部２０６が、仮想視点速度を取得する。仮想視点速度の算出方法は図３を用いて説明した通りである。ステップＳ７０２では、表示制御部２０６が、表示制御対象のオブジェクトのオブジェクト情報を取得し、ステップＳ７０１で取得した仮想視点速度とあわせて、表示制御対象のオブジェクトの擬似速度を算出する。オブジェクト情報は、前述の様にオブジェクトの座標や領域等である。表示制御対象のオブジェクトは、例えば、オブジェクト指定部２０５により、フィールド上の全ての人物が事前に指定され、当該表示制御対象のオブジェクトのオブジェクト情報が表示制御部２０６に渡される。なお、表示制御対象のオブジェクトは、人物に限らない。仮想視点画像に含まれるオブジェクトであれば何でも良い。オブジェクトの擬似速度の算出方法は、図６で説明した通りである。 In step S701, the display control unit 206 acquires the virtual viewpoint speed. The method of calculating the virtual viewpoint velocity is as described with reference to FIG. In step S702, the display control unit 206 acquires the object information of the object subject to display control, and calculates the pseudo velocity of the object subject to display control in combination with the virtual viewpoint velocity acquired in step S701. The object information is the coordinates, area, etc. of the object as described above. Objects to be subject to display control are, for example, all persons on the field designated in advance by the object designation unit 205 , and object information of the object to be display controlled is passed to the display control unit 206 . Objects to be subject to display control are not limited to people. Any object can be used as long as it is included in the virtual viewpoint image. The method of calculating the pseudo velocity of the object is as described with reference to FIG.

ステップＳ７０３では、表示制御部２０６が、表示制御対象のオブジェクトの擬似速度を所定の閾値と比較する。判定結果が真の場合（擬似速度が閾値未満）は、処理はステップＳ７０４へ、偽の場合（擬似速度が閾値以上）は、処理はステップＳ７０５へ進む。ステップＳ７０４では、表示制御部２０６が、表示制御対象のオブジェクトを通常表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。ステップＳ７０５では、表示制御部２０６が、表示制御対象のオブジェクトを例外表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。例外表示とは、実施形態１で説明したように、オブジェクトの透過度を上げることや、グレーアウトすることや、解像度を下げることや、ぼかし効果を加えることによる、通常表示と異なる表示を意味する。また、実施形態１で説明したのと同様に、オブジェクトの疑似速度（仮想視点画像におけるオブジェクトの速度）に応じて程度の異なる例外処理を行ってもよい。ステップＳ７０５では、例えば、例外表示としてオブジェクトの透過度を１００％に設定する。 In step S703, the display control unit 206 compares the pseudo velocity of the display-controlled object with a predetermined threshold. If the determination result is true (pseudo speed is less than the threshold), the process proceeds to step S704, and if false (pseudo speed is equal to or greater than the threshold), the process proceeds to step S705. In step S704, the display control unit 206 sets the display control target object to normal display, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, and the display control unit 206 generates the generated virtual viewpoint image. display. In step S705, the display control unit 206 sets the display control target object to exceptional display, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, and the display control unit 206 generates a virtual viewpoint image. display. Exceptional display, as described in the first embodiment, means display different from normal display by increasing the transparency of an object, graying out, lowering the resolution, or adding a blur effect. Also, as described in the first embodiment, exception processing may be performed to different extents according to the pseudo velocity of the object (the velocity of the object in the virtual viewpoint image). In step S705, for example, the transparency of the object is set to 100% as an exceptional display.

なお、ステップＳ７０３のオブジェクト疑似速度と閾値の比較に関して、オブジェクト疑似速度は速度ベクトルで表されるため、厳密にはオブジェクト疑似速度の大きさと閾値の比較となる。また、オブジェクト疑似速度の方向を限定して比較する（仮想視点の移動の変化量とオブジェクトの移動の変化量それぞれの１以上の所定の方向における大きさを合せたものを比較する）構成も可能である。例えば、オブジェクト疑似速度のＸ方向とＹ方向の大きさのみを比較対象とし、Ｚ方向の大きさを考慮しないことも可能である。 Note that the comparison between the object pseudo velocity and the threshold in step S703 is strictly a comparison of the magnitude of the object pseudo velocity and the threshold because the object pseudo velocity is represented by a velocity vector. In addition, it is possible to compare the direction of the pseudo-velocity of the object by limiting the direction (comparing the combined magnitudes of the amount of change in the movement of the virtual viewpoint and the amount of change in the movement of the object in one or more predetermined directions). is. For example, it is possible to compare only the magnitudes of the object pseudo velocity in the X and Y directions without considering the magnitude in the Z direction.

また、上記説明では、ステップＳ７０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示した。これに替えて、ステップＳ７０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３を介さずに、表示制御部２０６が当該設定を反映させた仮想視点画像を表示するようにしてもよい。 Further, in the above description, the display control unit 206 sets normal display or exceptional display of the object subject to display control according to the determination in step S702, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, The display control unit 206 displayed the generated virtual viewpoint image. Instead, the display control unit 206 sets normal display or exceptional display of the object subject to display control according to the determination in step S702, and the display control unit 206 reflects the setting without going through the image generation unit 203. It is also possible to display the virtual viewpoint image that has been set.

続いて、本実施形態における仮想視点画像の表示形態の一例について説明する。図８（ａ）～（ｃ）は、図７の処理により表示される仮想視点画像の一例を説明するための図である。図８（ａ）は、フレーム間における仮想視点の動きを示す。前フレームは灰色（淡色、左）で、現フレームは黒色（濃色、右）で記載されている。図８（ａ）では、仮想視点がＸ軸のプラス方向に移動し、かつ、Ｙａｗ軸をプラス方向に回転した動きの例が示されている。図８（ｂ）～（ｃ）は共に、左図は、前フレームにおける仮想視点画像であり、右図は現フレームにおける仮想視点画像である。 Next, an example of the display form of the virtual viewpoint image in this embodiment will be described. FIGS. 8A to 8C are diagrams for explaining an example of a virtual viewpoint image displayed by the process of FIG. 7. FIG. FIG. 8(a) shows the movement of the virtual viewpoint between frames. The previous frame is shown in gray (light color, left) and the current frame is shown in black (dark color, right). FIG. 8A shows an example of movement in which the virtual viewpoint moves in the positive direction of the X axis and rotates in the positive direction of the Yaw axis. 8B to 8C, the left figure is the virtual viewpoint image in the previous frame, and the right figure is the virtual viewpoint image in the current frame.

図８（ｂ）～（ｃ）に示すように、仮想視点画像に含まれるオブジェクトは、観客席８０１、フィールド８０２や、ボール８１１、人物８２１～８２６、である。例えば、フィールド内にいる人物８２１～８２３はプレーヤー、フィールド外にいる人物８２４～８２６は、審判やカメラマンである。ここで、オブジェクト指定部２０５が、これらのオブジェクトの中から、表示制御対象のオブジェクトとして、人物８２１～８２６を事前に指定しているものとする。 As shown in FIGS. 8B and 8C, the objects included in the virtual viewpoint image are a spectator seat 801, a field 802, a ball 811, and people 821-826. For example, persons 821 to 823 inside the field are players, and persons 824 to 826 outside the field are referees and cameramen. Here, it is assumed that the object designating unit 205 has previously designated persons 821 to 826 as objects to be subject to display control from among these objects.

図８（ａ）に示すように、仮想視点の動き３１１は、フィールド内の人物８２１～８２３に注目し、人物８２１～８２３を中心に旋回する。このような旋回により、ダイナミックなカメラパスの仮想視点画像が生成される。フィールド内の人物８２１～８２３は、旋回の中心に据えられるため、見かけ上ほぼ動かない。一方で、フィールド外のオブジェクト（人物８２４～８２６）は、旋回の中心（人物８２１～８２３）から離れているため、見かけ上の速度が非常に速くなる。そのため、図８（ｂ）に示すように、ブレによる煩わしい印象をユーザに与える問題が発生する可能性がある。 As shown in FIG. 8(a), the movement 311 of the virtual viewpoint focuses on persons 821-823 in the field and turns around the persons 821-823. Such a turn creates a virtual viewpoint image of the dynamic camera path. Since the persons 821 to 823 in the field are positioned at the center of the turn, they do not seem to move. On the other hand, the objects outside the field (persons 824 to 826) are far from the turning center (persons 821 to 823), so their apparent speed becomes very fast. Therefore, as shown in FIG. 8(b), there is a possibility that the blurring may give the user a troublesome impression.

図８（ｂ）と図８（ｃ）の違いは、図７で説明した表示制御を実行するか否かに基づく。すなわち、図８（ｂ）では、表示制御対象のオブジェクトが指定されておらず、図８（ｃ）では、人物８２１～８２６が表示制御対象のオブジェクトとして事前に指定され、図７の表示制御が実行されている。 The difference between FIG. 8(b) and FIG. 8(c) is based on whether or not the display control described with reference to FIG. 7 is executed. That is, in FIG. 8B, no display control target object is specified, and in FIG. It is running.

図８（ｂ）では、表示制御対象のオブジェクトが指定されていないため、図４の表示制御は実行されない。結果として、図８（ｂ）の左図と右図に示すように、全オブジェクトが通常表示される仮想視点画像が生成される。この図では、オブェクトの擬似速度が速いため、フィールド外のオブジェクト（人物８２４～８２６）はブレが目立ち、内容を理解しづらく煩わしい印象をユーザに与えてしまう問題が発生する。 In FIG. 8B, the display control shown in FIG. 4 is not executed because the display control target object is not specified. As a result, as shown in the left and right diagrams of FIG. 8B, virtual viewpoint images in which all objects are normally displayed are generated. In this figure, since the pseudo speed of the object is fast, the objects outside the field (persons 824 to 826) are conspicuously blurred, giving the user a troublesome impression that it is difficult to understand the content.

図８（ｃ）では、人物８２１～８２６が表示制御対象のオブジェクトとして事前に指定され、図７の表示制御が実行される。具体的には、表示制御部２０６は、ステップＳ７０２で、表示制御対象のオブジェクトの擬似速度を閾値と比較する。人物８２１～８２３の擬似速度は閾値未満のため、処理は、ステップＳ７０４に進み、通常表示に設定される。一方、人物８２４～８２６の擬似速度は閾値以上のため、処理はステップＳ７０５に進み、例外表示に設定される。当該例外表示を反映して生成された仮想視点画像を図８（ｃ）に示す。図８（ｃ）では、人物８２４～８２６のみが透過度１００％で非表示となり、それ以外の全オブジェクトが通常表示されている。 In FIG. 8C, persons 821 to 826 are specified in advance as objects to be subject to display control, and the display control in FIG. 7 is executed. Specifically, in step S702, the display control unit 206 compares the pseudo velocity of the display-controlled object with a threshold. Since the pseudo velocities of the persons 821 to 823 are less than the threshold, the process proceeds to step S704 to set normal display. On the other hand, since the pseudo velocities of the persons 824 to 826 are equal to or higher than the threshold, the process proceeds to step S705, and exception display is set. FIG. 8C shows a virtual viewpoint image generated by reflecting the exception display. In FIG. 8C, only persons 824 to 826 are hidden with 100% transparency, and all other objects are normally displayed.

図８（ｂ）と図８（ｃ）とを比較すると、図８（ｂ）では、手前にあるフィールド外のオブジェクト（人物８２４～８２６）のブレが目立ち、注目したいフィールド内のオブジェクト（人物８２１～８２３）に集中して見ることができない煩わしい印象をユーザに与えてしまう。一方、図８（ｃ）では、フィールド外のオブジェクト（人物８２４～８２６）は非表示となり、注目したいオブジェクト（人物８２１～８２３）に集中してみることができる。 Comparing FIG. 8B and FIG. 8C, in FIG. 8B, blurring of the foreground out-of-field objects (persons 824 to 826) is conspicuous, and the in-field object of interest (person 821 823) gives the user a troublesome impression that he or she cannot concentrate on watching. On the other hand, in FIG. 8C, the objects outside the field (persons 824 to 826) are not displayed, and the user can concentrate on the objects of interest (persons 821 to 823).

このように、本実施形態に依れば、仮想視点の速度とオブジェクトの速度に応じたオブジェクトの表示制御を行うことができる。例えば、仮想視点が速く動くダイナミックなシーンにおいて、従来はブレにより煩わしく感じていたオブジェクトを非表示にすることで、注目したいオブジェクトに集中し視聴できる仮想視点画像を提供することができる。 As described above, according to the present embodiment, it is possible to perform object display control according to the speed of the virtual viewpoint and the speed of the object. For example, in a dynamic scene in which the virtual viewpoint moves rapidly, by hiding objects that were conventionally disturbing due to blurring, it is possible to provide a virtual viewpoint image that allows the viewer to concentrate on the object of interest.

［実施形態３］
実施形態３では、仮想視点速度とオブジェクト速度に応じた、オブジェクト上書き制御について説明する。オブジェクト上書き制御とは、上記に説明した実施形態１と実施形態２における通常表示と例外表示の切り替えと異なる、オブジェクト表示制御の一実施形態である。概要としては、仮想視点速度を考慮して、三次元空間上のオブジェクト速度を変更し、その速度で元のオブジェクトを上書きする処理である。この処理が実行された場合、ユーザは、仮想視点画像で元のオブジェクトは見えず、速度変更されたオブジェクトが見えることになる。 [Embodiment 3]
In the third embodiment, object overwrite control according to virtual viewpoint speed and object speed will be described. Object overwrite control is an embodiment of object display control that differs from switching between normal display and exceptional display in the first and second embodiments described above. In summary, this is a process of changing the object speed in the three-dimensional space in consideration of the virtual viewpoint speed and overwriting the original object with the changed speed. When this process is executed, the user cannot see the original object in the virtual viewpoint image, but sees the object whose speed has been changed.

本実施形態において、仮想画像視点生成システムの構成は図１、画像処理装置１０４の構成は図２と同様であるため、説明を省略する。また、仮想視点の速度（仮想視点速度）は、図３を参照して説明したように算出され、オブジェクトの擬似速度は、図６を参照して説明したように算出される。 In this embodiment, the configuration of the virtual image viewpoint generation system is the same as that of FIG. 1, and the configuration of the image processing device 104 is the same as that of FIG. Also, the speed of the virtual viewpoint (virtual viewpoint speed) is calculated as described with reference to FIG. 3, and the pseudo speed of the object is calculated as described with reference to FIG.

（オブジェクトの上書き制御）
図９を参照して、仮想視点速度とオブジェクト速度に応じた、オブジェクトの上書き制御を説明する。図９は、本実施形態における表示制御（オブジェクトの上書き制御）のフローチャートである。 (object overwrite control)
With reference to FIG. 9, object overwrite control according to the virtual viewpoint speed and object speed will be described. FIG. 9 is a flowchart of display control (object overwrite control) in this embodiment.

ステップＳ９０１では、表示制御部２０６が、表示制御対象のオブジェクトのオブジェクト情報を取得する。オブジェクト情報は、前述の様にオブジェクトの座標や領域等である。表示制御対象のオブジェクトは、例えば、オブジェクト指定部２０５により、広告などが事前に指定され、当該表示制御対象のオブジェクトのオブジェクト情報が表示制御部２０６に渡される。なお、所定のオブジェクト速度や、外部画像データ保持部２０７が外部から取得した画像データ（表示制御対象のオブジェクトの内容を示す画像データ等）も、オブジェクト指定部２０５にてオブジェクト情報に含めることができる。なお、表示制御対象のオブジェクトの指定は事前設定でもよいし、ユーザ端末にて仮想視点画像を表示時にユーザの選択操作を受け付ける構成にしてもよい。例えば、タッチパネルを使用して領域を選択し、その領域をオブジェクトとして扱い、表示制御対象（上書きの対象）にすることも可能である。仮想視点画像中のオブジェクトを指定するものであれば、方法は問わない。 In step S901, the display control unit 206 acquires object information of an object whose display is to be controlled. The object information is the coordinates, area, etc. of the object as described above. For example, the display control target object is specified in advance by the object specifying unit 205 , such as an advertisement, and the object information of the display control target object is passed to the display control unit 206 . It should be noted that a predetermined object speed and image data externally acquired by the external image data storage unit 207 (such as image data indicating the content of an object whose display is to be controlled) can also be included in the object information by the object designation unit 205. . The object to be subject to display control may be specified in advance, or may be configured to receive a user's selection operation when the virtual viewpoint image is displayed on the user terminal. For example, it is possible to select an area using a touch panel, treat the area as an object, and set it as a display control target (overwrite target). Any method can be used as long as it designates an object in the virtual viewpoint image.

ステップＳ９０２では、表示制御部２０６が、仮想視点速度を所定の閾値と比較する。仮想視点速度の算出方法は図３で説明した通りである。判定結果が真の場合（仮想視点速度が閾値未満）は、処理はステップＳ９０３へ、偽の場合（仮想視点速度が閾値以上）は、処理はステップＳ９０４へ進む。ステップＳ９０３では、表示制御部２０６が、表示制御対象のオブジェクトを通常表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。 In step S902, the display control unit 206 compares the virtual viewpoint speed with a predetermined threshold. The method of calculating the virtual viewpoint velocity is as described with reference to FIG. If the determination result is true (the virtual viewpoint speed is less than the threshold), the process proceeds to step S903, and if false (the virtual viewpoint speed is greater than or equal to the threshold), the process proceeds to step S904. In step S903, the display control unit 206 sets the display control target object to normal display, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, and the display control unit 206 generates the generated virtual viewpoint image. display.

ステップＳ９０４では、表示制御部２０６が、オブジェクトの速度を変更し、表示制御対象のオブジェクトを上書きに設定する。具体的には、表示制御部２０６が、ステップＳ９０１で取得した元のオブジェクト速度と、ステップＳ９０２で使用した仮想視点速度とに基づいて、新たなオブジェクトの速度を算出し、オブジェクトの速度を当該新たなオブジェクトの速度に変更する。例えば、表示制御部２０６は、仮想視点から見た見かけ上のオブジェクトの速度が遅くなるように、元のオブジェクト速度から、仮想視点速度の影響をあらかじめ除いたものを、新たなオブジェクト速度として算出する。そして、表示制御部２０６は、オブジェクト情報で指定される領域に、表示制御対象のオブジェクトの内容を示す画像データを、変更したオブジェクト速度で上書き設定する。続いて、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。このような上書き制御を実行することで、仮想視点が速く動く場合においも、仮想視点の動きに影響を受けていないかのように、表示制御対象オブジェクトを適切な速度でユーザに表示することが可能となる。 In step S904, the display control unit 206 changes the speed of the object and sets the display control target object to overwrite. Specifically, the display control unit 206 calculates a new object velocity based on the original object velocity acquired in step S901 and the virtual viewpoint velocity used in step S902, and changes the object velocity to the new object velocity. object velocity. For example, the display control unit 206 calculates a new object speed by removing the influence of the virtual viewpoint speed from the original object speed in advance so that the apparent speed of the object as viewed from the virtual viewpoint becomes slower. . Then, the display control unit 206 overwrites the area specified by the object information with image data indicating the content of the object to be display-controlled with the changed object speed. Subsequently, the image generation unit 203 generates a virtual viewpoint image reflecting the settings, and the display control unit 206 displays the generated virtual viewpoint image. By executing such overwrite control, even when the virtual viewpoint moves quickly, the display-controlled object can be displayed to the user at an appropriate speed as if it were not affected by the movement of the virtual viewpoint. It becomes possible.

なお、ステップＳ９０２の仮想視点速度と閾値の比較に関して、仮想視点速度は速度ベクトルで表されるため、厳密には仮想視点速度の大きさと閾値の比較となる。別途、仮想視点速度の方向を限定して速度を比較する（仮想視点の移動の変化量の１以上の所定の方向における大きさを比較する）構成も可能である。例えば、仮想視点速度のＸ方向とＹ方向の大きさのみを比較対象とし、Ｚ方向の大きさを考慮しないことも可能である。また、オブジェクト速度の方向を考慮して、比較する仮想視点の方向を限定してもよい。例えば、オブジェクト速度のベクトル成分がＸ方向のみの場合は、仮想視点速度のＸ方向の大きさのみを閾値と比較する構成としてよい。 Note that the comparison of the virtual viewpoint speed and the threshold value in step S902 is strictly a comparison of the magnitude of the virtual viewpoint speed and the threshold value because the virtual viewpoint speed is represented by a speed vector. Separately, a configuration is also possible in which the direction of the virtual viewpoint speed is limited and the speeds are compared (the magnitude of the amount of change in the movement of the virtual viewpoint in one or more predetermined directions is compared). For example, it is possible to compare only the magnitudes of the virtual viewpoint velocity in the X direction and the Y direction without considering the magnitude in the Z direction. Also, the directions of the virtual viewpoints to be compared may be limited in consideration of the direction of the object velocity. For example, if the vector component of the object velocity is only in the X direction, only the magnitude of the virtual viewpoint velocity in the X direction may be compared with the threshold.

また、上記説明では、ステップＳ９０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示した。これに替えて、ステップＳ９０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３を介さずに、表示制御部２０６が当該設定を反映させた仮想視点画像を表示するようにしてもよい。 Further, in the above description, the display control unit 206 sets normal display or exceptional display of the object subject to display control according to the determination in step S902, the image generation unit 203 generates a virtual viewpoint image reflecting the setting, The display control unit 206 displayed the generated virtual viewpoint image. Instead, the display control unit 206 sets normal display or exceptional display of the display-controlled object according to the determination in step S902, and the display control unit 206 reflects the setting without going through the image generation unit 203. It is also possible to display the virtual viewpoint image that has been set.

続いて、本実施形態における仮想視点画像の表示形態の一例について説明する。図１０（ａ）～（ｃ）は、図９の処理により表示される仮想視点画像の一例を説明するための図である。図１０（ａ）～（ｃ）では、いずれも、左図にＺ軸の負方向（上空からフィールドへの方向）から見た仮想視点の動きと、右図に左図に示す仮想視点の動きに応じて生成・表示される仮想視点画像を表している。 Next, an example of the display form of the virtual viewpoint image in this embodiment will be described. FIGS. 10A to 10C are diagrams for explaining an example of a virtual viewpoint image displayed by the process of FIG. 9. FIG. In each of FIGS. 10(a) to (c), the left figure shows the movement of the virtual viewpoint seen from the negative direction of the Z axis (direction from the sky to the field), and the right figure shows the movement of the virtual viewpoint shown in the left figure. represents a virtual viewpoint image that is generated and displayed according to .

図１０（ａ）の右図に示すように、仮想視点画像に含まれるオブジェクトは、観客席１００１、リボン広告１００２、フィールド１００３や、ボール１０１１、人物１０２１～１０２５、である。ここで、オブジェクト指定部２０５が、表示制御対象のオブジェクトとして、スタジアム内のリボン広告１００２を事前に指定しているものとする。リボン広告は、帯状のデジタルサイネージにテキストや画像から構成される広告を移動させながら表示させる。固定広告と比較し、広告を移動させながら表示することにより、観客の注目を浴びることを容易にする効果がある。なお、ここで表示制御対象となるリボン広告は、実際に競技場において表示され撮影されたオブジェクトであってもよいし、仮想視点画像の生成時に挿入される仮想オブジェクトであってもよい。 As shown in the right diagram of FIG. 10A, the objects included in the virtual viewpoint image are a spectator seat 1001, a ribbon advertisement 1002, a field 1003, a ball 1011, and people 1021-1025. Here, it is assumed that the object designating unit 205 has previously designated the ribbon advertisement 1002 in the stadium as an object whose display is to be controlled. Ribbon advertisements are displayed on strip-shaped digital signage while moving advertisements composed of text and images. Compared to fixed advertisements, displaying advertisements while moving has the effect of making it easier to attract the attention of spectators. Note that the ribbon advertisement that is subject to display control here may be an object that is actually displayed and photographed in the stadium, or a virtual object that is inserted when the virtual viewpoint image is generated.

オブジェクト指定部２０５では、表示制御対象のオブジェクトであるリボン広告１００２のオブジェクト情報として、その座標や領域を保持しているものとする。リボン広告１００２のオブジェクト情報には、リボン広告１００２の速度である速度１０３２も含まれる。また、オブジェクト指定部２０５は、広告内容である画像データや表示速度についても、外部画像データ保持部２０７を介して保持しているものとする。 It is assumed that the object specifying unit 205 holds the coordinates and area as object information of the ribbon advertisement 1002, which is the object whose display is to be controlled. The object information for ribbon advertisement 1002 also includes speed 1032, which is the speed of ribbon advertisement 1002. FIG. The object specifying unit 205 also holds image data and display speed, which are advertisement contents, via the external image data holding unit 207 .

図１０（ａ）は、仮想視点が移動及び回転せずに停止している例を示している。図１０（ａ）の左図では、リボン広告１００２は、左（Ｘ軸をマイナス）方向に移動している。この場合、図９のステップＳ９０２において、表示制御部２０６は、仮想視点速度が閾値未満と判定し、ステップＳ９０３に進み、表示制御対象のオブジェクトであるリボン広告１００２を通常表示に設定する。画像生成部２０３は、当該設定を反映した仮想視点画像を生成する。画像生成部２０３により生成された仮想視点画像が図１０（ａ）の右図となる。この仮想視点画像において、リボン広告１００２の見かけ上の速度は速度１０３３とする。 FIG. 10A shows an example in which the virtual viewpoint is stationary without moving or rotating. In the left diagram of FIG. 10(a), the ribbon advertisement 1002 is moving to the left (minus the X axis). In this case, in step S902 of FIG. 9, the display control unit 206 determines that the virtual viewpoint speed is less than the threshold, proceeds to step S903, and sets the ribbon advertisement 1002, which is the object subject to display control, to normal display. The image generation unit 203 generates a virtual viewpoint image reflecting the settings. The virtual viewpoint image generated by the image generation unit 203 is the right diagram in FIG. 10(a). In this virtual viewpoint image, the apparent speed of the ribbon advertisement 1002 is assumed to be speed 1033 .

続いて、図１０（ｂ）～（ｃ）について説明する。図１０（ｂ）～（ｃ）は、仮想視点の動き及び速度は同じである。図１０（ｂ）と図１０（ｃ）の違いは、図９で説明した表示制御を実行するか否かに基づく。図１０（ｂ）では、表示制御対象のオブジェクトが指定されておらず、図１０（ｃ）では、リボン広告１００２が表示制御対象のオブジェクトとして事前に指定され、図９の表示制御が実行されている。なお、表示制御対象のオブジェクトは広告に限らず、仮想視点画像に含まれるオブジェクトであれば、いずれも可能である。 Next, FIGS. 10(b) to 10(c) will be described. 10(b)-(c) have the same motion and speed of the virtual viewpoint. The difference between FIG. 10B and FIG. 10C is based on whether or not the display control described with reference to FIG. 9 is executed. In FIG. 10(b), the display control target object is not specified, and in FIG. 10(c), the ribbon advertisement 1002 is specified in advance as the display control target object, and the display control of FIG. 9 is executed. there is Note that the display control target object is not limited to an advertisement, and any object included in a virtual viewpoint image can be used.

図１０（ｂ）～（ｃ）において、仮想視点は、右（Ｘ軸をプラス方向）へ移動している（仮想視点の動き３１１）。また、リボン広告１００２は、速度１０３２で移動している。つまり、仮想視点は、リボン広告１００２と逆方向に移動している（速度１０３１と速度１０３２を参照）。なお、図１０では説明の簡略化のため、仮想視点およびリボン広告１００２の移動方向は共にＸ軸方向としているが、これに限定されるものでなく、いずれの移動方向であってもよい。 In FIGS. 10B to 10C, the virtual viewpoint moves to the right (in the positive direction of the X axis) (virtual viewpoint movement 311). Ribbon advertisement 1002 is also moving at speed 1032 . That is, the virtual viewpoint is moving in the opposite direction to the ribbon advertisement 1002 (see velocity 1031 and velocity 1032). In FIG. 10, for the sake of simplification of explanation, both the moving direction of the virtual viewpoint and the ribbon advertisement 1002 is the X-axis direction, but the moving direction is not limited to this, and any moving direction may be used.

図１０（ｂ）では、表示制御対象のオブジェクトが指定されていないため、図９のオブジェクトの上書きは実行されない。結果として、全オブジェクトが通常表示される仮想視点画像が生成される。この仮想視点画像におけるリボン広告の擬似速度を速度１０３４とすると、仮想視点速度が速くなるほど、その疑似速度も速くなる（速度１０３４＞速度１０３３）。この結果、図１０（ｂ）の右図に示すように、広告のブレが発生し、ユーザ注目を集めたい広告のはずが、広告内容を理解できずに、かえって煩わしい印象を与える問題がある。 In FIG. 10(b), no object to be subject to display control is specified, so overwriting of the object in FIG. 9 is not executed. As a result, a virtual viewpoint image is generated in which all objects are normally displayed. Assuming that the pseudo speed of the ribbon advertisement in this virtual viewpoint image is speed 1034, the faster the virtual viewpoint speed, the faster the pseudo speed (speed 1034>speed 1033). As a result, as shown in the right diagram of FIG. 10(b), blurring of the advertisement occurs, and although the advertisement is intended to attract the user's attention, the content of the advertisement cannot be understood, resulting in a rather annoying impression.

図１０（ｃ）では、リボン広告１００２が表示制御対象のオブジェクトとして事前に指定され、図９の表示制御が実行される。具体的には、表示制御部２０６は、ステップＳ９０１で、上書き制御のオブジェクトであるリボン広告１００２のオブジェクト情報として、オブジェクトの座標、速度、画像データ等を取得する。続いて、表示制御部２０６は、ステップＳ９０２で、仮想視点速度は閾値以上と判定し、ステップＳ９０４に進む。ステップＳ９０４で、表示制御部２０６は、新たなオブジェクト速度１０３５を算出する。これは、例えば、見かけ上のオブジェクト速度が遅くなるように、元のオブジェクト速度１０３２に仮想視点速度１０３１を加えたものである。そして、表示制御部２０６は、オブジェクト情報として取得した広告内容を示す画像データを、オブジェクト情報に含まれる領域に、新たな速度で上書きする。結果として、図１０（ｃ）の右図に示すような仮想視点画像が生成される。 In FIG. 10(c), the ribbon advertisement 1002 is specified in advance as an object to be subject to display control, and the display control in FIG. 9 is executed. Specifically, in step S901, the display control unit 206 acquires the coordinates, speed, image data, etc. of the object as object information of the ribbon advertisement 1002, which is an object for overwrite control. Subsequently, in step S902, the display control unit 206 determines that the virtual viewpoint speed is greater than or equal to the threshold, and proceeds to step S904. In step S904, the display control unit 206 calculates a new object velocity 1035. FIG. This is, for example, the original object velocity 1032 plus the virtual viewpoint velocity 1031 so that the apparent object velocity is slowed down. Then, the display control unit 206 overwrites the area included in the object information with the image data indicating the advertising content acquired as the object information at a new speed. As a result, a virtual viewpoint image as shown in the right diagram of FIG. 10(c) is generated.

この表示設定を使用し、生成した仮想視点画像が図１０（ｃ）となる。図１０（ｃ）では、仮想視点が右（Ｘ軸にプラス）方向に移動しているが、リボン広告１００２の擬似速度は、図１０（ａ）の場合と同じ速度１０３３となる。すなわち、仮想視点速度が速く動くシーンにおいても、リボン広告１００２は元の表示効果を維持したまま、仮想視点画像に表示される。ここでのリボン広告の表示効果とは、広告が移動することでユーザの注目を浴びることを容易にし、かつ、その移動速度はユーザが内容を容易に理解できることである。 A virtual viewpoint image generated using this display setting is shown in FIG. 10(c). In FIG. 10(c), the virtual viewpoint moves to the right (plus the X axis), but the pseudo speed of the ribbon advertisement 1002 is the same speed 1033 as in FIG. 10(a). That is, even in a scene in which the virtual viewpoint moves fast, the ribbon advertisement 1002 is displayed in the virtual viewpoint image while maintaining the original display effect. Here, the display effect of the ribbon advertisement is that the movement of the advertisement makes it easy to attract the user's attention, and the user can easily understand the contents of the movement speed.

このように、本実施形態によれば、仮想視点の速度とオブジェクトの速度に応じたオブジェクトの上書きを行うことができる。例えば、仮想視点が速く動くシーンにおいて、従来はブレにより内容を理解できず煩わしく感じていたオブジェクトを、元の表示効果を維持した状態で表示にすることができる。なお、本実施形態における仮想視点速度と閾値の比較（図９のステップＳ９０２）を実施形態２において述べたオブジェクトの擬似速度（仮想視点画像におけるオブジェクトの速度）と閾値の比較に替えることで、本実施形態を実施形態２に適用することも可能である。 Thus, according to this embodiment, it is possible to overwrite the object according to the speed of the virtual viewpoint and the speed of the object. For example, in a scene where the virtual viewpoint moves rapidly, an object that has been troublesome because the content cannot be understood due to blurring can be displayed while maintaining the original display effect. Note that by replacing the comparison between the virtual viewpoint velocity and the threshold in this embodiment (step S902 in FIG. 9) with the comparison between the pseudo velocity of the object (the velocity of the object in the virtual viewpoint image) and the threshold described in the second embodiment, the It is also possible to apply the embodiment to the second embodiment.

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other embodiments]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１０４ 画像処理装置、１０５ 仮想視点操作ＵＩ、２０１ 仮想パラメータ取得部、 ２０２ 三次元モデル生成部、２０３ 画像生成部、２０４ 速度取得部、２０５ オブジェクト指定部、２０６ 表示制御部、２０７ 外部画像データ保持部、２１０ 画像出力部 104 image processing device, 105 virtual viewpoint operation UI, 201 virtual parameter acquisition unit, 202 three-dimensional model generation unit, 203 image generation unit, 204 speed acquisition unit, 205 object designation unit, 206 display control unit, 207 external image data storage unit , 210 image output unit

Claims (12)

画像処理装置であって、
設定された仮想視点に対応する仮想視点画像を生成する生成手段と、
前記仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定手段と、
前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトを非表示する制御、前記指定されたオブジェクトの透過度を上げる制御、グレーアウトする制御、解像度を下げる制御のうち何れかの制御を行う表示制御手段と、
を有することを特徴とする画像処理装置。 An image processing device,
generating means for generating a virtual viewpoint image corresponding to the set virtual viewpoint;
designating means for designating one or more display-controlled objects included in the virtual viewpoint image;
Control of hiding the specified object in the virtual viewpoint image , control of increasing transparency of the specified object, control of graying out, and control of lowering resolution according to the set speed of the virtual viewpoint display control means for performing any control ;
An image processing device comprising: 前記仮想視点の速度が所定の閾値より大きいか否かを判定する判定手段を更に有し、
前記表示制御手段は、前記判定手段により前記仮想視点の速度が所定の閾値以上であると判定された場合に、前記仮想視点画像における前記指定されたオブジェクトを非表示する制御、前記指定されたオブジェクトの透過度を上げる制御、グレーアウトする制御、解像度を下げる制御のうち何れかの制御を行うことを特徴とする請求項１に記載の画像処理装置。 further comprising determination means for determining whether or not the speed of the virtual viewpoint is greater than a predetermined threshold;
The display control means controls to hide the specified object in the virtual viewpoint image when the determination means determines that the speed of the virtual viewpoint is equal to or greater than a predetermined threshold value. 2. The image processing apparatus according to claim 1, wherein any one of control for increasing the transparency of the object, control for graying out the object, and control for decreasing the resolution is performed . 前記仮想視点の速度は、前記仮想視点の移動の変化量の１以上の所定の方向における大きさであることを特徴とする請求項１または２に記載の画像処理装置。 3. The image processing apparatus according to claim 1, wherein the speed of the virtual viewpoint is a magnitude in one or more predetermined directions of the amount of change in movement of the virtual viewpoint. 画像処理装置であって、An image processing device,
設定された仮想視点に対応する仮想視点画像を生成する生成手段と、generating means for generating a virtual viewpoint image corresponding to the set virtual viewpoint;
前記仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定手段と、designating means for designating one or more display-controlled objects included in the virtual viewpoint image;
前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの部分に、前記指定されたオブジェクトの内容を示す画像データを、前記指定されたオブジェクトの速度と前記仮想視点の速度から算出される速度で表示する制御を行う表示制御手段と、image data representing the content of the specified object in the portion of the specified object in the virtual viewpoint image according to the set speed of the virtual viewpoint; Display control means for controlling display at a speed calculated from the speed of
を有することを特徴とする画像処理装置。An image processing device comprising: 前記表示制御手段は、前記仮想視点の速度と前記指定されたオブジェクトの速度とを合わせた、前記指定されたオブジェクトの擬似速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの部分に、前記指定されたオブジェクトの内容を示す画像データを、前記指定されたオブジェクトの速度と前記仮想視点の速度から算出される速度で表示する制御を行うことを特徴とする請求項４に記載の画像処理装置。 The display control means, in accordance with the pseudo velocity of the specified object, which is a combination of the velocity of the virtual viewpoint and the velocity of the specified object, displays the specified object in the virtual viewpoint image, 5. The image processing according to claim 4 , wherein control is performed to display the image data representing the content of the designated object at a speed calculated from the speed of the designated object and the speed of the virtual viewpoint. Device. 前記指定されたオブジェクトの擬似速度が所定の閾値より大きいか否かを判定する判定手段を更に有し、
前記表示制御手段は、前記判定手段により前記擬似速度が前記所定の閾値以上であると判定された場合に、前記仮想視点画像における前記指定されたオブジェクトの部分に、前記指定されたオブジェクトの内容を示す画像データを、前記指定されたオブジェクトの速度と前記仮想視点の速度から算出される速度で表示する制御を行うことを特徴とする請求項５に記載の画像処理装置。 further comprising determination means for determining whether or not the pseudo velocity of the designated object is greater than a predetermined threshold;
The display control means , when the determination means determines that the pseudo velocity is equal to or greater than the predetermined threshold value, displays the content of the specified object in the portion of the specified object in the virtual viewpoint image. 6. The image processing apparatus according to claim 5 , wherein the image data indicating is displayed at a speed calculated from the speed of the designated object and the speed of the virtual viewpoint . 前記指定されたオブジェクトの擬似速度は、前記仮想視点の移動の変化量と前記オブジェクトの移動の変化量それぞれの１以上の所定の方向における大きさを合せたものであることを特徴とする請求項５または６に記載の画像処理装置。 3. The pseudo velocity of the specified object is a sum of magnitudes in one or more predetermined directions of the amount of change in the movement of the virtual viewpoint and the amount of change in the movement of the object. 7. The image processing device according to 5 or 6 . 前記指定手段は、前記仮想視点画像に含まれる前景または背景に含まれる対象物を、前記表示制御対象のオブジェクトとして指定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。 8. The image according to any one of claims 1 to 7 , wherein said specifying means specifies an object included in the foreground or background included in said virtual viewpoint image as said object to be subject to display control. processing equipment. 前記指定手段は、前記仮想視点画像に対して仮想的に付加される部分を、前記表示制御対象のオブジェクトとして指定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。 8. The image processing according to any one of claims 1 to 7 , wherein said specifying means specifies a portion to be virtually added to said virtual viewpoint image as said object to be subject to display control. Device. 画像処理方法であって、
仮想視点からの仮想視点画像を生成する生成工程と、
前記仮想視点画像に含まれる１つ以上のオブジェクトのうち表示制御対象のオブジェクトを指定する指定工程と、
前記仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトを非表示する制御、前記指定されたオブジェクトの透過度を上げる制御、グレーアウトする制御、解像度を下げる制御のうち何れかの制御を行う表示制御工程と、
を有することを特徴とする画像処理方法。 An image processing method comprising:
a generation step of generating a virtual viewpoint image from a virtual viewpoint;
a specifying step of specifying an object whose display is to be controlled among the one or more objects included in the virtual viewpoint image;
any one of control to hide the specified object in the virtual viewpoint image, control to increase the transparency of the specified object, control to gray out, and control to lower the resolution according to the speed of the virtual viewpoint. a display control step of performing control;
An image processing method characterized by comprising: 画像処理方法であって、An image processing method comprising:
仮想視点からの仮想視点画像を生成する生成工程と、a generation step of generating a virtual viewpoint image from a virtual viewpoint;
前記仮想視点画像に含まれる１つ以上のオブジェクトのうち表示制御対象のオブジェクトを指定する指定工程と、a specifying step of specifying an object whose display is to be controlled among the one or more objects included in the virtual viewpoint image;
前記仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの部分に、前記指定されたオブジェクトの内容を示す画像データを、前記指定されたオブジェクトの速度と前記仮想視点の速度から算出される速度で表示する制御を行う表示制御工程と、image data representing the content of the specified object is added to the portion of the specified object in the virtual viewpoint image from the speed of the specified object and the speed of the virtual viewpoint according to the speed of the virtual viewpoint; a display control step of performing control to display at the calculated speed;
を有することを特徴とする画像処理方法。An image processing method characterized by comprising: コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing apparatus according to any one of claims 1 to 9 .
JP2018091404A 2018-05-10 2018-05-10 Image processing device, image processing method, and program Active JP7152873B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018091404A JP7152873B2 (en) 2018-05-10 2018-05-10 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018091404A JP7152873B2 (en) 2018-05-10 2018-05-10 Image processing device, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2019197409A JP2019197409A (en) 2019-11-14
JP7152873B2 true JP7152873B2 (en) 2022-10-13

Family

ID=68537528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018091404A Active JP7152873B2 (en) 2018-05-10 2018-05-10 Image processing device, image processing method, and program

Country Status (1)

Country Link
JP (1) JP7152873B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058912A (en) 2001-05-18 2003-02-28 Sony Computer Entertainment Inc Display device and image processing method
US20170053456A1 (en) 2015-08-19 2017-02-23 Electronics And Telecommunications Research Institute Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target
JP2018045459A (en) 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント Simulation system and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09115000A (en) * 1995-10-13 1997-05-02 Hitachi Ltd Real time simulation device and video generation method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058912A (en) 2001-05-18 2003-02-28 Sony Computer Entertainment Inc Display device and image processing method
US20170053456A1 (en) 2015-08-19 2017-02-23 Electronics And Telecommunications Research Institute Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target
JP2018045459A (en) 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント Simulation system and program

Also Published As

Publication number Publication date
JP2019197409A (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
CN110413105B (en) Tangible visualization of virtual objects within a virtual environment
JP7304934B2 (en) Mixed reality system with virtual content warping and method of using it to generate virtual content
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US8007110B2 (en) Projector system employing depth perception to detect speaker position and gestures
US10755675B2 (en) Image processing system, image processing method, and computer program
JP2019079552A (en) Improvements in and relating to image making
CN109615703A (en) Image presentation method, device and the equipment of augmented reality
KR20070086037A (en) Method for inter-scene transitions
JP7249755B2 (en) Image processing system, its control method, and program
JP7378243B2 (en) Image generation device, image display device, and image processing method
JP2022032483A (en) Image processing apparatus, image processing method, and program
JP3538263B2 (en) Image generation method
WO2020050103A1 (en) Virtual viewpoint control device and method for controlling same
US11212502B2 (en) Method of modifying an image on a computational device
JP2020064592A (en) Image generator, image generation system, image generation method, and program
WO2021106379A1 (en) Image processing device, image processing method, and image display system
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
JP7152873B2 (en) Image processing device, image processing method, and program
Kim et al. 3-d virtual studio for natural inter-“acting”
CN115661408A (en) Generating and modifying hand representations in an artificial reality environment
JP7296735B2 (en) Image processing device, image processing method and program
JP2021015417A (en) Image processing apparatus, image distribution system, and image processing method
WO2022091811A1 (en) Image processing device, image processing method, and image processing system
Mori et al. Augmented visualization: Observing as desired

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220930

R151 Written notification of patent or utility model registration

Ref document number: 7152873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151