WO2019159617A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019159617A1
WO2019159617A1 PCT/JP2019/001997 JP2019001997W WO2019159617A1 WO 2019159617 A1 WO2019159617 A1 WO 2019159617A1 JP 2019001997 W JP2019001997 W JP 2019001997W WO 2019159617 A1 WO2019159617 A1 WO 2019159617A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual viewpoint
distance
image
image processing
transparency
Prior art date
Application number
PCT/JP2019/001997
Other languages
English (en)
French (fr)
Inventor
祐二 加藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN201980002757.5A priority Critical patent/CN110720114B/zh
Priority to KR1020197035987A priority patent/KR102162107B1/ko
Publication of WO2019159617A1 publication Critical patent/WO2019159617A1/ja
Priority to US16/683,043 priority patent/US11284057B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Definitions

  • the present invention relates to a display control technique for improving the image quality of a virtual viewpoint video.
  • a virtual viewpoint video generation technology as a technology that reproduces video from a camera (virtual camera) that does not actually exist in a three-dimensional space by using videos taken by a plurality of real cameras.
  • the virtual viewpoint video generation technology is expected as a more realistic video expression in sports broadcasting and the like.
  • the closer to a subject (object) the higher the obtained image resolution.
  • the virtual camera is set at a position closer than a certain distance from the object, the image captured by the real camera is enlarged and drawn, so that the image resolution decreases accordingly.
  • Patent Document 1 Patent Document 1
  • the technique of the above-mentioned patent document 1 is such that the width of the parallax direction becomes narrower as the distance from the viewpoint is increased, and the location of the object that is not partially displayed differs between the right-eye image and the left-eye image.
  • the starting point is the occurrence of flickering and the like, which brings discomfort to the user.
  • the cause of the uncomfortable feeling in the virtual viewpoint video described above is that the resolution of the virtual viewpoint video depends on the resolution of the video taken by the actual camera as the source, and both cause the unnatural feeling at all. Is different.
  • the technique of the said patent document 1 is applied to the production
  • An image processing apparatus is an image processing apparatus that generates a virtual viewpoint image based on a plurality of images obtained by shooting from a plurality of directions with a plurality of cameras, and is a virtual image indicating the position and direction of a virtual viewpoint.
  • the virtual viewpoint based on at least one of information acquisition means for acquiring viewpoint information, a position and direction of the virtual viewpoint indicated by the virtual viewpoint information acquired by the information acquisition means, and an input according to a user operation
  • a determining unit that determines a target object that is not a target of transparency among a plurality of objects related to an image, and the virtual viewpoint image corresponding to a position and direction of a virtual viewpoint indicated by the virtual viewpoint information acquired by the information acquiring unit
  • Generating means for generating the virtual viewpoint image higher than the transparency of the non-attention object at a distant position
  • the image quality is hardly deteriorated, and the image quality of the virtual viewpoint video can be improved.
  • the block diagram which shows the hardware structural example of an image processing apparatus.
  • A is a diagram showing an example of drawing a virtual viewpoint video without controlling the transparency
  • (b) is a diagram showing an example of drawing a virtual viewpoint video by controlling the transparency.
  • Block diagram showing functional configuration of image processing apparatus A flowchart showing a flow of image processing for generating a virtual viewpoint video from a plurality of viewpoint videos
  • A is a diagram showing an example of polygon data
  • (b) is a diagram showing an example of texture data
  • the virtual viewpoint video is a video generated when an end user and / or a selected operator or the like freely operates the position and posture of the virtual camera, and is also referred to as a free viewpoint video or an arbitrary viewpoint video.
  • the virtual viewpoint video may be a moving image or a still image. In the present embodiment, an example in which the virtual viewpoint video is a moving image will be mainly described.
  • a CPU 101 executes a program stored in a ROM 103 and / or a hard disk drive (HDD) 105 using a RAM 102 as a work memory, and controls each component to be described later via a system bus 112. Thereby, various processes described later are executed.
  • the HDD interface (I / F) 104 is an interface such as serial ATA (SATA) that connects the image processing apparatus 100 to a secondary storage device such as the HDD 105 or an optical disk drive.
  • the CPU 101 can read data from the HDD 105 and write data to the HDD 105 via the HDD I / F 104.
  • the CPU 101 expands the data stored in the HDD 105 in the RAM 102. Further, the CPU 101 can store various data on the RAM 102 obtained by executing the program in the HDD 105.
  • An input interface (I / F) 106 is a serial bus interface such as USB or IEEE1394 that connects the image processing apparatus 100 and an input device 107 such as a keyboard, mouse, digital camera, and scanner. The CPU 101 can read data from the input device 107 via the input I / F 106.
  • the output interface (I / F) 108 is a video output interface such as DVI or HDMI (registered trademark) that connects the output device 109 such as a display and the image processing apparatus 100.
  • the CPU 101 can display the virtual viewpoint video by sending data related to the virtual viewpoint video to the output device 109 via the output I / F 108.
  • a network interface (I / F) 110 is a network card such as a LAN card that connects the image processing apparatus 100 and the external server 111.
  • the CPU 101 can read data from the external server 111 via the network I / F 110.
  • the HDD 105, the input device 107, and the output device 109 are configured as devices different from the image processing apparatus 100 .
  • the image processing apparatus 100 may be a smartphone or the like.
  • the input device 107 (touch panel) and the output device 109 (display screen) are integrated with the image processing apparatus 100.
  • a device incorporating the HDD 105 can be used as the image processing apparatus 100.
  • not all of the configurations shown in FIG. 1 are indispensable configurations. For example, when reproducing a virtual viewpoint video stored in the HDD 105, the external server 111 is not necessary.
  • the HDD 105 when generating a virtual viewpoint video acquired from the external server 111, the HDD 105 is unnecessary.
  • the image processing apparatus 100 may have a plurality of CPUs 101. Further, one or a plurality of dedicated hardware or GPU (Graphics Processing Unit) different from the CPU 101 may be provided, and at least a part of the processing by the CPU 101 may be performed by the GPU or the dedicated hardware. Examples of dedicated hardware include ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), and DSP (Digital Signal Processor).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • FIG. 2A shows an example in which the virtual viewpoint image is drawn without controlling the transparency
  • FIG. 2B shows an example in which the virtual viewpoint image is drawn by controlling the transparency. Show.
  • FIG. 2A and FIG. 2B four images in which two objects (persons) are drawn with a virtual camera in the same position and orientation are arranged.
  • the right object exists at a position closer to the virtual camera in the image on the right side.
  • an image taken with a real camera is used to generate the texture data of the object. For this reason, for an object that is closer than a certain distance, the closer the position of the object is to the virtual camera, the larger the texture image is drawn, and the lower the resolution becomes. Therefore, as shown in FIG. 2B, when the distance from the virtual camera is equal to or less than a certain value, control is performed such that the transparency increases as the distance from the virtual camera becomes closer.
  • the texture image is enlarged and drawn as the object on the right side in the image approaches the virtual camera, which is the same as in the case of FIG. 2A where the transparency control is not performed. Becomes inconspicuous.
  • FIG. 3 is a functional block diagram illustrating an example of a logical configuration of the image processing apparatus 100.
  • the CPU 101 reads out a program stored in the ROM 103 and / or the HDD 104 and executes the RAM 102 as a work area, thereby serving as each functional block in the image processing apparatus 100 shown in FIG.
  • the operation unit 301 and the display unit 306 in FIG. 3 correspond to the input device 107 and the output device 109 in FIG. 1, respectively. Further, the CPU 101 does not have to play the role of all the functional blocks in the image processing apparatus 100, and a dedicated processing circuit corresponding to each functional block may be provided.
  • FIG. 4 is a flowchart showing a flow of image processing for generating a virtual viewpoint video from a plurality of viewpoint videos performed in the image processing apparatus 100 of the present embodiment.
  • the series of processing shown in the flowchart of FIG. 4 is realized by the CPU 101 included in the image processing apparatus 100 reading out a program stored in the ROM 103 and / or the HDD 104 and executing the RAM 102 as a work area.
  • the symbol “S” in the description of each process represents a step.
  • the viewpoint control unit 302 acquires the camera parameters of the virtual camera corresponding to the target frame among the setting frames of the captured multiple viewpoint videos. If a multi-viewpoint video is shot at 60 fps and a virtual viewpoint video is generated using 10 seconds of the video as a setting frame, all 600 frames are sequentially targeted.
  • the camera parameters include external parameters and internal parameters.
  • the external parameter is a parameter that represents the position and orientation (direction) of the virtual camera
  • the internal parameter is a parameter that represents the optical characteristics of the virtual camera. If the vector representing the position of the virtual camera is t and the matrix representing the rotation is R, the external parameters of the virtual camera can be expressed as follows.
  • the coordinate system here is a left-handed coordinate system, and in the virtual camera viewpoint, the right is the + x direction, the top is the + y direction, and the front (back) is the + z direction. Further, assuming that the principal point position of the image is (c x , c y ) and the focal length of the real camera is f, the internal parameter K of the virtual camera can be expressed as follows.
  • the camera parameter expression method is not limited to a matrix.
  • the position of the virtual camera may be represented by three-dimensional coordinates, and the attitude of the virtual camera may be represented by an enumeration of yaw, roll, and pitch values.
  • the external parameters and the internal parameters are not limited to those described above.
  • information indicating the zoom value of the virtual camera may be acquired as an internal parameter of the virtual camera.
  • the viewpoint control unit 202 that has received a user operation regarding the position and orientation of the virtual camera input via the operation unit 301, which is an example of a user interface, performs external camera parameters of the virtual camera according to the user operation. Is generated.
  • the virtual camera's posture rotates to the right.
  • the virtual camera's posture changes to the upward.
  • a parameter is generated.
  • the internal parameters stored in advance in the HDD 105 or the like may be read out.
  • the camera parameters of the virtual camera as viewpoint information used for drawing acquired in this way are output to the transparency control unit 304 and the drawing unit 305.
  • step S ⁇ b> 402 the data acquisition unit 303 acquires image data necessary for rendering from the HDD 105 or the external server 111. Specifically, polygon data and texture data of an object included in the shooting scene of the processing target frame in the set time frame are acquired.
  • FIG. 5A shows polygon data representing the three-dimensional shape of the player
  • FIG. 5B shows texture data representing the color and texture of the surface. Information indicating the attributes of each object such as players, referees, balls and soccer goals is added to each polygon data.
  • a predetermined flag may be added only to polygon data corresponding to an object of interest (for example, a ball or a specific player) so as to be distinguishable from other objects.
  • a plurality of patterns of texture data may be prepared and used depending on the set position / posture of the virtual camera.
  • the data representing the three-dimensional shape of the object may be so-called voxel data.
  • the acquired data is output to the transparency control unit 304 and the drawing unit 305.
  • the transparency control unit 304 performs a transparency calculation process on each object existing in the shooting scene. Details of the transparency calculation process will be described later. Information on the calculated transparency of each object is output to the drawing unit 305.
  • step S ⁇ b> 404 the drawing unit 305 determines the virtual viewpoint video of the target frame based on the data acquired from the data acquisition unit 203, the camera parameters acquired from the viewpoint control unit 202, and the transparency of each object acquired from the transparency control unit 204. Is generated. At this time, the existence of the object may be confirmed by drawing the outline of the object regardless of the transparency. Further, the deterioration of the image quality may be made less noticeable by blurring the object according to the transparency. In addition, the shadow of the transmitted object may be drawn by adjusting the darkness according to the transparency, or may be drawn regardless of the transparency. For rendering, existing technology or the like may be applied as appropriate, and description thereof is omitted here.
  • transparent texture data may be mapped to a model representing the three-dimensional shape of the object.
  • Rendering may be performed without using information representing the shape.
  • the generated virtual viewpoint video data is output to the display unit 206.
  • the display unit 206 acquires the virtual viewpoint video data of the target frame from the drawing unit 205 and displays it.
  • texture data generated in advance in addition to object shape data is acquired, but the present invention is not limited to this.
  • the shape data of the object may be acquired and obtained from the pixel value at the corresponding position in the actual captured image (multi-viewpoint image) based on the viewpoint position of the virtual camera at the time of rendering.
  • FIG. 6 is a flowchart showing details of the transparency calculation process. Hereinafter, it demonstrates along the flow of FIG.
  • the current operation mode is an operation mode for performing object transparency control. For example, in the interactive playback mode in which the user himself / herself controls the virtual camera when generating the virtual viewpoint video, it is determined that the operation mode is the transmission control. Also, if the object is a person such as a soccer player or a referee, and the person's eye position or line-of-sight direction is used as the position / posture of the virtual camera, the person's line-of-sight reproduction that reproduces the field of view of the player or the referee In the case of the mode, it is determined that the operation mode does not perform the transmission control.
  • the person-eye view reproduction mode may be executed, for example, by selecting either a player (information that can specify a player such as a name or a number) or a list of referees.
  • the mode may be switched to the interactive playback mode.
  • the transmission control is performed because it is easier to see the analysis data if the object transparency processing is not performed.
  • the process proceeds to S602.
  • the process proceeds to S609, and the value of the transparency ⁇ is set to the minimum value (all values included in the target frame). The process exits from this process by setting the transparency to a level at which substantially no transmission process is performed.
  • the transmittance ⁇ will be described later.
  • an object of interest that is not subject to transparency processing is set from among all objects reflected in the target frame.
  • the object of interest corresponds to an important object that is indispensable in the scene, such as the player who shot and the ball. become.
  • which object is the target object is determined in advance according to the shooting scene, and is set with reference to, for example, the aforementioned flag.
  • it may be set by automatically determining from the shape and size of the object.
  • the user may directly perform an operation of designating the target object via the GUI, and the image processing apparatus 100 may determine the target object based on an input corresponding to the user operation.
  • an object other than the object designated by the user among the plurality of objects may be determined as the target object.
  • the image processing apparatus 100 may determine the object of interest based on the position and direction of the virtual viewpoint indicated by the camera parameters of the virtual camera and the position of the object. For example, an object located within a predetermined range from the center of the field of view according to the position and direction of the virtual viewpoint may be determined as the object of interest. This is because an object located near the center of the field of view according to the virtual viewpoint is highly likely to be an object that the user who designates the virtual viewpoint particularly wants to see. Conversely, an object located outside a predetermined range including the center of the field of view according to the virtual viewpoint may be determined as the object of interest.
  • one target object for transparency processing is selected from objects other than the target object in the target frame.
  • the method for selecting the target object from a plurality of objects is not particularly limited, and may be random or may be determined in order of the object size. In this embodiment, all objects other than the object of interest are sequentially selected as target objects.
  • a specific object to be subjected to the transparent process may be determined in advance. For example, if a virtual viewpoint video is generated for a goal scene in soccer, players, referees and goal posts are objects subject to transparency processing, and other ground, spectator seats and balls are subject to transparency processing. For example, an object that does not work. Furthermore, the user may be able to specify via the GUI.
  • the calculated distance d 1 between the target object selected by the object of interest and S603 set in S602, the calculated distance d 1 is whether is below a predetermined threshold value.
  • a predetermined distance for example, 3 m
  • the process proceeds to S607 in order to draw the target object without passing through it.
  • the process proceeds to S605 in order to render the target object transparent according to the distance.
  • the representative point of the target object is a point representing the position of the object, for example, the global position of the local coordinate origin of the model or the center position of the model.
  • the threshold value here is a threshold value for determining whether or not to actually transmit. In order to distinguish this threshold value from the threshold value th in step 604 described above, it is hereinafter referred to as “transmission threshold value Dt”.
  • the transmission threshold value Dt applied to the determination process is a transmission threshold value (hereinafter referred to as a “reference transmission threshold value” for a virtual camera as a predetermined reference. Dt_b ”).
  • the reference transmission threshold Dt_b is defined by the vertical pixel number h_b and the vertical angle of view ⁇ _b of the reference virtual camera, and indicates the distance from the reference virtual camera that starts the transmission processing in the reference virtual camera. Represent.
  • the reference transmission threshold value Dt_b is determined in advance by performing a test or the like.
  • FIG. 7 is a diagram for explaining the relationship between the reference transmission threshold Dt_b and the transmission threshold Dt.
  • the reference transmission threshold Dt_b may be set according to the type of object (for example, a referee or a player).
  • different reference transmission threshold values Dt_b are set for each object (for example, player A and player B) or for each group of objects (for example, player belonging to team A and team B). Also good.
  • the transmission threshold value Dt is increased, and the set virtual threshold value is set. Transmission processing is appropriately performed even on an object that is far from the camera. If the result of determination is that the calculated distance d 2 is less than or equal to the transmission threshold Dt, the process proceeds to S606. On the other hand, if the calculated distance d 2 is larger than the transmission threshold Dt, the process proceeds to S607.
  • the reference transmission threshold Dt_b is a parameter related to the image quality of the multi-viewpoint image. May be determined based on For example, the reference transmission threshold Dt_b may be set to a larger value as the resolution of the multi-viewpoint image is lower.
  • the transparency ⁇ for the target object is calculated based on the distance d 2 between the virtual camera and the object calculated in S605.
  • the transparency ⁇ is an opaque state when the value is 0, a most transparent state when the value is 1, and a translucent state between 0 and 1.
  • the transmittance ⁇ is calculated so as to increase as the distance d 2 decreases.
  • the disappearance threshold value Dv is a threshold value indicating a certain distance when the target object becomes most transparent and its presence disappears when the distance to the set virtual camera is within a certain distance. It is.
  • “disappearance” as used herein does not necessarily mean a completely transmissive state, and may include a transmissive state in which the presence can be slightly confirmed.
  • the reference disappearance threshold value Dv_b is set to 1 when the distance from the virtual camera is shorter than this distance at the vertical pixel number hb and the vertical angle of view ⁇ b of the reference virtual camera. It is a threshold value of (maximum value).
  • the maximum value is set to 1.
  • a value that is not completely transparent, such as 0.9 may be set as the maximum value.
  • the transparency ⁇ of the target object is calculated based on the disappearance threshold Dv and the transmission threshold Dt.
  • the graph of FIG. 8 showing the relationship between the transmittance ⁇ and the distance d 2 is merely an example. For example, instead of setting the transparency ⁇ so as to change linearly as shown in FIG.
  • the transparency ⁇ may be set with reference to the lookup table.
  • the transparency ⁇ may be adjusted according to the moving speed of the object or the moving speed of the virtual camera so that a higher transparency is set. I do not care.
  • a method of determining the final transmittance ⁇ by multiplying the value of the transmittance ⁇ derived from the graph of FIG. 8 by a different coefficient according to the moving speed can be considered. .
  • the reference speed is set to 1.0, and the coefficient value is increased to 1.1, 1.2, 1.3... As the speed becomes higher than the reference speed. That's fine.
  • the value of transparency ⁇ with respect to the target object is set to a value (in this case, 0) representing non-transparency.
  • the transparency for objects other than the object of interest is calculated.
  • whether or not to transmit the object is determined according to the distance from the object of interest or the distance from the virtual camera, but the present invention is not limited to this.
  • a higher transparency or complete transparency
  • the minimum value is set for the transparency ⁇ for all objects in the processing target frame.
  • normal drawing processing may be performed on all objects.
  • the transmission process is performed under a certain condition, so that the deterioration in image quality is less noticeable. As a result, a high-quality virtual viewpoint video that does not cause discomfort to the user can be obtained.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

仮想視点から近い位置にオブジェクトが存在しても画質の低下が目立ちにくくなるようにして仮想視点画像の画質を向上させる。仮想視点画像を生成する画像処理装置が、情報取得手段、決定手段、生成手段の各手段を備える。情報取得手段は仮想視点情報を取得する。決定手段は、仮想視点情報が示す仮想視点の位置及び方向と、ユーザ操作に応じた入力との少なくとも何れかに基づいて、仮想視点画像に関わる複数のオブジェクトのうち透明化の対象とならない注目オブジェクトを決定する。生成手段は、複数のオブジェクトのうち、注目オブジェクトとは異なる非注目オブジェクトであって且つ仮想視点情報が示す仮想視点の位置から第１の距離離れた位置のオブジェクトの透明度が、当該仮想視点から見て第１の距離よりも長い第２の距離離れた位置の非注目オブジェクトの透明度よりも高い仮想視点画像を生成する。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は仮想視点映像の画質を向上させる表示制御技術に関する。
　複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点映像生成技術がある。仮想視点映像生成技術は、スポーツ放送等において、より臨場感の高い映像表現として期待されている。ここで、一般的なカメラによる撮影では被写体（オブジェクト）に近づくほど、得られる画像解像度は高くなっていく。しかしながら、仮想カメラの場合は、被写体に近づけたとしても実カメラで撮影した画像解像度よりも高精細な画像を得ることはできない。特に、オブジェクトから一定の距離よりも近い位置に仮想カメラを設定した場合には、実カメラによる撮影画像を拡大して描画することになるので、その分だけ画像解像度が落ちる。その結果、低精細でユーザに違和感を生じさせる画像になってしまう。この点、左眼用画像と右眼用画像を用いて仮想空間に3D映像表示を行う技術において、遠くの小さなオブジェクトほど透過度を高くして描画することで、立体視に伴う違和感を抑制する技術がある（特許文献１）。
特開２０１２－１２３３３７号公報
　上記特許文献１の技術は、視点との距離が離れるほど視差方向の幅が狭くなり、部分的に表示されなくなるオブジェクトの箇所が右眼用画像と左眼用画像とで異なることで、オブジェクトにちらつきなどが生じ、ユーザに不快感をもたらすことをその出発点としている。これに対し、上述した仮想視点映像における違和感の原因は、仮想視点映像の解像度が、その元になる実カメラで撮影された映像の解像度に依存する点にあり、両者は違和感の発生原因がまったく異なっている。そして、仮想視点映像の生成に上記特許文献１の技術を適用しても、仮想カメラとオブジェクトとの間の距離が近いほど画質が低下するという問題は解消できない。
　本発明に係る画像処理装置は、複数のカメラにより複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理装置であって、仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、前記情報取得手段により取得される前記仮想視点情報が示す仮想視点の位置及び方向と、ユーザ操作に応じた入力との少なくとも何れかに基づいて、前記仮想視点画像に関わる複数のオブジェクトのうち透明化の対象とならない注目オブジェクトを決定する決定手段と、前記情報取得手段により取得される前記仮想視点情報が示す仮想視点の位置及び方向に応じた前記仮想視点画像を生成する生成手段であって、前記複数のオブジェクトのうち、前記決定手段により決定された前記注目オブジェクトとは異なる非注目オブジェクトであって且つ前記仮想視点情報が示す仮想視点の位置から第１の距離離れた位置のオブジェクトの透明度が、当該仮想視点から見て前記第１の距離よりも長い第２の距離離れた位置の非注目オブジェクトの透明度よりも高い前記仮想視点画像を生成する生成手段と、を有することを特徴とする。
　本発明によれば、設定した仮想カメラから近い位置にオブジェクトが存在しても、画質の低下が目立ちにくくなり、仮想視点映像の画質を向上させることができるようになる。
本発明の更なる特徴は、添付の図面を参照して行う以下の実施形態の説明より明らかになる。
画像処理装置のハードウェア構成例を示すブロック図。 （ａ）は透過度の制御を行なわずに仮想視点映像の描画を行った場合の一例を示す図、（ｂ）は透過度の制御を行って仮想視点映像を描画した場合の一例を示す図 画像処理装置の機能構成を示すブロック図 複数視点映像から仮想視点映像を生成する画像処理の流れを示すフローチャート （ａ）はポリゴンデータの一例を示す図、（ｂ）はテクスチャデータの一例を示す図 透過度算出処理の詳細を示すフローチャート 基準透過閾値Ｄｔ_ｂと透過閾値Ｄｔとの関係を説明する図 オブジェクトから仮想カメラまでの距離と透過度との関係を示すグラフ
　以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
実施形態１
　本実施形態では、仮想カメラ近くに存在するオブジェクトを透過させることで目立たなくして、仮想視点映像の画質を向上する描画方法について説明する。なお、仮想視点映像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点映像や任意視点映像などとも呼ばれる。また、仮想視点映像は、動画であっても、静止画であっても良い。本実施形態では、仮想視点映像が動画である場合の例を中心に説明する。
　本実施形態における画像処理装置１００のハードウェア構成例について、図１を用いて説明する。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及び／又はハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、画像処理装置１００と、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置とを接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介した、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に保存することが可能である。入力インタフェイス（Ｉ／Ｆ）１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７と画像処理装置１００とを接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、ディスプレイなどの出力デバイス１０９と画像処理装置１００とを接続する、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点映像に係るデータを送ることで、仮想視点映像の表示を実行させることができる。ネットワークインタフェイス（Ｉ／Ｆ）１１０は、画像処理装置１００と外部サーバ１１１とを接続する、例えばＬＡＮカードなどのネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１からデータを読み込むことが可能である。
　なお、上記の説明では、ＨＤＤ１０５、入力デバイス１０７、及び出力デバイス１０９が画像処理装置１００とは別のデバイスとして構成される例を示した。しかしこの形態に限らない。例えば、画像処理装置１００はスマートフォンなどであっても良く、この場合は、入力デバイス１０７（タッチパネル）や出力デバイス１０９（表示スクリーン）は、画像処理装置１００と一体である。また、ＨＤＤ１０５内蔵のデバイスを画像処理装置１００として用いることも可能である。また、図１にて示した構成のすべてが必須の構成とは限らない。例えば、ＨＤＤ１０５に記憶された仮想視点映像を再生する場合、外部サーバ１１１は不要である。逆に、外部サーバ１１１から取得した仮想視点映像を生成する場合、ＨＤＤ１０５は不要である。また、画像処理装置１００が複数のＣＰＵ１０１を有してもよい。また、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。
　本実施形態では、撮影シーン内のオブジェクトについて、仮想カメラとの距離に応じてその透過度を変更することで、仮想カメラ近くの解像度低下が発生する領域を目立たなくする。ここで、本実施形態における透過度制御の考え方について説明しておく。図２（ａ）は透過度の制御を行なわずに仮想視点画像の描画を行った場合の例を示し、同（ｂ）は透過度の制御を行って仮想視点画像を描画した場合の例を示す。図２（ａ）及び（ｂ）にはそれぞれ、同じ位置姿勢の仮想カメラで２つのオブジェクト（人物）を描画した４枚の画像が並んでいる。図２の（ａ）（ｂ）いずれにおいても、右にある画像ほど、仮想カメラからより近い位置に右側のオブジェクトが存在している。本実施形態の場合、オブジェクトのテクスチャデータの生成には、実カメラで撮影した画像を利用する。そのため、一定の距離よりも近くにあるオブジェクトについては、当該オブジェクトの位置が仮想カメラから近いほどそのテクスチャ画像は拡大して描画されるため、解像度が低下して粗くなる。そこで、図２（ｂ）に示すように、仮想カメラからの距離が一定以下の場合、仮想カメラに近くなるにつれて透過度が高くなるように制御する。画像内の右側のオブジェクトが仮想カメラに近づくにつれてそのテクスチャ画像が拡大して描画される点は透過度制御を行わない図２（ａ）の場合と同じであるが、透過させることにより解像度の低下が目立ちにくくなる。
　以下、複数のカメラにより複数の方向から撮影することで得られる動画の複数視点画像（以下、複数視点映像）から、仮想視点の位置及び方向に応じた動画の仮想視点画像（以下、仮想視点映像）を生成する際の処理を例に、本実施形態の画像処理装置１００の構成等について詳しく説明する。図３は、画像処理装置１００の論理構成の一例を示す機能ブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図３に示す画像処理装置１００内部の各機能ブロックの役割を果たす。なお、図３の操作部３０１及び表示部３０６は、図１の入力デバイス１０７及び出力デバイス１０９にそれぞれ対応する。また、ＣＰＵ１０１が画像処理装置１００内部の全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
　図４は本実施形態の画像処理装置１００で行われる、複数視点映像から仮想視点映像を生成する画像処理の流れを示すフローチャートである。図４のフローチャートにおいて示される一連の処理は、画像処理装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで実現される。なお、各処理の説明における記号「Ｓ」はステップを表す。
　Ｓ４０１では、視点制御部３０２が、撮影された複数視点映像の設定フレームのうち対象フレームに対応する仮想カメラのカメラパラメータが取得される。複数視点映像が60fpsで撮影され、その中の10秒分を設定フレームとして仮想視点映像を生成する場合であれば、全600フレームが順次対象フレームとなる。ここで、カメラパラメータには、外部パラメータと内部パラメータとが含まれる。外部パラメータは、仮想カメラの位置及び姿勢（方向）を表すパラメータであり、内部パラメータは、仮想カメラの光学的な特性を表すパラメータである。仮想カメラの位置を表すベクトルをｔ，回転を表す行列をＲとすると、仮想カメラの外部パラメータは以下のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
ここでの座標系は左手座標系であり、仮想カメラの視点において右を＋ｘ方向、上を＋ｙ方向、前（奥）を＋ｚ方向とする。また、画像の主点位置を（ｃx，ｃy）、実カメラの焦点距離をｆとすると、仮想カメラの内部パラメータＫは以下のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　なお、カメラパラメータの表現方法は行列に限定されない。例えば、仮想カメラの位置を３次元座標で表し、仮想カメラの姿勢をｙａｗ、ｒｏｌｌ、及びｐｉｔｃｈの値の羅列によって表現してもよい。また、外部パラメータと内部パラメータは上述のものに限るわけではない。例えば、仮想カメラのズーム値を表す情報を仮想カメラの内部パラメータとして取得してもよい。本ステップでは、ユーザインタフェイスの一例である操作部３０１を介して入力された仮想カメラの位置・姿勢に関するユーザ操作を受け付けた視点制御部２０２が、当該ユーザ操作に応じた仮想カメラの外部カメラパラメータを生成する。例えばユーザが、マウスを右方向に動かした場合には仮想カメラの姿勢が右方向へ回転するような、マウスを上方向へ動かした場合には仮想カメラの姿勢が上方向へ変化するような外部パラメータが生成される。内部パラメータについては予めＨＤＤ１０５等に保持しておいたものを読み出せばよい。こうして取得された、描画に利用する視点情報としての仮想カメラのカメラパラメータは、透過度制御部３０４と描画部３０５に出力される。
　Ｓ４０２では、データ取得部３０３が、レンダリングに必要な画像データを、ＨＤＤ１０５又は外部サーバ１１１から取得する。具体的には、設定タイムフレームのうち処理対象フレームの撮影シーン内に含まれるオブジェクトのポリゴンデータとテクスチャデータが取得される。図５の（ａ）及び（ｂ）は撮影シーンがサッカーの試合である場合に取得されるデータの一例である。図５（ａ）は選手の３次元形状を表すポリゴンデータを示し、同（ｂ）はその表面の色や質感を表すテクスチャデータを示す。各ポリゴンデータには、選手、審判、ボール、サッカーゴールといった、各オブジェクトの属性を示す情報が付加されている。また、注目するオブジェクト（例えば、ボールや特定の選手）に対応するポリゴンデータにのみ、所定のフラグを付加して他のオブジェクトから識別可能にしておいてもよい。また、テクスチャデータを複数パターン用意しておき、設定された仮想カメラの位置・姿勢に応じて使い分けてもよい。なお、オブジェクトの３次元形状を表すデータとしては、いわゆるボクセルデータであってもよい。こうして取得されたデータは、透過度制御部３０４と描画部３０５に出力される。
　Ｓ４０３では、透過度制御部３０４が、撮影シーン内に存在する各オブジェクトに対し、透過度の算出処理を行う。透過度算出処理の詳細については後述する。算出された各オブジェクトの透過度の情報は、描画部３０５に出力される。
　Ｓ４０４では、描画部３０５が、データ取得部２０３から取得したデータと視点制御部２０２から取得したカメラパラメータと透過度制御部２０４から取得した各オブジェクトの透過度を基に、対象フレームの仮想視点映像を生成する。このとき、透過度とは関係なく、オブジェクトの輪郭を描画することで、オブジェクトの存在を確認できるようにしても構わない。また、透過度に合わせてオブジェクトをぼかすことで、画質の低下をより目立ちにくくしてもよい。また、透過させたオブジェクトの影の描画は透過度に合わせて濃さを調整してもよいし、透過度とは関係なく描画してもよい。レンダリングに関しては既存の技術等を適宜適用すればよく、ここでは説明を省く。なお、透過度が最大に設定されたオブジェクト（仮想視点映像に表示されないオブジェクト）については、そのオブジェクトの３次元形状を表すモデルに透明なテクスチャデータがマッピングされてもよいが、そのオブジェクトの３次元形状を表す情報を用いずにレンダリングが行われてもよい。表示されないオブジェクトの３次元形状を表す情報を用いずにレンダリングを行うことで、仮想視点映像の生成に係る処理負荷を低減できる。生成された仮想視点映像のデータは、表示部２０６に出力される。
　Ｓ４０５では、表示部２０６が、対象フレームの仮想視点映像データを描画部２０５から取得し表示する。続くＳ４０６では、設定フレームの全フレームについて、Ｓ４０１～Ｓ４０５までの処理が完了したかどうかが判定される。未処理のフレームがあればＳ４０１に戻って処理が続行される。一方、全フレームについて処理が完了していれば処理を終了する。
　以上が、画像処理装置１００で行われる、複数視点映像から仮想視点映像を生成するまでの画像処理の流れである。本実施形態のＳ４０２では、オブジェクトの形状データに加え、予め生成しておいたテクスチャデータも取得したがこれに限定されない。例えば、オブジェクトの形状データだけを取得しておき、レンダリング時に仮想カメラの視点位置に基づいて、現実の撮像画像（複数視点画像）における対応する位置の画素値から求めてもよい。
＜透過度算出処理＞
　続いて、本実施形態の特徴である、オブジェクト毎の透過度決定処理について詳しく説明する。図６は、透過度算出処理の詳細を示すフローチャートである。以下、図６のフローに沿って説明する。
　Ｓ６０１では、現在の動作モードが、オブジェクトの透過制御を行う動作モードであるかどうかが判定される。例えば、仮想視点映像の生成時にユーザ自身が仮想カメラの制御を行うインタラクティブな再生モードの場合は、透過制御を行う動作モードであると判定する。また、オブジェクトがサッカー選手、審判等の人物であって、当該人物の目の位置や視線の方向を仮想カメラの位置・姿勢として利用することで、選手、審判等の視界を再現する人物目線再生モードの場合は、透過制御を行わない動作モードであると判定する。人物目線再生モードの場合は、解像度の低下の問題よりもその人物の視界に写るはずのもの（仮想視点）が再現されていることが重要であるためである。人物目線再生モードは、例えば選手（名前や背番号等の選手を特定可能な情報）や審判の一覧からいずれかを選択することによって実行されるようにしてもよい。また、人物目線モードにおいてユーザが仮想視点を決定する操作を行った場合には、インタラクティブな再生モードに切り替えるようにしてもよい。また、例えばスポーツシーンの仮想視点映像に、当該シーンに関連する分析データ等を重畳表示するような動作モードの場合も、オブジェクトの透過処理を行わない方が分析データを見やすいため、透過制御を行わない動作モードであると判定する。また、ユーザがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを用いて透過制御を行うかどうかを指定してもよい。このような基準に従いモード判定処理を行って、透過制御を行う動作モードであると判定される場合はＳ６０２へ進む。一方、透過制御を行わない動作モードであると判定される場合はＳ６０９へ進み、対象フレームに写っている（複数視点画像に含まれている）すべてのオブジェクトについて透過度αの値を最小値（実質的に透過処理が行われない透過度）に設定して本処理を抜ける。透過度αについて後述する。
　Ｓ６０２では、対象フレームに写っているすべてのオブジェクトの中から、透過処理の対象外となる注目オブジェクトが設定される。ここで、注目オブジェクトは、サッカーのゴールシーンを対象に仮想視点映像を生成する場合であれば、シュートを行った選手とボールといった具合に、当該シーンにおいて欠くことのできない重要なオブジェクトが該当することになる。この際は、どのオブジェクトを注目オブジェクトとするかを撮影シーンに応じて予め決めておき、例えば前述のフラグ等を参照して設定する。或いは、オブジェクトの形状や大きさなどから自動で判定して設定してもよい。さらには、ユーザがＧＵＩを介して、直接に注目オブジェクトを指定する操作を行い、画像処理装置１００がそのユーザ操作に応じた入力に基づいて注目オブジェクトを決定するようにしてもよい。あるいは、複数のオブジェクトのうちユーザが指定したオブジェクト以外のオブジェクトが注目オブジェクトとして決定されてもよい。また画像処理装置１００は、仮想カメラのカメラパラメータが示す仮想視点の位置及び方向とオブジェクトの位置とに基づいて、注目オブジェクトを決定してもよい。例えば、仮想視点の位置及び方向に応じた視界の中心から所定の範囲内に位置するオブジェクトが注目オブジェクトとして決定されてもよい。仮想視点に応じた視界の中心付近に位置するオブジェクトは、仮想視点を指定するユーザが特に見たいオブジェクトである可能性が高いためである。また逆に、仮想視点に応じた視界の中心を含む所定の範囲の外に位置するオブジェクトが注目オブジェクトとして決定されてもよい。
　Ｓ６０３では、対象フレームに写っている注目オブジェクト以外のオブジェクトの中から、透過処理の対象オブジェクトが１つ選択される。この対象オブジェクトを複数のオブジェクトの中から選択する方法は特に限定されず、ランダムであってもよいし、オブジェクトのサイズ順などで決めてもよい。また、本実施形態では、注目オブジェクト以外の全オブジェクトを順に対象オブジェクトに選択することとしているが、透過処理の対象とする特定のオブジェクトを予め決めておいてもよい。例えば、サッカーのゴールシーンを対象に仮想視点映像を生成する場合であれば、選手や審判やゴールポストは透過処理の対象となるオブジェクト、それ以外のグラウンドや観客席やボールは透過処理の対象としないオブジェクトといった具合である。さらには、ユーザがＧＵＩを介して指定できるようにしてもよい。
　Ｓ６０４では、Ｓ６０２で設定された注目オブジェクトとＳ６０３で選択された対象オブジェクトとの距離ｄ1が算出され、当該算出距離ｄ1が所定の閾値以下であるかどうかが判定される。例えば、サッカーのゴールシーンの仮想視点映像を生成する場合であれば、注目オブジェクトであるゴールを決めた選手から一定距離（例えば、３ｍ）を閾値ｔｈとして設定する。こうすることで、ゴールを決めた選手のすぐ近くでシュートを防ごうとした相手チームの選手の動きなど、注目オブジェクトに絡む一連のプレイを視認可能にする。つまり、画質劣化よりもシーンの内容を優先した制御を行う。判定の結果、注目オブジェクトと対象オブジェクトとの距離ｄ1が閾値ｔｈ以下である場合は、対象オブジェクトを透過せずにそのまま描画するため、Ｓ６０７へ進む。一方、注目オブジェクトと対象オブジェクトとの距離ｄ1が閾値ｔｈより大きい場合は、対象オブジェクトをその距離に応じて透過させて描画するため、Ｓ６０５へ進む。
　Ｓ６０５では、Ｓ６０３で選択された対象オブジェクトの代表点と設定された仮想カメラの視点位置（仮想視点位置）との距離ｄ2が算出され、当該算出距離ｄ2が所定の閾値以下であるかどうかが判定される。ここで、対象オブジェクトの代表点は、そのオブジェクトの位置を表す点であり、例えばモデルのローカル座標原点のグローバルな位置やモデルの中心位置である。また、ここでの閾値は、実際に透過させるかどうかを判別するための閾値である。この閾値を、上述のステップ６０４における閾値ｔｈと区別するため、以下「透過閾値Ｄｔ」と表記する。設定された仮想カメラの垂直解像度がｈ，垂直画角がθであるとき、判定処理に適用される透過閾値Ｄｔは、予め定めた基準とする仮想カメラについての透過閾値（以下、「基準透過閾値Ｄｔ_ｂ」と表記）に基づいて変化する。基準透過閾値Ｄｔ_ｂは、基準とする仮想カメラの垂直画素数ｈ_ｂ及び垂直画角θ_ｂによって定義され、当該基準とする仮想カメラにおいて透過処理を開始することになる当該基準とする仮想カメラからの距離を表す。この基準透過閾値Ｄｔ_ｂは、テスト等を行って予め決めておく。そして、実際にユーザが設定した仮想カメラの下でも、基準とする仮想カメラでの透過処理が開始される描画解像度と同じ描画解像度で透過処理が開始されるような透過閾値Ｄｔが導出され、本ステップでの判定処理に適用される。図７は、基準透過閾値Ｄｔ_ｂと透過閾値Ｄｔとの関係を説明する図である。このように、透過閾値Ｄｔを可変にすることで、仮想カメラの画角や解像度に左右されることなく実カメラで撮影した画像の解像度に合わせ、適切な透過閾値の適用が可能となる。この際、基準透過閾値Ｄｔ_ｂは、オブジェクトの種類（例えば、審判や選手）に応じて設定してもよい。さらには、個々のオブジェクト毎に（例えば、選手Ａと選手Ｂ）、或いはオブジェクトのグループ毎に（例えば、Ａチーム所属の選手とＢチーム所属の選手）で別々の基準透過閾値Ｄｔ_ｂを設定してもよい。このように、基準透過閾値Ｄｔ_ｂに基づき、判定処理に適用する透過閾値Ｄｔを設定することで、例えば、設定された仮想カメラの画角が狭い場合は透過閾値Ｄｔが大きくなり、設定された仮想カメラからの距離が遠いオブジェクトに対しても適切に透過処理がなされることになる。判定の結果、算出距離ｄ2が透過閾値Ｄｔ以下であれば、Ｓ６０６に進む。一方、算出距離ｄ2が透過閾値Ｄｔより大きければＳ６０７へ進む。なお、複数視点画像の画質が低いほど、仮想カメラとオブジェクトとの距離が近い場合に仮想視点映像に表示されるオブジェクトの画質も低くなることから、基準透過閾値Ｄｔ＿ｂが複数視点画像の画質に関するパラメータに基づいて決定されてもよい。例えば、複数視点画像の解像度が低いほど、基準透過閾値Ｄｔ＿ｂが大きい値に設定されてもよい。
　Ｓ６０６では、Ｓ６０５で算出した仮想カメラとオブジェクトとの距離ｄ2に基づき、対象オブジェクトについての透過度αが算出される。ここで、透過度αは、その値が０のときは不透明な状態を表し、１のときには最も透明な状態を表し、０から１の間のときには半透明の状態を表す。そして、例えば図８のグラフに示すように、距離ｄ2が短くなるほど透過度αが高くなるように算出される。図８のグラフにおいて、消失閾値Ｄｖは、設定された仮想カメラまでの距離が一定距離以内で近い場合に、対象オブジェクトが最も透明になってその存在が消失してしまうときの一定距離を示す閾値である。ただし、ここでいう“消失”は、必ずしも完全透過状態を意味せず、例えばその存在が僅かに確認できる程度の透過状態を含み得るものである。設定された仮想カメラの垂直解像度がｈ，垂直画角がθであるときの消失閾値Ｄｖは、透過閾値Ｄｔと同様に可変とする。つまり、基準とする仮想カメラで仮想視点映像を生成した際の消失閾値（基準消失閾値）Ｄｔ_ｂのときの描画解像度と同じ解像度のときに、オブジェクトが完全透過となるように（＝透過度αが最大値）となるように、設定された仮想カメラについての消失閾値Ｄｖが設定される。このとき、基準消失閾値Ｄｖ_ｂは、基準とする仮想カメラの垂直画素数ｈｂ、垂直画角θｂにおいて、当該仮想カメラからの距離がこの距離より短い場合は、対象オブジェクトの透過度αの値を１（最大値）にするという閾値である。ここでは最大値を１にしているが、上述のとおり、例えば０．９といった完全に透過しないような値を最大値としてもよい。このように対象オブジェクトの透過度αは、消失閾値Ｄｖと透過閾値Ｄｔに基づいて算出される。なお、透過度αと距離ｄ2との関係を示す図８のグラフは一例に過ぎない。例えば、図８のように線形に変化するように透過度αを設定するのに代えて、所定の２次関数を基に変化するようにしてもよく、仮想カメラから対象オブジェクトまでの距離が近いほど高い透過度になるように変化させられればよい。また、段階的に異なる距離と透過度αの値とを対応付けたルックアップテーブルを作成しておき、それを参照して透過度αを設定してもよい。このとき、対象オブジェクトが高速で仮想カメラに近づいてくる場合は、より高い透過度が設定されるように、オブジェクトの移動速度や仮想カメラの移動速度に応じて透過度αの調整を行っても構わない。調整の方法としては、例えば図８のグラフから導出される透過度αの値に対して、移動速度に応じて異なる係数を乗算して、最終的な透過度αを決定するといった方法が考えられる。具体的には、例えば基準速度のときを１．０とし、基準速度よりも高速になるに従って、１．１、１．２、１．３・・・といった具合に係数の値を大きくしていけばよい。
　Ｓ６０７では、対象オブジェクトについての透過度αの値が、不透過を表す値（ここでは０）に設定される。
　Ｓ６０８では、注目オブジェクト以外のすべてのオブジェクトに対する透過処理が完了したかどうかが判定される。未処理のオブジェクトがあれば、Ｓ６０３へ戻って次の対象オブジェクトが選択され透過処理が続行される。一方、注目オブジェクト以外のすべてのオブジェクトに対する透過処理が完了していれば、本処理を終了する。
　このような処理により、注目オブジェクト以外のオブジェクトに対する透過度が算出される。本実施形態では、注目オブジェクトからの距離や仮想カメラからの距離に応じて、そのオブジェクトを透過させるかどうか及びどのくらい透過させるかを決定していたが、これに限定されない。例えば、仮想カメラから見た時に注目オブジェクトを隠ぺいする位置にあるオブジェクトについては、より高い透過度（或いは完全透過）が一律に設定されるよう構成してもよい。また、本実施形態では、透過制御を行わないモードである場合に、処理対象フレームに写っているすべてのオブジェクトについて透過度αに最小値を設定していたが、全オブジェクトを透過処理の対象外に設定した上で、Ｓ４０４で全オブジェクトに対し通常の描画処理を行うように構成してもよい。
　以上のとおり本実施形態によれば、設定した仮想カメラから近い位置にオブジェクトが存在しても、一定の条件下で透過処理が施されるので画質の低下が目立ちにくくなる。これにより、ユーザに不快感をもたらさない高画質の仮想視点映像を得ることができる。
＜その他の実施形態＞
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
実施形態を参照して本発明を説明して来たが、本発明が上述した実施形態に限定されないことは言うまでもない。下記のクレームは最も広く解釈されて、そうした変形例及び同等の構造・機能全てを包含するものとする。
本願は、２０１８年２月１６日提出の日本国特許出願特願２０１８‐０２５８２６を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1. 　複数のカメラにより複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理装置であって、
    　仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
    　前記情報取得手段により取得される前記仮想視点情報が示す仮想視点の位置及び方向と、ユーザ操作に応じた入力との少なくとも何れかに基づいて、前記仮想視点画像に関わる複数のオブジェクトのうち透明化の対象とならない注目オブジェクトを決定する決定手段と、
    　前記情報取得手段により取得される前記仮想視点情報が示す仮想視点の位置及び方向に応じた前記仮想視点画像を生成する生成手段であって、前記複数のオブジェクトのうち、前記決定手段により決定された前記注目オブジェクトとは異なる非注目オブジェクトであって且つ前記仮想視点情報が示す仮想視点の位置から第１の距離離れた位置のオブジェクトの透明度が、当該仮想視点から見て前記第１の距離よりも長い第２の距離離れた位置の非注目オブジェクトの透明度よりも高い前記仮想視点画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記生成手段は、前記複数のオブジェクトのうち前記仮想視点の位置からの距離が短い非注目オブジェクトほど透明度が高い前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記生成手段は、前記仮想視点情報が示す仮想視点の位置から前記第１の距離離れた位置の前記オブジェクトの３次元形状を表す情報を用いずにレンダリングを行うことで、当該オブジェクトが表示されない前記仮想視点画像を生成する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記決定手段は、１以上のオブジェクトを指定するユーザ操作に応じた入力に基づいて、前記注目オブジェクトを決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
  5. 　前記決定手段は、前記仮想視点情報が示す仮想視点の位置及び方向に応じた視界の中心から所定の範囲内に位置するオブジェクトを、前記注目オブジェクトとして決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
  6. 　非注目オブジェクトの位置と前記仮想視点情報が示す仮想視点の位置との距離に基づいて当該非注目オブジェクトの透明度を決定する決定手段を有し、
    　前記生成手段は、前記決定手段により決定された透明度の非注目オブジェクトを含む前記仮想視点画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
  7. 　前記情報取得手段により取得される前記仮想視点情報は、仮想視点の位置、方向、及び仮想視点に対応する画角を表し、
    　前記決定手段は、非注目オブジェクトの位置と前記仮想視点情報が示す仮想視点の位置との距離と、前記仮想視点情報により特定される仮想視点に対応する画角とに基づいて、当該非注目オブジェクトの透明度を決定することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記決定手段は、非注目オブジェクトの位置と前記仮想視点の位置との距離、及び、当該非注目オブジェクトの位置と前記注目オブジェクトの位置との距離に基づいて、当該非注目オブジェクトの透明度を決定することを特徴とする請求項６又は７に記載の画像処理装置。
  9. 　前記決定手段は、非注目オブジェクトの位置と前記仮想視点の位置との距離と、当該非注目オブジェクトの移動速度及び仮想視点の移動速度の少なくとも何れかとに基づいて、当該非注目オブジェクトの透明度を決定することを特徴とする請求項６又は７に記載の画像処理装置。
  10. 　前記生成手段により生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置の非注目オブジェクトの透明度は、前記生成手段により生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置の非注目オブジェクトの透明度よりも高いことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
  11. 　前記生成手段は、前記複数のオブジェクトのうち、前記仮想視点の位置との距離が所定の閾値以上である非注目オブジェクトは透過表示されず、且つ、前記仮想視点の位置との距離が前記所定の閾値未満である非注目オブジェクトは透過表示される仮想視点画像を生成することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
  12. 　前記所定の閾値は、前記情報取得手段により取得される仮想視点情報によって特定される仮想視点の画角及び前記画像取得手段により取得される画像の画質に関するパラメータの少なくとも何れかに基づいて決まる閾値であることを特徴とする請求項９に記載の画像処理装置。
  13. 　前記生成手段は、前記複数のオブジェクトの何れかの位置及び視線の方向を仮想視点画像の生成に係る仮想視点の位置及び方向とするか否か、及び、分析データが重畳された仮想視点画像を生成するか否かの少なくとも何れかに基づいて、非注目オブジェクトの位置と仮想視点の位置との距離に応じた当該非注目オブジェクトの透明化を行うか否かを決定することを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
  14. 　複数のカメラにより複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理装置であって、
    　仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
    　前記情報取得手段により取得される前記仮想視点情報が示す仮想視点の位置及び方向に応じた前記仮想視点画像を生成する生成手段であって、前記複数のオブジェクトのうちの特定のオブジェクトの位置と前記仮想視点情報が示す仮想視点の位置との距離が第１の距離である場合に、前記特定のオブジェクトの位置と当該仮想視点の位置との距離が前記第１の距離よりも長い第２の距離である場合よりも、前記特定のオブジェクトの透明度が高い仮想視点画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
  15. 　前記情報取得手段により取得される前記仮想視点情報が示す仮想視点の位置及び方向と、ユーザ操作に応じた入力との少なくとも何れかに基づいて、前記仮想視点画像に関わる複数のオブジェクトのうち透明化の対象とならない注目オブジェクトを決定する決定手段を有し、
    　前記生成手段は、前記複数のオブジェクトのうち前記決定手段により決定された前記注目オブジェクトとは異なる非注目オブジェクトの位置と前記仮想視点情報が示す仮想視点の位置との距離が前記第１の距離である場合に、前記非注目オブジェクトの位置と当該仮想視点の位置との距離が前記第２の距離である場合よりも、前記非注目オブジェクトの透明度が高い仮想視点画像を生成する
    ことを特徴とする請求項１４に記載の画像処理装置。
  16. 　前記生成手段により生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置のオブジェクトの透明度は、前記生成手段により生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置のオブジェクトの透明度よりも高いことを特徴とする請求項１４に記載の画像処理装置。
  17. 　複数のカメラにより複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理方法であって、
    　仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得工程と、
    　前記情報取得工程において取得される前記仮想視点情報が示す仮想視点の位置及び方向に応じた前記仮想視点画像を生成する生成工程であって、前記複数のオブジェクトのうちの特定のオブジェクトの位置と前記仮想視点情報が示す仮想視点の位置との距離が第１の距離である場合に、前記特定のオブジェクトの位置と当該仮想視点の位置との距離が前記第１の距離よりも長い第２の距離である場合よりも、前記特定のオブジェクトの透明度が高い仮想視点画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
  18. 　前記情報取得工程において取得される前記仮想視点情報が示す仮想視点の位置及び方向と、ユーザ操作に応じた入力との少なくとも何れかに基づいて、前記仮想視点画像に関わる複数のオブジェクトのうち透明化の対象とならない注目オブジェクトを決定する決定工程を有し、
    　前記生成工程は、前記複数のオブジェクトのうち前記決定工程において決定された前記注目オブジェクトとは異なる非注目オブジェクトの位置と前記仮想視点情報が示す仮想視点の位置との距離が前記第１の距離である場合に、前記非注目オブジェクトの位置と当該仮想視点の位置との距離が前記第２の距離である場合よりも、前記非注目オブジェクトの透明度が高い仮想視点画像を生成する
    ことを特徴とする請求項１７に記載の画像処理方法。
  19. 　前記生成工程において生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置のオブジェクトの透明度は、前記生成工程において生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置のオブジェクトの透明度よりも高いことを特徴とする請求項１７に記載の画像処理方法。
  20. 　コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
PCT/JP2019/001997 2018-02-16 2019-01-23 画像処理装置、画像処理方法およびプログラム WO2019159617A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980002757.5A CN110720114B (zh) 2018-02-16 2019-01-23 图像处理装置、图像处理方法和存储介质
KR1020197035987A KR102162107B1 (ko) 2018-02-16 2019-01-23 화상 처리 장치, 화상 처리 방법 및 프로그램
US16/683,043 US11284057B2 (en) 2018-02-16 2019-11-13 Image processing apparatus, image processing method and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-025826 2018-02-16
JP2018025826A JP6407460B1 (ja) 2018-02-16 2018-02-16 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/683,043 Continuation US11284057B2 (en) 2018-02-16 2019-11-13 Image processing apparatus, image processing method and storage medium

Publications (1)

Publication Number Publication Date
WO2019159617A1 true WO2019159617A1 (ja) 2019-08-22

Family

ID=63855172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001997 WO2019159617A1 (ja) 2018-02-16 2019-01-23 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11284057B2 (ja)
JP (1) JP6407460B1 (ja)
KR (1) KR102162107B1 (ja)
CN (1) CN110720114B (ja)
WO (1) WO2019159617A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011364B1 (ja) 2021-10-15 2022-01-26 シンメトリー・ディメンションズ・インク 体験装置、体験システム、及び、表示方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP7091133B2 (ja) * 2018-05-09 2022-06-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10839594B2 (en) * 2018-12-11 2020-11-17 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
JP7341674B2 (ja) * 2019-02-27 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7371901B2 (ja) * 2019-11-08 2023-10-31 株式会社コナミデジタルエンタテインメント ゲームプログラム、情報処理装置、および方法
WO2021149336A1 (ja) * 2020-01-22 2021-07-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2021149526A1 (ja) * 2020-01-23 2021-07-29
WO2021200140A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 信号処理装置、信号処理方法、および信号処理システム
CN111659117B (zh) * 2020-07-08 2023-03-21 腾讯科技（深圳）有限公司 虚拟对象展示方法、装置、计算机设备及存储介质
EP4033754A1 (en) * 2021-01-21 2022-07-27 Koninklijke Philips N.V. An image synthesis system and method therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149062A (ja) * 1998-11-10 2000-05-30 Hitachi Eng Co Ltd 三次元画像生成方法とその装置
JP2002049936A (ja) * 2000-08-03 2002-02-15 Namco Ltd ゲーム装置および情報記憶媒体
JP2006068138A (ja) * 2004-08-31 2006-03-16 Nintendo Co Ltd ゲーム装置および画像処理プログラム
JP2008071260A (ja) * 2006-09-15 2008-03-27 Copcom Co Ltd 三次元映像表示装置、その表示装置を備えたゲーム装置、その表示装置を実現するためのプログラム及び記録媒体
JP2015114716A (ja) * 2013-12-09 2015-06-22 シャープ株式会社 画像データ再生装置および画像データ生成装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635729B2 (ja) * 1995-08-31 2005-04-06 株式会社セガ 画像処理方法、画像処理装置および疑似体験装置
JP3372832B2 (ja) * 1997-07-25 2003-02-04 コナミ株式会社 ゲーム装置、ゲーム画像処理方法およびゲーム画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3715222B2 (ja) * 2000-12-27 2005-11-09 株式会社ソニー・コンピュータエンタテインメント 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置
WO2002101655A1 (fr) * 2001-05-16 2002-12-19 Sega Corporation Procede et appareil de traitement d'image, et programme pour accentuer le mouvement d'un objet
JP3934074B2 (ja) * 2003-03-24 2007-06-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
BRPI0615283A2 (pt) * 2005-08-29 2011-05-17 Evryx Technologies Inc interatividade por meio de reconhecimento de imagem móvel
WO2007129476A1 (ja) * 2006-05-09 2007-11-15 Sega Corporation 画像処理プログラムおよび画像処理装置
GB0613352D0 (en) * 2006-07-05 2006-08-16 Ashbey James A Improvements in stereoscopic imaging systems
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
JP5572532B2 (ja) * 2010-12-10 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
JP5808985B2 (ja) * 2011-09-05 2015-11-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US8928657B2 (en) * 2013-03-07 2015-01-06 Google Inc. Progressive disclosure of indoor maps
KR102576654B1 (ko) * 2016-10-18 2023-09-11 삼성전자주식회사 전자 장치 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149062A (ja) * 1998-11-10 2000-05-30 Hitachi Eng Co Ltd 三次元画像生成方法とその装置
JP2002049936A (ja) * 2000-08-03 2002-02-15 Namco Ltd ゲーム装置および情報記憶媒体
JP2006068138A (ja) * 2004-08-31 2006-03-16 Nintendo Co Ltd ゲーム装置および画像処理プログラム
JP2008071260A (ja) * 2006-09-15 2008-03-27 Copcom Co Ltd 三次元映像表示装置、その表示装置を備えたゲーム装置、その表示装置を実現するためのプログラム及び記録媒体
JP2015114716A (ja) * 2013-12-09 2015-06-22 シャープ株式会社 画像データ再生装置および画像データ生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAYASHI, KUNIHIKO ET AL.: "Synthesizing free-viewpoint images from mutiple view videos in soccer stadium", IPSJ SIG TECHNICAL REPORTS, vol. 2006, no. 51, 2006, pages 173 - 180 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011364B1 (ja) 2021-10-15 2022-01-26 シンメトリー・ディメンションズ・インク 体験装置、体験システム、及び、表示方法
JP2023059553A (ja) * 2021-10-15 2023-04-27 シンメトリー・ディメンションズ・インク 体験装置、体験システム、及び、表示方法

Also Published As

Publication number Publication date
JP6407460B1 (ja) 2018-10-17
CN110720114B (zh) 2021-05-14
US11284057B2 (en) 2022-03-22
CN110720114A (zh) 2020-01-21
KR20190138896A (ko) 2019-12-16
JP2019144638A (ja) 2019-08-29
KR102162107B1 (ko) 2020-10-06
US20200084431A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP6407460B1 (ja) 画像処理装置、画像処理方法およびプログラム
US10916048B2 (en) Image processing apparatus, image processing method, and storage medium
US11750786B2 (en) Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US20050219239A1 (en) Method and apparatus for processing three-dimensional images
US20190158802A1 (en) Image processing apparatus, image processing method and storage medium
US11521346B2 (en) Image processing apparatus, image processing method, and storage medium
JP2019102907A (ja) 設定装置、設定方法、及びプログラム
US11187895B2 (en) Content generation apparatus and method
JP2010226390A (ja) 撮像装置および撮像方法
JP7480163B2 (ja) 画像の奥行きマップの処理
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
JP7387286B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230128288A1 (en) Compositor layer extrapolation
TWI817335B (zh) 立體影像播放裝置及其立體影像產生方法
US11778155B2 (en) Image processing apparatus, image processing method, and storage medium
WO2020121844A1 (en) Image processing device, image processing method, and program
TW202239201A (zh) 影像合成系統及其方法
CN115661408A (zh) 在人工现实环境中生成和修改手的表示

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19754747

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197035987

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19754747

Country of ref document: EP

Kind code of ref document: A1