WO2022010026A1 - 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치 - Google Patents

적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치 Download PDF

Info

Publication number
WO2022010026A1
WO2022010026A1 PCT/KR2020/010673 KR2020010673W WO2022010026A1 WO 2022010026 A1 WO2022010026 A1 WO 2022010026A1 KR 2020010673 W KR2020010673 W KR 2020010673W WO 2022010026 A1 WO2022010026 A1 WO 2022010026A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
view
lfu
light fields
fov
Prior art date
Application number
PCT/KR2020/010673
Other languages
English (en)
French (fr)
Inventor
이채은
정현민
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020207031054A priority Critical patent/KR102655908B1/ko
Priority to US17/048,299 priority patent/US11869137B2/en
Publication of WO2022010026A1 publication Critical patent/WO2022010026A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Definitions

  • the present disclosure relates to a method and apparatus for constructing a stackable lightfield-based virtual space, and more particularly, to a method and apparatus for constructing a stackable lightfield-based virtual space that can provide a flexible connection method for multiple LF systems.
  • DoF degrees of freedom
  • 6-DoF represents the degree of freedom to change the perspective of the x, y, and z axes combined with changing the rotational field of view along three axes.
  • the most intuitive way to increase the DoF in a captured image-based VR system is to graphically represent the real space.
  • 6-DoF can be realized similar to computer graphics applications.
  • this requires high computational complexity and has a problem in that the probability of occurrence of errors such as holes increases depending on the characteristics of the image or capture environment.
  • An object of the present disclosure is to provide a flexible connection method for multiple LF systems by using the continuous luminous intensity of light rays in LF theory.
  • the flexibly connectable LF system intends to provide a method and apparatus for expanding the range of view positions that can be rendered under a reasonable condition of a camera and a range of view positions that can be rendered under a reasonable condition of a camera FOV.
  • a stackable light-field-based virtual space construction method for achieving the above object includes the steps of selecting one LFU in a multiple LFU (Light-Field Unit) structure, a plurality of LF ( Allocating a rendering Field-of-View (FOV) for Light-Field, independently rendering a view for each LF, and merging and blending by projecting the rendered views.
  • LFU Light-Field Unit
  • LF Allocating a rendering Field-of-View (FOV) for Light-Field
  • FOV Field-of-View
  • the step of independently rendering the view for each LF is to select some shared light at multiple points in the linear plane to connect the multiple linear planes using a constant luminosity of the rays to connect at a reachable extent rather than at the physical intersection of the linear planes. Connect multiple LFs by selecting points.
  • the step of independently rendering the view for each LF extends the length of the linear plane in four directions, connects the linear LF obtained from the extended plane by selecting some shared lights at multiple points on the linear plane, and the required input FOV In order to reduce the distortion of the captured image by reducing
  • the multi-LFU structure enables the construction of a virtual space of a plurality of shapes including circular and atypical structures regardless of shape and size through stacking of a plurality of LFUs having a rectangular camera structure.
  • the stackable light field-based virtual space construction apparatus proposed in the present disclosure is an LFU selection unit that selects one LFU in a multiple LFU (Light-Field Unit) structure, a plurality of LFs of the selected one LFU
  • An assignment unit that allocates rendering FOV (Field-of-View) for (Light-Field)
  • a rendering unit that independently renders views for each LF
  • a virtual space generator that projects, merges, and blends the rendered views
  • the electronic device has a memory in which a multiple LFU (Light-Field Unit) structure in which a plurality of light fields are arranged in a lattice structure is stored, and when a view position is determined in the lattice structure, the multiple LFU A processor for generating a 360-degree image based on the view position using a structure, wherein the processor selects an LFU to which the view position belongs from among the multiple LFU structures, and a preset angle based on the view position Allocating a rendering field-of-view (FOV) as a unit, generating a plurality of view images based on a plurality of light fields constituting the selected LFU and the assigned FOV, and merging the generated plurality of view images to generate the 360 degree image.
  • LFU Light-Field Unit
  • the outer shell of the lattice structure constituted by the plurality of light fields may have a circular or irregular structure.
  • the plurality of light fields include a plurality of horizontal light fields and a plurality of vertical light fields arranged at a first predetermined distance
  • one LFU of the multiple LFU (Light-Field Unit) structure comprises: It may have a square shape having a first distance interval as a length.
  • the processor may generate a plurality of view images by using the four light field areas constituting the selected LFU and the eight light field areas adjacent to the plurality of light field areas.
  • the processor uses the plurality of light fields based on the common light information. You can create one view image.
  • the processor may allocate four rendering FOVs in units of 90 degrees and generate four view images using a light field corresponding to each of the four rendering FOVs.
  • the processor may generate a view image by using pixel information corresponding to a rendering FOV area among the light fields corresponding to each of the FOVs.
  • the processor may project and merge the plurality of generated view images, and generate the 360-degree image by blending the merged view images.
  • a virtual space construction method includes the steps of determining a view position in a multi-light-field unit (LFU) structure in which a plurality of light fields are arranged in a grid structure, Allocating a rendering field-of-view (FOV) in an angular unit, generating a plurality of light fields disposed adjacent to the view position among the plurality of light fields and a plurality of view images based on the assigned rendering FOV and merging the generated plurality of view images.
  • LFU multi-light-field unit
  • FOV rendering field-of-view
  • the outer shell of the lattice structure constituted by the plurality of light fields may have a circular or irregular structure.
  • the plurality of light fields include a plurality of horizontal light fields and a plurality of vertical light fields arranged at a first predetermined distance
  • one LFU of the multiple LFU (Light-Field Unit) structure comprises: It may have a square shape having a first distance interval as a length.
  • the generating of the plurality of view images includes using four light field regions constituting the selected LFU and eight light field regions adjacently disposed around the plurality of light field regions to obtain a plurality of view images.
  • the One view image may be generated using a plurality of light fields.
  • the allocating field-of-view comprises allocating four rendering FOVs in units of 90 degrees, and generating the plurality of view images includes a light corresponding to each of the four rendering FOVs. You can create 4 view images using fields.
  • the generating of the plurality of view images may include generating view images by using pixel information corresponding to a rendering FOV area among light fields corresponding to each of the FOVs.
  • the method of constructing a virtual space may further include projecting and merging the generated plurality of view images, and blending the merged view images.
  • the method for constructing a virtual space includes multiple LFUs ( Determining a view position in a light-field unit structure, allocating a rendering field-of-view (FOV) in a predetermined angular unit based on the view position, adjacent to the view position among the plurality of light fields and generating a plurality of view images based on a plurality of light fields that are arranged in such a manner and the assigned rendering FOV, and merging the generated plurality of view images.
  • LFUs Determining a view position in a light-field unit structure, allocating a rendering field-of-view (FOV) in a predetermined angular unit based on the view position, adjacent to the view position among the plurality of light fields and generating a plurality of view images based on a plurality of light fields that are arranged in such a manner and the assigned rendering FOV, and merging the generated plurality of view images.
  • LFUs Determining a view position in a light-field unit structure, allocating
  • a flexibly connectable LF system can widen the range of renderable view positions under reasonable conditions of the camera, and can widen the range of renderable view positions under reasonable conditions of camera FOV.
  • the proposed LFU can be easily stacked in a rectangular structure, providing the advantage of dramatically expanding the scope of view navigation.
  • FIG. 1 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a view showing a linear plane and light passing through the linear plane according to an embodiment of the present disclosure
  • FIG. 3 is a view showing a light expressed as a point in LF according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating a connection between two linear LFs when two linear planes intersect according to an embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating a connection between two linear LFs when two linear planes do not intersect according to an embodiment of the present disclosure
  • FIG. 6 is a view for explaining the number of shared lights in the LFU structure according to an embodiment of the present disclosure
  • FIG. 7 is a diagram for explaining the relationship of linear LFs in the LFU structure according to an embodiment of the present disclosure
  • FIG. 8 is a view for explaining an operation of allocating a rendering range in a view position in an LFU rendering process according to an embodiment of the present disclosure
  • FIG. 9 is a view for explaining a light connection form in a view position in the LFU rendering process according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating the relationship between an extended linear plane and a desired length of a camera FOV according to an embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a multi-LFU example and a view search scenario according to an embodiment of the present disclosure
  • FIGS. 12 and 13 are diagrams illustrating an example of a multi-LFU structure according to space according to an embodiment of the present disclosure
  • FIG. 14 is a view for explaining a specific configuration of the processor of FIG. 1;
  • 16 is a flowchart for specifically explaining an operation of generating a 360-degree image of FIG. 15 .
  • Embodiments of the present disclosure may be subjected to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutes included in the disclosed spirit and scope. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 100 may include a communication device 110 , a memory 120 , a display 130 , a manipulation input device 140 , and a processor 150 .
  • the electronic device 100 may be a PC capable of image processing, a notebook PC, a smart phone, a server, or the like.
  • the communication device 110 When the communication device 110 is connected to an external device, it may transmit/receive information on the light field or a multi-LFU structure.
  • the communication device 110 is formed to connect the electronic device 100 to an external device, and is connected to a mobile device through a local area network (LAN) and the Internet network, as well as a USB (Universal) device. It is also possible to connect through a serial bus) port.
  • LAN local area network
  • USB Universal
  • the light field is information describing the characteristics of light passing through a linear plane, and may be a linear light field generated by moving a camera capable of generating a light field in one direction. More specific details of the light field will be described later with reference to FIGS. 2 and 3 .
  • the multi-LFU structure is a structure in which a plurality of light fields are arranged in a grid structure, and the outer shell of the grid structure may have a circular or irregular structure.
  • the plurality of light fields may include a plurality of horizontal light fields and a plurality of vertical light fields disposed at first distance intervals, and a square shape in the grid structure may be referred to as one LFU.
  • a specific form of the multi-LFU structure will be described later with reference to FIGS. 12 and 13 .
  • the communication device 110 may be connected to other electronic devices through a router or router connected to a public Internet network as well as a wired method, and may be connected to the router or router in a wired method as well as in a wireless method such as Wi-Fi, Bluetooth, or cellular communication. can also be connected to
  • the communication device 110 may transmit the generated 360-degree image to an external device.
  • the communication device 110 may transmit the generated 360-degree image as it is, or may transmit only an image area corresponding to the user's viewing direction among the 360-degree images.
  • the external device may be a VR device, a display device, a server, or the like.
  • the communication device 110 may receive information about a view position and a view direction from an external device.
  • the external device may be a VR device or a sensor device capable of detecting the user's location.
  • the memory 120 is a component for storing O/S for driving the electronic device 100 or software for generating a 360-degree image, data, and the like.
  • the memory 120 may be implemented in various forms such as RAM, ROM, flash memory, HDD, external memory, memory card, etc., but is not limited thereto.
  • Memory 120 may store information about the multi-LFU structure for a circular or atypical space.
  • the memory 120 may store a plurality of view images and/or 360-degree images generated in a process described below.
  • the display 130 displays a user interface window for receiving a selection of a function supported by the electronic device 100 .
  • the display 130 may display a user interface window for receiving selections of various functions provided by the electronic device 100 .
  • the display 130 may be a monitor such as an LCD, CRT, or OLED, and may be implemented as a touch screen capable of simultaneously performing the functions of the manipulation input device 140 to be described later.
  • the display 130 may display a 360-degree image generated in a process to be described later.
  • the display 130 may display the generated 360-degree image itself or display only a certain area within the 360-degree image corresponding to the current user's point of view.
  • the manipulation input device 140 may receive, from a user, a function selection of the electronic device 100 and a control command for the corresponding function. Specifically, the manipulation input device 140 may receive information about the user's view direction, and the like. The manipulation input device 140 may be combined with the above-described display 130 device to form a single device, for example, a device such as a head worn display, and sense information on a direction or location in which the user is looking. Or you can get input.
  • the processor 150 controls each component in the electronic device 100 . Specifically, when a booting command is input by the user, the processor 150 may perform booting using the operating system stored in the memory 120 .
  • the processor 150 may be configured as a single device such as a central processing unit (CPU) or an application-specific integrated circuit (ASIC), or may include a plurality of devices such as a CPU and a graphics processing unit (GPU).
  • the processor 150 determines the viewing position. Specifically, when the electronic device 100 is a VR device, the processor 150 may determine a view position based on the current location of the VR device. If the electronic device 100 operates in connection with the VR device, the view position may be determined based on location information received from the VR device. This view position may be a specific position in a space defined by a multi-LFU structure.
  • the processor 150 may generate a 360-degree image based on the view position using the stored multiple LFU structure.
  • the processor 150 may select an LFU to which the view position belongs from among multiple LFU structures. For example, it is possible to determine a reference position within the multiple LFU structures 1200 and 1300 as shown in FIG. 12 or 13, and select the LFU to which the reference position belongs.
  • the processor 150 may allocate a rendering field-of-view (FOV) in a preset angular unit based on the view position. Specifically, the processor 150 may allocate four rendering FOVs in units of 90 degrees. For example, four rendering FOVs configured in the forward direction/backward direction/left direction/right direction based on the view position may be allocated. Specific details of such an allocation operation will be described later with reference to FIG. 8 .
  • FOV rendering field-of-view
  • the processor 150 may generate a plurality of view images based on a plurality of light fields constituting the selected LFU and the assigned FOV. Specifically, the processor 150 may generate a plurality of view images by using four light field regions constituting the selected LFU and eight light field regions adjacent to the plurality of light field regions. In this case, when a plurality of light fields are used for one rendering FOV, the processor 150 may generate one view image by connecting the plurality of light fields based on common light information of the plurality of light fields. Such an operation will be described later with reference to FIGS. 4 and 5 .
  • the processor 150 generates the 360-degree image by merging the generated plurality of view images.
  • the processor 150 may project and merge each of the plurality of generated view images, and may generate a 360-degree image by blending the merged view images.
  • the electronic device 100 can easily generate a 360-degree image by using the multi-LFU structure, thereby expanding the view search range within the multi-LFU structure.
  • the electronic device 100 is illustrated and described as including a plurality of components, but some of the illustrated components may be omitted when implemented.
  • the electronic device 100 when it is implemented as a VR device, it may further include a device such as a sensor for detecting the user's position and the user's viewing direction.
  • the Light Field (LF) approach is an approach that can be used to increase the number of DoFs.
  • LF-based VR system light in free space is densely acquired, and in a virtual perspective, light is rendered through light combinations. Unlike 3D modeling, complex calculations are not required to obtain accurate geometric information.
  • the LF's view is theoretically a combination of lights, but the actual rendering uses those captured pixels. So the rendered view is very realistic.
  • Free-viewpoint TV has proposed an LF system using a 1D or 2D linear camera array structure that supports changing views of x, y, and z axes. However, due to the arrangement of the one-way camera, rotational view changes are not allowed, and the system cannot even produce a 360-degree image.
  • Older LF systems enable 6-DoF localization by placing multiple cameras in the form of a circle or a sphere.
  • a spherical-LF-based VR system was recently demonstrated by Google TM.
  • Google TM a high 180 degree camera Field of View (FOV) is required to create a full 360 degree field of view from any viewing position within the spherical structure. Applying a FOV of less than 180 degrees reduces the range of renderable view positions. That is, this system has low structural utilization.
  • FOV Field of View
  • High FOV cameras such as cameras with fisheye lenses, can be considered, but they are not suitable because of severe distortion and significantly lower optical density at the edges of the image.
  • the aforementioned spherical and 1D/2D linear LFs assume one specific plane and construct the LF using light passing through that plane. This single-plane assumption limits scalability.
  • Rayspace360 proposed a structure using two or more planes. Multiple LFs can be connected through shared light acquired in common at physical intersections. Ray-space360 can connect four 1D linear LFs to create a 360-degree view from any viewing position. However, the shared light for connecting two LFs can only be obtained at the physical intersection. The amount of shared light depends on the camera FOV, which can limit the range of renderable view positions.
  • captured image-based virtual reality systems have three degrees of freedom (DoFs), where only rotational user movements can be tracked for view rendering. This can be the main cause of the deterioration of the sense of reality.
  • DoFs degrees of freedom
  • 3DoF+VR system that supports not only rotation but also transformation view change has been proposed.
  • the light field method is suitable for this type of 3DoF + VR because it simply combines lights to render the view from a free viewing position.
  • the existing method has limited scalability because it assumes a single LF for light acquisition and expression.
  • the existing method in order to extend the LF, it is possible to connect several LFs at a physical intersection.
  • these fixed junctions can limit the renderable view range and the layout of multiple LFs.
  • the present disclosure proposes a flexible connection method for multiple LF systems using the continuous luminous intensity of light beams.
  • a flexibly connectable LF system can broaden the range of renderable viewing positions under reasonable camera conditions.
  • the proposed flexibly connectable LF system can broaden the range of renderable view positions under reasonable conditions of camera FOV using the proposed flexible connectivity. Since each LFU has a rectangular structure, multiple FLUs in which a plurality of LFUs are stacked may be implemented in various forms. Such a structure has the advantage of dramatically broadening the scope of view navigation. Through this, the present disclosure can achieve 3DoF+VR with high scalability as well as excellent quality.
  • FIG. 2 is a diagram illustrating a linear plane and light passing through the linear plane according to an embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating a light expressed as a point in LF according to an embodiment of the present disclosure .
  • a 1D or 2D linear structure is most commonly used. Such a structure assumes a single linear plane and represents light passing through the plane.
  • a plane of z 0 is defined.
  • Light passing through a plane can be represented by four parameters: the passing position (x, y) and the vertical and horizontal angles ( ⁇ , ⁇ ). In FIG. 3, it is represented by a dot.
  • a linear light field can be generated using the acquired high-density image set.
  • Light can be easily acquired by arranging multiple cameras in a linear plane or by scanning a single camera along the plane.
  • the spherical/circular LF system acquires light in a 360 degree direction. So you can create a 360 degree view. Both transformation view and rotation view change are allowed, so it can provide 6-DoF results.
  • the older LF was recently demonstrated by Google. Google uses two types of camera gear for acquisition. Two cameras in opposite directions rotate in a sphere or 16 vertically arranged multiple cameras rotate in a circle. When a spherical LF is constructed, a 360-degree view positioned inside the sphere is freely rendered by combining the light of the spherical LF. Unfortunately, however, as the viewing position approaches the spherical plane, we need the light to pass through the plane at a very high angle of incidence. That means a 180-degree camera FOV is needed to completely cover the interior of the spherical structure.
  • Rayspace360 utilizes four linear LFs to provide a 360-degree view that cannot be realized using a single linear LF.
  • Two independent linear LFs are connected using light passing through the physical intersection of adjacent LFs.
  • Four 1D LFs are connected via shared lights at the four junctions, allowing one large LF to be used.
  • Ray-space360 requires light with a high angle of incidence as the viewing position moves closer to the plane.
  • light is represented using seven parameters: 3D coordinates in free space (x, y, z), horizontal and vertical angles ( ⁇ , ⁇ ), wavelength ( ⁇ ), and time (t).
  • 3D coordinates in free space x, y, z
  • ⁇ , ⁇ horizontal and vertical angles
  • ⁇ wavelength
  • t time
  • Light passing through free space is of constant luminosity along the path, so the 5D representation still contains some extra.
  • FTV systems use 4D representation by defining light passing through a point in a plane at horizontal and vertical angles.
  • FIG. 4 is a diagram illustrating a connection between two linear LFs when two linear planes intersect according to an embodiment of the present disclosure. Specifically, FIG. 4 shows an example of two 1D LFs marked with LF linear.
  • two thick black lines are planes through which light passes and constitute the LF line.
  • Each x-axis is the horizontal axis of the plane.
  • Two LF linear have intersection P inter , and the light passing through P inter belongs to both LF linear defined as shared light.
  • the dotted arrow is the view position and the shared light expressed by Equation (1).
  • Equation 1 x a and x b are horizontal axes on the LF linear plane, whereas ⁇ a and ⁇ b represent incident angles of light on both x axes.
  • the shared light goes through the same point at x a and x b .
  • the incident angle of shared light is defined as ⁇ o in LF a linear and ( ⁇ o - ⁇ inter ) in LF b linear.
  • ⁇ inter is determined by the intersection angle, which can be reflected in Equation 1.
  • the correlation between the two LFs is established through the shared light, which can be used as a bridge to utilize multiple LF linear as a single LF linear. This type of connection is made at a fixed physical intersection. Moreover, depending on the viewing position, the required angle of incidence of the shared light can increase dramatically.
  • FIG. 5 is a diagram illustrating a connection between two linear LFs when two linear planes do not intersect according to an embodiment of the present disclosure.
  • the shared light may pass through a certain range of the x-axis. Unlike the shared light in Equation 1, there are several shared lights, and they pass through different points on the X-axis. This shared light defines the correlation between the two LF linear and can be used as a bridge connecting them.
  • this approach can flexibly connect multiple LF linear by selecting some shared light at various points in the plane.
  • L 0 and L 1 light are common points of the two LF linear of FIG. 5 .
  • FIG. 6 is a diagram for explaining the number of shared lights in the LFU structure according to an embodiment of the present disclosure
  • FIG. 7 is a diagram for explaining the relationship between linear LFs in the LFU structure according to an embodiment of the present disclosure.
  • LFU light-field unit
  • the four black lines in FIG. 6 are linear planes for the LF linear configuration. Compared with Ray-space360, the length of the plane is extended in four directions by W. The LF linear obtained from the extended plane can be connected to the adjacent LF linear by applying the proposed flexible connection method.
  • the five dotted arrows in FIG. 6 represent examples of shared light between the front and right LF linear.
  • Five lights can be obtained with an incident angle of + ⁇ /4 at x F0 , x F1 , x F2 , x F3 , x F4 positions of the front x-axis.
  • positions x R0 , x R1 , x R2 , x R3 , and x R4 on the right x-axis exactly the same light is obtained with an incident angle of - ⁇ /4, assuming a constant luminous intensity of light passing in free space.
  • Connection points on the x-axis are increased compared to when using intersection-based connections and are quite flexible.
  • each LF linear 7 shows the ⁇ - x plane of four LF linear. Since the linear plane in each direction assumes 3W and the length of the FOV of 90 degrees, the size of each LF linear is 3W ⁇ ⁇ /2.
  • the bold gray line in the ⁇ - x plane in FIG. 7 represents shared light.
  • the light shared by two adjacent LF linear can be obtained from various positions along the x-axis with an incident angle of + ⁇ /4 or - ⁇ /4.
  • the connection between the LF linear becomes very flexible.
  • the incident angle of the shared light has a fixed value of ⁇ /4. Consequently, the required camera FOV of the proposed LFU can be reduced to 90 degrees. Given a 90-degree FOV that easily meets a typical camera, a 360-degree view can always be rendered from any viewing position in the structure. This is much smaller and more realistic than the 180 degree camera FOV required by the existing LF system.
  • the structural change of the LFU can simplify the rendering process.
  • a rendering operation according to the converted structure will be described with reference to FIGS. 8 and 9 .
  • FIG. 8 is a diagram for explaining an operation of allocating a rendering range in a view position in an LFU rendering process according to an embodiment of the present disclosure.
  • an LFU to which the corresponding view position belongs is selected, and 4 rendering FOVs are allocated in 4 directions (front/rear/left/right) based on the corresponding view position can do.
  • multiple LFUs have a plurality of light fields arranged in a lattice structure, and can be composed of a horizontal light field (LF front , LF back ) and a vertical light field (LF left , LF right).
  • LF front , LF back horizontal light field
  • LF left , LF right vertical light field
  • one LFU has a rectangular shape in the center of the illustrated structure, and the LFU may be composed of a partial area of the upper light field, a partial area of the right light field, a partial area of the lower light field, and a partial area of the left light field. have.
  • a FOV When a FOV is assigned, it selects a shared light from the axis in each direction.
  • the shared lights such as L a , L b , L c , and L d connecting the four LF linear are indicated by dotted arrows.
  • the assigned rendering range for each LF linear is always ⁇ /2 regardless of the viewing position.
  • the LF front area indicated by the dark solid line and the area on the dark solid line of LF right may be connected using the method shown in FIG. 5 .
  • FIG 9 is a view for explaining a light connection form in a view position in the LFU rendering process according to an embodiment of the present disclosure.
  • FIG. 9 a method of selecting a light set for each LF linear to secure a field of view and a method of connecting a light set through a shared light to generate a 360-degree image are shown.
  • the linear plane and the extended length of the camera FOV are complementary in the LFU architecture. If the camera FOV is very large, there is no need to extend the linear plane. Otherwise, a small FOV can be compensated for by increasing the plane length. This relationship will be described below with reference to FIG. 10 .
  • FIG. 10 is a diagram illustrating a relationship between an extended linear plane and a desired length of a camera FOV according to an embodiment of the present disclosure.
  • the extended length of the linear plane is indicated by d.
  • L is obtained from both the front and right linear planes and serves as a shared light connecting the two LF linear.
  • the input FOV ⁇ in required to obtain L can be calculated using Equation (3).
  • Equation 3 W represents the basic length of the linear plane before expansion, while d represents the expanded length. If d is 0, ⁇ in becomes ⁇ , meaning the same system as Ray-space360. When d is extended to W/2, ⁇ in becomes approximately ⁇ /1.4, and when d is extended to W, ⁇ in can reach ⁇ /2. Even if d is greater than W, the required FOV is no longer reduced.
  • a rendering FOV of more than ⁇ /2 must be allocated in all four directions, and the input FOV cannot be smaller than the rendering FOV.
  • d may be set to the maximum value of W.
  • the LFU according to the embodiment of the present disclosure has a rectangular camera structure, so that several LFUs can be easily stacked. In other words, the scale of the experience can be scaled by any desired amount. Such an expansion operation will be described below with reference to FIG. 11 .
  • FIG. 11 is a diagram illustrating a multi-LFU example and a view search scenario according to an embodiment of the present disclosure.
  • FU A , LFU B , LFU C shows an example in which three LFUs are horizontally stacked.
  • the black line represents the linear plane.
  • This example consists of two LF linear in the horizontal direction (LF H0 and LF H1 ) and six LF linear in the vertical direction (LF V0 , LF V1 , LF V2 , LF V3 , LF V4 , LF V5 ).
  • LF V1 and LF V2 can acquire light in opposite directions on the same plane.
  • LF V3 and LF V4 may also share the same plane.
  • LF UA can be composed of four LF linear LF V0 , LF V2 , LF H0 , LF H1 .
  • LF UB may be composed of LF V1 , LF V4 , LF H0 , LF H1
  • LF UC may be composed of LF V3 , LF V5 , LF H0 , LF H1
  • the view range that can render a 360-degree image is the gray area, and the size is 3-W 2 .
  • Multiple LFU stacks can hide extended lengths. Such an LFU structure can be extended in a linear plane longer than that of the Ray-space360 system.
  • arrows in FIG. 11 show trajectories of view positions along points P t0 , P t1 , P t2 , and P t3 .
  • the LFU is selected according to a given viewing position. We can select LF UC at the initial viewing position P t0 and then render a 360-degree image using LF V3 , LF V5 and the right 3/5 parts of LF H0 and LF H1 .
  • the next viewing position P t2 is still in LF UB and the same LF linear can be used.
  • a 360-degree image can be created using the left 3/5 parts of LF V0 , LF V2 and LF H0 and LF H1.
  • FIG. 12 and 13 are diagrams illustrating an example of a multi-LFU structure according to a space according to an embodiment of the present disclosure. Specifically, FIG. 12 is a diagram illustrating a structure for arranging multiple LFU structures to represent a circular space, and FIG. 13 is a diagram illustrating a structure for arranging multiple LFU structures in an atypical form.
  • LFUs can be stacked freely regardless of shape and/or size.
  • multiple LFUs can confirm that a plurality of light fields are arranged in a grid structure.
  • a plurality of horizontal light fields and a plurality of vertical light fields arranged at a predetermined first distance interval may be arranged in a grid structure, and one square in the grid structure may constitute one LFU.
  • each of the four line segments constituting one LFU may be referred to as a light field area.
  • the point of view may be located within the illustrated multi-LFU structure, and when generating a 360 image, it may be generated using a multi-light field unit to which the point of view belongs.
  • the point of view since the point of view can move freely within the illustrated multi-LFU structure, the range of view positions that can be rendered under reasonable conditions of the camera can be widened.
  • a 360 degree image can be created using not only neighboring multiple light fields, but also multiple physically separated light units through a shared light that acts as a bridge. have.
  • the quality of the LF construction through the multiple LFU approach is related to the size of a single LFU, and the small size of a single LFU can reveal a finer edge area.
  • the number of LFUs required to cover the same space will increase.
  • the increase in the amount of LF data will also be significant.
  • FIG. 14 is a diagram for explaining a specific configuration of the processor of FIG. 1 .
  • the light field-based virtual space construction apparatus 1000 may include an LFU selector 1010 , an allocator 1020 , a renderer 1030 , and a virtual space generator 1040 .
  • the light field-based virtual space building device may be the electronic device of FIG. 1 .
  • the LFU selection unit 1010 , the allocator 1020 , the rendering unit 1030 , and the virtual space generation unit 1040 may be configured to perform the steps 210 to 240 of FIG. 16 .
  • the LFU selection unit 1010 selects one LFU from the multiple LFU (Light-Field Unit) structure.
  • the allocator 1020 allocates a rendering field-of-view (FOV) for a plurality of light-fields (LFs) of one selected LFU. Connect multiple LFs without a physical intersection of the linear planes using the constant luminosity of the rays to connect multiple linear planes by selecting some shared light at multiple points in the linear plane.
  • the length of the linear plane is extended in four directions, and the linear LF obtained from the extended plane is connected by selecting some shared lights at a plurality of points on the linear plane.
  • the extended length of the linear plane is extended to the maximum of the basic length of the linear plane before expansion.
  • the rendering unit 1030 independently renders the views for each LF, and the virtual space generating unit 1040 may project, merge, and blend the rendered views.
  • the device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device.
  • the software may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. Included are magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler.
  • 15 is a flowchart illustrating a method of generating a virtual space according to an embodiment of the present disclosure.
  • a multi-LFU (Light-Field Unit) structure in which a plurality of light fields are arranged in a grid structure may be stored (S1510).
  • the generated 360-degree image may be displayed or provided to an external device (S1540).
  • the virtual space creation method according to the present embodiment can easily generate a 360-degree image by using the multi-LFU structure, and through this, it is possible to expand the view search range within the multi-LFU structure.
  • the virtual space creation method according to this embodiment can freely move multiple light field units (LFUs) through a shared light, a connectable LF system can broaden the range of view positions that can be rendered under reasonable conditions of the camera. .
  • the proposed flexibly connectable LF system can broaden the range of renderable view positions under reasonable conditions of camera FOV using the proposed flexible connectivity.
  • LFUs can be easily stacked in a square-shaped structure. This provides the advantage of dramatically broadening the scope of view navigation.
  • the proposed LFU can achieve 3DoF+VR with high scalability as well as excellent quality.
  • the method for generating a virtual space as shown in FIG. 10 may be executed on the electronic device having the configuration of FIG. 1 , and may also be executed on the electronic device having other configurations.
  • the virtual space creation method as described above may be implemented as a program including an executable algorithm that can be executed on a computer, and the above-described program is stored in a non-transitory computer readable medium and provided can be
  • the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device.
  • programs for performing the above-described various methods may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • 16 is a flowchart for specifically explaining an operation of generating a 360-degree image of FIG. 15 .
  • the present disclosure proposes a method to flexibly connect multiple LFs while using the continuous luminosity of light rays in LF theory.
  • LF can be connected by selecting a point from a connectable range rather than a fixed point such as a physical intersection. Instead of increasing the amount of shared light that depends on the camera FOV, we increase the number of connection points. As a result, a flexibly connectable LF system can broaden the view search range under reasonable camera FOV conditions.
  • a concept of flexibly connecting a plurality of LFs without a physical intersection is first proposed.
  • a Light-Field Unit LFU
  • a rectangular LFU that dynamically expands the view search range by stacking multiple LFUs is presented.
  • the proposed stackable light field-based virtual space construction method includes the steps of selecting one LFU in a multiple LFU (Light-Field Unit) structure (210), and rendering for a plurality of LF (Light-Field) for the selected one LFU. Assigning a Field-of-View (FOV) (220), independently rendering the views for each LF (230), and projecting, merging, and blending (240) the rendered views. have.
  • LFU Light-Field Unit
  • LF Light-Field Unit
  • step 210 it is possible to select one LFU from the multiple LFU (Light-Field Unit) structure.
  • step 220 it is possible to allocate a rendering FOV (Field-of-View) for a plurality of LF (Light-Field) with respect to one selected LFU. Specifically, it is possible to connect a plurality of LFs without a physical intersection of the linear planes by using a constant luminosity of a beam to connect multiple linear planes by selecting some shared light at multiple points in the linear plane.
  • FOV Field-of-View
  • the length of the linear plane may be extended in four directions, and the linear LF obtained from the extended plane may be connected by selecting some shared lights at a plurality of points on the linear plane.
  • step 230 the views for each LF are independently rendered, and in step 240, the rendered views can be projected, merged, and blended.
  • a connectable LF system can broaden the range of view positions that can be rendered under reasonable conditions of a camera. Specifically, when there are 1 to N multiple light field units, it is possible to move not only to neighboring multiple light fields through a shared light serving as a bridge, but also to multiple light units that are physically separated.
  • the proposed flexibly connectable LF system can broaden the range of renderable view positions under reasonable conditions of camera FOV using the proposed flexible connectivity.
  • LFUs can be easily stacked in a square-shaped structure. This provides the advantage of dramatically broadening the scope of view navigation.
  • the proposed LFU can achieve 3DoF+VR with high scalability as well as excellent quality.
  • the device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device.
  • the software may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 전자 장치는 복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조가 저장된 메모리, 및 격자 구조 내에 뷰 포지션이 결정되면, 다중 LFU 구조를 이용하여 뷰 포지션을 기준으로 한 360 도 이미지를 생성하는 프로세서를 포함하고, 프로세서는 다중 LFU 구조 중 뷰 포지션이 속한 LFU를 선택하고, 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하고, 선택된 LFU를 구성하는 복수의 라이트 필드와 할당된 FOV에 기초하여 복수의 뷰 이미지를 생성하고, 생성된 복수의 뷰 이미지를 병합하여 360도 이미지를 생성한다.

Description

적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
본 개시는 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치에 관한 것으로, 구체적으로 다중 LF 시스템에 대한 유연한 연결 방식을 제공할 수 있는 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치에 관한 것이다.
다양한 대화형 멀티미디어 기술은 단순한 비디오 시청을 넘어 다양한 경험을 만들어 내기 위해 관심을 받아왔다. 가상현실(Virtual Reality; VR)에 사용되는 인기 있는 360° 파노라마 이미지는 대화형 멀티미디어 시스템의 성공 사례 중 하나로 게임이나 특정 관광 애플리케이션 등 다양한 애플리케이션에 적용된다. 기존 동영상과는 달리 사용자에게 뷰 방향 선택권을 준다.
그러나 광범위한 채택을 촉진하고 대화형 VR 비디오의 경험 품질을 향상시키려면 많은 기술 병목 현상과 과제를 극복해야 한다. 주요 과제 중 하나는 광범위한 뷰 변화를 지원하는 것이다.
기존의 2차원(2D)이나 입체 멀티미디어 시스템(stereoscopic multimedia system)과 달리 자유로운 뷰 내비게이션을 위해서는 새로운 획득과 처리의 프레임워크가 필요하다. 임의의 관점에서 생성되는 뷰는 제한된 획득 장비와 데이터 기능 내에서 쉽고 효과적이어야 한다. VR 영상의 폭넓은 탐색은 몰입감 넘치는 경험을 할수 있게 된다.
MPEG(Moving Picture Experts Group)의 6-DoF 표준화 계획을 포함하여 캡처된 이미지 기반 VR 애플리케이션의 자유도(Degrees of Freedom; DoF)를 높이기 위한 집중적인 연구 노력이 이루어졌다.
여기서 6-DoF는 세 개의 축을 따라 회전 시야 변경과 결합된 x, y, z 축의 관점을 변경할 수 있는 자유도를 나타낸다. 캡처된 이미지 기반 VR 시스템에서 DoF를 늘리는 가장 직관적인 방법은 실제 공간을 그래픽으로 표현하는 것이다. 캡처된 이미지의 3D 모델링을 통해 컴퓨터 그래픽 애플리케이션과 유사하게 6-DoF를 실현할 수 있다. 그러나 이는 높은 계산 복잡성을 요구하며, 이미지나 캡처 환경의 특성에 따라 홀(holes)과 같은 오류 발생 확률을 증가시킨다는 문제점이 있었다.
본 개시가 이루고자 하는 기술적 과제는 LF 이론에서 광선의 지속적인 광도를 이용하여 다중 LF 시스템에 대한 유연한 연결 방식을 제공하는 데 있다. 유연하게 연결 가능한 LF 시스템은 카메라의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓히고, 카메라 FOV의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓히기 위한 방법 및 장치를 제공하고자 한다.
이상과 같은 목적을 달성하기 위한 본 발명에 따른 적층 가능한 라이트필드 기반 가상공간 구축 방법은 다중 LFU(Light-Field Unit) 구조에서 하나의 LFU를 선택하는 단계, 선택된 하나의 LFU에 대하여 복수의 LF(Light-Field)를 위한 렌더링 FOV(Field-of-View)를 할당하는 단계, 각 LF에 대한 뷰를 독립적으로 렌더링하는 단계 및 렌더링된 뷰를 투영하여 병합하고, 블렌딩하는 단계를 포함한다.
각 LF에 대한 뷰를 독립적으로 렌더링하는 단계는 선형 평면의 복수의 지점에서 일부 공유 라이트를 선택하여 다중 선형 평면을 연결하기 위해 광선의 일정한 광도를 사용하여 선형 평면의 물리적 교차점이 아닌 연결 가능한 범위에서 점을 선택하여 복수의 LF를 연결한다.
각 LF에 대한 뷰를 독립적으로 렌더링하는 단계는 선형 평면의 길이를 4방향으로 확장시키고, 확장된 평면으로부터 얻은 선형 LF를 선형 평면의 복수의 지점에서 일부 공유 라이트를 선택하여 연결하며, 필요한 입력 FOV를 감소시킴으로써 캡처된 이미지의 왜곡을 감소시키기 위해 선형 평면의 확장된 길이는 확장 전 선형 평면의 기본 길이의 최대로 확장한다.
다중 LFU 구조는 사각 카메라 구조를 갖는 복수의 LFU의 적층을 통해 모양 및 크기에 관계없이 원형 및 비정형 구조를 포함하는 복수의 형상의 가상공간 구축이 가능하다.
또 다른 일 측면에 있어서, 본 개시에서 제안하는 적층 가능한 라이트필드 기반 가상공간 구축 장치는 다중 LFU(Light-Field Unit) 구조에서 하나의 LFU를 선택하는 LFU 선택부, 선택된 하나의 LFU의 복수의 LF(Light-Field)를 위한 렌더링 FOV(Field-of-View)를 할당하는 할당부, 각 LF에 대한 뷰를 독립적으로 렌더링하는 렌더링부 및 렌더링된 뷰를 투영하여 병합하고, 블렌딩하는 가상공간 생성부를 포함한다.
한편, 본 개시의 일 실시 예에 따른 전자 장치는 복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조가 저장된 메모리, 및 상기 격자 구조 내에 뷰 포지션이 결정되면, 상기 다중 LFU 구조를 이용하여 상기 뷰 포지션을 기준으로 한 360 도 이미지를 생성하는 프로세서를 포함하고, 상기 프로세서는, 상기 다중 LFU 구조 중 상기 뷰 포지션이 속한 LFU를 선택하고, 상기 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하고, 상기 선택된 LFU를 구성하는 복수의 라이트 필드와 상기 할당된 FOV에 기초하여 복수의 뷰 이미지를 생성하고, 상기 생성된 복수의 뷰 이미지를 병합하여 상기 360도 이미지를 생성한다.
이 경우, 상기 다중 LFU 구조는, 상기 복수의 라이트 필드가 구성하는 상기 격자 구조의 외각은 원형 또는 비정형 구조를 가질 수 있다.
한편, 상기 복수의 라이트 필드는, 기설정된 제1 거리 간격으로 배치되는 복수의 수평 라이트 필드 및 복수의 수직 라이트 필드를 포함하며, 상기 다중 LFU(Light-Field Unit) 구조 중 하나의 LFU는, 상기 제1 거리 간격을 길이로 갖는 정사각형 형태일 수 있다.
이 경우, 상기 프로세서는, 상기 선택된 LFU를 구성하는 4개의 라이트 필드 영역과 상기 복수의 라이트 필드 영역 주변에 인접하게 배치되는 8개의 라이트 필드 영역을 이용하여 복수의 뷰 이미지를 생성할 수 있다.
한편, 상기 프로세서는, 상기 할당된 FOV 내에 복수의 라이트 필드가 위치하고 상기 뷰 포지션을 기준으로 상기 복수의 라이트 필드가 공통된 빛 정보를 가지면, 상기 공통된 빛 정보를 기초로 상기 복수의 라이트 필드를 이용하여 하나의 뷰 이미지를 생성할 수 있다.
한편, 상기 프로세서는, 90도 단위로 4개의 렌더링 FOV를 할당하고, 상기 4개의 렌더링 FOV 각각에 대응되는 라이트 필드를 이용하여 4개의 뷰 이미지를 생성할 수 있다.
한편, 상기 프로세서는, 상기 FOV 각각에 대응되는 라이트 필드 중 렌더링 FOV 영역에 대응되는 픽셀 정보를 이용하여 뷰 이미지를 생성할 수 있다.
한편, 상기 프로세서는, 상기 생성된 복수의 뷰 이미지를 투영하여 병합하고, 상기 병합된 뷰 이미지를 블렌딩하여 상기 360도 이미지를 생성할 수 있다.
한편, 본 개시의 다른 실시 예에 다른 가상공간 구축 방법은 복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조 내의 뷰 포지션을 결정하는 단계, 상기 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하는 단계, 상기 복수의 라이트 필드 중 상기 뷰 포지션과 인접하게 배치되는 복수의 라이트 필드와 상기 할당된 렌더링 FOV에 기초하여 복수의 뷰 이미지를 생성하는 단계, 및 상기 생성된 복수의 뷰 이미지를 병합하는 단계를 포함한다.
이 경우, 상기 다중 LFU 구조는, 상기 복수의 라이트 필드가 구성하는 상기 격자 구조의 외각은 원형 또는 비정형 구조를 가질 수 있다.
한편, 상기 복수의 라이트 필드는, 기설정된 제1 거리 간격으로 배치되는 복수의 수평 라이트 필드 및 복수의 수직 라이트 필드를 포함하며, 상기 다중 LFU(Light-Field Unit) 구조 중 하나의 LFU는, 상기 제1 거리 간격을 길이로 갖는 정사각형 형태일 수 있다.
이 경우, 상기 복수의 뷰 이미지를 생성하는 단계는, 상기 선택된 LFU를 구성하는 4개의 라이트 필드 영역과 상기 복수의 라이트 필드 영역 주변에 인접하게 배치되는 8개의 라이트 필드 영역을 이용하여 복수의 뷰 이미지를 생성할 수 있다.
한편, 상기 복수의 뷰 이미지를 생성하는 단계는, 상기 할당된 FOV 내에 복수의 라이트 필드가 위치하고 상기 뷰 포지션을 기준으로 상기 복수의 라이트 필드가 공통된 빛 정보를 가지면, 상기 공통된 빛 정보를 기초로 상기 복수의 라이트 필드를 이용하여 하나의 뷰 이미지를 생성할 수 있다.
한편, 상기 FOV(Field-of-View)를 할당하는 단계는, 90도 단위로 4개의 렌더링 FOV를 할당하고, 상기 복수의 뷰 이미지를 생성하는 단계는, 상기 4개의 렌더링 FOV 각각에 대응되는 라이트 필드를 이용하여 4개의 뷰 이미지를 생성할 수 있다.
한편, 상기 복수의 뷰 이미지를 생성하는 단계는, 상기 FOV 각각에 대응되는 라이트 필드 중 렌더링 FOV 영역에 대응되는 픽셀 정보를 이용하여 뷰 이미지를 생성할 수 있다.
한편, 본 가상공간 구축 방법은 상기 생성된 복수의 뷰 이미지를 투영하여 병합하는 단계, 및 상기 병합된 뷰 이미지를 블렌딩하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 가상공간 구축 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 가상공간 구축 방법은, 복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조 내의 뷰 포지션을 결정하는 단계, 상기 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하는 단계, 상기 복수의 라이트 필드 중 상기 뷰 포지션과 인접하게 배치되는 복수의 라이트 필드와 상기 할당된 렌더링 FOV에 기초하여 복수의 뷰 이미지를 생성하는 단계, 및 상기 생성된 복수의 뷰 이미지를 병합하는 단계를 포함한다.
본 개시의 실시예들에 따르면 LF 이론에서 광선의 지속적인 광도를 이용하여 다중 LF 시스템에 대한 유연한 연결 방식을 제공할 수 있다. 유연하게 연결 가능한 LF 시스템은 카메라의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있고, 카메라 FOV의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. 제안하는 LFU는 사각형 모양의 구조로 쉽게 쌓을 수 있어, 뷰 탐색의 범위를 극적으로 넓힐 수 있는 이점을 제공한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도,
도 2는 본 개시의 일 실시 예에 따른 선형 평면과 상기 선형 평면을 통과하는 라이트를 도시한 도면,
도 3은 본 개시의 일 실시 예에 따른 LF에서 포인트로 표현된 라이트를 도시한 도면,
도 4는 본 개시의 일 실시예에 따른 두 선형 평면이 교차할 때 두 선형 LF 사이의 연결을 나타내는 도면,
도 5는 본 개시의 일 실시예에 따른 두 선형 평면이 교차하지 않을 때 두 선형 LF 사이의 연결을 나타내는 도면,
도 6은 본 개시의 일 실시 예에 따른 LFU 구조에서 공유된 라이트 수를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 LFU 구조에서 선형 LF들의 관계를 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 LFU 렌더링 과정에서 뷰 포지션에서의 랜더링 범위 할당 동작을 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 LFU 렌더링 과정에서 뷰 포지션에서 라이트 연결 형태를 설명하기 위한 도면,
도 10은 본 개시의 일 실시예에 따른 확장된 선형 평면과 원하는 카메라 FOV의 길이 사이의 관계를 나타내는 도면,
도 11은 본 개시의 일 실시예에 따른 다중 LFU 예시와 뷰 탐색 시나리오를 나타내는 도면,
도 12 및 도 13은 본 개시의 일 실시예에 따른 공간에 따른 다중 LFU 구조의 예를 도시한 도면,
도 14는 도 1의 프로세서의 구체적인 구성을 설명하기 위한 도면,
도 15는 본 개시의 일 실시 예에 따른 가상공간 생성 방법을 설명하기 위한 흐름도, 그리고
도 16은 도 15의 360도 이미지를 생성하는 동작을 구체적으로 설명하기 위한 흐름도이다.
-
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도이다.
도 1을 참조하면, 전자 장치(100)는 통신 장치(110), 메모리(120), 디스플레이(130), 조작 입력 장치(140) 및 프로세서(150)로 구성될 수 있다. 여기서 전자 장치(100)는 이미지 프로세싱 가능한 PC, 노트북 PC, 스마트폰, 서버 등일 수 있다.
통신 장치(110)는 외부 장치와 연결되면, 라이트 필드에 대한 정보 또는 다중 LFU 구조를 송수신할 수 있다. 구체적으로, 통신 장치(110)는 전자 장치(100)를 외부 장치와 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 모바일 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트를 통하여 접속되는 형태도 가능하다.
여기서, 라이트 필드(Light Field)는 선형 평면을 통과하는 광의 특성이 기술된 정보로, 라이트 필드 생성이 가능한 카메라를 일 방향으로 이동하여 생성한 선형 라이트 필드일 수 있다. 라이트 필드의 보다 구체적인 내용은 도 2 및 도 3을 참조하여 후술한다.
그리고 다중 LFU 구조는 복수의 라이트 필드가 격자 구조로 배치되는 구조로, 해당 격자 구조의 외각은 원형 또는 비정형 구조를 가질 수 있다. 여기서 복수의 라이트 필드는 제1 거리 간격으로 배치되는 복수의 수평 라이트 필드와 복수의 수직 라이트 필드로 구성될 수 있으며, 격자 구조 내의 정사각형 형태가 하나의 LFU로 지칭될 수 있다. 다중 LFU 구조의 구체적인 형태는 도 12 및 도 13을 참조하여 후술한다.
통신 장치(110)는 유선 방식뿐만 아니라, 공용 인터넷망에 연결되는 라우터 또는 공유기를 경유하여 다른 전자 장치에 연결될 수 있으며, 라우터 또는 공유기와는 유선 방식뿐만 아니라 와이파이, 블루투스, 셀룰러 통신 등의 무선 방식으로도 연결될 수 있다.
그리고 통신 장치(110)는 생성한 360도 이미지를 외부 장치에 전송할 수 있다. 이때, 통신 장치(110)는 생성한 360도 이미지를 그대로 전송할 수도 있으며, 360도 이미지 중 사용자의 뷰 방향에 대응되는 이미지 영역만을 전송할 수도 있다. 여기서 외부 장치는 VR 기기, 디스플레이 장치, 서버 등일 수 있다.
그리고 통신 장치(110)는 외부 장치로부터 뷰 포지션 및 뷰 방향에 대한 정보를 수신할 수 있다. 이 경우, 외부 장치는 VR 기기 또는 사용자의 위치를 감지할 수 있는 센서 장치 등일 수 있다.
메모리(120)는 전자 장치(100)를 구동하기 위한 O/S나 360 도 이미지를 생성하기 위한 소프트웨어, 데이터 등을 저장하기 위한 구성요소이다. 메모리(120)는 RAM이나 ROM, 플래시 메모리, HDD, 외장 메모리, 메모리 카드 등과 같은 다양한 형태로 구현될 수 있으며, 어느 하나로 한정되는 것은 아니다.
메모리(120)는 원형 또는 비정형 공간에 대한 다중 LFU 구조에 대한 정보를 저장할 수 있다. 그리고 메모리(120)는 후술한 과정에서 생성된 복수의 뷰 이미지 및/또는 360도 이미지를 저장할 수 있다.
디스플레이(130)는 전자 장치(100)가 지원하는 기능을 선택받기 위한 사용자 인터페이스 창을 표시한다. 구체적으로, 디스플레이(130)는 전자 장치(100)가 제공하는 각종 기능을 선택받기 위한 사용자 인터페이스 창을 표시할 수 있다. 이러한 디스플레이(130)는 LCD, CRT, OLED 등과 같은 모니터일 수 있으며, 후술할 조작 입력 장치(140)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
디스플레이(130)는 후술하는 과정에서 생성한 360도 이미지를 표시할 수 있다. 이때, 디스플레이(130)는 생성한 360도 이미지 그 자체를 표시하거나, 현재 사용자 뷰 포인트에 대응되는 360도 이미지 내의 일정 영역만을 표시할 수도 있다.
조작 입력 장치(140)는 사용자로부터 전자 장치(100)의 기능 선택 및 해당 기능에 대한 제어 명령을 입력받을 수 있다. 구체적으로, 조작 입력 장치(140)는 사용자의 뷰 방향 등에 대한 정보를 입력받을 수 있다. 이러한 조작 입력 장치(140)는 상술한 디스플레이(130) 장치와 결합되어 하나의 장치, 예를 들어, 머리 착용 디스플레이와 같은 장치로 구성될 수 있으며, 사용자가 바라보는 방향 또는 위치에 대한 정보를 센싱 또는 입력 받을 수 있다.
프로세서(150)는 전자 장치(100) 내의 각 구성에 대한 제어를 수행한다. 구체적으로, 프로세서(150)는 사용자로부터 부팅 명령이 입력되면, 메모리(120)에 저장된 운영체제를 이용하여 부팅을 수행할 수 있다. 이러한 프로세서(150)는 CPU(central processing unit), ASIC(application-specific integrated circuit)과 같은 단일 장치로 구성될 수 있으며, CPU, GPU(Graphics Processing Unit) 등의 복수의 장치로 구성될 수도 있다.
프로세서(150)는 뷰 포지션을 결정한다. 구체적으로, 전자 장치(100)가 VR 기기인 경우, 프로세서(150)는 현재 VR 기기의 위치에 기초하여 뷰 포지션을 결정할 수 있다. 만약, 전자 장치(100)가 VR 기기와 연결되어 동작하는 경우, VR 기기로부터 수신되는 위치 정보에 기초하여 뷰 포지션을 결정할 수 있다. 이러한 뷰 포지션은 다중 LFU 구조로 정의되는 공간 내의 특정 위치일 수 있다.
프로세서(150)는 뷰 포지션이 결정되면 저장된 다중 LFU 구조를 이용하여 뷰 포지션을 기준으로 한 360도 이미지를 생성할 수 있다.
구체적으로, 프로세서(150)는 뷰 포지션이 결정되면, 다중 LFU 구조 중 뷰 포지션이 속한 LFU를 선택할 수 있다. 예를 들어, 도 12 또는 도 13과 같은 다중 LFU 구조(1200, 1300) 내에서 기준 위치를 결정하고, 해당 기준 위치가 속한 LFU를 선택할 수 있다.
그리고 프로세서(150)는 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당할 수 있다. 구체적으로, 프로세서(150)는 90도 단위로 4개의 렌더링 FOV를 할당할 수 있다. 예를 들어, 뷰 포지션을 기준으로 전방 방향/후방 방향/좌측 방향/우측 방향으로 구성되는 4개의 렌더링 FOV를 할당할 수 있다. 이러한 할당 동작의 구체적인 내용은 도 8을 참조하여 후술한다.
그리고 프로세서(150)는 선택된 LFU를 구성하는 복수의 라이트 필드와 상기 할당된 FOV에 기초하여 복수의 뷰 이미지를 생성할 수 있다. 구체적으로, 프로세서(150)는 선택된 LFU를 구성하는 4개의 라이트 필드 영역과 복수의 라이트 필드 영역 주변에 인접하게 배치되는 8개의 라이트 필드 영역을 이용하여 복수의 뷰 이미지를 생성할 수 있다. 이때, 프로세서(150)는 하나의 렌더링 FOV에 복수의 라이트 필드가 이용되는 경우, 복수의 라이트 필드의 공통된 빛 정보를 기초로 복수의 라이트 필드를 연결하여 하나의 뷰 이미지를 생성할 수 있다. 이와 같은 동작에 대해서는 도 4 및 도 5를 참조하여 후술한다.
그리고 프로세서(150)는 생성된 복수의 뷰 이미지를 병합하여 상기 360도 이미지를 생성한다. 예를 들어, 프로세서(150)는 생성된 복수의 뷰 이미지 각각을 투영하여 병합하고, 병합된 뷰 이미지를 블렌딩하여 360도 이미지를 생성할 수 있다.
이상과 같이 본 개시에 따른 전자 장치(100)는 다중 LFU 구조를 이용하여 손쉽게 360도 이미지를 생성할 수 있으며, 이를 통하여 다중 LFU 구조 내의 뷰 탐색 범위를 넓힐 수 있다.
한편, 도 1을 도시하고 설명함에 있어서, 전자 장치(100)가 다수의 구성을 포함하는 것으로 도시하고 설명하였지만, 구현시에 도시된 구성 중 일부는 생략될 수 있다. 또한, 전자 장치(100)가 VR 기기로 구현되는 경우에는 사용자의 위치 및 사용자의 뷰 방향을 감지하기 위한 센서 등의 장치를 더 포함할 수도 있다.
이하에서는 라이트 필드 방식을 이용하여 가상공간 구축 동작에 대해서 자세히 설명한다.
라이트 필드(Light Field; LF) 방식은 DoF의 수를 늘리는 데 사용할 수 있는 접근법이다. LF 기반 VR 시스템에서는 자유 공간의 빛을 조밀하게 획득하고 가상의 관점에서는 빛의 조합을 통해 빛을 렌더링한다. 3D 모델링과 달리 정확한 기하학적 정보를 얻기 위해 복잡한 계산이 필요하지 않다.
LF의 뷰는 이론적으로 빛의 조합이지만 실제 렌더링은 해당 캡처된 픽셀을 사용한다. 따라서 렌더링된 뷰는 매우 사실적이다. 자유 뷰포인트 TV(Free-viewpoint TV; FTV)는 x, y, z축의 변환 뷰 변경이 지원되는 1D 또는 2D 선형 카메라 어레이 구조를 이용한 LF 시스템을 제안했다. 그러나 단방향 카메라의 배열로 인해 회전 뷰 변경은 허용되지 않으며, 이 시스템은 360도 이미지를 생성할 수도 없다.
구형 LF 시스템은 원이나 구의 형태로 여러 대의 카메라를 배치하여 6-DoF 위치 추적을 가능하게 한다. 구형-LF 기반 VR 시스템은 최근 Google TM에 의해 입증되었다. 그러나 구형 구조물 내의 모든 뷰 위치에서 완전한 360도 시야를 생성하려면 180도의 높은 카메라 FOV(Field of View)가 필요하다. 180도보다 작은 FOV를 적용하면 렌더링 가능한 뷰 위치의 범위가 감소한다. 즉, 이 시스템은 구조 활용도가 낮다.
어안(fisheye)렌즈를 장착한 카메라 등 고 FOV 카메라를 고려할 수 있지만 왜곡이 심각하고 이미지 가장자리 광밀도가 현저히 낮아져 적절하지 않다. 앞서 언급한 구형 및 1D/2D 선형 LF는 특정 평면을 하나의 가정하고 해당 평면을 통과하는 빛을 사용하여 LF를 구성한다. 이러한 단일 평면 가정은 확장성을 제한한다.
평면을 통과하지 않는 빛은 평면의 크기가 얼마나 커지든 상관없이 획득할 수 없다. 이 문제에 대처하기 위해, Rayspace360은 두 개 이상의 평면을 사용하는 구조를 제안했다. 다수의 LF는 물리적 교차점에서 공통적으로 획득한 공유 빛을 통해 연결될 수 있다. Ray-space360은 4개의 1D 선형 LF를 연결하여 임의 뷰 위치에서 360도 뷰를 생성할 수 있다. 그러나 두 개의 LF 연결을 위한 공유 빛은 물리적 교차점에서만 얻을 수 있다. 공유 빛의 양은 렌더링 가능한 뷰 위치의 범위를 제한할 수 있는 카메라 FOV에 따라 달라진다.
일반적으로 캡처된 이미지 기반 가상현실 시스템에는 3가지 자유도(DoFs)가 있으며, 여기서 뷰(view) 렌더링을 위해 회전 사용자 움직임만 추적될 수 있다. 이는 현실 감각이 저하되는 주요 원인이 될 수 있다.
실제 세계와 유사한 사용자 몰입도를 높이기 위해 회전뿐만 아니라 변환 뷰 변경을 지원하는 3DoF+VR 시스템이 제안되었다. 라이트 필드 방식은 단순히 라이트를 조합해 자유로운 뷰 위치에서 뷰를 렌더링하기 때문에 이런 타입의 3DoF + VR에 적합하다.
그러나 기존의 방식은 라이트의 획득과 표현을 위해 단일 LF를 가정하기 때문에 확장성이 제한적이었다. 한편, LF를 확장하기 위하여, 물리적 교차점에서 여러 개의 LF를 연결할 수 있다. 그러나 이러한 고정 연결점은 렌더링 가능한 뷰 범위와 여러 LF의 레이아웃을 제한할 수 있다.
또한, 기존의 단일 또는 다중 LF 시스템에서, 뷰 위치의 표현 가능한 범위는 사용되는 카메라의 입력 관측 뷰에 크게 의존한다. 넓은 뷰 탐색 범위를 실현하기 위해서는 위에서 언급한 한계를 극복해야 한다.
이러한 한계를 극복하기 위하여, 본 개시에서는 광선의 지속적인 광도를 이용하여 다중 LF 시스템에 대한 유연한 연결 방식을 제안한다.
유연하게 연결 가능한 LF 시스템은 카메라의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. 제안된 유연하게 연결 가능한 LF 시스템은 제안된 유연한 연결을 사용하는 카메라 FOV의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. 각 LFU는 사각형 모양의 구조를 갖는바, 복수의 LFU가 쌓이게 되는 다중 FLU는 다양한 형태로 구현될 수 있다. 이와 같은 구조는 뷰 탐색의 범위를 극적으로 넓힐 수 있는 이점이 있다. 이를 통하여 본 개시는 우수한 품질은 물론 높은 확장성으로 3DoF+VR을 달성할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 선형 평면과 상기 선형 평면을 통과하는 라이트를 도시한 도면이고, 도 3은 본 개시의 일 실시 예에 따른 LF에서 포인트로 표현된 라이트를 도시한 도면이다.
도 2 및 도 3을 참조하면, 라이트 필드를 나타내기 위해, 1D 또는 2D 선형 구조가 가장 일반적으로 사용된다. 이와 같은 구조는 단일 선형 평면을 가정하고 평면을 통과하는 빛을 나타낸다. 도 2에서 z = 0의 평면을 정의한다. 평면을 통과하는 빛은 통과 위치(x, y)와 수직 및 수평 각도(θ, φ)의 네 가지 변수로 표시될 수 있다. 도 3에서는 점으로 표현된다.
획득한 고밀도 이미지 집합을 이용하여 선형 라이트 필드를 생성할 수 있다. 특히 1D 선형 LF는 수직 시차를 무시하여 빛 표현을 단순화하는 것이 가능하다. 빛은 선형 평면에 여러 대의 카메라를 배열하거나 평면을 따라 한 대의 카메라를 스캔하여 쉽게 획득할 수 있다.
이러한 유형의 1D 또는 2D LF 접근법은 주로 작은 기준선으로 LF를 기반으로 하는 슈퍼해상도, 깊이 추정(depth estimation), 재집중(refocusing) 등 다양한 분야에서 광범위하게 사용되고 있다. 그러나 선형 LF는 한 방향의 빛으로 구성되기 때문에 회전 운동을 반영하는 뷰는 생성될 수 없다. 이 때문에 VR 애플리케이션에는 이 방식만을 이용하기 어려운 점이 있다.
선형 LF와 달리 구형/원형 LF 시스템은 360도 방향에서 빛을 획득한다. 그래서 360도 뷰를 만들 수 있다. 변환 보기와 회전 보기 변경이 모두 허용되므로 6-DoF 결과를 제공할 수 있다. 구형 LF는 최근 구글에 의해 입증되었다. 구글은 두 종류의 카메라 장비를 획득용으로 사용한다. 반대 방향에 있는 두 대의 카메라가 구의 형태로 회전하거나 수직으로 배열된 16대의 다중 카메라가 원을 그리며 회전한다. 구형 LF가 구성되면 구형 내부 위치에 있는 360도 뷰는 구형 LF의 빛을 조합해 자유롭게 렌더링된다. 그러나 불행하게도 뷰 위치가 구형 평면에 가까워짐에 따라 매우 높은 입사각으로 평면을 통과하는 빛이 필요하다. 구형 구조의 내부를 완전히 덮으려면 180도 카메라 FOV가 필요하다는 뜻이다.
1D/2D 선형 LF와 구형/원형 LF 접근방식은 단일 LF를 가정하는 반면, Rayspace360은 4개의 선형 LF를 활용하여 단일 선형 LF를 사용하여 실현할 수 없는 360도 뷰를 제공한다. 두 개의 독립적인 선형 LF는 인접한 LF의 물리적 교차점을 통과하는 빛을 사용하여 연결된다. 4개 교차점에서 공유 빛을 통해 4개의 1D LF가 연결되어 하나의 대형 LF를 사용할 수 있다. 구형 LF와 마찬가지로, Ray-space360은 뷰 위치가 평면에 더 가깝게 이동할 때 입사각이 높은 빛을 필요로 한다.
LF에서 빛(light)은 자유 공간(x, y, z), 수평 및 수직 각도(θ, Φ), 파장(λ), 시간(t)에서 3D 좌표의 7개 매개변수를 사용하여 표현된다. 일반적으로 프레임에서 픽셀 값을 사용해 시간과 파장 파라미터를 무시할 수 있어 5D 표현이 가능하다. 자유 공간을 통과하는 빛은 경로를 따라 일정한 광도여서 5D 표현은 여전히 약간의 여분을 포함하고 있다. FTV 시스템은 수평 및 수직 각도로 평면의 한 지점을 통과하는 빛을 정의함으로써 4D 표현을 사용한다.
단순화된 4D 표현은 실용적인 이유로 가장 일반적으로 채택되는 구현이며, 1D/2D 선형 LF와 구형/원형 LF가 가장 대표적인 예다. 이러한 LF는 각각 특정 평면, 1D/2D 선형 LF를 위한 선형 평면 및 구형/원형 LF를 위한 구형/원형 평면을 가정하고, 평면의 빛 입사 표현을 정의한다. 구체적으로 가정된 평면은 빛 표현과 카메라 배치를 단순화하지만 확장성의 한계가 있다. 평면의 크기를 늘림으로써 실현 가능한 빛의 양을 증가시키지만 평면을 통과하지 않는 LF를 구성하는 것은 불가능해진다.
이 문제를 해결하려면 여러 LF의 연결이 필요하다. 여러 LF를 연결하는 가장 직관적인 방법은 겹치는 픽셀 영역을 사용하여 이미지 스티칭에서 영감을 받은 공통 빛을 활용하는 것이다. 이하에서는 도 4를 참조하여, 공통 빛을 활용하는 방법에 대해서 설명한다.
도 4는 본 개시의 일 실시예에 따른 두 선형 평면이 교차할 때 두 선형 LF 사이의 연결을 나타내는 도면이다. 구체적으로, 도 4는 LF 선형으로 표시된 두 개의 1D LF의 예가 도시된다.
도 4를 참조하면, 두 개의 두꺼운 검은색 선은 빛을 통과하는 평면이며 LF 선형을 구성한다. 각 x축은 평면의 수평축이다. 두 개의 LF linear에는 교차점인 P inter가 있으며, P inter를 통과하는 빛은 공유 빛으로 정의되는 양쪽 LF linear에 속한다. 점선 화살표는 수학식 1로 표현되는 뷰 위치와 공유 빛이다.
<수학식 1>
Figure PCTKR2020010673-appb-img-000001
수학식 1에서 x a와 x b는 LF 선형의 평면에 있는 수평 축인 반면, θ a와 θ b는 마찬가지로 두 x축에 있는 빛의 입사각을 나타낸다. 공유된 빛은 x a와 x b에서 같은 지점을 통과한다.
공유 빛의 입사각은 LF a linear에서는 θ o으로 정의되고 LF b linear에서는 ( θ o- θ inter)로 정의된다. 여기서 θ inter는 교차점 각도에 의해 결정되며, 이는 수학식 1에 반영될 수 있다.
두 LF의 상관관계는 공유 빛을 통해 확립되며, 이는 다중 LF linear를 단일 LF linear로 활용하기 위한 브리지(bridge)로 사용될 수 있다. 이러한 유형의 연결은 고정된 물리적 교차점에서 이루어진다. 더욱이, 뷰 위치에 따라, 공유 빛의 필요한 입사각이 극적으로 증가할 수 있다.
한편, LF 이론에서 광선의 일정한 광도를 적극적으로 사용하면 해당 평면이 물리적으로 교차하지 않더라도 복수의 LF를 연결할 수 있다. 이와 같은 동작에 대해서는 도 5를 참조하여 이하에서 설명한다.
도 5는 본 개시의 일 실시예에 따른 두 선형 평면이 교차하지 않을 때 두 선형 LF 사이의 연결을 나타내는 도면이다.
도 5를 참조하면, 물리적 연결 없는 두개의 LF linear의 예를 도시되어 있다. 그러나 빛의 경로에서 얻은 같은 빛은 두 개의 LF linear를 연결하는 공유 빛의 역할을 한다. 도 5의 뷰 위치에 있는 공유 빛 집합은 수학식 2로 표시될 수 있다.
<수학식 2>
Figure PCTKR2020010673-appb-img-000002
수학식 2와 같이 공유된 빛은 x축의 일정 범위를 통과할 수 있다. 수학식 1 에서 공유된 빛과 달리 여러 개의 공유 빛이 있으며, X축에서 다른 지점을 통과한다. 이러한 공유 빛은 두 LF linear 사이의 상관관계를 정의하며 이들을 연결하는 브리지로 사용할 수 있다.
도 4에서 설명한 방식과 달리, 이 접근방식은 평면의 다양한 지점에서 일부 공유 빛을 선택하여 다중 LF linear를 유연하게 연결할 수 있다.
이 전략은 입사각이 높아야 하는 인접 공유 빛 대신 원거리 공유 빛을 사용할 수 있게 한다. 예를 들어, L 0과 L 1 빛은 도 5의 두 LF linear의 공유점이다.
L 1의 두 위치의 거리가 L 0보다 가까운 반면, L 0의 입사각은 L 1보다 낮다. L 1 대신 L 0를 공유 빛으로 선택하면 카메라 FOV의 부담이 줄어든다. 따라서 카메라 FOV에 대한 의존도가 크게 낮아질 수 있다. 또한, LFlinear가 물리적으로 인접해야 한다는 조건 또한 완화될 수 있다.
도 6은 본 개시의 일 실시 예에 따른 LFU 구조에서 공유된 라이트 수를 설명하기 위한 도면이고, 도 7은 본 개시의 일 실시 예에 따른 LFU 구조에서 선형 LF들의 관계를 설명하기 위한 도면이다.
도 6 및 도 7을 참조하면, 제안된 유연한 연결 방식으로 인해, LF 연결에 사용할 수 있는 다수의 공유 빛 후보가 있다. 이를 바탕으로 라이트 필드 유닛(Light-Field Unit; LFU)을 구현할 수 있다. LFU는 단순화된 2D 표현 방식에 따라 4개의 LF linear를 가정한다.
도 6의 4 개의 검은색 선은 LF linear 구성을 위한 선형 평면이다. Ray-space360과 비교했을 때, 평면의 길이는 W에 의해 4방향으로 확장된다. 확장된 평면으로부터 얻은 LF linear는 제안된 유연한 연결 방식을 적용하여 인접 LF linear와 연결할 수 있다.
도 6의 다섯 개의 점선 화살표는 전면과 우측 LF linear 사이의 공유 빛의 예를 나타낸다. 전면 x축의 x F0, x F1, x F2, x F3, x F4 위치에서 입사각 +π/4 로 5개의 빛을 획득할 수 있다. 오른쪽 x축의 x R0, x R1, x R2, x R3, x R4 위치에서, 정확하게 동일한 빛이 자유 공간에서 통과하는 빛의 일정한 광도를 가정하여 입사각 -π/4로 획득된다. x축의 연결점은 교차점 기반 연결을 사용할 때와 비교하여 증가되고 상당히 유연하다.
도 7은 4개의 LF linear의 θ-x 평면을 나타낸다. 각 방향의 선형 평면은 3W와 FOV의 길이를 90도로 가정하기 때문에 각 LF linear의 크기는 3W × π/2이다.
도 7의 θ-x 평면에 있는 굵은 회색 선은 공유 빛을 나타낸다. 인접한 두 LF linear가 공유하는 빛은 입사각 +π/4 또는 -π/4의 x축의 다양한 위치에서 얻을 수 있다.
공유된 빛이 다양한 지점에서 획득됨에 따라 LF linear 사이의 연결은 매우 유연해진다. 더욱이, 그러한 유연한 연결을 감안하여, 공유 빛의 입사각은 ±π/4의 고정값을 갖는다. 결과적으로, 제안된 LFU의 필요 카메라 FOV는 90도로 감소할 수 있다. 일반적인 카메라와 쉽게 만나는 90도의 FOV가 제공되면, 구조의 모든 뷰 위치에서 항상 360도 뷰를 렌더링할 수 있다. 이는 기존 LF 시스템이 요구하는 카메라 FOV의 180도보다 훨씬 작고 현실적이다.
이상과 같이 LFU의 구조적 변화는 렌더링 프로세스를 단순화할 수 있다. 이하에서는 도 8 및 도 9를 참조하여 변환된 구조에 따른 렌더링 동작을 설명한다.
도 8은 본 개시의 일 실시 예에 따른 LFU 렌더링 과정에서 뷰 포지션에서의 랜더링 범위 할당 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 임의 뷰 위치 P 0이 주어지면, 해당 뷰 위치가 속한 LFU를 선택하고, 해당 뷰 위치를 기준으로 4개의 방향(전방/후방/좌측/우측)으로 4개의 렌더링 FOV를 할당할 수 있다.
구체적으로, 다중 LFU는 도시된 바와 같이 복수의 라이트 필드가 격자 구조로 배치되며, 수평 방향의 라이트 필드(LF front, LF back)와 수직 방향의 라이트 필드(LF left, LF right)로 구성될 수 있다. 이때, 하나의 LFU는 도시된 구조의 중앙의 사각 형태이고, 해당 LFU는 상부 라이트 필드의 일부 영역, 우측 라이트 필드의 일부 영역, 하부 라이트 필드의 일부 영역 및 좌측 라이트 필드의 일부 영역으로 구성될 수 있다.
한편, 90도의 FOV가 제공하기 위하여, 하나의 LFU를 구성하는 4개의 라이트 필드 영역뿐만 아니라, 해당 라이트 필드와 인접하게 배치되는 8개의 라이트 필드 영역이 도시된 바와 같이 함께 이용될 수 있다.
FOV가 할당되면, 각 방향의 축으로부터 공유 빛을 선택한다. 4개의 LF linear를 연결하는 L a, L b, L c, L d 등 공유 빛은 점선 화살표로 표시된다. 각 LF linear에 대해 할당된 렌더링 범위는 뷰 위치와 관계없이 항상 π/2이다.
예를 들어, 전면 방향에 대해서는 진한 실선으로 표시된 LF front 영역과 LF right의 진한 실선 위에 영역을 도 5와 같은 방식을 이용하여 연결할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 LFU 렌더링 과정에서 뷰 포지션에서 라이트 연결 형태를 설명하기 위한 도면이다.
도 9를 참조하면, 시야 확보를 위해 각 LF linear에 대해 빛 집합을 선택하는 방법과 360도 이미지를 생성하기 위해 공유 빛을 통해 빛 집합을 연결하는 방법을 보여준다.
선형 평면과 카메라 FOV의 확장 길이는 LFU 구조에서 보완적이다. 카메라 FOV가 매우 크면 선형 평면을 확장할 필요가 없다. 그렇지 않으면, 작은 FOV는 평면 길이를 늘여 보상받을 수 있다. 이 관계에 대해서는 도 10을 참조하여 이하에서 설명한다.
도 10은 본 개시의 일 실시예에 따른 확장된 선형 평면과 원하는 카메라 FOV의 길이 사이의 관계를 나타내는 도면이다.
도 10을 참조하면, 선형 평면의 확장 길이는 d로 표시된다. 뷰 위치 P0에서 빛 L이 필요하다고 가정한다. LFU의 확장된 구조에서 L은 전면과 우측 선형 평면에서 모두 얻으며 두 개의 LF linear를 연결하는 공유 빛 역할을 한다. L을 얻기 위해 필요한 입력 FOV θ in은 수학식 3을 사용하여 계산할 수 있다.
<수학식 3>
Figure PCTKR2020010673-appb-img-000003
수학식 3에서 W는 확장 전 선형 평면의 기본 길이를 나타내는 반면, d는 확장된 길이를 나타낸다. d가 0이면 θ in은 π가 되어 Ray-space360과 동일한 시스템을 의미한다. d가 W/2로 확장되면 θ in은 대략 π/1.4가 되고, W로 확장되면 θ in은 π/2에 이를 수 있다. d가 W보다 크더라도 필요한 FOV는 더 이상 줄어들지 않는다.
사각형 구조로 360도 이미지를 구성하려면 π/2 이상의 렌더링 FOV를 4방향으로 모두 할당해야 하며 입력 FOV는 렌더링 FOV보다 작을 수 없다. 본 개시에서 d는 W의 최대값으로 설정할 수 있다.
이러한 이유는 첫째, 필요한 입력 FOV를 줄임으로써 캡처된 이미지의 왜곡을 최소화하기 위함이다. 둘째, 확장된 선형 평면은 다중 LFU 구조에서 숨길 수 있으므로 카메라 추가에 따른 부담이 없어진다.
기존의 LF 시스템에서는 뷰 탐색 범위가 제한된다. 이는 능동적인 경험을 제공하려고 시도할 때 그러한 시스템의 사용을 복잡하게 한다. 그러나 본 개시의 실시예에 따른 LFU는 사각 카메라 구조로 되어 있어 여러 개의 LFU를 쉽게 쌓을 수 있다. 즉, 경험의 규모는 원하는 양만큼 확장할 수 있다. 이와 같은 확장 동작에 대해서는 도 11을 참조하여 이하에서 설명한다.
도 11은 본 개시의 일 실시예에 따른 다중 LFU 예시와 뷰 탐색 시나리오를 나타내는 도면이다.
도 11을 참조하면, FU A, LFU B, LFU C 등 3개의 LFU가 수평으로 쌓여 있는 예를 보여준다. 검은색 선은 선형 평면을 나타낸다.
이 예는 수평 방향의 두 개의 LF linear(LF H0과 LF H1) 및 수직 방향의 6개의 LF linear(LF V0, LF V1, LF V2, LF V3, LF V4, LF V5)로 구성된다.
LF V1과 LF V2는 동일한 평면에서 반대 방향으로 빛을 획득할 수 있다. LF V3와 LF V4도 동일한 평면을 공유할 수 있다. LF UA는 LF V0, LF V2, LF H0, LF H1의 4개의 LF linear로 구성될 수 있다.
같은 방식으로 LF UB는 LF V1, LF V4, LF H0, LF H1로 구성되며, LF UC는 LF V3, LF V5, LF H0, LF H1로 구성될 수 있다. 이 구조에서 360도 이미지를 렌더링할 수 있는 뷰 범위는 회색 영역으로, 크기는 3-W 2 가 된다. 다중 LFU 쌓기는 확장된 길이를 숨길 수 있다. 이와 같은 LFU 구조는 Ray-space360 시스템의 구조보다 더 긴 선형 평면의 확장이 가능하다.
한편, 도 11에서 3개의 LFU는 LF H0과 LF H1을 공유한다. 이와 같이 다중 LFU 구조를 채택할 경우, 선형 평면의 필요 길이는 3·3W·4 = 36 W 대신에 수직으로 3 W·6 = 18 W 및 수평으로 5 W·2 = 10 W 가 된다. 즉, 수평과 수직으로 쌓이는 LFU가 많아짐에 따라 확장된 선형 평면의 부담이 크게 줄어들게 된다.
한편, 도 11에서 화살표는 P t0, P t1, P t2, P t3 지점을 따라 뷰 위치의 궤적을 보여준다.
LFU는 주어진 뷰 위치에 따라 선택된다. 초기 뷰 위치 P t0에서 LF UC를 선택한 다음 LF V3, LF V5 및 LF H0와 LF H1의 오른쪽 3/5 부분을 사용하여 360도 이미지를 렌더링할 수 있다.
다음으로, 뷰 위치가 좌측으로 이동하여 LF UB 구조에서 P t1 지점에 위치한다고 가정하고, LF V1, LF V4 및 LF H0와 LF H1의 중간 3/5 부분을 렌더링에 사용할 수 있다.
다음 보기 위치 P t2는 여전히 LF UB에 있으며 동일한 LF linear가 사용될 수 있다. LF UA의 마지막 보기위치 P t3에서는 LF V0, LF V2 및 LF H0와 LF H1의 왼쪽 3/5 부분을 사용하여 360도 이미지를 생성할 수 있다.
도 12 및 도 13은 본 개시의 일 실시예에 따른 공간에 따른 다중 LFU 구조의 예를 도시한 도면이다. 구체적으로, 도 12는 원형 공간을 나타내기 위하여 다중 LFU 구조를 배치하는 구조를 도시한 도면이고, 도 13은 비정형 형태로 다중 LFU 구조를 배치한 구조를 도시한 도면이다.
도 12 및 도 13을 참조하면, LFU는 모양 및/또는 크기에 관계없이 자유롭게 쌓을 수 있다.
그리고 다중 LFU는 복수의 라이트 필드가 격자 구조로 배치됨을 확인할 수 있다. 구체적으로, 기설정된 제1 거리 간격으로 배치되는 복수의 수평 라이트 필드와 복수의 수직 라이트 필드가 격자 구조로 배치될 수 있으며, 격자 구조 내의 하나의 정사각형이 하나의 LFU를 구성할 수 있다. 이때, 하나의 LFU를 구성하는 4개의 선분 각각은 라이트 필드 영역으로 지칭될 수 있다.
뷰 포인트는 도시된 다중 LFU 구조 내에서 위치할 수 있으며, 360 이미지 생성시에는 뷰 포인트가 속한 다중 라이트 필드 유닛을 이용하여 생성할 수 있다. 한편, 뷰 포인트는 도시된 다중 LFU 구조 내에서 자유롭게 이동할 수 있기 때문에, 카메라의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. 또한, 다중 라이트 필드 유닛이 1 ~ N 개 있을 때 브리지(bridge) 역할을 하는 공유 라이트를 통해 이웃하는 다중 라이트 필드는 물론, 물리적으로 떨어져 있는 다중 라이트 유닛로도 이용하여 360도 이미지를 생성할 수 있다.
다중 LFU 접근을 통한 LF 구성의 품질은 단일 LFU의 크기와 관련이 있으며, 단일 LFU의 작은 크기로 보다 미세한 가장자리 면적을 나타낼 수 있다. 그러나 동일한 공간을 커버하는 데 필요한 LFU의 수는 증가할 것이다. 이에 상응하여, LF 데이터의 양의 증가도 상당할 것이다. 그 결과, 정확한 공간 표현과 필요한 LF 데이터의 양 사이에 트레이드오프가 발생하며, 애플리케이션의 특징이나 커버할 공간에 따라 적절한 LFU 크기를 결정할 필요가 있다.
도 14는 도 1의 프로세서의 구체적인 구성을 설명하기 위한 도면이다.
도 14를 참조하면, 라이트필드 기반 가상공간 구축 장치(1000)는 LFU 선택부(1010), 할당부(1020), 렌더링부(1030) 및 가상공간 생성부(1040)를 포함할 수 있다. 여기서 라이트필트 기반 가상공간 구축 장치는 도 1의 전자 장치일 수 있다.
LFU 선택부(1010), 할당부(1020), 렌더링부(1030) 및 가상공간 생성부(1040)는 도 16의 단계들(210~240)을 수행하기 위해 구성될 수 있다.
LFU 선택부(1010)는 다중 LFU(Light-Field Unit) 구조에서 하나의 LFU를 선택한다.
할당부(1020)는 선택된 하나의 LFU의 복수의 LF(Light-Field)를 위한 렌더링 FOV(Field-of-View)를 할당한다. 선형 평면의 복수의 지점에서 일부 공유 라이트를 선택하여 다중 선형 평면을 연결하기 위해 광선의 일정한 광도를 사용하여 선형 평면의 물리적인 교차점 없이 복수의 LF를 연결한다. 선형 평면의 길이를 4방향으로 확장시키고, 확장된 평면으로부터 얻은 선형 LF를 선형 평면의 복수의 지점에서 일부 공유 라이트를 선택하여 연결한다. 필요한 입력 FOV를 감소시킴으로써 캡처된 이미지의 왜곡을 감소시키기 위해 선형 평면의 확장된 길이는 확장 전 선형 평면의 기본 길이의 최대로 확장한다.
렌더링부(1030)는 각 LF에 대한 뷰를 독립적으로 렌더링하고, 가상공간 생성부(1040)는 렌더링된 뷰를 투영하여 병합하고, 블렌딩할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다.
소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기 광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 15는 본 개시의 일 실시 예에 따른 가상공간 생성 방법을 설명하기 위한 흐름도이다.
도 15를 참조하면, 먼저, 복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조를 저장할 수 있다(S1510).
그리고 다중 LFU 구조 내의 뷰 포지션을 결정할 수 있다(S1520).
그리고 결정된 뷰 포지션과 다중 LFU 구조를 이용하여 360도 이미지를 생성할 수 있다(S1530). 구체적인 360도 이미지의 생성 동작은 도 16을 참조하여 후술한다.
그리고 생성된 360도 이미지를 표시하거나, 외부 장치에 제공할 수 있다(S1540).
따라서, 본 실시 예에 따른 가상공간 생성 방법은 다중 LFU 구조를 이용하여 손쉽게 360도 이미지를 생성할 수 있으며, 이를 통하여 다중 LFU 구조 내의 뷰 탐색 범위를 넓힐 수 있다. 또한, 본 실시 예에 따른 가상공간 생성 방법은 공유 라이트를 통해 다중 라이트 필드 유닛(LFU)을 자유롭게 이동할 수 있기 때문에, 연결 가능한 LF 시스템은 카메라의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다.
제안된 유연하게 연결 가능한 LF 시스템은 제안된 유연한 연결을 사용하는 카메라 FOV의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. LFU는 사각형 모양의 구조로 쉽게 쌓을 수 있다. 이것은 뷰 탐색의 범위를 극적으로 넓힐 수 있는 이점을 제공한다. 제안된 LFU는 우수한 품질은 물론 높은 확장성으로 3DoF+VR을 달성할수 있다.
도 10과 같은 가상공간 생성 방법은 도 1의 구성을 가지는 전자 장치상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 전자 장치상에서도 실행될 수 있다.
또한, 상술한 바와 같은 가상공간 생성 방법은 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상술한 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
도 16은 도 15의 360도 이미지를 생성하는 동작을 구체적으로 설명하기 위한 흐름도이다.
본 개시는 LF 이론에서 광선의 지속적인 광도를 이용하면서 여러 LF를 유연하게 연결하는 방안을 제안한다. LF는 물리적 교차점과 같은 고정점이 아닌 연결 가능한 범위에서 점을 선택하여 연결할 수 있다. 카메라 FOV에 따라 달라지는 공유 빛의 양을 늘리는 대신 연결점 수를 늘린다. 결과적으로, 유연하게 연결 가능한 LF시스템은 합리적인 카메라 FOV 조건에서 뷰 탐색 범위를 넓힐 수 있다.
본 개시의 실시예에 따르면, 먼저 물리적인 교차점 없이 복수의 LF를 유연하게 연결하는 구상이 제안된다. 둘째, 유연하게 연결 가능한 LF 시스템을 검증하기 위해 사례 구조로 라이트필드 유닛(Light-Field Unit; LFU)을 제안하고 구현한다. 셋째, 여러 개의 LFU를 쌓아 뷰 탐색 범위를 역동적으로 확장하는 사각형 구조의 LFU가 제시된다.
제안하는 적층 가능한 라이트필드 기반 가상공간 구축 방법은 다중 LFU(Light-Field Unit) 구조에서 하나의 LFU를 선택하는 단계(210), 선택된 하나의 LFU에 대하여 복수의 LF(Light-Field)를 위한 렌더링 FOV(Field-of-View)를 할당하는 단계(220), 각 LF에 대한 뷰를 독립적으로 렌더링하는 단계(230) 및 렌더링된 뷰를 투영하여 병합하고, 블렌딩하는 단계(240)를 포함할 수 있다.
단계(210)에서, 다중 LFU(Light-Field Unit) 구조에서 하나의 LFU를 선택할 수 있다.
단계(220)에서, 선택된 하나의 LFU에 대하여 복수의 LF(Light-Field)를 위한 렌더링 FOV(Field-of-View)를 할당할 수 있다. 구체적으로, 선형 평면의 복수의 지점에서 일부 공유 라이트를 선택하여 다중 선형 평면을 연결하기 위해 광선의 일정한 광도를 사용하여 선형 평면의 물리적인 교차점 없이 복수의 LF를 연결할 수 있다.
이때, 선형 평면의 길이를 4방향으로 확장시키고, 확장된 평면으로부터 얻은 선형 LF를 선형 평면의 복수의 지점에서 일부 공유 라이트를 선택하여 연결할 수 있다. 이와 같은 과정을 통하여, 필요한 입력 FOV를 감소시키는 것이 가능하며, 캡처된 이미지의 왜곡을 감소시키기 위해 선형 평면의 확장된 길이는 확장 전선형 평면의 기본 길이의 최대로 확장할 수 있다.
단계(230)에서, 각 LF에 대한 뷰를 독립적으로 렌더링하고, 단계(240)에서, 렌더링된 뷰를 투영하여 병합하고, 블렌딩할 수 있다.
본 개시에 따른 가상공간 구축 방법은 공유 라이트를 통해 다중 라이트 필드 유닛(LFU)을 자유롭게 이동할 수 있기 때문에, 연결 가능한 LF 시스템은 카메라의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. 구체적으로, 다중 라이트 필드 유닛이 1 ~ N 개 있을 때 브리지(bridge) 역할을 하는 공유 라이트를 통해 이웃하는 다중 라이트 필드는 물론, 물리적으로 떨어져 있는 다중 라이트 유닛로도 이동이 가능하기 때문이다.
제안된 유연하게 연결 가능한 LF 시스템은 제안된 유연한 연결을 사용하는 카메라 FOV의 합리적인 조건에서 렌더링 가능한 뷰 위치의 범위를 넓힐 수 있다. LFU는 사각형 모양의 구조로 쉽게 쌓을 수 있다. 이것은 뷰 탐색의 범위를 극적으로 넓힐 수 있는 이점을 제공한다. 제안된 LFU는 우수한 품질은 물론 높은 확장성으로 3DoF+VR을 달성할수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit),마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다.
소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시 예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (17)

  1. 전자 장치에 있어서,
    복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조가 저장된 메모리; 및
    상기 격자 구조 내에 뷰 포지션이 결정되면, 상기 다중 LFU 구조를 이용하여 상기 뷰 포지션을 기준으로 한 360 도 이미지를 생성하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 다중 LFU 구조 중 상기 뷰 포지션이 속한 LFU를 선택하고,
    상기 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하고,
    상기 선택된 LFU를 구성하는 복수의 라이트 필드와 상기 할당된 FOV에 기초하여 복수의 뷰 이미지를 생성하고,
    상기 생성된 복수의 뷰 이미지를 병합하여 상기 360도 이미지를 생성하는 전자 장치.
  2. 제1항에 있어서,
    상기 다중 LFU 구조는,
    상기 복수의 라이트 필드가 구성하는 상기 격자 구조의 외각은 원형 또는 비정형 구조를 갖는 전자 장치.
  3. 제1항에 있어서,
    상기 복수의 라이트 필드는,
    기설정된 제1 거리 간격으로 배치되는 복수의 수평 라이트 필드 및 복수의 수직 라이트 필드를 포함하며,
    상기 다중 LFU(Light-Field Unit) 구조 중 하나의 LFU는,
    상기 제1 거리 간격을 길이로 갖는 정사각형 형태인 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 선택된 LFU를 구성하는 4개의 라이트 필드 영역과 상기 복수의 라이트 필드 영역 주변에 인접하게 배치되는 8개의 라이트 필드 영역을 이용하여 복수의 뷰 이미지를 생성하는 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 할당된 FOV 내에 복수의 라이트 필드가 위치하고 상기 뷰 포지션을 기준으로 상기 복수의 라이트 필드가 공통된 빛 정보를 가지면, 상기 공통된 빛 정보를 기초로 상기 복수의 라이트 필드를 이용하여 하나의 뷰 이미지를 생성하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    90도 단위로 4개의 렌더링 FOV를 할당하고, 상기 4개의 렌더링 FOV 각각에 대응되는 라이트 필드를 이용하여 4개의 뷰 이미지를 생성하는 전자 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 FOV 각각에 대응되는 라이트 필드 중 렌더링 FOV 영역에 대응되는 픽셀 정보를 이용하여 뷰 이미지를 생성하는 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 생성된 복수의 뷰 이미지를 투영하여 병합하고,
    상기 병합된 뷰 이미지를 블렌딩하여 상기 360도 이미지를 생성하는 전자 장치.
  9. 가상공간 구축 방법에 있어서,
    복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조 내의 뷰 포지션을 결정하는 단계;
    상기 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하는 단계;
    상기 복수의 라이트 필드 중 상기 뷰 포지션과 인접하게 배치되는 복수의 라이트 필드와 상기 할당된 렌더링 FOV에 기초하여 복수의 뷰 이미지를 생성하는 단계; 및
    상기 생성된 복수의 뷰 이미지를 병합하는 단계;를 포함하는 가상공간 구축 방법.
  10. 제9항에 있어서,
    상기 다중 LFU 구조는,
    상기 복수의 라이트 필드가 구성하는 상기 격자 구조의 외각은 원형 또는 비정형 구조를 갖는 가상공간 구축 방법.
  11. 제9항에 있어서,
    상기 복수의 라이트 필드는,
    기설정된 제1 거리 간격으로 배치되는 복수의 수평 라이트 필드 및 복수의 수직 라이트 필드를 포함하며,
    상기 다중 LFU(Light-Field Unit) 구조 중 하나의 LFU는,
    상기 제1 거리 간격을 길이로 갖는 정사각형 형태인 가상공간 구축 방법.
  12. 제11항에 있어서,
    상기 복수의 뷰 이미지를 생성하는 단계는,
    상기 선택된 LFU를 구성하는 4개의 라이트 필드 영역과 상기 복수의 라이트 필드 영역 주변에 인접하게 배치되는 8개의 라이트 필드 영역을 이용하여 복수의 뷰 이미지를 생성하는 가상공간 구축 방법.
  13. 제9항에 있어서,
    상기 복수의 뷰 이미지를 생성하는 단계는,
    상기 할당된 FOV 내에 복수의 라이트 필드가 위치하고 상기 뷰 포지션을 기준으로 상기 복수의 라이트 필드가 공통된 빛 정보를 가지면, 상기 공통된 빛 정보를 기초로 상기 복수의 라이트 필드를 이용하여 하나의 뷰 이미지를 생성하는 가상공간 구축 방법.
  14. 제9항에 있어서,
    상기 FOV(Field-of-View)를 할당하는 단계는,
    90도 단위로 4개의 렌더링 FOV를 할당하고,
    상기 복수의 뷰 이미지를 생성하는 단계는,
    상기 4개의 렌더링 FOV 각각에 대응되는 라이트 필드를 이용하여 4개의 뷰 이미지를 생성하는 가상공간 구축 방법.
  15. 제9항에 있어서,
    상기 복수의 뷰 이미지를 생성하는 단계는,
    상기 FOV 각각에 대응되는 라이트 필드 중 렌더링 FOV 영역에 대응되는 픽셀 정보를 이용하여 뷰 이미지를 생성하는 가상공간 구축 방법.
  16. 제9항에 있어서,
    상기 생성된 복수의 뷰 이미지를 투영하여 병합하는 단계; 및
    상기 병합된 뷰 이미지를 블렌딩하는 단계;를 더 포함하는 가상공간 구축 방법.
  17. 가상공간 구축 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 가상공간 구축 방법은,
    복수의 라이트 필드가 격자 구조로 배치된 다중 LFU(Light-Field Unit) 구조 내의 뷰 포지션을 결정하는 단계;
    상기 뷰 포지션을 기준으로 기설정된 각도 단위로 렌더링 FOV(Field-of-View)를 할당하는 단계;
    상기 복수의 라이트 필드 중 상기 뷰 포지션과 인접하게 배치되는 복수의 라이트 필드와 상기 할당된 렌더링 FOV에 기초하여 복수의 뷰 이미지를 생성하는 단계; 및
    상기 생성된 복수의 뷰 이미지를 병합하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.
PCT/KR2020/010673 2020-07-07 2020-08-12 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치 WO2022010026A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020207031054A KR102655908B1 (ko) 2020-07-07 2020-08-12 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
US17/048,299 US11869137B2 (en) 2020-07-07 2020-08-12 Method and apparatus for virtual space constructing based on stackable light field

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0083379 2020-07-07
KR20200083379 2020-07-07

Publications (1)

Publication Number Publication Date
WO2022010026A1 true WO2022010026A1 (ko) 2022-01-13

Family

ID=79553291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010673 WO2022010026A1 (ko) 2020-07-07 2020-08-12 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치

Country Status (3)

Country Link
US (1) US11869137B2 (ko)
KR (1) KR102655908B1 (ko)
WO (1) WO2022010026A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4207009A4 (en) * 2020-12-24 2024-04-24 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ITS CONTROL METHOD

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198340A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
US20170365068A1 (en) * 2015-04-15 2017-12-21 Lytro, Inc. Combining light-field data with active depth data for depth map generation
KR20190021229A (ko) * 2016-05-26 2019-03-05 브이아이디 스케일, 인크. 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
US10250866B1 (en) * 2016-12-21 2019-04-02 Gopro, Inc. Systems and methods for capturing light field of objects
KR102054716B1 (ko) * 2018-08-24 2019-12-11 인하대학교 산학협력단 라이트 필드 기반 가상현실 구성 시스템에서 레이 보상을 통한 시야 확장 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781591B2 (en) 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
US20170178395A1 (en) 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
US10244227B2 (en) 2015-12-22 2019-03-26 Google Llc Capture and render of virtual reality content employing a light field camera array
DE112018000311T5 (de) * 2017-01-04 2019-09-19 Nvidia Corporation Stereoskopisches Rendering unter Verwendung von Raymarching und ein Broadcaster für eine virtuelle Ansicht für solches Rendering
US10417810B2 (en) 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
US10951875B2 (en) * 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
RU2690757C1 (ru) 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
KR102055410B1 (ko) * 2018-08-27 2019-12-12 인하대학교 산학협력단 비정형적 직사각형 레이-스페이스 360 구조

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198340A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
US20170365068A1 (en) * 2015-04-15 2017-12-21 Lytro, Inc. Combining light-field data with active depth data for depth map generation
KR20190021229A (ko) * 2016-05-26 2019-03-05 브이아이디 스케일, 인크. 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
US10250866B1 (en) * 2016-12-21 2019-04-02 Gopro, Inc. Systems and methods for capturing light field of objects
KR102054716B1 (ko) * 2018-08-24 2019-12-11 인하대학교 산학협력단 라이트 필드 기반 가상현실 구성 시스템에서 레이 보상을 통한 시야 확장 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNG HYUNMIN; LEE HYUK-JAE; RHEE CHAE EUN: "Flexibly Connectable Light Field System For Free View Exploration", IEEE TRANSACTIONS ON MULTIMEDIA, IEEE, USA, vol. 22, no. 4, 10 August 2019 (2019-08-10), USA, pages 980 - 991, XP011780149, ISSN: 1520-9210, DOI: 10.1109/TMM.2019.2934819 *

Also Published As

Publication number Publication date
KR20220006996A (ko) 2022-01-18
US11869137B2 (en) 2024-01-09
KR102655908B1 (ko) 2024-04-11
US20230121124A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
WO2018182192A1 (en) Method and apparatus for displaying image based on user motion information
WO2019039771A1 (en) ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD
WO2019117569A1 (en) Method and apparatus for managing immersive data
WO2019035601A1 (en) IMAGE EDITING APPARATUS USING A DEPTH CARD AND ITS METHOD
WO2014182087A1 (en) Display apparatus and user interface screen providing method thereof
WO2016140545A1 (en) Method and device for synthesizing three-dimensional background content
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2017175910A1 (ko) 이미지 처리 방법 및 장치
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2020159262A1 (en) Electronic device and method for processing line data included in image frame data into multiple intervals
WO2019017585A1 (en) ELECTRONIC DEVICE FOR CONTROLLING THE DEVELOPMENT OF A LENS AND METHOD OF CONTROLLING THE SAME
WO2023055033A1 (en) Method and apparatus for enhancing texture details of images
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2022010026A1 (ko) 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2016072538A1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
WO2022260273A1 (ko) 전자 장치 및 그 제어 방법
WO2016175418A1 (ko) 디스플레이 장치 및 그의 제어 방법
WO2016208806A1 (ko) 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
WO2023038264A1 (ko) 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법
WO2018110800A1 (ko) 논리적 화면 표시장치 생성 시스템 및 방법
WO2024122852A1 (ko) 외부 객체의 모션에 대응하는 시각적 객체를 생성하기 위한 전자 장치 및 그 방법
WO2024117462A1 (ko) 복수의 영역들 내에 미디어 콘텐트 및 사용자 인터페이스를 표시하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20944770

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20944770

Country of ref document: EP

Kind code of ref document: A1