WO2015119331A1 - 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법 - Google Patents

집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법 Download PDF

Info

Publication number
WO2015119331A1
WO2015119331A1 PCT/KR2014/003411 KR2014003411W WO2015119331A1 WO 2015119331 A1 WO2015119331 A1 WO 2015119331A1 KR 2014003411 W KR2014003411 W KR 2014003411W WO 2015119331 A1 WO2015119331 A1 WO 2015119331A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
lens array
display
depth
Prior art date
Application number
PCT/KR2014/003411
Other languages
English (en)
French (fr)
Inventor
신동학
황용현
이병국
최재관
구정식
김은수
Original Assignee
동서대학교산학협력단
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140012571A external-priority patent/KR20150091838A/ko
Priority claimed from KR1020140045523A external-priority patent/KR101600681B1/ko
Application filed by 동서대학교산학협력단, 광운대학교 산학협력단 filed Critical 동서대학교산학협력단
Publication of WO2015119331A1 publication Critical patent/WO2015119331A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously

Definitions

  • the present invention relates to an ultra-multi-view three-dimensional display system and a three-dimensional image display depth conversion method of an integrated imaging system, and more particularly, a conventional lens array having the same single lens diameter in an image acquisition process and a display process. Unlike the integrated imaging system, by using lens arrays with different single lens diameters in each process, it is possible to obtain a three-dimensional object located at a relatively long distance while maintaining high-resolution video image characteristics.
  • a three-dimensional display system and a three-dimensional image display depth conversion method is compared to obtain a three-dimensional object located at a relatively long distance while maintaining high-resolution video image characteristics.
  • 3D image reproducing technology refers to a technology of displaying a stereoscopic image so that an observer can feel a three-dimensional and realistic three-dimensional image rather than a flat image.
  • 1 is a schematic diagram of an observer's visual mechanism.
  • the binocular eye movement for binocular vision is called congestion.
  • Binocular disparity The difference between the image of the left eye and the image of the right eye.
  • Binocular Disparity [Naver Encyclopedia] Binocular Disparity [Binocular Disparity] (Knowledge Economy Glossary, 2010.11, Republic of Korea)
  • the midbrain is controlled by reflexes.
  • holography technology is difficult to be commercialized in the near future because it requires a monochromatic light source such as a laser and a display device of ultra high resolution.
  • Another display method that satisfies the human visual condition is a super multi-view display method.
  • the prior art related to such a multi-view display method is a three-dimensional image display method in Korean Patent Publication No. 1086305, which includes generating at least two parallax images, each of which is different from each other for the same object.
  • An image brightness controller for changing the brightness of the plurality of images of each of the at least two parallax images;
  • a display unit for displaying the at least two parallax images on one display panel is disclosed.
  • Another conventional technology includes a display panel for displaying an image in Korean Patent No. 1159251; A light source unit supplying light to the display panel; An optical plate having a fixed size pitch determined by the number and size of viewpoints and a size of unit pixels of the display panel, and generating a parallax image using an image displayed on the display panel; And a controller configured to adjust the separation distance between the display panel or the light source unit and the optical plate to maintain a gamut of parallax images provided to the viewer.
  • a control method of a three-dimensional image display device comprising: an optical plate having a fixed size and a number and size and a pitch of a fixed size determined by a size of unit pixels of the display panel, the method comprising: extracting a viewer's viewpoint distance; And adjusting a separation distance between the display panel or the light source unit and the optical plate so as to maintain a parallax of the parallax image based on the extracted viewpoint distance. Registration is open.
  • At least two or more image informations must be projected onto the human eye.
  • the hyper-view point refers to a case in which two or more multi-view images can be displayed on the observer's pupil (eye), and the condition at this time is called a super-view point condition.
  • the integrated image display can generate a point light source in a space like a holographic display method, and has the advantage of providing full parallax and continuous viewing time for a three-dimensional image composed of such a point light source.
  • the main feature of the integrated imaging method is that it does not require glasses or other tools to observe stereoscopic images and can provide continuous vertical and horizontal parallax within a certain viewing angle rather than a viewpoint.
  • the integrated image method is capable of real-time image reproduction of full color, and excellent compatibility with the conventional planar image device.
  • a method of compressing an element image by applying an area segmentation technique to an element image compression apparatus in Korean Patent No. 0891160 comprising: (a) an element imager lens array as a three-dimensional object; Acquiring element images having different parallaxes through; (b) dividing the obtained element image into similar regions having a plurality of similar images according to similar correlations; (c) rearranging the images included in each of the similar regions into a one-dimensional element image array; And (d) compressing the rearranged and generated one-dimensional element image array.
  • the element image is enlarged to a predetermined size, and the enlarged respective elements Generating a reconstructed image by adding pixels located at the same coordinates of the image; Measuring a blur metric value of each reconstructed image; Selecting a reconstructed image corresponding to an inflection point of the blur metric value according to a focal length as a focus image; Generating an erosion image through an erosion operation of subtracting each pixel value of a corresponding erosion mask from each pixel value of the focus image; And a method for mapping the eroded image to the reconstructed image.
  • FIG. 2 is a schematic diagram showing the basic principle of an integrated imaging method.
  • the principle of reproducing the 3D object 110 as the 3D image 210 is an image acquisition step 100 for obtaining the element image 130 by allowing the 3D object 110 to see through the lens array 120.
  • the integrated imaging technology is largely divided into the image acquisition step 100 and the image reproduction step 200 as shown in FIG.
  • the image acquisition step 100 is composed of a two-dimensional sensor such as an image sensor and the lens array 120, wherein the three-dimensional object 110 is located in front of the lens array 120.
  • various image information of the three-dimensional object 110 is stored in the two-dimensional detector after passing through the lens array 120.
  • the stored image is used for reproducing the 3D image 210 as the element image 130.
  • the image reproducing step 200 of the integrated imaging technology is a reverse process of the image acquiring step 100, and includes an image reproducing apparatus such as a liquid crystal display and a lens array 220.
  • the element image 230 obtained in the image acquisition step 200 is displayed on the image reproducing apparatus, and the image information of the element image 230 passes through the lens array 220 to the 3D image 210 in space. Will be played.
  • the element image 130 of the image acquisition step 100 and the element image 230 of the image reproduction step 200 are substantially the same, but the element image 230 of the image reproduction step 200 is the image acquisition step.
  • the element image 120 acquired in (100) is stored in a two-dimensional sensor and used to reproduce a three-dimensional image. For convenience, different element images are used to distinguish the image acquisition step 100 and the image reproduction step 200. It is shown by the arc.
  • Integrated imaging has the advantage of providing full parallax and continuous viewpoint like holography.
  • the main feature of the integrated imaging method is that it does not require glasses or other tools to observe stereoscopic images and can provide continuous vertical and horizontal parallax within a certain viewing angle rather than a viewpoint.
  • the integrated image method is capable of real-time image reproduction of full color, and excellent compatibility with the conventional planar image device.
  • the first is depth priority (Depth Priority Integral Imaging: DPII) and the second is resolution priority (Integral Imaging: RPII).
  • the depth-first method is designed to have the same distance between the lens array and the display and the focal length of the lens array. It has both real and virtual image information, which is advantageous for reproducing a three-dimensional image.
  • the resolution priority method is a display method designed with a different distance between the lens array and the display and the focal length of the lens array.
  • the distance between the display and the lens is smaller than the focal length of the lens as shown in Fig. 3, the reconstructed image is actually integrated on the plane
  • the focal length is larger than the focal length, it is integrated in the virtual image plane, which is defined as the central depth plane (CDP).
  • CDP central depth plane
  • FIG. 3 is a schematic diagram illustrating a depth-first integrated imaging scheme
  • FIG. 4 is a schematic diagram illustrating a resolution-first integrated imaging scheme.
  • the integrated image system may be classified into two types according to the distance g between the lens array 220 and the display which is the element image display device.
  • the distance g may be divided into a case where the distance g is the same as the focal length f of the base lens of the lens array 220 and a case where the distance g is not.
  • one pixel of the element image 230 becomes a parallel beam through the lens to form an integrated beam.
  • This case is called a depth-first integrated image method, and the depth region displaying the 3D image can be maximized, but the resolution of the 3D image 210 is low.
  • g is not equal to f
  • f it is called a resolution-first integrated imaging method
  • an integrated beam is formed by converging beams of one pixel of the element image 230 through the lens, in this case, the 3D image 210.
  • the resolution can be increased, but the depth area is drastically reduced.
  • both of the aforementioned methods use an optical element called a lens array, which causes a fundamental problem of depth reversal.
  • the depth reversal phenomenon is a phenomenon in which the depth of the reproduced stereoscopic image is reversed because the direction in which the object is viewed is opposite to each other in the element image acquisition process and the 3D image reconstruction process.
  • the reason why the depth reversal phenomenon is the most important issue is that since the 3D image has a depth dimension unlike the conventional 2D image, when the depth reversal phenomenon occurs, the viewer is provided with a restored image reversed back and forth.
  • This method can reproduce a three-dimensional image without distortion on the actual surface.
  • the reason is that the two-step recording process results in a significant deterioration in the image quality, which is caused by the diffraction effect and the wrong structure of the image acquisition device and the expression element.
  • This method unlike Ives, has the advantage of acquiring images in one go without requiring two recordings.
  • the method proposed by Okano in 1997 rotates 180 degrees around each optically acquired central axis to create a new element image, and when it is restored, a three-dimensional image without distortion in a virtual image can be obtained.
  • This method has the advantage that the resolution does not decrease unlike the previous method.
  • this method also has the disadvantage that the reconstructed image is reproduced on the virtual image.
  • This method rotates each element image by 180 degrees like Okano's method in recording the element image whose depth is reversed and restoring the recorded element image.
  • This method has been proposed as a way to solve the depth reversal digitally using software algorithms to solve the problem that the existing methods require expensive equipment and the method of acquiring the element image is complicated.
  • the proposed pixel rearrangement algorithm has a disadvantage in that the spatial representation range of the reconstructed image is limited between the lens array and the basic center depth plane (CDP) generated by the focal length of the lens array.
  • CDP center depth plane
  • the present invention has been made to solve the above-described problems, the system and algorithm of the present invention using a combination of lens arrays of different diameters that directly designed a three-dimensional object of a distance that cannot be represented in the existing integrated imaging system in real time Then, a new form of modulated secondary element image is generated by applying a pixel rearrangement algorithm to the obtained unit image.
  • a display system that provides a viewer with a full three-dimensional image without holography, such as holography, is secured by a point light source by arranging a lens array or a pinhole array designed to satisfy ultra-high point conditions in front of the display panel. It is an object of the present invention to provide a multi-view type 3D display method and system using a lens array or a pinhole array which allows a plurality of observers to simultaneously enjoy a 3D image at various angles by providing a 3D image to the air.
  • the lens array has a smaller size than the lens array installed in the image acquisition step, and between the image acquisition step and the image reproduction step, the size of the element image acquired through the lens array in the image acquisition step
  • the element image conversion step of converting the depth of the element image and the conversion according to the size of the lens array is included. It is characterized.
  • the fundamental image reversal problem of the integrated imaging apparatus may be solved through the element image conversion process, and the 3D image without distortion may be restored.
  • the three-dimensional display system using the lens array or pinhole array that satisfies the ultra-multi-view condition of the present invention provides a complete three-dimensional image such as holography, so that a more realistic three-dimensional image can be enjoyed, and a plurality of observers are tired There is a significant effect, such as being able to provide long-term observations without.
  • 1 is a schematic diagram of an observer's visual mechanism.
  • FIG. 2 is a schematic diagram showing the basic principle of the integrated imaging method.
  • FIG. 3 is a schematic diagram showing a depth-first integrated imaging system
  • FIG. 4 is a schematic diagram showing a resolution-priority integrated imaging system
  • FIG. 5 is a schematic diagram showing a three-dimensional image display depth conversion method of the integrated imaging system of the present invention.
  • FIG. 6 is a sequence diagram of a three-dimensional image display depth conversion method of the integrated imaging system of the present invention.
  • FIG. 7 is a schematic diagram showing a geometrical optical analysis defining an effective pickup area.
  • FIG. 8 is a schematic diagram showing the conversion process of the element image in the element image conversion step of the present invention.
  • 9 is an element image that is transformed depth in the element image conversion step of the present invention.
  • FIG. 10 is a schematic diagram of an integrated imaging system to which a depth-first integrated imaging method is applied;
  • FIG. 11 is a schematic diagram illustrating adjusting an element image in a depth conversion step.
  • FIG. 12 is a photograph showing an apparatus to which a three-dimensional image display depth conversion method of the present invention integrated imaging system is applied.
  • 13 is an image photograph comparing the resolution of the element image according to the lens size.
  • 15 is an image photograph of a secondary element image reconstructed by a three-dimensional image display depth conversion method of the integrated image system of the present invention.
  • 16 is an image photograph showing a parallax image of a 3D reconstructed image obtained at three different points.
  • 17 is an image photograph of a three-dimensional image reconstructed in space according to a change in k value.
  • FIG. 18 is a schematic diagram showing a three-dimensional image display method of the point light source generation method in the holography method.
  • 19 is a schematic diagram illustrating generation of a point light source using directional light beams and observation of a three-dimensional image.
  • 20 is a schematic diagram showing a three-dimensional display configuration using a lens array or a pinhole array satisfying the ultra-multi-view condition of the present invention.
  • Fig. 21 is a schematic diagram showing a display configuration that satisfies an ultra multiview condition for an observer's monocular
  • Fig. 24 is a schematic diagram showing a display configuration that satisfies ultra multiview conditions for the observer's monocular
  • Image acquisition step 200 image playback step 300.
  • the image acquisition step 100 of obtaining the element image 130 by allowing the three-dimensional object 110 to see the lens array 120 and the element image 130 collected by the image acquisition step 100 are performed.
  • the image reproducing step 200 of reproducing the 3D image 210 in space through the lens array 220 is performed to obtain the 3D stereoscopic image of the element image 130 of the 3D object 110 which is optically obtained.
  • the lens array 220 installed in the image reproducing step 200 is relative to the lens array 120 installed in the image obtaining step 100.
  • the 3D image is reproduced through the depth-first integrated image display apparatus.
  • a light source installed at the rear of the display panel 400 passes through the display panel 400 and the lens array 220 to form a point light source, and forms an element image generator 500 by clustering the point light sources.
  • the element image provided to the display panel 400 is shown as a 3D image 600.
  • the lenslet diameter is calculated by d or less according to the following formula.
  • the pinhole array may be installed in place of the lens array 220.
  • the pinhole array is Calculate the pinhole spacing below d by using
  • FIG. 5 is a schematic diagram showing a three-dimensional image display depth conversion method of the integrated imaging system of the present invention
  • Figure 6 is a sequential diagram of a three-dimensional image display depth conversion method of the integrated imaging system of the present invention.
  • the image acquisition step 100 of obtaining the element image 130 by allowing the 3D object 110 to see the lens array 120 and the element image 130 collected by the image acquisition step 100 are performed.
  • Is reproduced as a three-dimensional image 210 in space through the lens array 220 is composed of an image reproducing step 200 to three-dimensionally the element image 130 of the three-dimensional object 110 obtained optically It is to restore the stereoscopic image.
  • the 3D image display depth conversion method of the integrated image system of the present invention includes the lens array 220 installed in the image reproduction step 200 in the lens array 120 installed in the image acquisition step 100.
  • the size of the element image 130 obtained through the lens array 120 of the image acquisition step 100 is imaged.
  • the element image conversion step 300 of converting the depth of the element image 130 and converting it to the size of the lens array 220 of the reproduction step 200 is characterized in that it is included.
  • the element image acquisition method using the lens array 120 having a large diameter of FIG. 5 (a) maximizes an effective image acquisition area so that an object at a distant distance can be acquired, and the acquired unit image is newly defined.
  • the real-time element image conversion step 300 the depth reversal phenomenon is solved and converted to a small-diameter lens array 220 used for 3D image reconstruction to simultaneously represent the real and virtual images of FIG. 5 (FIG. The depth-first integrated video display device of b) is restored.
  • a large diameter lens array 120 was generally used to widen the commercial camera and the effective pickup area.
  • the real object at a long distance from the lens array 120 can be recorded as a unit image.
  • the recorded unit image must be converted into an element image suitable for the display lens array 220 having a small diameter.
  • the fundamental depth reversal problem of the integrated imaging apparatus can be solved, and a 3D image without distortion can be restored.
  • the image reproducing step 200 the image is displayed on both the real and the virtual images using the newly reconstructed element image 230 and the lens array 120 having a small diameter, and compared with the conventional resolution-first integrated imaging system. At the same time, the 3D image is reproduced with improved space while maintaining the resolution.
  • FIG. 7 is a schematic diagram illustrating a geometrical optical analysis defining an effective pickup area.
  • an effective pickup area is defined in a pickup using the lens array 120.
  • the lens array used in the image acquisition step 100 of the integrated imaging method includes a large number of elementary lenses.
  • the diameter of the base lens is defined as d
  • the focal length is defined as f.
  • the lens array is located in front of the display panel, and each element image corresponding to one lens is displayed on the display panel.
  • the pixel size of a single element image is defined as n ⁇ n.
  • the 3D object 110 is positioned at a z distance from the lens array 120.
  • the maximum effective pickup area of the integrated image pickup apparatus can be defined as follows.
  • Equation 1 n denotes the number of pixels of the element image 120, and f denotes a focal length of the lens array 110.
  • Equation (1) in order to enlarge the effective pickup area in the integrated image pickup method, the focal length of the lens and the number of pixels of the element image must be increased.
  • a lens array having an increased focal length of the lens 120 may be advantageously used in the image acquisition step 110, but may cause a problem of reducing the viewing angle in the image reproduction step 200.
  • a lens having a diameter larger than that of the lens array 220 used in the image reproducing step 200 may be used to effectively obtain a unit image for a live image located at a distant distance in a way to solve this problem.
  • the lens array 120 is used.
  • Equation (1) Using a lens with a large diameter under the condition of Equation (1) increases the focal length of the lens and the number of pixels of the corresponding element image in the same F / # condition (the number of single lenses constituting the lens array). You can.
  • the viewing angle of the display device can be secured while increasing the effective pickup area.
  • the lens arrays used in the image acquisition step 100 and the image reproduction step 200 have different single lens diameters.
  • the lens array 120 having a large diameter is used to maximize the effective pickup area
  • the lens array 220 having a relatively small diameter is used to maximize the depth expression area.
  • the element image conversion and the modulated secondary element image conversion process are required.
  • the element image conversion and the modulated secondary element image conversion process are called an element image conversion step 200.
  • the algorithm generates the final modulated secondary element image through two processes.
  • the first process is to convert the unit image obtained through the large lens array into the element image.
  • FIG. 8 is a schematic diagram showing the conversion process of the element image in the element image conversion step of the present invention.
  • s i and s j represent positions of one unit image
  • s s and s t are pixel positions of a single unit image corresponding to (s i , s j ).
  • e s and e t represent the positions of the generated unit element images, and e i and e j represent pixel positions of the unit element images.
  • the pixel located at (s s , s t ) in the unit image at position (s i , s j ) is transformed from the element image at position (e s , e t ) by unit image conversion. e i , e j ) will be replaced with the pixel located.
  • This unit image conversion process can be expressed as a determinant as shown in Equation (2) below.
  • the depth transformation matrix must be used to restore the element image from the lens array with a small diameter.
  • n denotes the number of pixels represented by the lens
  • k denotes the depth value of the restored surface to be converted.
  • This conversion can be calculated in real time.
  • the final element image conversion step 300 made using equations (2) and (3) can be represented by a new transformation algorithm matrix that can simultaneously convert the unit image into the element image and the depth conversion of the element image. .
  • This new determinant can be expressed as in the following equation (4).
  • Equation (4) is a determinant based on pixel information of an image, it is possible to convert a unit image into a depth-converted element image in real time.
  • 9 is an element image that is transformed depth in the element image conversion step of the present invention.
  • FIG. 9 an example of an image generated and converted through an algorithm is shown.
  • FIG. 9A illustrates a unit image obtained through a lens array having a large diameter
  • FIG. 9B illustrates an element image converted from a unit image through Equation (4).
  • FIG. 10 is a schematic diagram of an integrated imaging system to which a depth-first integrated imaging method is applied.
  • An integrated image display method used to reconstruct a 3D stereoscopic image using a modulated secondary element image is a depth-first integrated image display method.
  • This method generally uses a lens array having a single lens diameter of the same size in the image acquisition step and the image reproduction step, and expresses the element image as a three-dimensional image by placing the display panel at the same position as the focal length of the lens array. It is.
  • the lens array used in the present invention uses a lens array having a smaller diameter than the lens array used in the image acquisition step 100 and positions the display panel at the same position as the focal length of the lens array.
  • the information of the 3D reconstructed image can be simultaneously represented in the real plane and the virtual plane, thereby improving depth compared to the conventional method. It could provide a sense.
  • K value of equation (4) means the depth plane to be restored.
  • FIG. 11 is a schematic diagram illustrating adjusting an element image in a depth conversion step.
  • the reconstructed 3D stereoscopic image is reproduced in the front part in the real plane and the rear part in the virtual image plane around the lens array.
  • the depth information of the reconstructed image can be confirmed by changing the k value, which is obtained by changing the value of k in equations (4-1) and (4-2). By changing the position of the restored image can be confirmed.
  • FIG. 12 is a photograph showing an apparatus to which the 3D image display depth conversion method of the integrated imaging system of the present invention is applied.
  • a large-diameter lens array is used to photograph an object located at a long distance, and the acquired unit image is converted into a component image through a newly proposed conversion algorithm, and the lens array is relatively small in diameter.
  • the modulated secondary element image is generated.
  • the modulated secondary element image is simultaneously restored and reproduced on the real plane and the virtual plane through a depth-first integrated image system.
  • the pickup process of FIG. 12 (a) used a large diameter lens array using only an area composed of 6 ⁇ 6 lenses, and detailed specifications are shown in Table 1.
  • Table 1 TABLE 1 Display panel Pixel distance 0.1245 mm resolution 3840 ⁇ 2400 pixel Lens array in the image acquisition stage Lens distance 7.47 mm Focal Length 30 mm Lens array during video playback Lens distance 1.6mm Focal Length 2.4mm Distance between lens array and KW mark in image acquisition stage 500 mm Lens Array and Browine Doll in Image Acquisition 1000 mm
  • the objects to be picked up are KW Mark and Brownie Doll, which are located about 500mm and 1000mm away from the lens array, respectively.
  • the KW mark has a thickness of 40 mm (H) ⁇ 75 mm (W) and a thickness of 5 mm.
  • the Brownie doll is 140 (H) mm ⁇ 100 mm (W) and has a thickness of 40.
  • the unit image thus obtained has a size of 1200 ⁇ 1200 pixels, and one unit image includes 200 ⁇ 200 pixels.
  • the effective pick-up range is theoretically 480 mm since the focal length of the single lens is 2.4 mm. If this is applied to the experiment, picking will not be possible because both objects are located outside the effective pick-up area.
  • the KW mask and Brownie doll used for pickup are placed at 500mm and 1000mm respectively, so it is theoretically possible to pick up.
  • 13 is an image photograph comparing the resolution of the element image according to the lens size.
  • both objects cannot be acquired by a lens array having a small diameter, and both objects are obtained by a lens array having a large diameter.
  • the specification of the computer used for this experiment is Intel core i7 processor. In this environment, it takes about 20ms to generate the modulated secondary element image from the unit image through the conversion algorithm.
  • the modulated secondary element image is expressed as shown in FIG. 13 by changing the k value applied to Equation (4), and it can be seen that the arrangement of pixels of the element image is different from each other. This means that the pixel arrangement of the element image generated for each depth plane changed by the k value is different.
  • the effective pickup range that can be obtained is theoretically within 6000 mm.
  • the pickup area used in this experiment was limited to a maximum of 1000mm according to the position of the subject, even if the k value is changed from 1 to 10, the information of the 3D object does not exist in this area.
  • the second element image modulated from the unit image can be generated differently by changing the k value from 11 to 29 in the pickup range 500mm to 1000mm used in this experiment.
  • FIG. 15 is an image photograph of a secondary element image reconstructed by a 3D image display depth conversion method of the integrated image system of the present invention.
  • a lens array having a smaller diameter than the lens array used in the image acquisition unit was used, and an IBM T221 monitor (Resolution: 3840 X 2560) was used as the display panel.
  • a diffuser was attached to the panel to reduce color moiré.
  • 16 is an image photograph showing a parallax image of a 3D reconstructed image obtained at three different points.
  • the reconstructed image has different parallax from side to side.
  • the image of KW mark and the image of Brownie doll show different restoration results according to the left and right parallax, which is the parallax created by the distance between two objects.
  • the reconstructed image is not a 2D image but a 3D image having depth information.
  • 17 is an image photograph of a 3D image reconstructed in a space according to a change in k value.
  • the present invention uses a real-time element image conversion algorithm to select pixels of the element image. By rearranging, the depth of the range is expressed as the location of the restoration is changed.
  • the depth representation range is 2.54 times improved compared to the existing system.
  • FIG. 18 is a schematic diagram illustrating a three-dimensional image display method of a point light source generation method in the holography method.
  • a fringe pattern may be displayed on the display panel 400 to generate a point light source using diffraction of a laser light source.
  • the three-dimensional image 600 may be generated by simultaneously generating a plurality of point light sources.
  • Fringe refers to fringes of light and shade caused by interference or rotation of light
  • point light source refers to a light emitter viewed as a single point.
  • the holographic display system is a method that satisfies the four visual mechanisms of Fig. 1 and thus is known as an ideal three-dimensional display method.
  • holography technology has the following problems.
  • Laser light sources have yet to be used and there are still no suitable display elements capable of generating sufficient diffraction, complex fringe pattern generation and reconstruction, narrow viewing angles and low resolution issues.
  • 19 is a schematic diagram illustrating a principle of generating a 3D image using the directional light of the present invention.
  • a point light source is generated using directional light rays, and a three-dimensional image 600 is displayed by combining a plurality of point light sources.
  • the observer observes the 3D image 600 with both eyes.
  • Such directional generation may be generated using the lens array 220 or the pinhole array.
  • an elemental lens refers to one lens constituting a lens array.
  • an image formation region on an imaging plane corresponding to the size of the element lens is called an elemental image.
  • This set of element images is also called an elemental image array.
  • one small lens is called a base lens or lenslet, and an array of small lenses is referred to as a lens array.
  • a pinhole is used instead of a small lens, it is expressed as a pinhole array.
  • 20 is a schematic diagram of a three-dimensional display system using a lens array or a pinhole array satisfying the ultra-multi-view condition of the present invention.
  • a display panel 400 As shown in FIG. 20, a display panel 400, a lens array 220 installed in front of the display panel 400, and an element image generator for providing an element image signal to the display panel 400 ( And a light source installed at the rear of the display panel 400 through the display panel 400 and the lens array 220 to form a point light source, and generate an element image by a cluster of the point light sources.
  • the element image provided to the display panel 400 in the unit 500 is characterized in that the three-dimensional image 600 is shown.
  • the display panel 400 and the lens array 220 are generally configured to correspond one to one with each other.
  • the lens array 220 is positioned in front of the display panel 400, and the light rays generated through the respective lenslets generate the 3D point light source.
  • the observer observes this point light source.
  • the three-dimensional image 600 is composed of a combination of many of these point light sources.
  • the condition is naturally calculated by a computer program.
  • FIG. 621 is a schematic diagram showing a display configuration that satisfies ultra-multi-view conditions for the viewer's monocular
  • FIG. 22 is a schematic diagram for inferring equation (1).
  • the size of one lenslet is d, and the distance from the lens array 220 to the three-dimensional point light source is z.
  • the maximum diameter of one lenslet of the lens array 220 when two or more rays enter the pupil is expressed by the following equation. Will be obtained.
  • the distance between the lens array 220 and the display panel 400 is equal to the focal length of the small elementary lens.
  • FIG. 23 is a simulation result for the maximum lenslet diameter required when designing a lens array that satisfies an ultra multi-view condition.
  • the lens array having a diameter of 1.25mm or less or a pinhole array having a pinhole spacing of 1.25mm if the observer's pupil size is 5mm. It must be constructed.
  • a three-dimensional display system is configured based on the lens array and pinhole array design satisfying the ultra-multi-view condition based on Equation (1).
  • FIG. 24 shows a schematic diagram of a three-dimensional display system with hyper-view conditions for both eyes of an observer.
  • both sides of the eye 24 D refers to the eye d + d eye.
  • the lens array or pinhole array must be designed to satisfy the super multi-view condition in the left and right images of the observer, respectively.
  • the fundamental image reversal problem of the integrated imaging apparatus may be solved through the element image conversion process, and the 3D image without distortion may be restored.
  • the three-dimensional display system using the lens array or pinhole array that satisfies the ultra-multi-view condition of the present invention provides a complete three-dimensional image such as holography, so that a more realistic three-dimensional image can be enjoyed, and a plurality of observers are tired There is a significant effect, such as being able to provide long-term observations without.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법에 관한 것으로서, 더욱 상세하게는 상기 영상재생단계에 설치되는 렌즈어레이는 상기 영상획득단계 단계에 설치되는 렌즈어레이에 비해 작은 사이즈로 구성되고, 상기 영상획득단계와 영상재생단계 사이에는 영상획득단계의 렌즈어레이를 통해 획득한 요소영상의 사이즈를 영상재생단계의 렌즈어레이의 사이즈에 맞게 변환 및 요소영상의 깊이를 변환시키는 요소영상 변환단계가 포함되는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법에 관한 것이다. 상술한 바와 같이 요소영상 변환 과정을 통하여 집적영상 장치 방식의 근본적인 깊이 역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.

Description

집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법
본 발명은 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법에 관한 것으로서, 더욱 상세하게는 영상획득과정과 디스플레이과정에 동일한 단일렌즈 직경을 갖는 렌즈어레이를 사용하던 기존의 집적 영상시스템과는 다르게, 각 과정에서 단일렌즈 직경이 서로 다른 렌즈어레이를 사용함으로써 고해상도의 영상이미지 특성을 유지하면서도 상대적으로 먼 거리에 위치한 3차원 물체를 획득할 수 있는 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법에 관한 것이다.
최근 3차원 영상과 영상 디스플레이 기술에 관한 연구들이 활발히 이뤄지고 전 세계적으로 많은 관심을 얻고 있다. 3차원 영상 재생 기술은 관측자에게 평면 이미지가 아니라 입체감 있고 실감 있는 3차원 입체 영상을 느낄 수 있도록 입체로 표시하는 기술을 말한다.
이에 따라 3차원 영상은 2차원 영상보다 실감 있고 자연스러우며 보다 인간에 가까워 3차원 영상에 대한 수요가 증가하고 있다.
인간이 실제 3차원 물체를 보듯이 완전한 3D 영상을 공중에 만들기 위해서는 아래와 4가지의 시각 매카니즘이 요구된다.
도 1은 관측자의 시각 메카니즘 개요도이다.
(1) 폭주 (Convergence) : 양안 망막의 같은 쪽 모든 점은 서로 상응점을 갖고 이 대응하는 두 점이 동시에 흥분하면 양 망막 위의 상은 단일하게 보인다.
양안 보기에서 단일 상이 맺히도록 하기 위한 양안 안구의 움직임을 폭주라 한다.
[네이버 지식백과] 폭주 [convergence] (산업안전대사전, 2004.5.10, 도서출판 골드)
(2) 양안시차(Binocular disparity): 왼쪽 눈의 영상과 오른쪽 눈의 영상이 서로 차이가 나는 것을 말한다.
사람은 이 양안시차 때문에 입체감을 느끼는데, 이를 이용하여 입체 영상을 구현하는 방식이 3D 텔레비전이다.
[네이버 지식백과] 양안시차 [Binocular Disparity] (지식경제용어사전, 2010.11, 대한민국정부)
(3) 원근조절 (accommodation) : 물체의 거리에 따라 눈에 있는 수정체 모양을 조절하여 물체의 초점이 망막에 맺히도록 하는 과정이다.
중뇌의 조절을 받는 반사작용이다.
[네이버 지식백과] 원근조절 [accommodation] (두산백과)
(4) 운동시차 (motion parallax) :망막상에서 가까운 대상과 먼 대상의 이동 속도 차이.
관찰자가 움직일 때 가까운 사물은 빨리 움직이는 것처럼 보이고 멀리 있는 사물은 느리게 움직이는 것처럼 보인다.
현재의 3차원 디스플레이 기술 중에서 상기의 4가지 시각 조건을 만족하는 것으로 홀로그래피 기술로 잘 알려져 있다.
그러나 홀로그래피 기술은 레이저와 같은 단색 광원과 초고해상도의 디스플레이 장치가 요구되기 때문에 가까운 시일내에 상용화되기 어려운 기술이다.
따라서, 인간의 시각 조건을 완벽히 만족하는 다른 디스플레이 방식으로는 초다시점 디스플레이 방식이 있다.
이러한 초다시점 디스플레이 방식에 관한 종래기술로는 등록특허공보 제1086305호에 3차원 영상 디스플레이 방법으로서, 적어도 2개의 시차 영상을 생성하는 단계 - 상기 적어도 2개의 시차 영상 각각은 동일한 물체에 대한 서로 다른 깊이들에서의 영상들에 대응하는 복수의 영상을 포함함 - ; 상기 적어도 2개의 시차 영상 각각의 상기 복수의 영상의 밝기를 변화시키는 단계; 및 상기 적어도 2개의 시차 영상을 하나의 디스플레이 패널에 디스플레이하는 단계를 포함하는 3차원 영상 디스플레이 방법과 3차원 영상 디스플레이 장치로서, 적어도 2개의 시차 영상을 생성하기 위한 영상 생성부 - 상기 적어도 2개의 시차 영상 각각은 동일한 물체에 대한 서로 다른 깊이들에서의 영상들에 대응하는 복수의 영상을 포함함 - ; 상기 적어도 2개의 시차 영상 각각의 상기 복수의 영상의 밝기를 변화시키기 위한 영상 밝기 제어부; 및 상기 적어도 2개의 시차 영상을 하나의 디스플레이 패널에 디스플레이하기 위한 디스플레이부를 포함하는 3차원 영상 디스플레이 장치가 등록공개되어 있다.
또 다른 종래기술로는 등록특허공보 제1159251호에 영상을 표시하는 디스플레이 패널; 상기 디스플레이 패널에 빛을 공급하는 광원부; 시점의 수 및 크기와, 상기 디스플레이 패널의 단위 픽셀의 크기에 의해 결정되는 고정된 크기의 피치를 가지며, 상기 디스플레이 패널에 표시되는 영상을 이용하여 시차 영상을 생성하는 광학판; 및 상기 디스플레이 패널 또는 상기 광원부와 상기 광학판 사이의 이격 거리를 조절하여 시청자에게 제공되는 시차 영상의 시역을 유지시키는 제어부를 포함하는 것을 특징으로 하는 3차원 영상표시장치와 광원부, 디스플레이 패널 및 시점의 수 및 크기와, 상기 디스플레이 패널의 단위 픽셀의 크기에 의해 결정되는 고정된 크기의 피치를 가지는 광학판을 포함하는 3차원 영상표시장치의 제어방법에 있어서, 시청자의 시점거리를 추출하는 단계; 및 상기 추출된 시점거리를 기초로 시차영상의 시역을 유지하도록 상기 디스플레이 패널 또는 상기 광원부와 상기 광학판 사이의 이격거리를 조절하는 단계를 포함하는 것을 특징으로 하는 3차원 영상표시장치의 제어방법이 등록공개되어 있다.
초다시점 조건을 만들기 위해서는 인간의 안구에 적어도 2개 이상의 영상 정보가 투사되어야 한다.
초다시점이란 관측자 동공(눈)에 2개 이상의 다시점 영상을 표시하도록 할 수 있는 경우를 가리키며, 이때의 조건을 초다시점 조건이라 한다.
한편, 집적 영상 디스플레이는 홀로그래피 디스플레이 방식과 같이 공간상의 점광원을 생성할 수 있고, 이런 점광원으로 구성된 3차원 영상에 대해 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점이 있다.
집적 영상방식의 주요한 특징은 입체 영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수직, 수평 시차를 제공할 수 있다는 것이다.
또한, 집적 영상방식은 총 천연색 실시간 영상재생이 가능하며, 기존의 평면 영상 장치와 호환성이 뛰어나다.
현재 3차원 입체영상을 재생하기 위한 방법에는 스테레오스코피(stereoscopy), 홀로그래피 (holography), 집적 영상(integral imaging)기법 등 여러 가지 기술이 연구 개발되고 있다.
이들 기술 중에서 집적 영상방식은 리프만(Lippmann)에 의해 1908년에 처음 제안되었다. 그 후, 집적 영상방식은 차세대 3차원 영상 재생 기술로 연구되어 왔다.
이러한 3차원 집적 영상표시방법의 종래문헌으로는 등록특허 제0891160호에 요소영상 압축 장치가 영역 분할 기법을 적용하여 요소영상을 압축하는 방법에 있어서, (a) 3차원 객체로요소영상터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소영상을 획득하는 단계; (b) 상기 획득된 요소영상을 유사 상관도에 따라 복수의 유사한 영상을 가진 유사 영역으로 분할하는 단계; (c) 상기 각각의 유사 영역에 포함된 영상을 1차원 요소영상 배열로 재배열하는 단계; 및 (d) 상기 재배열되어 생성된 1차원 요소영상 배열을 압축하는 단계를 포함하는 영역 분할 기법을 이용한 요소영상 압축 방법이 기재되어 있다.
또 다른 종래문헌의 실시 예로는 등록특허 제0942271호에 렌즈 어레이를 통해 픽업한 요소영상을 이용하여 집적 영상을 복원하는 방법에 있어서, 상기 요소영상을 미리 지정된 크기로 확대하고, 상기 확대된 각 요소영상의 동일 좌표에 위치하는 픽셀을 합하여 복원 영상을 생성하는 단계; 상기 각 복원 영상의 블러 메트릭 값을 측정하는 단계; 초점 거리에 따른 상기 블러 메트릭 값의 변곡점에 상응하는 복원 영상을 포커스 영상으로 선정하는 단계; 상기 포커스 영상의 각 픽셀값에서 상응하는 침식 마스크의 각 픽셀값을 빼는 침식 연산을 통해 침식 영상을 생성하는 단계; 및 상기 복원 영상에 상기 침식 영상을 매핑하는 단계를 포함하는 집적 영상 복원 방법이 기재되어 있다.
도 2는 집적 영상방식의 기본원리를 나타내 개요도이다.
기본적으로 3차원 물체(110)를 3차원 영상(210)으로 재생하는 원리는 3차원 물체(110)가 렌즈어레이(120)을 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와 영상획득단계(100)에 의해 수집된 요소영상(100)을 다시 렌즈어레이(220)을 통해 공간상에 3차원 영상(210)로 재생하는 영상재생단계(200)로 구성된다.
즉, 집적 영상 기술은 도 2에서와 같이 크게 영상획득단계(100)와 영상재생단계(200)로 나누어진다.
영상획득단계(100)는 이미지 센서와 같은 2차원 감지기와 렌즈어레이(120)로 구성되며, 이때 3차원 물체(110)는 렌즈어레이(120) 앞에 위치한다.
그러면 3차원 물체(110)의 다양한 영상정보들이 렌즈어레이(120)을 통과한 후 2차원 감지기에 저장된다.
이때 저장된 영상은 요소영상(130)으로서 3차원 영상(210)의 재생을 위해 이용된다.
이후 집적 영상기술의 영상재생단계(200)는 영상획득단계(100)의 역 과정으로, 액정 표시 장치와 같은 영상재생장치와 렌즈어레이(220)로 구성된다.
여기서, 영상획득단계(200)에서 얻은 요소영상(230)은 영상재생장치에 표시되고, 요소영상(230)의 영상정보는 렌즈어레이(220)를 통과하여 공간상에 3차원 영상(210)으로 재생되게 된다.
실질적으로 영상획득단계(100)의 요소영상(130)과 영상재생단계(200)의 요소영상(230)은 실질적으로 동일한 것으로 단지, 영상재생단계(200)의 요소영상(230)은 영상획득단계(100)에서 획득한 요소영상(120)을 2차원 감지기에 저장되어 3차원 영상을 재생하기 위해 사용하는 것으로서 편의상 영상획득단계(100)와 영상재생단계(200)를 구분하기 위하여 다른 도면요소영상호로 도시하였다.
집적 영상방식은 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점이 있다.
집적 영상방식의 주요한 특징은 입체 영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수직, 수평 시차를 제공할 수 있다는 것이다.
또한, 집적 영상방식은 총 천연색 실시간 영상재생이 가능하며, 기존의 평면 영상 장치와 호환성이 뛰어나다.
이러한 집적 영상방식을 이용하여 3차원 영상을 재생시키는 방법은 크게 두 가지 방식으로 분류된다.
첫 번째는 깊이 우선 방식(Depth Priority Integral Imaging : DPII)이고, 두번째는 해상도 우선 방식(Resolution Priority Integral Imaging : RPII)이다.
먼저 깊이 우선 방식은 렌즈어레이와 디스플레이 간의 거리와 렌즈어레이의 초점거리가 같도록 설계된 시스템으로 실상 면과 허상 면의 정보를 모두 갖고 있어 입체감이 큰 영상을 재생하는데 유리하다.
반면에 해상도 우선 방식은 렌즈어레이와 디스플레이 사이의 거리와 렌즈어레이의 초점거리를 다르게 설계한 디스플레이 방식으로 그림 3처럼 디스플레이와 렌즈의 거리가 렌즈의 초점거리보다 짧을 경우 복원 영상은 실상 평면에 집적되며, 초점거리보다 큰 경우 허상 평면에 집적되게 되는데 이 위치를 중앙 깊이 평면(CDP)이라 정의한다.
이 경우 고해상도의 3차원 영상 복원이 가능하다는 이점이 있지만 오로지 중앙 깊이 평면에서만 영상복원이 가능하여 깊이 감 표현에 제약이 있다는 단점이 존재한다.
도 3은 깊이 우선 집적 영상방식을 나타낸 개요도이고, 도 4는 해상도 우선 집적 영상방식을 나타낸 개요도이다.
집적 영상 방식은 렌즈어레이(220)와 요소영상 표시장치인 디스플레이 사이의 거리(g)에 따라서 2종류로 구분할 수 있다.
즉 거리 g가 렌즈 배열(220)의 기초렌즈의 초점거리 (f)와 동일한 경우와 그렇지 않은 경우로 나눌 수 있다.
g=f인 경우는 도 3(a)와 같이 요소영상(230)의 한 픽셀이 렌즈를 통하여 평행빔이 되어서 집적 빔이 만들어지게 된다.
이 경우를 깊이 우선 집적 영상 방식이라 하며, 3차원 영상을 표시하는 깊이 영역을 최대로 만들 수 있지만 3차원 영상(210)의 해상도가 낮은 단점이 있다.
이에 반해서 g가 f와 동일하지 않은 경우는 해상도 우선 집적 영상방식이라 하며, 요소영상(230)의 한 픽셀이 렌즈를 통하여 수렴빔이 되어서 집적 빔이 만들어지며, 이 경우에 3차원 영상(210)의 해상도를 증가시킬 수 있지만 깊이 영역이 급격히 줄어든다.
또한, 앞서 말한 두 방식 모두가 렌즈어레이라는 광학 소자를 사용함으로써 근본적인 문제인 깊이 역전 현상(Pseudoscopic)이 발생한다.
깊이 역전 현상은 물체를 바라보는 방향이 요소 영상 획득 과정과 3차원 영상 복원 과정에서 서로 반대이므로 재생되는 입체 영상의 깊이가 역전되는 현상이다.
이 깊이 역전 현상이 가장 이슈화되는 이유는 3차원 영상이 기존의 2차원 영상과 달리 깊이 차원을 갖기 때문에 깊이 역전 현상이 일어나게 되면 관찰자에게 앞뒤가 뒤바뀐 복원 영상을 제공하게 된다.
그렇기 때문에 깊이 역전 현상은 반드시 개선되어야 할 문제점이다.
1931년 Ives는 광학적으로 획득된 요소 영상을 복원하여 깊이가 역전된 영상이 재생되면, 렌즈어레이를 통하여 획득된 요소영상이 역전된 상태였기 때문에 맨 처음 요소영상 획득에 사용된 물체와 동일한 방식으로 재생된 3차원 영상을 2차 오브젝트로 가정하고 이를 동일한 렌즈어레이를 통하여 다시 한번 픽업 후 이를 재생 함으로서 깊이 역전 현상이 제거된 복원영상을 얻을 수 있게 된다.
이 방법은 실상 면에 왜곡이 없는 3차원 영상을 재생할 수 있다.
하지만, 깊이 변환 문제에 있어서 효과적인 해결법은 아니다.
그 이유는, 두 단계의 기록과정으로 인하여 이미지의 품질에 현저한 저하가 오게 되는데 이는 회절효과와 잘못된 구조의 영상 획득 장치와 표현 소자 때문에 발생한다.
다음으로 제안된 방법은 1988년 Davies 가 제안한 방법으로 물체와 렌즈어레이 사이에 Auto-collimating screen을 두고 요소영상을 획득하면 Auto-collimating screen에 의해서 깊이가 역전된 왜곡이 없는 3차원 영상이 만들어지고 이 영상을 렌즈어레이가 물체로 받아들이면서 다시 깊이가 역전됨으로써, 처음 물체와 같은 3차원 영상이 허상 면에 복원된다.
이 방법은 Ives와 달리 두 번의 기록이 필요 없이 한번으로 영상을 얻어 낼 수 있는 장점이 있다.
하지만, Auto-collimating screen의 회절에 의한 해상도 저하 문제가 발생한다. 게다가 복원된 영상은 실상 면이 아닌 허상 면에 재생된다는 단점이 있다.
또한, 1997년 Okano에 의하여 제안된 방법은 광학적으로 획득한 각각의 요소영상 중심축을 기준으로 180도 회전하여 새로운 요소영상을 만들고 이를 복원하면 허상 면에서 왜곡이 없는 3차원 영상을 얻을 수 있게 된다.
이 방법은 앞선 방법과는 다르게 해상도 저하가 되지 않는 장점을 갖는다.
하지만, 이 방법 역시 복원된 영상이 허상 면에 재생되는 단점이 있다.
또 다른 방법으로는 2003년 Jang과 Javidi가 제안한 방법으로 Davies에 의해 제안된Auto-collimating screen 대신 converging lens를 사용하는 방식이 있다.
이 방법은 깊이가 역전된 요소영상을 기록하고 기록된 요소영상을 복원하는 과정에서 각각의 요소영상들을 Okano의 방식처럼 각각 180도 회전한다.
이를 복원하면, 실상 면에서 3차원 영상을 얻을 수 있다는 장점이 있으나 converging lens에 의한 왜곡으로 인해 영상에 손실을 발생시키는 단점 또한 가지고 있다 [10]. 마지막으로 2013년 Jung과 Lee가 제안한 방법으로 요소영상의 픽셀을 재배열 하는 간단한 픽셀 재배열(Smart Pixel Mapping: SPM) 알고리즘을 사용하는 방식이 있다.
이 방식은 기존의 방식들이 고가의 장비가 필요하고 요소영상을 획득하는 방법이 복잡했었던 문제점을 해결하고자 소프트웨어 알고리즘을 이용하여 디지털 적으로 깊이 역전 현상을 해결 할 수 있는 방법으로 제안되었다.
하지만, 제안하는 픽셀 재배열 알고리즘은 복원되는 영상의 공간적 표현 범위가 렌즈어레이와 렌즈어레이의 초점거리에 의하여 생성되는 기본적인 중앙 깊이 평면(CDP) 사이로 제한 되어 깊이 변환 범위가 한정적이라는 단점이 있다.
또한, 기존의 모든 집적영상 시스템들은 요소영상 획득과정과 3차원 영상 복원 과정에서 동일한 렌즈어레이를 사용하기 때문에 요소 영상 획득(Pickup)을 위한 변수와 3차원 영상 복원(Display)을 위한 변수 사이에 상반관계(Trade off)가 발생한다는 근본적인 문제를 갖는다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 시스템과 알고리즘은 기존의 집적영상 시스템에서는 표현이 불가능한 거리의 3차원 물체를 직접 설계한 서로 다른 직경의 렌즈어레이 조합을 이용하여 실시간으로 획득하고, 이렇게 획득된 단위영상에 대해 픽셀 재배열 알고리즘을 적용함으로써 새로운 형태의 변조된 2차 요소영상을 생성한다.
그리고 광학적 복원 기법을 통해 변조된 2차 요소영상을 복원하였을 때 깊이 역전 현상을 해결하고 해상도와 깊이 감을 동시에 만족시킬 수 있는 새로운 시스템을 제안하고자 한다.
또한, 관측자에게 홀로그래피와 같은 피로감이 없는 완전한 3차원 영상을 제공하는 디스플레이 시스템을 안출한 것으로, 디스플레이 패널앞에 초다시점 조건을 만족하도록 디자인된 렌즈어레이 또는 핀홀어레이를 배치하여 점광원으로 구성된 안전한 3차원 영상을 공중에 제공함으로써 다수의 관측자가 동시에 3차원 영상을 다양한 각도에서 즐길 수 있도록 한 렌즈어레이 또는 핀홀어레이를 이용한 초다시점형 3차원 디스플레이 방법 및 시스템을 제공하는 데 그 목적이 있다.
본 발명은 3차원 물체가 렌즈어레이를 투시하도록 하여 요소영상을 획득하는 영상획득단계와, 영상획득단계에 의해 수집된 요소영상을 다시 렌즈어레이를 통해 공간상에 3차원 영상으로 재생하는 영상재생단계로 구성되어 광학적으로 획득한 3차원 물체의 요소영상을 3차원 입체영상으로 복원하는 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법에 있어서, 상기 영상재생단계에 설치되는 렌즈어레이는 상기 영상획득단계 단계에 설치되는 렌즈어레이에 비해 작은 사이즈로 구성되고, 상기 영상획득단계와 영상재생단계 사이에는 영상획득단계의 렌즈어레이를 통해 획득한 요소영상의 사이즈를 영상재생단계의 렌즈어레이의 사이즈에 맞게 변환 및 요소영상의 깊이를 변환시키는 요소영상 변환단계가 포함되는 것이 특징이다.
상술한 바와 같이 요소영상 변환 과정을 통하여 집적영상 장치 방식의 근본적인 깊이 역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.
디스플레이 과정에서는 새롭게 재구성된 요소영상과 직경이 작은 렌즈어레이를 사용하여 실상 면과 허상 면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상 시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.
또한, 요소영상의 깊이 역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상 디스플레이 장치로는 획득할 수 없는 깊이 표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다는 등의 현저한 효과가 있다.
그리고 본 발명의 초다시점 조건을 만족하는 렌즈어레이 또는 핀홀어레이를 이용한 3차원 디스플레이 시스템은 홀로그래피와 같은 완전한 3차원 영상을 제공하기 때문에 보다 실감나는 3차원 영상을 즐길 수 있으며, 다수의 관측자에게 피로감 없이 장시간의 관측을 제공할 수 있는 등의 현저한 효과가 있다.
도 1은 관측자의 시각 메카니즘 개요도.
도 2는 집적 영상방식의 기본원리를 나타낸 개요도.
도 3은 깊이 우선 집적 영상방식을 나타낸 개요도.
도 4는 해상도 우선 집적 영상방식을 나타낸 개요도.
도 5는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법을 나타낸 개요도.
도 6은 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법의 순차도.
도 7은 유효 픽업 영역을 정의하는 기하광학적 해석을 나타낸 개요도.
도 8은 본 발명 요소영상 변환단계에서 요소영상의 변환과정을 나타낸 개요도.
도 9는 본 발명 요소영상 변환단계에서 깊이변환되는 요소영상.
도 10은 깊이 우선 집적 영상방식 적용된 집적 영상시스템 개요도.
도 11은 깊이변환단계에서 요소영상을 조정하는 것을 나타낸 개요도.
도 12는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법이 적용되는 장치를 나타낸 사진.
도 13은 렌즈사이즈에 따른 요소영상의 해상도를 비교한 이미지사진.
도 14는 k값에 따른 요소영상 비교 이미지사진.
도 15는 본 발명의 집적 영상시스템의 3차원 영상 표시깊이변환방법에 의해 2차 요소영상을 복원한 이미지사진.
도 16은 서로 다른 세 지점에서 얻어진 3차원 복원 영상의 시차영상을 나타낸 이미지사진.
도 17은 k값을 변경에 따른 공간상에 복원된 3차원 영상의 이미지사진.
도 18은 홀로그래피 방식에서 점광원 생성 방식의 3차원 영상 표시 방법을 나타낸 개요도.
도 19는 방향성 광선을 이용한 점광원의 생성 및 3차원 영상의 관측을 나타내는 개요도.
도 20은 본 발명 초다시점 조건을 만족하는 렌즈어레이 또는 핀홀어레이를 이용한 3차원 디스플레이 구성을 나타낸 개요도.
도 21은 관측자의 단안에 대한 초다시점 조건을 만족하는 디스플레이 구성을 나타낸 개요도.
도 22는 식(1)을 유추하기 위한 개요도.
도 23은 식 (1)에 대한 시뮬레이션 결과.
도 24는 관측자의 단안에 대한 초다시점 조건을 만족하는 디스플레이 구성을 나타낸 개요도.
<도면의 주요 부분에 대한 부호의 설명>
100. 영상획득단계 200. 영상재생단계 300. 요소영상 변환부
400. 디스플레이 패널 500. 요소영상 생성부
110. 3차원 물체 120. 렌즈어레이 130. 요소영상
210. 3차원 영상 220. 렌즈어레이 230. 요소영상
본 발명 3차원 물체(110)가 렌즈어레이(120)를 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와, 영상획득단계(100)에 의해 수집된 요소영상(130)을 다시 렌즈어레이(220)를 통해 공간상에 3차원 영상(210)으로 재생하는 영상재생단계(200)로 구성되어 광학적으로 획득한 3차원 물체(110)의 요소영상(130)을 3차원 입체영상으로 복원하는 집적 영상시스템의 3차원 영상 표시깊이변환방법은 상기 영상재생단계(200)에 설치되는 렌즈어레이(220)는 상기 영상획득단계(100) 단계에 설치되는 렌즈어레이(120)에 비해 상대적으로 작은 사이즈로 구성되고, 상기 영상획득단계(100)와 영상재생단계(200) 사이에는 영상획득단계(100)의 렌즈어레이(120)를 통해 획득한 요소영상(130)의 사이즈를 영상재생단계(200)의 렌즈어레이(220)의 사이즈에 맞게 변환 및 요소영상(130)의 깊이를 변환시키는 요소영상 변환단계(300)가 포함되는 것이다.
상기 영상재생단계(200)에서는 깊이 우선 집적 영상 디스플레이 장치를 통해 3차원 영상을 재생시키는 것이다.
또한, 상기 디스플레이 패널(400)의 후방에 설치된 광원이 디스플레이 패널(400)과 렌즈어레이(220)를 통과하여 방향성을 이루어 점광원을 형성하며, 상기 점광원의 군집에 의해 요소영상 생성부(500)에서 디스플레이 패널(400)에 제공된 요소영상이 3차원 영상(600)으로 보여지는 것이다.
또한, 상기 렌즈어레이(220)는
Figure PCTKR2014003411-appb-I000001
의 수식에 의해 렌즈릿 직경을 d이하로 계산하여 사용하는 것이다.
상기 렌즈어레이(220)를 대신하여 핀홀어레이를 설치할 수 있는 것이다.
그리고, 상기 핀홀어레이는
Figure PCTKR2014003411-appb-I000002
의 수식에 의해 핀홀간격을 d이하로 계산하여 사용하는 것이다.
이하, 본 발명 집적 영상시스템의 3초다시점 3차원 디스플레이 시스템 및 3차원 표시깊이변환방법을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.
도 5는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법을 나타낸 개요도이며, 도 6은 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법의 순차도이다.
집적 영상시스템은 3차원 물체(110)가 렌즈어레이(120)를 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와, 영상획득단계(100)에 의해 수집된 요소영상(130)을 다시 렌즈어레이(220)를 통해 공간상에 3차원 영상(210)으로 재생하는 영상재생단계(200)로 구성되어 광학적으로 획득한 3차원 물체(110)의 요소영상(130)을 3차원 입체영상으로 복원하는 것이다.
이에, 본 발명의 집적 영상시스템의 3차원 영상 표시깊이변환방법은 상기 영상재생단계(200)에 설치되는 렌즈어레이(220)는 상기 영상획득단계(100) 단계에 설치되는 렌즈어레이(120)에 비해 상대적으로 작은 사이즈로 구성되고, 상기 영상획득단계(100)와 영상재생단계(200) 사이에는 영상획득단계(100)의 렌즈어레이(120)를 통해 획득한 요소영상(130)의 사이즈를 영상재생단계(200)의 렌즈어레이(220)의 사이즈에 맞게 변환 및 요소영상(130)의 깊이를 변환시키는 요소영상 변환단계(300)가 포함되는 것이 특징이다.
즉, 도 5(a)의 직경이 큰 렌즈어레이(120)를 이용한 요소영상 획득방법은 유효 영상 획득영역을 최대화시켜 먼 거리에 있는 물체를 획득할 수 있게 해주며, 획득된 단위영상은 새롭게 정의된 실시간 요소영상 변환단계(300)를 통하여 깊이역전현상이 해결되고, 3차원 영상 복원에 사용된 작은 직경의 렌즈어레이(220)에 맞게 변환되어, 실상면과 허상면을 동시에 표현가능한 도 5(b)의 깊이 우선 집적 영상디스플레이장치에 복원된다.
영상획득단계(100)에서는 일반적으로 상용화된 디지털카메라와 유효픽업영역을 넓히기위해 직경이 큰 렌즈어레이(120)를 사용하였다.
이를 통해 렌즈어레이(120)로부터 먼 거리에 있는 실제물체를 단위영상으로 기록할 수 있게 된다.
그러나 직경이 큰 렌즈어레이(120)를 통하여 획득한 요소영상(130)을 전처리없이 직경이 작은 렌즈어레이(220)를 사용하는 깊이 우선 집적 영상방식으로 복원하는 것은 불가능하다.
왜냐하면 직경이 작은 렌즈어레이가 표현할 수 있는 요소영상의 화소수는 직경이 큰 렌즈어레이로 획득한 요소영상의 화소수에 비하여 상대적으로 적기 때문이다.
따라서, 요소영상 변환단계(300)에서 앞서, 기록된 단위 영상을 직경이 작은 디스플레이용 렌즈어레이(220)에 맞는 요소영상으로 변환하여야 한다.
이러한 요소영상 변환단계(300)를 통하여 집적 영상장치방식의 근본적인 깊이역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.
마지막으로 영상재생단계(200)에서는 새롭게 재구성된 요소영상(230)과 직경이 작은 렌즈어레이(120)를 사용하여 실상면과 허상면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.
또한, 본 발명을 통하여 우리는 요소영상의 깊이역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상디스플레이장치로는 획득할 수 없는깊이표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다.
도 7은 유효 픽업 영역을 정의하는 기하광학적 해석을 나타낸 개요도이다.
우선 렌즈어레이(120)를 이용한 픽업에서 유효픽업영역을 정의하고자한다.
도 7은 유효픽업영역을 정의하는 기하광학적 해석을 보여준다.
도 7에서와 같이 집적 영상기법의 영상획득단계(100)에서 사용되는 렌즈어레이는 많은 수의 기초렌즈로 구성된다.
여기서 기초렌즈의 직경을 d라고 하고, 초점거리를 f라고 정의한다.
일반적으로 렌즈어레이는 디스플레이패널 앞에 위치하며, 하나의 렌즈에 대응하는 각각의 요소영상이 디스플레이패널에 표시된다.
여기서 단일 요소영상의 픽셀크기를 n × n 이라고 정의한다.
도 7과 같이 이웃하는 두 개의 렌즈를 고려하여, 3차원 물체(110)는 렌즈어레이로(120)부터 z 거리에 위치한다고 가정한다.
이때, 3차원 물체(110)의 한점이 이웃하는 두 개의 렌즈에 서로 다른 위치에 기록이 되어야만　각각의 요소영상은 서로 다른 시차를 가질 수 있다.
이 조건하에서 집적 영상픽업장치가　가지는 최대유효 픽업영역은 다음과 같이 정의할 수 있다.
아래 식(1)에서 n은 요소영상(120)이 갖는 픽셀수를 의미하며, f는 렌즈어레이(110)의 초점거리를 뜻한다.
Figure PCTKR2014003411-appb-I000003
(1)
식(1)을 통해 알 수 있듯이, 집적 영상픽업방법에서 유효픽업영역을 확대하기 위해서는 렌즈의 초점거리와, 요소영상의 픽셀수를 증가시켜야한다.
그러나 렌즈의 초점거리를 증가시킨 렌즈어레이는(120) 영상획득단계(110)에서는 유리하게 사용할 수 있지만 영상재생단계(200)에서는 오히려 시야각을 줄이는 문제점을 발생시킨다.
따라서, 영상획득단계(100)와 영상재생단계(200)에서 동일한 렌즈어레를 사용하는 집적 영상시스템은 유효픽업영역과 디스플레이 시야각 사이의 상반관계(Trade off)가 생기게 된다.
본 발명에서는 이러한 문제점을 해결할 수 있는 방법으로 먼 거리에 위치한 실사영상에 대해서 효과적으로 단위영상을 획득할 수 있도록 상대적으로 영상재생단계(200)에서 사용하는 렌즈어레이(220)보다 직경이 큰렌즈로 구성된 렌즈어레이(120)를 사용한다.
식(1)의 조건에 의해서 직경이 큰 렌즈를 사용하면 동일한 F/# 조건(렌즈어레이를 구성하고 있는 단일렌즈의 수)에서 상대적으로 렌즈의 초점거리와 이에 대응하는 요소영상의 픽셀수를 증가시킬 수 있다.
따라서, 유효픽업영역을 증가시키면서도 디스플레이장치의 시야각을 확보할 수 있다.
앞서 설명하였듯 본 발명은 영상획득단계(100)와 영상재생단계(200)과정에 사용되는 렌즈어레이가 서로 다른 단일렌즈 직경의 크기를 가진다.
영상획득단계(100)에서는 유효픽업영역을 최대화하기 위해 직경이 큰 렌즈어레이(120)를 사용하고, 영상재생단계(200)에서는 깊이표현영역을 극대화하기 위하여 직경이 상대적으로 작은 렌즈어레이(220)를 사용한다.
이때, 획득된 단위영상을 복원하기 위해서는 요소영상변환 및 변조된 2차 요소영상 변환과정이 필요하다.
왜냐하면 작은 직경의 렌즈어레이가 표현할 수 있는 요소영상의 화소수는 큰 직경의 렌즈어레이로 획득한 요소영상의 화소수에 비하여 상대적으로 작기 때문이다.
결국, 실시간 요소영상 변환 알고리즘이 필요하게 된다.
상기 요소영상변환 및 변조된 2차 요소영상 변환과정을 요소영상 변환단계(200)라고 한다.
알고리즘은 두 번의 과정을 통하여 최종적으로 변조된 2차 요소영상을 생성한다.
첫번째 과정은 직경이 큰 렌즈어레이를 통하여 얻어진 단위영상을 요소영상으로 변환하는 과정이다.
이 과정은 식(2)를 통하여 이루어진다.
도 8은 본 발명 요소영상 변환단계에서 요소영상의 변환과정을 나타낸 개요도.
도 8에서 si와sj는 한 개의 단위영상의 위치를 나타내며, ss와st는 (si,sj)에 해당하는 단일 단위영상의 픽셀위치이다.
그리고, es와 et는 생성된 단위 요소영상의 위치를나타내며 ei와ej는 이단위 요소영상의 픽셀위치를 의미한다.
이 과정에서 기록된 단위영상에 대하여 (si,sj)위치의 단위영상에서 (ss, st)에 위치한 픽셀은 단위 영상변환에 의해서 (es,et)위치의 요소영상에서 (ei,ej)에 위치한 픽셀로 바뀌게 된다.
이러한 단위영상 변환과정은 다음의 식(2)와 같이 행렬식으로 표현할 수 있다.
Figure PCTKR2014003411-appb-I000004
(2)
식(2)를 이용하여 단위영상으로 부터 변환된 요소영상은 직경이 큰 렌즈어레이를 통해 얻어진 영상이므로 이 요소영상을 직경이 작은 렌즈어레이에서 복원하기위해서는 깊이변환행렬을 사용해야한다.
이때, 깊이변환알고리즘은 다음식(3)과 같이 주어진다.
Figure PCTKR2014003411-appb-I000005
(3)
여기서 기호n은 렌즈가 표현하는 픽셀수를 의미하고 k는 변환하고자 하는 복원면의 깊이값을 의미한다.
이러한 변환은 실시간으로 계산이 가능하다.
식(2)와 (3)을 이용하여 만든 최종 요소영상 변환단계(300)는 단위영상을 요소영상으로 변환하는 과정과 요소영상의 깊이변환을 동시에 수행할 수 있는 새로운 변환알고리즘 행렬식으로 나타낼 수 있다.
이 새로운 행렬식은 다음 식(4)와 같이 표현할 수 있다.
Figure PCTKR2014003411-appb-I000006
(4)
상기 식(4)는 영상의 픽셀정보에 기반한 행렬식이기 때문에, 단위영상을 깊이가 변환된 요소영상으로 실시간 변환하는 것이 가능하다.
도 9는 본 발명 요소영상 변환단계에서 깊이변환되는 요소영상이다.
도 9에 도시된 바와 같이 알고리즘을 통하여 생성 및 변환된 이미지의 예를 나타내고 있다.
도 9의(a)는 직경이 큰 렌즈어레이를 통해 획득한 단위영상이며, (b)는 식(4)를 통해 단위영상으로부터 변환된 요소영상이다.
그리고, 도 9의 (c)는 식(4)를 통해 변조된 2차 요소영상을 나타내고 있다.
도 10은 깊이 우선 집적 영상방식 적용된 집적 영상시스템 개요도이다.
변조된 2차 요소영상을 이용하여 3차원 입체 영상을 복원하기 위해 사용하는 집적 영상 디스플레이 방식은 깊이 우선 집적 영상디스플레이 방식이다.
이 방식은 일반적으로 영상획득단계와 영상재생단계에 서로 동일한 크기의 단일 렌즈 직경을 갖는 렌즈어레이를 사용하고, 렌즈어레이의 초점거리와 동일한 위치에 디스플레이 패널을 위치시킴으로써 요소영상을 3차원 영상으로 표현하는 것이다.
그러나 본 발명에 사용하는 렌즈어레이는 영상획득단계(100)에서 사용된 렌즈어레이 보다 상대적으로 직경이 작은 렌즈어레이를 사용하고 렌즈어레이의 초점거리와 동일한 위치에 디스플레이 패널을 위치시킨다.
이때, 영상 픽셀에 대한 새로운 배열을 통하여 복원에 사용한 렌즈어레이에 적합한 요소영상을 재생성하여 사용함으로써 3차원 복원영상의 정보를 실상 면과 허상 면 동시에 표현 가능하고, 이를 통하여 기존의 방식에 비하여 향상된 깊이 감을 제공할 수 있도록 하였다.
또한, 식 (4)의 k값을 변경해 줌으로써 3차원 영상의 복원 위치를 바꿀 수 있다.
식 (4)의 k값은 복원하고자 하는 깊이 평면을 의미한다.
도 11은 깊이변환단계에서 요소영상을 조정하는 것을 나타낸 개요도이다.
도 11을 통해 알 수 있듯이, 복원된 3차원 입체영상은 직경이 큰 렌즈어레이를 통해 먼 거리의 물체를 획득하여 복원하기 때문에, 기존의 상대적으로 직경이 작은 렌즈어레이로 획득된 영상에 비하여 넓은 깊이 정보를 갖고 있다.
복원된 3차원 입체영상은 렌즈어레이를 중심으로 앞 부분은 실상 면에서 재생되고, 뒷부분은 허상 면에서 재생된다.
이때, k값을 변경해 줌으로써 복원되는 영상의 깊이 정보를 확인할 수 있는데, 이는 식 (4-1), (4-2)에서 k값의 변경을 통하여 요소영상의 복원위치인 (nei, n)를 변화시켜줌으로써 복원되는 영상의 위치를 확인할 수 있다.
Figure PCTKR2014003411-appb-I000007
(4-1)
Figure PCTKR2014003411-appb-I000008
(4-1)
도 12는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법이 적용되는 장치를 나타낸 사진이다.
도 12에 도시된 바와 같이 먼 거리에 위치한 물체를 촬영하기 위해 직경이 큰 렌즈어레이를 사용하며 획득한 단위 영상을 새롭게 제안하는 변환 알고리즘을 통해 요소영상으로 변환하고, 상대적으로 직경이 작은 렌즈어레이에서 복원하기 위하여 다시 변조된 2차 요소영상으로 생성한다.
그리고, 변조된 2차 요소영상을 깊이 우선 집적 영상시스템을 통해 실상 면과 허상 면에 동시에 복원 및 재생하는 시스템이다.
따라서, 제안하는 시스템의 유용함을 보이기 위해서 기초적인 실험을 수행하였다.
<실시예>
도 12(a)의 픽업과정은 6 x 6 개의 렌즈로 구성된 영역만을 사용하는 큰 직경 렌즈어레이를 사용하였고 자세한 사양은 표1에 나타내었다.
표 1 <표 1>
디스플레이 패널 픽셀거리 0.1245mm
해상도 3840×2400 pixel
영상획득단계의렌즈어레이 렌즈거리 7.47mm
초점거리 30mm
영상재생단계의렌즈어레이 렌즈거리 1.6mm
초점거리 2.4mm
영상획득단계의 렌즈어레이와 KW마크 간의 거리 500mm
영상회득단계의 렌즈어레이와 Browine doll 1000mm
픽업하고자 하는 물체는 KW마크와 Brownie 인형이며, 각각 렌즈어레이로부터 약 500mm 와 1000mm 만큼 떨어진 곳에 위치하고 있다.
KW마크는 40mm(H) × 75mm(W)의 크기에 5mm의 두께를 갖고 있고, Brownie인형은 140(H)mm × 100mm(W)의 크기에 두께는 40이다.
렌즈어레이를 통해 단위 영상을 획득하기 위해서 Nikon 7100D 카메라를 사용하였다.
이렇게 얻어진 단위 영상의 크기는 1200 × 1200 pixel이며, 하나의 단위 영상은 200 × 200 pixel로 구성된다.
이때, 표1에서 영상재생단계에 사용된 직경이 작은 렌즈어레이와 동일한 렌즈어레이를 영상획득단계에 동일하게 적용한다면, 단일 렌즈의 초점거리가 2.4mm이므로, 유효 픽업 범위는 이론적으로 480mm에 불과하여 이를 해당 실험에 적용하게 되면, 두 물체 모두 유효 픽업 영역을 벗어난 위치에 놓여져 있기 때문에 픽업이 불가능할 것이다.
하지만, 본 실험에서는 유효 픽업 범위를 최대화하기 위해 직경이 큰 렌즈어레이를 이용하고, 렌즈어레이의 초점거리는 30mm이므로, 식 (1)에 따라 유효 픽업 영역은 약 6000mm가 된다.
따라서, 픽업을 위해 사용된 KW마스크와 Brownie 인형은 각각 500mm와 1000mm에 놓여져 있으므로 이론상으로 픽업이 가능하다.
이를 증명하기 위하여 표 1의 두 가지 렌즈어레이를 이용해 실험을 진행하였다.
그 결과는 도 13과 같다.
도 13은 렌즈사이즈에 따른 요소영상의 해상도를 비교한 이미지사진이다.
도 13에서 볼 수 있듯이 직경이 작은 렌즈어레이로는 두 물체 모두 획득이 불가능하며 직경이 큰 렌즈어레이에서는 모두 획득되는 것을 알 수 있다.
이 실험을 통해 영상 획득 부와 디스플레이 부에 동일한 작은 직경의 렌즈어레이를 사용하던 기존의 방식보다 제안하는 방식을 통해 유효 픽업 범위가 약 12.5배 증가 되었음을 확인하였다.
다음으로, 직경이 큰 렌즈어레이를 이용한 요소영상 획득단계를 통해 얻어진 단위 영상을 깊이 우선 방식의 집적 영상디스플레이 시스템에 정확히 표현하기 위해 식 (4)의 행렬 식에 대하여 컴퓨터를 이용한 연산을 수행하고 변조된 2차 요소영상을 생성하였다.
또한, 시스템의 상용화 가능성을 검토하기 위하여 최종 변조된 2차 요소영상을 얻는데 까지 걸리는 시간을 측정하였다.
이 실험을 위해 사용된 컴퓨터의 사양은 Intel core i7 processor 이며, 이러한 환경에서 변환 알고리즘을 통해 단위영상으로부터 변조된 2차 요소영상을 생성하는데 소요된 시간은 약 20ms이다.
이는 약 50FPS에 해당되므로 실시간으로 요소영상을 재생성할 수 있다는 가능성을 확인하였다.
또한, 제안하는 시스템이 기존의 일반적인 집적 영상시스템에 비하여 넓은 깊이 정보를 갖는다는 것을 증명하기 위하여 실험을 진행하였다.
이 실험은 식 (4)의 k값을 변경해 줌으로써 깊이 평면을 바꿔가며 복원하고, 이를 통해 획득된 KW마크와 Brownie인형이 서로 다른 자유공간상에 복원되고 있음을 증명하기 위한 실험이다.
도 14는 k값에 따른 요소영상 비교 이미지사진이다.
우선, 변조된 2차 요소영상은 식 (4)에 적용된k값을 변경함에 따라 그림 13과 같이 표현되며, 요소영상을 구성하고 있는 픽셀들의 배열 구조가 서로 달라지는 것을 확인할 수 있다. 이는, k값을 통해 변경된 깊이 평면마다 생성되는 요소영상의 픽셀 배열이 서로 다르다는 것을 의미한다.
본 발명에서 제안한 시스템에서는 획득 가능한 유효 픽업 범위가 이론적으로6000mm이내이다.
하지만 본 실험에서 사용된 픽업 영역은 피사체의 위치에 따라 최대 1000mm 이내로 한정하여 수행하였기 때문에 k값을 1부터 10까지 변경하여도, 이 영역에는 3차원 물체의 정보가 존재하지 않는다.
따라서, 본 실험에 사용한 픽업범위인 500mm부터 1000mm까지는 k값을 11부터 29까지 변경함에 따라 단위 영상으로부터 변조된 2차 요소영상을 서로 다르게 생성할 수 있음을 확인하였다.
도 15는 본 발명의 집적 영상시스템의 3차원 영상 표시깊이변환방법에 의해 2차 요소영상을 복원한 이미지사진이다.
즉, 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법을 통하여 변조된 2차 요소영상을 복원한 영상이다.
마지막으로, 표 1과 같은 실험환경을 기반으로, 요소영상 변환 과정을 통하여 최종적으로 얻어진 변조된 2차 요소 영상을 이용하여, 깊이 우선 집적영상 디스플레이 시스템에서 3차원 영상 복원 실험을 수행하였다.
깊이 우선 집적영상 디스플레이 시스템에서는 영상 획득 부에서 사용된 렌즈어레이 보다 상대적으로 직경이 작은 렌즈어레이를 사용하였으며, IBM T221 모니터(Resolution: 3840 X 2560 )를 디스플레이 패널로 사용하였다.
또한, 칼라 모아레 현상을 줄이기 위해 diffuser를 패널에 부착하였다.
실험결과 영상의 분석을 통해 복원된 두 영상이 서로 다른 자유공간상에 재생되고 있다는 것을 확인할 수 있었다.
도 16은 서로 다른 세 지점에서 얻어진 3차원 복원 영상의 시차영상을 나타낸 이미지사진이다.
도 16(a)와 (c)를 통하여 알 수 있듯이 복원된 영상은 좌우로 다른 시차를 갖고있다.
이때, KW마크의 영상과 Brownie인형의 영상은 좌우 시차에 따라 서로 다른 복원 결과를 보이는데, 이는 두 물체 간의 거리가 만들어낸 시차이다.
즉, 이를 통해 복원된 영상이 2차원 영상이 아닌 깊이 정보를 갖고 있는 3차원 영상이라는 것을 확인할 수 있다.
도 17은 k값을 변경에 따른 공간상에 복원된 3차원 영상의 이미지사진이다.
표 2 <표 2>
K 19 21 23 25
플로팅 위치 115mm 120mm 125mm 130mm
표 2와 그림 17 통해 알 수 있듯이 k값을 변경하여 실험하였을 때, 복원된 3차원 입체영상들은 렌즈어레이로부터 각각 115mm, 120mm, 125mm, 130mm에 해당하는 자유공간상에 재생되는 것을 볼 수 있다.
앞의 실험들을 통해 최대 6000mm거리에 있는 물체를 픽업이 가능하고, 깊이 역전 현상이 해결된 영상을 실상과 허상이 동시에 재생할 수 있을 뿐만 아니라 자유공간상에 깊이 정보를 갖는 3차원 영상을 재생할 수 있다는 것을 증명하였다.
또한, 기존의 영상 획득 부와 디스플레이 부에서 동일한 렌즈어레이를 사용하던 집적 영상시스템이 렌즈어레이로부터의 고정된 깊이 표현 범위를 갖는 반면에, 본 발명은 실시간 요소영상 변환 알고리즘을 통하여 요소영상의 픽셀을 재배열 함으로써 복원되는 위치를 변경함에 따라 의 깊이 표현 범위를 갖는다.
이는 기존의 시스템에 비하여 2.54배 향상된 깊이 표현 범위임을 알 수 있다.
도 18은 홀로그래피 방식에서 점광원 생성 방식의 3차원 영상 표시 방법을 나타낸 개요도이다.
도 18에 도시된 바와 같이 홀로그래피 방식에서는 디스플레이 패널(400)에 프린지패턴을 표시하여 레이저 광원의 회절을 이용하여 점광원을 생성할 수 있으며, 이러한 다수의 점광원을 동시에 발생시켜서 3차원 영상(600)을 생성한다.
프린지(fringe)는 빛의 간섭이나 회전에 의하여 생기는 명암의 줄무늬를 가리키며, 점광원은 하나의 점으로 본 발광체를 가리킨다.
사실 홀로그래피 디스플레이 시스템은 도 1의 4가지 시각 메커니즘을 만족하는 방법이어서 이상적인 3차원 디스플레이 방식으로 알려져 있다.
그러나 홀로그래피 기술은 다음의 문제점을 지니고 있다.
레이저 광원을 사용하여야 하고 아직까지 충분한 회절을 발생시킬 수 있는 적절한 디스플레이 소자가 아직 없으며, 복잡한 프린지 패턴 생성 및 복원해야하고 좁은 시야각, 낮은 해상도 문제를 지니고 있다.
도 19는 본 발명 방향성 광선을 이용하여 3차원 영상의 생성 원리를 나타낸 개요도이다.
도 19에 도시된 바와 같이 방향성 광선을 이용하여 점광원을 만들며, 이러한 다수의 점광원의 조합으로 3차원 영상(600)이 표시된다.
이때 관측자는 3차원 영상(600)을 양안으로 관측한다.
이러한 방향성 생성은 렌즈어레이(220)나 핀홀어레이를 이용하여 생성이 가능하다.
참고로 간단한 용어를 정리하면, 요소렌즈(elemental lens)는 렌즈어레이를 구성하는 한 개의 렌즈를 말한다.
그리고 이 요소렌즈의 크기에 대응하는 결상면(imaging plane)위 결상영역(image formation region)을 요소영상(elemental image)이라 한다.
또한, 이 요소영상들의 집합을 요소영상배열(elemental image array)라 한다.
일반적으로 하나의 작은 렌즈를 기초 렌즈 또는 렌즈릿이라고 하며, 작은 렌즈의 배열된 군을 렌즈어레이라 표현한다.
작은 렌즈대신에 핀홀을 사용하면 핀홀어레이라 표현한다.
도 20은 본 발명 초다시점 조건을 만족하는 렌즈어레이 또는 핀홀어레이를 이용한 3차원 디스플레이 시스템의 개요도이다.
도 20에 도시된 바와 같이 디스플레이 패널(400)과, 상기 디스플레이 패널(400)의 전방에 설치되는 렌즈어레이(220)와, 상기 디스플레이 패널(400)에 요소영상 신호를 제공하는 요소영상 생성부(500)로 구성되어 상기 디스플레이 패널(400)의 후방에 설치된 광원이 디스플레이 패널(400)과 렌즈어레이(220)를 통과하여 방향성을 이루어 점광원을 형성하며, 상기 점광원의 군집에 의해 요소영상 생성부(500)에서 디스플레이 패널(400)에 제공된 요소영상이 3차원 영상(600)으로 보여지는 것이 특징이다.
상기 디스플레이 패널(400)과 렌즈어레이(220)는 일반적으로 서로 일대일 대응하도록 구성되는 것이 바람직하다.
즉, 디스플레이 패널(400) 앞에 렌즈어레이(220)가 위치하고, 각각의 렌즈릿을 통하여 생성되는 광선들이 3차원 점광원을 생성하게 된다.
이 점광원을 관측자가 관측하게 된다.
일반적으로 3차원 영상(600)은 이러한 수많은 점광원들의 조합으로 이루어져 있다.
이때, 관측자의 한쪽 눈에 적어도 2개 이상의 광선이 들어가도록 하는 것이 초다시점 조건이 된다.
따라서, 이 조건을 만족하도록 우리는 렌즈어레이(220)나 핀홀어레이를 디자인할 수 있다.
상기 조건은 컴퓨터의 프로그램에 의해 자연 계산되어 진다.
도 621 관측자의 단안에 대한 초다시점 조건을 만족하는 디스플레이 구성을 나타낸 개요도이며, 도 22는 식(1)을 유추하기 위한 개요도이다.
도 21에서 하나의 렌즈릿의 크기를 d라고 하고, 렌즈어레이(220)로 부터 3차원 점광원까지의 거리를 z라고 하자.
그리고 관측자의 거리가 렌즈어레이(220)로부터 z_eye이며, 관측자의 동공크기가 d_eye라고 한다면, 2개 이상의 광선이 동공으로 들어갈 때의 렌즈어레이(220)의 하나의 렌즈릿의 최대 직경은 다음 수식으로 얻어지게 된다.
렌즈어레이(220)와 디스플레이 패널(400) 사이의 간격은 작은 기초렌즈의 초점거리와 같다.
Figure PCTKR2014003411-appb-I000009
식(1)
즉, 도 22에 도시된 바와 같이 삼각공식에 의해 d : z= deye : zeye-z에 의해 식(1)을 쉽게 유추할 수 있다.
도 23은 초다시점 조건을 만족하는 렌즈어레이 설계시 요구되는 최대 렌즈릿 직경에 대한 시뮬레이션 결과이다.
예들 들어 렌즈어레이(220)로부터 3차원 점광원을 100mm에 생성하고 관측자가 500mm에 위치할 경우 관측자의 동공크기가 5mm이면 1.25mm 이하의 직경을 가지는 렌즈어레이나 핀홀간격이 1.25mm인 핀홀어레이로 구성하여야 한다.
본 발명에서는 상기 식(1)을 기반으로 하여 초다시점 조건을 만족하는 렌즈어레이 및 핀홀어레이 설계를 바탕으로 3차원 디스플레이 시스템을 구성한다.
도 24는 관측자의 양안에 대한 초다시점 조건을 3차원 디스플레이 시스템의 개략도를 보여준다.
도 24의 Deye의 양안이라는 것을 표시한 것으로 deye+deye를 의미한다.
관측자의 좌우 영상에서 각각 초다시점 조건을 만족하도록 렌즈어레이나 핀홀어레이를 설계되어야 한다.
상술한 바와 같이 요소영상 변환 과정을 통하여 집적영상 장치 방식의 근본적인 깊이 역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.
디스플레이 과정에서는 새롭게 재구성된 요소영상과 직경이 작은 렌즈어레이를 사용하여 실상 면과 허상 면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상 시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.
또한, 요소영상의 깊이 역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상 디스플레이 장치로는 획득할 수 없는 깊이 표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다는 등의 현저한 효과가 있다.
그리고 본 발명의 초다시점 조건을 만족하는 렌즈어레이 또는 핀홀어레이를 이용한 3차원 디스플레이 시스템은 홀로그래피와 같은 완전한 3차원 영상을 제공하기 때문에 보다 실감나는 3차원 영상을 즐길 수 있으며, 다수의 관측자에게 피로감 없이 장시간의 관측을 제공할 수 있는 등의 현저한 효과가 있다.

Claims (6)

  1. 3차원 물체(110)가 렌즈어레이(120)를 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와, 영상획득단계(100)에 의해 수집된 요소영상(130)을 다시 렌즈어레이(220)를 통해 공간상에 3차원 영상(210)으로 재생하는 영상재생단계(200)로 구성되어 광학적으로 획득한 3차원 물체(110)의 요소영상(130)을 3차원 입체영상으로 복원하는 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법에 있어서,
    상기 영상재생단계(200)에 설치되는 렌즈어레이(220)는 상기 영상획득단계(100) 단계에 설치되는 렌즈어레이(120)에 비해 작은 사이즈로 구성되고, 상기 영상획득단계(100)와 영상재생단계(200) 사이에는 영상획득단계(100)의 렌즈어레이(120)를 통해 획득한 요소영상(130)의 사이즈를 영상재생단계(200)의 렌즈어레이(220)의 사이즈에 맞게 변환 및 요소영상(130)의 깊이를 변환시키는 요소영상 변환단계(300)가 포함되는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법.
  2. 제 1항에 있어서,
    상기 영상재생단계(200)에서는 깊이 우선 집적 영상 디스플레이 방식을 통해 3차원 영상을 재생시키는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법.
  3. 제 1항에 있어서,
    상기 디스플레이 패널(400)의 후방에 설치된 광원이 디스플레이 패널(400)과 렌즈어레이(220)를 통과하여 방향성을 이루어 점광원을 형성하며, 상기 점광원의 군집에 의해 요소영상 생성부(500)에서 디스플레이 패널(400)에 제공된 요소영상이 3차원 영상(600)으로 보여지는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법.
  4. 제 3항에 있어서,
    상기 렌즈어레이(220)는
    Figure PCTKR2014003411-appb-I000010
    의 수식에 의해 렌즈릿 직경을 d이하로 계산하여 사용하는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법.
  5. 제 3항에 있어서,
    상기 렌즈어레이(220)를 대신하여 핀홀어레이를 설치할 수 있는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법.
  6. 제 5항에 있어서,
    상기 핀홀어레이는
    Figure PCTKR2014003411-appb-I000011
    의 수식에 의해 핀홀간격을 d이하로 계산하여 사용하는 것이 특징인 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법.
PCT/KR2014/003411 2014-02-04 2014-04-18 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법 WO2015119331A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020140012571A KR20150091838A (ko) 2014-02-04 2014-02-04 초다시점형 3차원 디스플레이 시스템
KR10-2014-0012571 2014-02-04
KR1020140045523A KR101600681B1 (ko) 2014-04-16 2014-04-16 집적 영상시스템의 3차원 영상 표시깊이변환방법
KR10-2014-0045523 2014-04-16

Publications (1)

Publication Number Publication Date
WO2015119331A1 true WO2015119331A1 (ko) 2015-08-13

Family

ID=53778118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/003411 WO2015119331A1 (ko) 2014-02-04 2014-04-18 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법

Country Status (1)

Country Link
WO (1) WO2015119331A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425404A (zh) * 2015-11-20 2016-03-23 上海誉沛光电科技有限公司 一种集成成像光学系统
CN111694183A (zh) * 2019-03-11 2020-09-22 京东方科技集团股份有限公司 显示装置及其显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061934A1 (en) * 2000-12-18 2004-04-01 Byoungho Lee Reflecting three-dimensional display system
KR100781941B1 (ko) * 2006-06-30 2007-12-04 강원대학교산학협력단 3차원 영상시스템에서 정치영상 재생 방법 및 재생영상의전체적 깊이 변환 방법
KR20120090507A (ko) * 2011-02-08 2012-08-17 엘지디스플레이 주식회사 집적 영상 방식의 입체 영상 표시 장치
KR101293576B1 (ko) * 2013-01-08 2013-08-16 동서대학교산학협력단 3차원 집적 영상디스플레이의 깊이조절시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061934A1 (en) * 2000-12-18 2004-04-01 Byoungho Lee Reflecting three-dimensional display system
KR100781941B1 (ko) * 2006-06-30 2007-12-04 강원대학교산학협력단 3차원 영상시스템에서 정치영상 재생 방법 및 재생영상의전체적 깊이 변환 방법
KR20120090507A (ko) * 2011-02-08 2012-08-17 엘지디스플레이 주식회사 집적 영상 방식의 입체 영상 표시 장치
KR101293576B1 (ko) * 2013-01-08 2013-08-16 동서대학교산학협력단 3차원 집적 영상디스플레이의 깊이조절시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUAN DENG ET AL.: "Integral imaging without image distortion using micro-lens arrays with different specifications.", OPTICAL ENGINEERING, vol. 52, no. 10, October 2013 (2013-10-01), XP060025595, Retrieved from the Internet <URL:http://opticalengineering.spiedigitallibrary.org/article.aspx?articleid=1762525> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425404A (zh) * 2015-11-20 2016-03-23 上海誉沛光电科技有限公司 一种集成成像光学系统
CN105425404B (zh) * 2015-11-20 2019-06-18 上海英耀激光数字制版有限公司 一种集成成像光学系统
CN111694183A (zh) * 2019-03-11 2020-09-22 京东方科技集团股份有限公司 显示装置及其显示方法
US11238830B2 (en) 2019-03-11 2022-02-01 Boe Technology Group Co., Ltd. Display device and display method thereof

Similar Documents

Publication Publication Date Title
WO2013081429A1 (en) Image processing apparatus and method for subpixel rendering
WO2012044130A4 (ko) 배리어를 이용하는 3d 디스플레이 장치 및 그 구동 방법
WO2009125988A2 (en) Fast multi-view three-dimensinonal image synthesis apparatus and method
WO2011105814A2 (ko) 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
WO2012064106A2 (en) Method and apparatus for video stabilization by compensating for view direction of camera
WO2012015106A1 (ko) 인테그럴 포토그라피 기술을 응용한 인터레이스 패턴구조 및 입체영상 장치
WO2021246777A1 (en) Device and method for displaying augmented reality
EP2286596A1 (en) Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
WO2019164298A1 (ko) 카메라 모듈
WO2010151044A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2015188685A1 (zh) 基于深度相机的人体模型获取方法及网络虚拟试衣系统
EP2422526A2 (en) Method and apparatus for automatic transformation of three-dimensional video
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2015199432A1 (ko) 단안식 입체 카메라
WO2016021925A1 (en) Multiview image display apparatus and control method thereof
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2015119331A1 (ko) 집적 영상시스템의 초다시점 3차원 디스플레이 시스템 및 3차원 영상 표시깊이변환방법
EP3750305A1 (en) Wearable display apparatus and method of displaying three-dimensional images thereon
WO2015002442A1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
EP3225025A1 (en) Display device and method of controlling the same
WO2016163783A1 (en) Display device and method of controlling the same
WO2019035600A1 (en) SYSTEM AND METHOD FOR REAL OR VIRTUAL SCENE DISPLAY
WO2014035015A1 (ko) 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14881755

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14881755

Country of ref document: EP

Kind code of ref document: A1