WO2016088965A1 - 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법 - Google Patents

룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법 Download PDF

Info

Publication number
WO2016088965A1
WO2016088965A1 PCT/KR2015/006789 KR2015006789W WO2016088965A1 WO 2016088965 A1 WO2016088965 A1 WO 2016088965A1 KR 2015006789 W KR2015006789 W KR 2015006789W WO 2016088965 A1 WO2016088965 A1 WO 2016088965A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
block
motion
image
cgh
Prior art date
Application number
PCT/KR2015/006789
Other languages
English (en)
French (fr)
Inventor
김은수
김승철
권민우
동효빈
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of WO2016088965A1 publication Critical patent/WO2016088965A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0402—Recording geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/10—Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12—Spatial modulation, e.g. ghost imaging

Definitions

  • the present invention relates to a computer-generated hologram calculation method using a look-up table and block motion compensation of an image, and to quickly generate a video hologram having a three-dimensional object having fast motion by using the look-up table and block motion compensation of an image.
  • stereoscopic displays are becoming more common.
  • stereoscopic display has disadvantages such as wearing glasses and limited viewpoint. Therefore, techniques such as auto glasses multiview display and holographic display have been continuously studied to compensate for this.
  • Patent No. 10-0973031 filed and registered by the present applicant, is a background art.
  • a hologram can accurately reproduce the original three-dimensional stereoscopic image in space including not only light intensity but also phase information. It is the most ideal stereoscopic system that can be. Therefore, it is no exaggeration to say that the final goal of 3D stereoscopic video processing technology is a hologram service capable of complete stereoscopic vision, and this technology has been recognized as the ultimate image information communication service.
  • Holography technology was developed in 1948, and expanded to digital holography technology in 1966.
  • the holography method has a feature of expressing a sense of depth so that observation can be performed at any point in time within a predetermined range, and there is no restriction of a viewing position, and a natural image can be expressed [Document 1].
  • the hologram is generally formed by an optical system, which is very sensitive to external light sources, and requires precise control of the light sources in the experimental environment.
  • a very stable experimental environment is essential because minute shaking and movement of the optical system can greatly affect the generation of holograms [2].
  • This technique is a technique that mathematically models the existing optical system to generate a hologram on a general purpose computer.
  • Objects made of CGH can be represented by mathematical calculations, graphical descriptions, and spatial samples.
  • the physical interference of the two light waves can be replaced by mathematical calculations, but the CGH of three-dimensional objects requires a difficult calculation process. Since all information is at the same distance from the hologram plane, a mathematical superposition of all waves starting from all points of the object is required, which requires three-dimensional coordinate transformation techniques.
  • the lattice hologram which is simply synthesized into pieces of the lattice having different directions and periods of the lattice vectors, is also one of CGH.
  • the phase method when the coherent light, whose spacing is kept constant over time and space, is reflected by hitting an object with a shape, the wavefront of the reflected light varies in proportion to the shape of the object. That is, the phase change of the wavefront changes according to the shape of the object. Therefore, if there is information of coordinates regarding the shape of the object, the phase change of the wavefront that changes with the shape is easily calculated by geometric optical ray tracing.
  • an RGB image or a depth image is usually used.
  • Virtual viewpoint image synthesis methods include bidirectional linear interpolation using variation information of a given stereo image and 3D warping technique using depth information.
  • Bidirectional linear interpolation may provide more free viewpoints, such as generating random virtual view images as well as intermediate view images of limited views between reference view images using disparity information.
  • holograms CGH of various views may be generated.
  • a technique for obtaining a virtual view depth image having good image quality without a region, etc., which is simply obtained by obtaining a depth image of a specific viewpoint (virtual view) from a depth image of a reference viewpoint has not been proposed as a conventional technique.
  • the Patent Publication No. 10-0973031 includes an extraction unit for extracting the brightness image and the depth image from the target frame of the three-dimensional video; A comparator for comparing the brightness image and the depth image of the previous frame and the target frame, respectively, and extracting unequal change points; A hologram calculator configured to calculate hologram information by varying a hologram calculation method using a hologram pattern according to whether a ratio between the number of change points and the total number of points of a frame is equal to or greater than a predetermined threshold value; And a storage unit for storing the brightness image, the depth image, and the hologram information of the target frame, wherein the target frame is a frame that is a reference of an image to be generated at the present time, and the previous frame is a frame before the target frame.
  • a moving picture hologram calculating device is disclosed.
  • Non-Patent Document 0001 T. Motoki, H. Isono, and I. Yuyama, "Present status of three-dimensional television research," Proc. IEEE 83 (7), pp. 1009-1021, July 1995.
  • Non-Patent Document 0002 W. H. Ryu and M. H. Jeong, "A study on three-dimensional computer generated holograms by 3-D coordinates transformation", Applied Optical Society of Korea, vol. 17, pp. 525-531, December 2006.
  • Non-Patent Document 0003 B. R. Brown and A. W. Lohmann, "Complex spatial filtering wit binary masks", Applied Optics, vol. 5, pp. 967-969, June 1966.
  • Non-Patent Document 0005 P. Hariharan, Optical Holography; Principles, techniques, and applications (Cambridge Studies in Modern Optics, 1996).
  • Non-Patent Document 0006 [Document 5] M. Lucente, “Interactive computation of holograms using a look-up table,” J. Electron. Imag. 2, 284 (1993).
  • Non-Patent Document 0007 [Document 6] S.-C. Kim and E.-S. Kim, "Effective generation of digital holograms of 3-D objects using a novel look-up table method," Appl. Opt. 47, D55-D62 (2008).
  • Non-Patent Document 0008 Zhengyou Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, pp. 1330-1334, 2000.
  • Non-Patent Document 0009 Document 8 Karajeh, Huda, Abdel-rahim, Intermediate view reconstruction for multiscopic 3D display, Durham University, April 2012.
  • the present invention has been made to solve the above problems, a method of rapidly generating a video hologram having a three-dimensional object having a fast movement using a look-up table and block motion compensation of the image, the input three-dimensional video frame is
  • the frames are sequentially grouped into a reference frame and a general frame, and each frame is divided into blocks, and the reference frame and the general frame are compared to extract motion vectors of each block, and the hologram of each block generated in the reference frame is extracted.
  • a hologram of each block of a general frame is generated by moving the motion vector, and a method of calculating a computer-generated hologram using a look-up table that is reused to reduce computation time and block motion compensation of an image is provided.
  • the present invention relates to a computer-generated hologram calculation method using a look-up table and block motion compensation of an image, characterized by rapidly generating a video hologram having a three-dimensional object having fast motion by using the look-up table and block motion compensation of an image. do.
  • the block motion compensation technique of the present invention is the most efficient compression algorithm in a video image by maximizing spatial redundancy between adjacent video frames.
  • the block motion compensation technique is a technique that can remove as much redundant data as possible between adjacent video frames. The more data is removed, the faster the hologram is generated.
  • the block motion compensation technique is effective for compressing video images with fast moving three-dimensional objects.
  • motion vectors used in conventional MPEG-based two-dimensional image compression techniques By using the information directly, there is a remarkable effect that can be used to generate holograms without decoding existing compressed MPEG video streams.
  • FIG. 1 is a schematic diagram of the characteristics of shift-invariance in the NLUT technique of the present invention. (Schematic for showing the shift-invariance property of the NLUT)
  • 3 is an input structure diagram in which 3-D video frames of GOPs of the present invention are grouped. (A structure of the input 3-D video frames grouped into a sequence of GOPs)
  • FIG. 4 is a diagram illustrating a reference frame divided into M ⁇ N blocks and a B-CGH calculated by each block in the GOP according to the present invention (A reference frame divided into M ⁇ N blocks and the calculated B ⁇ ). CGHs for each block with the TR-NLUT)
  • 5 is a block-based motion estimation between the RF and one of the GFs according to the present invention.
  • FIG. 6 shows an example of the block-based motion estimation: (a) An optical-flow map showing the MVs of 9 blocks of the RF, which are represented by the arrows , (b) A motion-vector map showing the corresponding motion-vector values given by the number of displaced pixels along the x and y directions)
  • FIG. 7 is a motion vector map explanatory diagram extracted using a motion estimation technique for each test video scenario (Motion vectors of the (a) 1 st frame of the 'Case I', (b) 2 nd frame of the ' Case I '(Media 1), (c) 71 st frame of the' Case I ', (d) 1 st frame of the' Case II ', (e) 2 nd frame of the' Case II '(Media 2) , (f) 71 st frame of the 'Case II', (g) 1 st frame of the 'Case III', (h) 2 nd frame of the 'Case III' (Media 3), (i) 71 st frame of the 'Case III')
  • FIG. 9 illustrates motion-compensated object images of the 2 nd , 32 nd and 71 st frames for each test video of (a) Case I (Media 1), (b) Case II (Media 2), and (c) Case III (Media 3) ⁇
  • FIG. 10 is a diagram illustrating differences between an image compensated from a reference frame and an existing normal frame.
  • FIG. 10 shows images of the 2 nd , 32 nd and 71 st frames for each test video of (a) Case I (Media 1) , (b) Case II (Media 2), and (c) Case III (Media 3) ⁇
  • FIG. 12 is a diagram illustrating a state in which CGHs (B-CGHs) of each block are moved using a motion vector.
  • FIG. 9 (a), (d) and (g) represent the B-CGHs for each block of A, B and I, (b), (e) and (h) show their shifted versions with the corresponding MVs, (c ), (f) and (i) show their shifted versions compensated with the hologram patterns for the blank areas, and (j) CGH for the MC-RF obtained by adding all shifted B-CGHs ⁇
  • FIG. 13 is a view showing the reconstruction of the CGH patterns of the 1st, 31st, and 72th frames out of a total of 150 frames for three scenarios (Reconstructed 3-D 'Car' object images at the distances of 630mm and 700mm for each test video of (a) 'Case I' (Media 1), (b) 'Case II' (Media 2) and (c) 'Case III' (Media 3) ⁇
  • the present invention relates to a computer-generated hologram calculation method using a look-up table and block motion compensation of an image, characterized by rapidly generating a video hologram having a three-dimensional object having fast motion by using the look-up table and block motion compensation of an image. do.
  • the input three-dimensional video frame is sequentially grouped into a plurality of sets, the first frame is a reference frame, the remaining frames are normal frames, After the frame is divided into blocks, the reference frame is compared with the normal frame, and the motion vector of each block is extracted.
  • the hologram of each block generated in the reference frame is moved by the motion vector to generate the hologram of each block of the general frame. It is reused, it is characterized in that the calculation time is reduced.
  • the input three-dimensional video frame is sequentially grouped into four sets, the first frame is characterized in that the reference frame, the remaining three frames are normal frames.
  • each frame is characterized by consisting of a pair of one brightness image and one depth image.
  • the method for generating a CGH pattern for each of the normal frames is composed of three parts, first, to generate a CGH pattern for the motion-compensated frame (MC-RF) from the reference frame, second, The final CGH pattern is generated by solving the overlap between the motion compensated blocks. Third, the CGH pattern in the empty space using an image comparing the difference between the motion compensated frame and the existing general frame from the reference frame. It characterized in that to generate.
  • the CGH pattern of the motion-compensated blocks may be obtained using a motion vector of a block of a reference frame.
  • a two-step process is performed on the CGH pattern B-CGH of each block of the reference frame, and the first step is a reference frame.
  • the CGH pattern (B-CGH) of each block of is moved along their motion vector, and then the second step is to compensate for the empty area caused by the block movement using a normal frame.
  • the CGH patterns of all the blocks are added, the CGH pattern of the frame whose final motion is compensated for is generated.
  • FIG. 1 is a schematic diagram of the characteristics of the shift-invariance in the NLUT technique of the present invention. (Schematic for showing the shift-invariance property of the NLUT),
  • Figure 2 is a flow chart of the proposed MPEG-NLUT technique of the present invention.
  • 3 is an input structure diagram of grouping 3-D video frames of GOPs of the present invention. (A structure of the input 3-D video frames grouped into a sequence of GOPs),
  • FIG. 4 shows the reference frame in the GOP of the present invention divided into M ⁇ N blocks and B ⁇ calculated by each block. A reference frame divided into M ⁇ N blocks and the calculated B-CGHs for each block with the TR-NLUT,
  • FIG. 5 is a motion estimation diagram between the RF and GFs blocks of the present invention.
  • FIG. 6 shows an example of the block-based motion estimation: (a) An optical-flow map showing the MVs of 9 blocks of the RF, which are represented by the arrows, (b) A motion-vector map showing the corresponding motion-vector values given by the number of displaced pixels along the x and y directions), FIG.
  • FIG. 7 shows each test video scenario Motion vector map explanatory diagram extracted using motion estimation technique for the (a) 1 st frame of the 'Case I', (b) 2 nd frame of the 'Case I' (Media 1), (c) 71 st frame of the 'Case I', (d) 1 st frame of the 'Case II', (e) 2 nd frame of the 'Case II' (Media 2), (f) 71 st frame of the 'Case II', (g) 1 st frame of the 'Case III', (h) 2 nd frame of the 'Case III' (Media 3), (i) 71 st frame of the 'Case III',
  • Figure 8 is an example of the block-based motion compensation: (a) Motion compensation with the estimated motion vectors, (b) Motion-compensated version of the RF), FIG.
  • FIG. 9 is an explanatory diagram showing brightness images (MC-RF) to which motion compensation is applied from a reference frame.
  • MC-RF brightness images
  • FIG. 10 Is an image showing the difference between an image compensated from a reference frame and an existing normal frame.
  • FIG. 11 shows CGH for each normal frame.
  • FIG. 12 is a view showing a state of moving the CGH (B-CGH) of each block using a motion vector ⁇ A shifting process of the B-CGHs of the RF in Fig. 9: (a), (d) and (g) represent the B-CGHs for each block of A, B and I, (b), (e) and (h) show their shifted versions with the corresponding MVs, (c ), (f) and (i) show their shifted versions compensated with the hologram patterns for the blank areas, and (j) CGH for the MC-RF obtained by adding all shifted B-CGHs ⁇ , FIG.
  • the block motion compensation technique of the present invention is the most efficient compression algorithm in video images by maximizing spatial redundancy between adjacent video frames.
  • block motion compensation is a technique that can remove as much redundant data between adjacent video frames as possible. The more redundant data is removed, the faster the hologram is generated.
  • block motion compensation is effective for compressing video images with fast moving three-dimensional objects.
  • Figure 1 shows the pattern shift characteristics in the NLUT technique.
  • the cube block is t sigan as shown in the left part of 1 A (0, 0, -z 1) located at the point, t is located on the B (x 1, y 1, -z 1) branches in two hours cube blocks
  • the CGH pattern of A is a cube block reconstructed from CGH A , CGH A , and created at the point A '(0, 0, z 1 )
  • the cube block moved to the point B CGH B simply returns CGH A ( x 1 , y 1 ) to get it.
  • the cube block reconstructed from CGH B obtained by moving CGH A exactly matches the cube block moved to the point B '(x 1 , y 1 , z 1 ). Therefore, the CGH pattern for the object moved by the NLUT method can be obtained by moving the CGH pattern as much as the object moves without additional calculation.
  • FIG. 2 shows an overall flow diagram of the proposed technique.
  • First, input three-dimensional video frames are grouped into groups of pictures (GOP).
  • Each GOP consists of one reference frame (RF) and several general frames (GF). And all the frames inside the GOP are divided into image blocks.
  • Second, a CGH pattern of each block of the reference frame is generated.
  • Third, a motion vector of each block is obtained by comparing each block of the reference frame with each block of the general frame.
  • the CGH pattern of the block of the reference frame is moved by the motion vector of each block.
  • Fifth, compensation is performed by comparing the CGH pattern of the moved block with the block image of the normal frame.
  • the CGH pattern of the general frame can be obtained.
  • FIG. 3 shows ten video frames grouped into three GOPs.
  • the first frame becomes a reference frame and the remaining frames become normal frames.
  • the number of normal frames in the GOP is determined by the amount of movement of the moving object inside the input video.
  • the similarity between adjacent frames is evidenced, which can increase the number of normal frames in the GOP.
  • the similarity between adjacent frames is reduced, so the number of normal frames in the GOP is reduced.
  • All video frames in the GOP are divided into blocks of 16 ⁇ 16 resolution.
  • the total resolution is divided into 32 ⁇ 32 blocks because the total resolution is 512 ⁇ 512.
  • the resolution of the block is adjustable and it works the same as the existing MC-NLUT algorithm when the resolution of the block matches the overall resolution, that is, when the resolution of the block becomes 512 ⁇ 512 and is divided into 1 ⁇ 1 blocks. Done.
  • the CGH pattern of the reference frame in the GOP can be obtained by adding all the calculated CGH patterns (B-CGH) of each divided block.
  • 4 shows the reference frame in the GOP divided into M ⁇ N blocks and B-CGHs calculated for each block.
  • I B (m, n) represents B-CGH of the (m, n) th block of the reference frame.
  • I R the final CGH pattern of the reference frame
  • Adjacent frames have a high similarity, which can remove a lot of time redundancy data when the motion estimation and correction process is performed.
  • 5 shows a process of performing motion estimation of one block between a reference frame and normal frames in a GOP.
  • the video frames are divided into blocks in a two-dimensional array and the motion vectors of each block are extracted by the motion estimation technique of the block.
  • the motion estimation technique of a block is performed on a three-dimensional video composed of pairs of brightness and depth images.
  • d x and d y represent motion vectors of blocks in the x and y directions
  • ⁇ t represents time intervals between adjacent frames. Therefore, a block whose motion is compensated in a general frame may be generated using a specific block and a motion vector of the reference frame.
  • the process of finding a matching block proceeds in such a manner that the search range S L is determined and the pixel has a minimum difference value while moving pixel by pixel. At this time, if the object moves fast, the value of S L should be increased.
  • Equation (3) is for calculating the minimum difference value and represents the absolute value of the difference value between each pixel in the block.
  • S L represents a search range
  • C ij and R ij represent pixel values of a general frame and a reference frame.
  • a m, n (x 1 , y 1 ) blocks located at (x 1 , y 1 ) points of the reference frame are located at point (x 2 , y 2 ) of the general frame B m, n If it fits best with the (x 2 , y 2 ) block, the motion vector of the A m, n (x 1 , y 1 ) block is obtained as shown in equation (4).
  • a m, n (x 1 , y 1 ) blocks are moved by d x and d y in the x and y directions between the reference frame and the normal frame.
  • the motion vectors d x and d y are given as negative values, the block is moved left and up in the x and y directions. In this way it is possible to find the most matching blocks between all the blocks of the reference frame and the blocks of the general frames.
  • 6 shows an example of nine blocks moving in a reference frame. In this case, the motion vector of each block of the reference frame may be represented by a map of the motion vector as shown in FIG.
  • 7 shows a motion vector map extracted using the motion estimation technique for each test video scenario.
  • the magnitude and direction of the motion vector are represented by red arrows.
  • each video frame is divided into 32 ⁇ 32 blocks with a resolution of 512 ⁇ 512.
  • the number of frames constituting the GOP is four.
  • 7 (a) -7 (c), 7 (d) -7 (f), and 7 (g) -7 (i) are 1 st and 2 nd of 'Scenario I' and 'Scenario II''ScenarioIII' And 71 th frames.
  • 7 (a), 7 (d), and 7 (g) are the first frame of each scenario, that is, the reference frame, so that no motion vector exists.
  • FIGS. 7 (e) and 7 (h) show that the second and 71th frames of the first scenario have many motion vectors.
  • most of the motion vectors are motion vectors of cars moving to the right and have the same motion vectors in the right direction.
  • 7 (c) in the case of the 71th frame, motion vectors of different directions are present. This is because the accurate prediction was not made due to the difference in perspective that the visible parts disappeared and the invisible parts appeared as the car moved.
  • FIGS. 7 (e) and 7 (h) show that motion vectors in different directions exist as shown in FIGS. 7 (e) and 7 (h).
  • a to I represent blocks of a reference frame
  • a 'to I' represent blocks of a general frame whose motion is compensated. All blocks of the reference frame can be seen to be moved to a new position using a motion vector.
  • the motion vector of block A is given by (3,0). Therefore, the position where the block A 'is moved can be expressed as Equation (5).
  • FIG. 9 shows brightness images MC-RF to which motion compensation is applied from a reference frame. It can be seen that the second frames in each scenario are relatively well compensated for motion. However, in the 32nd and 71st images, there is a small empty space. These empty spaces are parts that exist only in the general frame that cannot be calculated only by the blocks of the reference frame, and require an additional compensation process. In particular, in the case of the 71th frame of the 3rd scenario, it can be seen that a large amount of empty space occurs due to large overlap between blocks due to an incorrect motion vector.
  • FIGS. 10 are images showing differences between an image compensated from a reference frame and an existing general frame. As shown in the 32nd and 71st frames of FIGS. 10 (b) and 10 (c), it can be seen that there is a part where a difference part appears as a block due to the empty space problem mentioned above. These parts need additional compensation using the existing general frame. However, it can be seen from FIG. 10 that a large amount of redundancy has been removed through the proposed technique.
  • FIG. 11 shows an overall flowchart for generating a CGH pattern for each general frame. It is largely composed of three parts. First, a CGH pattern is generated for a frame whose motion is compensated from a reference frame (MC-RF). Second, the final CGH pattern is generated by solving the overlap between the motion-compensated blocks. Third, a CGH pattern of an empty space is generated using an image obtained by comparing a difference between a frame whose motion is compensated from a reference frame and a conventional general frame.
  • FIG. 12 shows a state in which CGHs (B-CGHs) of each block are moved by using a motion vector.
  • a two-step process may be performed on the CGH pattern B-CGH of each block of the reference frame.
  • the first step moves the CGH pattern (B-CGH) of each block of the reference frame along their motion vectors.
  • the second step is to compensate for the empty area caused by the block movement using the normal frame.
  • Equation (6) shows the process of calculating the CGH pattern of the motion compensated frame.
  • I S (x, y) represents a CGH pattern obtained from blocks of a frame in which motion is compensated
  • I Rm (x, y) represents CGH patterns of blocks of a reference frame in motion vectors of d x and d y . It has been moved along.
  • I RBm (x, y) represents the CGH pattern for the empty space.
  • M represents the total sum of the blocks.
  • I S (x, y) obtained in Equation (6) cannot be a complete CGH pattern of a frame on which motion is rewarded because CGH patterns of moved blocks may overlap. Therefore, by subtracting the overlapped areas as shown in Equation (7), the complete CGH pattern of the motion-compensated frame is completed.
  • I RO means the CGH pattern of the overlapped region.
  • Equation (8) shows the process of obtaining the CGH pattern of the final general frame.
  • I C (x, y) represents the CGH pattern of the motion-compensated frame
  • I D (x, y) represents the CGH pattern obtained from the difference image between the motion-compensated frame and the existing general frame. .
  • a pattern is finally obtained from I (x, y), that is, a CGH pattern of an existing general frame.
  • FIG. 13 shows a picture in which the CGH patterns of the 1st, 31st and 72th frames are restored among the total 150 frames for the three scenarios.
  • the first scenario of FIG. 13 (a) it can be seen that the reconstructed three-dimensional car object moves from left to right at a high speed.
  • the figure in the upper row of FIG. 13 (a) shows an image restored at a distance of 630 mm
  • the figure in the lower row shows an image restored at a distance of 700 mm. Therefore, as you can see, the picture in the upper line is clearly visible and the picture in the lower line is faint.
  • the second and third scenarios show two car objects moving in different directions at high speed. At this time, one car is clearly seen at a distance of 630mm and the other is clearly seen at a distance of 700mm. Through this, it can be seen that the CGH pattern generated by the proposed technique is completely restored optically.
  • the block motion compensation technique of the present invention is the most efficient compression algorithm in a video image by maximizing spatial redundancy between adjacent video frames, that is, the block motion compensation technique can remove as much redundant data as possible between adjacent video frames.
  • the motions used in conventional MPEG-based two-dimensional video compression techniques The immediate use of vector information has the significant effect that it can be used to generate holograms without decoding existing compressed MPEG video streams.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법에 관한 것으로, 룩업 테이블과 영상의 블록 움직임 보상을 이용하여 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하는 것이 특징인 것으로, 중복된 데이터가 많이 제거될수록 홀로그램의 생성 속도는 향상되며, 게다가 블록 움직임 보상 기법은 빠르게 움직이는 삼차원 물체를 가지는 비디오 영상을 압축하는데 효과적이며, 추가적으로 기존의 MPEG기반의 이차원 영상의 압축 기법에서 사용되는 모션벡터 정보를 바로 사용함으로 기존의 압축된 MPEG 비디오 스트림을 디코딩하지 않고 홀로그램 생성에 사용할 수 있는 현저한 효과가 있다.

Description

룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
본 발명은 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법에 관한 것으로, 룩업 테이블과 영상의 블록 움직임 보상을 이용하여 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하는 것이다.
현재 3D 영상 산업의 발전과 함께 스테레오스코픽 디스플레이가 일반화 되고 있다. 하지만 스테레오스코픽 디스플레이는 안경 착용, 시점 제한 등의 단점이 존재한다. 따라서 이를 보완하기 위하여 무안경 다시점디스플레이, 홀로그래픽(holographic) 디스플레이 등의 기법이 지속적으로 연구되고 있다.
본 출원인이 출원하여 등록받은 등록특허공보 제10-0973031호는 배경기술로서 특히, 특히 홀로그램(hologram)은 빛의 세기뿐만 아니라 위상정보까지 포함하여 원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이다. 따라서, 3차원 입체 비디오처리 기술의 최종목표는 완전한 입체시가 가능한 홀로그램 서비스라고 해도 과언이 아니며, 이 기술은 궁극적인 영상정보통신 서비스 결정체로 인식되어 왔다.
홀로그래피(holography) 기술은 1948년에 개발되었고, 1966년에 디지털 홀로그래피 기술로 확대되었으며, 현재 디지털 홀로그래피 방식에 의한 3차원 방송기술 개발이 미국의 MIT, 일본의 NHK, ATR, 독일의 HHI 등을 중심으로 진행 중이다. 홀로그래피 방식은 정해진 범위 내에서는 임의의 시점에서도 관찰이 가능하도록 깊이감을 표현함으로써 관찰위치의 제약이 없고 자연스런 화상표현이 가능하다는 특징이 있다[문헌 1].
홀로그램은 일반적으로 광학계(optical system)에 의해서 형성되는데, 외부의 광원에 매우 민감하여 실험환경의 광원들을 정교하게 제어해야 한다. 또한, 광학계의 미세한 떨림이나 움직임들이 홀로그램 생성에 큰 영향을 줄수 있기 때문에 매우 안정된 실험환경은 필수적이다[문헌 2].
이런 문제들은 홀로그램의 기술적 발전에 걸림돌이 되고 있으며 이를 해결하기 위해 Brown 등은 computergeneratedhologram(CGH)기법을 제안하였다.
[문헌 3]. 이 기법은 기존의 광학계를 수학적으로 모델링하여 일반 범용 컴퓨터에서도 홀로그램을 생성할 수 있게 해주는 기술이다.
CGH로 만들어진 물체는 수학적인 계산 혹은 그림 묘사(graphical descriptions), 공간적인 샘플로 나타낼 수 있다. 두 광파의 물리적인 간섭은 수학적인 계산으로 대신할 수 있으나 3차원 물체의 CGH는 어려운 계산 과정이 필요하다. 모든 정보가 홀로그램 면으로부터 동일한 거리에 놓이기 때문에 물체의 모든 점으로부터 시작하는 모든 파의 수학적인 중첩이 필요하며 이렇게 하기 위해서는 3차원 좌표변환 기술이 요구된다. 또한 단순히 격자벡터의 방향과 주기가 다른 격자의 조각으로 합성시킨 격자 홀로그램도 CGH의 하나이다.
위상 방식의 경우, 파면의 간격이 시간과 공간에 걸쳐 일정하게 유지되는 가간섭성 광이 어떤 형태를 가진 물체에 부딪쳐 반사될 때는 그 반사된 광의 파면은 물체의 형태에 비례하여 달라진다. 즉 파면의 위상 변화가 물체의 형상에 따라 변화하게 된다. 그러므로 물체의 형상에 관한 좌표의 정보가 있으면, 형상에 따라 변화하는 파면의 위상 변화는 기하 광학적인 광선 추적에 의해 쉽게 계산된다.
CGH 홀로그램을 얻기 위해서 보통 RGB 영상 또는 깊이영상(depth image)을 활용한다.
가상시점(virtual viewpoint) 영상합성 방법에는 크게 주어진 스테레오 영상의 변이정보를 이용하는 양방향 선형 보간법(bidirectional linear interpolation)과 깊이 정보를 이용하는 3D 워핑(3D warping) 기법 등이 있다. 양방향 선형 보간법은 변이(disparity) 정보를 이용하여 기준시점 영상 사이의 제한된 시점의 중간 시점영상뿐만 아니라 임의 가상시점 영상을 생성하는 등 보다 자유로운 시점을 제공할 수 있다.
따라서, 이미 구해진 기준시점의 깊이영상을 이용하여 원하는 시점의 깊이영상을 합성하면, 다양한 시점의 홀로그램(CGH)를 생성할 수 있을 것이다. 그러나 단순히 기준시점의 깊이영상으로부터 특정의 시점(가상시점)의 깊이영상을 구하면서 가려지는 영역 등이 없이 화질이 좋은 가상시점 깊이영상을 얻는 기술은 아직 제시되고 있지 못하다고 종래기술로서 기재되어 있다.
상기의 문제를 해결하기 위해 상기 등록특허공보 제10-0973031호에는 삼차원 동영상의 대상 프레임으로부터 밝기 영상 및 깊이 영상을 추출하는 추출부; 이전 프레임과 대상 프레임의 밝기 영상 및 깊이 영상을 각각 비교하여 동일하지 않은 변경 포인트를 추출하는 비교부; 상기 변경 포인트 수와 프레임 전체 포인트 수의 비율이 정해진 임계값 이상으로 되는 여부에 따라 홀로그램 패턴을 이용한 홀로그램 산출 방법을 달리하여 홀로그램 정보를 산출하는 홀로그램 산출부; 및 상기 대상 프레임의 밝기 영상, 깊이 영상 및 상기 홀로그램 정보를 저장하는 저장부를 포함하되, 상기 대상 프레임은 현재 시점에서 생성할 영상의 기준이 되는 프레임이고, 상기 이전 프레임은 상기 대상 프레임 전의 프레임인 것을 특징으로 하는 동영상 홀로그램 산출 장치가 등록공개되어 있다.
그러나 여전히 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하지 못하며, 계산시간이 길다는 단점이 있었다.
선행기술문헌
비특허문헌
(비특허문헌 0001) [문헌 1] T. Motoki, H. Isono, and I. Yuyama, "Present status of three-dimensional television research," Proc. IEEE 83(7), pp. 1009-1021, July 1995.
(비특허문헌 0002) [문헌 2] W. H. Ryu and M. H. Jeong, "A study on three-dimensional computer generated holograms by 3-D coordinates transformation", Applied Optical Society of Korea, vol. 17, pp. 525-531, December 2006.
(비특허문헌 0003) [문헌 3] B. R. Brown and A. W. Lohmann, "Complex spatial filtering wit binary masks", Applied Optics, vol. 5, pp. 967-969, June 1966.
(비특허문헌 0005) [문헌 4] P. Hariharan, Optical Holography; Principles, techniques, and applications (Cambridge Studies in Modern Optics, 1996).
(비특허문헌 0006) [문헌 5] M. Lucente, “Interactive computation of holograms using a look-up table,” J. Electron. Imag. 2, 284 (1993).
(비특허문헌 0007) [문헌 6] S. -C. Kim and E. -S. Kim, "Effective generation of digital holograms of 3-D objects using a novel look-up table method," Appl. Opt. 47, D55-D62 (2008).
(비특허문헌 0008) [문헌 7] Zhengyou Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, pp.1330-1334, 2000.
(비특허문헌 0009)[문헌 8] Karajeh, Huda, Abdel-rahim, Intermediate view reconstruction for multiscopic 3D display, Durham University, April 2012.
따라서, 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 룩업 테이블과 영상의 블록 움직임 보상을 이용하여 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하는 방법으로서, 입력된 삼차원 비디오 프레임은 순차적으로 참조프레임과 일반 프레임으로 여러 개의 세트로 묶여지고, 각 프레임은 블록으로 나누어진 후에 참조 프레임과 일반 프레임이 비교되어 각 블록의 모션벡터가 추출되며, 상기 참조 프레임에서 생성된 각 블록의 홀로그램이 모션벡터만큼 이동되어 일반 프레임의 각 블록의 홀로그램이 생성되는데 재사용되어 계산시간이 단축되는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법을 제공하고자 하는 것이다.
본 발명은 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법에 관한 것으로, 룩업 테이블과 영상의 블록 움직임 보상을 이용하여 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하는 것을 특징으로 한다.
본 발명의 블록 움직임 보상 기법은 인접한 비디오 프레임 간에 공간적 중복성을 극대화시킴으로 비디오 영상에서 가장 효율적인 압축 알고리즘으로서, 곧 블록 움직임 보상 기법은 인접한 비디오 프레임 간에 가능한 많은 중복된 데이터를 제거할 수 있는 기법으로서, 중복된 데이터가 많이 제거될수록 홀로그램의 생성 속도는 향상되며, 게다가 블록 움직임 보상 기법은 빠르게 움직이는 삼차원 물체를 가지는 비디오 영상을 압축하는데 효과적이며, 추가적으로 기존의 MPEG기반의 이차원 영상의 압축 기법에서 사용되는 모션벡터 정보를 바로 사용함으로 기존의 압축된 MPEG 비디오 스트림을 디코딩하지 않고 홀로그램 생성에 사용할 수 있는 현저한 효과가 있다.
도 1은 본 발명의 NLUT기법에서의 shift-invariance의 특성의 개요도.(Schematic for showing the shift-invariance property of the NLUT)
도 2는 본 발명의 제안된 MPEG-NLUT기법의 흐름도.(Operational flowchart of the proposed MPEG-NLUT)
도 3은 본 발명의 GOPs의 3-D 비디오 프레임들이 그룹화된 입력구조도. (A structure of the input 3-D video frames grouped into a sequence of GOPs)
도 4는 본 발명의 GOP내에서의 참조 프레임이 M×N개의 블록으로 분할된 모습과 각각의 블록으로 계산된 B-CGH들의 설명도(A reference frame divided into M×N blocks and the calculated B-CGHs for each block with the TR-NLUT)
도 5는 본 발명의 RF과 GFs 블록 간의 움직임 추정도.(Block-based motion estimation between the RF and one of the GFs)
도 6은 본 발명의 참조프레임에서 움직이는 9개의 블록의 예(An example of the block-based motion estimation: (a) An optical-flow map showing the MVs of 9 blocks of the RF, which are represented by the arrows, (b) A motion-vector map showing the corresponding motion-vector values given by the number of displaced pixels along the x and y directions)
도 7은 각각의 테스트 비디오 시나리오에 대한 움직임 추정 기법을 사용하여 추출된 모션 벡터 맵 설명도(Motion vectors of the (a) 1st frame of the ‘Case I’, (b) 2nd frame of the ‘Case I’ (Media 1), (c) 71st frame of the ‘Case I’, (d) 1st frame of the ‘Case II’, (e) 2nd frame of the ‘Case II’ (Media 2), (f) 71st frame of the ‘Case II’, (g) 1st frame of the ‘Case III’, (h) 2nd frame of the ‘Case III’ (Media 3), (i) 71st frame of the ‘Case III’)
도 8은 움직임 보상 과정 설명도(An example of the block-based motion compensation: (a) Motion compensation with the estimated motion vectors, (b) Motion-compensated version of the RF)
도 9는 참조 프레임으로부터 움직임 보상이 적용된 밝기 이미지(MC-RF)들을 보여주는 설명도{Motion-compensated object images of the 2nd, 32nd and 71st frames for each test video of (a) Case I (Media 1), (b) Case II (Media 2), and (c) Case III (Media 3)}
도 10은 참조 프레임으로부터 보상된 이미지와 기존의 일반 프레임과의 차이를 보여주는 이미지들 도면{Difference images of the 2nd, 32nd and 71st frames for each test video of (a) Case I (Media 1), (b) Case II (Media 2), and (c) Case III (Media 3)}
도 11은 각각의 일반 프레임들을 위한 CGH 패턴을 생성하는 전체 흐름도(Flowchart of the CGH generation process for each of the GFs)
도 12는 모션벡터를 이용하여 각각의 블록의 CGH(B-CGH)들을 이동시킨 모습을 보여주는 도면{A shifting process of the B-CGHs of the RF in Fig. 9: (a), (d) and (g) represent the B-CGHs for each block of A, B and I, (b), (e) and (h) show their shifted versions with the corresponding MVs, (c), (f) and (i) show their shifted versions compensated with the hologram patterns for the blank areas, and (j) CGH for the MC-RF obtained by adding all shifted B-CGHs}
도 13은 세 개의 시나리오에 대하여 총 150개의 프레임 중에서 1번째와 31번째와 72번째 프레임의 CGH패턴이 복원된 그림을 보여주는 도면{Reconstructed 3-D ‘Car’ object images at the distances of 630mm and 700mm for each test video of (a) ‘Case I’ (Media 1), (b) ‘Case II’ (Media 2) and (c) ‘Case III’ (Media 3)}
본 발명은 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법에 관한 것으로, 룩업 테이블과 영상의 블록 움직임 보상을 이용하여 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하는 것을 특징으로 한다.
또한, 상기 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하기 위하여, 입력된 삼차원 비디오 프레임은 순차적으로 다수 개의 세트로 묶여지고, 1번째 프레임은 참조 프레임, 나머지 프레임들은 일반 프레임이 되며, 각 프레임은 블록으로 나누어진 후에 참조 프레임과 일반 프레임이 비교되어 각 블록의 모션벡터가 추출되며,상기 참조 프레임에서 생성된 각 블록의 홀로그램이 모션벡터만큼 이동되어 일반 프레임의 각 블록의 홀로그램이 생성되는데 재사용되며, 이를 통해 계산시간이 단축되는 것을 특징으로 한다.
또한, 상기 입력된 삼차원 비디오 프레임은 순차적으로 4개의 세트로 묶여지고, 1번째 프레임은 참조 프레임, 나머지 3개의 프레임은 일반 프레임이 되는 것을 특징으로 한다.
또한, 각각의 프레임은 하나의 밝기 이미지와 하나의 깊이 이미지의 쌍으로 구성되는 것을 특징으로 한다.
또한, 상기 각각의 일반 프레임들을 위한 CGH 패턴을 생성하는 방법은 3개의 파트로 구성되는 것으로, 첫째, 참조 프레임으로부터 움직임이 보상된 프레임(MC-RF)에 대한 CGH 패턴을 생성하는 것이며, 둘째, 움직임이 보상된 블록들 간에 중첩을 해결하여 최종적인 CGH 패턴을 생성하는 것이며, 셋째, 참조 프레임으로부터 움직임이 보상된 프레임과 기존의 일반 프레임의 차이를 비교한 이미지를 이용해서 비어있는 공간의 CGH 패턴을 생성하는 것을 특징으로 한다.
또한, 상기 움직임이 보상된 블록들의 CGH 패턴은 참조 프레임의 블록의 모션벡터를 이용해 구하는 것을 특징으로 한다.
또한, 상기 움직임이 보상된 프레임(MC-RF)의 CGH패턴을 생성하기 위해서는 참조 프레임의 각각의 블록의 CGH패턴(B-CGH)에 두 단계의 과정을 수행하는 것으로, 1번째 단계는 참조 프레임의 각각의 블록의 CGH패턴(B-CGH)을 그것들의 모션벡터를 따라 이동시키며, 그리고 나서 2번째 단계는 블록 이동으로 인해 발생되는 비어있는 영역을 일반 프레임을 이용해 보상해주는 것으로, 이렇게 해서 생성된 모든 블록의 CGH패턴들을 다 더해주면 최종의 움직임이 보상된 프레임의 CGH패턴이 생성되는 것을 특징으로 한다.
이하 본 발명은 첨부도면에 의해 설명하면 다음과 같다.
도 1은 본 발명의 NLUT기법에서의 shift-invariance의 특성의 개요도.(Schematic for showing the shift-invariance property of the NLUT), 도 2는 본 발명의 제안된 MPEG-NLUT기법의 흐름도.(Operational flowchart of the proposed MPEG-NLUT), 도 3은 본 발명의 GOPs의 3-D 비디오 프레임들이 그룹화된 입력구조도. (A structure of the input 3-D video frames grouped into a sequence of GOPs), 도 4는 본 발명의 GOP내에서의 참조 프레임이 M×N개의 블록으로 분할된 모습과 각각의 블록으로 계산된 B-CGH들의 설명도(A reference frame divided into M×N blocks and the calculated B-CGHs for each block with the TR-NLUT), 도 5는 본 발명의 RF과 GFs 블록 간의 움직임 추정도.(Block-based motion estimation between the RF and one of the GFs), 도 6은 본 발명의 참조프레임에서 움직이는 9개의 블록의 예(An example of the block-based motion estimation: (a) An optical-flow map showing the MVs of 9 blocks of the RF, which are represented by the arrows, (b) A motion-vector map showing the corresponding motion-vector values given by the number of displaced pixels along the x and y directions), 도 7은 각각의 테스트 비디오 시나리오에 대한 움직임 추정 기법을 사용하여 추출된 모션 벡터 맵 설명도(Motion vectors of the (a) 1st frame of the ‘Case I’, (b) 2nd frame of the ‘Case I’ (Media 1), (c) 71st frame of the ‘Case I’, (d) 1st frame of the ‘Case II’, (e) 2nd frame of the ‘Case II’ (Media 2), (f) 71st frame of the ‘Case II’, (g) 1st frame of the ‘Case III’, (h) 2nd frame of the ‘Case III’ (Media 3), (i) 71st frame of the ‘Case III’), 도 8은 움직임 보상 과정 설명도(An example of the block-based motion compensation: (a) Motion compensation with the estimated motion vectors, (b) Motion-compensated version of the RF), 도 9는 참조 프레임으로부터 움직임 보상이 적용된 밝기 이미지(MC-RF)들을 보여주는 설명도{Motion-compensated object images of the 2nd, 32nd and 71st frames for each test video of (a) Case I (Media 1), (b) Case II (Media 2), and (c) Case III (Media 3)}, 도 10은 참조 프레임으로부터 보상된 이미지와 기존의 일반 프레임과의 차이를 보여주는 이미지들 도면{Difference images of the 2nd, 32nd and 71st frames for each test video of (a) Case I (Media 1), (b) Case II (Media 2), and (c) Case III (Media 3)}, 도 11은 각각의 일반 프레임들을 위한 CGH 패턴을 생성하는 전체 흐름도(Flowchart of the CGH generation process for each of the GFs), 도 12는 모션벡터를 이용하여 각각의 블록의 CGH(B-CGH)들을 이동시킨 모습을 보여주는 도면{A shifting process of the B-CGHs of the RF in Fig. 9: (a), (d) and (g) represent the B-CGHs for each block of A, B and I, (b), (e) and (h) show their shifted versions with the corresponding MVs, (c), (f) and (i) show their shifted versions compensated with the hologram patterns for the blank areas, and (j) CGH for the MC-RF obtained by adding all shifted B-CGHs}, 도 13은 세 개의 시나리오에 대하여 총 150개의 프레임 중에서 1번째와 31번째와 72번째 프레임의 CGH패턴이 복원된 그림을 보여주는 도면{Reconstructed 3-D ‘Car’ object images at the distances of 630mm and 700mm for each test video of (a) ‘Case I’ (Media 1), (b) ‘Case II’ (Media 2) and (c) ‘Case III’ (Media 3)}이다.
본 발명의 블록 움직임 보상 기법은 인접한 비디오 프레임 간에 공간적 중복성을 극대화시킴으로 비디오 영상에서 가장 효율적인 압축 알고리즘이다. 다른 말로 하면 블록 움직임 보상 기법은 인접한 비디오 프레임 간에 가능한 많은 중복된 데이터를 제거할 수 있는 기법이다. 중복된 데이터가 많이 제거될수록 홀로그램의 생성 속도는 향상된다. 게다가 블록 움직임 보상 기법은 빠르게 움직이는 삼차원 물체를 가지는 비디오 영상을 압축하는데 효과적이다. 추가적으로 기존의 MPEG기반의 이차원 영상의 압축 기법에서 사용되는 모션벡터 정보를 바로 사용함으로 기존의 압축된 MPEG 비디오 스트림을 디코딩하지 않고 홀로그램 생성에 사용할 수 있는 이점이 있다.
먼저, NLUT기법의 패턴 이동 특성으로서,
도 1은 NLUT기법에서의 패턴이동 특성을 보여준다. 도1의 왼쪽 부분에서 보이듯이 큐브 블록이 t1 시간에 A(0, 0, -z1) 지점에 위치하고, t2 시간에 B(x1, y1, -z1) 지점에 위치하고 큐브 블록 A의 CGH 패턴을 CGHA, CGHA로부터 복원된 큐브 블록이 A'(0, 0, z1) 지점에 생성된다고 가정할 때, B 지점으로 이동한 큐브 블록인 CGHB는 단순히 CGHA를 (x1, y1)만큼 이동시킴으로 얻을 수 있다. CGHA를 이동시켜서 얻은 CGHB로부터 복원된 큐브 블록은 B'(x1, y1, z1)지점으로 이동한 큐브 블록과 정확하게 일치한다. 따라서 NLUT기법에서 움직인 물체에 대한 CGH 패턴은 추가적인 연산 없이 물체의 이동한 만큼 CGH 패턴을 이동시킴으로 얻을 수 있다.
다음으로 제안된 기법에 대한 설명으로서,
도 2는 제안된 기법의 전체 흐름도를 보여준다. 첫째, 입력 삼차원 비디오 프레임이 GOP (group of pictures)로 묶여진다. 각각의 GOP는 하나의 참조 프레임(RF)과 여러 개의 일반 프레임(GF)으로 구성된다. 그리고 GOP 내부의 모든 프레임들은 이미지 블록들로 나눠진다. 둘째, 참조 프레임의 각각의 블록들의 CGH 패턴을 생성한다. 셋째, 참조 프레임의 각각의 블록과 일반 프레임의 각각의 블록을 비교하여 각 블록의 모션벡터를 구한다. 넷째, 각각의 블록의 모션벡터만큼 참조 프레임의 블록의 CGH 패턴을 이동시킨다. 다섯째, 이동된 블록의 CGH 패턴을 일반 프레임의 블록 이미지와 비교하여 보상을 수행한다. 최종적으로 각각의 블록의 CGH 패턴들을 더하면 일반 프레임의 CGH 패턴을 구할 수 있다.
그리고 입력 삼차원 비디오 프레임에 대한 그룹화와 블록화에 대해서 기술하면,
블록 움직임 보상 기법을 적용하기 위해서는 입력 비디오 프레임들을 그룹화하고 블록화하는 작업이 필요하다. 구체적으로 밝기와 깊이 데이터를 가지는 입력 삼차원 비디오 프레임을 순차적으로 GOP로 그룹화한다. 여기서 GOP는 한 개의 참조 프레임과 세 개의 일반 프레임으로 구성된다. 그리고 각각의 프레임은 512×512의 해상도를 가진다. 각각의 프레임은 하나의 밝기 이미지와 하나의 깊이 이미지의 쌍으로 구성되어 있다. 예를 들어 도 3은 10개의 비디오 프레임들이 세 개의 GOP로 그룹화되는 것을 보여준다. 그리고 각각의 GOP내에서 1번째 프레임이 참조 프레임이 되고 나머지 프레임들이 일반 프레임이 되는 것을 볼 수 있다. 여기서 GOP내부의 일반 프레임의 개수는 입력 비디오 내부에서 움직이는 물체의 움직임 양에 따라 결정된다. 만약 느리게 움직이는 물체를 가진 비디오의 경우에는 인접한 프레임간의 유사도가 증거하기 때문에 GOP내부의 일반 프레임의 개수를 증가시킬 수 있다. 반면에 빠르게 움직이는 물체를 가진 비디오의 경우에는 인접한 프레임간의 유사도가 저하되기 때문에 GOP내부의 일반 프레임의 개수가 감소된다.
GOP내의 모든 비디오 프레임들은 16×16 해상도의 블록으로 나누어지는데 전체 해상도가 512×512이므로 32×32개의 블록들로 나누어진다. 블록의 해상도는 조절이 가능하며 블록의 해상도가 전체 해상도가 일치하는 경우, 즉 블록의 해상도가 512×512가 되고 1×1개의 블록들로 나눠지는 경우에는 기존의 MC-NLUT 알고리즘과 동일하게 동작하게 된다.
참조 프레임의 각각의 블록에 대한 B-CGHs의 계산에 대해 기술하면,
GOP내에서의 참조 프레임의 CGH패턴은 분할된 각각의 블록의 CGH 패턴(B-CGH)을 계산하여 모두 더해줌으로 구해줄 수 있다. 도 4는 GOP내에서의 참조 프레임이 M×N개의 블록으로 분할된 모습과 각각의 블록으로 계산된 B-CGH들을 보여준다.
여기서, IB(m, n)는 참조 프레임의 (m, n)번째 블록의 B-CGH를 나타낸다. 참조 프레임의 최종 CGH 패턴을 IR이라고 했을 때, 이는 식(1)과 같이 참조 프레임의 모든 블록들의 B-CGH들의 단순한 합으로 생성된다.
Figure PCTKR2015006789-appb-I000001
(1)
인접한 프레임들은 유사도가 높으므로 움직임 추정과 보정 과정을 거치게 되면 많은 시간 중복성 데이터를 제거할 수 있다. 도 5는 GOP내에서 참조 프레임과 일반 프레임들 간의 하나의 블록의 움직임 추정을 수행하는 과정을 보여준다. 비디오 프레임들은 2차원 배열의 블록으로 나뉘어지고 각각의 블록의 모션벡터는 블록의 움직임 추정 기술에 의해 추출된다. 여기서 블록의 움직임 추정 기술은 밝기와 깊이 이미지의 쌍으로 구성된 삼차원 비디오에서 수행된다.
도 5에서 보이는 것처럼, (x1, y1) 지점에 위치하는 (m, n)번째 블록을 Am,n(x1, y1)라고 했을 때, 이 블록이 일반 프레임 안에서 Bm,n(x2, y2) 지점으로 이동했을 경우 x, y 방향의 이동량이 각각 dx 와 dy 라면, 이동된 Bm,n(x2, y2)는 식(2)와 같이 표현된다.
Figure PCTKR2015006789-appb-I000002
(2)
이때, dx 와 dy 는 x, y 방향의 블록의 모션 벡터를 나타내고 Δt 는 인접한 프레임 간의 시간간격을 나타낸다. 따라서, 일반 프레임 안에서 움직임이 보상된 블록은 참조 프레임의 특정 블록과 모션 벡터를 이용해서 생성될 수 있다. 여기서 매칭되는 블록을 찾는 프로세스는 검색 범위(SL)를 정하고 픽셀단위로 이동하면서 최소의 차이 값을 갖는 방식으로 진행된다. 이때 물체의 움직임이 빠를 경우 SL의 값이 커져야 한다. 식(3)은 최소의 차이 값을 구하기 위한 식으로 블록 내의 각각의 픽셀간의 차이 값의 절대값을 나타낸다.
Figure PCTKR2015006789-appb-I000003
(3)
여기서 SL은 검색 범위를 나타내고, Cij 와 Rij는 일반 프레임과 참조 프레임의 픽셀의 값을 나타낸다. 도 5에서 보는 것처럼 참조 프레임의 (x1, y1) 지점에 위치하는 Am,n(x1, y1) 블록이 일반 프레임의 (x2, y2) 지점에 위치하는 Bm,n(x2, y2) 블록과 가장 잘 맞는다면, Am,n(x1, y1) 블록의 모션 벡터는 식(4)와 같이 구해진다.
Figure PCTKR2015006789-appb-I000004
(4)
이것은 Am,n(x1, y1) 블록이 참조 프레임과 일반 프레임 사이에서 x, y 방향으로 dx 와 dy 만큼 이동한 것을 나타낸다. 여기서 만약 모션 벡터 dx 와 dy 가 음의 값으로 주어질 경우, 블록은 x, y 방향으로 왼쪽과 위쪽으로 이동한 것이 된다. 이러한 방법으로 참조 프레임의 모든 블록들과 일반 프레임들의 블록들 간의 가장 일치하는 블록들을 찾을 수 있다. 도 6은 참조 프레임에서 움직이는 9개의 블록의 예를 보여준다. 이때 참조 프레임의 각각의 블록의 모션 벡터는 도 6(b)와 같은 모션 벡터의 맵으로 표현할 수 있다.
도 7은 각각의 테스트 비디오 시나리오에 대한 움직임 추정 기법을 사용하여 추출된 모션 벡터 맵을 보여준다. 여기서 모션벡터의 크기와 방향은 빨간 색의 화살표로 표현된다. 이 실험에서 각각의 비디오 프레임은 512×512의 해상도를 가지고 32×32개의 블록으로 나뉘어져 있다. 그리고 GOP를 구성하는 프레임의 개수는 4개이다. 도 7(a)-7(c), 7(d)-7(f), 7(g)-7(i)는 ‘시나리오 I’, ‘시나리오 II’ ‘시나리오 III’의 1st, 2nd 와 71th 프레임들을 보여준다. 도 7(a), 7(d), 7(g)는 각 시나리오의 1번째 프레임, 즉 참조 프레임이므로 모션벡터가 존재하지 않는다. 도 7(b)와 7(c)는 1번째 시나리오의 2번째와 71번째 프레임으로 많은 모션벡터를 가지는 것을 볼 수 있다. 도 7(b)에서 보이는 것처럼 대부분의 모션벡터는 오른쪽으로 움직이는 자동차의 모션벡터로 오른쪽 방향에 동일한 크기의 모션벡터를 가지는 것을 알 수 있다. 그러나 7(c)에서 보이는 것처럼 71번째 프레임의 경우는 서로 다른 방향의 모션벡터가 존재하는 것을 볼 수가 있다. 이는 자동차가 이동함에 따라 보이던 부분이 사라지고 보이지 않던 부분이 나타나는 퍼스펙티브의 차이로 인해 정확한 예측이 이루어지지 않았기 때문이다. 2번째와 3번째 시나리오들의 경우에는 두 개의 자동차가 서로 다른 방향으로 움직이는 것을 볼 수 있다. 따라서 도 7(e)와 7(h)에서 보이는 것처럼 서로 다른 방향의 모션벡터가 존재함을 알 수 있다.
도 8은 움직임 보상 과정을 보여준다. 이 도면에서 A~I는 참조 프레임의 블록들을 나타내고, A’~I’은 움직임이 보상된 일반 프레임의 블록들을 나타낸다. 참조 프레임의 모든 블록들은 모션벡터를 이용해 새로운 위치로 이동되는 것을 볼 수 있다. 예를 들어 도 8(b)에서 볼 수 있는 것처럼 블록 A의 모션벡터는 (3,0)으로 주어져있다. 그러므로 블록 A’이 이동된 위치는 수식 (5)와 같이 나타낼 수 있다.
Figure PCTKR2015006789-appb-I000005
(5)
마찬가지로 다른 블록들도 도 8(b)에서 보이는 것처럼 모션 벡터에 의해 이동된 것을 볼 수 있다. 하지만, 도 8(b)에서 보이는 것처럼 블록들이 이동된 후에 여러 블록들이 겹치는 것을 확인할 수 있다.
도 9는 참조 프레임으로부터 움직임 보상이 적용된 밝기 이미지(MC-RF)들을 보여준다. 각 시나리오 상의 2번째 프레임들은 비교적 움직임 보상이 잘된 것을 확인할 수 있다. 그런데 32번째와 71번째 영상들의 경우 작은 비어있는 공간이 존재함을 볼 수 있다. 이 비어있는 공간들은 참조 프레임의 블록들만으로는 계산될 수 없는 일반 프레임에서만 존재하는 부분들로서 추가적인 보상 과정이 필요하다. 특히 3번째 시나리오의 71번째 프레임의 경우 정확하지 않은 모션벡터로 인해 블록 간의 중복이 크게 일어남으로 다소 큰 빈 공간이 발생하는 것을 확인할 수 있다.
도 10은 참조 프레임으로부터 보상된 이미지와 기존의 일반 프레임과의 차이를 보여주는 이미지들이다. 도 10(b)와 10(c)의 32번째와 71번째 프레임들에서 보이듯이, 위에서 언급한 비어있는 공간 문제로 인해 차이 나는 부분이 블록으로 나타나는 부분이 존재함을 알 수 있다. 이러한 부분들은 기존의 일반 프레임을 이용하여 추가적인 보상이 필요하다. 그러나 제안된 기법을 통해 많은 양의 중복성이 제거된 것을 도 10을 통해 확인할 수 있다.
일반 프레임들의 CGH들의 생성과 삼차원 물체에 대한 복원에 대해 기술하면 다음과 같다. 먼저 일반 프레임들의 CGH들의 생성에 대한 전체 흐름에 대해 기술하면,
도 11은 각각의 일반 프레임들을 위한 CGH 패턴을 생성하는 전체 흐름도를 보여준다. 이는 크게 3개의 파트로 구성된다. 첫째, 참조 프레임으로부터 움직임이 보상된 프레임(MC-RF)에 대한 CGH 패턴을 생성한다. 둘째, 움직임이 보상된 블록들 간에 중첩을 해결하여 최종적인 CGH 패턴을 생성한다. 셋째, 참조 프레임으로부터 움직임이 보상된 프레임과 기존의 일반 프레임의 차이를 비교한 이미지를 이용해서 비어있는 공간의 CGH 패턴을 생성한다.
MC-RF에 대한 CGH 패턴의 생성에 대해 기술하면,
도 11에서 보는 것처럼, 움직임이 보상된 블록들의 CGH 패턴은 참조 프레임의 블록의 모션벡터를 이용해 쉽게 구할 수 있다. 예를 들어 도 12는 모션벡터를 이용하여 각각의 블록의 CGH(B-CGH)들을 이동시킨 모습을 보여준다.
다르게 말하면, 움직임이 보상된 프레임(MC-RF)의 CGH패턴을 생성하기 위해서는 참조 프레임의 각각의 블록의 CGH패턴(B-CGH)에 두 단계의 과정을 수행하면 된다는 것이다. 1번째 단계는 참조 프레임의 각각의 블록의 CGH패턴(B-CGH)을 그것들의 모션벡터를 따라 이동시킨다. 그리고 나서 2번째 단계는 블록 이동으로 인해 발생되는 비어있는 영역을 일반 프레임을 이용해 보상해주는 것이다. 이렇게 해서 생성된 모든 블록의 CGH패턴들을 다 더해주면 최종의 움직임이 보상된 프레임의 CGH패턴이 생성된다. 식 (6)는 움직임이 보상된 프레임의 CGH패턴을 계산하는 과정을 보여준다.
Figure PCTKR2015006789-appb-I000006
(6)
여기서, IS(x, y)은 움직임이 보상된 프레임의 블록들에서 구해진 CGH패턴을 나타내고, IRm(x, y)는 참조 프레임의 블록들의 CGH패턴들이 dx 와 dy 의 모션벡터에 따라 이동된 것을 나타낸다. IRBm(x, y)는 비어있는 공간에 대한 CGH 패턴을 나타낸다. M은 블록들의 총합계를 나타낸다.
중복된 영역에 대한 홀로그램 패턴의 보상에 대해 기술하면,
식 (6)에서 구해진 IS(x, y)는 이동된 블록들의 CGH패턴들이 중첩될 수 있으므로 움직임이 포상된 프레임의 완벽한 CGH패턴이 될 수 없다. 따라서 식 (7)과 같이 중첩된 영역을 빼줌으로 해서 움직임이 보상된 프레임의 완벽한 CGH패턴이 완성된다.
Figure PCTKR2015006789-appb-I000007
(7)
여기서 IRO 는 중첩된 영역의 CGH패턴을 의미한다.
일반 프레임들의 CGH패턴들의 생성에 대해 기술하면,
식 (7)과 같이 최종적으로 움직임이 보상된 프레임의 CGH패턴을 얻은 이후에, 도 10에서 보여줬던, 움직임이 보상된 프레임과 기존의 일반 프레임과의 차이 이미지를 이용해 최종적인 보상이 이루어진다. 식 (8)은 최종적인 일반 프레임의 CGH 패턴을 얻는 과정을 보여준다.
Figure PCTKR2015006789-appb-I000008
(8)
여기서, IC(x, y) 는 움직임이 보상된 프레임의 CGH패턴을 나타내고, ID(x, y) 는 움직임이 보상된 프레임과 기존의 일반 프레임과의 차이 이미지를 통해 얻은 CGH패턴을 나타낸다. 이러한 보상 과정을 통해 최종적으로 I(x, y) , 즉 기존의 일반 프레임의 CGH패턴이 패턴이 구해진다.
CGH로부터 삼차원 물체를 복원하는 과정에 대해 기술하면,
도 13은 세 개의 시나리오에 대하여 총 150개의 프레임 중에서 1번째와 31번째와 72번째 프레임의 CGH패턴이 복원된 그림을 보여준다. 도 13(a)의 1번째 시나리오에서 볼 수 있는 것처럼 복원된 삼차원 자동차 오브젝트가 빠른 속도로 왼쪽에서 오른쪽으로 이동하는 것을 볼 수 있다. 여기서 도 13(a)의 윗줄에 있는 그림은 거리 630mm에서 복원된 영상을 나타내고, 아랫줄에 있는 그림은 거리 700mm에서 복원된 영상을 나타낸다. 그러므로 보이는 것처럼 윗줄에 있는 그림은 뚜렷하게 보이고 아랫줄에 있는 그림은 희미하게 보이는 것을 알 수 있다. 2번째와 3번째의 시나리오는 두 개의 자동차 오브젝트가 빠른 속도로 서로 다른 방향으로 이동하는 것을 볼 수 있다. 이때 자동차 하나는 630mm의 거리에서 뚜렷하게 관찰되고 나머지 하나는 700mm의 거리에서 뚜렷하게 관찰되는 것을 볼 수 있다. 이를 통해 제안된 기법으로 생성된 CGH패턴이 광학적으로 완벽하게 복원되는 것을 확인할 수 있다.
따라서 본 발명의 블록 움직임 보상 기법은 인접한 비디오 프레임 간에 공간적 중복성을 극대화시킴으로 비디오 영상에서 가장 효율적인 압축 알고리즘으로서, 곧 블록 움직임 보상 기법은 인접한 비디오 프레임 간에 가능한 많은 중복된 데이터를 제거할 수 있는 기법으로서, 중복된 데이터가 많이 제거될수록 홀로그램의 생성 속도는 향상되며, 게다가 블록 움직임 보상 기법은 빠르게 움직이는 삼차원 물체를 가지는 비디오 영상을 압축하는데 효과적이며, 추가적으로 기존의 MPEG기반의 이차원 영상의 압축 기법에서 사용되는 모션벡터 정보를 바로 사용함으로 기존의 압축된 MPEG 비디오 스트림을 디코딩하지 않고 홀로그램 생성에 사용할 수 있는 현저한 효과가 있다.

Claims (7)

  1. 룩업 테이블과 영상의 블록 움직임 보상을 이용하여 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
  2. 제1항에 있어서, 상기 빠른 움직임을 가지는 삼차원 물체를 가지는 비디오 홀로그램을 빠르게 생성하기 위하여, 입력된 삼차원 비디오 프레임은 순차적으로 다수 개의 세트로 묶여지고, 1번째 프레임은 참조 프레임, 나머지 프레임들은 일반 프레임이 되며, 각 프레임은 블록으로 나누어진 후에 참조 프레임과 일반 프레임이 비교되어 각 블록의 모션벡터가 추출되며,상기 참조 프레임에서 생성된 각 블록의 홀로그램이 모션벡터만큼 이동되어 일반 프레임의 각 블록의 홀로그램이 생성되는데 재사용되며, 이를 통해 계산시간이 단축되는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
  3. 제2항에 있어서, 상기 입력된 삼차원 비디오 프레임은 순차적으로 4개의 세트로 묶여지고, 1번째 프레임은 참조 프레임, 나머지 3개의 프레임은 일반 프레임이 되는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
  4. 제2항에 있어서, 상기 각각의 프레임은 하나의 밝기 이미지와 하나의 깊이 이미지의 쌍으로 구성되는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
  5. 제2항에 있어서, 상기 각각의 일반 프레임들을 위한 CGH 패턴을 생성하는 방법은 3개의 파트로 구성되는 것으로, 첫째, 참조 프레임으로부터 움직임이 보상된 프레임(MC-RF)에 대한 CGH 패턴을 생성하는 것이며, 둘째, 움직임이 보상된 블록들 간에 중첩을 해결하여 최종적인 CGH 패턴을 생성하는 것이며, 셋째, 참조 프레임으로부터 움직임이 보상된 프레임과 기존의 일반 프레임의 차이를 비교한 이미지를 이용해서 비어있는 공간의 CGH 패턴을 생성하는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
  6. 제5항에 있어서, 상기 움직임이 보상된 블록들의 CGH 패턴은 참조 프레임의 블록의 모션벡터를 이용해 구하는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
  7. 제5항에 있어서, 상기 움직임이 보상된 프레임(MC-RF)의 CGH패턴을 생성하기 위해서는 참조 프레임의 각각의 블록의 CGH패턴(B-CGH)에 두 단계의 과정을 수행하는 것으로, 1번째 단계는 참조 프레임의 각각의 블록의 CGH패턴(B-CGH)을 그것들의 모션벡터를 따라 이동시키며, 그리고 나서 2번째 단계는 블록 이동으로 인해 발생되는 비어있는 영역을 일반 프레임을 이용해 보상해주는 것으로, 이렇게 해서 생성된 모든 블록의 CGH패턴들을 다 더해주면 최종의 움직임이 보상된 프레임의 CGH패턴이 생성되는 것을 특징으로 하는 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
PCT/KR2015/006789 2014-12-05 2015-07-02 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법 WO2016088965A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0173872 2014-12-05
KR1020140173872A KR101657367B1 (ko) 2014-12-05 2014-12-05 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법

Publications (1)

Publication Number Publication Date
WO2016088965A1 true WO2016088965A1 (ko) 2016-06-09

Family

ID=56091887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006789 WO2016088965A1 (ko) 2014-12-05 2015-07-02 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법

Country Status (2)

Country Link
KR (1) KR101657367B1 (ko)
WO (1) WO2016088965A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897983A (zh) * 2016-12-30 2017-06-27 青岛海信电器股份有限公司 一种多帧图像集合的处理方法和图像处理装置
CN107396083A (zh) * 2017-07-27 2017-11-24 青岛海信电器股份有限公司 一种全息图像生成方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445262A (zh) * 2018-12-28 2019-03-08 天津利信科技有限公司 全息数据的存储方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837365B1 (ko) * 2007-07-27 2008-06-12 광운대학교 산학협력단 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치
KR100973031B1 (ko) * 2009-04-06 2010-07-30 광운대학교 산학협력단 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
JP2012008220A (ja) * 2010-06-22 2012-01-12 Kwang Woon Univ Industry-Academic Collaboration Foundation ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837365B1 (ko) * 2007-07-27 2008-06-12 광운대학교 산학협력단 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치
KR100973031B1 (ko) * 2009-04-06 2010-07-30 광운대학교 산학협력단 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
JP2012008220A (ja) * 2010-06-22 2012-01-12 Kwang Woon Univ Industry-Academic Collaboration Foundation ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONG, XIAO ET AL.: "Three-Directional Motion Compensation-Based Novel- Look-Up-Table for Video Hologram Generation of Three-Dimensional Objects Freely Maneuvering in Space.", OPTICS EXPRESS., vol. 22, no. 14, 14 July 2014 (2014-07-14), pages 16925 - 16944 *
KIM, SEUNG ET AL.: "Fast Generation of Video Holograms of Three-Dimensional Moving Objects Using A Motion Compensation-Based Novel Look-Up Table.", OPTICS EXPRESS., vol. 21, no. 9, 6 May 2013 (2013-05-06), pages 11568 - 11584 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897983A (zh) * 2016-12-30 2017-06-27 青岛海信电器股份有限公司 一种多帧图像集合的处理方法和图像处理装置
CN106897983B (zh) * 2016-12-30 2023-12-26 海信视像科技股份有限公司 一种多帧图像集合的处理方法和图像处理装置
CN107396083A (zh) * 2017-07-27 2017-11-24 青岛海信电器股份有限公司 一种全息图像生成方法及装置
CN107396083B (zh) * 2017-07-27 2020-01-14 青岛海信电器股份有限公司 一种全息图像生成方法及装置

Also Published As

Publication number Publication date
KR20160068326A (ko) 2016-06-15
KR101657367B1 (ko) 2016-09-13

Similar Documents

Publication Publication Date Title
KR102295403B1 (ko) 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
JP6208455B2 (ja) ３ｄディスプレイ装置およびその映像処理方法
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2016088965A1 (ko) 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
Tamgade et al. Notice of Violation of IEEE Publication Principles: Motion Vector Estimation of Video Image by Pyramidal Implementation of Lucas Kanade Optical Flow
KR20150120029A (ko) 집적 영상시스템의 3차원 영상 표시깊이변환방법
CN110798676A (zh) 一种利用内镜镜头动态图像形成3d视觉的方法及装置
Wu et al. Depth mapping of integral images through viewpoint image extraction with a hybrid disparity analysis algorithm
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
Mansouri et al. Bayesian winner-take-all reconstruction of intermediate views from stereoscopic images
KR101289283B1 (ko) 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법
JPH08201941A (ja) ３次元画像形成方法
CN107396083B (zh) 一种全息图像生成方法及装置
Swash et al. Pre-processing of holoscopic 3D image for autostereoscopic 3D displays
Aggoun 3D Holoscopic video content capture, manipulation and display technologies
Lee et al. Segment-based multi-view depth map estimation using belief propagation from dense multi-view video
KR102375135B1 (ko) 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법
Kuo et al. High efficiency depth image-based rendering with simplified inpainting-based hole filling
JP6313569B2 (ja) 立体映像生成装置、そのプログラム及び立体映像表示装置
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
Sourimant A simple and efficient way to compute depth maps for multi-view videos
Eljdid et al. Enhanced techniques 3D integral images video computer generated
CN110324606B (zh) 一种集成成像正交视图的计算重构方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865220

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15865220

Country of ref document: EP

Kind code of ref document: A1