WO2014185710A1 - Tiled display에서 3d 영상을 보정하는 방법 및 장치 - Google Patents

Tiled display에서 3d 영상을 보정하는 방법 및 장치 Download PDF

Info

Publication number
WO2014185710A1
WO2014185710A1 PCT/KR2014/004327 KR2014004327W WO2014185710A1 WO 2014185710 A1 WO2014185710 A1 WO 2014185710A1 KR 2014004327 W KR2014004327 W KR 2014004327W WO 2014185710 A1 WO2014185710 A1 WO 2014185710A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
por
display panel
display
rotation
Prior art date
Application number
PCT/KR2014/004327
Other languages
English (en)
French (fr)
Inventor
리웨이밍
지오우밍차이
왕샨동
지아오샤오후이
홍타오
왕하이타오
김지연
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP14798325.8A priority Critical patent/EP2999220B1/en
Priority to JP2016513872A priority patent/JP6590792B2/ja
Publication of WO2014185710A1 publication Critical patent/WO2014185710A1/ko
Priority to US14/627,534 priority patent/US9977981B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • the embodiments below relate to a method and apparatus for correcting a 3D image in a tiled display.
  • IID Integrated Imaging Display
  • an IID that includes an LCD panel and a lens array
  • the LCD panel displays a 2D image called an elemental image array (EIA), and the lens array extracts different parts of the EIA in 3D space in different directions. To generate a 3D image.
  • EIA elemental image array
  • T-IID Transintegral Imaging Display
  • a method of calibrating a 3D image of a tile display including a display panel and a plurality of lens arrays including: acquiring a plurality of structured light images displayed on the display panel; Calibrating the geometric model of the tile display based on the fields, generating an optical model according to the corrected geometric model of the tile display, and rendering an image using the optical model.
  • the correcting may include extracting POR (Principal Observation Ray) pixels corresponding to a light ray passing through an optical center of a photographing unit from the plurality of structured light images, and using the extracted POR pixels, a geometric model of the tile display. It may include the step of correcting.
  • POR Principal Observation Ray
  • the extracting may include decoding the plurality of structured light images to generate a corresponding map between pixels of the display panel and pixels of the photographing unit, and extracting the POR pixels using the corresponding map. Can be.
  • the extracting may include decoding the plurality of structured light images to generate a corresponding map between pixels of the display panel and pixels of the photographing unit, and filtering the corresponding map through a gradient filter to filter the plurality of lenses. Extracting a boundary of a lens included in the arrays, extracting first POR pixels from the plurality of structured light images according to the extracted boundary, and based on the first POR pixels Extracting the second POR pixels according to the structure of each of the lens arrays, determining whether the sum of the number of the first POR pixels and the second POR pixels has reached a predetermined number, and according to the determination result, And transmitting the first POR pixels and the second POR pixels as the extracted POR pixels.
  • Correcting the geometric model of the tile display using the extracted POR pixels calculates rotation and translation parameters for the display panel of the plurality of lens arrays using the extracted POR pixels, and calculates the calculated rotation. And correcting the geometric model of the tile display using translational parameters.
  • Correcting the geometric model of the tile display using the extracted POR pixels converts rotation and transformation between a coordinate system defined in the plurality of lens array planes and a coordinate system defined in the display panel plane to 2D rotation and transformation. Calculating optical center coordinates of the photographing unit based on the extracted POR pixels, estimating the rotation and transformation parameters based on the 2D rotation and transformation, the optical center coordinates, the rotation and Calibrating the geometric model of the tile display using transformation parameters.
  • the generating may include calculating a position of the display panel of each lens included in the plurality of lens arrays using the geometric model of the corrected tile display, specifying an observation plane, and determining an observation plane from the observation plane. Determining an observation center, generating a pixel coordinate system of the image, and generating a mapping matrix based on the pixel coordinate system, and based on the position, the observation center, and the mapping matrix, each of the display panels Mapping the pixel to the center of a corresponding lens to generate the optical model.
  • the optical model may be displayed by two-sided straight notation.
  • the extracting of the second POR pixels may include predicting positions of the second POR pixels based on the first POR pixels, determining a search window based on the predicted position, and searching the search window. Generating an energy function value based on a local gradient amplitude histogram for the pixels included in the; extracting the second POR pixels from the pixels based on the energy function value It may include the step.
  • a display system obtains a tile display including a display panel and a plurality of lens arrays, a plurality of structured light images displayed on the display panel, and displays the tile based on the plurality of structured light images.
  • the image processing apparatus may be configured to correct a geometric model of, generate an optical model according to the corrected geometric model of the tile display, and render an image using the optical model.
  • the image processing apparatus calculates rotation and translation parameters for a display panel of the plurality of lens arrays based on a photographing unit that acquires the plurality of structured light images, and the plurality of structured light images.
  • a compensator for correcting the geometric model of the tile display using parameters an optical model generator for generating the optical model according to the corrected geometric model of the tile display, and rendering the image using the optical model. It may include a renderer.
  • the correction unit calculates the rotation and translation parameters by using a POR pixel extraction unit for extracting POR pixels corresponding to a light ray passing through the optical center of the photographing unit from the plurality of structured light images, and the extracted POR pixels. It may include a lens array correction unit for correcting the geometric model of the tile display by using the rotation and translation parameters.
  • the POR pixel extractor may decode the plurality of structured light images to generate a corresponding map between pixels of the display panel and pixels of the photographing unit, and extract the POR pixels using the corresponding map.
  • the POR pixel extracting unit decodes the plurality of structured light images to generate a corresponding map between pixels of the display panel and pixels of the photographing unit, and filters the corresponding map through a gradient filter to filter the plurality of structures.
  • An edge extractor extracting a boundary of a lens included in the lens arrays of the first and second POR pixels according to the extracted boundary and a structure of each of the plurality of lens arrays; It is determined whether the sum of the number of 1 POR pixels and the second POR pixels has reached a predetermined number, and the first POR pixels and the second POR pixels are extracted as the extracted POR pixels according to a determination result. It may include a pixel extraction unit.
  • the lens array correcting unit converts rotation and transformation between a coordinate system defined in the plurality of lens array planes and a coordinate system defined in the display panel plane into 2D rotation and transformation, and based on the extracted POR pixels.
  • FIG. 1 is a diagram illustrating a display system according to an exemplary embodiment.
  • FIG. 2 is a schematic block diagram of the image processing apparatus shown in FIG. 1.
  • 3 is a diagram for explaining a geometric model of T-IID.
  • FIG. 4 is a schematic block diagram of a POR pixel extracting unit shown in FIG. 2.
  • FIG. 5 is a diagram for describing a method of operating a POR pixel extraction unit.
  • FIG. 6 is a diagram for describing initial POR pixels.
  • FIG. 7 is a schematic block diagram of a lens array correction unit illustrated in FIG. 2.
  • FIG. 8 is a diagram for describing a method of operating the lens array correction unit illustrated in FIG. 2.
  • FIG. 9 is a schematic block diagram of the optical model generator illustrated in FIG. 2.
  • FIG. 10 is a diagram for describing an operation method of an optical model generator.
  • FIG. 11 is a flowchart for describing an operating method of the image processing apparatus illustrated in FIG. 2.
  • FIG. 12 is a flowchart for describing an operating method of the POR pixel extracting unit illustrated in FIG. 2.
  • FIG. 13 is a flowchart for describing an operation method of the lens array correction unit illustrated in FIG. 2.
  • FIG. 14 is a flowchart for describing an operating method of the optical model generator illustrated in FIG. 2.
  • FIG. 1 is a diagram illustrating a display system according to an exemplary embodiment.
  • a display system 10 may include a Tied Integral Imaging Display (T-IID) 100 and an image processing device 200.
  • T-IID Tied Integral Imaging Display
  • the Tiled Integral Imaging Display (T-IID) 100 may combine a plurality of Integral Imaging Displays (IIDs) to form a 3D display of a large screen.
  • the T-IID 100 may include a display panel 110 and a plurality of lens arrays 130.
  • the display panel 110 may be implemented as an LCD panel.
  • the display panel 110 may include a touch screen panel, a thin film transistor-liquid crystal display (FTF-LCD) panel, a liquid emitting diode (LED) display panel, an organic LED (OLED) display panel, and an active matrix OLED (AMOLED).
  • the display panel may be implemented as a display panel or a flexible display panel.
  • the plurality of lens arrays 130 may generate a 3D image by refracting rays emitted from the EIA of the display panel 110.
  • the display panel 110 may be implemented as a large screen display panel.
  • the T-IID 100 may be a large screen 3D display configured by a large screen display panel 110 and a plurality of combined lens arrays 130.
  • the display panel 110 may include a plurality of small display panels positioned on the same plane and aligned with each other.
  • the image processing apparatus 200 may generally control the operation of the display system 10.
  • the image processing apparatus 200 may be implemented as a printed circuit board (PCB) such as a motherboard, an integrated circuit (IC), or a system on chip (SoC).
  • PCB printed circuit board
  • IC integrated circuit
  • SoC system on chip
  • the image processing apparatus 200 may be an application processor.
  • the image processing apparatus 200 may be a device for correcting a 3D image in the T-IID 100.
  • the image processing apparatus 200 is structured when a position alignment error exists between different integrated imaging display units (IIDs) included in the T-IID 100, for example, different lens arrays 130. light image) and correct the geometric model of the T-IID 100 based on the structured light image.
  • IIDs integrated imaging display units
  • FIG. 2 is a schematic block diagram of the image processing apparatus shown in FIG. 1.
  • the image processing apparatus 200 may include a capturing unit 210, a calibration unit 220, a ray model generating unit 230, and a rendering unit. (rendering unit; 240).
  • the photographing unit 210 may capture a structured light image displayed on the display panel 110 of the T-IID 100 at a fixed position.
  • the photographing unit 210 may be implemented by, for example, a camera, a video camera, or the like, and may sequentially acquire each of the plurality of structured light images.
  • the photographing unit 201 may acquire any structured light image.
  • the photographing unit 201 may acquire another structured light image.
  • the photographing unit 210 may repeat the above process until all of the structured light images displayed on the display panel 110 are obtained.
  • the photographing unit 210 may transmit the obtained plurality of structured light images to the corrector 220.
  • the correction unit 220 may correct a geometric model of the T-IID 100.
  • the correction unit 220 may obtain geometric parameter information for correcting the geometric model of the T-IID 100 from the structured light image obtained by the photographing unit 210.
  • the geometric model of T-IID 100 may be a collection of virtual lens arrays for the plurality of lens arrays 130.
  • the virtual lens arrays may correspond to each of the plurality of lens arrays 130.
  • the virtual lens arrays may correspond to each of groups grouping the plurality of lens arrays 130.
  • 3 is a diagram for explaining a geometric model of T-IID. 3 illustrates only four lens arrays among the plurality of lens arrays 130 for convenience of description.
  • the geometric model of the T-IID 100 may include rotation parameters R1 to R4 and translation parameters T1 to T4 for the display panel 110.
  • Ri is a 3x3 rotation matrix and can mean rotation of the i th lens array.
  • Ti may mean the translation vector of the i th lens array.
  • the correction unit 220 of FIG. 2 may include a POR pixel extraction unit 270 and a lens array calibration unit 290.
  • the POR pixel extractor 270 may extract POR (Principal Observation Ray) pixels corresponding to a light ray passing through an optical center of the photographing unit 210 based on the plurality of structured light images. have.
  • the POR pixel extractor 270 decodes a plurality of structured light images to generate a correspondence map between the pixels of the display panel 110 and the pixels of the photographing unit 210.
  • POR (Principal Observation Ray) pixels may be extracted using the map.
  • the lens array correction unit 290 calculates rotation and translation parameters of the display panel 110 of the plurality of lens arrays 130 using the extracted POR pixels, and calculates the T- using the calculated rotation and translation parameters.
  • the geometric model of the IID 100 may be corrected.
  • FIG. 4 is a schematic block diagram of the POR pixel extracting unit illustrated in FIG. 2, and FIG. 5 is a diagram for describing a method of operating the POR pixel extracting unit.
  • the POR pixel extraction unit 270 may include a pixel analysis unit 271, an edge extraction unit 272, and a pixel extraction unit 273. It may include.
  • the pixel analyzer 271 generates a correspondence map between the pixels of the display panel 110 and the pixels of the photographing unit 210 by decoding the plurality of structured light images obtained from the photographing unit 210. can do.
  • the pixel analyzer 271 may generate a corresponding map by mapping each of the pixels of the photographing unit 210 to each of the pixels of the display panel 110 using the plurality of structured light images.
  • Each of the pixels of the photographing unit 210 may correspond to one light ray in 3D space.
  • the light beams are refracted through the lenses included in the corresponding lens arrays of the plurality of lens arrays 130 and then intersect with the pixels of the display panel 110. ) May be mapped corresponding to the pixels.
  • the edge extractor 272 may extract a boundary of the lenses included in the plurality of lens arrays 130 by filtering the corresponding map through the gradient filter. For example, the edge extractor 272 may detect the sharp change in the corresponding map through the gradient filter to extract the boundary of the lens. The edge extractor 272 may extract only edges of some lenses in order to improve efficiency without extracting all edges of all lenses included in the plurality of lens arrays 130.
  • the pixel extractor 273 may extract a light ray passing through an optical center of the photographing unit 210 as a POR (Principal Observation Ray).
  • POR Principal Observation Ray
  • the POR may pass through the optical center of the photographing unit 210 and the optical center of the lens.
  • the pixel corresponding to the POR in the lens array may correspond to the center of the lens of the lens array.
  • the POR pixel corresponds to a lens and may be used as a meaning distinguished from pixels of the photographing unit 210 and the display panel 110.
  • the pixel extractor 273 may extract first POR pixels from the plurality of structured light images according to the boundary of the extracted lens.
  • the first POR pixels may be a first predetermined number, for example, may be preset as initial POR pixels or automatically detected by a detection device (not shown).
  • three POR pixels POR_a, POR_b, and POR_c may be provided to one lens array and set as the first POR pixels.
  • One POR pixel (POR_a) is located at one corner lens of the lens array, and the other two POR pixels (PPOR_b, POR_c) are adjacent to the POR pixel (POR_a), so that the direction of two sides of the lens array is provided. Can be.
  • the pixel extractor 273 may extract the second POR pixels based on the structures of the plurality of lens arrays 130 based on the first POR pixels. For example, the pixel extractor 273 predicts the positions of the second POR pixels according to the structures of the plurality of lens arrays 130 based on the first POR pixels, and searches the search window based on the predicted position. Can be determined.
  • the structure of each of the lens arrays 130 may include a lens shape, a lens pitch, a lens arrangement, a focal length, and a lens array size. Can be.
  • the pixel extractor 273 generates an energy function at the position of each pixel included in the search window to determine a possibility that each pixel becomes second POR pixels, and selects the POR pixels most likely to be the second POR pixels. Can be extracted with For example, the pixel extractor 273 may use an energy function based on a local gradient amplitude histogram.
  • the energy function value of each pixel may be the sum of image gradient amplitude values in a local rectangular window that includes the perimeter of each pixel.
  • the search window may be a square or rectangular image region, and the length of one side may be 0.5 times the diameter of the lens of the photographing unit 210 for capturing the structured light image.
  • the pixel extractor 273 may determine the pixels having the lowest energy function as the second POR pixels.
  • the pixel extractor 273 may set the sum of the number of the first POR pixels and the second POR pixels to a second predetermined value. It may be determined whether the number is reached, and the first POR pixels and the second POR pixels may be transmitted to the lens array correction unit 290 according to the determination result.
  • the second predetermined number may be set in advance.
  • the pixel extractor 273 stores the first POR pixels and the second POR pixels in a lens array beam. May be sent to government 290.
  • the pixel extractor 273 may include a plurality of lenses based on the first POR pixels and the second POR pixels. The next possible POR pixels may be extracted according to the structure of each of the arrays, and may be repeated until the number of POR pixels reaches a second predetermined number.
  • the lens array corrector 290 may calculate a state of the display panel 110 of each of the plurality of lens arrays 130 based on the POR pixels extracted from the POR pixel extractor 270.
  • the state of the lens array may include rotation and translation parameters.
  • FIG. 7 is a schematic block diagram of the lens array corrector illustrated in FIG. 2
  • FIG. 8 is a diagram for describing a method of operating the lens array corrector illustrated in FIG. 2.
  • the lens array corrector 290 may include a conversion unit 291, an optical center calculation unit 292, and a parameter estimation unit 293. have.
  • O w X w Y w Z w for the display panel plane 110-1, the lens array plane 130-1, and the imaging unit image plane 210-1, respectively.
  • O a X a Y a Z a O c X c Y c Z c
  • a world coordinate system O w X w Y w Z w
  • O a X a Y a Z a is the lens array plane ( 130-1).
  • the coordinate system O c X c Y c Z c may be defined in the photographing unit 210, and O c may be an optical center of the photographing unit 210.
  • the i th lens included in the k th lens array is measured in the coordinate system O w X w Y w Z w It can be expressed as. May refer to X, Y, and Z coordinates of the i th lens included in the k th lens array in the coordinate system O w X w Y w Z w .
  • the distance from the k th lens array to the display panel 110 is fixed. May be a fixed value.
  • the i th lens included in the k th lens array is measured in the coordinate system O a X a Y a Z a It can be expressed as. May refer to X, Y, and Z coordinates of the i th lens included in the k th lens array in the coordinate system O a X a Y a Z a . For example, by placing the k th lens array in the lens array plane 130-1, May be zero.
  • the transformation unit 291 converts the rotation and translation between the coordinate system O w X w Y w Z w and the coordinate system O a X a Y a Z a to 2D rotation and transformation as shown in Equation 1 below. I can convert it.
  • Denotes a rotational angle with respect to the LCD panel of the k-th lens array May mean a translation vector for the LCD panel of the k-th lens array.
  • the optical center calculating unit 292 coordinates the optical center of the photographing unit 210 based on the POR pixels extracted from the POR pixel extracting unit 270. Can be calculated.
  • the optical center of the photographing unit 210 may mean X, Y, Z coordinates in the coordinate system O c X c Y c Z c .
  • the optical calculation unit 292 may use the POR pixels extracted from the POR pixel extracting unit 270 for planar homography between the photographing unit image plane 210-1 and the display panel plane 130-1.
  • the POR is a pixel of the display panel 130.
  • the optical core of the lens Pixels in the imaging unit image plane 210-1 through the It can be located at A corresponding relationship between the pixels of the display panel 110 and the photographing unit 210 is obtained through the plurality of structured light images, and the corresponding point pairs Can be displayed as E.g, And May refer to a point at which the POR passes through the display panel plane 130-1 and the photographing unit image plane 210-1.
  • the parameter estimator 293 may estimate rotation and transformation parameters of the display panel 110 of the plurality of lens arrays 130 based on the 2D rotation and transformation and the optical coordinates of the photographing unit 210.
  • Equation 2 Is X and Y coordinates in the coordinate system (O w X w Y w Z w ) of, Equation 2 can be represented again by the equation (3).
  • Equation 4 a value indicating rotation and transformation with respect to the display panel 110 of the k-th lens array is Equation 4 may be expressed as follows.
  • Equation 4 Equation 5 can be obtained by combining the PORs with M (M ⁇ 0, integer).
  • the least square method may be used to obtain a rotation and conversion parameter G for the display panel 110 of the k-th lens array.
  • the parameter estimator 293 may obtain rotation and conversion parameters of the display panel 110 of the plurality of lens arrays 130 and correct the geometric model of the T-IID 100 through the above-described calculation. .
  • the corrected geometric model of the T-IID 100 may be transmitted to the optical model generator 230 of FIG. 2.
  • FIG. 9 is a schematic block diagram of the optical model generator illustrated in FIG. 2, and FIG. 10 is a diagram for describing an operation method of the optical model generator.
  • the optical model generator 230 may include a position calculation unit 231, an observation plane specifying unit 232, a matrix generating unit 233, and It may include a mapping unit 234.
  • the position calculator 231 may calculate a position of the display panel 110 of each lens included in the plurality of lens arrays 130 using the corrected geometric model of the T-IID 100.
  • the position calculator 231 may store the calculated positions as a set H.
  • the set H may be expressed as shown in Equation 7.
  • H (j) may mean 3D coordinates of the optical core of the j th lens in the coordinate system O w X w Y w Z w .
  • Each of s (j) , t (j) , and g may refer to X, Y, and Z coordinates of the optical center of the j th lens in the coordinate system O w X w Y w Z w .
  • N L may mean the number of lenses.
  • the lens array plane 130-1 is parallel to the display panel plane 110-1 so that the distance between the optical cores of each lens and the display panel 110 in the Zw direction is equal to the focal length g. May be the same.
  • the position (x (j) , y (j) ) of the j th lens of the lens array in the lens array plane may be obtained.
  • the position calculator 231 rotates and converts the parameters of the display panel 110 of the lens array.
  • the position of the display panel 110 of the j-th lens of the k-th lens array may be calculated using Equation (8).
  • the observation plane designation unit 232 may designate an observation plane and determine the observation center Vc from the observation plane.
  • the observation distance D may be an EXP (empirical value)
  • the observation center Vc may be an intersection point from the center vertical line of the display panel plane 110-1 to the observation plane.
  • the matrix generator 233 may generate a pixel coordinate system [m, n] T of an EIA (Elemental Image Array) image.
  • m may mean a horizontal coordinate of a pixel in the EIA image
  • n may mean a vertical coordinate of a pixel in the EIA image.
  • both m and n can be positive integers.
  • the matrix generator 233 may perform a mapping matrix [S (m, n), T (m) for each lens of the plurality of lens arrays 130 of the EIA image based on the pixel coordinate system [m, n] T of the EIA image. , n)].
  • S (m, n) and T (m, n) are each the horizontal direction X and vertical of the optical center of the lens corresponding to the pixel of the mth row n column included in the EIA image in the coordinate system O w X w Y w Z w It may mean a position coordinate of the direction Y.
  • S (m, n) and T (m, n) can be initialized to zero.
  • the mapping unit 234 has a lens corresponding to each pixel of the display panel 110 based on the position H (j) , the observation center Vc, and the mapping matrix [S (m, n), T (m, n)]. Can be mapped to the center of
  • the mapping unit 234 maps the observation center Vc to the display panel plane 110-1 through the optical center of one lens (eg, H (j) ), thereby displaying the display panel plane 110-.
  • the point P1 may be obtained by mapping the current pixel to the observation plane
  • the point P2 may be obtained by mapping the current pixel to the observation plane.
  • the mapping unit 234 may compare the distance
  • the mapping unit 234 performs
  • the local search window is a square window, and the side length Can be.
  • p may be the distance between the centers of the adjacent lenses (lens diameter)
  • s may be the distance between the centers of the adjacent pixels of the display panel 110 (physical width of the pixels)
  • 1.2 may be an EXP (empirical value).
  • the mapping unit 234 secures overlap between local image windows corresponding to adjacent lenses, performs at least two comparisons of
  • the mapping unit 234 according to the mapping result, the optical models ⁇ U (m, n), V (m, n), S (m, n), T (m) indicated by two plane straight notation. , n) ⁇ .
  • One plane may be the display panel plane 110-1 and the other plane may be the lens array plane 130-1.
  • [U (m, n), V (m, n)] may mean 2D coordinates of the intersection of the light and the display plane 110-1 in the coordinate system of the display plane 110-1.
  • [S (m, n), T (m, n)] may mean the 2D coordinates of the intersection of the light and the lens array optical plane in the coordinate system of the lens array plane 130-1, for example, the lens array optical plane. have.
  • the mapping unit 234 may transmit the optical models ⁇ U (m, n), V (m, n), S (m, n), T (m, n) ⁇ to the renderer 240.
  • the renderer 240 may generate an EIA image that can accurately display a 3D image by rendering the EIA image using the light model received from the light model generator 230. For example, the renderer 240 may detect a corresponding light in 3D space for each pixel included in the EIA according to the light model, and calculate an intersection point between the light and the digital model using the digital model of the virtual object. . The renderer 240 may calculate a color value according to the light of the object surface at the intersection and give the color value to the EIA pixel. The renderer may complete the rendering of each pixel by performing the above-described operation.
  • the image processing apparatus 200 corrects the geometric model of the T-IID 100, generates an optical model using the corrected geometric model of the T-IID 100, and renders an EIA using the generated optical model.
  • the T-IID 100 may accurately display the 3D image even if there is a position alignment error.
  • the image processing apparatus 200 may easily correct the alignment error to maintain an optimal 3D display state. Such automatic correction may be implemented using only one photographing unit 210 included in the image processing apparatus 200.
  • FIG. 11 is a flowchart for describing an operating method of the image processing apparatus illustrated in FIG. 2.
  • the photographing unit 210 may acquire a plurality of structured light images displayed on the display panel 110 and transmit the obtained plurality of structured light images to the corrector 220 (810).
  • the correction unit 220 may correct the geometric model of the T-IID by using the obtained plurality of structured light images (820).
  • the light model generator 230 may generate an optical model according to the corrected geometric model of the T-IID 100 (830).
  • the renderer 240 may render the EIA image using the light model received from the light model generator 230 (840).
  • FIG. 12 is a flowchart for describing an operating method of the POR pixel extracting unit illustrated in FIG. 2.
  • the pixel analyzer 271 decodes a plurality of structured light images obtained from the photographing unit 210 to map a corresponding map between pixels of the display panel 110 and pixels of the photographing unit 210.
  • a correspondence map may be generated (910).
  • the edge extractor 272 may extract a boundary of the lenses included in the plurality of lens arrays 130 by filtering the corresponding map through the gradient filter (920).
  • the pixel extractor 273 may extract first POR pixels from the plurality of structured light images according to the boundary of the extracted lens (930).
  • the pixel extractor 273 may extract second POR pixels according to the structures of the plurality of lens arrays 130 based on the first POR pixels (940).
  • the pixel extractor 273 may determine whether the sum of the number of the first POR pixels and the second POR pixels reaches a second predetermined number (950).
  • the pixel extractor 273 transfers the first POR pixels and the second POR pixels to the lens array corrector 290.
  • a transmission can be made (960).
  • the pixel extractor 273 may extract the next possible POR pixels according to the structure of each of the plurality of lens arrays based on the first POR pixels and the second POR pixels (970). The pixel extractor 273 may repeat the above process until the number of POR pixels reaches a second predetermined number.
  • FIG. 13 is a flowchart for describing an operation method of the lens array correction unit illustrated in FIG. 2.
  • the transformation unit 291 rotates and transforms a rotation and translation between a coordinate system O w X w Y w Z w and a coordinate system O a X a Y a Z a . As shown in Equation 1, it may be converted (1010).
  • the optical center calculating unit 292 coordinates the optical center of the photographing unit 210 based on the POR pixels extracted from the POR pixel extracting unit 270. It can be calculated (1020).
  • the parameter estimator 293 estimates the rotation and transformation parameters of the display panel 110 of the plurality of lens arrays 130 based on the 2D rotation and transformation, the optical coordinates of the photographing unit 210, and estimates the rotation. And the geometric parameters of the T-IID 100 may be corrected using the conversion parameters (1030).
  • FIG. 14 is a flowchart for describing an operating method of the optical model generator illustrated in FIG. 2.
  • the position calculator 231 determines a position of the display panel 110 of each lens included in the plurality of lens arrays 130 using the corrected geometric model of the T-IID 100. It may be calculated (1110).
  • the observation plane designator 232 may designate an observation plane and determine the observation center Vc from the observation plane (1120).
  • the matrix generator 233 may generate a pixel coordinate system [m, n] T of the EIA image (1130).
  • the matrix generator 233 may perform a mapping matrix [S (m, n), T (m) for each lens of the plurality of lens arrays 130 of the EIA image based on the pixel coordinate system [m, n] T of the EIA image. , n)] may be generated (1140).
  • the mapping unit 234 maps each pixel of the LCD to the center of the corresponding lens based on the position H (j) , the observation center Vc, and the mapping matrix [S (m, n), T (m, n)]. May be done (1150).
  • the mapping unit 234 according to the mapping result, the optical models ⁇ U (m, n), V (m, n), S (m, n), T (m) indicated by two plane straight notation. , n) ⁇ in operation 1160.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Liquid Crystal (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

타일 디스플레이에서 3D 영상을 보정하는 방법 및 장치가 개시된다. 일 실시예에 따른 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이의 3D 영상(3D image) 보정 방법은 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하는 단계와, 복수의 구조광 영상들에 기초하여 타일 디스플레이의 기하 모델을 보정하는 단계와, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하는 단계와, 상기 광 모델을 이용하여 영상을 렌더링하는 단계를 포함할 수 있다.

Description

TILED DISPLAY에서 3D 영상을 보정하는 방법 및 장치
아래 실시예들은 Tiled Display에서 3D 영상을 보정하는 방법 및 장치에 관한 것이다.
통합 영상 디스플레이(Integral Imaging Display(IID))는 사용자가 육안으로 3D 영상을 시청할 수 있는 디스플레이 기술이다. LCD 패널 및 렌즈 어레이를 포함하는 IID에서, LCD 패널은 EIA(Elemental Image Array)라는 2D 영상을 디스플레이하고, 렌즈 어레이는 EIA에 있는 서로 다른 부분을 서로 다른 방향으로 3D 공간에 리프랙션(refraction)하여 3D 영상을 생성한다.
대형 스크린을 위한 IID의 한 방편으로 작은 렌즈 어레이를 결합하여 대형 렌즈 어레이를 구성하는 T-IID(Tiled Integral Imaging Display) 기술을 적용할 수 있다. 다만, T-IID에서 부품 설치의 정밀도 제한, 사용 과정에서 발생하는 온도 변화, 및 기계 진동 등으로 인해 서로 다른 렌즈 어레이를 정확하게 결합하는 것이 어렵고, 서로 다른 렌즈 어레이 사이에 정렬 오차가 발생할 수 있다.
일 실시예에 따른 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이의 3D 영상(3D image) 보정 방법은 상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하는 단계와, 상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계와, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하는 단계와, 상기 광 모델을 이용하여 영상을 렌더링하는 단계를 포함할 수 있다.
상기 보정하는 단계는 상기 복수의 구조광 영상들로부터 촬영부의 광심을 통과하는 광선에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출하는 단계와, 상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 단계와, 상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 단계와, 상기 추출된 경계에 따라 상기 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출하는 단계와, 상기 제1 POR 픽셀들에 기초하여 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제2 POR 픽셀들을 추출하는 단계와, 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로서 전송하는 단계를 포함할 수 있다.
상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는 상기 추출된 POR 픽셀들을 이용하여 상기 복수의 렌즈 어레이들의 상기 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 계산된 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계를 포함할 수 있다.
상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는 상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 단계와, 상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 단계와, 상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하는 단계와, 상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 보정된 타일 디스플레이의 기하 모델을 이용하여 상기 복수의 렌즈 어레이들에 포함된 각 렌즈의 상기 디스플레이 패널에 대한 위치를 계산하는 단계와, 관찰 평면을 지정하고, 상기 관찰 평면으로부터 관찰 중심을 결정하는 단계와, 상기 영상의 픽셀 좌표계를 생성하고, 상기 픽셀 좌표계에 기초하여 매핑 매트릭스를 생성하는 단계와, 상기 위치, 상기 관찰 중심, 및 상기 매핑 매트릭스에 기초하여 상기 디스플레이 패널의 각 픽셀을 대응하는 렌즈의 중심에 매핑하여 상기 광 모델을 생성하는 단계를 포함할 수 있다.
상기 광 모델은 2면 직선 표기법에 의하여 표시될 수 있다.
상기 제2 POR 픽셀들을 추출하는 단계는 상기 제1 POR 픽셀들에 기초하여 상기 제2 POR 픽셀들의 위치를 예측하는 단계와, 상기 예측된 위치를 중심으로 검색 윈도우를 결정하는 단계와, 상기 검색 윈도우에 포함된 픽셀들에 대하여 로컬 경사 진폭 히스토그램(local gradient amplitude histogram)에 기초한 에너지 함수(energy function) 값을 생성하는 단계와, 상기 에너지 함수 값에 기초하여 상기 픽셀들로부터 상기 제2 POR 픽셀들을 추출하는 단계를 포함할 수 있다.
일 실시 예에 따른 디스플레이 시스템은 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이와, 상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하고, 상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하고, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하고, 상기 광 모델을 이용하여 영상을 렌더링하는 이미지 처리 장치를 포함할 수 있다.
상기 이미지 처리 장치는 상기 복수의 구조광 영상들을 획득하는 촬영부와, 상기 복수의 구조광 영상들에 기초하여 상기 복수의 렌즈 어레이들의 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 보정부와, 상기 보정된 타일 디스플레이의 기하 모델에 따라 상기 광 모델을 생성하는 광 모델 생성부와, 상기 광 모델을 이용하여 상기 영상을 렌더링하는 렌더링부를 포함할 수 있다.
상기 보정부는 상기 복수의 구조광 영상들로부터 상기 촬영부의 광심을 통과하는 광선에 대응하는 POR 픽셀들을 추출하는 POR 픽셀 추출부와, 상기 추출된 POR 픽셀들을 이용하여 상기 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 렌즈 어레이 보정부를 포함할 수 있다.
상기 POR 픽셀 추출부는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출할 수 있다.
상기 POR 픽셀 추출부는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 픽셀 분석부와, 상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 에지 추출부와, 상기 추출된 경계와 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제1 POR 픽셀들과 제2 POR 픽셀들을 추출하고, 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로 추출하는 픽셀 추출부를 포함할 수 있다.
상기 렌즈 어레이 보정부는 상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 변환부와, 상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 광심 계산부와, 상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하고, 상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 파라미터 추정부를 포함할 수 있다.
도 1은 일 실시예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 이미지 처리 장치의 개략적인 블록도이다.
도 3은 T-IID의 기하 모델을 설명하기 위한 도면이다.
도 4는 도 2에 도시된 POR 픽셀 추출부의 개략적인 블록도이다.
도 5는 POR 픽셀 추출부의 동작 방법을 설명하기 위한 도면이다.
도 6은 초기 POR 픽셀들을 설명하기 위한 도면이다.
도 7은 도 2에 도시된 렌즈 어레이 보정부의 개략적인 블록도이다.
도 8은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 도면이다.
도 9는 도 2에 도시된 광 모델 생성부의 개략적인 블록도이다.
도 10은 광 모델 생성부의 동작 방법을 설명하기 위한 도면이다.
도 11은 도 2에 도시된 이미지 처리 장치의 동작 방법을 설명하기 위한 플로우 차트이다.
도 12는 도 2에 도시된 POR 픽셀 추출부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 13은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 14는 도 2에 도시된 광 모델 생성부의 동작 방법을 설명하기 위한 플로우 차트이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 디스플레이 시스템(Display System; 10)은 T-IID(Tiled Integral Imaging Display; 100)와 이미지 처리 장치(Image Processing Device; 200)를 포함할 수 있다.
T-IID(Tiled Integral Imaging Display; 100)는 복수의 IID(Integral Imaging Display)를 조합하여 대형 스크린의 3D 디스플레이를 형성할 수 있다. T-IID(100)는 디스플레이 패널(110) 및 복수의 렌즈 어레이들(130)을 포함할 수 있다. 디스플레이 패널(110)은 LCD 패널로 구현될 수 있다. 또한, 디스플레이 패널(110)은 터치 스트린 패널, FTF-LCD(Thin Film Transistor-Liquid Crystal Display) 패널, LED(Liquid Emitting Diode) 디스플레이 패널, OLED(Organic LED) 디스플레이 패널, AMOLED(Active Matrix OLED) 디스플레이 패널, 또는 플렉시블(flexible) 디스플레이 패널로 구현될 수 있다. 복수의 렌즈 어레이들(130)은 디스플레이 패널(110)의 EIA로부터 방출된 광선들(rays)을 굴절하여 3D 영상(3D image)을 생성할 수 있다. 디스플레이 패널(110)은 대형 스크린 디스플레이 패널로 구현될 수 있다. T-IID(100)는 대형 스크린 디스플레이 패널(110) 및 복수의 조합된 렌즈 어레이들(130)에 의하여 구성된 대형 스크린의 3D 디스플레이일 수 있다. 예를 들어, 디스플레이 패널(110)은 동일 평면에 위치하고, 서로 정렬된 복수의 작은 디스플레이 패널들을 포함할 수 있다.
이미지 처리 장치(200)는 디스플레이 시스템(10)의 동작을 전반적으로 제어할 수 있다. 이미지 처리 장치(200)는 마더보드(motherboard)와 같은 인쇄 회로 기판(Printed Circuit Board(PCB)), 집적 회로(Integrated Circuit(IC)), 또는 SoC(System On Chip)로 구현될 수 있다. 예를 들어, 이미지 처리 장치(200)는 애플리케이션 프로세서(application processor)일 수 있다.
이미지 처리 장치(200)는 T-IID(100)에서 3D 영상을 보정하기 위한 장치일 수 있다. 이미지 처리 장치(200)는 T-IID(100)에 포함된 서로 다른 IID부(integral imaging display unit), 예를 들어 서로 다른 렌즈 어레이(130) 간에 위치 정렬 오차가 존재할 때, 구조광 영상(structured light image)을 획득하고, 상기 구조광 영상에 기초하여 T-IID(100)의 기하 모델을 보정할 수 있다.
도 2는 도 1에 도시된 이미지 처리 장치의 개략적인 블록도이다.
도 1 및 도 2를 참조하면, 이미지 처리 장치(200)는 촬영부(capturing unit; 210), 보정부(calibration unit; 220), 광 모델 생성부(ray model generating unit; 230), 및 렌더링부(rendering unit; 240)를 포함할 수 있다.
촬영부(210)는 고정된 위치에서 T-IID(100)의 디스플레이 패널(110)에 디스플레이된 구조광 영상(structured light image)을 획득할(capture) 수 있다. 촬영부(210)는, 예를 들어, 카메라(camera), 비디오 카메라(video camera) 등으로 구현될 수 있으며, 연속적으로(sequentially) 복수의 구조광 영상들 각각을 획득할 수 있다.
구체적으로, 디스플레이 패널(110)에 어느 하나의 구조광 영상이 디스플레이될 때, 촬영부(201)는 어느 하나의 구조광 영상을 획득할 수 있다. 디스플레이 패널(110)에 다른 하나의 구조광 영상이 디스플레이될 때, 촬영부(201)는 다른 하나의 구조광 영상을 획득할 수 있다. 촬영부(210)는 디스플레이 패널(110)에 디스플레이된 구조광 영상들 모두를 획득할 때까지 상기 과정을 반복할 수 있다. 촬영부(210)는 획득된 복수의 구조광 영상들을 보정부(220)로 전송할 수 있다.
보정부(220)는 T-IID(100)의 기하 모델(geometric model)을 보정할 수 있다. 보정부(220)는 촬영부(210)에 의하여 획득된 구조광 영상으로부터 T-IID(100)의 기하 모델을 보정하기 위한 기하 파라미터 정보(geometric parameter information)를 획득할 수 있다. T-IID(100)의 기하 모델은 복수의 렌즈 어레이들(130)에 대한 가상 렌즈 어레이들(virtual lens arrays)의 집합일 수 있다. 가상 렌즈 어레이들은 복수의 렌즈 어레이들(130) 각각에 대응될 수 있다. 다른 예로, 가상 렌즈 어레이들은 복수의 렌즈 어레들(130)을 그룹화한 그룹들 각각에 대응될 수 있다.
도3은 T-IID의 기하 모델을 설명하기 위한 도면이다. 도 3에서는 설명의 편의를 위해 복수의 렌즈 어레이들(130) 중에서 4개의 렌즈 어레이들 만을 도시하였다.
도 1 내지 도 3을 참조하면, T-IID(100)의 기하 모델은 디스플레이 패널(110)에 대한 회전 파라미터들(rotation parameters; R1~R4)과 병진 파라미터들(translation parameters; T1~T4)을 가질 수 있다. 예를 들어, Ri는 3x3의 회전 매트릭스이고, 제i 번째 렌즈 어레이의 회전을 의미할 수 있다. Ti는 제i 번째 렌즈 어레이의 병진 벡터를 의미할 수 있다.
도 2의 보정부(220)는 POR 픽셀 추출부(POR extraction unit; 270) 및 렌즈 어레이 보정부(lens array calibration unit; 290)를 포함할 수 있다. POR 픽셀 추출부(270)는 복수의 구조광 영상들에 기초하여 촬영부(210)의 광심(optical center)을 통과하는 광선(light ray)에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출할 수 있다. 예를 들어, POR 픽셀 추출부(270)는 복수의 구조광 영상들을 디코딩하여 디스플레이 패널(110)의 픽셀들과 촬영부(210)의 픽셀들 사이의 대응 맵(correspondence map)을 생성하고, 대응 맵을 이용하여 POR(Principal Observation Ray) 픽셀들을 추출할 수 있다. 렌즈 어레이 보정부(290)는 추출된 POR 픽셀들을 이용하여 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 병진 파라미터들을 계산하고, 계산된 회전 및 병진 파라미터들을 이용하여 T-IID(100)의 기하 모델(geometric model)을 보정할 수 있다.
도 4는 도 2에 도시된 POR 픽셀 추출부의 개략적인 블록도이고, 도 5는 POR 픽셀 추출부의 동작 방법을 설명하기 위한 도면이다.
도 1 내지 도 5를 참조하면, POR 픽셀 추출부(270)는 픽셀 분석부(pixel analysis unit; 271), 에지 추출부(edge extraction unit 272), 및 픽셀 추출부(pixel extraction unit; 273)를 포함할 수 있다.
픽셀 분석부(271)는 촬영부(210)로부터 획득된 복수의 구조광 영상들을 디코딩하여 디스플레이 패널(110)의 픽셀들과 촬영부(210)의 픽셀들 사이의 대응 맵(correspondence map)을 생성할 수 있다. 예를 들어, 픽셀 분석부(271)는 복수의 구조광 영상들을 이용해 촬영부(210)의 픽셀들 각각을 디스플레이 패널(110)의 픽셀들 각각에 맵핑하여 대응 맵을 생성할 수 있다. 촬영부(210)의 픽셀들 각각은 3D 공간의 하나의 광선(light ray)에 대응될 수 있다. 광선은 복수의 렌즈 어레이들(130) 중 대응하는 렌즈 어레이에 포함된 렌즈를 통해 굴절(refraction)한 후 디스플레이 패널(110)의 픽셀과 교차함으로, 촬영부(210)의 픽셀은 디스플레이 패널(110)의 픽셀에 대응하여 매핑될 수 있다.
에지 추출부(272)는 경사 필터를 통해 대응 맵을 필터링하여 복수의 렌즈 어레이들(130)에 포함된 렌즈의 경계(boundary)를 추출할 수 있다. 예를 들어, 에지 추출부(272)는 경사 필터를 통해 대응 맵에서 급격한 변화를 검출하여 렌즈의 경계를 추출할 수 있다. 에지 추출부(272)는 복수의 렌즈 어레이들(130)에 포함된 모든 렌즈들의 에지를 모두 추출하지 않고, 효율을 향상시키기 위해 일부 렌즈들의 에지만 추출할 수 있다.
픽셀 추출부(273)는 촬영부(210)의 광심(optical center)을 통과하는 광선(light ray)을 POR(Principal Observation Ray)로 추출할 수 있다. 예를 들어, 촬영부(210)의 광심을 통과하는 광선은 촬영부(210)의 렌즈 중심을 통과(pass)하기 때문에 전송 방향이 변하지 않으므로 기하 정보를 용이하게 사용할 수 있다. POR은 촬영부(210)의 광심과 렌즈의 광심을 통과할 수 있다. 도 5에 도시된 바와 같이, 렌즈 어레이에서 POR에 대응하는 픽셀은 렌즈 어레이의 렌즈의 중심에 대응될 수 있다. 이하 POR 픽셀은 렌즈에 해당하며 촬영부(210) 및 디스플레이 패널(110)의 픽셀과 구분되는 의미로 사용될 수 있다.
픽셀 추출부(273)는 추출된 렌즈의 경계에 따라 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출할 수 있다. 제1 POR 픽셀들은 제1 예정 개수일 수 있으며, 예를 들어, 초기 POR 픽셀들로 미리 설정되거나 검출 장치(미도시)를 통해 자동으로 검출될 수 있다.
도 6에 도시된 바와 같이, 하나의 렌즈 어레이에 대하여 제1 예정 개수 3개의 POR 픽셀들(POR_a, POR_b, POR_c)을 제공하여 제1 POR 픽셀들로 설정할 수 있다. 하나의 POR 픽셀(POR_a)이 렌즈 어레이의 한 코너(corner) 렌즈에 위치하고, 그 외 2개의 POR 픽셀들(PPOR_b, POR_c)이 POR 픽셀(POR_a)에 인접함으로써, 렌즈 어레이 두 개의 변의 방향이 제공될 수 있다.
픽셀 추출부(273)는 제1 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 구조에 따라 제2 POR 픽셀들을 추출할 수 있다. 예를 들어, 픽셀 추출부(273)는 제1 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 구조에 따라 제2 POR 픽셀들의 위치를 예측하고, 예측된 위치를 중심으로 검색 윈도우를 결정할 수 있다. 렌즈 어레이들(130) 각각의 구조는 렌즈 형상(lens shape), 렌즈 피치(lens pitch), 렌즈 배열(lens arrangement), 초점 거리(focal length), 및 렌즈 어레이 크기(lens array size)를 포함할 수 있다. 픽셀 추출부(273)는 검색 윈도우에 포함된 각 픽셀의 위치에서 에너지 함수를 생성하여 각 픽셀이 제2 POR 픽셀들로 될 가능성을 결정하고, 가능성이 가장 큰 POR 픽셀들을 선택하여 제2 POR 픽셀들로 추출할 수 있다. 예를 들어, 픽셀 추출부(273)는 로컬 경사 진폭 히스토그램(local gradient amplitude histogram)에 기초한 에너지 함수(energy function)를 이용할 수 있다. 각 픽셀의 에너지 함수 값은 각 픽셀 주변을 포함하는 검색 윈도우(local rectangular window) 내 영상 경상 진폭 값들(image gradient amplitude values)의 합일 수 있다. 검색 윈도우는 사각형(square 또는 rectangular) 영상 영역(image region)이고, 한 변의 길이(length)는 구조광 영상을 촬영한 촬영부(210)의 렌즈의 지름의 0.5 배일 수 있다. 픽셀의 에너지 함수 값이 작을수록 픽셀은 제2 POR 픽셀들에 포함될 가능성이 클 수 있다. 픽셀 추출부(273)는 에너지 함수 값이 가장 낮은 픽셀들을 제2 POR 픽셀들로 결정할 수 있다.픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달하는지 여부를 판단하고, 판단결과에 따라 제1 POR 픽셀들과 제2 POR 픽셀들을 렌즈 어레이 보정부(290)로 전송할 수 있다. 제2 예정 개수는 미리 설정될 수 있다.
예를 들어, 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수일에 도달할 때, 픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들을 렌즈 어레이 보정부(290)로 전송할 수 있다. 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달하지 못할 때, 픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들에 기초하여, 복수의 렌즈 어레이들 각각의 구조에 따라 다음의 가능한 POR 픽셀들을 추출하고, POR 픽셀들의 개수가 제2 예정 개수에 도달할 때까지 반복 수행할 수 있다.
렌즈 어레이 보정부(290)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 디스플레이 패널(110)에 대한 상태를 계산할 수 있다. 렌즈 어레이의 상태는 회전 및 병진 파라미터를 포함할 수 있다.
도 7은 도 2에 도시된 렌즈 어레이 보정부의 개략적인 블록도이고, 도 8은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 렌즈 어레이 보정부(290)는 변환부(conversion unit; 291), 광심 계산부(optical center calculation unit; 292), 및 파라미터 추정부(parameter estimation unit; 293)를 포함할 수 있다.
도 8에 도시된 바와 같이, 디스플레이 패널 평면(110-1), 렌즈 어레이 평면(130-1), 촬영부 영상 평면(210-1)에 대해 각각 3개의 좌표계(OwXwYwZw, OaXaYaZa, OcXcYcZc)가 정의될 수 있다. 예를 들어, 전역 좌표계(world coordinate system; OwXwYwZw)는 디스플레이 패널 평면(110-1)에서 정의되고, 좌표계(OaXaYaZa,)는 렌즈 어레이 평면(130-1)에서 정의될 수 있다. 좌표계(OcXcYcZc)는 촬영부(210)에서 정의되고, Oc는 촬영부(210)의 광심(optical center)일 수 있다.
제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈는 좌표계(OwXwYwZw)에서
Figure PCTKR2014004327-appb-I000001
로 표현될 수 있다.
Figure PCTKR2014004327-appb-I000002
는 좌표계(OwXwYwZw)에서 제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈의 X, Y, Z 좌표를 의미할 수 있다. 예를 들어, 제k 번째 렌즈 어레이로부터 디스플레이 패널(110)까지의 거리가 고정되므로
Figure PCTKR2014004327-appb-I000003
는 고정 값일 수 있다.
제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈는 좌표계(OaXaYaZa)에서
Figure PCTKR2014004327-appb-I000004
로 표현될 수 있다.
Figure PCTKR2014004327-appb-I000005
는 좌표계(OaXaYaZa)에서 제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈의 X, Y, Z 좌표를 의미할 수 있다. 예를 들어, 제k 번째 렌즈 어레이가 렌즈 어레이 평면(130-1)에 위치함으로써,
Figure PCTKR2014004327-appb-I000006
는 0일 수 있다.
변환부(291)는 좌표계(OwXwYwZw)와 좌표계(OaXaYaZa) 간의 회전(rotation) 및 변환(translation)을 2D 회전 및 변환으로 수학식 1과 같이 변환할 수 있다.
Figure PCTKR2014004327-appb-I000007
Figure PCTKR2014004327-appb-I000008
는 제k 번째 렌즈 어레이의 LCD 패널에 대한 회전 각도(rotational angle)를 의미하고,
Figure PCTKR2014004327-appb-I000009
는 제k 번째 렌즈 어레이의 LCD 패널에 대한 병진 벡터(translation vector)를 의미할 수 있다. 여기서,
Figure PCTKR2014004327-appb-I000010
는 g로 표시하고, g는 기지수(known quantity)이고, 렌즈의 광심(optical center)와 디스플레이 패널 평면(130-1) 간의 거리를 의미할 수 있다.
광심 계산부(292)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들에 기초하여 촬영부(210)의 광심 좌표
Figure PCTKR2014004327-appb-I000011
를 계산할 수 있다.
Figure PCTKR2014004327-appb-I000012
는 촬영부(210)의 광심이 좌표계(OcXcYcZc)에서의 X, Y, Z 좌표를 의미할 수 있다.
광심 계산부(292)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들을 촬영부 영상 평면(210-1)과 디스플레이 패널 평면(130-1) 간의 평면 호모그래피(planar homography)에 이용할 수 있다. 예를 들어, POR은 디스플레이 패널(130)의 픽셀
Figure PCTKR2014004327-appb-I000013
과 렌즈의 광심
Figure PCTKR2014004327-appb-I000014
을 통과하여 촬영부 영상 평면(210-1)의 픽셀
Figure PCTKR2014004327-appb-I000015
에 위치할 수 있다. 복수의 구조광 영상들을 통해 디스플레이 패널(110)과 촬영부(210)의 픽셀의 대응 관계를 획득하고, 이를 대응 포인트 페어(point pair)인
Figure PCTKR2014004327-appb-I000016
로 표시할 수 있다. 예를 들어,
Figure PCTKR2014004327-appb-I000017
및
Figure PCTKR2014004327-appb-I000018
은 디스플레이 패널 평면(130-1) 및 촬영부 영상 평면(210-1)에서 POR이 통과하는 포인트를 의미할 수 있다.
파라미터 추정부(293)는 2D 회전 및 변환, 촬영부(210)의 광심 좌표에 기초하여 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터들을 추정할 수 있다.
하나의 POR에 위치한 3개의 포인트
Figure PCTKR2014004327-appb-I000019
는 아래 수학식 2와 같이 표현될 수 있다.
Figure PCTKR2014004327-appb-I000020
Figure PCTKR2014004327-appb-I000021
및
Figure PCTKR2014004327-appb-I000022
는
Figure PCTKR2014004327-appb-I000023
의 좌표계(OwXwYwZw)에서의 X, Y 좌표를 의미하고, 수학식 2는 수학식 3으로 다시 표현될 수 있다.
Figure PCTKR2014004327-appb-I000024
여기서,
Figure PCTKR2014004327-appb-I000025
이고,
Figure PCTKR2014004327-appb-I000026
일 수 있다.
Figure PCTKR2014004327-appb-I000027
및
Figure PCTKR2014004327-appb-I000028
가 추정되므로, 수학식 3의 파라미터들은 추정될 수 있다.
수학식 1을 수학식 3에 대입할 때, 제k 번째 렌즈 어레이의 디스플레이 패널(110)에 대한 회전 및 변환을 지시하는 값이
Figure PCTKR2014004327-appb-I000029
로 표현되고, 수학식 4는 아래와 같이 표현될 수 있다.
Figure PCTKR2014004327-appb-I000030
수학식 4를
Figure PCTKR2014004327-appb-I000031
로 표시하고, M개(M≥0, 정수)의 POR에 결합하여 수학식 5를 획득할 수 있다.
Figure PCTKR2014004327-appb-I000032
여기서,
Figure PCTKR2014004327-appb-I000033
이고,
Figure PCTKR2014004327-appb-I000034
일 수 있다. 따라서, 최소 제곱법을 이용하여 제k 번째 렌즈 어레이의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터 G를 획득할 수 있다.
Figure PCTKR2014004327-appb-I000035
파라미터 추정부(293)는 상술한 계산을 통해 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터들을 획득하고, T-IID(100)의 기하 모델을 보정할 수 있다.
보정된 T-IID(100)의 기하 모델은 도 2의 광 모델 생성부(230)로 전송될 수 있다.
도 9는 도 2에 도시된 광 모델 생성부의 개략적인 블록도이고, 도 10은 광 모델 생성부의 동작 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 광 모델 생성부(230)는 위치 계산부(position calculation unit; 231), 관찰 평면 지정부(observation plane specifying unit; 232), 매트릭스 생성부(matrix generating unit; 233), 및 매핑부(mapping unit; 234)를 포함할 수 있다.
위치 계산부(231)는 보정된 T-IID(100)의 기하 모델을 이용하여 복수의 렌즈 어레이들(130)에 포함된 각 렌즈의 디스플레이 패널(110)에 대한 위치를 계산할 수 있다. 위치 계산부(231)는 계산된 위치들을 집합 H로 저장할 수 있다. 집합 H는 수학식 7과 같이 표현될 수 있다.
Figure PCTKR2014004327-appb-I000036
여기서, H(j)는 좌표계(OwXwYwZw)에서 제j 번째 렌즈의 광심의 3D 좌표를 의미할 수 있다. s(j), t(j), g 각각은 좌표계(OwXwYwZw)에서 제j 번째 렌즈의 광심의 X, Y, Z 좌표를 의미할 수 있다. NL은 렌즈의 개수를 의미할 수 있다. 도 10에 도시된 것과 같이 렌즈 어레이 평면(130-1)이 디스플레이 패널 평면(110-1)과 평행함으로써 Zw 방향에서 각 렌즈의 광심들과 디스플레이 패널(110)의 거리가 초점 거리(g)와 같을 수 있다.
예를 들면, 보정된 T-IID(100)의 기하 모델을 이용하여, 렌즈 어레이의 제j 번째 렌즈의 렌즈 어레이 평면에의 위치 (x(j), y(j))를 획득할 수 있다. 또한, 위치 계산부(231)는 렌즈 어레이의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터
Figure PCTKR2014004327-appb-I000037
에 의한 수학식 8을 이용하여 제k 번째 렌즈 어레이의 제j 번째 렌즈의 디스플레이 패널(110)에 대한 위치를 계산할 수 있다.
Figure PCTKR2014004327-appb-I000038
관찰 평면 지정부(232)는 관찰 평면을 지정하고, 관찰 평면으로부터 관찰 중심(Vc)을 결정할 수 있다. 예를 들어, 관찰 거리(D)는 EXP(empirical value)이고, 관찰 중심(Vc)은 디스플레이 패널 평면(110-1)의 중심 수직선에서 관찰 평면까지의 교차점일 수 있다.
매트릭스 생성부(233)는 EIA(Elemental Image Array) 영상의 픽셀 좌표계 [m,n]T를 생성할 수 있다. m은 EIA 영상에서 픽셀의 가로 좌표를 의미하고, n은 EIA 영상의 픽셀의 세로 좌표를 의미할 수 있다. 예를 들어, m과 n은 모두 포지티브 정수(positive integer)일 수 있다. 매트릭스 생성부(233)는 EIA 영상의 픽셀 좌표계 [m,n]T에 기초하여 EIA 영상의 복수의 렌즈 어레이들(130)의 각 렌즈에 대한 매핑 매트릭스 [S(m,n),T(m,n)]를 생성할 수 있다. S(m,n) 및 T(m,n) 각각은 좌표계(OwXwYwZw)에서 EIA 영상에 포함된 제m 행 n 열의 픽셀에 대응하는 렌즈의 광심의 수평 방향 X 및 수직 방향 Y의 위치 좌표를 의미할 수 있다. 예를 들어, S(m,n) 및 T(m,n)은 0으로 이니셜라이즈될 수 있다.
매핑부(234)는 위치 H(j), 관찰 중심(Vc), 매핑 매트릭스 [S(m,n),T(m,n)]에 기초하여 디스플레이 패널(110)의 각 픽셀을 대응하는 렌즈의 중심에 매핑할 수 있다. 예를 들어, 매핑부(234)는 하나의 렌즈의 광심(예를 들어, H(j))을 통해 관찰 중심(Vc)을 디스플레이 패널 평면(110-1)에 매핑하여 디스플레이 패널 평면(110-1)에 매핑된 픽셀을 중심으로 로컬 영상 윈도우(local image window)를 설정할 수 있다. 로컬 영상 윈도우에 포함된 각 픽셀에 대하여, 매핑부(234)는 S(q,w)=0 일 때, S(q,w) 및 T(q,w)를 s(j) 및 t(j)로 설정하고,
Figure PCTKR2014004327-appb-I000039
일 때
Figure PCTKR2014004327-appb-I000040
통해 현재 픽셀을 관찰 평면에 매핑하여 포인트(P1)를 획득하고, 현재 픽셀을 관찰 평면에 매핑하여 포인트(P2)를 획득할 수 있다. 매핑부(234)는 관찰 중심(Vc)부터 포인트(P1)까지의 거리 |VcP1|를 Vc부터 포인트(P2)까지의 거리 |VcP2|와 비교할 수 있다. 매핑부(234)는 |VcP1|≥|VcP2| 일 때, S(q,w) 및 T(q,w)를 s(j) 및 t(j)로 설정하고, |VcP1|<|VcP2|일 때, S(q,w) 및 T(q,w)을 원래의 값으로 보유할 수 있다. 예를 들어, 로컬 검색 윈도는 네모 형상의 윈도이고, 사이드 길이가
Figure PCTKR2014004327-appb-I000041
일 수 있다. 여기서, p는 인접된 렌즈의 중심 간의 거리(렌즈 지름)이고, s는 디스플레이 패널(110)의 인접된 픽셀의 중심 간의 거리(픽셀의 물리적 넓이), 1.2는 EXP(empirical value)일 수 있다. 매핑부(234)는 인접된 렌즈에 대응하는 로컬 영상 윈도우 간의 오버랩을 확보하여, EIA 영상의 각 픽셀에 대해 |VcP1|와 |VcP2|의 비교를 적어도 2번 수행하고, 각 픽셀을 최적의 하나의 렌즈 중심에 매핑할 수 있다. 매핑부(234)는 매핑 결과에 따라 2면 직선 표기법(two plane straight notation)에 의하여 표시된 광 모델 {U(m,n),V(m,n), S(m,n),T(m,n)}을 생성할 수 있다. 하나의 평면은 디스플레이 패널 평면(110-1)이고, 다른 하나의 평면은 렌즈 어레이 평면(130-1) 수 있다. [U(m,n),V(m,n)]는 디스플레이 평면(110-1)의 좌표계에서 라이트와 디스플레이 평면(110-1)의 교차점의 2D 좌표를 의미할 수 있다. [S(m,n),T(m,n)]는 렌즈 어레이 평면(130-1), 예를 들어 렌즈 어레이 광심 평면의 좌표계에서 라이트와 렌즈 어레이 광심 평면의 교차점의 2D 좌표를 의미할 수 있다. 매핑부(234)는 광 모델 {U(m,n),V(m,n), S(m,n),T(m,n)}을 렌더링부(240)에 전송할 수 있다.
렌더링부(240)는 라이트 모델 생성부(230)로부터 수신된 라이트 모델을 사용하여 EIA 영상을 렌더링하여 3D 영상을 정확하게 디스플레이할 수 있는 EIA 영상을 생성할 수 있다. 예를 들어, 렌더링부(240)는 라이트 모델에 따라 EIA에 포함된 각 픽셀에 대해 3D 공간에서 대응하는 라이트를 검출하고, 가상 물체의 디지털 모델을 사용하여 라이트와 디지털 모델의 교차점을 계산할 수 있다. 렌더링부(240)는 교차점에 있는 물체 표면이 라이트에 따른 칼라 값을 계산하고 칼라 값을 EIA 픽셀에 부여할 수 있다. 렌더링부는 상술한 동작를 수행하여 각 픽셀에 대한 렌더링을 완성할 수 있다.
이미지 처리 장치(200)가 T-IID(100)의 기하 모델을 보정하고, 보정된 T-IID(100)의 기하 모델을 이용하여 광 모델을 생성하고, 생성된 광 모델을 이용하여 EIA를 렌더링함으로써, T-IID(100)는 위치 정렬 오차가 존재하더라도 3D 영상을 정확하게 디스플레이할 수 있다. 초기 정렬 오차뿐만 아니라, 환경 변화 및 진동으로 인해 T-IID(100)에 정렬 오차가 발생할 때, 이미지 처리 장치(200)는 정렬 오차를 쉽게 보정하여 최적의 3D 디스플레이 상태를 유지할 수 있다. 이러한 자동 보정은 이미지 처리 장치(200)에 포함된 하나의 촬영부(210)만 사용하여 구현 가능할 수 있다.
도 11은 도 2에 도시된 이미지 처리 장치의 동작 방법을 설명하기 위한 플로우 차트이다.
도 11을 참조하면, 촬영부(210)는 디스플레이 패널(110)에 디스플레이된 복수의 구조광 영상들을 획득하고, 획득된 복수의 구조광 영상들을 보정부(220)에 전송할 수 있다(810).
보정부(220)는 획득된 복수의 구조광 영상을 이용하여 T-IID의 기하 모델을 보정할 수 있다(820).
라이트 모델 생성부(230)는 보정된 T-IID(100)의 기하 모델에 따라 광 모델을 생성할 수 있다(830).
렌더링부(240)는 라이트 모델 생성부(230)로부터 수신된 라이트 모델을 사용하여 EIA 영상을 렌더링할 수 있다(840).
도 12는 도 2에 도시된 POR 픽셀 추출부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 12를 참조하면, 픽셀 분석부(271)는 촬영부(210)로부터 획득된 복수의 구조광 영상들을 디코딩하여 디스플레이 패널(110)의 픽셀들과 촬영부(210)의 픽셀들 사이의 대응 맵(correspondence map)을 생성할 수 있다(910).
에지 추출부(272)는 경사 필터를 통해 대응 맵을 필터링하여 복수의 렌즈 어레이들(130)에 포함된 렌즈의 경계(boundary)를 추출할 수 있다(920).
픽셀 추출부(273)는 추출된 렌즈의 경계에 따라 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출할 수 있다(930).
픽셀 추출부(273)는 제1 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 구조에 따라 제2 POR 픽셀들을 추출할 수 있다(940).
픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달하는지 여부를 판단할 수 있다(950).
제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달할 때, 픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들을 렌즈 어레이 보정부(290)로 전송할 수 있다(960).
픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들에 기초하여, 복수의 렌즈 어레이들 각각의 구조에 따라 다음의 가능한 POR 픽셀들을 추출할 수 있다(970). 픽셀 추출부(273)는 POR 픽셀들의 개수가 제2 예정 개수에 도달할 때까지 상술한 과정을 반복 수행할 수 있다.
도 13은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 13을 참조하면, 변환부(291)는 좌표계(OwXwYwZw)와 좌표계(OaXaYaZa) 간의 회전(rotation) 및 변환(translation)을 2D 회전 및 변환으로 수학식 1과 같이 변환할 수 있다(1010).
광심 계산부(292)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들에 기초하여 촬영부(210)의 광심 좌표
Figure PCTKR2014004327-appb-I000042
를 계산할 수 있다(1020).
파라미터 추정부(293)는 2D 회전 및 변환, 촬영부(210)의 광심 좌표에 기초하여 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터들을 추정하고, 추정된 회전 및 변환 파라미터들을 이용하여 T-IID(100)의 기하 모델을 보정할 수 있다(1030).
도 14는 도 2에 도시된 광 모델 생성부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 14를 참조하면, 위치 계산부(231)는 보정된 T-IID(100)의 기하 모델을 이용하여 복수의 렌즈 어레이들(130)에 포함된 각 렌즈의 디스플레이 패널(110)에 대한 위치를 계산할 수 있다(1110).
관찰 평면 지정부(232)는 관찰 평면을 지정하고, 관찰 평면으로부터 관찰 중심(Vc)을 결정할 수 있다(1120).
매트릭스 생성부(233)는 EIA 영상의 픽셀 좌표계 [m,n]T를 생성할 수 있다(1130).
매트릭스 생성부(233)는 EIA 영상의 픽셀 좌표계 [m,n]T에 기초하여 EIA 영상의 복수의 렌즈 어레이들(130)의 각 렌즈에 대한 매핑 매트릭스 [S(m,n),T(m,n)]를 생성할 수 있다(1140).
매핑부(234)는 위치 H(j), 관찰 중심(Vc), 매핑 매트릭스 [S(m,n),T(m,n)]에 기초하여 LCD의 각 픽셀을 대응하는 렌즈의 중심에 매핑할 수 있다(1150).
매핑부(234)는 매핑 결과에 따라 2면 직선 표기법(two plane straight notation)에 의하여 표시된 광 모델 {U(m,n),V(m,n), S(m,n),T(m,n)}을 생성할 수 있다(1160).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 개시된 기술의 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이의 3D 영상(3D image) 보정 방법에 있어서,
    상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하는 단계;
    상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계;
    보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하는 단계; 및
    상기 광 모델을 이용하여 영상을 렌더링하는 단계
    를 포함하는 3D 영상 보정 방법.
  2. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 복수의 구조광 영상들로부터 촬영부의 광심을 통과하는 광선에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출하는 단계; 및
    상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계
    를 포함하는 3D 영상 보정 방법.
  3. 제2항에 있어서,
    상기 추출하는 단계는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출하는 단계
    를 포함하는 3D 영상 보정 방법.
  4. 제2항에 있어서,
    상기 추출하는 단계는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 단계;
    상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 단계;
    상기 추출된 경계에 따라 상기 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출하는 단계;
    상기 제1 POR 픽셀들에 기초하여 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제2 POR 픽셀들을 추출하는 단계; 및
    상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로서 전송하는 단계
    를 포함하는 3D 영상 보정 방법.
  5. 제2항에 있어서,
    상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는,
    상기 추출된 POR 픽셀들을 이용하여 상기 복수의 렌즈 어레이들의 상기 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 계산된 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계
    를 포함하는 3D 영상 보정 방법.
  6. 제2항에 있어서,
    상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는,
    상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 단계;
    상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 단계;
    상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하는 단계; 및
    상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계
    를 포함하는 3D 영상 보정 방법.
  7. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 보정된 타일 디스플레이의 기하 모델을 이용하여 상기 복수의 렌즈 어레이들에 포함된 각 렌즈의 상기 디스플레이 패널에 대한 위치를 계산하는 단계;
    관찰 평면을 지정하고, 상기 관찰 평면으로부터 관찰 중심을 결정하는 단계;
    상기 영상의 픽셀 좌표계를 생성하고, 상기 픽셀 좌표계에 기초하여 매핑 매트릭스를 생성하는 단계; 및
    상기 위치, 상기 관찰 중심, 및 상기 매핑 매트릭스에 기초하여 상기 디스플레이 패널의 각 픽셀을 대응하는 렌즈의 중심에 매핑하여 상기 광 모델을 생성하는 단계
    를 포함하는 3D 영상 보정 방법.
  8. 제7항에 있어서,
    상기 광 모델은 2면 직선 표기법에 의하여 표시되는 3D 영상 보정 방법.
  9. 제4항에 있어서,
    상기 제2 POR 픽셀들을 추출하는 단계는,
    상기 제1 POR 픽셀들에 기초하여 상기 제2 POR 픽셀들의 위치를 예측하는 단계;
    상기 예측된 위치를 중심으로 검색 윈도우를 결정하는 단계;
    상기 검색 윈도우에 포함된 픽셀들에 대하여 로컬 경사 진폭 히스토그램(local gradient amplitude histogram)에 기초한 에너지 함수(energy function) 값을 생성하는 단계; 및
    상기 에너지 함수 값에 기초하여 상기 픽셀들로부터 상기 제2 POR 픽셀들을 추출하는 단계
    를 포함하는 3D 영상 보정 방법.
  10. 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이; 및
    상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하고, 상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하고, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하고, 상기 광 모델을 이용하여 영상을 렌더링하는 이미지 처리 장치
    를 포함하는 디스플레이 시스템.
  11. 제10항에 있어서,
    상기 이미지 처리 장치는,
    상기 복수의 구조광 영상들을 획득하는 촬영부;
    상기 복수의 구조광 영상들에 기초하여 상기 복수의 렌즈 어레이들의 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 보정부;
    상기 보정된 타일 디스플레이의 기하 모델에 따라 상기 광 모델을 생성하는 광 모델 생성부; 및
    상기 광 모델을 이용하여 상기 영상을 렌더링하는 렌더링부
    를 포함하는 디스플레이 시스템.
  12. 제11항에 있어서,
    상기 보정부는,
    상기 복수의 구조광 영상들로부터 상기 촬영부의 광심을 통과하는 광선에 대응하는 POR 픽셀들을 추출하는 POR 픽셀 추출부; 및
    상기 추출된 POR 픽셀들을 이용하여 상기 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 렌즈 어레이 보정부
    를 포함하는 디스플레이 시스템.
  13. 제11항에 있어서,
    상기 POR 픽셀 추출부는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출하는 디스플레이 시스템.
  14. 제11항에 있어서,
    상기 POR 픽셀 추출부는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 픽셀 분석부;
    상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 에지 추출부; 및
    상기 추출된 경계와 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제1 POR 픽셀들과 제2 POR 픽셀들을 추출하고, 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로 추출하는 픽셀 추출부
    를 포함하는 디스플레이 시스템.
  15. 제11항에 있어서,
    상기 렌즈 어레이 보정부는,
    상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 변환부;
    상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 광심 계산부; 및
    상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하고, 상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 파라미터 추정부
    를 포함하는 디스플레이 시스템.
PCT/KR2014/004327 2013-05-15 2014-05-14 Tiled display에서 3d 영상을 보정하는 방법 및 장치 WO2014185710A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14798325.8A EP2999220B1 (en) 2013-05-15 2014-05-14 Method for correcting 3d image in tiled display and apparatus therefor
JP2016513872A JP6590792B2 (ja) 2013-05-15 2014-05-14 ３ｄ映像を補正する方法、装置及び表示システム
US14/627,534 US9977981B2 (en) 2013-05-15 2015-02-20 Method and apparatus for calibrating a three-dimensional (3D) image in a tiled display

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201310178473.6 2013-05-15
CN201310178473.6A CN104155765B (zh) 2013-05-15 2013-05-15 在拼接式集成成像显示器中校正三维图像的方法和设备
KR1020140057688A KR102198352B1 (ko) 2013-05-15 2014-05-14 Tiled Display에서 3D 영상을 보정하는 방법 및 장치
KR10-2014-0057688 2014-05-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/627,534 Continuation-In-Part US9977981B2 (en) 2013-05-15 2015-02-20 Method and apparatus for calibrating a three-dimensional (3D) image in a tiled display

Publications (1)

Publication Number Publication Date
WO2014185710A1 true WO2014185710A1 (ko) 2014-11-20

Family

ID=51881305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/004327 WO2014185710A1 (ko) 2013-05-15 2014-05-14 Tiled display에서 3d 영상을 보정하는 방법 및 장치

Country Status (6)

Country Link
US (1) US9977981B2 (ko)
EP (1) EP2999220B1 (ko)
JP (1) JP6590792B2 (ko)
KR (1) KR102198352B1 (ko)
CN (1) CN104155765B (ko)
WO (1) WO2014185710A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102370062B1 (ko) 2014-11-24 2022-03-04 삼성전자주식회사 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
CN105761298A (zh) * 2016-02-22 2016-07-13 浙江传媒学院 一种使用线性预测的自适应渲染方法
US10083652B2 (en) 2016-05-04 2018-09-25 International Business Machines Corporation Method, apparatus and computer product to compensate for misaligned or overlapped electronic wallpapers
GB2550137A (en) * 2016-05-09 2017-11-15 Euro Electronics (Uk) Ltd Method and apparatus for tiles light field display
KR20180057789A (ko) * 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
CN110262048B (zh) * 2017-05-18 2021-03-23 中国人民解放军装甲兵工程学院 集成成像光场显示系统透镜阵列的校准方法
CN107945236B (zh) * 2017-11-09 2020-09-04 浙江大学 一种适于通用光学系统的亚像素级非线性标定方法
KR102020563B1 (ko) * 2018-01-30 2019-09-10 한국과학기술연구원 무안경식 3차원 디스플레이 시스템에 적용 가능한 영상 획득 방법과, 이를 통해 획득한 영상을 이용하여 3차원 입체 영상을 제공하는 방법, 장치 및 시스템
US10650712B2 (en) * 2018-06-29 2020-05-12 Disney Enterprises, Inc. Ordered mapping on a three-dimensional projection surface
CN110824722B (zh) * 2018-08-07 2021-10-15 宁波舜宇光电信息有限公司 结构光投射模组组装装置及投射模组的组装、检测方法
CN109814757B (zh) * 2019-01-29 2022-05-27 京东方科技集团股份有限公司 触控检测方法及装置、触控设备、计算机设备及可读介质
US11600023B2 (en) * 2020-08-31 2023-03-07 Gopro, Inc. Optical center calibration
CN114636992A (zh) * 2020-12-15 2022-06-17 深圳市灵明光子科技有限公司 相机校准方法、相机及计算机可读存储介质
CN112991178B (zh) * 2021-03-24 2022-08-02 北京百度网讯科技有限公司 图像拼接方法、装置、设备和介质
CN113298701B (zh) * 2021-06-22 2022-04-26 北京航空航天大学 一种多屏拼接的集成成像3d图像配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070112081A (ko) * 2007-07-18 2007-11-22 한국과학기술원 3차원 모니터에서 영상왜곡을 보상하는 방법
KR20120015578A (ko) * 2010-08-12 2012-02-22 삼성전자주식회사 디스플레이장치 및 그 영상보정방법
KR20120140665A (ko) * 2010-09-23 2012-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 카메라 디바이스에 의해 결정된 피드백을 이용한 ３ｄ 디스플레이 교정을 위한 방법 및 시스템
KR20130007778A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 균일성 조정기능이 있는 디스플레이장치 및 그 제어방법
KR20130037326A (ko) * 2011-10-06 2013-04-16 엘지디스플레이 주식회사 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310650B1 (en) 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US7145611B2 (en) 2000-12-22 2006-12-05 Honeywell International, Inc. Seamless tiled display system
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
JP4272464B2 (ja) * 2003-05-02 2009-06-03 日本放送協会 立体映像補正装置およびその方法
JP2004333691A (ja) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> レンズ位置検出方法およびその装置
KR20040100007A (ko) 2003-05-21 2004-12-02 윤정선 멀티 스크린 또는 멀티 큐브에서 발생하는 이음매 감소 방법
CN100454140C (zh) * 2003-09-19 2009-01-21 邓兴峰 分屏式立体摄影仪
US20080129894A1 (en) 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
JP4614980B2 (ja) * 2007-03-13 2011-01-19 日本ビクター株式会社 映像投射位置調整システム、映像投射位置調整方法及び映像投射位置調整プログラム
WO2008122978A2 (en) 2007-04-05 2008-10-16 Itzhak Pomerantz Screen seaming device system and method
KR101481505B1 (ko) 2007-11-08 2015-01-13 엘지전자 주식회사 멀티 스크린 시스템 및 그 구현 방법
JP5354252B2 (ja) * 2008-05-13 2013-11-27 独立行政法人情報通信研究機構 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法
US8390677B1 (en) * 2009-07-06 2013-03-05 Hewlett-Packard Development Company, L.P. Camera-based calibration of projectors in autostereoscopic displays
CN101782686A (zh) * 2009-09-22 2010-07-21 吉林大学 3d视频的led大屏幕制作方法
US8416368B2 (en) 2009-10-05 2013-04-09 Prysm, Inc. Edge illumination of bezelless display screen
US8902128B2 (en) 2009-11-04 2014-12-02 Christie Digital Systems Usa, Inc. Tiled display system and improvement therein
US8994714B2 (en) 2010-09-23 2015-03-31 Dolby Laboratories Licensing Corporation Method and system for display calibration with feedback determined by a camera device
CN103048866B (zh) * 2012-12-13 2015-07-08 浙江大学 基于平面显示器的悬浮式360°光场三维显示装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070112081A (ko) * 2007-07-18 2007-11-22 한국과학기술원 3차원 모니터에서 영상왜곡을 보상하는 방법
KR20120015578A (ko) * 2010-08-12 2012-02-22 삼성전자주식회사 디스플레이장치 및 그 영상보정방법
KR20120140665A (ko) * 2010-09-23 2012-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 카메라 디바이스에 의해 결정된 피드백을 이용한 ３ｄ 디스플레이 교정을 위한 방법 및 시스템
KR20130007778A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 균일성 조정기능이 있는 디스플레이장치 및 그 제어방법
KR20130037326A (ko) * 2011-10-06 2013-04-16 엘지디스플레이 주식회사 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2999220A4 *

Also Published As

Publication number Publication date
KR20140135116A (ko) 2014-11-25
CN104155765A (zh) 2014-11-19
EP2999220B1 (en) 2017-12-13
JP6590792B2 (ja) 2019-10-16
US20150170399A1 (en) 2015-06-18
CN104155765B (zh) 2019-09-13
JP2016526321A (ja) 2016-09-01
KR102198352B1 (ko) 2021-01-04
EP2999220A1 (en) 2016-03-23
EP2999220A4 (en) 2016-10-19
US9977981B2 (en) 2018-05-22

Similar Documents

Publication Publication Date Title
WO2014185710A1 (ko) Tiled display에서 3d 영상을 보정하는 방법 및 장치
WO2019066563A1 (en) DETERMINATION AND FOLLOW-UP OF CAMERA INSTALLATION
WO2013168998A1 (en) Apparatus and method for processing 3d information
WO2020101103A1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2016053067A1 (en) 3-dimensional model generation using edges
WO2018124337A1 (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
WO2015056826A1 (ko) 카메라의 영상 처리 장치 및 방법
CN104394316A (zh) 摄像机云台姿态测试系统
EP2918072A1 (en) Method and apparatus for capturing and displaying an image
WO2019004565A1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
JP2010273091A (ja) 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム
WO2023038369A1 (en) Semantic three-dimensional (3d) building augmentation
WO2022025458A1 (ko) 전자 장치 및 그 제어 방법
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2019083068A1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
WO2019231119A1 (ko) 혼잡도 시각화 장치 및 방법
WO2017217595A1 (ko) 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2014046427A1 (en) Three dimensional image capture system with image conversion mechanism and method of operation thereof
WO2020130211A1 (ko) 관절 모델 정합 장치 및 방법
WO2018212437A1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14798325

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016513872

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014798325

Country of ref document: EP