WO2022108114A1 - 적층형 디스플레이 장치 및 이의 제어 방법 - Google Patents

적층형 디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2022108114A1
WO2022108114A1 PCT/KR2021/013998 KR2021013998W WO2022108114A1 WO 2022108114 A1 WO2022108114 A1 WO 2022108114A1 KR 2021013998 W KR2021013998 W KR 2021013998W WO 2022108114 A1 WO2022108114 A1 WO 2022108114A1
Authority
WO
WIPO (PCT)
Prior art keywords
panel
image
layer image
layer
transmittance
Prior art date
Application number
PCT/KR2021/013998
Other languages
English (en)
French (fr)
Inventor
이지혜
진보라
윤영진
이여울
이재성
이선일
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21894886.7A priority Critical patent/EP4202910A4/en
Priority to US17/583,753 priority patent/US11756493B2/en
Publication of WO2022108114A1 publication Critical patent/WO2022108114A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133509—Filters, e.g. light shielding masks
    • G02F1/133514—Colour filters
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133526—Lenses, e.g. microlenses or Fresnel lenses
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen

Definitions

  • the present disclosure relates to a stacked display device and a control method thereof, and more particularly, to a stacked display device capable of alleviating a color shift phenomenon and a control method thereof.
  • the stacked display device may be implemented by stacking two or more display panels, and an image may be displayed on each of the two or more display panels to provide an image reflecting a 3D depth.
  • the present disclosure has been made to solve the above-described problems, and proposes a stacked display device including a color panel including a color filter and a monochrome panel not including a color filter.
  • a stacked display device may include: a stacked display including a first panel and a second panel having a transmittance different from that of the first panel; and a first layer image for displaying an image on the first panel and a second layer image for displaying an image on the second panel are obtained, and the first transmittance of the first panel and the second panel.
  • the brightness of the second layer image is adjusted based on the ratio between the second transmittances of , and the pixel value of the second layer image, and the brightness is adjusted while displaying the first layer image on the first panel.
  • a processor that controls the stacked display to display a second layer image on the second panel.
  • the first panel may be a color panel including a color filter
  • the second panel may be a monochrome panel that does not include a color filter
  • the stacked display further includes a third panel, wherein the processor obtains a third layer image for displaying an image on the third panel, obtains a third transmittance for the third panel, A third layer image in which the brightness of the third layer image is adjusted is obtained based on a ratio between the first transmittance and the third transmittance and a pixel value of the third layer image, and the brightness of the third layer is adjusted
  • the stacked display may be controlled to display an image on the third panel.
  • the third panel may be characterized in that it further comprises a multi-array lens.
  • the pixel value of the second layer image may be an average value of a plurality of pixel values included in the second layer image.
  • the processor may obtain a second layer image in which the brightness of each object of the second layer image is adjusted based on a representative pixel value of each object included in the second layer image.
  • the processor is configured to obtain a second layer image in which the brightness of the second layer image is adjusted based on the average pixel value of the entire moving picture frame.
  • the processor obtains a second layer image in which the brightness of each frame of the second layer image is adjusted based on the average pixel value of each frame of the moving picture. can do.
  • the processor may obtain the first layer image and the second layer image by inputting a plurality of LF images of different viewpoints to a factorization model for converting an LF image into a layer image. .
  • the processor inputs the first layer image and the second layer image to a simulation model to obtain a reconstructed LF image, compares the LF image and the reconstructed LF image to obtain a loss function, and the The factorization model may be trained based on the loss function.
  • a method of controlling a stacked display device may include: obtaining a first layer image for displaying an image on a first panel of the stacked display and a second layer image for displaying an image on a second panel of the stacked display; adjusting the brightness of the second layer image based on a ratio between a first transmittance of the first panel and a second transmittance of the second panel and a pixel value of the second layer image; and
  • the first panel may be a color panel including a color filter
  • the second panel may be a monochrome panel that does not include a color filter
  • the stacked display further comprises a third panel, the control method,
  • obtaining a third layer image for displaying an image on the third panel obtaining a third transmittance for the third panel; obtaining a third layer image in which the brightness of the third layer image is adjusted based on a ratio between the first transmittance and the third transmittance and a pixel value of the third layer image; and displaying the third layer image whose brightness has been adjusted on the third panel.
  • the third panel may be characterized in that it further comprises a multi-array lens.
  • the pixel value of the second layer image may be an average value of a plurality of pixel values included in the second layer image.
  • the obtaining of the adjusted second layer image includes obtaining a second layer image in which the brightness of each object of the second layer image is adjusted based on the representative pixel value of each object included in the second layer image. can do.
  • the brightness of the second layer image is determined based on the average pixel value of the entire moving picture frame.
  • An adjusted second layer image may be obtained.
  • the obtaining of the adjusted second layer image includes: when the first layer image and the second layer image are moving pictures, the brightness of each frame of the second layer image is based on the average pixel value of each frame of the moving picture. It is possible to obtain a second layer image to which is adjusted.
  • the method may further include obtaining the first layer image and the second layer image by inputting a plurality of LF images of different viewpoints to a factorization model for converting an LF image into a layer image.
  • the stacked display device may alleviate a color shift phenomenon that may occur due to a difference in transmittance between the monochrome panel and the color panel.
  • FIG. 1 is a diagram for explaining a layered display device and a layer image displayed on each panel of the stacked display device according to the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a stacked display device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a process of learning a factorization model according to an embodiment of the present disclosure.
  • FIG. 4 is a graph for comparing brightness information of a general image with brightness information of an image to which an index value is applied, according to an embodiment of the present disclosure.
  • 5A is a diagram illustrating a plurality of layer images before brightness adjustment when the stacked display 220 has three panels, according to an embodiment of the present disclosure.
  • 5B is a diagram illustrating a plurality of layer images whose brightness is adjusted according to an index value corresponding to each of the layer images, according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a process for learning a factorization model according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram for explaining that an LF image for an Nth view is converted into one channel among a plurality of LF images to obtain a subpixel LF image for the Nth view, according to an embodiment of the present disclosure; FIG. .
  • FIG. 7B is a diagram illustrating an image in which a 3-channel LF image is converted into a 1-channel sub-pixel LF image according to an embodiment of the present disclosure.
  • 8A is a diagram illustrating a one-channel LF image set consisting of 5x5, according to an embodiment of the present disclosure.
  • 8B is a diagram illustrating a method of reconstructing an LF image by shifting three layer images according to a view corresponding to each of the LF images, according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing red, green, and blue (RGB) representations according to values of shifting parameters applied when subpixel layer images are reconstructed into LF images, according to an embodiment of the present disclosure.
  • RGB red, green, and blue
  • FIG. 10 is a diagram for explaining RGB expression according to a value of a shifting parameter applied when subpixel layer images are reconstructed into an LF image, according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a method of controlling a stacked display device according to an embodiment of the present disclosure.
  • FIG. 1 illustrates a layered display device and a layer image displayed on each panel of the stacked display device according to the present disclosure It is a drawing for
  • the stacked display device may include a stacked display 100 including a backlight 140 , a first panel 110 , a second panel 120 , and a third panel 130 . .
  • the backlight 140 is a component for irradiating light to the display panel. That is, each of the first panel 110 , the second panel 120 , and the third panel 130 is stacked on the backlight 140 of the stacked display 100 , and the backlight 140 emits light to each panel.
  • the stacked display 100 includes a backlight 140
  • each of the first panel 110 , the second panel 120 , and the third panel 130 is implemented as a liquid crystal display (LCD) panel.
  • LCD liquid crystal display
  • the stacked display 100 includes the backlight 140 in FIG. 1
  • the present invention is not limited thereto.
  • the stacked display 100 does not include a backlight unit, and each panel of the stacked display 100 is an OLED. It is also implemented as an (Organic Light Emitting Diodes) panel so that light can be irradiated from each OLED (Organic Light Emitting Diodes) panel itself.
  • a first panel 110 may be stacked on a third panel 130
  • a second panel 120 may be stacked on the first panel 110 .
  • the stacked display device includes a first layer image 10 for displaying an image on the first panel 110 and a second layer image 20 for displaying an image on the second panel 120 .
  • a third layer image 30 for displaying an image on the third panel 130 may be obtained.
  • the first layer image 10 , the second layer image 20 , and the third layer image 30 may be obtained by inputting a plurality of LF images of different viewpoints into a factorization model. have.
  • the factorization model is a model for converting a plurality of light field (LF) images into a layer image for display on the stacked display 100 .
  • the LF (Light Field) image refers to a set of a plurality of images in which at least one object is photographed from different viewpoints through the LF camera.
  • the factorization model may be implemented as one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, and a non-negative matrix factorization (NMF) model.
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • a plurality of LF images may be converted into three layer images through a factorization model.
  • a plurality of LF images obtained by photographing at least one object from different viewpoints through the LF camera are converted into a plurality of layer images corresponding to the number of panels of the stacked display 100 through a factorization model.
  • the stacked display device displays the first layer image 10 on the first panel 110 , displays the second layer image 20 - 1 whose brightness is adjusted on the second panel 120 , and displays the brightness adjusted second layer image 20 - 1 on the second panel 120 .
  • the third layer image 30 - 1 may be displayed on the third panel 130 . That is, the stacked display device may simultaneously display a plurality of layer images on each of a plurality of panels to provide an image in which a 3D depth is reflected.
  • the first panel 110 may be implemented as a color panel including a color filter
  • the second panel 120 and the third panel 130 are monochrome panels that do not include a color filter.
  • the first layer image 10 displayed on the first panel 110 may be a color layer image composed of three RGB colors
  • the second layer image 20 and the second layer image displayed on the second panel 120 are
  • the third and third layer images 30 displayed on the third panel 130 may be monochromatic layer images capable of displaying only light and dark.
  • transmittance may be lower than that of the monochrome panel without the color filter due to the effect of the color filter.
  • the transmittance is a ratio of the amount of light passing through the panel to the amount of light incident on the panel. As the transmittance is higher, the amount of light passing through the panel may be relatively high. Therefore, when an image is displayed using the first panel 110 including the color filter and the second panel 120 and the third panel 130 not including the color filter, the color is distorted due to the difference in transmittance between the panels. phenomena may occur.
  • the color shift phenomenon is a phenomenon in which the color to be expressed through the layer image and the color shown through the actual panel are different from each other. As it is relatively higher, color distortion may occur. That is, when images are displayed on each panel with the same brightness of the color panel and the monochrome panel, the degree of light attenuation in the color panel is relatively large, so the image of the monochrome panel is displayed brighter than the image of the color panel. can Due to this, a color shift phenomenon in which a color to be expressed and a color actually expressed through the multilayer display 100 are different may occur.
  • the brightness of the entire monochrome panel may be set to be darker than the brightness of the color panel, but in this case, the brightness of the final image provided through the stacked display 100 may be reduced. Accordingly, the present disclosure proposes a method for reducing a color shift phenomenon while minimizing a decrease in brightness of an image provided through the stacked display 100 .
  • the stacked display device may acquire a plurality of layer images 10 , 20 , and 30 for displaying images on the plurality of panels 110 , 120 , and 130 . That is, the stacked display device includes a first layer image 10 for displaying an image on the first panel 110 , a second layer image 20 for displaying an image on the second panel 120 , and a third layer image for displaying an image on the second panel 120 . A third layer image 30 for displaying an image on the panel 130 may be acquired.
  • the stacked display device may acquire transmittance of each of the plurality of panels 110 , 120 , and 130 and pixel values of each of the second layer image 20 and the third layer image 30 .
  • the transmittance of each of the plurality of panels 110 , 120 , and 130 may be identified by characteristics of a polarizing plate in the panel, the type of the panel, the presence or absence of a color filter, the presence or absence of a lens, and the like.
  • the transmittance due to the characteristics of the lower polarizing plate is 0.8
  • the transmittance due to the panel characteristics is 0.28
  • the transmittance due to the presence of the color filter is 0.3 (when a color filter is included)
  • the transmittance with or without a lens is 0.8 (when there is no lens)
  • the transmittance due to the characteristics of the lower polarizing plate is 0.8
  • the transmittance due to the panel characteristics is 0.45
  • the transmittance due to the presence of the color filter is 1 (when there is no color filter)
  • the transmittance due to the characteristics of the lower polarizing plate is 0.43
  • the transmittance due to the panel characteristics is 0.45
  • the transmittance due to the presence of the color filter is 1 (when there is no color filter)
  • the transmittance of each of the plurality of panels may be predetermined at the time of panel manufacturing depending on the characteristics of the polarizing plate in the panel, the type of panel, the presence or absence of a color filter, the presence or absence of a lens, etc. may be stored.
  • the stacked display device may acquire pixel values of the second layer image 20 and the third layer image 30 , respectively.
  • a pixel means a minimum unit for displaying an image
  • a layer image may be composed of a plurality of pixels.
  • each pixel in the layer image may have a pixel value.
  • the color layer image provided on the color panel may include a pixel representing a first color, a pixel representing a second color, and a pixel representing a third color, wherein the first color, the second color, and the third color are mixed.
  • Color can be expressed.
  • Each color can have a pixel value between 0 and 255. That is, (first color, second color, third color) may have a pixel value between (0,0,0) and (255,255,255) in one region in the color layer image, and 3 Brightness may be determined by a combination of pixel values of colors.
  • One area in the monochromatic layer image provided on the monochrome panel has only pixel values representing the contrast between 0 and 255, and it means that the area with a large pixel value in the monochrome layer image has greater brightness than the area with a small pixel value. can do.
  • the stacked display device may obtain a representative pixel value of each of the second layer image 20 and the third layer image 30 .
  • the representative pixel value according to the present disclosure may mean an average value of all pixel values of the layer image.
  • the representative pixel value according to the present disclosure may have a value between 0 and 1. That is, the representative pixel value may be a value obtained by normalizing an average value of all pixel values in a layer image having a pixel value between 0 and 255 to a value between 0 and 1.
  • each pixel in the second layer image 20 which is a monochromatic image, consists of pixel values representing a contrast of 0 to 255, and in the stacked display device, an average value of a plurality of pixel values in the second layer image 20 , and a value obtained by normalizing the calculated average value to a value between 0 and 1 may be identified as a representative pixel value of the second layer image 20 .
  • the representative pixel value of the third layer image 30 may also be identified as described above.
  • the stacked display device When the transmittance of each of the plurality of panels 110 , 120 , and 130 and the representative pixel value of each of the second layer image 20 and the third layer image 30 are obtained, the stacked display device performs By adjusting the brightness of the second layer image 20 based on the ratio between the first transmittance and the second transmittance of the second panel 120 and the pixel value of the second layer image 20, the brightness is adjusted A two-layer image 20 - 1 may be acquired.
  • the stacked display device determines the brightness of the third layer image 30 based on the ratio between the first transmittance of the first panel and the third transmittance of the third panel 130 and the pixel value of the third layer image. By adjusting the brightness, the third layer image 30 - 1 whose brightness is adjusted may be obtained.
  • the stacked display device may calculate the index value g2 for adjusting the brightness of the second layer image 20 through the equation shown in Equation 1 .
  • the stacked display device may calculate the index value g3 for adjusting the brightness of the third layer image 130 through the equation shown in Equation 2 .
  • X 2 may mean a representative pixel value of the second layer image 20
  • X 3 in Equation 2 may mean a representative pixel value of the third layer image 30
  • the present invention is not limited thereto, and as an example, X 2 may be a value indicated by calculating a linear equation as a vector having a size of [the total number of pixels of the second layer image 20, 1].
  • X 3 may be a value indicated by calculating a linear equation as a vector having a size of [the total number of pixels of the third layer image 30, 1].
  • X 2 2.2 represents an actual brightness value when the second layer image 20 is displayed on the second panel
  • X 3 2.2 in Equation 2 represents the third layer image 30 .
  • g2 is an index value for adjusting the brightness of the second layer image 20
  • g3 is an index value for adjusting the brightness of the third layer image 30 .
  • the second layer image ( 20) for adjusting the brightness of g2 can be calculated as 1.59.
  • the third transmittance of the third panel is 0.077
  • the second transmittance of the second panel is 0.288
  • the representative pixel value X 2 of the third layer image 30 is 0.162
  • g2 for adjusting the brightness can be calculated as 1.33.
  • the stacked display device adjusts the brightness of the second layer image 20 based on the index value g2 for adjusting the brightness of the second layer image 20, Obtaining the second layer image 20-1 with the brightness adjusted, and adjusting the brightness of the third layer image 30 based on the index value g3 for adjusting the brightness of the third layer image 30 , the third layer image 30 - 1 whose brightness is adjusted may be obtained.
  • the stacked display device may obtain the second layer image 20 - 1 with the brightness adjusted by applying an exponential operation of the g2 order to each pixel value in the second layer image 20 . That is, the stacked display device adjusts each pixel value in the second layer image 20 so that the representative pixel value of the second layer image 20 becomes X 2 g , so that the brightness is lower than that of the second layer image 20 .
  • a second layer image 20 - 1 whose brightness is adjusted to be reduced may be obtained. That is, referring to FIG. 1 , the brightness of the adjusted second layer image 20 - 1 is expressed darker than the second layer image 20 , and thus the brightness of the second layer image 20 - 1 is adjusted. ) may be relatively lower than that of the second layer image 20 .
  • X 2 (g*2.2) is equal to the brightness value in which the brightness is reduced by the transmittance ratio between the first panel and the second panel from the actual brightness when the second layer image 20 is displayed on the second panel.
  • the stacked display device may obtain the third layer image 30 - 1 whose brightness is adjusted by applying an exponential operation of the g3 order to each pixel value in the third layer image 30 . That is, the stacked display device adjusts each pixel value in the third layer image 30 so that the representative pixel value of the third layer image 30 becomes X 3 g , and the brightness of the third layer image 30- 1) can be obtained.
  • the stacked display device displays the first layer image 10 on the first panel 110 , displays the second layer image 20 - 1 whose brightness is adjusted on the second panel 120 , and displays the brightness of the second layer image 20 - 1 on the second panel 120 ,
  • the adjusted third layer image 30 - 1 may be displayed on the third panel 130 . That is, the stacked display device adjusts the brightness of the second layer image 20 and the third layer image 30 to display them, thereby reducing color distortion.
  • the layer image whose brightness is adjusted by applying an exponential operation to each pixel value of the corresponding pixel with respect to the pixels in the layer image
  • An image may be acquired.
  • the degree of brightness reduction is different for each pixel in the layer image
  • the degree of brightness reduction of the final image is minimized compared to the case of reducing the brightness of the monochrome panel itself, and the actual color to be expressed through the layer image is well reflected.
  • a final image may be provided.
  • the brightness of the layer image is adjusted through the representative pixel value for each content of the layer image, the color to be expressed through the layer image can be maintained even through the final image provided through a plurality of panels.
  • the present disclosure is not limited thereto, and the transmittance of the panel may be different depending on the type of panel, the type of the polarizing film, and whether or not a lens is attached. may be For example, even in a stacked display device including three color panels having different transmittances of the panels, the brightness of the layer image according to the present disclosure is adjusted to reduce color distortion.
  • the stacked display 100 is implemented with one color panel and two monochrome panels, but the present disclosure is not limited thereto. That is, the stacked display 100 may be implemented with one color panel and one monochrome panel. In addition, the stacked display 100 may be implemented as a first color panel and a second color panel having a transmittance different from that of the first color panel.
  • FIG. 2 is a block diagram illustrating a configuration of a stacked display device according to an embodiment of the present disclosure.
  • the stacked display device 200 may include a memory 210 , a stacked display 220 , and a processor 230 .
  • the stacked display device 200 according to the present disclosure may be implemented as a device for providing a stereoscopic image including a plurality of display panels.
  • the memory 210 may store various programs and data necessary for the operation of the stacked display device 200 . Specifically, at least one instruction may be stored in the memory 210 .
  • the processor 230 may perform the operation of the stacked display device 200 by executing an instruction stored in the memory 210 .
  • the memory 210 may store instructions or data related to at least one other component of the stacked display device 200 .
  • the memory 210 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the memory 210 is accessed by the processor 230 , and reading/writing/modification/deletion/update of data by the processor 230 may be performed.
  • the term "memory” refers to a memory 210, a ROM (not shown) in the processor 230, a RAM (not shown), or a memory card (not shown) mounted in the stacked display device 200 (eg, micro secure digital (SD) card, memory stick).
  • a memory 210 e.g., a ROM (not shown) in the processor 230, a RAM (not shown), or a memory card (not shown) mounted in the stacked display device 200 (eg, micro secure digital (SD) card, memory stick).
  • SD micro secure digital
  • the stacked display 220 may include a backlight 140 and a plurality of panels stacked on the backlight 140 as shown in FIG. 1 . That is, when the stacked display 100 includes the backlight 140 , each of the plurality of panels may be implemented as a liquid crystal display (LCD) panel.
  • LCD liquid crystal display
  • each of the plurality of panels of the stacked display 220 may be implemented as an organic light emitting diode (OLED) panel to emit light from each organic light emitting diode (OLED) panel itself.
  • the stacked display 220 may not include a backlight.
  • the stacked display 220 may include a first panel 110 , a second panel 120 , a third panel 130 , and a backlight 140 as shown in FIG. 1 .
  • the first panel 110 may be implemented as a color panel including a color filter
  • the second panel 120 and the third panel 130 may be implemented as a monochrome panel that does not include a color filter.
  • the first layer image 10 displayed on the first panel 110 may be a color layer image composed of three RGB colors
  • the second layer image 20 and the second layer image displayed on the second panel 120 are
  • the third and third layer images 30 displayed on the third panel 130 may be monochromatic layer images capable of displaying only light and dark.
  • the present disclosure is not limited thereto, and the multilayer display 220 according to the present disclosure may include only two panels, the first panel 110 being a color panel and the second panel 120 being a monochrome panel.
  • the third panel 130 which is a monochrome panel, may be stacked on the backlight 140 . That is, the light irradiated from the backlight 140 may be incident on the lower region of the third panel 130 .
  • the first panel 110 which is a color panel, may be stacked on the third panel 130 . That is, the light irradiated from the backlight 140 may pass through the third panel 130 , and the light passing through the third panel 130 may be incident on the lower region of the first panel 110 .
  • the second panel 120 which is a monochrome panel, may be stacked on the first panel 110 . That is, the light irradiated from the backlight 140 passes through the third panel 130 and the first panel 110 , and the light that has passed through the first panel 110 is in the lower region of the second panel 120 . can be hired
  • the third panel 130 may include a lens for improving the viewing angle.
  • the lens may be implemented as a multi-array lens.
  • the multi-array lens is a configuration for diffusing light passing through one pixel as much as the pitch of the multi-array lens.
  • the multi-array lens may be implemented as, for example, a Lenticular lens, a Lenslet array, etc., but is not limited thereto, and may be implemented as a variety of lenses for diffusing light.
  • transmittance may be lower than that of the monochrome panel without the color filter due to the effect of the color filter.
  • the transmittance is a ratio of the amount of light passing through the panel to the amount of light incident on the panel. As the transmittance is higher, the amount of light passing through the panel may be relatively high. Therefore, when an image is displayed using the first panel 110 including the color filter and the second panel 120 and the third panel 130 not including the color filter, the color is distorted due to the difference in transmittance between the panels. phenomena may occur.
  • transmittance may be lower than that of the monochrome panel without the multi-array lens due to the influence of the multi-array lens.
  • Table 1 is a table for explaining the transmittance of each of the first panel to the third panel.
  • the transmittance due to the characteristics of the lower polarizing plate is 0.8
  • the transmittance due to the panel characteristics is 0.28
  • the transmittance due to the presence of the color filter is 0.3
  • the upper polarizing plate 0.8 (without lens)
  • the transmittance due to the characteristics of the lower polarizing plate is 0.8
  • the transmittance due to the panel characteristics is 0.45
  • the transmittance due to the presence of the color filter is 1 (color filter not included)
  • the transmittance due to the characteristics of the lower polarizing plate is 0.43
  • the transmittance due to the panel characteristics is 0.45
  • the transmittance due to the presence of the color filter is 1 (color filter not included)
  • the transmittance with or without the upper polarizing plate and the lens is 0.4 (including the lens)
  • the transmittance of each of the plurality of panels may be determined at the time of panel manufacturing according to the characteristics of the polarizing plate in the panel, the type of the panel, the presence or absence of a color filter, the presence or absence of a lens, etc. Information on a predetermined transmittance may be previously stored.
  • the function related to artificial intelligence according to the present disclosure is operated through the processor 230 and the memory 210 .
  • the processor 230 may include one or a plurality of processors.
  • one or more processors are general-purpose processors such as a central processing unit (CPU), an application processor (AP), and a graphics processing unit (GPU). It may be a graphics-only processor, such as a Visual Processing Unit (VPU), or an AI-only processor, such as a Neural Processing Unit (NPU).
  • CPU central processing unit
  • AP application processor
  • GPU graphics processing unit
  • VPU Visual Processing Unit
  • NPU Neural Processing Unit
  • One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • being made through learning means that a predefined operation rule or artificial intelligence model of a desired characteristic is created by applying a learning algorithm to a plurality of learning data.
  • Such learning may be performed in the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server/system.
  • the artificial intelligence model may be composed of a plurality of neural network layers. Each layer has a plurality of weight values, and the layer operation is performed through the operation of the previous layer and the operation of the plurality of weights.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and deep There is a Q-network (Deep Q-Networks), and the neural network in the present disclosure is not limited to the above-described example, except as otherwise specified.
  • the processor 230 may be electrically connected to the memory 210 to control overall operations and functions of the stacked display device 200 .
  • the stacked display 220 may be implemented as a display including two panels, a first panel and a second panel.
  • the first panel and the second panel may be arranged to be parallel to each other, and may have a structure in which they are stacked in a direction perpendicular to the surface.
  • the second panel may be laminated on the first panel.
  • the first panel may be a color panel including a color filter
  • the second panel may be a monochrome panel not including a color filter.
  • the present disclosure is not limited thereto, and the stacked display 220 according to the present disclosure may be implemented as a display including three panels: a first panel, a second panel, and a third panel.
  • the first panel, the second panel, and the third panel may be disposed parallel to each other and may have a structure in which they are stacked in a direction perpendicular to the surface.
  • the first panel may be laminated on the third panel, and the second panel may be laminated on the first panel. That is, the third panel is disposed lower (or rearward direction) than the first panel and the second panel, and the second panel is disposed above the third panel and the first panel (or upper surface direction), so that the third panel is It may be disposed between the first panel and the third panel.
  • the first panel may be a color panel including a color filter
  • the second panel and the third panel may be a monochrome panel not including a color filter.
  • the monochrome panel does not include a color filter, and the layer image displayed on the monochrome panel may be a layer image for indicating only a contrast ratio.
  • the monochrome panel may display a layer image composed of a monochrome monochromatic color, and in this case, a contrast ratio may be indicated through pixel values in the layer image.
  • the color panel includes a color filter, and by the color filter, the color panel may include a pixel representing a first color, a pixel representing a second color, and a pixel representing a third color.
  • a color may be expressed by mixing the first color, the second color, and the third color.
  • pixels of a color panel may be implemented as pixels having three colors of RGB (Red, Green, Blue) by a color filter.
  • the processor 230 executes at least one instruction stored in the memory 210, A first layer image for displaying an image on the first panel 110 and a second layer image for displaying an image on the second panel may be acquired.
  • the first layer image may be an image capable of displaying colors by mixing three colors of RGB (Red, Green, and Blue).
  • the second ear image may be an image composed of a monochrome monochromatic image.
  • the first layer image and the second layer image may be obtained by factorization of LF images of different viewpoints, as will be described later.
  • the processor 230 executes at least one instruction stored in the memory 210 .
  • a first layer image for displaying an image on the first panel 110, a second layer image for displaying an image on the second panel, and a third layer image for displaying an image on the third panel can be obtained.
  • the first layer image may be an image capable of displaying colors by mixing three colors of RGB (Red, Green, Blue).
  • the second layer image and the third layer image may be images composed of monochrome monochromatic images.
  • the first layer image to the third layer image may be obtained by factorization of LF images of different views, as will be described later.
  • the stacked display apparatus 200 may input the LF image into the factorization model to obtain two layer images. In addition, in order to provide an image to the stacked display 220 including three panels, the stacked display apparatus 200 may input the LF image into the factorization model to obtain a three-layer image.
  • the factorization model is a model for converting a plurality of light field (LF) images into a layer image for display on the stacked display 100 .
  • the LF (Light Field) image refers to a set of a plurality of images in which at least one object is photographed from different viewpoints through the LF camera.
  • the factorization model may be implemented as one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, and a non-negative matrix factorization (NMF) model.
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • FIG. 3 is a diagram illustrating a process of learning a factorization model according to an embodiment of the present disclosure.
  • the processor 230 may acquire an LF image 300 of a plurality of viewpoints, and convert the acquired LF image 300 into a subpixel LF image (1 Subpixel image converting).
  • each of the LF images 300 acquired by the processor 230 may be an LF image 300 composed of RGB 3-channel images. That is, one image among the plurality of LF images 300 at different viewpoints is a RED channel image for expressing a RED color, a GREEN channel image for expressing a GREEN color, and a BLUE channel image for expressing a BLUE color.
  • the processor 230 may obtain a subpixel LF image by converting a three-channel image included in each of the plurality of LF images 300 at different viewpoints into a single channel image. Details on this will be described later with reference to FIG. 6A .
  • the processor 230 may obtain a number of layer images corresponding to the number of panels of the stacked display 220 by factorizing the subpixel LF image (2 Subpixel layer factorization). Specifically, the processor 230 may acquire at least two layer images through a factorization model for performing factorization, and details thereof will be described later with reference to FIG. 6 .
  • the processor 230 may reconstruct the subpixel LF image by simulating at least two layer images obtained through the factorization model (3 Subpixel simulation). Specifically, the processor 230 may reconstruct a sub-pixel LF image by inputting at least two layer images to the sub-pixel simulation model, and details thereof will be described later with reference to FIG. 6 .
  • the processor 230 may convert the reconstructed subpixel LF image into a 3-channel LF image format (4 RGB image converting). That is, the processor 230 may restore the subpixel LF image, which is a set of one-channel image formats, back to the LF image format of the three-channel image format.
  • the processor 230 may obtain a loss function by comparing the LF image 300 with the LF image converted through the 4RGB image xonverting process (5Loss Computation).
  • the loss function is an index indicating the current learning state of the factorization model.
  • the factorization model can be trained (6Update).
  • the loss function is an index indicating the poor current performance of the AI model, and the AI model can be trained in a direction in which the loss function decreases. The details of this will be described later with reference to FIG. 6 .
  • the processor 230 may learn the factorization model through the processes 1 to 6 described above.
  • the processor 230 adjusts the brightness of the second layer image based on the ratio between the first transmittance for the first panel and the second transmittance for the second panel and the pixel value of the second layer image to adjust the brightness.
  • a second layer image may be acquired.
  • the processor 230 may obtain a pixel value of the second layer image.
  • the pixel value of the second layer image may be, for example, a representative pixel value of the second layer image.
  • the representative pixel value may mean an average value of all pixel values of the layer image.
  • the representative pixel value according to the present disclosure may have a value between 0 and 1. That is, the representative pixel value may be a value obtained by normalizing an average value of all pixel values in a layer image having a pixel value between 0 and 255 to a value between 0 and 1.
  • each pixel in the second layer image 20 which is a monochromatic image, consists of pixel values representing a contrast of 0 to 255, and in the stacked display device, an average value of a plurality of pixel values in the second layer image 20 , and a value obtained by normalizing the calculated average value to a value between 0 and 1 may be identified as a representative pixel value of the second layer image 20 .
  • the processor 230 calculates the ratio between the first transmittance and the second transmittance of the second panel and the pixel value ( ) based on Equation 1, an index value g2 for adjusting the brightness of the second layer image may be obtained.
  • the ratio between the first transmittance and the second transmittance is 0.1875
  • the representative pixel value ( ) is 0.275
  • the exponent value g2 may be calculated as 1.59.
  • X 2 2.2 may represent an actual brightness value when the second layer image is displayed on the second panel. That is, the actual brightness value of the image provided through the panel may be expressed as a value in which an exponential operation of order 2.2 is applied to the representative pixel value of the image. Also, g2 may be an exponential value for adjusting the brightness of the second layer image 20 .
  • the processor 230 adjusts the brightness of the second layer image based on the index value g2 to adjust the brightness of the second layer image can be obtained. That is, it is possible to obtain a second layer image whose brightness is adjusted through pixel values to which an exponential operation of the order of the exponential value (g2) is applied to each pixel value in the second layer image.
  • the processor 230 may obtain a representative pixel value for each object included in the layer image, respectively, and obtain index values corresponding to the representative pixel value for each object.
  • the processor 23 may obtain a layer image whose brightness is adjusted by applying an index value corresponding to each object to each object in the layer image.
  • the processor 230 may obtain an index value based on the average pixel value of the entire moving picture frame. In addition, the processor 230 may acquire a second layer image whose brightness is adjusted based on the obtained index value.
  • the present invention is not limited thereto, and the processor 230 may obtain each of the exponential values based on the average pixel value for each video frame or for each predetermined frame section.
  • the processor 230 may obtain a second layer image whose brightness is adjusted by adjusting the brightness for each frame or for each predetermined frame section based on the obtained index values.
  • FIG. 4 is a graph for comparing brightness information of a general image with brightness information of an image to which an index value is applied, according to an embodiment of the present disclosure.
  • the pixel value (x) in the image is a value between 0 and 1, and for example, a pixel value of 0 to 255 may be a value normalized to a value between 0 and 1.
  • the brightness of an image whose brightness is adjusted according to an index value is relatively lower than that of a general image. That is, the layer image whose brightness is adjusted by applying the index value may have a relatively darker brightness than the layer image before the brightness adjustment.
  • FIG. 5A shows a plurality of layer images before brightness adjustment when there are three panels of the stacked display 220 according to an embodiment of the present disclosure
  • FIG. 5B is a layer image according to an embodiment of the present disclosure A plurality of layer images whose brightness is adjusted according to an index value corresponding to each are shown.
  • the first layer image 10 of FIG. 5A is a layer image to be displayed on a first panel including a color filter, and for example, the first layer image 10 may be a color image.
  • the second layer image 20 is a layer image for obtaining a second layer image 20-1 whose brightness is adjusted for display on the second panel, for example, the second layer image 20 and The second layer image 20 - 1 whose brightness is adjusted may be a monochrome image of a single color.
  • the third layer image 30 is a layer image for obtaining a third layer image 30-1 whose brightness is adjusted for display on the third panel, for example, the third layer image 30 and
  • the third layer image 30 - 1 whose brightness is adjusted may be a monochrome image of a single color.
  • the first panel for displaying the first layer image 10 is a standard panel for adjusting the brightness of the second layer image 20 and the third layer image 30 , and the first layer image 10 ), the brightness may not be adjusted.
  • the processor 230 performs a ratio between the first transmittance of the first panel and the second transmittance of the second panel and the pixel value of the second layer image 20 of FIG. 5A based on , the second layer image 20-1 to which the brightness of FIG. 5B is adjusted may be obtained.
  • the processor 230 adjusts the brightness of FIG. 5B based on the ratio between the first transmittance of the first panel and the third transmittance of the third panel and the pixel value of the third layer image 30 of FIG. 5A .
  • a third layer image 30 - 1 may be acquired.
  • the processor 230 displays the second layer image 20 - 1 with the adjusted brightness on the second panel while displaying the first layer image 10 on the first panel, and the third layer with the adjusted brightness
  • the stacked display 220 may be controlled to display the image 30 - 1 on the third panel.
  • the present disclosure is not limited to the disclosure of FIGS. 5A and 5B , and when the stacked display 220 is implemented as a first panel and a second panel, the processor 230 performs a transmittance ratio between the first panel and the second panel. and controlling the stacked display 220 to display the first layer image on the first panel while displaying the second layer image whose brightness is adjusted based on the second layer image to be displayed on the second panel on the second panel.
  • the stacked display 220 may be implemented as a first panel that is a color panel and two or more monochrome panels.
  • the processor 230 adjusts the brightness of a layer image to be displayed on each monochrome panel.
  • the stacked display 220 may be controlled to display a layer image whose brightness is adjusted on each monochrome panel.
  • FIG. 6 is a diagram for explaining a process for learning a factorization model according to an embodiment of the present disclosure.
  • the stacked display device 200 may acquire an LF image 600 composed of three channels. That is, as described in FIG. 3 , the LF image 600 is a RED channel image for expressing a RED color, a GREEN channel image for expressing a GREEN color, and a BLUE color. It may be composed of a BLUE channel image for That is, the LF image 600 may include the LF image for the first view to the LF image for the N-th view, and the LF image for each view may consist of images of 3 channels.
  • the stacked display device 200 may obtain a subpixel LF image 630 by converting the LF image 600 composed of three channels into an image of one channel (1 Subpixel image converting).
  • FIG. 7A is a view illustrating that an LF image for an N-th view is converted into one channel among a plurality of LF images 600 to obtain a sub-pixel LF image for the N-th view, according to an embodiment of the present disclosure; is a drawing for
  • the LF image 600-N for the N-th view may consist of three channels, and a RED channel image for expressing a RED color, a GREEN channel image for expressing a GREEN color, and a BLUE color It may be composed of a BLUE channel image for expressing .
  • the stacked display apparatus 200 may obtain the sub-pixel LF image 610 -N by converting the sub-pixel regions corresponding to each other in each channel image to be sequentially arranged.
  • pixels corresponding to the first region are sequentially converted so that the sub-pixel LF image 610-N for the N-th view is obtained.
  • the pixel corresponding to the first region in the RED channel image of the LF image 600-N for the N-th view is the sub-pixel LF image 610-N for the N-th view.
  • the pixel disposed in the 1-1 region and corresponding to the first region in the GREEN channel image is the 1-2-th pixel that is the right region in the 1-1 region of the sub-pixel LF image 610-N for the N-th view. It can be transformed to be placed in an area.
  • the stacked display device 200 determines that the pixel corresponding to the first region in the BLUE channel image of the LF image 600-N for the N-th view is the sub-pixel LF image 610-N for the N-th view. It may be converted to be disposed in the region 1-3 that is the right region in the region 1-2.
  • the stacked display apparatus 200 may obtain the subpixel LF image 610 -N for the Nth view by performing the above-described process for all areas of the pixel.
  • FIG. 7B is a diagram illustrating an image in which a 3-channel LF image is converted into a 1-channel sub-pixel LF image according to an embodiment of the present disclosure.
  • the subpixel LF image 610 -N for the Nth view may be an image as if the LF image 600 -N for the Nth view is vertically stretched three times.
  • the stacked display device 200 may obtain a subpixel LF image 610 by converting a three-channel image into a single channel image as in the above-described process for each of the plurality of LF images 600 .
  • the factorization model 1000 is a model for converting a plurality of subpixel LF images into a plurality of subpixel layer images.
  • the factorization model 1000 may be implemented as one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, and a non-negative matrix factorization (NMF) model, and the stacked display device 200 . ) can improve the performance of the factorization model 1000 by learning the factorization model 1000 through the processes 1 to 6 of FIG. 6 .
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • the plurality of sub-pixel layer images 700 are a plurality of images converted to display a plurality of sub-pixel LF images 610 of different viewpoints on the stacked display 220 . That is, the factorization model 1000 may output a plurality of sub-pixel layer images 700 corresponding to the number of panels of the stacked display 220 .
  • the stacked display apparatus 200 may restore the plurality of subpixel layer images 700 to the subpixel LF image 620 through the subpixel simulation model 2000 (3 Subpixel simulation).
  • the subpixel LF image 620 is an image obtained by reconstructing a plurality of subpixel layer images 700 in a subpixel LF image format in order to train the factorization model 1000 .
  • a method of obtaining the subpixel LF image 620 reconstructed through the subpixel simulation model 2000 will be described later with reference to FIGS. 8A and 8B .
  • the stacked display device 200 may convert the reconstructed subpixel LF image 620 into a 3-channel LF image 630 format (4 RGB mage converting). That is, the stacked display apparatus 200 may convert the reconstructed sub-pixel LF image 620 including one channel into the reconstructed LF image 630 by performing the process described with reference to FIG. 7A in reverse.
  • the stacked display apparatus 200 may obtain a loss function by comparing the restored LF image 630 with the LF image 600 (5Loss omputation).
  • the loss function is an index indicating the current learning state of the factorization model 1000 , and the current learning state of the factorization model 1000 may be displayed based on the loss function. According to an embodiment of the present disclosure, learning of the factorization model may be performed based on the loss function as shown in Equation (3).
  • Equation 3 X i is an i-th image among a plurality of images included in the LF image 600 , and f 1 denotes a first layer image among the plurality of layer images.
  • 'total-view-num' indicates the total number of LF images 600, and 'number-of-layer' indicates the number of multiple layer images.
  • Equation 3 compares each of the plurality of images included in the LF image 600 and the restored LF image 630 to calculate a loss (Loss computation), and a loss function that is a value obtained by adding each of the calculated losses. indicates.
  • the stacked display apparatus 200 may perform learning on the factorization model 1000 in a direction in which the loss function is minimized.
  • the stacked display device 200 may learn the factorization model 1000 based on the loss function (6 Update).
  • the factorization model 1000 is a model that receives a subpixel LF image 610 and outputs a plurality of subpixel layer images 700
  • the present disclosure is not limited thereto. That is, the present disclosure may also be implemented through a factorization model that receives the LF image 600 of 3 channels instead of the subpixel LF image 610 and outputs a plurality of layer images of 3 channels as shown in FIG. 5A .
  • the stacked display device 200 restores the three-channel plurality of layer images output through the factorization model in the three-channel LF image format, and compares the restored LF image with the LF image 600 to obtain a loss function. , and can train a factorization model based on the loss function.
  • 8A is a diagram illustrating an LF image set of 1 channel composed of 5x5.
  • the LF image 620 of FIG. 8A shows 25 1-channel view images corresponding to each viewpoint like the subpixel LF image 610-N of the 1-channel of the Nth viewpoint of FIG. 7A .
  • the LF image 620 according to the present disclosure may include a plurality of 1-channel view images reconstructed as captured at 25 views as shown in FIG. 8A .
  • the LF image 620 may be an image restored by inputting a plurality of sub-pixel layer images 700 to the simulation model 2000 .
  • the simulation model 2000 is a model for reconstructing a plurality of sub-pixel layer images in an LF image format in order to train the factorization model 1000 .
  • the simulation model 2000 shifts at least one subpixel layer image by applying a shifting parameter for each view to the plurality of subpixel layer images 700 , and then the plurality of shifted subpixels
  • the LF image 620 may be reconstructed by cropping the layer image.
  • the LF image 620 may be reconstructed by setting an average value of pixel values of overlapping regions of the plurality of subpixel layer images as pixel values of the corresponding region.
  • the present invention is not limited thereto, and a value obtained by multiplying all pixel values of overlapping regions of a plurality of subpixel layer images is set as a pixel value of the corresponding region, or a value obtained by adding all pixel values of overlapping regions of a plurality of subpixel layer images
  • the LF image 620 may be restored by setting the pixel value of the region.
  • the plurality of subpixel layer images 700 include a first subpixel layer image (eg, an intermediate layer image 710), a second subpixel layer image (eg, a front layer image 720), and a third subpixel layer image. (eg, the back layer image 730).
  • the stacked display device 200 displays the first sub-pixel layer image (eg, the middle layer image 710) and the third sub-pixel layer image (eg, the back layer image 730) at 25 views, as shown in FIG. 8B .
  • a plurality of one-channel LF images 620 restored to those captured at 25 views of FIG. 8A may be acquired.
  • the shifting parameter Sn for each view in the second subpixel layer image (eg, front layer image 720) and the third subpixel layer image (eg, rear layer image 730) among the three subpixel layer images is applied differently, so that the LF image 610 of one channel may be reconstructed.
  • the shifting parameter (Sn) means a representative depth value included in the LF image, and the stacked display device 200 shifts the plurality of subpixel layer images 700 according to the value of the shifting parameter (Sn), A reconstructed LF image 620 may be obtained.
  • the shifting parameter Sn may have the same value as the shifting parameter Snx for the X-axis direction and the shifting parameter Sny for the Y-axis direction, but is not limited thereto.
  • the LF image 620 of FIG. 8A may include a (2,2) view image restored by capturing at least one object included in the layer image from the front view point (2,2). That is, the (2, 2) view image may be an image restored by the user looking at the layer image rendered through the stacked display device from the front. In this case, since there is no depth difference according to the front view between the layer images included in the layer stack, the (2, 2) view image may be reconstructed without shifting the layer images.
  • the LF image 620 is a viewpoint that at least one object included in the layer image is separated from the front (2,2) view by -2 views on the y-axis and -2 views apart on the x-axis. It may include a (0,0) view LF image 620-1 restored to being photographed in .
  • the (0, 0) view LF image 620-1 the user views the layer image rendered through the stacked display device 200 from the front view at -2 view intervals on the y-axis, and -2 on the x-axis.
  • view It may be a view LF image 620-1 restored by looking at it from a viewpoint separated from it.
  • the LF image 620 is illustrated as including 25 images restored by being photographed at 25 views, but is not limited thereto, and the second LF images are 16, 36, and 49 images. , 64, etc. (n*n) images may be included, or (n*m) images may be included.
  • 8B is a diagram illustrating a method of reconstructing an LF image 620 by shifting three layer images according to a view corresponding to each LF image, according to an embodiment of the present disclosure.
  • FIG. 8B shows three layer images 710 , 720 , and 730 , and the layer image includes a back layer image 730 , an intermediate layer image 710 , and a front layer image 720 .
  • the back layer image 730 is a third layer image for displaying an image on the third panel 130
  • the middle layer image 710 is for displaying an image on the first panel 110 .
  • It may be a first layer image for
  • the front layer image 720 may be a second layer image for displaying an image on the second panel 120 .
  • the stacked display apparatus 200 includes a rear layer image 730, an intermediate layer image 710, and a front layer image ( 720) by applying a shifting parameter for each view, the back layer image 730 , the middle layer image 710 , and the front layer image 720 may be reconstructed into the LF image 620 .
  • the stacked display device 200 may learn an artificial intelligence model for performing factorization based on the restored LF image 620 and the LF image 600 .
  • the (2, 2) view LF image representing the front view is a view LF image that is shifted +2 to the y-axis and +2 to the x-axis based on the (0, 0) view, and the reference of the viewpoint is image, and all layer images may not be shifted. That is, the reference point to which the shifting parameter is applied becomes a (2, 2) view LF image that is a front view, and in the (2, 2) LF view image, the layer may not be shifted according to the shifting parameter.
  • the intermediate layer image 710 may not be shifted to a layer that is a reference for shifting. Accordingly, the shifting parameter may not be applied to the intermediate layer image 710 .
  • coefficients of the shifting parameter Sn applied to the back layer image 730 and the front layer image 720 may be different according to a view.
  • the stacked display device 200 uses the third sub-pixel layer image (eg, the back layer image 730) as the back layer image as the first sub-pixel layer image (eg, the middle layer image 710) as the middle layer image as a reference.
  • (-2Sny, -2Snx) shifted by subpixels shifted by -2Sny subpixels on the Y-axis and shifted by -2Snx subpixels on the X-axis
  • the second subpixel layer image that is the front layer image
  • the front layer image 720 may be shifted by (+2Sny, +2Snx) subpixels based on the first subpixel layer image (eg, the middle layer image 710).
  • the stacked display device 200 includes a shifted third sub-pixel layer image (eg, a rear layer image 730), a first sub-pixel layer image (eg, an intermediate layer image 710), and a shifted second sub-pixel layer.
  • An image generated by cropping an image (eg, the front layer image 720 ) may be acquired as a (0,0)-view LF image 620-1 representing a (0,0) view.
  • the stacked display apparatus 200 includes a shifted third sub-pixel layer image (eg, a rear layer image 730), a first sub-pixel layer image (eg, an intermediate layer image 710), and a shifted second sub-pixel image.
  • the cropped image based on the area of the first sub-pixel layer image (eg, the middle layer image 710) is acquired as the (0,0) view LF image (620-1) can do.
  • the stacked display device 200 sets the average value of the pixel values of the overlapping regions of the three sub-pixel layer images as the pixel values of the corresponding region to obtain the (0,0) view LF image 620-1.
  • the present invention is not limited thereto, and a value obtained by multiplying all pixel values of overlapping regions of a plurality of subpixel layer images is set as a pixel value of the corresponding region, or a value obtained by adding all pixel values of overlapping regions of a plurality of subpixel layer images
  • the (0,0) view LF image 620-1 may be obtained by setting the pixel value of the region.
  • Snx may be a shifting parameter in the X-axis direction
  • Sny may be a shifting parameter in the Y-axis direction
  • Snx and Sny may have the same value.
  • the stacked display device 200 uses the third sub-pixel layer image (eg, the back layer image 730) as the rear layer image as the first sub-pixel layer image (eg, the middle layer image 710) as the middle layer image, ( -Sny, -2Snx) is shifted by sub-pixels, and the second sub-pixel layer image (eg, front layer image 720), which is the front layer image, is (+) based on the first sub-pixel layer image (eg, middle layer image 710) Sny, +2Sny) can be shifted by sub-pixels.
  • the third sub-pixel layer image eg, the back layer image 730
  • the first sub-pixel layer image eg, the middle layer image 710
  • ( -Sny, -2Snx) is shifted by sub-pixels
  • the second sub-pixel layer image eg, front layer image 720
  • the stacked display device 200 includes a shifted third sub-pixel layer image (eg, a rear layer image 730), a first sub-pixel layer image (eg, an intermediate layer image 710), and a shifted second sub-pixel layer.
  • An image generated by cropping an image (eg, the front layer image 720) may be acquired as a (1, 0) view LF image 620-2 indicating a (1, 0) view.
  • the stacked display device 200 uses the third sub-pixel layer image (eg, the back layer image 730) as the rear layer image as the first sub-pixel layer image (eg, the middle layer image 710) as the middle layer image, ( 0, -2Snx) is shifted by sub-pixels, and the second sub-pixel layer image (eg, front layer image 720), which is the front layer image, is (0, 2Snx) can be shifted by sub-pixels.
  • the stacked display device 200 includes a shifted third sub-pixel layer image (eg, a rear layer image 730), a first sub-pixel layer image (eg, an intermediate layer image 710), and a shifted second sub-pixel layer.
  • An image generated by cropping an image (eg, the front layer image 720) may be acquired as a (2, 0) view LF image 620-3 representing a (2, 0) view.
  • the third sub that is a rear layer image A pixel layer image (eg, a rear layer image 730) and a second sub-pixel layer image (eg, a front layer image 720) that is a front layer image may be shifted and obtained as shown in FIG. 8B .
  • FIG. 8B a process of restoring a 1-channel LF image through three 1-channel layer images has been described, but the present invention is not limited thereto. It may be changed according to the number of panels.
  • FIG. 9 is a diagram for explaining RGB expression according to a value of a shifting parameter applied when subpixel layer images are reconstructed into an LF image, according to an embodiment of the present disclosure. Specifically, FIG. 9 is a diagram for explaining RGB expression when the value of the shifting parameter is a multiple of 3.
  • the front layer image and the back layer image of the three sub-pixel layer images may be shifted in units of sub-pixels according to the value of the shifting parameter.
  • the stacked display includes three panels, the sub-pixel layer image is a color image, and the front layer image and the rear layer image are shifted in sub-pixel units according to the value of the shifting parameter 3 case is shown.
  • an intermediate layer image for displaying an image on the middle panel (layer 1)
  • an image for displaying an image on the front panel (layer 2)
  • Each of the front layer images may be displayed on each panel and provided to the user.
  • each layer image may be a subpixel color image according to the present disclosure.
  • the RGB pattern is repeated in multiples of 3. Therefore, when the front layer image and the rear layer image are shifted by a multiple of 3, for each view, RED subpixels are combined with RED subpixels, GREEN subpixels are between GREEN subpixels, and BLUE subpixels are combined with BLUE subpixels. You can watch three layer images. Accordingly, when the front layer image and the back layer image are shifted by a multiple of 3, RGB patterns do not mix with each other, so that RBG colors can be expressed in all three layer images.
  • the factorization model 1000 may be set to output all three layer images as color images.
  • FIG. 10 is a diagram for explaining RGB expression according to a value of a shifting parameter applied when subpixel layer images are reconstructed into an LF image, according to an embodiment of the present disclosure. Specifically, FIG. 10 is a diagram for explaining RGB expression when the value of the shifting parameter is not a multiple of 3. Referring to FIG.
  • the three subpixel layer images are color images
  • the shifting parameter value is 2
  • the front layer image and the rear layer image are shifted in units of subpixels according to the shifting parameter value of 2. It shows the case where it is connected.
  • the RED patterns may be mixed with each other for each view.
  • the factorization model 1000 may be set to output only the middle layer image as a color image and output the rear layer image and the front layer image as a black and white image. Accordingly, a color may be expressed in an intermediate layer image that is a reference (Ref) layer image, and the remaining layer images may be set to be responsible for only adjusting the contrast ratio.
  • Ref reference
  • FIG. 11 is a flowchart illustrating a method of controlling a stacked display device according to an embodiment of the present disclosure.
  • the stacked display apparatus 200 may obtain a first layer image for displaying an image on the first panel and a second layer image for displaying an image on the second panel ( S1110).
  • the stacked display apparatus 200 may obtain the first layer image and the second layer image by inputting a plurality of LF images of different viewpoints to a factorization model for converting an LF image into a layer image. .
  • the stacked display apparatus 200 may obtain a reconstructed LF image by inputting the first layer image and the second layer image to the simulation model, and obtain a loss function by comparing the LF image and the reconstructed LF image. .
  • the factorization model can be trained.
  • the first panel may be a color panel including a color filter
  • the second panel may be a monochrome panel without a color filter.
  • the transmittance of the second panel may be different from that of the first panel.
  • the stacked display apparatus 200 may adjust the brightness of the second layer image based on the ratio between the first transmittance of the first panel and the second transmittance of the second panel and the pixel value of the second layer image ( S1120).
  • the pixel value of the second layer image may be an average value of a plurality of pixel values included in the second layer image.
  • the stacked display apparatus 200 may obtain a second layer image in which the brightness of each object of the second layer image is adjusted based on a representative pixel value of each object included in the second layer image.
  • the stacked display apparatus 200 may obtain a representative pixel value for each object included in the layer image, respectively, and obtain index values corresponding to the representative pixel value for each object.
  • the processor 23 may obtain a second layer image whose brightness is adjusted by applying an index value corresponding to each object to each object in the layer image.
  • the stacked display device 200 obtains a second layer image in which the brightness of the second layer image is adjusted based on the average pixel value of the entire moving picture frame.
  • the present invention is not limited thereto, and when the first layer image and the second layer image are moving images, the stacked display device 200 may display the first layer image in which the brightness of each frame of the second layer image is adjusted based on the average pixel value of each frame of the moving image. A two-layer image may be obtained.
  • the stacked display apparatus 200 may display a second layer image whose brightness is adjusted on the second panel while displaying the first layer image on the first panel ( S1130 ).
  • the stacked display apparatus 200 may further include a third panel, and obtain a third layer image for displaying an image on the third panel.
  • the third panel may further include a multi-array lens.
  • the stacked display device 200 obtains the third transmittance of the third panel, and the brightness of the third layer image is increased based on the ratio between the first transmittance and the third transmittance and the pixel value of the third layer image.
  • An adjusted third layer image may be obtained.
  • the stacked display apparatus 200 displays the second layer image with the adjusted brightness on the second panel while displaying the first layer image on the first panel, and displays the third layer image with the adjusted brightness on the third panel. can be displayed on the
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • Expressions such as “first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
  • another component eg, a second component
  • the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
  • a component eg, a first component
  • another component eg, a second component
  • a device configured to may mean that the device is “capable of” with other devices or parts.
  • a coprocessor configured (or configured to perform) A, B, and C may refer to a dedicated processor (eg, an embedded processor), or one or more software programs stored on a memory device, to perform the corresponding operations. By doing so, it may refer to a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • unit or “module” used in the present disclosure includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, part, or circuit.
  • a “unit” or “module” may be an integrally formed component or a minimum unit or a part of performing one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
  • a machine eg, a computer
  • a device that is called and can operate according to the called command it may include the stacked display device according to the disclosed embodiments.
  • the processor directly or other components under the control of the processor
  • a function corresponding to the command may be performed using It may be provided in the form of a medium, where 'non-transitory' means that the storage medium does not include a signal and is tangible, but does not distinguish that data is semi-permanently or temporarily stored in the storage medium .
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • Each of the components may be composed of a singular or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be various. It may be further included in the embodiment.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Abstract

적층형 디스플레이 장치 및 이의 제어 방법이 개시된다. 본 개시에 따른 적층형 디스플레이 장치는 제1 패널 및 제1 패널과 투과율이 상이한 제2 패널을 포함하는 적층형 디스플레이; 및 제1 패널 상에 영상을 표시하기 위한 제1 레이어 영상 및 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득하고, 제1 패널에 대한 제1 투과율과 제2 패널에 대한 제2 투과율 간의 비율, 및 제2 레이어 영상의 픽셀 값을 바탕으로 제2 레이어 영상의 밝기를 조정하며, 제1 레이어 영상을 제1 패널에 표시하면서, 밝기가 조정된 제2 레이어 영상을 제2 패널 상에 표시하도록 적층형 디스플레이를 제어하는 프로세서;를 포함한다.

Description

적층형 디스플레이 장치 및 이의 제어 방법
본 개시는 적층형 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 색 틀어짐 현상을 완화시킬 수 있는 적층형 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
종래에는 영상의 입체감을 표현하기 위해 적층형 디스플레이(Stacked display) 장치를 이용하여 영상을 표시하는 방법이 제안되었다. 적층형 디스플레이 장치는 2개 이상의 디스플레이 패널이 적층되어 구현될 수 있으며, 2개 이상의 디스플레이 패널 각각에 영상이 표시되어 3차원 뎁스가 반영된 영상을 제공할 수 있다.
다만, 종래의 컬러 필터를 포함하는 컬러 패널들을 적층하는 적층형 디스플레이 장치의 경우, 복수의 컬러 필터로 인해 밝기가 저하되는 문제점이 발생될 수 있었다.
상술한 정보는 본 개시 내용의 이해를 돕기 위한 배경 정보로서만 제공된다. 위의 내용 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며 어떠한 주장도 이루어지지 않는다.
본 개시의 양태는 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 이에, 본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 컬러 필터를 포함하는 컬러 패널과 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널을 포함하는 적층형 디스플레이 장치를 제안한다.
추가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백할 것이며, 또는 제시된 실시예의 실행에 의해 학습될 수 있다.
본 개시의 상술한 목적을 달성하기 위한 일 실시 예에 따라 적층형 디스플레이 장치가 개시된다. 상기 적층형 디스플레이 장치는 제1 패널 및 상기 제1 패널과 투과율이 상이한 제2 패널을 포함하는 적층형 디스플레이; 및 상기 제1 패널 상에 영상을 표시하기 위한 제1 레이어 영상 및 상기 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득하고, 상기 제1 패널에 대한 제1 투과율과 상기 제2 패널에 대한 제2 투과율 간의 비율, 및 상기 제2 레이어 영상의 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기를 조정하며, 상기 제1 레이어 영상을 상기 제1 패널에 표시하면서, 상기 밝기가 조정된 제2 레이어 영상을 상기 제2 패널 상에 표시하도록 상기 적층형 디스플레이를 제어하는 프로세서;를 포함한다.
그리고, 상기 제1 패널은 컬러 필터를 포함하는 컬러 패널이고, 상기 제2 패널은 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널인 것을 특징으로 할 수 있다.
그리고, 상기 적층형 디스플레이는 제3 패널을 더 포함하고, 상기 프로세서는, 상기 제3 패널 상에 영상을 표시하기 위한 제3 레이어 영상을 획득하고, 상기 제3 패널에 대한 제3 투과율을 획득하고, 상기 제1 투과율과 상기 제3 투과율 간의 비율 및 상기 제3 레이어 영상의 픽셀 값을 바탕으로 상기 제3 레이어 영상의 밝기가 조정된 제3 레이어 영상을 획득하고, 상기 밝기가 조정된 상기 제3 레이어 영상을 상기 제3 패널 상에 표시하도록 상기 적층형 디스플레이를 제어할 수 있다.
그리고, 상기 제3 패널은 멀티어레이 렌즈를 더 포함하는 것을 특징으로 할 수 있다.
그리고, 상기 제2 레이어 영상의 픽셀 값은 상기 제2 레이어 영상에 포함된 복수의 픽셀 값들의 평균 값인 것을 특징으로 할 수 있다.
그리고, 상기 프로세서는, 상기 제2 레이어 영상 내 포함된 오브젝트 각각의 대표 픽셀 값을 바탕으로 상기 제2 레이어 영상의 오브젝트 별 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 상기 프로세서는, 상기 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 상기 동영상 프레임 전체의 평균 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 상기 프로세서는, 상기 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 상기 동영상 프레임 별 평균 픽셀 값을 바탕으로 상기 제2 레이어 영상의 프레임 별 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 상기 프로세서는, LF 영상을 레이어 영상으로 변환하기 위한 팩토리제이션 모델에 서로 다른 시점의 복수의 LF 영상을 입력하여 상기 제1 레이어 영상 및 상기 제2 레이어 영상을 획득하는 것을 특징으로 할 수 있다.
그리고, 상기 프로세서는, 상기 제1 레이어 영상 및 상기 제2 레이어 영상을 시뮬레이션 모델에 입력하여, 복원된 LF 영상을 획득하고, 상기 LF 영상 및 복원된 LF 영상을 비교하여 손실함수를 획득하고, 상기 손실함수를 바탕으로 상기 팩토리제이션 모델을 학습시킬 수 있다.
본 개시의 상술한 목적을 달성하기 위한 또 다른 실시 예에 따라 적층형 디스플레이 장치의 제어 방법이 개시된다. 상기 제어 방법은 적층형 디스플레이의 제1 패널 상에 영상을 표시하기 위한 제1 레이어 영상 및 상기 적층형 디스플레이의 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득하는 단계; 상기 제1 패널에 대한 제1 투과율과 상기 제2 패널에 대한 제2 투과율 간의 비율, 및 상기 제2 레이어 영상의 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기를 조정하는 단계; 및
상기 제1 레이어 영상을 상기 제1 패널에 표시하면서, 상기 밝기가 조정된 제2 레이어 영상을 상기 제2 패널 상에 표시하는 단계를 포함하며, 상기 제1 패널과 상기 제2 패널의 투과율은 서로 상이한 것을 특징으로 한다.
그리고, 상기 제1 패널은 컬러 필터를 포함하는 컬러 패널이고, 상기 제2 패널은 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널인 것을 특징으로 할 수 있다.
그리고, 상기 적층형 디스플레이는 제3 패널을 더 포함하고, 상기 제어방법은,
상기 제3 패널 상에 영상을 표시하기 위한 제3 레이어 영상을 획득하는 단계; 상기 제3 패널에 대한 제3 투과율을 획득하는 단계; 상기 제1 투과율과 상기 제3 투과율 간의 비율 및 상기 제3 레이어 영상의 픽셀 값을 바탕으로 상기 제3 레이어 영상의 밝기가 조정된 제3 레이어 영상을 획득하는 단계; 및 상기 밝기가 조정된 상기 제3 레이어 영상을 상기 제3 패널 상에 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 제3 패널은 멀티어레이 렌즈를 더 포함하는 것을 특징으로 할 수 있다.
그리고, 상기 제2 레이어 영상의 픽셀 값은 상기 제2 레이어 영상에 포함된 복수의 픽셀 값들의 평균 값인 것을 특징으로 할 수 있다.
그리고, 상기 조정된 제2 레이어 영상을 획득하는 단계는, 상기 제2 레이어 영상 내 포함된 오브젝트 각각의 대표 픽셀 값을 바탕으로 상기 제2 레이어 영상의 오브젝트 별 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 상기 조정된 제2 레이어 영상을 획득하는 단계는, 상기 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 상기 동영상 프레임 전체의 평균 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 상기 조정된 제2 레이어 영상을 획득하는 단계는, 상기 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 상기 동영상 프레임 별 평균 픽셀 값을 바탕으로 상기 제2 레이어 영상의 프레임 별 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, LF 영상을 레이어 영상으로 변환하기 위한 팩토리제이션 모델에 서로 다른 시점의 복수의 LF 영상을 입력하여 상기 제1 레이어 영상 및 상기 제2 레이어 영상을 획득하는 단계를 더 포함할 수 있다.
그리고, 상기 제1 레이어 영상 및 상기 제2 레이어 영상을 시뮬레이션 모델에 입력하여, 복원된 LF 영상을 획득하는 단계; 상기 LF 영상 및 복원된 LF 영상을 비교하여 손실함수를 획득하는 단계; 및 상기 손실함수를 바탕으로 상기 팩토리제이션 모델을 학습시키는 단계;를 더 포함할 수 있다.
상술한 실시 예들을 통해, 적층형 디스플레이 장치는 모노크롬 패널과 컬러 패널 간의 투과율 차이로 인해 발생될 수 있는 색 틀어짐 현상을 완화할 수 있다.
본 개시의 다른 양태, 이점 및 두드러진 특징은 첨부 도면과 함께 취해진 다음의 상세한 설명으로부터 당업자에게 명백할 것이며, 이는 개시의 다양한 실시 양태를 개시한다.
본 개시 내용의 특정 실시 양태의 상술한 측면 및 기타 측면, 특징 및 이점은 첨부 도면과 함께 기술되는 다음의 설명으로부터 더욱 명백할 것이다.
도 1은 본 개시에 따른 적층형 디스플레이 장치 및 적층형 디스플레이 장치의 패널 각각에 표시되는 레이어 영상을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른, 적층형 디스플레이 장치의 구성을 나타내는 블록도 이다.
도 3은 본 개시의 일 실시 예에 따른, 팩토리제이션(factorization) 모델을 학습시키는 과정을 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른, 일반적인 영상의 밝기 정보와 지수값이 적용된 영상의 밝기 정보를 비교하기 위한 그래프이다.
도 5a는 본 개시의 일 실시 예에 따른, 적층형 디스플레이(220)의 패널이 세 개인 경우, 밝기 조정 전의 복수의 레이어 영상을 나타내는 도면이다.
도 5b는 본 개시의 일 실시 예에 따른, 레이어 영상 각각에 대응되는 지수값에 따라 밝기가 조정된 복수의 레이어 영상을 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른, 팩토리제이션 모델을 학습시키기 위한 과정을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시 예에 따른, 복수의 LF 영상 중 제N 시점에 대한 LF 영상이 하나의 채널로 변환되어, 제N 시점에 대한 서브픽셀 LF 영상을 획득하는 것을 설명하기 위한 도면이다.
도 7b은 본 개시의 일 실시 예에 따른, 3 채널인 LF 영상이 1 채널인 서브픽셀 LF 영상으로 변환된 영상을 도시한 도면이다.
도 8a는 본 개시의 일 실시 예에 따른, 5x5로 구성된 1 채널의 LF 영상 세트를 나타내는 도면이다.
도 8b는 본 개시의 일 실시 예에 따른, 세 장의 레이어 영상이 LF 영상 각각에 해당하는 뷰에 따라 시프팅되어 LF 영상이 복원되는 방법에 대한 도면이다.
도 9는 본 개시의 일 실시 예에 따른, 서브픽셀 레이어 영상들을 LF 영상으로 복원할 때 적용되는 시프팅 파라미터의 값에 따른 red, green, blue(RGB) 표현을 설명하기 위한 도면이다.
도 10는 본 개시의 일 실시 예에 따른, 서브픽셀 레이어 영상들을 LF 영상으로 복원할 때 적용되는 시프팅 파라미터의 값에 따른 RGB 표현을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른, 적층형 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도면 전체에 걸쳐, 유사한 참조 번호는 유사한 부품, 구성요소 및 구조를 지칭하는 것으로 이해될 것이다.
첨부된 도면을 참조하여 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시 내용의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
하기의 설명 및 청구범위에서 사용된 용어 및 단어들은 문헌상의 의미에 한정되지 않으며, 본 발명의 명확하고 일관된 이해를 가능하게 하기 위해 발명자가 사용한 것에 불과하다. 따라서, 본 발명의 다양한 실시예에 대한 다음의 설명은 단지 예시의 목적으로 제공되고 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 발명을 제한하기 위한 것이 아님이 당업자에게 명백해야 한다.
단수 형태 예로, "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함한다.도 1은 본 개시에 따른 적층형 디스플레이 장치 및 적층형 디스플레이 장치의 패널 각각에 표시되는 레이어 영상을 설명하기 위한 도면이다.
우선, 도 1을 참조하면, 적층형 디스플레이 장치는 백라이트(140), 제1 패널(110), 제2 패널(120) 및 제3 패널(130)을 포함하는 적층형 디스플레이(100)를 포함할 수 있다.
백라이트(140)는 디스플레이 패널에 빛을 조사하기 위한 구성이다. 즉, 적층형 디스플레이(100)의 백라이트(140) 상에 제1 패널(110), 제2 패널(120) 및 제3 패널(130) 각각이 적층되고, 백라이트(140)은 각각의 패널에 빛을 조사할 수 있다. 도 1과 같이 적층형 디스플레이(100)가 백라이트(140)를 포함하는 경우, 제1 패널(110), 제2 패널(120) 및 제3 패널(130) 각각은 LCD(Liquid Crystal Display) 패널로 구현될 수 있다.
도 1에서는 적층형 디스플레이(100)가 백라이트(140)를 포함하는 것으로 설명하였지만 이에 한정되지 않는다, 일 예로, 적층형 디스플레이(100)가 백라이트 유닛을 포함하지 않고, 적층형 디스플레이(100) 각각의 패널이 OLED(Organic Light Emitting Diodes) 패널로도 구현되어 각각의 OLED(Organic Light Emitting Diodes) 패널 자체에서 빛을 조사할 수 있다.
도 1을 참조하면, 제3 패널(130) 상에 제1 패널(110)이 적층되며, 제1 패널(110) 상에 제2 패널(120)이 적층될 수 있다.
그리고, 본 개시에 따른 적층형 디스플레이 장치는 제1 패널(110) 상에 영상을 표시하기 위한 제1 레이어 영상(10), 제2 패널(120) 상에 영상을 표시하기 위한 제2 레이어 영상(20) 및 제3 패널(130) 상에 영상을 표시하기 위한 제3 레이어 영상(30)을 획득할 수 있다. 일 실시 예로, 서로 다른 시점의 복수의 LF 영상을 팩토리제이션(factorization) 모델에 입력하여, 제1 레이어 영상(10), 제2 레이어 영상(20) 및 제3 레이어 영상(30)을 획득할 수 있다.
팩토리제이션(factorization) 모델은 복수의 LF(Light Field) 영상을 적층형 디스플레이(100)에 표시하기 위한 레이어 영상으로 변환하기 위한 모델이다. LF(Light Field) 영상은 LF 카메라를 통해 적어도 하나의 오브젝트가 서로 다른 시점(view)으로 촬영된 복수의 영상의 집합을 의미한다. 일 실시 예로, 팩토리제이션(factorization) 모델은 DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization)모델 및 NMF(Non-negative Matric factorization) 모델 중 하나로 구현될 수 있다.
구체적으로, 적층형 디스플레이(100)의 패널의 개수가 3개인 경우, 팩토리제이션 모델을 통해 복수의 LF 영상이 3개의 레이어 영상으로 변환될 수 있다. LF 카메라를 통해 적어도 하나의 오브젝트가 서로 다른 시점(view)으로 촬영되어 획득된 복수의 LF 영상이 팩토리제이션 모델을 통해, 적층형 디스플레이(100)의 패널의 개수에 대응되는 복수의 레이어 영상으로 변환될 수 있다. 팩토리제이션(factorization) 모델에 대한 자세한 내용은 이하의 도면을 통해 설명하도록 한다.
적층형 디스플레이 장치는 제1 레이어 영상(10)을 제1 패널(110)에 표시하고, 밝기가 조정된 제2 레이어 영상(20-1)을 제2 패널(120)에 표시하고, 밝기가 조정된 제3 레이어 영상(30-1)을 제3 패널(130)에 표시할 수 있다. 즉, 적층형 디스플레이 장치는 복수의 레이어 영상을 복수의 패널 각각에 동시에 표시하여 3차원 뎁스가 반영된 영상을 제공할 수 있다.
본 개시에 따르면, 제1 패널(110)은 컬러 필터를 포함하는 컬러 패널로 구현될 수 있으며, 제2 패널(120) 및 제3 패널(130)은 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널로 구현될 수 있다. 이 경우, 제1 패널(110)에 표시되는 제1 레이어 영상(10)은 RGB 3색으로 구성된 컬러 레이어 영상일 수 있으며, 제2 패널(120)에 표시되는 제2 레이어 영상(20) 및 제3 패널(130)에 표시되는 및 제3 레이어 영상(30)은 명암 만을 표시할 수 있는 단색의 레이어 영상일 수 있다.
그리고, 컬러 필터를 포함하는 제1 패널(110)의 경우, 컬러 필터의 영향으로 컬러 필터가 없는 모노크롬(Monochrome) 패널에 비해 투과율이 낮을 수 있다. 투과율이란 패널에 입사되는 광량 대비 패널을 통과하는 광량의 비율로 투과율이 높을수록 패널을 통과하는 광량이 상대적으로 높을 수 있다. 따라서, 컬러 필터를 포함하는 제1 패널(110) 및 컬러 필터를 포함하지 않는 제2 패널(120) 및 제3 패널(130)을 이용하여 영상이 표시되는 경우, 패널 간의 투과율 차이로 인해 색 틀어짐 현상이 발생될 수 있다.
색 틀어짐 현상이란, 레이어 영상을 통해 표현하고자 하는 색상과 실재 패널을 통해 보여지는 색상이 서로 달라 발생되는 현상으로, 모노크롬 패널 및 컬러 패널을 포함하는 적층형 디스플레이의 경우 모노크롬 패널의 투과율이 컬러 패널의 투과율보다 상대적으로 높아 색 틀어짐 현상이 발생될 수 있다. 즉, 컬러 패널 및 모노크롬 패널의 밝기를 동일하게 하여 각각의 패널 상에 영상이 표시되는 경우 컬러 패널에서의 광량 감쇄 정도가 상대적으로 크기 때문에, 모노크롬 패널의 영상이 컬러 패널의 영상에 비해 밝게 표현될 수 있다. 이로 인해 실재 표현하고자 하는 색상과 실재 적층형 디스플레이(100)를 통해 표현되는 색상이 달라지게 되는 색 틀어짐 현상이 발생될 수 있다.
색 틀어짐 현상을 해결하기 위해 모노크롬 패널 전체의 밝기를 컬러 패널 전체의 밝기 보다 어둡게 설정할 수 있으나, 이 경우 적층형 디스플레이(100)를 통해 제공되는 최종 영상의 밝기가 감소되는 문제점이 발생될 수 있다. 이에, 본 개시는 적층형 디스플레이(100)를 통해 제공되는 영상의 밝기 감소 정도를 최소화하면서 색 틀어짐 현상을 저감할 수 있는 방법을 제안한다.
우선, 본 개시에 따른 적층형 디스플레이 장치는 복수의 패널(110, 120, 130) 상에 영상을 표시하기 위한 복수의 레이어 영상(10, 20, 30)을 획득할 수 있다. 즉, 적층형 디스플레이 장치는 제1 패널(110) 상에 영상을 표시하기 위한 제1 레이어 영상(10), 제2 패널(120) 상에 영상을 표시하기 위한 제2 레이어 영상(20) 및 제3 패널 (130) 상에 영상을 표시하기 위한 제3 레이어 영상(30)을 획득할 수 있다.
그리고, 적층형 디스플레이 장치는 복수의 패널(110, 120, 130) 각각의 투과율 및 제2 레이어 영상(20) 및 제3 레이어 영상(30) 각각의 픽셀 값을 획득할 수 있다.
일 실시 예로, 복수의 패널(110, 120, 130) 각각의 투과율은 패널 내 편광판 특성, 패널의 종류, 컬러 필터 유무, 렌즈 유무 등에 의해 식별될 수 있다.
예로, 제1 패널(110)의 경우 하부 편광판의 특성에 의한 투과율이 0.8, 패널 특성에 의한 투과율이 0.28, 컬러 필터의 존재로 인한 투과율이 0.3(컬러 필터를 포함하는 경우)이며, 상부 편광판 및 렌즈의 유무에 의한 투과율이 0.8(렌즈 없는 경우)이면, 제1 패널(110)의 투과율은 0.8*0.28*0.3*0.8=0.054일 수 있다. 그리고, 제2 패널(120)의 경우 하부 편광판의 특성에 의한 투과율이 0.8, 패널 특성에 의한 투과율이 0.45, 컬러 필터의 존재로 인한 투과율이 1(컬러 필터 없는 경우)이며, 상부 편광판 및 렌즈의 유무에 의한 투과율이 0.8(렌즈 없는 경우)이면, 제2 패널(120)의 투과율은 0.8*0.45*1*0.8=0.288일 수 있다. 그리고, 제3 패널(130)의 경우 하부 편광판의 특성에 의한 투과율이 0.43, 패널 특성에 의한 투과율이 0.45, 컬러 필터의 존재로 인한 투과율이 1(컬러 필터 없는 경우)이며, 상부 편광판 및 렌즈의 유무에 의한 투과율이 0.4(렌즈를 포함하는 경우)이면, 제3 패널(130)의 투과율은 0.43*0.45*1*0.4=0.077일 수 있다. 즉, 컬러 필터를 포함하는 제1 패널(110)의 제1 투과율(0.054)이 제2 패널(120)의 제2 투과율(0.288) 및 제3 패널(130)의 제3 투과율(0.077)보다 상대적으로 낮을 수 있다.
이러한 복수의 패널 각각의 투과율은 패널 내 편광판 특성, 패널의 종류, 컬러 필터 유무, 렌즈 유무 등에 따라 패널 제조시 기 결정될 수 있으며, 적층형 디스플레이 장치는 복수의 패널 각각의 기 결정된 투과율에 대한 정보를 기 저장하고 있을 수 있다.
그리고, 적층형 디스플레이 장치는 제2 레이어 영상(20) 및 제3 레이어 영상(30) 각각의 픽셀 값을 획득할 수 있다. 픽셀은 이미지를 표시하는 최소단위를 의미하며, 레이어 영상은 복수의 픽셀들로 구성될 수 있다. 그리고, 레이어 영상 내 각각의 픽셀은 픽셀 값을 가질 수 있다.
컬러 패널 상에 제공되는 컬러 레이어 영상은 제1 색을 나타내는 픽셀, 제2 색을 나타내는 픽셀 및 제3 색을 나타내는 픽셀을 포함할 수 있고, 제1 색, 제2 색 및 제3 색이 혼합되어 컬러가 표현될 수 있다. 각각의 색상은 0에서 255 사이의 픽셀 값을 가질 수 있다. 즉, 컬러 레이어 영상 내 하나의 영역에는 (제1 색, 제2색, 제3색) 즉, (0,0,0)에서 (255,255,255) 사이의 픽셀 값을 가질 수 있으며, 컬러 레이어 영상 내 3색의 픽셀 값의 조합에 의해 밝기가 정해질 수 있다.
모노 크롬 패널 상에 제공되는 단색 레이어 영상 내 하나의 영역에는 0에서 255 사이의 명암 표현을 나타내는 픽셀 값만을 가지며, 단색 레이어 영상 내 픽셀 값이 큰 영역이 픽셀 값이 작은 영역에 비해 밝기가 큼을 의미할 수 있다.
일 실시 예로, 적층형 디스플레이 장치는 제2 레이어 영상(20) 및 제3 레이어 영상(30) 각각의 대표 픽셀 값을 획득할 수 있다. 본 개시에 따른 대표 픽셀 값은, 레이어 영상의 모든 픽셀 값들의 평균 값을 의미할 수 있다. 또한 본 개시에 따른 대표 픽셀 값은 0에서 1사이의 값을 가질 수 있다. 즉, 대표 픽셀 값은 0에서 255 사이의 픽셀 값을 가지는 레이어 영상 내 모든 픽셀 값들의 평균 값을 0에서 1사이의 값으로 normalize한 값일 수 있다.
즉, 단색 영상인 제2 레이어 영상(20) 내 각각의 픽셀은 0에서 255의 명암을 나타내는 픽셀 값으로 구성되어 있으며, 적층형 디스플레이 장치는 제2 레이어 영상(20) 내 복수의 픽셀 값들의 평균 값을 계산하고, 계산된 평균 값을 0에서 1사이의 값으로 normalize한 값을 제2 레이어 영상(20)의 대표 픽셀 값으로 식별할 수 있다. 제3 레이어 영상(30)의 대표 픽셀 값 또한 상술한 바와 같이 식별될 수 있다.
복수의 패널(110, 120, 130) 각각의 투과율 및 제2 레이어 영상(20) 및 제3 레이어 영상(30) 각각의 대표 픽셀 값이 획득되면, 적층형 디스플레이 장치는 제1 패널(110)에 대한 제1 투과율과 제2 패널(120)에 대한 제2 투과율 간의 비율, 및 제2 레이어 영상(20)의 픽셀 값을 바탕으로 제2 레이어 영상(20)의 밝기를 조정하여, 밝기가 조정된 제2 레이어 영상(20-1)을 획득할 수 있다. 그리고, 적층형 디스플레이 장치는 제1 패널에 대한 제1 투과율과 제3 패널(130)에 대한 제3 투과율 간의 비율, 및 제3 레이어 영상의 픽셀 값을 바탕으로 제3 레이어 영상(30)의 밝기를 조정하여, 밝기가 조정된 제3 레이어 영상(30-1)을 획득할 수 있다.
구체적으로, 적층형 디스플레이 장치는 수학식 1과 같은 수식을 통해 제2 레이어 영상(20)의 밝기를 조정하기 위한 지수값(g2)을 계산할 수 있다.
[수학식 1]
Figure PCTKR2021013998-appb-img-000001
그리고, 적층형 디스플레이 장치는 수학식 2과 같은 수식을 통해 제3 레이어 영상(130)의 밝기를 조정하기 위한 지수값(g3)을 계산할 수 있다.
[수학식 2]
Figure PCTKR2021013998-appb-img-000002
수학식 1에서 X2는 제2 레이어 영상(20)의 대표 픽셀 값을 의미하며, 수학식 2에서 X3는 제3 레이어 영상(30)의 대표 픽셀 값을 의미할 수 있다. 다만, 이에 한정되지 않으며, 일 예로, X2는 [제2 레이어 영상(20)의 전체 픽셀 수, 1] 크기의 벡터로 선형 방정식을 계산하여 나타내는 값일 수 있다. 또한, X3는 [제3 레이어 영상(30)의 전체 픽셀 수, 1] 크기의 벡터로 선형 방정식을 계산하여 나타내는 값일 수 있다.
그리고, 수학식 1에서 X2 2.2는 제2 레이어 영상(20)을 제2 패널 상에 표시하였을 때의 실질적인 밝기 값을 나타내며, 수학식 2에서 X3 2.2는 제3 레이어 영상(30)을 제3 패널 상에 표시하였을 때의 실질적인 밝기 값을 의미한다. 즉, 패널을 통해 제공되는 영상의 실질적인 밝기 값은 영상의 대표 픽셀 값에 2.2차수의 지수 연산이 적용된 값으로 나타날 수 있다. 그리고, g2는 제2 레이어 영상(20)의 밝기를 조정하기 위한 지수 값이며, g3는 제3 레이어 영상(30)의 밝기를 조정하기 위한 지수 값이다.
예를 들어, 제1 패널의 제1 투과율이 0.054, 제2 패널의 제2 투과율이 0.288이며, 제2 레이어 영상(20)의 대표 픽셀 값(X2 2.2)이 0.275이면, 제2 레이어 영상(20)의 밝기를 조정하기 위한 g2는 1.59로 계산될 수 있다.
또한, 제3 패널의 제3 투과율이 0.077, 제2 패널의 제2 투과율이 0.288이며, 제3 레이어 영상(30)의 대표 픽셀 값(X2)이 0.162이면, 제2 레이어 영상(20)의 밝기를 조정하기 위한 g2는 1.33로 계산될 수 있다.
상술한 수학식들을 통해 지수 값들이 획득되면, 적층형 디스플레이 장치는 제2 레이어 영상(20)의 밝기를 조정하기 위한 지수 값(g2)을 바탕으로 제2 레이어 영상(20)의 밝기를 조정하여, 밝기가 조정된 제2 레이어 영상(20-1)을 획득하고, 제3 레이어 영상(30)의 밝기를 조정하기 위한 지수 값(g3)을 바탕으로 제3 레이어 영상(30)의 밝기를 조정하여, 밝기가 조정된 제3 레이어 영상(30-1)을 획득할 수 있다.
구체적으로, 적층형 디스플레이 장치는 제2 레이어 영상(20) 내 각각의 픽셀 값에 g2 차수의 지수 연산을 적용하여, 밝기가 조정된 제2 레이어 영상(20-1)을 획득할 수 있다. 즉, 적층형 디스플레이 장치는 제2 레이어 영상(20)의 대표 픽셀 값이 X2 g가 되도록 제2 레이어 영상(20) 내 각각의 픽셀 값을 조정하여, 제2 레이어 영상(20)에 비해 밝기가 감소되도록 밝기가 조정된 제2 레이어 영상(20-1)을 획득할 수 있다. 즉, 도 1을 참조하면, 밝기가 조정된 제2 레이어 영상(20-1)이 제2 레이어 영상(20)보다 전체적으로 더 어둡게 표현되며, 이로 인해 밝기가 조정된 제2 레이어 영상(20-1)의 밝기가 제2 레이어 영상(20)의 밝기보다 상대적으로 낮을 수 있다.
즉, 밝기가 조정된 제2 레이어 영상(20-1)을 제2 패널 상에 표시하였을 때의 실질적인 밝기 값은 X2 (g*2.2)으로, 수학식 1을 참조하면, X2 (g*2.2)은 제2 레이어 영상(20)을 제2 패널 상에 표시하였을 때의 실질적인 밝기에서 제1 패널과 제2 패널 간의 투과율 비율만큼 밝기가 감소된 밝기 값과 동일하다.
그리고, 적층형 디스플레이 장치는 제3 레이어 영상(30) 내 각각의 픽셀 값에 g3차수의 지수 연산을 적용하여, 밝기가 조정된 제3 레이어 영상(30-1)을 획득할 수 있다. 즉, 적층형 디스플레이 장치는 제3 레이어 영상(30)의 대표 픽셀 값이 X3 g가 되도록 제3 레이어 영상(30) 내 각각의 픽셀 값을 조정하여, 밝기가 조정된 제3 레이어 영상(30-1)을 획득할 수 있다.
그리고, 적층형 디스플레이 장치는 제1 레이어 영상(10)을 제1 패널(110)에 표시하고, 밝기가 조정된 제2 레이어 영상(20-1)을 제2 패널(120)에 표시하고, 밝기가 조정된 제3 레이어 영상(30-1)을 제3 패널(130)에 표시할 수 있다. 즉, 적층형 디스플레이 장치는 제2 레이어 영상(20) 및 제3 레이어 영상(30)의 밝기를 조정하여 표시함으로, 색 틀어짐 현상을 저감할 수 있다.
상술한 바와 같이, 레이어 영상의 밝기를 조정하기 위한 지수 값들을 통해 레이어 영상의 밝기를 조정하는 경우, 레이어 영상 내 픽셀에 대해 해당 픽셀의 픽셀 값 각각에 대해 지수 연산이 적용되어 밝기가 조정된 레이어 영상이 획득될 수 있다. 이 경우, 레이어 영상 내 각각의 픽셀 별로 밝기 감소 정도가 상이해 지므로, 모노크롬 패널 자체의 밝기를 감소시키는 경우보다, 최종 영상의 밝기 감소 정도가 최소화 되며 레이어 영상을 통해 실재 표현하고자하는 색상이 잘 반영된 최종 영상이 제공될 수 있다. 또한, 레이어 영상의 컨텐츠 별 대표 픽셀 값을 통해 레이어 영상의 밝기를 조정하므로, 복수의 패널들을 통해 제공되는 최종 영상을 통해서도 레이어 영상을 통해 표현하고자하는 색감을 유지할 수 있다.
상술한 설명에서는 컬러 필터의 영향으로 패널의 투과율이 상이한 예시 만 중점적으로 설명하였으나, 본 개시는 이에 한정되지 않고, 패널의 종류, 편광 필름의 종류 렌즈의 부착 여부에 따라 패널의 투과율이 상이해 질 수도 있다. 예로, 패널의 투과율이 각각 상이한 세 개의 컬러 패널을 포함하는 적층형 디스플레이 장치에서도 본 개시에 따른 레이어 영상의 밝기가 조정되어 색 틀어짐 현상이 저감 될 수 있다.
또한, 상술한 설명에서는 적층형 디스플레이(100)가 하나의 컬러 패널 및 두 개의 모노크롬 패널로 구현되는 것으로 설명하였지만, 본 개시는 이에 한정되지 않는다. 즉, 적층형 디스플레이(100)는 하나의 컬러 패널 및 하나의 모노크롬 패널로도 구현될 수 있다. 또한, 적층형 디스플레이(100)는 제1 컬러 패널 및 제1 컬러 패널과 투과율이 상이한 제2 컬러 패널로도 구현될 수 있다.
도 2는 본 개시의 일 실시 예에 따른, 적층형 디스플레이 장치의 구성을 나타내는 블록도 이다.
도 2를 참조하면, 적층형 디스플레이 장치(200)는 메모리(210), 적층형 디스플레이(220) 및 프로세서(230)를 포함할 수 있다. 본 개시에 따른 적층형 디스플레이 장치(200)는 복수의 디스플레이 패널을 포함하여 입체 영상을 제공하는 장치로 구현될 수 있다.
메모리(210)는 적층형 디스플레이 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로, 메모리(210)에는 적어도 하나의 인스트럭션이 저장될 수 있다. 프로세서(230)는 메모리(210)에 저장된 인스트럭션을 실행함으로써 적층형 디스플레이 장치(200)의 동작을 수행할 수 있다.
구체적으로, 메모리(210)는 적층형 디스플레이 장치(200)의 적어도 하나의 다른 구성요소에 관계된 명령(instruction) 또는 데이터를 저장할 수 있다. 특히, 메모리(210)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(210)는 프로세서(230)에 의해 액세스되며, 프로세서(230)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(210), 프로세서(230) 내 롬(미도시), 램(미도시) 또는 적층형 디스플레이 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro secure digital(SD) 카드, 메모리 스틱)를 포함할 수 있다.
본 개시의 일 실시 예로, 적층형 디스플레이(220)는 도 1에 도시된 바와 같이 백라이트(140) 및 백라이트(140) 상에 적층되는 복수의 패널을 포함할 수 있다. 즉, 적층형 디스플레이(100)가 백라이트(140)를 포함하는 경우, 복수의 패널 각각은 LCD(Liquid Crystal Display) 패널로 구현될 수 있다.
본 개시의 일 실시 예로, 적층형 디스플레이(220)의 복수의 패널 각각이 OLED(Organic Light Emitting Diodes) 패널로도 구현되어 각각의 OLED(Organic Light Emitting Diodes) 패널 자체에서 빛을 조사하도록 구현될 수 있다. 이 경우, 적층형 디스플레이(220)는 백라이트를 포함하지 않을 수 있다.
본 개시의 일 실시 예로, 적층형 디스플레이(220)는 도 1과 같이 제1 패널(110), 제2 패널(120), 제3 패널(130) 및 백라이트(140)를 포함할 수 있다. 그리고, 제1 패널(110)은 컬러 필터를 포함하는 컬러 패널로 구현될 수 있으며, 제2 패널(120) 및 제3 패널(130)은 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널로 구현될 수 있다. 이 경우, 제1 패널(110)에 표시되는 제1 레이어 영상(10)은 RGB 3색으로 구성된 컬러 레이어 영상일 수 있으며, 제2 패널(120)에 표시되는 제2 레이어 영상(20) 및 제3 패널(130)에 표시되는 및 제3 레이어 영상(30)은 명암 만을 표시할 수 있는 단색의 레이어 영상일 수 있다.
다만, 이에 한정되지 않고, 본 개시에 따른 적층형 디스플레이(220) 컬러 패널인 제1 패널(110) 및 모노크롬 패널인 제2 패널(120) 두 개의 패널 만을 포함할 수도 있다.
그리고, 모노크롬 패널인 제3 패널(130)은 백라이트(140) 상에 적층될 수 있다. 즉, 백라이트(140)에서 조사된 광은 제3 패널(130)의 하부 영역에 입사될 수 있다.
그리고, 컬러 패널인 제1 패널(110)은 제3 패널(130) 상에 적층될 수 있다. 즉, 백라이트(140)에서 조사된 광이 제3 패널(130)을 통과하고, 제3 패널(130)을 통과한 광이 제1 패널(110)의 하부 영역에 입사될 수 있다.
그리고, 모노크롬 패널인 제2 패널(120)은 제1 패널(110) 상에 적층될 수 있다. 즉, 백라이트(140)에서 조사된 광이, 제3 패널(130) 및 제1 패널(110)을 통과하고, 제1 패널(110)을 통과한 광이 제2 패널(120)의 하부 영역에 입사될 수 있다.
또한, 본 개시의 일 실시 예로, 제3 패널(130)에는 시야각을 향상시키기 위한 렌즈를 포함할 수 있다. 일 예로, 렌즈는 멀티 어레이 렌즈로 구현될 수 있다. 멀티 어레이 렌즈는 하나의 픽셀을 통과하는 광을 멀티 어레이 렌즈의 피치(pitch)만큼 확산시키기 위한 구성이다. 멀티 어레이 렌즈는 예로, Lenticular lens, Lenslet array 등으로 구현될 수 있으며, 이에 한정되지 않고, 광을 확산시키기 위한 다양한 렌즈로 구현될 수 있다.
그리고, 컬러 필터를 포함하는 제1 패널(110)의 경우, 컬러 필터의 영향으로 컬러 필터가 없는 모노크롬(Monochrome) 패널에 비해 투과율이 낮을 수 있다. 투과율이란 패널에 입사되는 광량 대비 패널을 통과하는 광량의 비율로 투과율이 높을수록 패널을 통과하는 광량이 상대적으로 높을 수 있다. 따라서, 컬러 필터를 포함하는 제1 패널(110) 및 컬러 필터를 포함하지 않는 제2 패널(120) 및 제3 패널(130)을 이용하여 영상이 표시되는 경우, 패널 간의 투과율 차이로 인해 색 틀어짐 현상이 발생될 수 있다.
또한, 제3 패널(130)이 멀티 어레이 렌즈를 포함하는 경우, 멀티 어레이 렌즈의 영향으로, 멀티 어레이 렌즈가 없는 모노크롬 패널에 비해 투과율이 낮을 수 있다.
표 1은 제1 패널 내지 제3 패널 각각의 투과율을 설명하기 위한 표이다.
Figure PCTKR2021013998-appb-img-000003
표 1을 참조하면, 컬러필터를 포함하는 제1 패널(110)의 경우 하부 편광판의 특성에 의한 투과율이 0.8, 패널 특성에 의한 투과율이 0.28, 컬러 필터의 존재로 인한 투과율이 0.3이며, 상부 편광판 및 렌즈의 유무에 의한 투과율이 0.8(렌즈 미포함)이면, 제1 패널(110)의 투과율은 0.8*0.28*0.3*0.8=0.054일 수 있다. 그리고, 제2 패널(120)의 경우 하부 편광판의 특성에 의한 투과율이 0.8, 패널 특성에 의한 투과율이 0.45, 컬러 필터의 존재로 인한 투과율이 1(컬러 필터 미포함)이며, 상부 편광판 및 렌즈의 유무에 의한 투과율이 0.8(렌즈 미포함)이면, 제2 패널(120)의 투과율은 0.8*0.45*1*0.8=0.288일 수 있다. 그리고, 멀티 어레이 렌즈를 포함하는 제3 패널(130)의 경우 하부 편광판의 특성에 의한 투과율이 0.43, 패널 특성에 의한 투과율이 0.45, 컬러 필터의 존재로 인한 투과율이 1(컬러 필터 미포함)이며, 상부 편광판 및 렌즈의 유무에 의한 투과율이 0.4(렌즈 포함)이면, 제3 패널(130)의 투과율은 0.43*0.45*1*0.4=0.077일 수 있다. 즉, 컬러 필터를 포함하는 제1 패널(110)의 제1 투과율(0.054)이 제2 패널(120)의 제2 투과율(0.288) 및 제3 패널(130)의 제3 투과율(0.077)보다 상대적으로 낮을 수 있다. 이러한 복수의 패널 각각의 투과율은 패널 내 편광판 특성, 패널의 종류, 컬러 필터 유무, 렌즈 유무 등에 따라 패널 제조시 기 결정될 수 있으며, 적층형 디스플레이 장치(200)의 메모리(210)에는 복수의 패널 각각의 기 결정된 투과율에 대한 정보가 기 저장되어 있을 수 있다.본 개시에 따른 인공지능과 관련된 기능은 프로세서(230)와 메모리(210)를 통해 동작된다.
프로세서(230)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), AP(application processor) 등과 같은 범용 프로세서, GPU(Graphics Processing Unit). VPU(Visual Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit) 와 같은 인공지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
프로세서(230)는 메모리(210)와 전기적으로 연결되어 적층형 디스플레이 장치(200)의 전반적인 동작 및 기능을 제어할 수 있다.
특히, 본 개시에 따른 적층형 디스플레이(220)는 제1 패널 및 제2 패널의 두 개의 패널을 포함하는 디스플레이로 구현될 수 있다. 이 경우, 제1 패널 및 제2 패널은 서로 평행하도록 배치되어, 표면에 수직하는 방향으로 적층되는 구조를 가질 수 있다. 또한, 제2 패널은 제1 패널 상에 적층될 수 있다. 그리고, 제1 패널은 컬러 필터를 포함하는 컬러 패널이며, 제2 패널은 컬러 필터를 포함하지 않는 모노크롬 패널일 수 있다.
다만, 이에 한정되지 않고, 본 개시에 따른 적층형 디스플레이(220)는 제1 패널, 제2 패널 및 제3 패널의 세 개의 패널을 포함하는 디스플레이로 구현될 수 있다. 이 경우, 제1 패널, 제2 패널 및 제3 패널은 서로 평행하도록 배치되어, 표면에 수직하는 방향으로 적층되는 구조를 가질 수 있다. 또한, 제1 패널은 제3 패널 상에 적층되며, 제2 패널은 제1 패널 상에 적층될 수 있다. 즉, 제3 패널이 제1 패널 및 제2 패널보다 하부(또는 후면 방향)에 배치되며, 제2 패널이 제3 패널 및 제1 패널보다 상부(또는 상면 방향)에 배치되어, 제3 패널이 제1 패널 및 제3 패널 사이에 배치될 수 있다. 그리고, 제1 패널은 컬러 필터를 포함하는 컬러 패널이며, 제2 패널 및 제3 패널은 컬러 필터를 포함하지 않는 모노크롬 패널일 수 있다.
모노크롬 패널은 컬러 필터를 포함하지 않으며, 모노크롬 패널 상에 표시되는 레이어 영상은 명암비만을 나타내기 위한 레이어 영상일 수 있다. 일 예로, 모노크롬 패널은 흑백의 단색으로 구성된 레이어 영상을 표시할 수 있으며, 이 경우, 레이어 영상 내 픽셀 값들을 통해 명암비를 나타낼 수 있다.
컬러 패널은 컬러 필터를 포함하며, 컬러 필터에 의해 컬러 패널은 제1 색을 나타내는 픽셀, 제2 색을 나타내는 픽셀 및 제3 색을 나타내는 픽셀을 포함할 수 있다. 그리고, 제1 색, 제2 색 및 제3 색이 혼합되어 컬러가 표현될 수 있다. 일 예로, 컬러 필터에 의해 컬러 패널의 픽셀은 RGB(Red, Green, Blue)의 3색을 가지는 픽셀로 구현될 수 있다.
일 실시 예로, 적층형 디스플레이(220)가 제1 패널 및 제2 패널의 두 개의 패널을 포함하는 디스플레이로 구현되는 경우, 프로세서(230)는 메모리(210)에 저장된 적어도 하나의 명령어를 실행함으로써, 제1 패널(110) 상에 영상을 표시하기 위한 제1 레이어 영상 및 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득할 수 있다. 여기서, 제1 레이어 영상은 RGB(Red, Green, Blue)의 3색이 혼합되어 컬러를 표시할 수 있는 영상일 수 있다. 그리고, 제2 이어 영상은 흑백의 단색으로 구성된 영상일 수 있다. 그리고, 제1 레이어 영상 및 제2 레이어 영상은 후술하듯이, 서로 다른 시점(view)의 LF 영상을 팩토리제이션(factorization)하여 획득될 수 있다.
일 실시 예로, 적층형 디스플레이(220)가 제1 패널, 제2 패널 및 제3 패널의 세 개의 패널을 포함하는 디스플레이로 구현되는 경우, 프로세서(230)는 메모리(210)에 저장된 적어도 하나의 명령어를 실행함으로써, 제1 패널(110) 상에 영상을 표시하기 위한 제1 레이어 영상 및 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상 및 제3 패널 상에 영상을 표시하기 위한 제3 레이어 영상을 획득할 수 있다. 여기서, 제1레이어 영상은 RGB(Red, Green, Blue)의 3색이 혼합되어 컬러를 표시할 수 있는 영상일 수 있다. 그리고, 제2 레이어 영상 및 제3 레이어 영상은 흑백의 단색으로 구성된 영상일 수 있다. 그리고, 제1 레이어 영상 내지 제3 레이어 영상은 후술하듯이, 서로 다른 시점(view)의 LF 영상을 팩토리제이션(factorization)하여 획득될 수 있다.
그리고, 두 개의 패널을 포함하는 적층형 디스플레이(220)에 영상을 제공하기 위해 적층형 디스플레이 장치(200)는 LF 영상을 팩토리제이션 모델에 입력하여, 두 개의 레이어 영상을 획득할 수 있다. 또한, 세 개의 패널을 포함하는 적층형 디스플레이(220)에 영상을 제공하기 위해 적층형 디스플레이 장치(200)는 LF 영상을 팩토리제이션 모델에 입력하여, 세 개의 레이어 영상을 획득할 수 있다.
팩토리제이션(factorization) 모델은 복수의 LF(Light Field) 영상을 적층형 디스플레이(100)에 표시하기 위한 레이어 영상으로 변환하기 위한 모델이다. LF(Light Field) 영상은 LF 카메라를 통해 적어도 하나의 오브젝트가 서로 다른 시점(view)으로 촬영된 복수의 영상의 집합을 의미한다. 일 실시 예로, 팩토리제이션(factorization) 모델은 DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization)모델 및 NMF(Non-negative Matric factorization) 모델 중 하나로 구현될 수 있다.
팩토리제이션(factorization) 모델은 도 3의 과정을 통해 학습이 수행되어, 모델이 업데이트될 수 있다. 도 3은 본 개시의 일 실시 예에 따른, 팩토리제이션(factorization) 모델을 학습시키는 과정을 도시한 도면이다.
도 3을 참조하면, 프로세서(230)는 복수의 시점의 LF 영상(300)을 획득하고, 획득한 LF 영상(300)을 서브픽셀 LF 영상으로 변환할 수 있다(①Subpixel image converting).
일 예로, 프로세서(230)가 획득한 LF 영상(300) 각각은 RGB의 3 채널 영상으로 구성된 LF 영상(300)일 수 있다. 즉, 서로 다른 시점의 복수의 LF 영상(300) 중 하나의 영상은 RED 색상을 표현하기 위한 RED 채널 영상, GREEN 색상을 표현하기 위한 GREEN 채널 영상 및 BLUE 색상을 표현하기 위한 BLUE 채널 영상으로 구성될 수 있다. 이 경우, 프로세서(230)는 서로 다른 시점의 복수의 LF 영상(300) 각각에 포함된 3 채널 영상을 하나의 채널의 영상으로 변환하여, 서브픽셀 LF 영상을 획득할 수 있다. 이에 대한 자세한 내용은 도 6a 를 통해 후술하도록 한다.
그리고, 프로세서(230)는 서브픽셀 LF 영상을 팩토리제이션하여(②Subpixel layer factorization) 적층형 디스플레이(220)의 패널의 개수에 대응되는 개수의 레이어 영상을 획득할 수 있다. 구체적으로, 프로세서(230)는 팩토리제이션을 수행하기 위한 팩토리제이션 모델을 통해 적어도 두 개의 레이어 영상을 획득할 수 있으며, 이에 대한 자세한 내용은 도 6을 통해 후술하도록 한다.
그리고, 프로세서(230)는 팩토리제이션 모델을 통해 획득한 적어도 두 개의 레이어 영상을 시뮬레이션(③Subpixel simulation)하여, 서브픽셀 LF 영상을 복원할 수 있다. 구체적으로, 프로세서(230)는 적어도 두 개의 레이어 영상을 서프 픽셀 시뮬레이션 모델에 입력하여, 서브픽셀 LF 영상을 복원할 수 있으며, 이에 대한 자세한 내용은 도 6을 통해 후술하도록 한다.
그리고, 프로세서(230)는 복원된 서브픽셀 LF 영상을 3 채널의 LF 영상 형식으로 변환할 수 있다(④RGB image converting). 즉, 프로세서(230)는 1 채널의 영상 형식의 집합인 서브픽셀 LF 영상을 다시 3 채널의 영상 형식의 LF 영상 형식으로 복원할 수 있다.
그리고, 프로세서(230)는 LF 영상(300)과 ④RGB image xonverting 과정을 통해 변환된 LF 영상을 비교하여, 손실함수를 획득할 수 있다(⑤Loss Computation). 손실함수(loss fuction)란 팩토리제이션 모델의 현재 학습 상태를 나타내는 지표로, 손실함수를 바탕으로, 팩토리제이션 모델을 학습 시킬 수 있다(⑥Update). 구체적으로, 손실함수는 인공지능 모델에 대한 현재 성능의 나쁨을 나타내는 지표로, 인공지능 모델은 손실함수가 감소하는 방향으로 학습될 수 있다. 이에 대한 자세한 내용은 도 6을 통해 후술하도록 한다.
즉, 프로세서(230)는 상술한 ①내지 ⑥과정을 거쳐 팩토리제이션 모델을 학습시킬 수 있다.
그리고, 프로세서(230)는 제1 패널에 대한 제1 투과율과 제2 패널에 대한 제2 투과율 간의 비율 및 제2 레이어 영상의 픽셀 값을 바탕으로 제2 레이어 영상의 밝기를 조정하여, 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
즉, 표 1을 참조하면, 제1 패널에 대한 제1 투과율(0.054)과 제2 패널에 대한 제2 투과율(0.288) 간의 비율 (
Figure PCTKR2021013998-appb-img-000004
=0.1875)을 획득할 수 있다.
그리고, 프로세서(230)는 제2 레이어 영상의 픽셀 값을 획득할 수 있다. 제2 레이어 영상의 픽셀 값은 일 실시 예로, 제2 레이어 영상의 대표 픽셀 값일 수 있다. 여기서, 대표 픽셀 값은 레이어 영상의 모든 픽셀 값들의 평균 값을 의미할 수 있다. 또한 본 개시에 따른 대표 픽셀 값은 0에서 1사이의 값을 가질 수 있다. 즉, 대표 픽셀 값은 0에서 255 사이의 픽셀 값을 가지는 레이어 영상 내 모든 픽셀 값들의 평균 값을 0에서 1사이의 값으로 normalize한 값일 수 있다. 즉, 단색 영상인 제2 레이어 영상(20) 내 각각의 픽셀은 0에서 255의 명암을 나타내는 픽셀 값으로 구성되어 있으며, 적층형 디스플레이 장치는 제2 레이어 영상(20) 내 복수의 픽셀 값들의 평균 값을 계산하고, 계산된 평균 값을 0에서 1사이의 값으로 normalize한 값을 제2 레이어 영상(20)의 대표 픽셀 값으로 식별할 수 있다.
그리고, 프로세서(230)는 제1 투과율과 제2 패널에 대한 제2 투과율 간의 비율 및 제2 레이어 영상의 픽셀 값(
Figure PCTKR2021013998-appb-img-000005
)을 바탕으로 수학식1을 통해 제2 레이어 영상의 밝기를 조정하기 위한 지수값(g2)을 획득할 수 있다. 일 예로, 제1 투과율과 제2 투과율 간의 비율이 0.1875이며, 제2 레이어 영상의 대표 픽셀 값(
Figure PCTKR2021013998-appb-img-000006
)이 0.275이면, 지수값(g2)은 1.59로 계산될 수 있다.
수학식 1에서 X2 2.2는 제2 레이어 영상을 제2 패널 상에 표시하였을 때의 실질적인 밝기 값을 나타낼 수 있다. 즉, 패널을 통해 제공되는 영상의 실질적인 밝기 값은 영상의 대표 픽셀 값에 2.2차수의 지수 연산이 적용된 값으로 나타날 수 있다. 그리고, g2는 제2 레이어 영상(20)의 밝기를 조정하기 위한 지수 값일 수 있다.
제2 레이어 영상의 밝기를 조정하기 위한 지수값(g2)이 획득되면, 프로세서(230)는 지수값(g2)을 바탕으로, 제2 레이어 영상의 밝기를 조정하여, 밝기가 조정된 제2 레이어 영상을 획득할 수 있다. 즉, 제2 레이어 영상 내 각각의 픽셀 값에 지수값(g2) 차수의 지수 연산이 적용된 픽셀 값들을 통해 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
상술한 실시 예에서는 레이어 영상의 대표 픽셀 값을 바탕으로 획득한 지수값을 통해, 레이어 영상의 밝기를 조정하는 것으로 설명하였으나, 본 개시는 이에 한정되지 않는다. 즉, 프로세서(230)는 레이어 영상 내 포함된 오브젝트 별로 대표 픽셀 값을 각각 획득하고, 오브젝트 별 대표 픽셀 값에 대응되는 지수값 들을 획득할 수 있다. 그리고, 프로세서(23)는 레이어 영상 내 오브젝트 별로 각각의 오브젝트에 대응되는 지수값을 적용하여, 밝기가 조정된 레이어 영상을 획득할 수 있다.
그리고, 일 실시 예로, 제2 레이어 영상이 동영상인 경우, 프로세서(230)는 동영상 프레임 전체의 평균 픽셀 값을 바탕으로, 지수값을 획득할 수 있다. 그리고, 프로세서(230)는 획득된 지수값을 바탕으로 밝기가 조정된 제2 레이어 영상을 획득할 수 있다. 다만, 이에 한정되지 않고, 프로세서(230)는 동영상 프레임 별 또는 일정 프레임 구간 별 평균 픽셀 값을 바탕으로, 지수값들을 각각 획득할 수 있다. 그리고, 프로세서(230)는 획득된 지수값들을 바탕으로, 프레임 별 또는 일정 프레임 구간별로 밝기를 조정하여, 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
도 4는 본 개시의 일 실시 예에 따른, 일반적인 영상의 밝기 정보와 지수값이 적용된 영상의 밝기 정보를 비교하기 위한 그래프이다.
즉, 도 4의 y=X2.2에 대한 그래프는 일반 영상 내 픽셀 값(x)별로 각각의 픽셀 값에 대응되는 밝기 정보(y)를 나타내는 그래프이며, y=X2 3.5에 대한 그래프는 일반 영상에서 1.59의 지수값이 적용되어 밝기가 조정된 영상 내 픽셀 값(x)별로 각각의 픽셀 값에 대응되는 밝기 정보(y)를 나타내는 그래프이다.
구체적으로, 도 4와 같이 영상 내 픽셀 값(x)은 0에서 1사이의 값이며, 일 예로, 0에서 255의 픽셀 값이 0에서 1사이의 값으로 normalize한 값일 수 있다.
그리고, 도 4를 참조하면, 각각의 픽셀 별로, 지수값에 따라 밝기가 조정된 영상의 밝기가 일반 영상의 밝기에 비해 상대적으로 낮음을 알 수 있다. 즉, 지수값이 적용되어 밝기가 조정된 레이어 영상은 밝기 조정 전의 레이어 영상보다 밝기가 상대적으로 어두울 수 있다.
즉, 도 5a는 본 개시의 일 실시 예에 따른, 적층형 디스플레이(220)의 패널이 세 개인 경우, 밝기 조정 전의 복수의 레이어 영상을 나타내며, 도 5b는 본 개시의 일 실시예에 따른,레이어 영상 각각에 대응되는 지수값에 따라 밝기가 조정된 복수의 레이어 영상을 나타낸다.
도 5a를 참조하면, 도 5a의 제1 레이어 영상(10)은 컬러 필터를 포함하는 제1 패널 상에 표시하기 위한 레이어 영상이며, 일 예로, 제1 레이어 영상(10)은 컬러 영상일 수 있다. 그리고, 제2 레이어 영상(20)은 제2 패널 상에 표시하기 위한 밝기가 조정된 제2 레이어 영상(20-1)을 획득하기 위한 레이어 영상이며, 일 예로, 제2 레이어 영상(20) 및 밝기가 조정된 제2 레이어 영상(20-1)은 단색의 흑백 영상일 수 있다. 그리고, 제3 레이어 영상(30)은 제3 패널 상에 표시하기 위한 밝기가 조정된 제3 레이어 영상(30-1)을 획득하기 위한 레이어 영상이며, 일 예로, 제3 레이어 영상(30) 및 밝기가 조정된 제3 레이어 영상(30-1)은 단색의 흑백 영상일 수 있다. 여기서, 제1 레이어 영상(10)을 표시하기 위한 제1 패널은 제2 레이어 영상(20) 및 제3 레이어 영상(30)의 밝기를 조정하기 위한 기준이 되는 패널로, 제1 레이어 영상(10)은 밝기가 조정되지 않을 수 있다.
구체적으로, 도 5b를 참조하면, 프로세서(230)는 제1 패널에 대한 제1 투과율과 제2 패널에 대한 제2 투과율 간의 비율 및 도 5a의 제2 레이어 영상(20)의 픽셀 값을 바탕으로, 도 5b의 밝기가 조정된 제2 레이어 영상(20-1)을 획득할 수 있다.
그리고, 프로세서(230)는 제1 패널에 대한 제1 투과율과 제3 패널에 대한 제3 투과율 간의 비율 및 도 5a의 제3 레이어 영상(30)의 픽셀 값을 바탕으로, 도 5b의 밝기가 조정된 제3 레이어 영상(30-1)을 획득할 수 있다.
그리고, 프로세서(230)는 제1 레이어 영상(10)을 제1 패널에 표시하면서, 밝기가 조정된 제2 레이어 영상(20-1)을 제2 패널에 표시하며, 밝기가 조정된 제3 레이어 영상(30-1)을 제3 패널에 표시하도록 적층형 디스플레이(220)를 제어할 수 있다.
다만, 본 개시는 도 5a 및 도 5b의 개시에 한정되지 않고, 적층형 디스플레이(220)가 제1 패널 및 제2 패널로 구현되는 경우, 프로세서(230)는 제1 패널과 제2 패널간의 투과율 비율 및 제2 패널에 표시하기 위한 제2 레이어 영상을 바탕으로 밝기가 조정된 제2 레이어 영상을 제2 패널에 표시하면서, 제1 레이어 영상을 제1 패널에 표시하도록 적층형 디스플레이(220)를 제어할 수 있다. 또한, 적층형 디스플레이(220)가 컬러 패널인 제1 패널 및 두 개 이상의 모노크롬 패널로 구현될 수 도 있으며, 이 경우, 프로세서(230)는 각각의 모노크롬 패널에 표시하기 위한 레이어 영상의 밝기를 조정하여 각각의 모노크롬 패널 상에 밝기가 조정된 레이어 영상을 표시하도록 적층형 디스플레이(220)를 제어할 수 있다.
도 6은 본 개시의 일 실시 예에 따른, 팩토리제이션 모델을 학습시키기 위한 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 우선, 적층형 디스플레이 장치(200)는 3 채널로 구성된 LF 영상(600)을 획득할 수 있다. 즉, LF 영상(600)은 도 3에서 설명한 바와 같이, LF 영상(600) 내 하나의 영상은 RED 색상을 표현하기 위한 RED 채널 영상, GREEN 색상을 표현하기 위한 GREEN 채널 영상 및 BLUE 색상을 표현하기 위한 BLUE 채널 영상으로 구성될 수 있다. 즉, LF 영상(600)은 제1 시점에 대한 LF 영상 내지 제N 시점에 대한 LF 영상을 포함할 수 있고, 각각의 시점에 대한 LF 영상은 3채널의 영상으로 구성될 수 있다.
그리고, 적층형 디스플레이 장치(200)는 3 채널로 구성된 LF 영상(600) 하나의 채널의 영상으로 변환하여, 서브픽셀 LF 영상(630)을 획득할 수 있다(①Subpixel image converting).
도 7a는 본 개시의 일 실시 예에 따른, 복수의 LF 영상(600) 중 제N 시점에 대한 LF 영상이 하나의 채널로 변환되어, 제N 시점에 대한 서브픽셀 LF 영상을 획득하는 것을 설명하기 위한 도면이다.
도 7a를 참조하면, 제N 시점에 대한 LF 영상(600-N)은 3개의 채널로 구성될 수 있으며, RED 색상을 표현하기 위한 RED 채널 영상, GREEN 색상을 표현하기 위한 GREEN 채널 영상 및 BLUE 색상을 표현하기 위한 BLUE 채널 영상으로 구성될 수 있다. 그리고, 적층형 디스플레이 장치(200)는 각각의 채널 영상에서 서로 대응되는 서브 픽셀 영역들이 순차적으로 배치되도록 변환하여 서브픽셀 LF 영상(610-N)을 획득할 수 있다.
구체적으로, 제N 시점에 대한 LF 영상(600-N)의 3개의 채널 각각에서 제1 영역에 대응되는 픽셀들이 순차적으로 배치되도록 변환되어 제N 시점에 대한 서브픽셀 LF 영상(610-N)이 획득될 수 있다. 즉, 적층형 디스플레이 장치(200)는 제N 시점에 대한 LF 영상(600-N)의 RED 채널 영상에서의 제1 영역에 대응되는 픽셀이 제N 시점에 대한 서브픽셀 LF 영상(610-N)의 제1-1 영역에 배치되고, GREEN 채널 영상에서의 제1 영역에 대응되는 픽셀이 제N 시점에 대한 서브픽셀 LF 영상(610-N)의 제1-1 영역에서 오른쪽 영역인 제1-2 영역에 배치되도록 변환할 수 있다. 그리고, 적층형 디스플레이 장치(200)는 제N 시점에 대한 LF 영상(600-N)의 BLUE 채널 영상에서의 제1 영역에 대응되는 픽셀이 제N 시점에 대한 서브픽셀 LF 영상(610-N)의 제1-2 영역에서 오른쪽 영역인 제1-3 영역에 배치되도록 변환할 수 있다. 적층형 디스플레이 장치(200) 상술한 과정을 픽셀의 모든 영역에 대해 수행하여, 제N 시점에 대한 서브픽셀 LF 영상(610-N)을 획득할 수 있다.
도 7b은 본 개시의 일 실시 예에 따른, 3 채널인 LF 영상이 1 채널인 서브픽셀 LF 영상으로 변환된 영상을 도시한 도면이다.
즉, 도 7b와 같이 제N 시점에 대한 서브픽셀 LF 영상(610-N)은 제N 시점에 대한 LF 영상(600-N)을 세로로 세 배 늘려놓은 듯한 영상일 수 있다.
그리고, 적층형 디스플레이 장치(200)는 복수의 LF 영상(600) 각각에 대해 상술한 과정과 같이 3채널 영상을 하나의 채널 영상으로 변환하여, 서브픽셀 LF 영상(610)을 획득할 수 있다.
서브픽셀 LF 영상(610)이 획득되면, 적층형 디스플레이 장치(200)는 획득된 서브픽셀 LF 영상(610)을 팩토리제이션(factorization) 모델(1000)에 입력하여, 복수의 서브픽셀 레이어 영상(700)을 획득할 수 있다(②Subpixel layer factorization). 본 개시에 따른 팩토리제이션 모델(1000)은 복수의 서브픽셀 LF 영상을 복수의 서브픽셀 레이어 영상으로 변환하기 위한 모델이다.
일 실시 예로, 팩토리제이션 모델(1000)은 DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization)모델 및 NMF(Non-negative Matric factorization) 모델 중 하나로 구현될 수 있으며, 적층형 디스플레이 장치(200)는 도 6의 ①내지 ⑥과정을 통해 팩토리제이션 모델(1000)을 학습 시켜 팩토리제이션 모델(1000)의 성능을 향상 시킬 수 있다.
복수의 서브픽셀 레이어 영상(700)은 서로 다른 시점의 복수의 서브픽셀 LF 영상(610)을 적층형 디스플레이(220)에 표시하기 위해 변환된 복수의 영상이다. 즉, 팩토리제이션 모델(1000)은 적층형 디스플레이(220)의 패널의 개수에 대응되는 복수의 서브픽셀 레이어 영상(700)을 출력할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 서브픽셀 시뮬레이션 모델(2000)을 통해 복수의 서브픽셀 레이어 영상(700)을 서브픽셀 LF 영상(620)으로 복원할 수 있다(③Subpixel simulation). 서브픽셀 LF 영상(620)은 팩토리제이션 모델(1000)을 학습시키기 위해 복수의 서브픽셀 레이어 영상(700)을 서브픽셀 LF 영상 형식으로 복원한 영상이다. 서브픽셀 시뮬레이션 모델(2000)을 통해 복원된 서브픽셀 LF 영상(620)을 획득하는 방법에 대해서는 도 8a 및 도 8b를 통해 후술하도록 한다.
그리고, 적층형 디스플레이 장치(200)는 복원된 서브픽셀 LF 영상(620)을 3채널의 LF 영상(630) 형식으로 변환할 수 있다(④RGB mage converting). 즉, 적층형 디스플레이 장치(200)는 도 7a에서 설명한 과정을 반대로 수행하여, 하나의 채널로 구성된 복원된 서브픽셀 LF 영상(620)을 복원된 LF 영상(630)으로 변환할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 복원된 LF 영상(630)과 LF 영상(600)을 비교하여 손실함수(loss function)를 획득할 수 있다(⑤Loss omputation).
손실함수(Loss Function)란 팩토리제이션 모델(1000)의 현재 학습 상태를 나타내는 지표로, 손실함수를 바탕으로 팩토리제이션 모델(1000)의 현재 학습 상태가 나타날 수 있다. 본 개시의 일 실시 예로, 수학식 3과 같이 손실함수를 바탕으로 팩토리제이션 모델의 학습이 수행될 수 있다.
[수학식 3]
Figure PCTKR2021013998-appb-img-000007
수학식 3에서 Xi는 LF 영상(600)에 포함된 복수의 영상 중 i번째 영상이며, f1는 복수의 레이어 영상 중 제1 레이어 영상을 나타낸다. 그리고, 'total-view-num는 LF 영상(600)의 총 개수를 나타내며, 'number-of-layer'는 복수의 레이어 영상의 개수를 나타낸다.
그리고,
Figure PCTKR2021013998-appb-img-000008
는 복수의 서브픽셀 레이어 영상(700) 모두를 이용하여 복원된 LF 영상(630)을 의미할 수 있다. 즉, 수학식 3은 LF 영상(600)에 포함된 복수의 영상 각각과, 복원된 LF 영상(630)을 비교하여 손실을 계산(Loss computation)하고, 계산된 손실 각각을 모두 더한 값인 손실함수를 나타낸다. 그리고, 적층형 디스플레이 장치(200)는 손실함수가 최소가 되는 방향으로 팩토리제이션 모델(1000)에 대한 학습을 수행할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 손실함수를 바탕으로, 팩토리제이션 모델(1000)을 학습 시킬 수 있다(⑥ Update).
도 6에서는 팩토리제이션 모델(1000)이 서브픽셀 LF 영상(610)을 입력받아 복수의 서브픽셀 레이어 영상(700)을 출력하는 모델인 것으로 설명하였지만, 본 개시는 이에 한정되지 않는다. 즉, 서브픽셀 LF 영상(610) 대신 3 채널의 LF 영상(600)을 입력 받아, 도 5a와 같이 3 채널의 복수의 레이어 영상들을 출력하는 팩토리제이션 모델을 통해서도 본 개시가 구현될 수 있다. 이 경우, 적층형 디스플레이 장치(200)는 팩토리제이션 모델을 통해 출력되는 3채널의 복수의 레이어 영상을 3 채널의 LF 영상 형식으로 복원하고, 복원된 LF 영상과 LF 영상(600)을 비교하여 손실함수를 획득하고, 손실함수를 바탕으로 팩토리제이션 모델을 학습시킬 수 있다.
도 8a는 5x5로 구성된 1 채널의 LF 영상 세트를 나타내는 도면이다.
도 8a를 참조하면, 도 8a의 LF 영상(620)은 도 7a의 제N 시점의 1 채널의 서브픽셀 LF 영상(610-N)과 같이 각각의 시점에 대응되는 25개의 1 채널의 뷰 영상을 포함할 수 있다. 즉, 본 개시에 따른 LF 영상(620)은 도 8a와 같이 25개의 시점(view)에서 촬영된 것으로 복원된 복수의 1 채널 뷰 영상을 포함할 수 있다. 일 예로, LF 영상(620)은 복수의 서브픽셀 레이어 영상(700)을 시뮬레이션 모델(2000)에 입력하여 복원된 영상일 수 있다. 시뮬레이션 모델(2000)은 팩토리제이션 모델(1000)을 학습시키기 위해, 복수의 서브픽셀 레이어 영상을 LF 영상 형식으로 복원하기 위한 모델이다. 구체적으로, 시뮬레이션 모델(2000)은 복수의 서브픽셀 레이어 영상(700)에 시점(view)별로 시프팅 파라미터를 적용하여 적어도 하나의 서브픽셀 레이어 영상을 시프팅 한 후, 시프팅된 복수의 서브픽셀 레이어 영상을 크롭하여 LF 영상(620)을 복원할 수 있다. 일 예로, 복수의 서브픽셀 레이어 영상의 겹치는 영역의 픽셀 값의 평균 값을 해당 영역의 픽셀 값으로 설정하여 LF 영상(620)이 복원될 수 있다. 다만 이에 한정되지 않고, 복수의 서브픽셀 레이어 영상의 겹치는 영역의 픽셀 값을 모두 곱한 값을 해당 영역의 픽셀 값으로 설정하거나, 복수의 서브픽셀 레이어 영상의 겹치는 영역의 픽셀 값을 모두 더한 값을 해당 영역의 픽셀 값으로 설정하여 LF 영상(620)이 복원될 수 있다.
일 실시 예로, 복수의 서브픽셀 레이어 영상(700)은 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710), 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720) 및 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730)을 포함할 수 있다. 그리고, 적층형 디스플레이 장치(200)는 도 8b와 같이 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 및 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730)을 25개의 시점(view)에 따라 상이하게 시프팅하여, 도 8a의 25개의 시점(view)에서 촬영된 것으로 복원된 복수의 1 채널 LF 영상(620)을 획득할 수 있다. 즉, 3개의 서브픽셀 레이어 영상 중 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720) 및 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730)에 시점(view) 별로 시프팅 파라미터(Sn)가 각각 상이하게 적용되어 1 채널의 LF 영상(610)이 복원될 수 있다. 시프팅 파라미터(Sn)란 LF 영상 내 포함된 대표 뎁스 값을 의미하며, 적층형 디스플레이 장치(200)는 시프팅 파라미터(Sn)의 값에 따라 복수의 서브픽셀 레이어 영상(700)을 시프팅하여, 복원된 LF 영상(620)을 획득할 수 있다. 일 예로, 시프팅 파라미터(Sn)가 3인 경우(Snx=3, Sny=3), (3, 2) 뷰 영상(620-6)은 후면 레이어 영상(730)이 중간 레이어 영상(710) 기준 (3, 0) 서브픽셀만큼 시프팅 되고, 전면 레이어 영상(720)이 중간 레이어 영상(710) 기준 (-3, 0) 서브픽셀만큼 시프팅될 수 있다. 시프팅 파라미터(Sn)는 X축 방향에 대한 시프팅 파라미터(Snx)와 Y축 방향에 대한 시프팅 파라미터(Sny)의 값이 같을 수 있으나, 이에 한정되지 않는다.
도 8a의 LF 영상(620)은 레이어 영상에 포함된 적어도 하나의 오브젝트를 정면 시점 (2,2)에서 촬영된 것으로 복원된 (2,2) 뷰 영상을 포함할 수 있다. 즉, (2, 2) 뷰 영상은 사용자가 적층형 디스플레이 장치를 통해 렌더링된 레이어 영상을 정면에서 바라보는 것으로 복원된 영상일 수 있다. 이 경우, 레이어 스택에 포함된 레이어 영상들 간의 정면 시점에 따른 뎁스 차는 없으므로, 레이어 영상들의 시프팅 없이 (2, 2) 뷰 영상이 복원될 수 있다.
그리고, LF 영상(620)은 레이어 영상에 포함된 적어도 하나의 오브젝트를 정면 (2,2) 뷰 기준에서 y 축으로 -2 시점(view) 간격, x축으로 -2 시점(view) 간격 떨어진 시점에서 촬영된 것으로 복원된 (0,0) 뷰 LF 영상(620-1)을 포함할 수 있다. 예로, (0, 0) 뷰 LF 영상(620-1)은 적층형 디스플레이 장치(200)을 통해 렌더링 되는 레이어 영상을 사용자가 정면 시점 기준 y축으로 -2 시점(view) 간격, x축으로 -2(view) 간격 떨어진 시점에서 바라보는 것으로 복원된 뷰 LF 영상(620-1)일 수 있다.
도 8a에서는 LF 영상(620)이 25개의 시점(view)에서 촬영된 것으로 복원된 25개의 영상을 포함하는 것으로 도시되어 있으나, 이에 한정되지 않고, 제2 LF 영상이 16개, 36개, 49개, 64개 등 (n*n)개의 영상을 포함하거나, (n*m)개의 영상을 포함할 수 있다.
도 8b는 본 개시의 일 실시 예에 따른, 세 장의 레이어 영상이 LF 영상 각각에 해당하는 뷰에 따라 시프팅되어 LF 영상(620)이 복원되는 방법에 대한 도면이다.
도 8b를 참조하면, 도 8b는 세개의 레이어 영상(710, 720, 730)을 도시하고 있으며, 레이어 영상은 후면 레이어 영상(730), 중간 레이어 영상(710) 및 전면 레이어 영상(720)을 포함할 수 있다. 그리고, 일 예로, 후면 레이어 영상(730)은 제3 패널(130)상에 영상을 표시하기 위한 제3 레이어 영상이며, 중간 레이어 영상(710)은 제1 패널(110)상에 영상을 표시하기 위한 제1 레이어 영상일 수 있다. 그리고, 전면 레이어 영상(720) 제2 패널(120)상에 영상을 표시하기 위한 제2 레이어 영상일 수 있다.
그리고, 본 개시의 일 실시 예에 따른, 팩토리제이션 모델(1000)에 대한 학습을 수행하기 위해, 적층형 디스플레이 장치(200)는 후면 레이어 영상(730), 중간 레이어 영상(710) 및 전면 레이어 영상(720) 각각에 시점(view) 별로 시프팅 파라미터를 적용하여, 후면 레이어 영상(730), 중간 레이어 영상(710) 및 전면 레이어 영상(720)을 LF 영상(620)으로 복원할 수 있다. 그리고, 적층형 디스플레이 장치(200)는 복원된 LF 영상(620) 및 LF 영상(600)을 바탕으로 팩토리제이션을 수행하기 위한 인공지능 모델을 학습할 수 있다.
일 실시 예로, 정면 시점(view)을 나타내는 (2, 2) 뷰 LF 영상은 (0, 0) 뷰 기준 y축으로 +2, x축으로 +2 뷰 이동된 뷰 LF 영상으로, 시점의 기준이 되는 영상이며, 모든 레이어 영상이 시프팅 되지 않을 수 있다. 즉, 시프팅 파라미터가 적용되는 기준점은 정면 시점(view)인 (2, 2) 뷰 LF 영상이 되며, (2, 2) LF 뷰 영상에서는 시프팅 파라미터에 따라 레이어가 시프팅 되지 않을 수 있다.
그리고, 본 개시에 따르면, 중간 레이어 영상(710)는 시프팅의 기준이 되는 레이어로 시프팅되지 않을 수 있다. 따라서, 중간 레이어 영상(710)에는 시프팅 파라미터가 적용되지 않을 수 있다. 그리고, 시점(view)에 따라 후면 레이어 영상(730) 및 전면 레이어 영상(720)에 적용되는 시프팅 파라미터(Sn)의 계수가 상이할 수 있다.
일 실시 예로, 적층형 디스플레이 장치(200)는 후면 레이어 영상인 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730)을 중간 레이어 영상인 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 기준으로, (-2Sny, -2Snx) 서브픽셀만큼 시프팅(Y축으로 -2Sny 서브픽셀만큼 시프팅하고, X 축으로 -2Snx 서브픽셀만큼 시프팅), 하고, 전면 레이어 영상인 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 기준으로 (+2Sny, +2Snx) 서브픽셀만큼 시프팅할 수 있다. 그리고, 적층형 디스플레이 장치(200)는 시프팅된 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730), 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 및 시프팅된 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 크롭하여 생성된 영상을 (0, 0) 시점(view)을 나타내는 (0,0) 뷰 LF 영상(620-1)으로 획득할 수 있다. 구체적으로, 적층형 디스플레이 장치(200)는 시프팅된 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730), 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 및 시프팅된 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 겹친 후 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710)의 영역 기준으로 크롭한 영상을 (0,0) 뷰 LF 영상(620-1)으로 획득할 수 있다. 일 예로, 적층형 디스플레이 장치(200)는 세 장의 서브픽셀 레이어 영상의 겹치는 영역의 픽셀 값의 평균 값을 해당 영역의 픽셀 값으로 설정하여 (0,0) 뷰 LF 영상(620-1)으로 획득할 수 있다. 다만 이에 한정되지 않고, 복수의 서브픽셀 레이어 영상의 겹치는 영역의 픽셀 값을 모두 곱한 값을 해당 영역의 픽셀 값으로 설정하거나, 복수의 서브픽셀 레이어 영상의 겹치는 영역의 픽셀 값을 모두 더한 값을 해당 영역의 픽셀 값으로 설정하여 (0,0) 뷰 LF 영상(620-1)이 획득될 수 있다.
본 개시에 따른 Snx는 X축 방향에 대한 시프팅 파라미터이며, Sny는 Y축 방향에 대한 시프팅 파라미터일 수 있으며, 일 실시 예로, Snx와 Sny의 값이 동일할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 후면 레이어 영상인 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730)을 중간 레이어 영상인 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 기준으로, (-Sny, -2Snx) 서브픽셀만큼 시프팅하고, 전면 레이어 영상인 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 기준으로 (+Sny, +2Sny) 서브픽셀만큼 시프팅 할 수 있다. 그리고, 적층형 디스플레이 장치(200)는 시프팅된 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730), 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 및 시프팅된 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 크롭하여 생성된 영상을 (1, 0) 시점(view)을 나타내는 (1, 0) 뷰 LF 영상(620-2)으로 획득할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 후면 레이어 영상인 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730)을 중간 레이어 영상인 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 기준으로, (0, -2Snx) 서브픽셀만큼 시프팅하고, 전면 레이어 영상인 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 기준으로 (0, 2Snx) 서브픽셀만큼 시프팅 할 수 있다. 그리고, 적층형 디스플레이 장치(200)는 시프팅된 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730), 제1 서브픽셀 레이어 영상(예로, 중간 레이어 영상 710) 및 시프팅된 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)을 크롭하여 생성된 영상을 (2, 0) 시점(view)을 나타내는 (2, 0) 뷰 LF 영상(620-3)으로 획득할 수 있다.
(0, 4) 뷰 LF 영상(600-5), (0, 3) 뷰 LF 영상(600-4) 및 (3, 2) 뷰 LF 영상(600-6) 또한, 후면 레이어 영상인 제3 서브픽셀 레이어 영상(예로, 후면 레이어 영상 730) 및 전면 레이어 영상인 제2 서브픽셀 레이어 영상(예로, 전면 레이어 영상 720)이 도 8b에 도시된 바와 같이 시프팅되어 획득될 수 있다.
도 8b에서는 3개의 1 채널 레이어 영상을 통해 1 채널 LF 영상이 복원되는 과정을 설명하였으나, 이에 한정되지 않고, 레이어 영상의 개수는 렌더링을 수행하는 적층형 디스플레이 장치(200)의 성능 또는 적층형 디스플레이 장치의 패널의 개수에 따라 변경될 수 있다.
도 9는 본 개시의 일 실시 예에 따른, 서브픽셀 레이어 영상들을 LF 영상으로 복원할 때 적용되는 시프팅 파라미터의 값에 따른 RGB 표현을 설명하기 위한 도면이다. 구체적으로, 도 9는 시프팅 파라미터의 값이 3의 배수인 경우 RGB 표현을 설명하기 위한 도면이다.
도 8b에서 설명한 것과 같이, 세 장의 서브픽셀 레이어 영상의 전면 레이어 영상 및 후면 레이어 영상은 시프팅 파라미터의 값에 따라 서브픽셀 단위로 시프팅될 수 있다.
즉, 도 9를 참조하면, 적층형 디스플레이가 세 장의 패널을 포함하고, 서브픽셀 레이어 영상이 컬러 영상이며, 시프팅 파라미터의 값이 3에 따라 전면 레이어 영상 및 후면 레이어 영상이 서브픽셀 단위로 시프팅된 경우를 도시하고 있다. 도 9를 참조하면, 후면패널(layer 0)에 영상을 표시하기 위한 후면 레이어 영상, 중간 패널(layer 1)에 영상을 표시하기 위한 중간 레이어 영상 및 전면 패널(layer 2)에 영상을 표시하기 위한 전면 레이어 영상 각각이 패널 각각에 표시되어 사용자에게 제공될 수 있다.
그리고, 각각의 레이어 영상은 본 개시에 따른 서브픽셀 컬러 영상일 수 있다. 이 경우, 서브픽셀 컬러 영상은 RGB 패턴이 3의 배수로 반복된다. 따라서, 3의 배수로 전면 레이어 영상 및 후면 레이어 영상이 시프팅되면, 각각의 시점 별로, RED 서브픽셀은 RED 서브픽셀끼리, GREEN 서브픽셀은 GREEN 서브픽셀끼리, BLUE 서브픽셀은 BLUE 서브픽셀 조합되어 사용자가 세 장의 레이어 영상을 시청할 수 있다. 따라서, 3의 배수로 전면 레이어 영상 및 후면 레이어 영상이 시프팅되면, RGB 패턴이 서로 섞이지 않으므로, 세장의 레이어 영상 모두에서 RBG 컬러가 표현될 수 있다.
즉, 도 9를 참조하면, 사용자가
Figure PCTKR2021013998-appb-img-000009
시점,
Figure PCTKR2021013998-appb-img-000010
시점 및
Figure PCTKR2021013998-appb-img-000011
시점 모두 각각에서 세 장의 레이어 영상을 바라보면, 세 시점 모두 세 장의 레이어 영상 각각으로부터 RED 픽셀만이 조합되어 사용자에게 보여지게 되므로, RGB 색상이 섞이지 않을 수 있다.
따라서, 시프팅 파라미터의 값이 3의 배수인 경우, 팩토리제이션 모델(1000)이 세 장의 레이어 영상 모두를 컬러 영상으로 출력하도록 설정될 수 있다.
도 10는 본 개시의 일 실시 예에 따른, 서브픽셀 레이어 영상들을 LF 영상으로 복원할 때 적용되는 시프팅 파라미터의 값에 따른 RGB 표현을 설명하기 위한 도면이다. 구체적으로, 도 10는 시프팅 파라미터의 값이 3의 배수가 아닌 경우 RGB 표현을 설명하기 위한 도면이다.
즉, 도 10를 참조하면, 세 장의 서브픽셀 레이어 영상이 컬러 영상이며, 시프팅 파라미터의 값이 2이며, 2의 시프팅 파라미터의 값에 따라 전면 레이어 영상및 후면 레이어 영상이 서브픽셀 단위로 시프팅된 경우를 도시하고 있다. 이 경우, 3의 배수가 아닌 시프팅 파라미터의 값에 따라 전면 레이어 영상(Layer 2) 및 후면 레이어 영상(Layer 0)이 시프팅되면, 각각의 시점 별로, RED 패턴이 서로 섞일 수 있다.
즉, 도 10을 참조하면, 사용자가 viewi시점에서 세 장의 레이어 영상을 바라보면 세 장의 레이어 영상 각각으로부터 RED 픽셀만이 조합되어 사용자에게 보여지게 되나, viewi-1시점 및 viewi+1 시점 각각에서 세 장의 레이어 영상을 바라보면 RGB 픽셀이 섞여 사용자에게 보여지게 된다.
따라서, 시프팅 파라미터의 값이 3의 배수가 아닌 경우 세 장의 레이어 영상 모두가 컬러 영상인 경우, RED 패턴이 섞이게 될 수 있다. 따라서, 시프팅 파라미터의 값이 3의 배수가 아닌 경우에는 팩토리제이션 모델(1000)이 중간 레이어 영상만 컬러 영상으로 출력하고, 후면 레이어 영상 및 전면 레이어 영상은 흑백 영상으로 출력하도록 설정할 수 있다. 이에 따라, 컬러는 기준(Ref) 레이어 영상인 중간 레이어 영상에 표현되고, 나머지 레이어 영상들은 명암비 조절만 담당하도록 설정될 수 있다.
도 11은 본 개시의 일 실시 예에 따른, 적층형 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 우선, 적층형 디스플레이 장치(200)는 제1 패널 상에 영상을 표시하기 위한 제1 레이어 영상 및 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득할 수 있다(S1110).
일 예로, 적층형 디스플레이 장치(200)는 LF 영상을 레이어 영상으로 변환하기 위한 팩토리제이션 모델에 서로 다른 시점의 복수의 LF 영상을 입력하여 상기 제1 레이어 영상 및 상기 제2 레이어 영상을 획득할 수 있다. 또한, 적층형 디스플레이 장치(200)는 제1 레이어 영상 및 제2 레이어 영상을 시뮬레이션 모델에 입력하여, 복원된 LF 영상을 획득하고, LF 영상 및 복원된 LF 영상을 비교하여 손실함수를 획득할 수 있다. 그리고, 손실함수를 바탕으로 팩토리제이션 모델을 학습시킬 수 있다.
일 예로, 제1 패널은 컬러 필터를 포함하는 컬러 패널이며, 제2 패널은 컬러 필터를 포함하지 않는 모노크롬 패널 일 수 있다. 또한, 제2 패널은 제1 패널과 투과율이 상이할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 제1 패널에 대한 제1 투과율과 제2 패널에 대한 제2 투과율 간의 비율 및 제2 레이어 영상의 픽셀 값을 바탕으로 제2 레이어 영상의 밝기를 조정할 수 있다(S1120).
일 예로, 제2 레이어 영상의 픽셀 값은 상기 제2 레이어 영상에 포함된 복수의 픽셀 값들의 평균 값일 수 있다.
일 예로, 적층형 디스플레이 장치(200)는 제2 레이어 영상 내 포함된 오브젝트 각각의 대표 픽셀 값을 바탕으로 제2 레이어 영상의 오브젝트 별 밝기가 조정된 제2 레이어 영상을 획득할 수 있다. 구체적으로, 즉, 적층형 디스플레이 장치(200)는 레이어 영상 내 포함된 오브젝트 별로 대표 픽셀 값을 각각 획득하고, 오브젝트 별 대표 픽셀 값에 대응되는 지수값 들을 획득할 수 있다. 그리고, 프로세서(23)는 레이어 영상 내 오브젝트 별로 각각의 오브젝트에 대응되는 지수값을 적용하여, 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 적층형 디스플레이 장치(200)는 동영상 프레임 전체의 평균 픽셀 값을 바탕으로 제2 레이어 영상의 밝기가 조정된 제2 레이어 영상을 획득할 수 있다. 다만, 이에 한정되지 않고, 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 적층형 디스플레이 장치(200)는 동영상 프레임 별 평균 픽셀 값을 바탕으로 제2 레이어 영상의 프레임 별 밝기가 조정된 제2 레이어 영상을 획득할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 제1 레이어 영상을 제1 패널에 표시하면서, 밝기가 조정된 제2 레이어 영상을 제2 패널 상에 표시할 수 있다(S1130).
상술한 제어 방법에서는 두 개의 패널을 통해 제1 레이어 영상 및 제2 레이어 영상이 제공되는 것으로 설명하였지만, 본 개시는 이에 한정되지 않는다. 즉, 적층형 디스플레이 장치(200)는 제3 패널을 더 포함하고, 제3 패널 상에 영상을 표시하기 위한 제3 레이어 영상을 획득할 수 있다. 여기서, 제3 패널은 멀티어레이 렌즈를 더 포함할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 제3 패널에 대한 제3 투과율을 획득하고, 제1 투과율과 상기 제3 투과율 간의 비율 및 제3 레이어 영상의 픽셀 값을 바탕으로 상기 제3 레이어 영상의 밝기가 조정된 제3 레이어 영상을 획득할 수 있다.
그리고, 적층형 디스플레이 장치(200)는 제1 레이어 영상을 제1 패널에 표시하면서, 밝기가 조정된 제2 레이어 영상을 제2 패널 상에 표시하고, 밝기가 조정된 제3 레이어 영상을 제3 패널 상에 표시할 수 있다.
본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. 본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 적층형 디스플레이 장치를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
개시 내용이 다양한 실시예들을 참조하여 도시되고 설명되었지만, 형태 및 세부 사항의 다양한 변경이 다음과 같은 개시 내용의 정신 및 범위를 벗어남이 없이 이루어질 수 있음이 당업자에 의해 이해될 것이다.

Claims (15)

  1. 적층형(Stacked) 디스플레이 장치에 있어서,
    제1 패널 및 상기 제1 패널과 투과율이 상이한 제2 패널을 포함하는 적층형 디스플레이; 및
    상기 제1 패널 상에 영상을 표시하기 위한 제1 레이어 영상 및 상기 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득하고,
    상기 제1 패널에 대한 제1 투과율과 상기 제2 패널에 대한 제2 투과율 간의 비율, 및 상기 제2 레이어 영상의 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기를 조정하며,
    상기 제1 레이어 영상을 상기 제1 패널에 표시하면서, 상기 밝기가 조정된 제2 레이어 영상을 상기 제2 패널 상에 표시하도록 상기 적층형 디스플레이를 제어하는 프로세서;를 포함하는 적층형 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제1 패널은 컬러 필터를 포함하는 컬러 패널이고, 상기 제2 패널은 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널인 것을 특징으로 하는 적층형 디스플레이 장치.
  3. 제1항에 있어서,
    상기 적층형 디스플레이는 제3 패널을 더 포함하고,
    상기 프로세서는,
    상기 제3 패널 상에 영상을 표시하기 위한 제3 레이어 영상을 획득하고,
    상기 제3 패널에 대한 제3 투과율을 획득하고,
    상기 제1 투과율과 상기 제3 투과율 간의 비율 및 상기 제3 레이어 영상의 픽셀 값을 바탕으로 상기 제3 레이어 영상의 밝기가 조정된 제3 레이어 영상을 획득하고,
    상기 밝기가 조정된 상기 제3 레이어 영상을 상기 제3 패널 상에 표시하도록 상기 적층형 디스플레이를 제어하는 적층형 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제3 패널은 멀티어레이 렌즈를 더 포함하는 것을 특징으로 하는 적층형 디스플레이 장치.
  5. 제1항에 있어서,
    상기 제2 레이어 영상의 픽셀 값은 상기 제2 레이어 영상에 포함된 복수의 픽셀 값들의 평균 값을 포함하는 것을 특징으로 하는 적층형 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 레이어 영상 내 포함된 오브젝트 각각의 대표 픽셀 값을 바탕으로 상기 제2 레이어 영상의 오브젝트 별 밝기가 조정된 제2 레이어 영상을 획득하는 적층형 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 상기 동영상의 동영상 프레임 전체의 평균 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기가 조정된 제2 레이어 영상을 획득하는 적층형 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 레이어 영상 및 상기 제2 레이어 영상이 동영상인 경우, 상기 동영상의 동영상 프레임 별 평균 픽셀 값을 바탕으로 상기 제2 레이어 영상의 프레임 별 밝기가 조정된 제2 레이어 영상을 획득하는 적층형 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    LF 영상을 레이어 영상으로 변환하기 위한 팩토리제이션 모델에 서로 다른 시점의 복수의 LF 영상을 입력하여 상기 제1 레이어 영상 및 상기 제2 레이어 영상을 획득하는 것을 특징으로 하는 적층형 디스플레이 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 레이어 영상 및 상기 제2 레이어 영상을 시뮬레이션 모델에 입력하여, 복원된 LF 영상을 획득하고,
    상기 LF 영상 및 복원된 LF 영상을 비교하여 손실함수를 획득하고,
    상기 손실함수를 바탕으로 상기 팩토리제이션 모델을 학습시키는 적층형 디스플레이 장치.
  11. 적층형(Stacked) 디스플레이 장치의 제어 방법에 있어서,
    적층형 디스플레이의 제1 패널 상에 영상을 표시하기 위한 제1 레이어 영상 및 상기 적층형 디스플레이의 제2 패널 상에 영상을 표시하기 위한 제2 레이어 영상을 획득하는 단계;
    상기 제1 패널에 대한 제1 투과율과 상기 제2 패널에 대한 제2 투과율 간의 비율, 및 상기 제2 레이어 영상의 픽셀 값을 바탕으로 상기 제2 레이어 영상의 밝기를 조정하는 단계; 및
    상기 제1 레이어 영상을 상기 제1 패널에 표시하면서, 상기 밝기가 조정된 제2 레이어 영상을 상기 제2 패널 상에 표시하는 단계를 포함하며,
    상기 제1 패널과 상기 제2 패널의 투과율은 서로 상이한 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 제1 패널은 컬러 필터를 포함하는 컬러 패널이고, 상기 제2 패널은 컬러 필터를 포함하지 않는 모노크롬(Monochrome) 패널인 것을 특징으로 하는 제어 방법.
  13. 제11항에 있어서,
    상기 적층형 디스플레이 장치는 제3 패널을 더 포함하고,
    상기 제어 방법은,
    상기 제3 패널 상에 영상을 표시하기 위한 제3 레이어 영상을 획득하는 단계;
    상기 제3 패널에 대한 제3 투과율을 획득하는 단계;
    상기 제1 투과율과 상기 제3 투과율 간의 비율 및 상기 제3 레이어 영상의 픽셀 값을 바탕으로 상기 제3 레이어 영상의 밝기가 조정된 제3 레이어 영상을 획득하는 단계; 및
    상기 밝기가 조정된 상기 제3 레이어 영상을 상기 제3 패널 상에 표시하는 단계를 더 포함하는 제어 방법.
  14. 제13항에 있어서,
    상기 제3 패널은 멀티어레이 렌즈를 더 포함하는 것을 특징으로 하는 제어 방법.
  15. 제11항에 있어서,
    상기 제2 레이어 영상의 픽셀 값은 상기 제2 레이어 영상에 포함된 복수의 픽셀 값들의 평균 값을 포함하는 것을 특징으로 하는 제어 방법.
PCT/KR2021/013998 2020-11-18 2021-10-12 적층형 디스플레이 장치 및 이의 제어 방법 WO2022108114A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21894886.7A EP4202910A4 (en) 2020-11-18 2021-10-12 STACKED DISPLAY DEVICE AND ASSOCIATED CONTROL METHOD
US17/583,753 US11756493B2 (en) 2020-11-18 2022-01-25 Stacked display device and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0154798 2020-11-18
KR1020200154798A KR20220067966A (ko) 2020-11-18 2020-11-18 적층형 디스플레이 장치 및 이의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/583,753 Continuation US11756493B2 (en) 2020-11-18 2022-01-25 Stacked display device and control method thereof

Publications (1)

Publication Number Publication Date
WO2022108114A1 true WO2022108114A1 (ko) 2022-05-27

Family

ID=81709169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013998 WO2022108114A1 (ko) 2020-11-18 2021-10-12 적층형 디스플레이 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20220067966A (ko)
WO (1) WO2022108114A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039154A1 (ko) * 2022-08-18 2024-02-22 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903532B1 (ko) * 2006-10-17 2009-06-23 엔이씨 엘씨디 테크놀로지스, 엘티디. 복수의 적층된 디스플레이 디바이스를 포함하는 액정디스플레이 유닛 및 시스템, 및 구동 회로
KR20110097390A (ko) * 2010-02-25 2011-08-31 연세대학교 산학협력단 개선된 콘트라스트비를 갖는 액정 표시 장치
KR20120069432A (ko) * 2010-12-20 2012-06-28 삼성전자주식회사 입체영상표시장치 및 그 구동 방법
JP2013156658A (ja) * 2013-04-24 2013-08-15 Nlt Technologies Ltd 液晶表示装置、液晶表示制御装置、電子機器、および液晶表示装置の駆動方法
KR20200027468A (ko) * 2017-05-19 2020-03-12 더 락커펠러 유니버시티 영상 신호 추출 장치 및 이의 사용 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903532B1 (ko) * 2006-10-17 2009-06-23 엔이씨 엘씨디 테크놀로지스, 엘티디. 복수의 적층된 디스플레이 디바이스를 포함하는 액정디스플레이 유닛 및 시스템, 및 구동 회로
KR20110097390A (ko) * 2010-02-25 2011-08-31 연세대학교 산학협력단 개선된 콘트라스트비를 갖는 액정 표시 장치
KR20120069432A (ko) * 2010-12-20 2012-06-28 삼성전자주식회사 입체영상표시장치 및 그 구동 방법
JP2013156658A (ja) * 2013-04-24 2013-08-15 Nlt Technologies Ltd 液晶表示装置、液晶表示制御装置、電子機器、および液晶表示装置の駆動方法
KR20200027468A (ko) * 2017-05-19 2020-03-12 더 락커펠러 유니버시티 영상 신호 추출 장치 및 이의 사용 방법

Also Published As

Publication number Publication date
KR20220067966A (ko) 2022-05-25

Similar Documents

Publication Publication Date Title
WO2020222382A1 (en) Electronic apparatus and image processing method thereof
WO2022108321A1 (ko) 디스플레이 장치 및 그의 제어 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2013081429A1 (en) Image processing apparatus and method for subpixel rendering
WO2016133293A1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
WO2019172546A1 (en) Electronic apparatus and control method thereof
WO2014104803A1 (en) Image processing method of transparent display apparatus and apparatus thereof
WO2021029505A1 (en) Electronic apparatus and control method thereof
WO2022108114A1 (ko) 적층형 디스플레이 장치 및 이의 제어 방법
WO2018170978A1 (zh) 一种像素渲染方法及像素渲染装置
WO2022025413A1 (ko) 전자 장치 및 전자 장치의 인공 지능 학습 모델의 훈련 데이터 생성 방법
WO2020027519A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020197018A1 (en) Image processing apparatus and image processing method thereof
KR100823789B1 (ko) 표시 장치, 표시 방법 및 표시 장치용 제어 장치
WO2020204277A1 (en) Image processing apparatus and image processing method thereof
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2019088481A1 (ko) 전자 장치 및 그의 영상 보정 방법
WO2017086493A1 (ko) 액정 표시 장치 및 그 구동 방법
WO2019035600A1 (en) SYSTEM AND METHOD FOR REAL OR VIRTUAL SCENE DISPLAY
WO2023153723A1 (ko) 개용 표시 장치 및 이의 구동 방법
EP3615988A1 (en) System and method for displaying real or virtual scene
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2022145755A1 (ko) 적층형 디스플레이 장치 및 이의 제어 방법
WO2022108201A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2022245045A1 (ko) 이미지를 처리하기 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894886

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021894886

Country of ref document: EP

Effective date: 20230324

NENP Non-entry into the national phase

Ref country code: DE