WO2022246791A1 - 多视点图像处理系统及其方法 - Google Patents

多视点图像处理系统及其方法 Download PDF

Info

Publication number
WO2022246791A1
WO2022246791A1 PCT/CN2021/096720 CN2021096720W WO2022246791A1 WO 2022246791 A1 WO2022246791 A1 WO 2022246791A1 CN 2021096720 W CN2021096720 W CN 2021096720W WO 2022246791 A1 WO2022246791 A1 WO 2022246791A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
row
pixels
images
Prior art date
Application number
PCT/CN2021/096720
Other languages
English (en)
French (fr)
Inventor
楚明磊
段欣
张硕
孙炎
史天阔
孙伟
彭宽军
董学
刘建涛
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to PCT/CN2021/096720 priority Critical patent/WO2022246791A1/zh
Priority to US17/765,454 priority patent/US20240114118A1/en
Priority to CN202180001321.1A priority patent/CN115701313A/zh
Publication of WO2022246791A1 publication Critical patent/WO2022246791A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Definitions

  • Embodiments of the present disclosure relate to but are not limited to the technical field of image processing, and specifically relate to a multi-viewpoint image processing system and method thereof.
  • Stereoscopic imaging is one of the hottest technologies in the video industry, driving the technological change from flat display to stereoscopic display.
  • Stereoscopic display technology is a key link in the stereoscopic image industry, and it is mainly divided into two categories, namely, eye-type stereoscopic display technology and naked-eye stereoscopic display technology.
  • the naked-eye stereoscopic display technology is a technology in which a viewer can watch a stereoscopic display picture without wearing glasses. Compared with eye-type stereoscopic display, naked-eye stereoscopic display belongs to autostereoscopic display technology, which reduces constraints on viewers.
  • naked-eye stereoscopic display is based on multi-viewpoints, and a sequence of parallax images (frames) is formed at different positions in space, so that stereoscopic image pairs with parallax relations can enter the left and right eyes of a person respectively, thereby bringing the viewer three-dimensional sense.
  • Stereoscopic display is usually achieved by a multi-view glasses-free stereoscopic display.
  • the present disclosure provides a multi-viewpoint image processing system, including: a processing device and a display device; the processing device includes: an acquisition module and an encoding module;
  • the acquisition module is configured to acquire K viewpoint images, wherein the viewpoint images include: M rows and N columns of pixels, K is a positive integer greater than or equal to 2, and M and N are positive integers greater than or equal to 1;
  • the encoding module is configured to receive K viewpoint images, encode the K viewpoint images, generate a plurality of encoded images, and send the plurality of encoded images to the display device;
  • the processing device is disposed in the display device, or the processing device and the display device are disposed separately.
  • the acquiring module is configured to acquire an image to be displayed, and acquire K viewpoint images according to the image to be displayed.
  • a multi-viewpoint acquisition device the multi-viewpoint acquisition device includes: a plurality of CCD cameras, and each CCD camera in the multi-viewpoint acquisition device performs dynamic scene acquisition to obtain K viewpoint images ;
  • the acquisition module is configured to receive K viewpoint images obtained by the multi-viewpoint acquisition device.
  • the pixel information includes: color component information, and the color component information includes: a first color component value, a second color component value, and a third color component value, the first color, The second color and the third color are respectively one of red, green and blue, and are different colors;
  • the encoding module is also configured to obtain the grayscale value of the pixel in the i-th row, j-column of the first-viewpoint image according to the color component information of the pixel in the i-th row, j-column of the first-viewpoint image;
  • the color component information of the pixel in the i-th row and j-column of the graph is used to obtain the gray value of the k-th second viewpoint image’s i-th row and j-column pixel; when the gray value of the i-th row and j-column pixel in the first viewpoint graph is When the difference between the intensity value and the gray value of the pixel in the i-th row and j-column of the k-th second view image is less than the threshold difference, the k-th first image pixel in the i-th row and j-column is a black pixel, when When the difference between the gray value of the pixel point in row i, column j of
  • the encoding module is also configured to perform a first color component value on the first color component value of the i-th row, j-column pixel in the first viewpoint image and the first color component value of the i-th row, j-column pixel in the k-th second viewpoint image Do the difference to obtain the difference value of the first color component; for the second color component value of the pixel point in the i-th row j column of the first viewpoint image and the second color of the k-th second viewpoint image row i row j column pixel point The difference between the component values is obtained to obtain the difference value of the second color component; for the third color component value of the pixel point in the i-th row j column of the first viewpoint image and the k-th second viewpoint image The i-th row j column pixel point Do the difference between the three color component values to obtain the third color component difference; obtain the grayscale difference according to the first color component difference, the second color component difference and the third color component difference; when the grayscale difference is less than
  • the threshold difference values when the k-th first image is obtained are different.
  • the encoding module is further configured to use the first row of pixels of the first viewpoint map as the first row of pixels of each encoded image; for the first row of the kth first image Pixels are scanned; when there is no white pixel in the first row of pixels of the kth first image, select the next row of pixels of the first viewpoint image as the next row of pixels of the kth coded image;
  • the position information of the white pixels and the information of the pixels corresponding to the white pixels in the k second viewpoint image are obtained, and the white pixels are
  • the position information of and the information of the pixel corresponding to the white pixel in the k-th second view image are stored in the two adjacent pixels of the next row of pixels in the k-th coded image, and the k-th The r-th row of pixels of an image is scanned until the last row of pixels of the k-th first image is scanned, and the k-th coded image is obtained,
  • the display device includes: a decoding module and a display module;
  • the decoding module is configured to receive a plurality of encoded images, and obtain M pieces of display information according to the plurality of encoded images;
  • the display module is configured to receive M pieces of display information, and perform stereoscopic display according to the M pieces of display information.
  • the decoding module is further configured to obtain K-1 second viewpoint images according to K-1 coded images, wherein the kth second viewpoint image is obtained according to the kth coded image; According to the first viewpoint graph and K-1 second viewpoint graphs, M pieces of display information are obtained.
  • the decoding module is further configured to use the first row of pixels of the kth coded image as the first row of pixels of the kth second viewpoint image, and the first row of pixels of the kth coded image
  • the next row of pixels is scanned, and if the next row of pixels includes position information, the information of the pixels stored in the adjacent pixels of the pixel that includes the position information is obtained, and the position information is located in the kth second viewpoint image
  • the pixel information of the pixel is updated, and updated to include the information of the pixel stored in the adjacent pixel of the pixel of the position information; if the next row of pixels does not include the location information, the next row of pixels of the kth encoded image point is used as the next row of pixels of the kth second view image, and the rth row of pixels of the kth coded image is scanned in turn until the last row of pixels of the kth coded image is scanned, and the kth row of pixels is obtained.
  • Two point view diagram Two point view diagram.
  • the display module is configured to display the i-th row of the K viewpoint images according to the i-th display information.
  • the display device is configured to sequentially decode M coded images to obtain M second images, where the i-th second image includes the i-th display information; according to the i-th second The image shows the ith row of K viewpoint images.
  • the present disclosure also provides an image processing method, the method comprising:
  • the viewpoint images include: M rows and N columns of pixels, K is a positive integer greater than or equal to 2, and M and N are positive integers greater than or equal to 1;
  • Stereoscopic display is performed according to the M pieces of display information.
  • the acquiring K viewpoint images includes: acquiring an image to be displayed, and acquiring K viewpoint images according to the image to be displayed, or acquiring K viewpoint images obtained by a multi-viewpoint acquisition device .
  • the information of the pixel point includes: color component information, and the color component information includes: a first color component value, a second color component value and a third color component value, the first color, the second color and the third color are respectively One of red, green and blue, and different colors;
  • Point information includes:
  • the gray value of the pixel in row i, column j of the first viewpoint image is obtained; according to the kth second viewpoint image, row i, column j The color component information of the pixel, to obtain the gray value of the pixel in the i-th row and j-column of the k-th second viewpoint image; when the gray-scale value of the i-th row and j-column pixel in the first viewpoint image
  • the pixel in row i and column j of the k-th first image is a black pixel.
  • the pixel in the i-th row and j-column of the k-th first image Points are white pixels;
  • the threshold difference values when obtaining the k-th first image are different;
  • the obtaining of K-1 coded images according to the first viewpoint image, K-1 second viewpoint images and K-1 first images includes: taking the first row of pixels of the first viewpoint image as each coded image The first row of pixels of the kth first image is scanned; when there is no white pixel in the first row of pixels of the kth first image, the first viewpoint image is selected The next row of pixels is used as the next row of pixels of the k-th coded image; when there is a white pixel in the first row of pixels of the k-th first image, the position information of the white pixel and the k-th second The information of the pixel point corresponding to the white pixel point in the viewpoint map, and store the position information of the white pixel point and the information of the pixel point corresponding to the white pixel point in the second viewpoint map in the pixel point of the next row of the kth coded image Among the adjacent two pixels, the r-th row of pixels of the k-th first image is scanned sequentially until the last row of pixels of the
  • the obtaining M pieces of display information according to multiple coded images includes: obtaining K-1 second viewpoint images according to K-1 coded images, wherein the kth second viewpoint image is obtained according to Obtaining the kth coded image; obtaining M pieces of display information according to the first viewpoint image and K-1 second viewpoint images;
  • the obtaining of K-1 second viewpoint images according to the K-1 coded images includes: taking the first row of pixels of the k-th coded image as the first row of pixels of the k-th second viewpoint image, and for the k-th The next row of pixels of the coded image is scanned, if the next row of pixels includes position information, the information of the pixels stored in the adjacent pixels of the pixel that includes the position information is obtained, and the kth second viewpoint image is located at The information of the pixel at the position information is updated, and is updated to include the information of the pixel stored in the adjacent pixel of the pixel of the position information; if the next row of pixels does not include the position information, the kth encoded image The next row of pixels is used as the next row of pixels of the k-th second view image, and the r-th row of pixels of the k-th coded image is scanned in turn until the last row of pixels of the k-th coded image is scanned to obtain the first k second viewpoint graphs;
  • the obtaining of M pieces of display information of K viewpoint images according to the first viewpoint diagram and K-1 second viewpoint diagrams includes: sequentially obtaining the i-th row of pixels of the K viewpoint images; From the pixel point in the row to the pixel point in the Mth row, M pieces of display information are obtained;
  • the stereoscopic display according to the M pieces of display information includes: displaying the i-th row of the K viewpoint images according to the i-th piece of display information.
  • the obtaining M pieces of display information of K viewpoint images according to multiple coded images includes: sequentially decoding M coded images to obtain M second images, the i-th second image The i-th display information is included; the i-th row of the K viewpoint images is displayed according to the i-th second image.
  • FIG. 1 is a schematic structural diagram of a multi-viewpoint image processing system provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic structural diagram of a processing device provided by an embodiment of the present disclosure
  • Fig. 3 is a schematic diagram of obtaining a first image provided by an exemplary embodiment
  • Fig. 4 is a schematic diagram of obtaining a coded image provided by an exemplary embodiment
  • Fig. 5 is a schematic structural diagram of a display device provided by an exemplary embodiment
  • Fig. 6 is a schematic diagram of decoding a coded image provided by an exemplary embodiment
  • Fig. 7 is a schematic diagram of encoding of a processing device provided by an exemplary embodiment
  • Fig. 8 is a schematic diagram of display device encoding provided by an exemplary embodiment.
  • FIG. 1 is a schematic structural diagram of a multi-viewpoint image processing system provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic structural diagram of a processing device provided by an embodiment of the present disclosure.
  • the multi-viewpoint image processing system provided by the embodiment of the present disclosure includes: a processing device 10 and a display device 20 connected to the processing device 10 .
  • the processing device 10 includes: an acquisition module 11 and an encoding module 12 .
  • the acquiring module 11 is configured to acquire K viewpoint images.
  • the encoding module 12 is configured to receive K viewpoint images, encode the K viewpoint images, generate a plurality of encoded images, and send the plurality of encoded images to the display device 20 .
  • the display device 20 is configured to receive a plurality of coded images, and obtain M pieces of display information according to the multiple coded images, the i-th display information includes: the i-th row of pixels of the K viewpoint images; perform stereoscopic display according to the M pieces of display information.
  • the viewpoint image may include: M rows and N columns of pixels. Both M and N are positive integers greater than 1, and the values of M and N depend on the content of the stereoscopic display, which is not limited in this disclosure.
  • K may be a positive integer greater than or equal to 2, for example, K may be 28 or 45.
  • the value of K can be determined according to the requirement of stereoscopic display, the higher the requirement of stereoscopic display, the larger the value of K.
  • the first display information includes: the first row of pixels of K viewpoint images
  • the second display information includes: the second row of pixels of K viewpoint images
  • the Mth display information includes: K viewpoint images The M row of pixels.
  • the processing device may be a server, a personal computer, or a processor that performs logical operations, such as a central processing unit (CPU), a field programmable logic array (FPGA), a digital signal processor (DSP) , single-chip microcomputer (MCU), application-specific logic circuit (ASIC) and other devices with data processing capabilities and program execution capabilities.
  • CPU central processing unit
  • FPGA field programmable logic array
  • DSP digital signal processor
  • MCU single-chip microcomputer
  • ASIC application-specific logic circuit
  • the display device may consist of a display unit and a grating unit.
  • the display unit may be a liquid crystal display panel, an organic light emitting diode display panel or a plasma display panel.
  • the grating unit may be a slit grating or a lenticular grating, which is not limited in this disclosure.
  • the display device forms stereoscopic display by displaying images from two or more viewpoints. Different display devices have different resolutions, number of viewpoints, and arrangement of viewpoints, so the format of multiple viewpoint images is determined by the display device.
  • the processing device when the processing device is a processor, the processing device may be disposed in a display device.
  • the processing device and the display device may be set separately, as shown in FIG. 1 by taking the separate setting of the processing device and the display device as an example.
  • connecting includes connecting via a wireless network, a wired network, or any combination of a wireless network and a wired network.
  • the network may include a local area network, the Internet, a telecommunication network, the Internet of Things based on the Internet and a telecommunication network, or any combination of the above networks.
  • Wired networks can use wires, twisted pairs, coaxial cables, or optical fiber transmissions for information transmission, and wireless networks can use WWAN mobile communication networks, Bluetooth, Zigbee, or WiFi, for example.
  • the multi-viewpoint image processing system includes: a processing device and a display device; the processing device includes: an acquisition module and an encoding module; the acquisition module is configured to acquire K viewpoint images, wherein the viewpoint images include: M rows N A column of pixels, K is a positive integer greater than or equal to 2, M and N are positive integers greater than or equal to 1; the encoding module is configured to receive K viewpoint images, encode the K viewpoint images, and generate multiple encoded images , and send a plurality of coded images to the display device; the display device is configured to receive a plurality of coded images, and obtain M pieces of display information according to the multiple coded images, and the i-th display information includes: the i-th row of pixels of K viewpoint images point; perform stereoscopic display according to the M pieces of display information.
  • the multi-viewpoint image processing system provided by the embodiment of the present disclosure effectively solves the data transmission and display of the multi-viewpoint naked-eye stereoscopic screen, is simple and easy to implement, and can
  • the processing device may include a first interface
  • the display device may include a second interface
  • the encoded image may be transmitted to the second interface through the first interface
  • the display device may perform image rendering on the image to be displayed to obtain K viewpoint images.
  • the obtaining module may be configured to obtain an image to be displayed, and obtain K viewpoint images according to the image to be displayed.
  • the image to be displayed may be a two-dimensional image.
  • the multi-viewpoint image processing system may also include: a multi-viewpoint acquisition device, the multi-viewpoint acquisition device includes: a plurality of CCD cameras, each CCD camera in the multi-viewpoint acquisition device performs dynamic scene acquisition, and obtains K viewpoint images.
  • the acquisition module is configured to receive K viewpoint images obtained by the multi-viewpoint acquisition device.
  • system calibration is performed on each CCD camera.
  • the multi-view point acquisition device may include: a multi-camera acquisition array and a light field environment.
  • the multi-camera acquisition array adopts a circular arrangement to collect information from different angles as much as possible.
  • the CCD cameras collected are required to be able to achieve 30 frames per second, 10 million pixel acquisition, and an image resolution of more than 1920 ⁇ 1080 to meet high-quality requirements. Requirements for dynamically capturing information.
  • the light field environment is composed of ring-shaped uniformly distributed light-emitting diodes (LEDs), whose main function is to provide light and facilitate the information collection of the CCD camera.
  • the view collection device based on multiple CCD cameras distributed in a circle is more suitable for real-time data collection.
  • the device installs a circle of CCD cameras on the circumference of a certain height, and each CCD camera takes a view in its own viewing direction. Since all CCD cameras collect images at the same time, the shooting time of one-week view is very short, which is conducive to the collection of viewpoint images.
  • the encoding module may be configured to select the m-th viewpoint image from the K viewpoint images as the first viewpoint image, and all viewpoint images except the m-th viewpoint image as the second viewpoint image,
  • n is any value from 1 to K, and m may be 1, or may be other numbers.
  • the first image includes: M rows and N columns of pixel points.
  • the coded image includes: M rows and N columns of pixels.
  • an intermediate viewpoint image is selected as a first viewpoint image, and all viewpoint images except the intermediate viewpoint image are selected as a second viewpoint image. Selecting the middle viewpoint image as the first viewpoint image can reduce the computational complexity of image processing.
  • the bit depth of each pixel may be 24.
  • the encoding module is configured to send K-1 encoded images and the first viewpoint image.
  • FIG. 3 is a schematic diagram of obtaining a first image provided in an exemplary embodiment.
  • the pixel information may include: color component information, or color voltage information, or other possible data information, which is not limited in this disclosure.
  • the color component information may include: a first color component value, a second color component value, and a third color component value.
  • the color voltage information may include: a first color voltage value, a second color voltage value, and a third color voltage value. Wherein, the first color, the second color and the third color are respectively one of red, green and blue, and are different colors.
  • the coding module can also be configured to obtain the first viewpoint image according to the color component information of the pixel point in the i-th row and j-th column of the first viewpoint image
  • the k-th pixel in the i-th row and j-column of the first image is a black pixel.
  • the coding module can also be set to the first color component value and the kth
  • the difference between the first color component value of the i-th row and j-column pixel in the second viewpoint image is made to obtain the first color component difference;
  • the second color component value and the i-th row j-column pixel point of the first viewpoint image Make a difference between the second color component values of the pixel points in the i-th row and j-column of the k second viewpoint image to obtain the second color component difference value;
  • for the third color component value of the i-th row and j-column pixel point in the first viewpoint image Make a difference with the third color component value of the pixel point in the i-th row and j-th column of the k-th second viewpoint image to obtain the third color component difference;
  • the first color component difference, the second color component difference and the third The color component difference obtains the grayscale difference; when the grayscale difference is less than the
  • the coding module stores the corresponding relationship between the pixel color and the color component information of the pixel, and the coding module according to the color and the pixel color and According to the corresponding relationship of the color component information of the pixel, the color component information of the pixel in the i-th row and j-column of the first viewpoint image is obtained, and according to the color of the pixel in the i-th row and j-column of the second viewpoint image and the pixel color and the pixel point The corresponding relationship of the color component information of the second view image is obtained to obtain the color component information of the i-th row i-th column j-th pixel point.
  • the pixel in row i and column j in the first image when the pixel in row i and column j in the first image is a white pixel, it means that the color of the pixel in row i and column j in the first view image is the same as that in row i and column j in the second view image.
  • Column pixel colors vary greatly. If the pixel in row i and column j in the first image is a black pixel, it means that the color of the pixel in row i and column j in the first view image is not much different from the color of the pixel in row i and column j in the second view image.
  • the threshold difference values when obtaining the k-th first image are different, that is, the color The judgment of difference satisfies Weber's law.
  • the threshold difference used is the same as
  • the color of the pixel in the i-th row and j-column of the k-th second view image is the second color
  • the threshold difference used is different , where the first color and the second color are different colors.
  • Figure 3 shows that the color of the pixel point in the first row and fourth column of the first viewpoint map is quite different from the color of the pixel point in the first row and fourth column of the k-th second viewpoint map, and the third row of the first viewpoint map The color of the pixel in the third column is quite different from the color of the pixel in the third row and third column of the k-th second viewpoint image.
  • Four columns and third row and third column pixels are white pixels.
  • the encoding module is configured to use the first row of pixels of the first viewpoint image as the first row of pixels of each encoded image; for the kth first image Scan the first row of pixels; when there is no white pixel in the first row of pixels of the k-th first image, select the next row of pixels of the first viewpoint image as the next row of pixels of the k-th coded image point; when there is a white pixel point in the first row of pixels of the k first image, obtain the position information of the white pixel point and the information of the pixel point corresponding to the white pixel point in the k second viewpoint image, and Store the position information of the white pixel and the information of the pixel corresponding to the white pixel in the kth second view image in two adjacent pixels of the next row of pixels in the kth code
  • the position information of the i-th white pixel and the information of the pixel corresponding to the white pixel in the k-th second viewpoint image are stored in the k-th code Among the 2i-1th and 2ith pixel points in the second row of pixels in the image, that is, the position information of the first white pixel point and the pixel point corresponding to the white pixel point in the kth second viewpoint image
  • the information is stored in the first and second pixels in the second row of pixels in the k-th coded image, the position information of the second white pixel and the position information of the k-th second viewpoint image and the white pixel
  • the information of the pixel corresponding to the point is stored in the third and fourth pixel in the second row of pixels in the k-th coded image, and so on.
  • other pixels in the second row of pixels in the kth coded image may be white pixels.
  • the encoding method provided by the present disclosure can effectively maintain image quality.
  • the location information may include: the number of rows and the number of columns where the white pixel is located in the first image.
  • the pixel corresponding to the white pixel in the second viewpoint image is a pixel located in the row number and the column number where the white pixel point is located in the first image in the second viewpoint image.
  • Fig. 5 is a schematic structural diagram of a display device provided by an exemplary embodiment.
  • the display device 20 may include: the display device includes: a decoding module 21 and a display module 22 .
  • the decoding module 21 is configured to receive a plurality of coded images, and obtain M pieces of display information according to the multiple coded images;
  • the display module 22 is configured to receive M pieces of display information, and perform stereoscopic display according to the M pieces of display information.
  • the decoding module is further configured to obtain K-1 second viewpoint images corresponding to the K-1 encoded images according to the K-1 encoded images, wherein the kth second viewpoint image is based on the kth coded images are obtained; according to the first viewpoint image and K-1 second viewpoint images, M pieces of display information are obtained.
  • Fig. 6 is a schematic diagram of decoding a coded image provided by an exemplary embodiment.
  • the decoding module is configured to use the first row of pixels of the kth coded image as the first row of pixels of the kth second view image, and for the kth The next row of pixels of the coded image is scanned, and if the second row of pixels includes position information, the information stored in the adjacent pixels of the pixel that includes the position information is obtained, and the location information of the kth second viewpoint image is The information of the pixel at the location is updated, updated to the information stored in the adjacent pixel of the pixel that includes the position information; if the next row of pixels does not include the location information, the next row of pixels of the kth coded image is used as The pixels in the next row of the k-th second viewpoint map are scanned in turn for the r-th row of pixels in the k-th coded image until the last row of pixels in the k-th coded image is scanned to obtain
  • the decoding module is configured to obtain the i-th row of pixels of K viewpoint images according to the first viewpoint image and K-1 second viewpoint images; according to the first row of pixels of the K viewpoint images Point to the M-th row of pixels to obtain M pieces of display information.
  • the display module is configured to display the i-th row of the K viewpoint images according to the i-th display information.
  • displaying the i-th row of K viewpoint images line by line by the display module can reduce the storage space occupied during decoding, which is conducive to fast display.
  • the encoding and decoding method provided by the present disclosure can not only realize lossless viewpoint images, but also be simple and easy to implement and intelligent.
  • Fig. 7 is a schematic diagram of encoding of a processing device provided by an exemplary embodiment.
  • the encoding module is configured to sequentially extract the i-th row of pixels of each viewpoint image to form M second images; perform encoding processing on the M second images, Generate M encoded images.
  • Viewi in FIG. 7 is the ith viewpoint image.
  • Huffman coding, run-length coding, or orthogonal transform coding may be used to code the M second images.
  • the disclosure adopts Huffman coding, run-length coding or orthogonal transformation coding for coding, so that the compression ratio between the coded image and the second image is large, and the technology is relatively mature.
  • Fig. 8 is a schematic diagram of display device encoding provided by an exemplary embodiment.
  • the display device is configured to sequentially decode M coded images to obtain M second images, where the i-th second image includes the i-th display information; according to the i-th The second image shows the i-th row of the K viewpoint images.
  • the present disclosure displays the i-th row of K viewpoint images row by row, and processes one row of the viewpoint images, which can save storage space.
  • the embodiment of the present disclosure also provides an image processing method, which is applied in a multi-viewpoint image processing system.
  • the image processing method provided in the embodiment of the present disclosure may include the following steps:
  • Step S1 acquiring K viewpoint images.
  • the viewpoint image includes: M rows and N columns of pixel points; K is a positive integer greater than or equal to 2, and M and N are positive integers greater than or equal to 1.
  • Step S2 receiving K viewpoint images, encoding the K viewpoint images, generating a plurality of encoded images, and sending the plurality of encoded images to the display device.
  • Step S3 receiving a plurality of encoded images, and obtaining M pieces of display information according to the plurality of encoded images.
  • Step S4 performing stereoscopic display according to the M pieces of display information.
  • the multi-viewpoint image processing system is the multi-viewpoint image processing system provided by any one of the above-mentioned embodiments, and its implementation principle and implementation effect are similar, and will not be repeated here.
  • acquiring K viewpoint images includes: acquiring an image to be displayed, acquiring K viewpoint images according to the image to be displayed, or acquiring K viewpoint images obtained by a multi-view acquisition device.
  • the pixel information may include: color component information, or color voltage information, or other possible data information, which is not limited in this disclosure.
  • the color component information may include: a first color component value, a second color component value, and a third color component value.
  • the color voltage information may include: a first color voltage value, a second color voltage value, and a third color voltage value. Wherein, the first color, the second color and the third color are respectively one of red, green and blue, and are different colors.
  • the pixel information includes: color component information, according to the information of the pixel point in the i-th row, j-column of the first viewpoint image and the k-th second viewpoint image, the i-th row, j-column
  • the pixel information, obtaining the pixel information of the k-th first image, the i-th row, the j-column pixel information includes: according to the color component information of the pixel point in the i-th row, j-column of the first viewpoint image, obtaining the i-th row of the first viewpoint image
  • the pixel information includes: color component information, according to the information of the pixel point in the i-th row, j-column of the first viewpoint image and the k-th second viewpoint image, the i-th row, j-column
  • the pixel information, obtaining the pixel information of the k-th first image, the i-th row, the j-column pixel includes: the first color component value of the i-th row, j-column pixel in the first view image and the k-th second viewpoint
  • the first color component value of the i-th row and j-column pixel in the figure is differenced to obtain the first color component difference; the second color component value and the k-th
  • the difference between the second color component value of the i-th row and j-column pixel in the two-viewpoint image is made to obtain the second color component difference; for the first-viewpoint image, the third color component value and the k-th row i-th column j-
  • the threshold difference values when the k-th first image is obtained are different.
  • obtaining K-1 coded images includes: converting the first row of the first viewpoint image The pixels are used as the first row of pixels of each encoded image; the first row of pixels of the kth first image is scanned; when there is no white pixel in the first row of pixels of the kth first image , select the next row of pixels of the first viewpoint map as the next row of pixels of the k-th coded image; when there are white pixels in the first row of pixels of the k-th first image, the position of the white pixel is obtained Information and the information of the pixel corresponding to the white pixel in the kth second viewpoint image, and store the position information of the white pixel and the information of the pixel corresponding to the white pixel in the second viewpoint image in the kth Among the two adjacent pixels of the next row of pixels of the coded image, the r-th row of pixels of the k-th first image is scanned in sequence until the scanning of
  • the location information may include: the number of rows and the number of columns where the white pixel is located in the first image.
  • the pixel corresponding to the white pixel in the second viewpoint image is a pixel located in the row number and the column number where the white pixel point is located in the first image in the second viewpoint image.
  • obtaining M pieces of display information according to multiple coded images includes: obtaining K-1 second viewpoint images according to K-1 coded images; Viewpoint map, obtain M pieces of display information;
  • the kth second viewpoint image is obtained according to the kth coded image.
  • obtaining K-1 second viewpoint images according to the K-1 coded images includes: taking the first row of pixels of the k-th coded image as the first row of the k-th second viewpoint image Pixels, scan the next row of pixels of the kth coded image, if the next row of pixels includes position information, then obtain the information stored in the adjacent pixels of the pixel that includes the position information, for the kth second
  • the information of the pixel located at the position information in the viewpoint map is updated to the information stored in the adjacent pixel of the pixel that includes the position information; if the next row of pixels does not include the position information, the kth encoded image
  • the next row of pixels of the k-th second viewpoint image is used as the next row of pixels of the k-th second view image, and the r-th row of pixels of the k-th coded image is scanned in turn until the last row of pixels of the k-th coded image is scanned to obtain The kth second viewpoint graph.
  • obtaining M pieces of display information of K viewpoint images includes: sequentially obtaining the i-th row of pixels of the K viewpoint images; From the first row of pixels to the Mth row of pixels of the K viewpoint images, M pieces of display information are obtained.
  • performing the stereoscopic display according to the M pieces of display information includes: displaying the i-th row of the K viewpoint images according to the i-th piece of display information.
  • encoding the K viewpoint images and generating a plurality of encoded images includes: sequentially extracting the i-th row of pixels of each viewpoint image to form M second images, and the M second images The two images are encoded to generate M encoded images.
  • obtaining M pieces of display information of K viewpoint images according to multiple coded images includes: sequentially decoding the M coded images to obtain M second images, where the i-th second image includes the i display information; display the i-th row of the K viewpoint images according to the i-th second image.
  • the functional modules/units in the system, and the device can be implemented as software, firmware, hardware, and an appropriate combination thereof.
  • the division between functional modules/units mentioned in the above description does not necessarily correspond to the division of physical components; for example, one physical component may have multiple functions, or one function or step may be composed of several physical components. Components cooperate to execute.
  • Some or all of the components may be implemented as software executed by a processor, such as a digital signal processor or microprocessor, or as hardware, or as an integrated circuit, such as an application specific integrated circuit.
  • Such software may be distributed on computer readable media, which may include computer storage media (or non-transitory media) and communication media (or transitory media).
  • computer storage media includes both volatile and nonvolatile media implemented in any method or technology for storage of information, such as computer readable instructions, data structures, program modules, or other data. permanent, removable and non-removable media.
  • Computer storage media include, but are not limited to, RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital versatile disk (DVD) or other optical disk storage, magnetic cartridges, tape, magnetic disk storage or other magnetic storage devices, or can Any other medium used to store desired information and which can be accessed by a computer.
  • communication media typically embodies computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave or other transport mechanism, and may include any information delivery media .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种多视点图像处理系统及其方法，其中，一种多视点图像处理系统，包括：处理装置和显示装置；处理装置包括：获取模块和编码模块；获取模块，设置为获取K个视点图像，其中，视点图像包括：M行N列像素点，K为大于或者等于2的正整数，M、N为大于或者等于1的正整数；编码模块，设置为接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至显示装置；显示装置，设置为接收多个编码图像，根据多个编码图像获得M个显示信息，第i个显示信息包括：K个视点图像的第i行像素点，i＝1,2,…,M；根据M个显示信息进行立体显示；处理装置设置在显示装置中，或者处理装置和显示装置分开设置。

Description

多视点图像处理系统及其方法 技术领域
本公开实施例涉及但不限于图像处理技术领域，具体涉及一种多视点图像处理系统及其方法。
背景技术
立体影像是视像行业中最热点的技术之一，推动着从平面显示向立体显示的技术变革。立体显示技术是立体影像产业中的关键一环，主要分为两类，即眼睛式立体显示和裸眼式立体显示技术。裸眼式立体显示技术是一种观看者无需佩戴眼镜而能够之间观看到立体显示画面的技术。与眼睛式立体显示相比，裸眼式立体显示属于自由立体显示技术，减少了对观看者的约束。
通常，裸眼式立体显示是基于多视点的，在空间中不同位置处形成视差图像(帧)的序列，使得具有视差关系的立体图像对可以分别进入人的左右眼当中，从而给观看者带来立体感。通常通过多视点裸眼立体显示器实现立体显示。
发明概述
以下是对本公开详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
第一方面，本公开提供了一种多视点图像处理系统，包括：处理装置和显示装置；所述处理装置包括：获取模块和编码模块；
所述获取模块，设置为获取K个视点图像，其中，所述视点图像包括：M行N列像素点，K为大于或者等于2的正整数，M、N为大于或者等于1的正整数；
所述编码模块，设置为接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至所述显示装置；
所述显示装置，设置为接收多个编码图像，根据多个编码图像获得M个 显示信息，第i个显示信息包括：K个视点图像的第i行像素点，i＝1,2,…,M；根据M个显示信息进行立体显示；
所述处理装置设置在所述显示装置中，或者处理装置和显示装置分开设置。
在一种可能的实现方式中，其中，所述获取模块设置为获取一个待显示图像，根据所述待显示图像，获取K个视点图像。
在一种可能的实现方式中，还包括：多视点采集装置，所述多视点采集装置包括：多个CCD摄像机，多视点采集装置中的每个CCD摄像机进行动态场景采集，获得K个视点图像；
所述获取模块，设置为接收多视点采集装置获得的K个视点图像。
在一种可能的实现方式中，所述编码模块设置为从K个视点图像中选取第m个视点图像作为第一视点图，除第m个视点图像之外的所有视点图像作为第二视点图，所述第二视点图的数量为K-1个，1≤m≤K；根据第一视点图和K-1个第二视点图，获得K-1个第一图像，其中，第k个第一图像根据第一视点图和第k个第二视点图获得，k＝1,2,…,K-1；根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像，其中，第k个编码图像根据第一视点图、第k个第二视点图和第k个第一图像获得；发送K-1个编码图像和第一视点图；所述第一图像和所述编码图像均包括：M行N列像素点。
在一种可能的实现方式中，所述编码模块还设置为根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息；根据第k个第一图像所有像素点的信息，获得第k个第一图像，j＝1,2,…,N。
在一种可能的实现方式中，所述像素点的信息包括：颜色分量信息，所述颜色分量信息包括：第一颜色分量值、第二颜色分量值和第三颜色分量值，第一颜色、第二颜色和第三颜色分别为红色、绿色和蓝色中的一种，且为不同颜色；
所述编码模块还设置为根据第一视点图第i行第j列像素点的颜色分量 信息，获得第一视点图第i行第j列像素点的灰度值；根据第k个第二视点图第i行第j列像素点的颜色分量信息，获得第k个第二视点图第i行第j列像素点的灰度值；当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
或者，所述编码模块还设置为对第一视点图第i行第j列像素点的第一颜色分量值和第k个第二视点图第i行第j列像素点的第一颜色分量值做差，获得第一颜色分量差值；对第一视点图第i行第j列像素点的第二颜色分量值和第k个第二视点图第i行第j列像素点的第二颜色分量值做差，获得第二颜色分量差值；对第一视点图第i行第j列像素点的第三颜色分量值和第k个第二视点图第i行第j列像素点的第三颜色分量值做差，获得第三颜色分量差值；根据第一颜色分量差值、第二颜色分量差值和第三颜色分量差值获得灰度差值；当灰度差值小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当灰度差值大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
当第k个第二视点图第i行第j列像素点的颜色不同时，在获得第k个第一图像时的阈值差值不同。
在一种可能的实现方式中，所述编码模块还设置为将第一视点图的第一行像素点作为每个编码图像的第一行像素点；对第k个第一图像的第一行像素点进行扫描；当第k个第一图像的第一行像素点中不存在白色像素点时，选择第一视点图的下一行像素点作为第k个编码图像的下一行像素点；当第k个第一图像的第一行像素点中存在白色像素点时，获得白色像素点的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息，并将白色像素点的位置信息以及第k个第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像的下一行像素点的相邻的两个像素点中，依次对第k个第一图像的第r行像素点进行扫描，直至对第k个第一图像的最后一行像素点扫描完成，获得第k个编码图像，2≤r≤M；所述位置信息包括：白色像 素点在第一图像中所在的行数与列数，第二视点图中与白色像素点对应的像素点为第二视点图中位于白色像素点在第一图像中所在的行数与列数的像素点。
在一种可能的实现方式中，所述显示装置包括：解码模块和显示模块；
所述解码模块，设置为接收多个编码图像，根据多个编码图像获得M个显示信息；
所述显示模块，设置为接收M个显示信息，根据M个显示信息进行立体显示。
在一种可能的实现方式中，所述解码模块还设置为根据K-1个编码图像获得K-1个第二视点图，其中，第k个第二视点图根据第k个编码图像获得；根据第一视点图和K-1个第二视点图，获得M个显示信息。
在一种可能的实现方式中，所述解码模块还设置为将第k个编码图像的第一行像素点作为第k个第二视点图的第一行像素点，对第k个编码图像的下一行像素点进行扫描，如果下一行像素点中包括位置信息，则获取包括位置信息的像素点相邻像素点中存储的像素点的信息，对第k个第二视点图中位于位置信息处的像素点的信息进行更新，更新为包括位置信息的像素点相邻像素点中存储的像素点的信息；如果下一行像素点中不包括位置信息，则将第k个编码图像的下一行像素点作为第k个第二视点图的下一行像素点，依次对第k个编码图像的第r行像素点进行扫描，直至第k个编码图像的最后一行像素点扫描完成，获得第k个第二视点图。
在一种可能的实现方式中，所述解码模块设置为根据第一视点图和K-1个第二视点图，获得K个视点图像的第i行像素点，i＝1,2,…,M；根据K个视点图像的第一行像素点至第M行像素点，获得M个显示信息；
所述显示模块设置为根据第i个显示信息显示K个视点图像的第i行。
在一种可能的实现方式中，所述编码模块设置为依次将每个视点图像的第i行像素点提取出来，形成M个第二图像，每个第二图像包括：K行N列像素点，第i个第二图像的第n行像素点为第n个视点图像的第i行像素点，n＝1,2,….,K；对M个第二图像进行编码处理，生成M个编码图像。
在一种可能的实现方式中，所述显示装置设置为依次对M个编码图像进行解码，获得M个第二图像，第i个第二图像包括第i个显示信息；根据第i个第二图像显示K个视点图像的第i行。
第二方面，本公开还提供了一种图像处理方法，所述方法包括：
获取K个视点图像，其中，所述视点图像包括：M行N列像素点，K为大于或者等于2的正整数，M、N为大于或者等于1的正整数；
接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至显示装置；
接收多个编码图像，根据多个编码图像获得M个显示信息，第i个显示信息包括：K个视点图像的第i行像素点，i＝1,2,…,M；
根据M个显示信息进行立体显示。
在一种可能的实现方式中，所述获取K个视点图像包括：获取一个待显示图像，根据所述待显示图像，获取K个视点图像，或者，获取多视点采集装置获得的K个视点图像。
在一种可能的实现方式中，所述对K个视点图像进行编码，生成多个编码图像包括：从K个视点图像中选取第m个视点图像作为第一视点图，除第m个视点图像之外的所有视点图像作为第二视点图，所述第二视点图的数量为K-1个，1≤m≤K；根据第一视点图和K-1个第二视点图，获得K-1个第一图像，其中，第k个第一图像根据第一视点图和第k个第二视点图获得，k＝1,2,…,K-1；根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像，其中，第k个编码图像根据第一视点图、第k个第二视点图和第k个第一图像获得；发送K-1个编码图像和第一视点图，所述第一图像和所述编码图像均包括：M行N列像素点。
在一种可能的实现方式中，所述根据第一视点图和K-1个第二视点图，获得K-1个第一图像包括：根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息；根据第k个第一图像所有像素点的信息，获得第k个第一图像，j＝1,2,…,N；
所述像素点的信息包括：颜色分量信息，所述颜色分量信息包括：第一颜色分量值、第二颜色分量值和第三颜色分量值，第一颜色、第二颜色和第三颜色分别为红色、绿色和蓝色中的一种，且为不同颜色；
所述根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息包括：
根据第一视点图第i行第j列像素点的颜色分量信息，获得第一视点图第i行第j列像素点的灰度值；根据第k个第二视点图第i行第j列像素点的颜色分量信息，获得第k个第二视点图第i行第j列像素点的灰度值；当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
或者，对第一视点图第i行第j列像素点的第一颜色分量值和第k个第二视点图第i行第j列像素点的第一颜色分量值做差，获得第一颜色分量差值；对第一视点图第i行第j列像素点的第二颜色分量值和第k个第二视点图第i行第j列像素点的第二颜色分量值做差，获得第二颜色分量差值；对第一视点图第i行第j列像素点的第三颜色分量值和第k个第二视点图第i行第j列像素点的第三颜色分量值做差，获得第三颜色分量差值；根据第一颜色分量差值、第二颜色分量差值和第三颜色分量差值获得灰度差值；当灰度差值小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当灰度差值大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
当第k个第二视点图第i行第j列像素点的颜色不同时，在获得第k个第一图像时的阈值差值不同；
所述根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像包括：将第一视点图的第一行像素点作为每个编码图像的第一行像素点；对第k个第一图像的第一行像素点进行扫描；当第k个第一图像的第一行像素点中不存在白色像素点时，选择第一视点图的下一行像素点作为 第k个的编码图像的下一行像素点；当第k个第一图像的第一行像素点中存在白色像素点时，获得白色像素点的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息，并将白色像素点的位置信息以及第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像的下一行像素点的相邻的两个像素点中，依次对第k个第一图像的第r行像素点进行扫描，直至对第k个第一图像的最后一行像素点扫描完成，获得第k个编码图像，2≤r≤M；所述位置信息包括：白色像素点在第一图像中所在的行数与列数，第二视点图中与白色像素点对应的像素点为第二视点图中位于白色像素点在第一图像中所在的行数与列数的像素点。
在一种可能的实现方式中，所述根据多个编码图像获得M个显示信息包括：根据K-1个编码图像获得K-1个第二视点图，其中，第k个第二视点图根据第k个编码图像获得；根据第一视点图和K-1个第二视点图，获得M个显示信息；
所述根据K-1个编码图像获得K-1第二视点图包括：将第k个编码图像的第一行像素点作为第k个第二视点图的第一行像素点，对第k个编码图像的下一行像素点进行扫描，如果下一行像素点中包括位置信息，则获取包括位置信息的像素点相邻像素点中存储的像素点的信息，对第k个第二视点图中位于位置信息处的像素点的信息进行更新，更新为包括位置信息的像素点相邻像素点中存储的像素点的信息；如果下一行像素点中不包括位置信息，则将第k个编码图像的下一行像素点作为第k个第二视点图的下一行像素点，依次对第k个编码图像的第r行像素点进行扫描，直至第k个编码图像的最后一行像素点扫描完成，获得第k个第二视点图；
所述根据第一视点图和K-1个第二视点图，获得K个视点图像的M个显示信息包括：依次获得K个视点图像的第i行像素点；根据K个视点图像的第一行像素点至第M行像素点，获得M个显示信息；
所述根据M个显示信息进行立体显示包括：根据第i个显示信息显示K个视点图像的第i行。
在一种可能的实现方式中，所述对K个视点图像进行编码，生成多个编码图像包括：依次将每个视点图像的第i行像素点提取出来，形成M个第二 图像，每个第二图像包括：K行N列像素点，第i个第二图像的第n行像素点为第n个视点图像的第i行像素点，n＝1,2,….,K；对M个第二图像进行编码处理，生成M个编码图像。
在一种可能的实现方式中，所述根据多个编码图像获得K个视点图像的M个显示信息包括：依次对M个编码图像进行解码，获得M个第二图像，第i个第二图像包括第i个显示信息；根据第i个第二图像显示K个视点图像的第i行。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图概述
附图用来提供对本公开技术方案的理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开实施例提供的多视点图像处理系统的结构示意图；
图2为本公开实施例提供的处理装置的结构示意图；
图3为一种示例性实施例提供的获得第一图像的示意图；
图4为一种示例性实施例提供的获得编码图像的示意图；
图5为一种示例性实施例提供的显示装置的结构示意图；
图6为一种示例性实施例提供的对编码图像进行解码的示意图；
图7为一种示例性实施例提供的处理装置编码的示意图；
图8为一种示例性实施例提供的显示装置编码的示意图。
详述
本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方 式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的技术方案。任何实施例的任何特征或元件也可以与来自其它技术方案的特征或元件组合，以形成另一个由权利要求限定的技术方案。因此，应当理解，在本公开中示出和讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
除非另外定义，本公开中使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅表示相对位置关系，当被描述的对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
对于超高分辨率的多视点裸眼立体显示器没有一种有效的数据传输方式可以使得超高分辨率的通常通过多视点裸眼立体显示器实现立体显示。
图1为本公开实施例提供的多视点图像处理系统的结构示意图，图2为本公开实施例提供的处理装置的结构示意图。如图1和图2所示，本公开实施例提供的多视点图像处理系统包括：处理装置10和与处理装置10连接的显示装置20。处理装置10包括：获取模块11和编码模块12。其中，获取模块11，设置为获取K个视点图像。编码模块12，设置为接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至显示装置20。显示装置20，设置为接收多个编码图像，根据多个编码图像获得 M个显示信息，第i个显示信息包括：K个视点图像的第i行像素点；根据M个显示信息进行立体显示。
在一种示例性实施例中，视点图像可以包括：M行N列像素点。M和N均为大于1的正整数，M和N的取值取决于立体显示的内容，本公开对此不作任何限定。
在一种示例性实施例中，K可以为大于或者等于2的正整数，例如K可以为28或者可以为45。K的数值可以根据立体显示的需求确定，立体显示的需求越高，K值越大。
在一种示例性实施例中，i＝1,2,…,M。第一个显示信息包括：K个视点图像的第一行像素点，第二个显示信息包括：K个视点图像的第二行像素点，依次类推，第M个显示信息包括：K个视点图像的第M行像素点。
在一种示例性实施例中，处理装置可以为服务器、个人计算机或者通过执行逻辑运算的处理器，例如中央处理器(CPU)、现场可编程逻辑阵列(FPGA)、数字信号处理器(DSP)、单片机(MCU)、专用逻辑电路(ASIC)等具有数据处理能力和程序执行能力的器件。
在一种示例性实施例中，显示装置可以由显示单元与光栅单元组成。其中，显示单元可以为液晶显示面板、有机发光二极管显示面板或者等离子显示面板。光栅单元可以为狭缝式光栅，或者可以为柱镜式光栅，本公开对此不作任何限定。显示装置通过显示两个或两个以上视点图像来形成立体显示。不同的显示装置具有不同的分辨率、视点数和视点排列方式，因此多个视点图像的格式由显示装置确定。
在一种示例性实施例中，当处理装置为处理器时，处理装置可以设置在显示装置中。
在一种示例性实施例中，处理装置和显示装置可以分开设置，如图1是以处理装置和显示装置分开设置为例进行说明的。
在一种示例性实施例中，连接包括通过无线网络、有线网络或无线网络和有线网络的任意组合进行连接。网络可以包括局域网、互联网、电信网、基于互联网和电信网的物联网、或以上网络的任意组合等。有线网络例如可 以采用导线、双绞线、同轴电缆或光纤传输等方式进行信息传输，无线网络例如可以采用WWAN移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。
本公开实施例提供的多视点图像处理系统，包括：处理装置和显示装置；处理装置包括：获取模块和编码模块；获取模块，设置为获取K个视点图像，其中，视点图像包括：M行N列像素点，K为大于或者等于2的正整数，M、N为大于或者等于1的正整数；编码模块，设置为接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至显示装置；显示装置，设置为接收多个编码图像，根据多个编码图像获得M个显示信息，第i个显示信息包括：K个视点图像的第i行像素点；根据M个显示信息进行立体显示。本公开实施例提供的多视点图像处理系统有效地解决了多视点裸眼立体屏幕的数据传输和显示，简单易行，可快速实现智能化。
在一种示例性实施例中，处理装置可以包括第一接口，显示装置可以包括第二接口，编码图像可以通过第一接口向第二接口传输。
在一种示例性实施例中，显示装置可以对待显示图像进行图像渲染，获得K个视点图像。
在一种示例性实施例中，获取模块可以设置为获取一个待显示图像，根据待显示图像，获取K个视点图像。
在一种示例性实施例中，待显示图像可以为二维图像。
在一种示例性实施例中，多视点图像处理系统还可以包括：多视点采集装置，多视点采集装置包括：多个CCD摄像机，多视点采集装置中的每个CCD摄像机进行动态场景采集，获得K个视点图像。
在一种示例性实施例中，获取模块，设置为接收多视点采集装置获得的K个视点图像。
在一种示例性实施例中，多视点采集装置中的每个CCD摄像机进行动态场景采集之前，对每个CCD摄像机进行系统校准。
在一种示例性实施例中，多视点采集装置可以包括：多摄像机采集阵列与光场环境组成。其中，多摄像机采集阵列采用环形摆放方式，尽可能采集到不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像 素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求。光场环境由环形均匀分布的发光二极管LED构成，其主要作用为提供光照，方便CCD摄像机信息采集。采用基于圆周分布的多台CCD摄像机的视图采集装置更适合数据的实时采集。该装置在一定高度的圆周上安装一周的CCD摄像机，每台CCD摄像机拍摄各自视角方向的视图。由于所有CCD摄像机都是同时采集图像，一周视图拍摄时间非常短，有利于视点图像的采集。
在一种示例性实施例中，编码模块可以设置为从K个视点图像中选取第m个视点图像作为第一视点图，除第m个视点图像之外的所有视点图像作为第二视点图，第二视点图的数量为K-1个，1≤m≤K；根据第一视点图和K-1个第二视点图，获得K-1个第一图像，其中，第k个第一图像根据第一视点图和第k个第二视点图获得，k＝1,2,…,K-1；根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像，其中，第k个编码图像根据第一视点图、第k个第二视点图和第k个第一图像获得。
在一种示例性实施例中，m为1至K中的任意一个数值，m可以为1，或者可以为其他数。
在一种示例性实施例中，第一图像包括：M行N列像素点。
在一种示例性实施例中，编码图像包括：M行N列像素点。
在一种示例性实施例中，选取中间视点图像作为第一视点图，除中间视点图像之外的所有视点图像作为第二视点图。选取中间视点图像作为第一视点图可以减少图像处理的计算复杂度。
在一种示例性实施例中，每个像素点的位深度可以为24。
在一种示例性实施例中，编码模块设置为发送K-1个编码图像和第一视点图。
在一种示例性实施例中，图3为一种示例性实施例提供的获得第一图像的示意图。如图3所示，编码模块还设置为根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息；根据第k个第一图像所有像素点的信息，获得第k个第一图像，j＝1,2,…,N。
在一种示例性实施例中，像素点的信息可以包括：颜色分量信息，或者颜色电压信息，或者其他可以数据信息，本公开对此不作任何限定。
在一种示例性实施例中，颜色分量信息可以包括：第一颜色分量值、第二颜色分量值和第三颜色分量值。颜色电压信息可以包括：第一颜色电压值、第二颜色电压值和第三颜色电压值。其中，第一颜色、第二颜色和第三颜色分别为红色、绿色和蓝色中的一种，且为不同颜色。
在一种示例性实施例中，当像素点的信息包括：颜色分量信息时，编码模块还可以设置为根据第一视点图第i行第j列像素点的颜色分量信息，获得第一视点图第i行第j列像素点的灰度值；根据第k个第二视点图第i行第j列像素点的颜色分量信息，获得第k个第二视点图第i行第j列像素点的灰度值；当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点。
在一种示例性实施例中，当像素点的信息包括：颜色分量信息时，编码模块还可以设置为对第一视点图第i行第j列像素点的第一颜色分量值和第k个第二视点图第i行第j列像素点的第一颜色分量值做差，获得第一颜色分量差值；对第一视点图第i行第j列像素点的第二颜色分量值和第k个第二视点图第i行第j列像素点的第二颜色分量值做差，获得第二颜色分量差值；对第一视点图第i行第j列像素点的第三颜色分量值和第k个第二视点图第i行第j列像素点的第三颜色分量值做差，获得第三颜色分量差值；根据第一颜色分量差值、第二颜色分量差值和第三颜色分量差值获得灰度差值；当灰度差值小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当灰度差值大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点。
在一种示例性实施例中，编码模块中存储有像素点颜色与像素点的颜色分量信息的对应关系，编码模块根据第一视点图第i行第j列像素点的颜色和像素点颜色与像素点的颜色分量信息的对应关系，获得第一视点图第i行 第j列像素点的颜色分量信息，根据第二视点图第i行第j列像素点的颜色和像素点颜色与像素点的颜色分量信息的对应关系，获得第二视点图第i行第j列像素点的颜色分量信息。
在一种示例性实施例中，第一图像中第i行第j列像素点为白色像素点时说明第一视点图第i行第j列像素点颜色与第二视点图第i行第j列像素点颜色差异较大。第一图像中第i行第j列像素点为黑色像素点时说明第一视点图第i行第j列像素点颜色与第二视点图第i行第j列像素点颜色差异不大。
在一种示例性实施例中，当第k个第二视点图第i行第j列像素点的颜色不同时，在获得第k个第一图像时的阈值差值不同，也就是说，颜色差异的判断满足韦伯定律。当第k个第二视点图第i行第j列像素点颜色为第一颜色时，判断第k个第一图像中像素点为白色像素点或者黑色像素点时，所采用的阈值差值与当第k个第二视点图第i行第j列像素点颜色为第二颜色时，判断第k个第一图像中像素点为白色像素点或者黑色像素点时，所采用的阈值差值不同，其中，第一颜色和第二颜色为不同颜色。
图3是以第一视点图的第一行第四列的像素点颜色与第k个第二视点图的第一行第四列的像素点颜色差异较大，第一视点图的第三行第三列的像素点颜色与第k个第二视点图的第三行第三列的像素点颜色差异较大为例进行说明的，此时，第k个第一图像中的第一行第四列和第三行第三列像素点白色像素点。
图4为一种示例性实施例提供的获得编码图像的示意图，图4是以M＝5，N＝5为例进行说明的。如图4所示，在一种示例性实施例中，编码模块设置为将第一视点图的第一行像素点，作为每个编码图像的第一行像素点；对第k个第一图像的第一行像素点进行扫描；当第k个第一图像的第一行像素点中不存在白色像素点时，选择第一视点图的下一行像素点作为第k个编码图像的下一行像素点；当第k个第一图像的第一行像素点中存在白色像素点时，获得白色像素点的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息，并将白色像素点的位置信息以及第k个第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像中的下一行像素点的相邻的两个像素点中，依次对第k个第二视点图对应的第一图像的第r行像素点进行 扫描，直至对第k个第二视点图对应的第一图像的最后一行像素点扫描完成，获得第k个编码图像，2≤r≤M。
如图4所示，第k个第一图像中第一行像素点存在一个白色像素点，根据白色像素点所在的位置信息即第一行第四列和第二视点图中与白色像素点对应的像素点的颜色分量信息，将白色像素点所在的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息存储在第二视点图对应的编码图像中的第二行像素点中第一个和第二个像素点中。当第一行像素点存在多个白色像素点，则将第i个白色像素点所在的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像中的第二行像素点中第2i-1个和第2i个像素点中，即第一个白色像素点所在的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像中的第二行像素点中第一个和第二个像素点中，第二个白色像素点所在的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像中的第二行像素点中第三个和第四个像素点中，依次类推。此时，第k个编码图像中的第二行像素点中的其他像素点可以为白色像素点。
本公开提供的编码方法可以有效地保持图像质量。
在一种示例性实施例中，位置信息可以包括：白色像素点在第一图像中所在的行数与列数。
在一种示例性实施例中，第二视点图中与白色像素点对应的像素点为第二视点图中位于白色像素点在第一图像中所在的行数与列数的像素点。
图5为一种示例性实施例提供的显示装置的结构示意图。如图5所示，一种示例性实施例中，显示装置20可以包括：显示装置包括：解码模块21和显示模块22。其中，解码模块21，设置为接收多个编码图像，根据多个编码图像获得M个显示信息；显示模块22，设置为接收M个显示信息，根据M个显示信息进行立体显示。
在一种示例性实施例中，解码模块还设置为根据K-1个编码图像获得K-1个编码图像对应的K-1第二视点图，其中，第k个第二视点图根据第k个编码图像获得；根据第一视点图和K-1个第二视点图，获得M个显示信息。
图6为一种示例性实施例提供的对编码图像进行解码的示意图。如图6 所示，在一种示例性实施例中，解码模块设置为将第k个编码图像的第一行像素点作为第k个第二视点图的第一行像素点，对第k个编码图像的下一行像素点进行扫描，如果第二行像素点中包括位置信息，则获取包括位置信息的像素点相邻像素点中存储的信息，对第k个第二视点图中位于位置信息处的像素点的信息进行更新，更新为包括位置信息的像素点相邻像素点中存储的信息；如果下一行像素点中不包括位置信息，则将第k个编码图像的下一行像素点作为第k个第二视点图的下一行像素点，依次对第k个编码图像的第r行像素点进行扫描，直至第k个编码图像的最后一行像素点扫描完成，获得第k个第二视点图。
在一种示例性实施例中，解码模块设置为根据第一视点图和K-1个第二视点图，获得K个视点图像的第i行像素点；根据K个视点图像的第一行像素点至第M行像素点，获得M个显示信息。
在一种示例性实施例中，显示模块设置为根据第i个显示信息显示K个视点图像的第i行。
本公开通过显示模块逐行显示K个视点图像的第i行可以使得在解码时所占用的存储空间较小，有利于快速显示。
本公开提供的编码解码方法，不仅可以实现视点图像无损，而且简单易行，易于智能化。
图7为一种示例性实施例提供的处理装置编码的示意图。如图7所示，一种示例性实施例中，编码模块设置为依次将每个视点图像的第i行像素点提取出来，形成M个第二图像；对M个第二图像进行编码处理，生成M个编码图像。其中，图7中的Viewi为第i个视点图像。
在一种示例性实施例中，每个第二图像包括：K行N列像素点，第i个第二图像的第n行像素点为第n个视点图像的第i行像素点，n＝1,2,….,K。
在一种示例性实施例中，对M个第二图像可以采用哈夫曼编码、行程编码或者正交变换编码进行编码。本公开采用哈夫曼编码、行程编码或者正交变换编码进行编码，使得编码图像与第二图像的压缩比较大，技术较为成熟。
图8为一种示例性实施例提供的显示装置编码的示意图。如图8所示， 一种示例性实施例中，显示装置设置为依次对M个编码图像进行解码，获得M个第二图像，第i个第二图像包括第i个显示信息；根据第i个第二图像显示K个视点图像的第i行。
本公开逐行显示K个视点图像的第i行，对视点图像的一行进行处理，可以节约存储空间。
本公开实施例还提供了一种图像处理方法，应用在多视点图像处理系统中，本公开实施例提供的图像处理方法可以包括以下步骤：
步骤S1、获取K个视点图像。
在一种示例性实施例中，视点图像包括：M行N列像素点；K为大于或者等于2的正整数，M，N为大于或者等于1的正整数。
步骤S2、接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至显示装置。
步骤S3、接收多个编码图像，根据多个编码图像获得M个显示信息。
在一种示例性实施例中，第i个显示信息包括：K个视点图像的第i行像素点，i＝1,2,…,M。
步骤S4、根据M个显示信息进行立体显示。
多视点图像处理系统为前述任一个实施例提供的多视点图像处理系统，实现原理和实现效果类似，在此不再赘述。
在一种示例性实施例中，获取K个视点图像包括：获取一个待显示图像，根据待显示图像，获取K个视点图像，或者，获取多视点采集装置获得的K个视点图像。
在一种示例性实施例中，对K个视点图像进行编码，生成多个编码图像包括：从K个视点图像中选取第m个视点图像作为第一视点图，除第m个视点图像之外的所有视点图像作为第二视点图，所述第二视点图的数量为K-1个，1≤m≤K；根据第一视点图和K-1个第二视点图，获得K-1个第一图像，其中，第k个第一图像根据第一视点图和第k个第二视点图获得，k＝1,2,…,K-1；根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像，其中，第k个编码图像根据第一视点图、第k个第二视点 图和第k个第一图像获得；发送K-1个编码图像和第一视点图，所述第一图像和所述编码图像均包括：M行N列像素点。
在一种示例性实施例中，根据第一视点图和K-1个第二视点图，获得K-1个第一图像包括：根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息；根据第k个第一图像所有像素点的信息，获得第k个第一图像，j＝1,2,…,N。
在一种示例性实施例中，像素点的信息可以包括：颜色分量信息，或者颜色电压信息，或者其他可以数据信息，本公开对此不作任何限定。
在一种示例性实施例中，颜色分量信息可以包括：第一颜色分量值、第二颜色分量值和第三颜色分量值。颜色电压信息可以包括：第一颜色电压值、第二颜色电压值和第三颜色电压值。其中，第一颜色、第二颜色和第三颜色分别为红色、绿色和蓝色中的一种，且为不同颜色。
在一种示例性实施例中，当像素点的信息包括：颜色分量信息时，根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息包括：根据第一视点图第i行第j列像素点的颜色分量信息，获得第一视点图第i行第j列像素点的灰度值；根据第k个第二视点图第i行第j列像素点的颜色分量信息，获得第k个第二视点图第i行第j列像素点的灰度值；当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点。
在一种示例性实施例中，当像素点的信息包括：颜色分量信息时，根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息包括：对第一视点图第i行第j列像素点的第一颜色分量值和第k个第二视点图第i行第j列像素点的第一颜色分量值做差，获得第一颜色分量差值；对第一视点图第i 行第j列像素点的第二颜色分量值和第k个第二视点图第i行第j列像素点的第二颜色分量值做差，获得第二颜色分量差值；对第一视点图第i行第j列像素点的第三颜色分量值和第k个第二视点图第i行第j列像素点的第三颜色分量值做差，获得第三颜色分量差值；根据第一颜色分量差值、第二颜色分量差值和第三颜色分量差值获得灰度差值；当灰度差值小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当灰度差值大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点。
在一种示例性实施例中，当第k个第二视点图第i行第j列像素点的颜色不同时，在获得第k个第一图像时的阈值差值不同。
在一种示例性实施例中，根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像包括：将第一视点图的第一行像素点作为每个编码图像的第一行像素点；对第k个第一图像的第一行像素点进行扫描；当第k个第一图像的第一行像素点中不存在白色像素点时，选择第一视点图的下一行像素点作为第k个的编码图像的下一行像素点；当第k个第一图像的第一行像素点中存在白色像素点时，获得白色像素点的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息，并将白色像素点的位置信息以及第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像的下一行像素点的相邻的两个像素点中，依次对第k个第一图像的第r行像素点进行扫描，直至对第k个第一图像的最后一行像素点扫描完成，获得第k个编码图像，2≤r≤M。
在一种示例性实施例中，位置信息可以包括：白色像素点在第一图像中所在的行数与列数。
在一种示例性实施例中，第二视点图中与白色像素点对应的像素点为第二视点图中位于白色像素点在第一图像中所在的行数与列数的像素点。
在一种示例性实施例中，根据多个编码图像获得M个显示信息包括：根据K-1个编码图像获得K-1个第二视点图；根据第一视点图和K-1个第二视点图，获得M个显示信息；
在一种示例性实施例中，第k个第二视点图根据第k个编码图像获得。
在一种示例性实施例中，根据K-1个编码图像获得K-1第二视点图包括： 将第k个编码图像的第一行像素点作为第k个第二视点图的第一行像素点，对第k个编码图像的下一行像素点进行扫描，如果下一行像素点中包括位置信息，则获取包括位置信息的像素点相邻像素点中存储的信息，对第k个第二视点图中位于位置信息处的像素点的信息进行更新，更新为包括位置信息的像素点相邻像素点中存储的信息；如果下一行像素点中不包括位置信息，则将第k个编码图像的下一行像素点作为第k个第二视点图的下一行像素点，依次对第k个编码图像的第r行像素点进行扫描，直至第k个编码图像的最后一行像素点扫描完成，获得第k个第二视点图。
在一种示例性实施例中，根据第一视点图和K-1个第二视点图，获得K个视点图像的M个显示信息包括：依次获得K个视点图像的第i行像素点；根据K个视点图像的第一行像素点至第M行像素点，获得M个显示信息。
在一种示例性实施例中，根据M个显示信息进行立体显示包括：根据第i个显示信息显示K个视点图像的第i行。
在一种示例性实施例中，对K个视点图像进行编码，生成多个编码图像包括：依次将每个视点图像的第i行像素点提取出来，形成M个第二图像，对M个第二图像进行编码处理，生成M个编码图像。
在一种示例性实施例中，每个第二图像包括：K行N列像素点，第i个第二图像的第n行像素点为第n个视点图像的第i行像素点，n＝1,2,….,K；。
在一种示例性实施例中，根据多个编码图像获得K个视点图像的M个显示信息包括：依次对M个编码图像进行解码，获得M个第二图像，第i个第二图像包括第i个显示信息；根据第i个第二图像显示K个视点图像的第i行。
本领域的普通技术人员应当理解，可以对本公开实施例的技术方案进行修改或者等同替换，而不脱离本公开技术方案的精神和范围，均应涵盖在本申请的权利要求范围当中。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一 个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本公开中的附图只涉及本公开实施例涉及到的结构，其他结构可参考通常设计。
虽然本公开所揭露的实施方式如上，但所述的内容仅为便于理解本公开而采用的实施方式，并非用以限定本公开。任何本公开所属领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (20)

  1. 一种多视点图像处理系统，包括：处理装置和显示装置；所述处理装置包括：获取模块和编码模块；
    所述获取模块，设置为获取K个视点图像，其中，所述视点图像包括：M行N列像素点，K为大于或者等于2的正整数，M、N为大于或者等于1的正整数；
    所述编码模块，设置为接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至所述显示装置；
    所述显示装置，设置为接收多个编码图像，根据多个编码图像获得M个显示信息，第i个显示信息包括：K个视点图像的第i行像素点，i＝1,2,…,M；根据M个显示信息进行立体显示；
    所述处理装置设置在所述显示装置中，或者处理装置和显示装置分开设置。
  2. 根据权利要求1所述的系统，其中，所述获取模块设置为获取一个待显示图像，根据所述待显示图像，获取K个视点图像。
  3. 根据权利要求1所述的系统，还包括：多视点采集装置，所述多视点采集装置包括：多个CCD摄像机，多视点采集装置中的每个CCD摄像机进行动态场景采集，获得K个视点图像；
    所述获取模块，设置为接收多视点采集装置获得的K个视点图像。
  4. 根据权利要求1所述的系统，其中，所述编码模块设置为从K个视点图像中选取第m个视点图像作为第一视点图，除第m个视点图像之外的所有视点图像作为第二视点图，所述第二视点图的数量为K-1个，1≤m≤K；根据第一视点图和K-1个第二视点图，获得K-1个第一图像，其中，第k个第一图像根据第一视点图和第k个第二视点图获得，k＝1,2,…,K-1；根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像，其中，第k个编码图像根据第一视点图、第k个第二视点图和第k个第一图像获得；发送K-1个编码图像和第一视点图；所述第一图像和所述编码图像均包括：M行N列像素点。
  5. 根据权利要求4所述的系统，其中，所述编码模块还设置为根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息；根据第k个第一图像所有像素点的信息，获得第k个第一图像，j＝1,2,…,N。
  6. 根据权利要求5所述的系统，其中，所述像素点的信息包括：颜色分量信息，所述颜色分量信息包括：第一颜色分量值、第二颜色分量值和第三颜色分量值，第一颜色、第二颜色和第三颜色分别为红色、绿色和蓝色中的一种，且为不同颜色；
    所述编码模块还设置为根据第一视点图第i行第j列像素点的颜色分量信息，获得第一视点图第i行第j列像素点的灰度值；根据第k个第二视点图第i行第j列像素点的颜色分量信息，获得第k个第二视点图第i行第j列像素点的灰度值；当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
    或者，所述编码模块还设置为对第一视点图第i行第j列像素点的第一颜色分量值和第k个第二视点图第i行第j列像素点的第一颜色分量值做差，获得第一颜色分量差值；对第一视点图第i行第j列像素点的第二颜色分量值和第k个第二视点图第i行第j列像素点的第二颜色分量值做差，获得第二颜色分量差值；对第一视点图第i行第j列像素点的第三颜色分量值和第k个第二视点图第i行第j列像素点的第三颜色分量值做差，获得第三颜色分量差值；根据第一颜色分量差值、第二颜色分量差值和第三颜色分量差值获得灰度差值；当灰度差值小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当灰度差值大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
    当第k个第二视点图第i行第j列像素点的颜色不同时，在获得第k个第一图像时的阈值差值不同。
  7. 根据权利要求4至6任一项所述的系统，其中，所述编码模块还设置 为将第一视点图的第一行像素点作为每个编码图像的第一行像素点；对第k个第一图像的第一行像素点进行扫描；当第k个第一图像的第一行像素点中不存在白色像素点时，选择第一视点图的下一行像素点作为第k个编码图像的下一行像素点；当第k个第一图像的第一行像素点中存在白色像素点时，获得白色像素点的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息，并将白色像素点的位置信息以及第k个第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像的下一行像素点的相邻的两个像素点中，依次对第k个第一图像的第r行像素点进行扫描，直至对第k个第一图像的最后一行像素点扫描完成，获得第k个编码图像，2≤r≤M；所述位置信息包括：白色像素点在第一图像中所在的行数与列数，第二视点图中与白色像素点对应的像素点为第二视点图中位于白色像素点在第一图像中所在的行数与列数的像素点。
  8. 根据权利要求1所述的系统，其中，所述显示装置包括：解码模块和显示模块；
    所述解码模块，设置为接收多个编码图像，根据多个编码图像获得M个显示信息；
    所述显示模块，设置为接收M个显示信息，根据M个显示信息进行立体显示。
  9. 根据权利要求8所述的系统，其中，所述解码模块还设置为根据K-1个编码图像获得K-1个第二视点图，其中，第k个第二视点图根据第k个编码图像获得；根据第一视点图和K-1个第二视点图，获得M个显示信息。
  10. 根据权利要求9所述的系统，其中，所述解码模块还设置为将第k个编码图像的第一行像素点作为第k个第二视点图的第一行像素点，对第k个编码图像的下一行像素点进行扫描，如果下一行像素点中包括位置信息，则获取包括位置信息的像素点相邻像素点中存储的像素点的信息，对第k个第二视点图中位于位置信息处的像素点的信息进行更新，更新为包括位置信息的像素点相邻像素点中存储的像素点的信息；如果下一行像素点中不包括位置信息，则将第k个编码图像的下一行像素点作为第k个第二视点图的下一行像素点，依次对第k个编码图像的第r行像素点进行扫描，直至第k个 编码图像的最后一行像素点扫描完成，获得第k个第二视点图。
  11. 根据权利要求8所述的系统，其中，所述解码模块设置为根据第一视点图和K-1个第二视点图，获得K个视点图像的第i行像素点；根据K个视点图像的第一行像素点至第M行像素点，获得M个显示信息；
    所述显示模块设置为根据第i个显示信息显示K个视点图像的第i行。
  12. 根据权利要求1所述的系统，其中，所述编码模块设置为依次将每个视点图像的第i行像素点提取出来，形成M个第二图像，每个第二图像包括：K行N列像素点，第i个第二图像的第n行像素点为第n个视点图像的第i行像素点，n＝1,2,….,K；对M个第二图像进行编码处理，生成M个编码图像。
  13. 根据权利要求12所述的系统，其中，所述显示装置设置为依次对M个编码图像进行解码，获得M个第二图像，第i个第二图像包括第i个显示信息；根据第i个第二图像显示K个视点图像的第i行。
  14. 一种图像处理方法，所述方法包括：
    获取K个视点图像，其中，所述视点图像包括：M行N列像素点，K为大于或者等于2的正整数，M、N为大于或者等于1的正整数；
    接收K个视点图像，对K个视点图像进行编码，生成多个编码图像，并将多个编码图像发送至显示装置；
    接收多个编码图像，根据多个编码图像获得M个显示信息，第i个显示信息包括：K个视点图像的第i行像素点，i＝1,2,…,M；
    根据M个显示信息进行立体显示。
  15. 根据权利要求14所述的方法，其中，所述获取K个视点图像包括：获取一个待显示图像，根据所述待显示图像，获取K个视点图像，或者，获取多视点采集装置获得的K个视点图像。
  16. 根据权利要求14所述的方法，其中，所述对K个视点图像进行编码，生成多个编码图像包括：从K个视点图像中选取第m个视点图像作为第一视点图，除第m个视点图像之外的所有视点图像作为第二视点图，所述第二视点图的数量为K-1个，1≤m≤K；根据第一视点图和K-1个第二视点图，获 得K-1个第一图像，其中，第k个第一图像根据第一视点图和第k个第二视点图获得，k＝1,2,…,K-1；根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像，其中，第k个编码图像根据第一视点图、第k个第二视点图和第k个第一图像获得；发送K-1个编码图像和第一视点图，所述第一图像和所述编码图像均包括：M行N列像素点。
  17. 根据权利要求15所述的方法，其中，所述根据第一视点图和K-1个第二视点图，获得K-1个第一图像包括：根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息；根据第k个第一图像所有像素点的信息，获得第k个第一图像，j＝1,2,…,N；
    所述像素点的信息包括：颜色分量信息，所述颜色分量信息包括：第一颜色分量值、第二颜色分量值和第三颜色分量值，第一颜色、第二颜色和第三颜色分别为红色、绿色和蓝色中的一种，且为不同颜色；
    所述根据第一视点图第i行第j列像素点的信息和第k个第二视点图第i行第j列像素点的信息，获得第k个第一图像第i行第j列像素点的信息包括：
    根据第一视点图第i行第j列像素点的颜色分量信息，获得第一视点图第i行第j列像素点的灰度值；根据第k个第二视点图第i行第j列像素点的颜色分量信息，获得第k个第二视点图第i行第j列像素点的灰度值；当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当第一视点图第i行第j列像素点的灰度值与第k个第二视点图第i行第j列像素点的灰度值之差大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
    或者，对第一视点图第i行第j列像素点的第一颜色分量值和第k个第二视点图第i行第j列像素点的第一颜色分量值做差，获得第一颜色分量差值；对第一视点图第i行第j列像素点的第二颜色分量值和第k个第二视点图第i行第j列像素点的第二颜色分量值做差，获得第二颜色分量差值；对第一视点图第i行第j列像素点的第三颜色分量值和第k个第二视点图第i行第j列像素点的第三颜色分量值做差，获得第三颜色分量差值；根据第一 颜色分量差值、第二颜色分量差值和第三颜色分量差值获得灰度差值；当灰度差值小于阈值差值时，第k个第一图像第i行第j列像素点为黑色像素点，当灰度差值大于阈值差值时，第k个第一图像第i行第j列像素点为白色像素点；
    当第k个第二视点图第i行第j列像素点的颜色不同时，在获得第k个第一图像时的阈值差值不同；
    所述根据第一视点图、K-1个第二视点图和K-1个第一图像，获得K-1个编码图像包括：将第一视点图的第一行像素点作为每个编码图像的第一行像素点；对第k个第一图像的第一行像素点进行扫描；当第k个第一图像的第一行像素点中不存在白色像素点时，选择第一视点图的下一行像素点作为第k个的编码图像的下一行像素点；当第k个第一图像的第一行像素点中存在白色像素点时，获得白色像素点的位置信息和第k个第二视点图中与白色像素点对应的像素点的信息，并将白色像素点的位置信息以及第二视点图中与白色像素点对应的像素点的信息存储在第k个编码图像的下一行像素点的相邻的两个像素点中，依次对第k个第一图像的第r行像素点进行扫描，直至对第k个第一图像的最后一行像素点扫描完成，获得第k个编码图像，2≤r≤M；所述位置信息包括：白色像素点在第一图像中所在的行数与列数，第二视点图中与白色像素点对应的像素点为第二视点图中位于白色像素点在第一图像中所在的行数与列数的像素点。
  18. 根据权利要求14所述的方法，其中，所述根据多个编码图像获得M个显示信息包括：根据K-1个编码图像获得K-1个第二视点图，其中，第k个第二视点图根据第k个编码图像获得；根据第一视点图和K-1个第二视点图，获得M个显示信息；
    所述根据K-1个编码图像获得K-1第二视点图包括：将第k个编码图像的第一行像素点作为第k个第二视点图的第一行像素点，对第k个编码图像的下一行像素点进行扫描，如果下一行像素点中包括位置信息，则获取包括位置信息的像素点相邻像素点中存储的像素点的信息，对第k个第二视点图中位于位置信息处的像素点的信息进行更新，更新为包括位置信息的像素点相邻像素点中存储的像素点的信息；如果下一行像素点中不包括位置信息， 则将第k个编码图像的下一行像素点作为第k个第二视点图的下一行像素点，依次对第k个编码图像的第r行像素点进行扫描，直至第k个编码图像的最后一行像素点扫描完成，获得第k个第二视点图；
    所述根据第一视点图和K-1个第二视点图，获得K个视点图像的M个显示信息包括：依次获得K个视点图像的第i行像素点；根据K个视点图像的第一行像素点至第M行像素点，获得M个显示信息；
    所述根据M个显示信息进行立体显示包括：根据第i个显示信息显示K个视点图像的第i行。
  19. 根据权利要求14所述的方法，其中，所述对K个视点图像进行编码，生成多个编码图像包括：依次将每个视点图像的第i行像素点提取出来，形成M个第二图像，每个第二图像包括：K行N列像素点，第i个第二图像的第n行像素点为第n个视点图像的第i行像素点，n＝1,2,….,K；对M个第二图像进行编码处理，生成M个编码图像。
  20. 根据权利要求14所述的方法，其中，所述根据多个编码图像获得K个视点图像的M个显示信息包括：依次对M个编码图像进行解码，获得M个第二图像，第i个第二图像包括第i个显示信息；根据第i个第二图像显示K个视点图像的第i行。
PCT/CN2021/096720 2021-05-28 2021-05-28 多视点图像处理系统及其方法 WO2022246791A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2021/096720 WO2022246791A1 (zh) 2021-05-28 2021-05-28 多视点图像处理系统及其方法
US17/765,454 US20240114118A1 (en) 2021-05-28 2021-05-28 Multi-Viewpoint Image Processing System and Method Thereof
CN202180001321.1A CN115701313A (zh) 2021-05-28 2021-05-28 多视点图像处理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/096720 WO2022246791A1 (zh) 2021-05-28 2021-05-28 多视点图像处理系统及其方法

Publications (1)

Publication Number Publication Date
WO2022246791A1 true WO2022246791A1 (zh) 2022-12-01

Family

ID=84228363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/096720 WO2022246791A1 (zh) 2021-05-28 2021-05-28 多视点图像处理系统及其方法

Country Status (3)

Country Link
US (1) US20240114118A1 (zh)
CN (1) CN115701313A (zh)
WO (1) WO2022246791A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002295A (zh) * 2011-09-08 2013-03-27 上海易维视科技有限公司 多视点裸眼三维显示设备的二维图像显示方法及系统
CN109194948A (zh) * 2018-10-30 2019-01-11 安徽虚空位面信息科技有限公司 移动裸眼3d显示系统
JP2019220902A (ja) * 2018-06-22 2019-12-26 日本放送協会 多視点映像符号化装置およびそのプログラム、ならびに、多視点映像復号装置およびそのプログラム
CN111757088A (zh) * 2019-03-29 2020-10-09 刁鸿浩 一种分辨率无损的裸眼立体显示系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011119906A (ja) * 2009-12-02 2011-06-16 Sony Corp 画像処理装置および画像処理方法
JP2013114143A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 電気光学装置および電子機器
US11127115B2 (en) * 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002295A (zh) * 2011-09-08 2013-03-27 上海易维视科技有限公司 多视点裸眼三维显示设备的二维图像显示方法及系统
JP2019220902A (ja) * 2018-06-22 2019-12-26 日本放送協会 多視点映像符号化装置およびそのプログラム、ならびに、多視点映像復号装置およびそのプログラム
CN109194948A (zh) * 2018-10-30 2019-01-11 安徽虚空位面信息科技有限公司 移动裸眼3d显示系统
CN111757088A (zh) * 2019-03-29 2020-10-09 刁鸿浩 一种分辨率无损的裸眼立体显示系统

Also Published As

Publication number Publication date
CN115701313A (zh) 2023-02-07
US20240114118A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
Viola et al. Comparison and evaluation of light field image coding approaches
US11961431B2 (en) Display processing circuitry
US10249019B2 (en) Method and apparatus for mapping omnidirectional image to a layout output format
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
US20220368883A1 (en) System and method for generating light field images
KR102243120B1 (ko) 인코딩 방법 및 장치 및 디코딩 방법 및 장치
CN101668219B (zh) 3d视频通信方法、发送设备和系统
US20220394226A1 (en) Free viewpoint video generation and interaction method based on deep convolutional neural network
TWI413405B (zh) 同時顯示二維影像和三維影像之方法及相關系統
US8723920B1 (en) Encoding process for multidimensional display
CN103561255B (zh) 一种裸眼立体显示方法
US20230262208A1 (en) System and method for generating light field images
US7283665B2 (en) Encoding and decoding data to render 2D or 3D images
WO2022246791A1 (zh) 多视点图像处理系统及其方法
TWI603290B (zh) 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
WO2016004715A1 (zh) 显示处理系统、方法及电子设备
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
CN111406404B (zh) 获得视频文件的压缩方法、解压缩方法、系统及存储介质
US9641823B2 (en) Embedded light field display architecture to process and display three-dimensional light field data
CN104038726A (zh) 实现裸眼3d视频会议的方法
CN216086864U (zh) 一种多视点裸眼立体显示器和裸眼立体显示系统
CN115272440A (zh) 一种图像处理方法、设备及系统
CN108495111B (zh) 一种基于成像几何特征的立体元图像阵列编码方法
US20130021324A1 (en) Method for improving three-dimensional display quality
CN114827568B (zh) 基于神经网络算法的三维显示图像压缩编码方法及设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17765454

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942366

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202347028206

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/03/2024)