WO2020054152A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
WO2020054152A1
WO2020054152A1 PCT/JP2019/022514 JP2019022514W WO2020054152A1 WO 2020054152 A1 WO2020054152 A1 WO 2020054152A1 JP 2019022514 W JP2019022514 W JP 2019022514W WO 2020054152 A1 WO2020054152 A1 WO 2020054152A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
information
pixel
luminance value
image
Prior art date
Application number
PCT/JP2019/022514
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
康孝 平澤
武文 名雲
利昇 井原
哲平 栗田
楽公 孫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980058313.3A priority Critical patent/CN112655219B/zh
Priority to EP19859860.9A priority patent/EP3852375A4/en
Priority to US17/273,891 priority patent/US11930160B2/en
Priority to JP2020546697A priority patent/JP7276346B2/ja
Publication of WO2020054152A1 publication Critical patent/WO2020054152A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • This technology relates to an image processing apparatus, an image processing method, and a program, and can reduce the information amount of a polarization image.
  • a polarized image is acquired using an imaging unit and a polarizing filter.
  • a polarized image is acquired by an imaging unit having a pixel configuration including pixels having different polarization directions.
  • Non-Patent Literature 1 and Non-Patent Literature 2 normal line information is calculated by applying a polarization image in a plurality of polarization directions to a model formula.
  • an object of this technique is to provide an image processing apparatus, an image processing method, and a program that can perform compression processing and decoding processing suitable for a polarized image.
  • the first aspect of this technology is: An image processing apparatus including an information compression unit that reduces an information amount of at least polarization image information for each polarization pixel in a plurality of polarization directions in a polarization image having polarization pixels in a plurality of polarization directions and generates compressed image information. .
  • the information compression unit sets the reference image information based on the polarization image information of at least the plurality of reference polarization pixels in the polarization image having the polarization pixels in the plurality of polarization directions, and sets the reference polarization pixel in the polarization image. And difference information between the polarization image information for each polarization pixel and the reference image information. Further, the information compression unit reduces the information amount of the difference information generated for each polarization pixel in a plurality of polarization directions, and generates compressed image information including the reference image information and the difference information with the reduced information amount. For example, the information compression unit reduces the information amount of the difference information by making the bit width of the difference information smaller than the reference image information.
  • the reference image information generated by the information compression unit includes information indicating the luminance value of the reference polarization pixel for each color and each polarization direction, and the difference information has the same color and the same polarization direction as the luminance value of the reference polarization pixel.
  • the information includes information indicating a luminance value and a difference between a polarization pixel different from the polarization pixel.
  • the information compression section generates reference image information and difference information based on the property of polarization.
  • the reference image information generated by the information compression unit includes information indicating a reference average luminance value calculated for each color using luminance values of the reference polarization pixels in a plurality of polarization directions, and calculation of the average luminance value.
  • the information indicating the difference between the average luminance value calculated for each color and the reference average luminance value of the same color, and the difference between the luminance value of the polarization pixel different from the reference polarization pixel and the reference luminance value having the same color and the same polarization direction are indicated. Information may be included.
  • the reference image information generated by the information compression unit includes information indicating a reference average luminance value calculated for each color using the luminance values of the reference polarization pixels in a plurality of polarization directions, and the difference information is different from the reference polarization pixel.
  • the reference image information generated by the information compression unit includes information indicating a reference average luminance value calculated for each color using the luminance values of the reference polarization pixels in a plurality of polarization directions, and the difference information is different from the reference polarization pixel.
  • Information indicating the difference from the predicted value of the same polarization direction may be included.
  • the prediction value is calculated for each polarization direction based on the ratio between the average luminance value calculated for the pixel block of the polarization pixel different from the reference polarization pixel and the luminance value of the polarization pixel in the pixel block adjacent to the pixel block.
  • the reference image information generated by the information compression unit includes information indicating a non-polarized reference luminance value that is a luminance value of the reference normal pixel for each color, and an average luminance value. Includes information indicating a polarization reference luminance value that is a luminance value of a reference polarization pixel in a polarization direction specified in advance from a combination of polarization pixels in a polarization direction that can be calculated, and the difference information is a normal pixel different from the reference normal pixel.
  • the reference image information generated by the information compression unit includes information indicating a non-polarized reference luminance value that is a luminance value of the reference normal pixel for each color, and difference information. Is the combination of the difference between the luminance value of the normal pixel different from the reference normal pixel and the non-polarized reference luminance value of the same color, the combination of the normal pixel different from the reference normal pixel and the polarization pixel in the polarization direction for which the average luminance value can be calculated. And information indicating the difference between the luminance value ratio of the designated polarization pixel in the pixel block including the designated polarization pixel in the polarization direction designated in advance and the luminance value ratio of the designated polarization pixel in the adjacent pixel block.
  • the reference image information generated by the information compression unit includes information indicating a non-polarized reference luminance value that is a luminance value of the reference normal pixel for each color, and the difference information is The difference between the luminance value of the normal pixel different from the reference normal pixel and the unpolarized reference luminance value of the same color, and the combination of the normal pixel different from the reference normal pixel and the polarization pixel in the polarization direction for which the average luminance value can be calculated.
  • Information indicating a difference between the luminance value of the designated polarization pixel and the predicted value of the same polarization direction in the pixel block including the designated polarization pixel of the polarization direction designated in advance may be included. In this case, the predicted value is calculated for each polarization direction based on the ratio of the luminance value of the normal pixel different from the reference normal pixel to the luminance value of the designated polarization pixel in the pixel block adjacent to the pixel block.
  • the image processing apparatus further includes a characteristic information storage unit that stores characteristic information regarding acquisition of a polarization image having polarization pixels in a plurality of polarization directions, and the information compression unit uses the characteristic information stored in the characteristic information storage unit. Alternatively, compressed image information may be generated.
  • the information compression unit corrects the polarization image using the extinction ratio or the transmission axis transmittance, and after the correction.
  • the compressed image information is generated using the polarization image.
  • the information compression unit When the characteristic information indicates the polarization direction of the polarized illumination light used for acquiring the polarized image, the information compression unit generates the reference image information and the difference information based on the polarization direction of the polarized illumination light.
  • the second aspect of this technology is: An image processing method including reducing the amount of information for at least polarization image information for each polarization pixel in a plurality of polarization directions in a polarization image having polarization pixels in a plurality of polarization directions, and generating compressed image information in an information compression unit It is in.
  • the third aspect of this technology is: A program that causes a computer to execute a polarization image compression process, Procedure for acquiring the polarization image having polarization pixels in multiple polarization directions, A step of reducing the amount of information on the polarization image information for each of the polarization pixels in at least a plurality of polarization directions in the polarization image and generating compressed image information in the computer.
  • the program of the present technology is, for example, provided to a general-purpose computer capable of executing various program codes, in a computer-readable format, such as a storage medium and a communication medium, such as an optical disk, a magnetic disk, and a storage medium such as a semiconductor memory.
  • the program can be provided by a medium or a communication medium such as a network.
  • the fourth aspect of this technology is:
  • the information compression unit decodes the compressed image information generated by reducing the amount of information on at least the polarization image information for each polarization pixel in a plurality of polarization directions in a polarization image having polarization pixels in a plurality of polarization directions.
  • an image processing apparatus including an information decoding unit for generating the polarization image.
  • FIG. 4 is a diagram for describing acquisition of a polarization image.
  • FIG. 3 is a diagram illustrating a relationship between luminance and a polarization angle.
  • FIG. 1 is a diagram illustrating a first configuration of a polarization image processing system.
  • FIG. 3 is a diagram illustrating a configuration of a polarization imaging unit.
  • FIG. 3 is a diagram illustrating a polarization filter and a color filter of the image sensor.
  • 5 is a flowchart illustrating a first operation of the information compression unit in the first configuration.
  • FIG. 5 is a diagram for describing a first operation of the information compression unit in the first configuration. It is a flowchart which illustrated the 1st operation
  • FIG. 5 is a flowchart illustrating a second operation of the information compression unit in the first configuration.
  • FIG. 5 is a diagram for describing a second operation of the information compression unit in the first configuration. It is the flowchart which illustrated the 2nd operation
  • 9 is a flowchart illustrating a third operation of the information compression unit in the first configuration.
  • FIG. 9 is a diagram for explaining a third operation of the information compression unit in the first configuration.
  • 13 is a flowchart illustrating a third operation of the information decoding unit in the first configuration.
  • 13 is a flowchart illustrating a fourth operation of the information compression unit in the first configuration.
  • 15 is a flowchart illustrating a fourth operation of the information decoding unit in the first configuration.
  • 13 is a flowchart illustrating a fifth operation of the information compression unit in the first configuration. It is a figure for explaining the 5th operation of the information compression part in the 1st composition.
  • 15 is a flowchart illustrating a fifth operation of the information decoding unit in the first configuration.
  • 13 is a flowchart illustrating a sixth operation of the information compression unit in the first configuration.
  • FIG. 14 is a diagram for describing a sixth operation of the information compression unit in the first configuration.
  • 15 is a flowchart illustrating a sixth operation of the information decoding unit in the first configuration.
  • 13 is a flowchart illustrating a seventh operation of the information compression unit in the first configuration.
  • 15 is a flowchart illustrating a seventh operation of the information decoding unit in the first configuration.
  • FIG. 5 is a diagram illustrating a second configuration of the polarization image processing system. It is a figure for explaining an extinction ratio. It is a figure for explaining a transmission axis transmittance.
  • 13 is a flowchart illustrating a second operation of the information compression unit in the second configuration.
  • FIG. 14 is a diagram for describing a second operation of the information compression unit in the second configuration. It is the flowchart which illustrated operation
  • FIG. 1 is a diagram for describing acquisition of a polarization image.
  • the subject OB is illuminated using the light source LT, and the imaging unit CM takes an image of the subject OB via the polarizer PL.
  • the brightness of the subject OB changes according to the polarization direction of the polarizer PL.
  • the highest luminance is defined as Imax and the lowest luminance is defined as Imin.
  • the angle of the y-axis direction with respect to the x-axis when the polarization direction of the polarizer is rotated is defined as a polarization angle ⁇ pol.
  • the polarization direction of the polarizer returns to the original polarization state when rotated by 180 degrees around the z-axis direction, and has a period of 180 degrees.
  • the luminance I observed when the polarization direction is rotated can be expressed as in Expression (1).
  • FIG. 2 illustrates the relationship between the luminance and the polarization angle.
  • the polarization angle ⁇ pol is apparent when the polarized image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth ⁇ are variables. Therefore, by performing fitting to the polarization model formula shown in Expression (1) using the brightness of the polarized image having three or more polarization directions, it is possible to obtain a desired value based on the polarization model formula showing the relationship between the brightness and the polarization angle. Of the azimuth angle ⁇ can be estimated.
  • the luminance value when the polarization direction is 0 degrees is “I0”
  • the luminance value when the polarization direction is 45 degrees is “I45”
  • the luminance value when the polarization direction is 90 degrees is “I90”
  • the relationship of the equation (2) holds between the average luminance value Imean and the luminance value in each polarization direction.
  • FIG. 3 illustrates a first configuration of a polarization image processing system using the image processing device of the present technology.
  • the polarization image processing system 10 includes a polarization imaging unit 20 and an information compression unit 40. Further, in the polarization image processing system 10, an information decoding unit 70 and a polarization information use unit 80 may be provided. In the polarization image processing system 10, the polarization compression information generated by the information compression unit 40 is supplied to the information decoding unit 70 via the recording medium 50 or the transmission path 60.
  • the polarization imaging unit 20 acquires a plurality of polarization images having different polarization directions.
  • FIG. 4 illustrates the configuration of the polarization imaging unit.
  • a polarization filter 202 having a pixel configuration in a plurality of polarization directions is arranged on an incident light surface of the image sensor 201, and the image sensor 201 acquires a polarization image.
  • a polarization filter 202 and a color filter 203 having a pixel configuration for each color component are arranged on the incident light surface of the image sensor 201, and the image sensor 201 may acquire a color polarization image.
  • FIG. 5 illustrates a polarization filter and a color filter of the image sensor.
  • FIGS. 5A and 5B illustrate a polarization pattern of a polarization filter.
  • the polarizing filter only needs to be able to extract linearly polarized light from the subject light, and uses, for example, a wire grid or a photonic liquid crystal.
  • FIG. 5A illustrates a plurality of polarization directions (for example, 0 degree, 45 degrees, 90 degrees, and so on) in which one pixel is used as a polarization component unit so that, for example, fitting to the polarization model equation shown in Equation (1) can be performed. This illustrates a case where pixels of 135 degrees (four directions) are provided.
  • FIG. 135 degrees four directions
  • FIGS. 5A and 5B illustrates a case where a 2 ⁇ 2 pixel unit is used as a polarization component unit.
  • the polarization pattern of the polarization filter is not limited to the arrangement shown in FIGS. 5A and 5B, and a non-polarized pixel may be provided for each polarization component.
  • FIG. 5C illustrates a polarization filter illustrated in FIG. 5A and a color filter in which, for example, red, blue, and green (RGB) color components are arranged in a Bayer array using 2 ⁇ 2 pixels as one color component unit. Is used as an example.
  • FIG. 5D shows the polarization filter shown in FIG. 5B and a Bayer arrangement of, for example, red, blue, and green (RGB) color components using 1 ⁇ 1 pixel as one color component unit. The case where a color filter is used is illustrated.
  • FIG. 5E shows a polarization filter shown in FIG.
  • FIG. 5B shows a color filter in which, for example, red, blue, and green (RGB) color components are arranged in a Bayer array using 1 ⁇ 1 pixel as one color component unit.
  • RGB red, blue, and green
  • FIG. 5E shows a polarization filter shown in FIG. 5B and a color filter in which, for example, red, blue, and green (RGB) color components are arranged in a Bayer array using 1 ⁇ 1 pixel as one color component unit.
  • a pixel area of 2 ⁇ 2 pixels includes pixels of the same color and four polarization directions.
  • the polarization direction of the horizontal polarization component unit has an angle difference of 90 degrees with the 2 ⁇ 2 pixel unit as the polarization component unit, and the polarization direction of the vertical polarization component unit is There is a positional difference of one pixel in the horizontal direction with an angle difference of 45 degrees.
  • the polarization direction of the vertical polarization component unit has an angle difference of 90 degrees with the 2 ⁇ 2 pixel unit as the polarization component unit, and the polarization direction of the horizontal polarization component unit is There is a position difference of one pixel in the vertical direction with an angle difference of 45 degrees.
  • FIG. 5H shows an example in which the polarization component unit is a 2 ⁇ 2 pixel unit, and one polarization component unit is composed of red, blue, green, and white pixels.
  • the polarization component unit is a 2 ⁇ 2 pixel unit, one polarization component unit is a red, blue, green, and white pixel, and the polarization component unit is an adjacent 2 ⁇ 2 pixel.
  • a polarization filter including a non-polarized pixel for each polarization component and a color filter may be used in combination.
  • the fitting to the polarization model expression shown in the equation (1) is not limited to the case of using polarization images of three or more polarization directions, for example, the case of using polarization images of four different polarization directions, but also uses a non-polarization image and a polarization image of two polarization directions. You may.
  • the sensitivity of a polarized pixel is ideally (1/2) times that of a normal pixel that is not polarized, and the average luminance value of the polarized pixel is 1/2 times the luminance value Inp of the normal pixel. Further, when the polarization directions are set to four directions at intervals of 45 degrees, for example, as shown in FIG.
  • the information compression unit 40 performs a compression process on a polarization image having pixels in a plurality of polarization directions acquired by the polarization imaging unit 20.
  • the information compression unit 40 reduces the amount of information on the polarization image information for each of the polarization pixels in at least a plurality of polarization directions selected in the acquired polarization image to generate compressed image information.
  • the information compression section 40 outputs the generated compressed image information to the information decoding section 70 via the recording medium 50 or the transmission path 60. The details of the operation of the information compression unit 40 will be described later.
  • the information decoding unit 70 performs a decoding process corresponding to the compression process of the information compression unit 40, and generates a polarized image before the compression process from the compressed image information acquired via the recording medium 50 or the transmission path 60.
  • the information decoding unit 70 outputs the generated polarization image to the polarization information using unit 80.
  • the polarization information utilization unit 80 detects a normal direction and a reflection component of the subject based on the polarization image generated by the information decoding unit 70, generates a high-precision depth map, subjects recognition processing, and removes a specular reflection component. , VR (Virtual Reality) environment, and the like.
  • the information compression unit sets the reference image information based on the polarization image information of the reference polarization pixel in the polarization image, and sets the polarization image information and the reference image information of each polarization pixel selected differently from the reference polarization pixel in the polarization image. Difference information indicating the difference is generated, the amount of difference information generated for each polarization pixel is reduced, and compressed image information including the reference image information and the difference information with the reduced information amount is generated.
  • the information decoding unit performs a decoding process corresponding to the compression process of the information compression unit based on the reference image information and the difference information of the compressed image information generated by the information compression unit to generate a luminance value for each pixel of the polarization image. I do.
  • the processing performed by the information compression unit 40 and the information decoding unit 70 may be either lossless compression or irreversible compression.
  • reference image information including information indicating the luminance value of the reference polarization pixel for each color and polarization direction, and the same color and the same polarization direction as the luminance value of the reference polarization pixel.
  • difference information including information indicating a luminance value and a difference of a polarization pixel different from the reference polarization pixel is generated, and the information amount of the difference information generated for each polarization pixel is reduced.
  • FIG. 6 is a flowchart illustrating a first operation of the information compression unit in the first configuration.
  • the information compression unit acquires a polarization image.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST2.
  • the information compression section sets a reference value and calculates a difference value.
  • the information compression unit 40 sets a reference polarization pixel for each of the same color and same polarization pixels in the polarization image, and sets the luminance value of the reference polarization pixel to the reference luminance value. Further, the information compression unit 40 calculates a difference value between the luminance value of the polarized pixel having the pixel order later than the reference polarized pixel and the reference luminance value of the same color and the same polarization. For example, the information compression unit 40 sets a reference luminance value with the first pixel as a reference polarization pixel for each of different colors and different polarization directions. Further, a difference value between the luminance value of the polarization pixel and the reference luminance value of the same color and the same polarization is calculated, and the process proceeds to step ST3.
  • step ST3 the information compression unit reduces the information amount of the difference value.
  • the information compression unit 40 sets the bit width of the difference value smaller than the bit width of the reference value, and proceeds to step ST4.
  • step ST4 the information compression section generates compressed image information.
  • the information compression unit 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST2 as reference image information and the difference value obtained by reducing the amount of information in step ST3 as difference information.
  • FIG. 7 is a diagram for explaining a first operation of the information compression unit in the first configuration.
  • 7A illustrates a case where the polarization image acquired by the polarization imaging unit is a monochrome polarization image
  • FIG. 7B illustrates a case where the polarization image acquired by the polarization imaging unit is a color polarization image. are doing.
  • the information compression unit 40 uses the polarization pixel P (0,0) as the reference polarization pixel because the polarization direction of the polarization pixel P (0,0) is the first pixel of 0 degree.
  • the luminance value is set as a reference luminance value.
  • the information compression unit 40 uses the polarization pixel P (1,0) as the reference polarization pixel to set the luminance value to the reference luminance. Value.
  • the information compression unit 40 calculates the difference between the luminance value of the polarization pixel P (2,0) and the reference luminance value of the same polarization. Calculate the difference value. Further, since the polarization pixel P (3,0) is the second pixel in the polarization direction of 135 degrees, the information compression unit 40 determines the luminance value of the polarization pixel P (3,0) and the reference luminance value of the same polarization. Is calculated.
  • the information compression unit 40 determines the difference between the luminance value of the polarization pixel different from the reference polarization pixel and the reference luminance value of the same polarization using the luminance value of the reference polarization pixel as the reference luminance value for the pixel on the first line. Calculate the value.
  • the information compression unit 40 determines the luminance value as the reference polarization pixel using the polarization pixel P (0,1) as the reference luminance pixel. Value.
  • the information compression unit 40 uses the polarization pixel P (1,1) as the reference polarization pixel to set the luminance value to the reference luminance. Value.
  • the information compression unit 40 calculates a difference value between the luminance value of the polarization pixel and the reference luminance value of the same polarization for the subsequent horizontal polarization pixel.
  • the information compression unit 40 is a polarization pixel of the polarization pixel P (0,2) whose polarization direction is 0 degree, and a reference luminance value is set for the polarization direction of 0 degree. , 2) and the reference value of the same polarization are calculated.
  • the information compression unit 40 calculates a difference value in the same manner as below, and when the reference luminance value, which is the luminance value of the reference polarization pixel in each of the four polarization directions, is m bits, calculates the difference value calculated for the other polarization pixels.
  • the amount of difference information is reduced by reducing the bit width to n bits (n ⁇ m bits). Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • the information compression unit 40 sets a luminance value to a reference luminance value using each polarization pixel of the green pixel block BG (0,0) having a polarization direction of 2 ⁇ 2 pixels different from each other as a reference polarization pixel. Further, the information compression unit 40 determines the luminance value of the polarization pixel and the same polarization reference for the green pixel blocks BG (1,0), BG (1,0), BG (0,1), BG (1,1). A difference value from the luminance value is calculated.
  • the information compression unit 40 sets a reference value and calculates a difference value for the green polarization pixel, the red polarization pixel, and the blue polarization pixel. Further, when the reference luminance value, which is the luminance value of the reference polarization pixel for each of the four polarization directions, is m bits, the information compression unit 40 calculates the difference value calculated for the other polarization pixels as n bits (n ⁇ m bits). By reducing the bit width, the amount of difference information is reduced. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the color polarization image.
  • FIG. 8 is a flowchart illustrating a first operation of the information decoding unit in the first configuration.
  • the information decoding section acquires the compressed image information.
  • the information decoding unit 70 acquires the compressed image information generated by the information compression unit 40 via the recording medium 50 or the transmission path 60, and proceeds to step ST12.
  • step ST12 the information decoding unit decodes the difference information.
  • the information decoding unit 70 decodes the luminance value of the polarization pixel by adding the difference value indicated by the difference information and a reference luminance value that is the same color and polarization as the difference value.
  • the amount of information of the polarization image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image.
  • Second operation of information compression section and information decoding section in first configuration a compression process is performed based on the property of polarization shown in the above equation (2). That is, the information compression unit specifies in advance a combination of two polarization directions (for example, a set of 0 degrees and 90 degrees and a set of 45 degrees and 135 degrees) capable of calculating the average luminance value and the average luminance value.
  • a combination of two polarization directions for example, a set of 0 degrees and 90 degrees and a set of 45 degrees and 135 degrees
  • the luminance value and the average luminance value of the polarization pixel of the polarization pixel (designated polarization pixel) of the polarization direction for example, the polarization value of the designated polarization pixel whose polarization direction is 0 degree or 135 degrees, are used, the polarization pixel of the other polarization direction (dependent polarization pixel) ), The luminance values of the dependent polarization pixels whose polarization directions are 45 degrees and 90 degrees can be calculated.
  • the reference image information generated by the second operation of the information compression unit includes information indicating a reference average luminance value calculated for each color using the luminance values of the reference polarization pixels in a plurality of polarization directions, and calculation of the average luminance value.
  • information indicating a reference luminance value that is a luminance value of a reference polarization pixel in a polarization direction specified in advance from a combination of polarization pixels in possible polarization directions and the difference information is a luminance value of a polarization pixel different from the reference polarization pixel.
  • FIG. 9 is a flowchart illustrating a second operation of the information compression unit in the first configuration.
  • the information compression unit acquires a polarization image.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST22.
  • step ST22 the information compression section calculates an average luminance value.
  • the information compression unit 40 calculates an average luminance value for each color based on the luminance values of neighboring polarized pixels of the same color and different polarization directions, and proceeds to step ST23.
  • the information compression unit sets a reference value and calculates a difference value.
  • the information compression unit 40 sets a polarization pixel of the same color and a different polarization direction used for calculating one average luminance value as a reference polarization pixel for each color, and calculates the average calculated for each color using the luminance value of the reference polarization pixel. Set the luminance value to the reference average luminance value. Further, the information compression unit 40 sets the designated polarization pixel as a reference polarization pixel for each color, and sets the luminance value of the reference polarization pixel for each color to the reference luminance value.
  • the information compression unit 40 calculates a difference value between the average luminance value calculated using the luminance value of the polarization pixel having a pixel order later than the reference polarization pixel and the reference luminance value of the same color, and a pixel value higher than the reference polarization pixel.
  • a difference value between the luminance value of the polarization pixel whose order is later and the reference luminance value of the same color and the same polarization is calculated, and the process proceeds to step ST24.
  • step ST24 the information compression section reduces the information amount of the difference value.
  • the information compression unit 40 sets the bit width of the difference value smaller than the bit width of the reference value (the reference average luminance value and the reference luminance value), and proceeds to step ST25.
  • step ST25 the information compression section generates compressed image information.
  • the information compression unit 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST23 as the reference image information and the difference value obtained by reducing the information amount in step ST24 as the difference information.
  • FIG. 10 is a diagram for explaining a second operation of the information compression unit in the first configuration.
  • 10A shows a case where the polarization image acquired by the polarization imaging unit is a black and white polarization image
  • FIGS. 10B and 10C show that the polarization image acquired by the polarization imaging unit is a color polarization image. The case is illustrated.
  • the information compression unit 40 sets the 0- and 135-degree polarized pixels as the designated polarized pixels in the set of 0 and 90 degrees and the pair of 45 and 135 degrees and designates the first designated polarized light.
  • the luminance values of the polarization pixels P (0,0) and P (1,0), which are pixels, are set as reference luminance values. Since the polarization pixel P (2,0) is the second pixel in the polarization direction of 0 degrees, the information compression unit 40 calculates the difference between the luminance value of the polarization pixel P (2,0) and the reference luminance value of the same polarization. Calculate the value.
  • the information compression unit 40 calculates the luminance value of the polarization pixel P (3,0) and the reference luminance value of the same polarization. Is calculated. Similarly, the information compression unit 40 calculates a difference value between the luminance value of the designated polarization pixel different from the reference polarization pixel and the reference luminance value of the same polarization for the pixels on the first line.
  • the polarization pixels P (0,0), P (1,0), P (0,1), P (1,1) constituting the pixel block B (0,0) are used. Since the first average luminance value can be calculated using the luminance value of 1), the polarization pixels P (0,0), P (1,0), P (0,1), and P (1,1) are used as the reference polarization. As a pixel, the calculated average luminance value is set as a reference average luminance value. Further, the average luminance is calculated using the luminance values of the polarization pixels P (2,0), P (3,0), P (2,1), and P (3,1) constituting the pixel block B (1,0).
  • the information compression unit 40 Since the values can be calculated, the average brightness value and the reference average brightness value calculated using the brightness values of P (2,0), P (3,0), P (2,1), P (3,1) Is calculated. Since the polarization pixels P (0,1), P (1,1), P (2,1) and P (3,1) on the second line are dependent polarization pixels, the information compression unit 40 Does not calculate the difference value.
  • the information compression unit 40 determines the difference between the average luminance value calculated based on the luminance values of the polarization pixels in four different polarization directions from the reference polarization pixel and the reference average luminance value. And a difference value between the luminance value of the designated polarization pixel and the reference luminance value of the same polarization. Further, when the reference average luminance value and the reference luminance value of the designated polarization pixel are m bits, the information compression unit 40 reduces the bit width of the calculated difference value to n bits (n ⁇ m bits), thereby reducing the difference information. Reduce the amount of information. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image. Further, since information on the dependent polarization pixels is not included in the compressed image information, the information amount can be efficiently reduced.
  • the process described with reference to FIG. 10A is performed for each color.
  • the information compression unit 40 uses the brightness values of the green pixel block BG (0,0), with each polarization pixel of the green pixel block BG (0,0) having different polarization directions of 2 ⁇ 2 pixels as a reference polarization pixel.
  • the calculated average luminance value is set as the reference average luminance value.
  • the information compression unit 40 sets the luminance values of the 0-degree polarization pixels and the 135-degree polarization pixels in the green pixel block BG (0,0) to the reference luminance values.
  • the information compression unit 40 calculates an average luminance value for the green pixel blocks BG (1,0), BG (0,1), and BG (1,1) and calculates a difference value from the reference average luminance value. I do. Further, the information compression unit 40 determines the luminance values of the polarization pixels of the green pixel blocks BG (1,0), BG (0,1), and BG (1,1) whose polarization direction is 0 degree and 135 degree and the same polarization. A difference value from the reference luminance value is calculated.
  • the information compressing unit 40 sets the difference between the average luminance value, the polarization pixels having the polarization directions of 0 degree and 135 degrees, and the reference luminance value for the green polarization pixel, the red polarization pixel, and the blue polarization pixel. Calculate the value. Further, when the reference average luminance value and the reference luminance value of the designated polarization pixel are m bits, the information compression unit 40 reduces the bit width of the calculated difference value to n bits (n ⁇ m bits), thereby reducing the difference information. Reduce the amount of information. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image. Further, since information on the dependent polarization pixels is not included in the compressed image information, the information amount can be efficiently reduced.
  • the information compression unit 40 calculates the luminance values of the polarization pixels P (0,0), P (2,0), P (0,2), and P (2,2). Can be used to calculate the initial average luminance value of the green polarization pixel, so that the polarization pixels P (0,0), P (2,0), P (0,2), P (2,2) are used as reference polarization pixels. , And the calculated average luminance value is set as a reference average luminance value. In addition, the luminance value is set as a reference, with the polarization pixel P (0,0) having a polarization direction of 0 degree and the polarization pixel P (2,0) having a polarization direction of 135 degrees as a reference polarization pixel.
  • the difference value between the average luminance value calculated from the pixel values of four polarization pixels of the same color and different polarization directions separated by one pixel in the horizontal direction and the vertical direction and the reference average luminance value, and the polarization directions are 0 degrees and 135 degrees
  • a difference value between the luminance value of the designated polarization pixel, which is the degree, and the reference luminance value in the corresponding polarization direction is calculated.
  • the average luminance value and the designated polarization pixels having the polarization directions of 0 degree and 135 degrees and the reference values (the reference average luminance value and the reference luminance value) for the luminance value are set. The difference value is calculated.
  • the information compression unit 40 reduces the calculated difference value to n bits (n ⁇ m bits), thereby reducing the bit width. Reduce the amount of information. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image. Further, since information on the dependent polarization pixels is not included in the compressed image information, the information amount can be efficiently reduced.
  • polarization pixels having four polarization directions (for example, polarization pixels P (0,0), P (1,0), P (2,0), P (3,0) If)) is a pixel block and the pixel arrangement is such that the pixel blocks are arranged in the line direction, the difference value of the average luminance value and the difference value of the viewpoint polarization pixel can be calculated for each line.
  • FIG. 11 is a flowchart illustrating a second operation of the information decoding unit in the first configuration.
  • the information decoding unit acquires the compressed image information.
  • the information decoding unit 70 acquires the compressed image information generated by the information compression unit 40 via the recording medium 50 or the transmission path 60, and proceeds to step ST32.
  • step ST32 the information decoding unit decodes the difference information.
  • the information decoding unit 70 adds the difference value indicated by the difference information and a reference value (a reference polarization luminance value and a reference luminance value) that is the same color and the same polarization as the difference value, and calculates the average luminance value and the designated polarization pixel.
  • the luminance value is decoded, and the process proceeds to step ST33.
  • step ST33 the information decoding unit calculates the luminance value of the dependent polarization pixel.
  • the information decoding unit 70 calculates the luminance value of the dependent polarization pixel from the average luminance value obtained in step ST32 and the luminance value of the designated polarization pixel.
  • the information amount of the polarization image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image. Further, since information on the dependent polarization pixels is not included in the compressed image information, the information amount can be efficiently reduced.
  • the reference image information generated by the third operation of the information compression unit includes information indicating the reference average luminance value calculated for each color using the luminance values of the reference polarization pixels in a plurality of polarization directions.
  • the information includes information indicating the difference between the average luminance value calculated for each color using the luminance values of the polarization pixels in a plurality of polarization directions different from the reference polarization pixel and the reference average luminance value of the same color, and a polarization pixel different from the reference polarization pixel.
  • FIG. 12 is a flowchart illustrating a third operation of the information compression unit in the first configuration.
  • the information compression section acquires a polarization image.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST42.
  • step ST42 the information compression unit calculates an average luminance value.
  • the information compression unit 40 calculates an average luminance value for each color based on the luminance values of polarized pixels of the same color and different polarization directions located in the vicinity, and proceeds to step ST43.
  • step ST43 the information compression unit calculates the ratio of the luminance value for each polarization direction.
  • the information compression unit 40 calculates the ratio of the luminance value for each polarization direction from the luminance values of the polarization images in the multiple polarization directions used for calculating the average luminance value, and proceeds to step ST44.
  • the information compression section sets a reference value and calculates a difference value.
  • the information compression unit 40 sets a polarization pixel of the same color and a different polarization direction used for calculating one average luminance value as a reference polarization pixel for each color, and calculates the average calculated for each color using the luminance value of the reference polarization pixel. Set the luminance value to the reference average luminance value. Thereafter, the information compression unit 40 calculates a difference value between the average luminance value calculated using the luminance values of the polarization pixels whose pixel order is later than the reference polarization pixel and the reference average luminance value of the same color.
  • the information compression unit 40 calculates the average luminance value using the ratio of the pixel block adjacent to the pixel block in a plurality of polarization directions used for calculating the average luminance value whose difference value from the reference average luminance value is calculated.
  • the difference value between the ratio of the pixel blocks in the plurality of polarization directions and the ratio of the adjacent pixel blocks used in the above is calculated for each polarization direction, and the process proceeds to step ST45.
  • step ST45 the information compression unit reduces the information amount of the difference value.
  • the information compression unit 40 sets the bit width of the difference value smaller than the bit width of the reference value, and proceeds to step ST46.
  • step ST46 the information compression section generates compressed image information.
  • the information compression section 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST44 as the reference image information and the difference value obtained by reducing the information amount in step ST45 as the difference information.
  • FIG. 13 is a diagram for explaining a third operation of the information compression unit in the first configuration.
  • the information compression unit 40 determines the luminance value of the green pixel block BG (0,0) by using each polarization pixel of the green pixel block BG (0,0) having a polarization direction of 2 ⁇ 2 pixels different from each other as a reference polarization pixel.
  • the calculated average luminance value is set as a reference average luminance value.
  • the information compression unit 40 calculates a difference value between the average luminance value of the green pixel block BG (1,0) and the reference average luminance value.
  • the information compression unit 40 calculates the ratio of the luminance values of the polarized pixels of the blue pixel block BB (0,0) adjacent to the green pixel block BG (1,0). For example, the luminance value of the blue polarization pixel whose polarization direction is 0 degree is “IB0”, and the luminance values of each blue polarization pixel whose polarization direction is 45 degrees, 90 degrees, and 135 degrees are “IB45”, “IB90”, and “IB135”. ".
  • the ratio of the luminance values for each polarization direction calculated as described above is a value normalized so that the sum of the ratios is “1”.
  • the information compression unit 40 calculates the ratios rG0, rG45, rG90, and rG135 of the luminance values of the polarization pixels of the green pixel block BG (1,0), and calculates the difference value between the ratio and the ratio of the blue pixel block BB (0,0). Is calculated for each polarization direction.
  • the information compression unit 40 calculates the average brightness value and the reference average brightness value calculated based on the brightness values of the polarization pixels different from the reference polarization pixel and the polarization pixels in four different polarization directions.
  • the difference value and the difference value between the ratio of the luminance values of the polarization pixels in the four polarization directions and the ratio of the adjacent pixel blocks are calculated. Similar processing is performed for the red pixel block and the blue pixel block.
  • the information compression unit 40 reduces the calculated average luminance value difference value to a bit width of n bits (n ⁇ m bits). Further, since the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the difference value of the ratio is small, and the difference value of the ratio is set to a bit width smaller than m bits or n bits, thereby obtaining difference information. Of information can be further reduced. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • FIG. 13 illustrates the case where the polarization pixels are red, green, and blue. However, when white polarization pixels are included, compression processing may be performed in the same manner as the above processing.
  • FIG. 14 is a flowchart illustrating a third operation of the information decoding unit in the first configuration.
  • the information decoding unit acquires the compressed image information.
  • the information decoding unit 70 acquires the compressed image information generated by the information compression unit 40 via the recording medium 50 or the transmission path 60, and proceeds to step ST52.
  • step ST52 the information decoding unit decodes the difference information.
  • the information decoding unit 70 calculates the average luminance value by adding the difference value of the average luminance value indicated by the difference information and the reference average luminance value. Further, the information decoding unit 70 adds the difference value of the ratio indicated by the difference information and the ratio of the adjacent polarization block for each polarization direction, and calculates the ratio of the luminance value of the polarization pixel in the pixel block for which the average luminance value has been calculated. Decryption proceeds to step ST53.
  • step ST53 the information decoding unit calculates a luminance value.
  • the information decoding unit 70 calculates the luminance value of the polarization pixel for each polarization direction in the pixel block whose average luminance value has been calculated from the ratio of the average luminance value obtained in step ST52 and the luminance value for each polarization direction.
  • the information amount of the polarization image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image. Further, since the difference information is generated by using the polarization characteristic that the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the information amount of the difference information can be reduced efficiently.
  • the reference image information generated by the fourth operation of the information compression unit includes information indicating a reference average luminance value calculated for each color using the luminance values of the reference polarization pixels in a plurality of polarization directions.
  • the prediction value includes information indicating a difference between the luminance value of the polarization pixel and the prediction value in the same polarization direction, and the prediction value is adjacent to the pixel block with the average luminance value calculated in the pixel block of the polarization pixel different from the reference polarization pixel. It is calculated for each polarization direction based on the ratio of the luminance values of the polarization pixels in the pixel block.
  • FIG. 15 is a flowchart illustrating a fourth operation of the information compression unit in the first configuration.
  • the information compression section acquires a polarization image.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST62.
  • step ST62 the information compression section calculates an average luminance value.
  • the information compression unit 40 calculates an average luminance value for each color based on the luminance values of neighboring polarized pixels of the same color and different polarization directions, and proceeds to step ST63.
  • step ST63 the information compression unit calculates the ratio of the luminance value for each polarization direction.
  • the information compression unit 40 calculates the ratio of the luminance value for each polarization direction from the luminance values of the polarization images in the multiple polarization directions used for calculating the average luminance value, and proceeds to step ST64.
  • step ST64 the information compression unit calculates a predicted value.
  • the information compression unit 40 calculates a predicted value for each polarization direction based on the ratio between the average luminance value of the pixel block and the luminance value of the adjacent pixel block, and proceeds to step ST65.
  • the information compression section sets a reference value and calculates a difference value.
  • the information compression unit 40 sets a polarization pixel of the same color and a different polarization direction used for calculating one average luminance value as a reference polarization pixel for each color, and calculates the average calculated for each color using the luminance value of the reference polarization pixel. Set the luminance value to the reference average luminance value. Thereafter, the information compression unit 40 calculates a difference value between the average luminance value calculated using the luminance values of the polarization pixels whose pixel order is later than the reference polarization pixel and the reference average luminance value of the same color.
  • the information compression unit 40 uses the average luminance value calculated as the difference value from the reference average luminance value and the ratio of the pixel block adjacent to the pixel block in the plurality of polarization directions used for calculating the average value, Calculate the predicted value. Further, the information compression unit 40 calculates, for each polarization direction, a difference value between the luminance value of the pixel block in the plurality of polarization directions used for calculating the average luminance value and the predicted value, and proceeds to step ST66.
  • step ST66 the information compression unit reduces the information amount of the difference value.
  • the information compression unit 40 sets the bit width of the difference value smaller than the bit width of the reference average luminance value, and proceeds to step ST66.
  • step ST67 the information compression section generates compressed image information.
  • the information compression unit 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST65 as the reference image information and the difference value obtained by reducing the information amount in step ST66 as the difference information.
  • the information compression unit 40 determines the luminance value of the green pixel block BG (0,0) by using each polarization pixel of the green pixel block BG (0,0) having a polarization direction of 2 ⁇ 2 pixels different from each other as a reference polarization pixel.
  • the calculated average luminance value is set as a reference average luminance value.
  • the information compression unit 40 calculates a difference value between the average luminance value of the green pixel block BG (1,0) and the reference average luminance value.
  • the ratios rB45, rB90, and rB135 of the luminance values of the blue polarized pixels having the polarization directions of 45 degrees, 90 degrees, and 135 degrees are calculated, and the ratios rB0, rB45, rB90, and rB135 are used to calculate the predicted value.
  • the ratio of the luminance values for each polarization direction calculated as described above is a value normalized so that the sum of the ratios is “1”.
  • the information compression unit 40 calculates a predicted value IGd0 having a polarization direction of 0 degree using the average luminance value IGmean of the green pixel block BG (1,0) and the ratio rB0 of the adjacent blue pixel block BB (0,0). I do.
  • the information compression unit 40 uses the ratios rB45, rB90, and rB135 of the average luminance value IGmean of the green pixel block BG (1,0) and the adjacent blue pixel block BB (0,0) for each polarization direction.
  • the predicted values IGd45, IGd90 and IGd135 are calculated.
  • the information compression unit 40 calculates a difference value between the luminance value of the polarization pixel of the green pixel block BG (1,0) and the predicted value of the same polarization for each polarization direction.
  • the information compression unit 40 determines the difference value between the average luminance value calculated based on the luminance values of the polarization pixels in four polarization directions different from the reference polarization pixel and the reference average luminance value, and A difference value between the luminance value of the polarization pixel in the polarization direction and the predicted value of the same polarization is calculated. Similar processing is performed for the red pixel block and the blue pixel block.
  • the information compression unit 40 reduces the calculated average luminance value difference value to a bit width of n bits (n ⁇ m bits).
  • n bits bit width of the ratio of the luminance value for each polarization direction
  • the difference between the predicted value and the luminance value calculated using the ratio is small, and the difference between the predicted value and the luminance value is small.
  • the bit width smaller than m bits or n bits, the amount of difference information can be further reduced. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • FIG. 13 illustrates the case where the polarization pixels are red, green, and blue. However, when white polarization pixels are included, compression processing may be performed in the same manner as the above processing.
  • FIG. 16 is a flowchart illustrating a fourth operation of the information decoding unit in the first configuration.
  • the information decoding unit acquires the compressed image information.
  • the information decoding unit 70 acquires the compressed image information generated by the information compression unit 40 via the recording medium 50 or the transmission path 60, and proceeds to step ST72.
  • step ST72 the information decoding unit decodes the difference information.
  • the information decoding unit 70 decodes the average luminance value by adding the difference value indicated by the difference information and a reference value (reference average luminance value) that is the same color and polarization as the difference value, and proceeds to step ST73.
  • step ST73 the information decoding unit calculates a predicted value.
  • the information decoding unit 70 calculates a prediction value for each polarization direction from the ratio between the average luminance value obtained in step ST72 and the luminance value of the adjacent pixel block, and proceeds to step ST74.
  • step ST74 the information decoding unit calculates a luminance value.
  • the information decoding unit 70 adds the difference value obtained in step ST52 and the prediction value calculated in step ST73 for each polarization direction, and calculates the luminance value of the polarization pixel for each polarization direction in the pixel block for which the average luminance has been calculated. calculate.
  • the information amount of the polarization image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, the polarized image can be efficiently delivered. In addition, since the difference information is generated using the polarization characteristic that the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the information amount of the difference information can be efficiently reduced.
  • the luminance value of the normal pixel indicates twice the average luminance value. Therefore, the reference value is set and the difference value is calculated using the luminance values of the normal pixel and the designated polarization pixel, and the luminance value of the dependent polarization pixel is calculated from the luminance values of the normal pixel and the designated polarization pixel at the time of decoding.
  • the reference image information generated by the fifth operation of the information compression unit includes information indicating a non-polarization reference luminance value that is a luminance value of a reference normal pixel for each color and a polarization direction in which an average luminance value can be calculated.
  • the difference information is a non-polarized light having the same color as the luminance value of the normal pixel different from the reference normal pixel.
  • the information includes a difference between the reference luminance value and information indicating a difference between a luminance value of a polarization pixel different from the reference polarization pixel and a polarization pixel having the same polarization direction and a reference luminance value of the same polarization direction.
  • FIG. 17 is a flowchart illustrating a fifth operation of the information compression unit in the first configuration.
  • the information compression unit acquires a polarization image including a polarization pixel and a normal pixel.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST82.
  • the information compression unit sets a reference value for the polarization pixel and the normal pixel and calculates a difference value.
  • the information compression unit 40 sets a reference polarization pixel for each of the same color and same polarization pixels in the polarization image, and sets the luminance value of the reference polarization pixel to the reference luminance value. Further, a reference normal pixel is set for each color of the normal pixel, and the luminance value of the reference normal pixel is set to a non-polarization reference luminance value.
  • the information compression unit 40 calculates a difference value between the luminance value of the polarized pixel having the pixel order later than the reference polarized pixel and the reference luminance value of the same color and the same polarization. For example, the information compression unit 40 sets a reference luminance value with the first pixel as a reference polarization pixel for each of different colors and different polarization directions. Further, a difference value between the luminance value of the subsequent polarization pixel and the reference luminance value of the same color and the same polarization is calculated. Further, the information compression unit 40 calculates a difference value between the luminance value of the normal pixel whose pixel order is later than the reference normal pixel and the non-polarization reference luminance value of the same color.
  • the information compression unit 40 sets a non-polarization reference luminance value with the first normal pixel as a reference normal pixel for each color. Further, a difference value between the luminance value of the normal pixel and the non-polarization reference luminance value of the same color is calculated, and the process proceeds to step ST83.
  • step ST83 the information compression unit reduces the information amount of the difference value.
  • the information compressing section 40 makes the bit width of the difference value smaller than the bit width of the reference value (the reference luminance value and the non-polarization reference luminance value), and proceeds to step ST84.
  • step ST84 the information compression section generates compressed image information.
  • the information compression section 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST82 as the reference image information and the difference value obtained by reducing the information amount in step ST83 as the difference information.
  • FIG. 18 is a diagram for describing a fifth operation of the information compression unit in the first configuration.
  • 18A illustrates a case where the polarization image acquired by the polarization imaging unit is a monochrome polarization image
  • FIG. 18B illustrates a case where the polarization image acquired by the polarization imaging unit is a color polarization image.
  • the polarization pixels are the above-mentioned designated polarization pixels, for example, the polarization pixels whose polarization directions are 0 degree and 135 degrees.
  • the luminance values of the polarization pixels having the polarization directions of 45 degrees and 90 degrees, which are the subordinate polarization pixels, can be calculated by a decoding process as described later.
  • the information compression unit 40 uses the polarization pixel P (0,0) as a reference polarization pixel because the polarization direction of the polarization pixel P (0,0) is the first pixel of 0 degree.
  • the luminance value is set as a reference luminance value.
  • the information compression unit 40 uses the normal pixel P (1,0) as a reference normal pixel and sets the luminance value as a non-polarization reference luminance value. .
  • the information compression unit 40 calculates the difference between the luminance value of the polarization pixel P (2,0) and the reference luminance value of the same polarization. Calculate the difference value. Further, since the normal pixel P (3,0) is the second normal pixel, the information compression unit 40 calculates the difference between the luminance value of the normal pixel P (3,0) and the non-polarization reference luminance value of the reference normal pixel. Calculate the difference value.
  • the information compression unit 40 sets the luminance values of the reference polarization pixel and the reference normal pixel as reference values (the reference luminance value and the non-polarization reference luminance value) for the pixels on the first line, and Calculates the difference value between the luminance value of a different polarization pixel and the reference luminance value of the same polarization, and the difference value between the luminance value of a normal pixel different from the reference normal pixel and the non-polarization reference luminance value.
  • the information compression unit 40 calculates a difference value between the luminance value of the normal pixel P (0,1) and the luminance value of the reference normal pixel.
  • the luminance value may be set as the non-polarization reference luminance value with the normal pixel P (0, 1) as the reference normal pixel.
  • the information compression unit 40 uses the polarization pixel P (1,1) as a reference polarization pixel and sets a luminance value as a reference luminance value because the polarization direction of the polarization pixel P (1,1) is the first pixel of 135 degrees. .
  • the information compression unit 40 calculates a difference value between the luminance value of the polarization pixel and the reference luminance value of the same polarization and a difference value between the luminance value of the normal pixel and the non-polarization reference luminance value for the subsequent horizontal polarization pixel and the normal pixel. Is calculated.
  • the difference value may be calculated using the luminance value of the normal pixel P (0,1) as the non-polarization reference luminance value.
  • the information compression unit 40 calculates a difference value and calculates a reference value (a reference luminance value and a non-polarization reference luminance value) indicating the luminance value of the reference polarization pixel and the luminance value of the reference normal pixel for each of the two polarization directions.
  • a reference value a reference luminance value and a non-polarization reference luminance value
  • the amount of difference information is reduced by reducing the bit width of the difference value to n bits (n ⁇ m bits). Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • the information compression unit 40 uses the two polarization pixels (for example, the polarization pixels whose polarization directions are 0 ° and 135 °) of the 2 ⁇ 2 pixel green pixel block BG (0,0) as the reference polarization pixels and sets the luminance value to the reference luminance. Set to a value.
  • the luminance value is set to a non-polarization reference luminance value using two normal pixels of the green pixel block BG (0,0) as reference normal pixels.
  • the information compression unit 40 determines the luminance value of the polarization pixel and the same polarization reference for the green pixel blocks BG (1,0), BG (1,0), BG (0,1), BG (1,1). A difference value between the brightness value and a difference value between the brightness value of the normal pixel and the non-polarization reference brightness value at the same position in the block is calculated. Similarly, the information compression unit 40 sets a reference value and calculates a difference value for the green polarization pixel, the red polarization pixel, and the blue polarization pixel.
  • the information compression unit 40 sets the difference value to n bits (n ⁇ m bits).
  • the amount of difference information is reduced by reducing the bit width in (). Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the color polarization image.
  • FIG. 19 is a flowchart illustrating a fifth operation of the information decoding unit in the first configuration.
  • the information decoding unit acquires the compressed image information.
  • the information decoding unit 70 acquires the compressed image information generated by the information compression unit 40 via the recording medium 50 or the transmission path 60, and proceeds to step ST92.
  • step ST92 the information decoding unit decodes the difference information.
  • the information decoding unit 70 decodes the brightness value of the polarization pixel by adding the difference value of the polarization pixel indicated by the difference information and the reference brightness value that is the same color and the same polarization as the difference value. Further, the difference value of the normal pixel indicated by the difference information and the non-polarization reference brightness value are added to decode the brightness value of the normal pixel, and the process proceeds to step ST93.
  • the information decoding unit calculates the luminance value of the dependent polarization pixel.
  • the information decoding unit 70 calculates the luminance value of the dependent polarization pixel based on the luminance values of the normal pixel and the polarization pixel obtained in step ST92. That is, based on the relationship of the above equation (6), the polarization direction is determined from the luminance value Inp of the normal pixel, the luminance value I0 of the polarization pixel whose polarization direction is 0 degree, and the luminance value I135 of the polarization pixel whose polarization direction is 135 degrees. The luminance values I45 and I90 of the polarization pixels at 45 degrees and 90 degrees are calculated.
  • the information amount of the polarized image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image.
  • the polarization image acquired by the polarization imaging unit 20 includes a polarization pixel and a normal pixel.
  • the luminance value of the normal pixel differs for each color, but for each polarization direction.
  • the compression process based on the property of polarization that the ratio of the luminance values does not greatly change depending on the color is performed.
  • the reference image information generated by the sixth operation of the information compression unit includes information indicating a non-polarization reference luminance value that is the luminance value of the reference normal pixel for each color, and the difference information is different from the reference normal pixel.
  • FIG. 20 is a flowchart illustrating a sixth operation of the information compression unit in the first configuration.
  • the information compression unit acquires a polarization image.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to step ST102.
  • step ST102 the information compression unit calculates the ratio of the luminance value for each polarization direction.
  • the information compression unit 40 calculates the ratio of the luminance value for each polarization direction from the luminance value of the polarization image for each polarization direction, and proceeds to step ST103.
  • the information compression section sets a reference value and calculates a difference value.
  • the information compression unit 40 sets a normal pixel as a reference normal pixel for each color, and sets the luminance value of the reference normal pixel as a reference luminance value. Thereafter, the information compression unit 40 calculates a difference value between the luminance value of the normal pixel whose pixel order is later than the reference normal pixel and the non-polarization reference luminance value of the same color. Further, the information compression unit 40 calculates a difference value between the ratio of the pixel block and the ratio of the adjacent pixel block using the ratio of the pixel block adjacent to the pixel block including the normal pixel and the polarization pixel in the plurality of polarization directions for each polarization direction. And proceeds to step ST104.
  • step ST104 the information compression section reduces the information amount of the difference value.
  • the information compression unit 40 sets the bit width of the difference value smaller than the bit width of the reference value, and proceeds to step ST105.
  • step ST105 the information compression section generates compressed image information.
  • the information compression unit 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST103 as the reference image information and the difference value obtained by reducing the information amount in step ST104 as the difference information.
  • FIG. 21 is a diagram for explaining a sixth operation of the information compression unit in the first configuration.
  • the information compression unit 40 uses a normal pixel as a reference normal pixel in a 2 ⁇ 2 pixel green pixel block BG (0,0) composed of designated polarization pixels having two different polarization directions and two normal pixels.
  • the luminance value is set to a non-polarization reference luminance value as a pixel.
  • the information compression unit 40 calculates a difference value between the luminance value of the normal pixel of the green pixel block BG (1,0) and the non-polarization reference luminance value at the same position in the block.
  • a ratio rB135 of the luminance value of the blue polarization pixel whose polarization direction is 135 degrees is calculated.
  • the ratio of the luminance values for each polarization direction calculated as described above is a value normalized so that the sum of the ratios is “1”.
  • the information compression unit 40 calculates the ratios rG0, rG135 of the luminance values of the polarization pixels of the green pixel block BG (1,0), and calculates the difference value between the ratio of the blue pixel block BB (0,0) for each polarization direction. Is calculated.
  • the information compression unit 40 determines the difference value between the luminance value of the normal pixel different from the reference normal pixel and the non-polarization reference luminance value at the same position in the block, and the polarization value of the polarization pixel in the two polarization directions. A difference value between the luminance value ratio and the ratio of adjacent pixel blocks is calculated. Similar processing is performed for the red pixel block and the blue pixel block.
  • the information compression unit 40 reduces the bit width of the calculated luminance value difference value to n bits (n ⁇ m bits). Further, since the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the difference value of the ratio is small, and the difference value of the ratio is set to a bit width smaller than m bits or n bits, thereby obtaining difference information. Of information can be further reduced. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • FIG. 21 illustrates the case where the polarization pixels are red, green, and blue, but the compression processing may be performed in the same manner as the above-described processing when white polarization pixels are included.
  • FIG. 22 is a flowchart illustrating a sixth operation of the information decoding unit in the first configuration.
  • the information decoding unit acquires the compressed image information.
  • the information decoding unit 70 acquires the compressed image information generated by the information compression unit 40 via the recording medium 50 or the transmission path 60, and proceeds to step ST112.
  • step ST112 the information decoding unit decodes the difference information.
  • the information decoding unit 70 adds the difference value of the normal pixel indicated by the difference information and the non-polarization reference brightness value at the same position in the block as the difference value of the normal pixel to obtain the brightness value of the normal pixel. Also, the information decoding unit 70 adds the difference value of the ratio indicated by the difference information and the ratio of the adjacent polarization block for each polarization direction, and calculates the luminance value of the polarization pixel in the pixel block including the normal pixel whose luminance value has been calculated. The value ratio is decoded, and the process proceeds to step ST113.
  • the information decoding unit calculates a luminance value.
  • the information decoding unit 70 calculates the luminance values of the designated polarization pixels in the two polarization directions from the ratio of the luminance value of the normal pixel and the luminance value for each polarization direction obtained in step ST112. Further, the information decoding unit 70 calculates the luminance value of the dependent polarization pixel based on the luminance value of the normal pixel and the luminance value of the designated polarization pixel.
  • the information amount of the polarization image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image. Further, since the difference information is generated by using the polarization characteristic that the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the information amount of the difference information can be reduced efficiently. Further, even if the luminance value of the dependent polarization pixel is not included in the polarized image, the luminance value of the dependent polarized pixel can be calculated by decoding the compressed image information.
  • the difference value is calculated for the luminance value and the ratio.
  • the luminance value of the normal pixel different from the reference normal pixel and the pixel block adjacent to the pixel block are calculated.
  • a predicted value is calculated for each polarization direction based on the ratio of the luminance value of the designated polarization pixel in, and a difference value from the predicted value is used as difference information.
  • the reference image information generated by the seventh operation of the information compression unit includes information indicating a non-polarization reference luminance value which is a luminance value of the reference normal pixel for each color, and the difference information is different from the reference normal pixel.
  • the prediction value includes information indicating the difference between the luminance value of the designated polarization pixel and the prediction value of the same polarization direction in the pixel block including the designated polarization pixel, and the prediction value includes the luminance value of the normal pixel different from the reference normal pixel, The calculation is performed for each polarization direction based on the ratio of the luminance value of the designated polarization pixel in the pixel block adjacent to the block.
  • FIG. 23 is a flowchart illustrating a seventh operation of the information compression unit in the first configuration.
  • the information compression unit acquires a polarization image.
  • the information compression unit 40 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to Step ST122.
  • step ST122 the information compression unit calculates the ratio of the luminance value for each polarization direction.
  • the information compression unit 40 calculates the ratio of the luminance value for each polarization direction from the luminance value of the polarization image for each polarization direction, and proceeds to step ST123.
  • step ST123 the information compression section calculates a predicted value.
  • the information compression unit 40 calculates a prediction value for each polarization direction based on the ratio between the luminance value of the normal pixel of the pixel block and the luminance value of the adjacent pixel block, and proceeds to step ST124.
  • the information compression section sets a reference value and calculates a difference value.
  • the information compression unit 40 sets a reference normal pixel for each color, and sets the luminance value of the reference normal pixel to a non-polarization reference luminance value. Thereafter, the information compression unit 40 calculates a difference value between the luminance value of the normal pixel whose pixel order is later than the reference normal pixel and the non-polarization reference luminance value at the same position in the block. Further, the information compression unit 40 calculates a prediction value using the luminance value of the normal pixel for which the difference value from the non-polarization reference luminance value has been calculated and the ratio of the pixel block adjacent to the pixel block including the normal pixel. I do. Further, the information compression unit 40 calculates a difference value between the luminance value of the polarized pixel in the pixel block and the predicted value for each polarization direction, and proceeds to step ST125.
  • step ST125 the information compression unit reduces the information amount of the difference value.
  • the information compressing section 40 makes the bit width of the difference value smaller than the bit width of the non-polarization reference luminance value, and proceeds to step ST126.
  • step ST126 the information compression section generates compressed image information.
  • the information compression unit 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST124 as the reference image information and the difference value obtained by reducing the information amount in step ST125 as the difference information.
  • the information compression unit 40 uses a normal pixel as a reference normal pixel in a 2 ⁇ 2 pixel green pixel block BG (0,0) composed of designated polarization pixels having two different polarization directions and two normal pixels.
  • the luminance value is set to a non-polarization reference luminance value as a pixel.
  • the information compression unit 40 calculates a difference value between the luminance value of the normal pixel of the green pixel block BG (1,0) and the non-polarization reference luminance value at the same position in the block.
  • a ratio rB135 of the luminance value of the blue polarization pixel whose polarization direction is 135 degrees is calculated.
  • the ratio of the luminance values for each polarization direction calculated as described above is a value normalized so that the sum of the ratios is “1”.
  • the information compression unit 40 calculates a predicted value IGd0 having a polarization direction of 0 degree using the luminance value IGnp of the normal pixel of the green pixel block BG (1,0) and the ratio rB0 of the blue pixel block BB (0,0). I do.
  • the information compression unit 40 uses the luminance value IGnp of the normal pixel of the green pixel block BG (1,0) and the ratio rB135 of the adjacent blue pixel block BB (0,0) to generate a polarization direction of 135 degrees.
  • the prediction value IGd135 is calculated.
  • the information compression unit 40 calculates a difference value between the luminance value of the polarization pixel having the polarization direction of 0 degree and the predicted value of the same polarization in the green pixel block BG (1,0), and the luminance value of the polarization pixel having the polarization direction of 135 degrees. And a difference value between the calculated value and the predicted value of the same polarization.
  • the information compression unit 40 determines the difference value between the luminance value of the normal pixel different from the reference normal pixel and the non-polarization reference luminance value at the same position in the block, and the polarization value of the polarization pixel in the two polarization directions. A difference value between the luminance value and the predicted value is calculated. Similar processing is performed for the red pixel block and the blue pixel block.
  • the information compression unit 40 reduces the bit width of the calculated luminance value difference value to n bits (n ⁇ m bits).
  • the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the difference between the predicted value and the luminance value calculated using the ratio is small, and the difference between the predicted value and the luminance value is small.
  • the bit width smaller than m bits or n bits, the amount of difference information can be further reduced. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • FIG. 21 illustrates the case where the polarization pixels are red, green, and blue, but the compression processing may be performed in the same manner as the above-described processing when white polarization pixels are included.
  • FIG. 24 is a flowchart illustrating a seventh operation of the information decoding unit in the first configuration.
  • the information decoding unit acquires the compressed image information.
  • Information decoding section 70 acquires the compressed image information generated by information compression section 40 via recording medium 50 or transmission path 60, and proceeds to step ST132.
  • step ST132 the information decoding unit decodes the difference information.
  • the information decoding unit 70 adds the difference value of the normal pixel indicated by the difference information and the non-polarization reference brightness value at the same position in the block as the difference value of the normal pixel to obtain the brightness value of the normal pixel. Further, a difference value with respect to the predicted value is obtained, and the process proceeds to step ST133.
  • step ST133 the information decoding unit calculates a predicted value.
  • the information decoding unit 70 calculates a prediction value for each polarization direction from the ratio of the luminance value of the polarization pixel in the pixel block adjacent to the luminance target of the normal pixel obtained in step ST132, and proceeds to step ST134.
  • step ST134 the information decoding unit calculates a luminance value.
  • the information decoding unit 70 adds, for each polarization direction, the difference value between the prediction value obtained in step ST132 and the prediction value calculated in step ST133, and calculates the luminance value of the designated polarization pixel in the two polarization directions in the pixel block. Is calculated. Further, the information decoding unit 70 calculates the luminance value of the dependent polarization pixel based on the luminance value of the normal pixel and the luminance value of the designated polarization pixel.
  • the information amount of the polarization image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image. Further, since the difference information is generated by using the polarization characteristic that the ratio of the luminance value for each polarization direction does not greatly change depending on the color, the information amount of the difference information can be reduced efficiently. Further, even if the luminance value of the dependent polarization pixel is not included in the polarized image, the luminance value of the dependent polarized pixel can be calculated by decoding the compressed image information.
  • FIG. 25 illustrates a second configuration of the polarization image processing system using the image processing device of the present technology.
  • the polarization image processing system 10a includes a polarization imaging unit 20, a characteristic information storage unit 30, and an information compression unit 45.
  • an information decoding unit 75 and a polarization information use unit 80 may be provided in the polarization image processing system 10a.
  • the polarization compression information generated by the information compression unit 45 is supplied to the information decoding unit 75 via the recording medium 50 or the transmission path 60.
  • the polarization imaging unit 20 acquires a plurality of polarization images having different polarization directions and outputs the acquired polarization images to the information compression unit 45, similarly to the first configuration of the polarization image processing system.
  • the characteristic information storage unit 30 shown in FIG. 25 stores characteristic information relating to acquisition of a polarization image.
  • the characteristic information includes, for example, polarization resolution performance information of the polarization imaging unit 20.
  • the polarization resolution performance information is, for example, information on an extinction ratio and a transmission axis transmittance.
  • the characteristic information may include pixel arrangement information of the polarization imaging unit 20, that is, information indicating the pattern in which each color and polarization direction are arranged.
  • the characteristic information may include polarized illumination information indicating the polarization direction of the polarized illumination light used for acquiring the polarized image.
  • FIG. 26 is a diagram for explaining the extinction ratio.
  • a polarization filter 202 is provided for the image sensor 201, and when a perfectly linearly polarized light Lp parallel to the polarization direction Fa of the light transmitted through the polarization filter 202 is irradiated as shown in FIG.
  • the luminance value obtained by the image sensor 201 is defined as a luminance value Ip.
  • FIG. 26B when a perfectly linearly polarized light Lv perpendicular to the polarization direction Fa of the light transmitted through the polarization filter 202 is irradiated, the luminance value obtained by the image sensor 201 is represented by the luminance value Iv.
  • the ratio “Ip: Iv” between the luminance value Ip and the luminance value Iv is called an extinction ratio.
  • FIG. 27 is a view for explaining the transmission axis transmittance.
  • a polarization filter 202 is provided for the image sensor 201, and when a completely linearly polarized light Lp parallel to the polarization direction Fa of the light transmitted through the polarization filter 202 is irradiated as shown in FIG.
  • the luminance value obtained by the image sensor 201 is defined as a luminance value Is.
  • FIG. 27B when the image sensor 201 having no polarizing filter 202 is irradiated with the above-described perfectly linearly polarized light Lp, the luminance value obtained by the image sensor 201 is represented by the luminance.
  • the value is Iq.
  • the transmission axis transmittance is an index indicating how much the sensitivity is lowered by providing the polarizing element, and the transmission axis transmittance Et is included in the characteristic information.
  • the information compression unit 45 performs a compression process on the polarization image acquired by the polarization imaging unit 20.
  • the information compression unit 45 performs a compression process on the polarization image using the characteristic information stored in the characteristic information storage unit 30 to generate compressed image information.
  • the information compression section 45 outputs the generated compressed image information to the information decoding section 75 via the recording medium 50 or the transmission path 60.
  • the information decoding unit 75 performs a decoding process corresponding to the compression process of the information compression unit 45, and generates a polarized image before the compression process from the compressed image information acquired via the recording medium 50 or the transmission path 60.
  • the information decoding unit 75 outputs the generated polarization image to the polarization information using unit 80.
  • the polarization information utilization unit 80 detects a normal direction and a reflection component of the subject based on the polarization image generated by the information decoding unit 75, generates a high-precision depth map, subjects recognition processing, and removes a specular reflection component. , VR (Virtual Reality) environment, and the like.
  • the information compression unit 45 performs a compression process using the characteristic information stored in the characteristic information storage unit 30. Further, the information decoding unit 75 performs a decoding process corresponding to the compression process used in the information compression unit 45.
  • the processing performed by the information compression section 45 and the information decoding section 75 may be either lossless compression or irreversible compression.
  • the information compression unit 45 acquires the polarization image from the polarization imaging unit 20 and the extinction ratio and the transmission axis transmittance from the characteristic information storage unit 30, and corrects the brightness value of the polarization image based on the extinction ratio and the transmission axis transmittance. Further, the information compressing section 45 performs the same processing as that of the above-described information compressing section 40 using the polarization image whose luminance value has been corrected, and generates compressed image information.
  • Equation (9) holds when the polarization direction is 0 degrees.
  • equations (10), (11), and (12) hold.
  • the information compression unit 45 corrects the luminance value of the polarization image acquired by the polarization imaging unit 20 to the ideal luminance value using the extinction ratio and the transmission axis transmittance stored in the characteristic information storage unit 30. Can be.
  • the polarization image is corrected based on the characteristic information, it is possible to remove the influence due to the difference in the characteristics of the polarization imaging unit 20, and to perform highly accurate polarization image compression processing. Become.
  • Second Operation of Information Compression Unit in Second Configuration> a case where illumination polarization information is stored in the characteristic information storage unit will be described.
  • the information compression unit 45 use a polarization image having the polarization pixels and the normal pixels shown in the fifth operation to the seventh operation of the information compression unit.
  • the polarized illumination irradiation is used for inspecting the inside of a body or an object by controlling the state of a light source such as an endoscope or a factory.
  • the reference value and the difference value of one of the polarization pixel and the normal pixel whose adjacent polarization direction is parallel to the polarized illumination light are used for the compressed image information, and the difference between the reference value and the reference value of one pixel is determined at the time of decoding.
  • the compression efficiency is improved by using the value as the difference value from the reference value for the other pixel.
  • FIG. 28 is a flowchart illustrating a second operation of the information compression unit in the second configuration.
  • the brightness value of the polarized pixel whose polarization direction is parallel to the polarized illumination light is equal to that of the normal pixel.
  • a polarization pixel is used as one of a polarization pixel and a normal pixel whose polarization direction is parallel to the polarized illumination light is shown.
  • step ST141 the information compression section acquires characteristic information.
  • the information compression section 45 acquires the polarized illumination information from the characteristic information storage section 30, and proceeds to step ST142.
  • step ST142 the information compression unit acquires a polarization image.
  • the information compression unit 45 acquires the polarization image generated by the polarization imaging unit 20, and proceeds to Step ST143.
  • step ST143 the information compression unit sets a reference value and calculates a difference value.
  • the information compression unit 45 sets a reference polarization pixel for each of the same color and same polarization pixels in the polarization image, and sets the luminance value of the reference polarization pixel to the reference luminance value. Further, the information compression unit 40 calculates a difference value between the luminance value of the polarized pixel whose pixel order is later than that of the reference polarized pixel and the reference luminance value of the same color and the same polarization, and proceeds to step ST144.
  • step ST144 the information compression unit reduces the information amount of the difference value.
  • Information compression section 40 sets the bit width of the difference value smaller than the bit width of the reference luminance value, and proceeds to step ST145.
  • step ST145 the information compression section generates compressed image information.
  • the information compression unit 40 generates compressed image information including the reference image information and the difference information, using the reference value set in step ST143 as the reference image information and the difference value obtained by reducing the information amount in step ST144 as the difference information.
  • FIG. 29 is a diagram for describing a second operation of the information compression unit in the second configuration.
  • 29A illustrates a case where the polarization image acquired by the polarization imaging unit is a monochrome polarization image
  • FIG. 29B illustrates a case where the polarization image acquired by the polarization imaging unit is a color polarization image. are doing.
  • the information compression unit 40 uses the polarization pixel P (0,0) as the reference polarization pixel because the polarization direction of the polarization pixel P (0,0) is the first pixel of 0 degree.
  • the luminance value is set as a reference luminance value.
  • the information compression unit 40 skips the normal pixel P (1,0) because the luminance value of the polarization pixel whose polarization direction is parallel to the polarized illumination light is equal to the luminance value of the normal pixel.
  • the skipped pixels are indicated by “SK”.
  • the information compression unit 40 calculates the difference between the luminance value of the polarization pixel P (2,0) and the reference luminance value of the same polarization. Calculate the value.
  • the information compression unit 40 skips the normal pixel P (3,0). Hereinafter, similarly, the normal pixel is skipped, and the information compression unit 40 sets the luminance value of the reference polarization pixel as the reference luminance value for the pixel on the first line, and sets the same as the luminance value of the polarization pixel different from the reference polarization pixel. A difference value between the polarization and the reference luminance value is calculated.
  • the information compression unit 40 uses the polarization pixel P (1,1) as the reference polarization pixel to set the luminance value to the reference luminance. Value.
  • the information compression unit 40 calculates a difference value between the luminance value of the polarization pixel and the reference luminance value of the same polarization for the subsequent horizontal polarization pixel.
  • the information compression unit 40 calculates a difference value, and if the luminance value of the reference polarization pixel for each of the two polarization directions is m bits, the information compression unit 40 sets the difference value to n bits (n ⁇ m bits) and changes the bit width to n bits (n ⁇ m bits). The reduction reduces the amount of difference information. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the polarized image.
  • the reference value is set and the difference value is calculated for the normal pixel, and the polarization pixel whose polarization direction is parallel to the polarized illumination light may be skipped. Since information on the luminance value of the polarization pixel whose direction is parallel to the polarized illumination light) is not included, the information amount can be efficiently reduced.
  • the information compression unit 40 uses the two polarization pixels (for example, the polarization pixels whose polarization directions are 0 ° and 135 °) of the 2 ⁇ 2 pixel green pixel block BG (0,0) as the reference polarization pixels and sets the luminance value to the reference luminance. Set to a value. Further, the luminance value is set to the reference luminance value using the two normal pixels of the green pixel block BG (0,0) as the reference normal pixels.
  • the information compression unit 40 determines the luminance value of the polarization pixel and the same polarization reference for the green pixel blocks BG (1,0), BG (1,0), BG (0,1), BG (1,1). A difference value from the luminance value is calculated. Also, the normal pixels in the green pixel block are skipped. Similarly, the information compression unit 40 sets a reference value and calculates a difference value for the green polarization pixel, the red polarization pixel, and the blue polarization pixel. It should be noted that the display “SK” indicating that the red and blue polarization pixels are skipped pixels is omitted.
  • the information compression unit 40 reduces the information amount of the difference information by reducing the bit width of the difference value to n bits (n ⁇ m bits). I do. Therefore, the compressed image information including the reference image information and the difference information can reduce the information amount (data amount) compared to the color polarization image.
  • the reference value is set and the difference value is calculated for the normal pixel, and the polarization pixel whose polarization direction is parallel to the polarized illumination light may be skipped. Since information on the luminance value of the polarization pixel whose direction is parallel to the polarized illumination light) is not included, the information amount can be efficiently reduced.
  • FIG. 30 is a flowchart illustrating the operation of the information decoding unit in the second configuration.
  • FIG. 30 shows a process of decoding the compressed image information generated in the process of FIG.
  • step ST151 the information decoding unit acquires compressed image information.
  • the information decoding unit 70 acquires the compressed image information by the information compression unit 45 via the recording medium 50 or the transmission path 60, and proceeds to step ST152.
  • step ST152 the information decoding unit decodes the difference information.
  • the information decoding unit 70 decodes the brightness value of the polarization pixel by adding the difference value of the polarization pixel indicated by the difference information and the reference brightness value that is the same color and the same polarization as the difference value. Further, the information decoding unit 70 sets the luminance value of the polarization pixel whose polarization direction is parallel to the polarized illumination light as the luminance value of the adjacent normal pixel, and proceeds to step ST153.
  • the information decoding unit calculates the luminance value of the dependent polarization pixel.
  • the information decoding unit 70 calculates the luminance value of the dependent polarization pixel based on the luminance values of the normal pixel and the polarization pixel obtained in Step ST152. That is, based on the relationship of the above equation (6), for each 2 ⁇ 2 pixel image block, the luminance value Inp of the normal pixel, the luminance value I0 of the polarization pixel whose polarization direction is 0 degree, and the polarization value of 135 degrees are obtained. The luminance values I45 and I90 of the polarization pixels whose polarization directions are 45 degrees and 90 degrees are calculated from the luminance value I135 of the polarization pixel.
  • the luminance value of the polarized pixel whose polarization direction is parallel to the polarized illumination light is different from that of the normal pixel.
  • the luminance value of a polarized pixel whose polarization direction is parallel to the polarized illumination light can be adjusted to the luminance value of a normal pixel based on the transmission axis transmittance Et
  • the adjustment rate is adjusted. Etc. are included in the compressed image information.
  • the information decoding unit 70 may return the luminance value of the polarization pixel whose polarization direction is parallel to the polarized illumination light to the luminance value before the adjustment based on the adjustment information.
  • the information amount of the polarized image can be efficiently reduced. Further, since the amount of information (the amount of data) can be reduced, it is possible to efficiently transfer a polarized image. Further, it is possible to further improve the compression efficiency using the characteristic information.
  • the reference luminance value used for calculating the difference value is set to the pixel of the same color and same polarization pixel for which the difference value was previously calculated. It may be a value.
  • the pixel value of the polarization pixel for which the difference value has been calculated is the reference luminance value in the calculation of the next difference value. I do.
  • the reference luminance value is updated in this manner, a difference value is calculated between neighboring polarized pixels of the same color and the same polarization, so that the difference value increases due to a large distance from the initially set reference pixel. Can be prevented.
  • the reference luminance value is updated in this way, since the pixel values of the polarization pixels can be sequentially decoded using the first reference luminance value and the difference value, only the first reference luminance value needs to be included in the reference image information.
  • the reference average luminance value and the non-polarization reference luminance value may be similarly updated, and only the first reference average luminance value and the non-polarization reference luminance value may be included in the reference image information.
  • the reference polarization pixel and the reference normal pixel may be set for each predetermined region or for each region based on the result of subject recognition.
  • the operation of the information compression unit is not limited to the processing order of the flowchart. For example, if the processing of the next step is possible before the processing of one step of the flowchart is completed for the polarization image, the processing of the next step is performed before the processing of the step for the polarization image is completed. You may do so.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving object such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • it may be realized as a device mounted on a device used in a production process in a factory or a device used in a construction field. If applied to such a field, it is possible to accurately generate normal line information and separate reflected components based on polarization information. Therefore, the surrounding environment can be accurately grasped in three dimensions, and the fatigue of the driver and the worker can be reduced. In addition, it is possible to more safely perform automatic driving and the like.
  • the technology according to the present disclosure can also be applied to the medical field.
  • the present invention is applied to a case where an image taken of an operation part is used when performing an operation, it becomes possible to accurately obtain an image without a three-dimensional shape or reflection of the operation part, thereby reducing fatigue of the operator and safely and safely. Surgery can be performed more reliably.
  • the data amount of the polarization information can be reduced and transmitted, it is easy to confirm the surrounding environment and the operation site in a remote place in three dimensions.
  • the polarization information can be efficiently recorded.
  • a series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer built in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, a solid state drive (SSD), or a read only memory (ROM) as a recording medium.
  • the program is a flexible disk, CD-ROM (Compact Disc Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card Can be temporarily or permanently stored (recorded) in a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be installed on the computer from a removable recording medium, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing device of the present technology can also have the following configuration.
  • Image processing including an information compression unit that reduces the amount of information on at least polarization image information for each polarization pixel in a plurality of polarization directions in a polarization image having polarization pixels in a plurality of polarization directions and generates compressed image information.
  • the information compression unit sets reference image information based on polarization image information of a reference polarization pixel in the polarization image, and sets polarization image information for each polarization pixel different from the reference polarization pixel in the polarization image.
  • the compressed image including difference information from the reference image information, reducing the information amount of the difference information generated for each polarization pixel, and including the reference image information and the difference information in which the information amount is reduced.
  • the image processing apparatus which generates information.
  • the reference image information includes information indicating a luminance value of the reference polarization pixel for each color and each polarization direction;
  • the image processing device wherein the difference information includes information indicating a difference between a luminance value of a polarization pixel having the same color and the same polarization direction as the luminance value of the reference polarization pixel and different from the reference polarization pixel.
  • the image processing device wherein the information compression unit generates the reference image information and the difference information based on a property of polarization.
  • the reference image information includes information indicating a reference average luminance value calculated for each color using luminance values of the reference polarization pixels in a plurality of polarization directions, and a polarization pixel in a polarization direction for which an average luminance value can be calculated.
  • the difference information is information indicating a difference between an average luminance value calculated for each color using the luminance value of a polarization pixel different from the reference polarization pixel and the reference average luminance value of the same color, and a polarization different from the reference polarization pixel.
  • the image processing device including information indicating a difference from a reference luminance value having the same color and the same polarization direction as the luminance value of the pixel.
  • the reference image information includes information indicating a reference average luminance value calculated for each color using luminance values of the reference polarization pixels in a plurality of polarization directions;
  • the difference information is information indicating a difference between an average luminance value calculated for each color using luminance values of polarization pixels in a plurality of polarization directions different from the reference polarization pixel and the reference average luminance value of the same color, and the reference polarization pixel.
  • the image processing device including information indicating a difference between a ratio of a luminance value of a pixel block of a polarization pixel different from the pixel and a ratio of a luminance value of a polarization pixel of an adjacent pixel block.
  • the reference image information includes information indicating a reference average luminance value calculated for each color using luminance values of the reference polarization pixels in a plurality of polarization directions;
  • the difference information is information indicating a difference between an average luminance value calculated for each color using luminance values of polarization pixels in a plurality of polarization directions different from the reference polarization pixel and the reference average luminance value of the same color, and the reference polarization pixel.
  • the predicted value is calculated for each polarization direction based on a ratio of an average luminance value calculated in a pixel block of a polarization pixel different from the reference polarization pixel and a luminance value of a polarization pixel in a pixel block adjacent to the pixel block.
  • the reference image information is a polarization direction specified in advance from a combination of information indicating a non-polarization reference luminance value which is a luminance value of a reference normal pixel for each color and a polarization pixel having a polarization direction in which the average luminance value can be calculated.
  • the difference information is a difference between a luminance value of a normal pixel different from the reference normal pixel and a non-polarization reference luminance value of the same color, and a luminance value of a polarization pixel different from the reference polarization pixel and having the same polarization direction.
  • the image processing apparatus further including information indicating a difference between the reference luminance value and the reference luminance value in the same polarization direction.
  • the polarized image has normal pixels that are not polarized
  • the reference image information includes information indicating a non-polarization reference luminance value that is a luminance value of a reference normal pixel for each color
  • the difference information includes a difference between a luminance value of a normal pixel different from the reference normal pixel and a non-polarization reference luminance value of the same color, and a polarization direction in which a normal pixel different from the reference normal pixel and an average luminance value can be calculated.
  • the polarized image has non-polarized normal pixels
  • the reference image information includes information indicating a non-polarization reference luminance value that is a luminance value of a reference normal pixel for each color
  • the difference information includes a difference between a luminance value of a normal pixel different from the reference normal pixel and a non-polarization reference luminance value of the same color, and a polarization direction in which a normal pixel different from the reference normal pixel and an average luminance value can be calculated.
  • the predicted value is calculated for each polarization direction based on a ratio of a luminance value of a normal pixel different from the reference normal pixel to a luminance value of the designated polarization pixel in a pixel block adjacent to the pixel block (4).
  • a characteristic information storage unit that stores characteristic information relating to acquisition of a polarization image having polarization pixels in the plurality of polarization directions;
  • the image processing device according to any one of (2) to (10), wherein the information compression unit generates the compressed image information using the characteristic information stored in the characteristic information storage unit.
  • the characteristic information indicates an extinction ratio or a transmission axis transmittance of the polarization imaging unit that has acquired the polarization image,
  • the characteristic information indicates a polarization direction of polarized illumination light used for acquiring the polarized image
  • the image processing device according to (11) or (12), wherein the information compression unit generates the reference image information and the difference information based on a polarization direction of the polarized illumination light.
  • the information compression unit reduces the information amount of the difference information by making a bit width of the difference information smaller than the reference image information. apparatus.
  • 10a polarization image processing system 20: polarization imaging unit 30: characteristic information storage unit 40, 45 ... information compression unit 50: recording medium 60: transmission line 70, 75 ..Information decoding section 80 ... polarization information utilization section 201 ... image sensor 202 ... polarization filter 203 ... color filter

Abstract

偏光撮像部２０は、複数偏光方向の偏光画素を有する偏光画像を取得する。情報圧縮部４０は、偏光画像における少なくとも複数の偏光方向の基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なる偏光画素毎の偏光画像情報と基準画像情報との差分情報を生成する。また、情報圧縮部４０は、複数の偏光方向の偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。情報復号部７０は記録媒体５０または伝送路６０を介して取得した圧縮画像情報に対して、情報圧縮部４０の圧縮処理に対応した復号処理を行い偏光画像を生成して、偏光画像利用部８０へ出力する。

Description

画像処理装置と画像処理方法およびプログラム
　この技術は、画像処理装置と画像処理方法およびプログラムに関し、偏光画像の情報量を削減できるようにする。
　従来、撮像部と偏光フィルタを用いて偏光画像を取得することが行われている。例えば、特許文献１では、偏光方向が異なる画素を含む画素構成の撮像部によって偏光画像を取得することが行われている。
　また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報の算出が行われている。
特開２０１５－１１４３０７号公報
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、無偏光である通常画像では例えば隣接する画素間の相関を利用して圧縮処理が行われている。しかし、偏光画像で隣接する画素間の偏光方向が異なると画素間の相関が低くなり、通常画像と同様な圧縮処理では情報量を効率よく削減することができない。
　そこで、この技術では、偏光画像に適した圧縮処理や復号処理を行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置にある。
　この技術において、情報圧縮部は、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なる偏光画素毎の偏光画像情報と基準画像情報との差分情報を生成する。また、情報圧縮部は、複数の偏光方向の偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。例えば、情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する。
　情報圧縮部で生成する基準画像情報は、色毎および偏光方向毎の基準偏光画素の輝度値を示す情報を含み、差分情報は、基準偏光画素の輝度値と同色かつ同偏光方向であって基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む。
　また、情報圧縮部は、偏光の性質に基づいて基準画像情報と差分情報の生成を行う。例えば、情報圧縮部で生成する基準画像情報は、基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含むようにしてもよい。
　また、情報圧縮部で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含むようにしてもよい。
　また、情報圧縮部で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにしてもよい。この場合、予測値は、基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
　また、偏光画像は無偏光である通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の偏光基準輝度値との差を示す情報を含むようにしてもよい。
　また、偏光画像は無偏光である通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値の比率と隣接する画素ブロックにおける指定偏光画素の輝度値の比率との差を示す情報を含むようにしてもよい。
　また、偏光画像は無偏光の通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにしてもよい。この場合、予測値は、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
　さらに、画像処理装置は、複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、情報圧縮部は特性情報記憶部に記憶されている特性情報を用いて圧縮画像情報の生成を行うようにしてもよい。
　特性情報によって、偏光画像を取得した偏光撮像部の消光比または透過軸透過率が示される場合、情報圧縮部は、消光比または透過軸透過率を用いて偏光画像の補正を行い、補正後の偏光画像を用いて圧縮画像情報を生成する。
　また、特性情報によって、偏光画像の取得に用いた偏光照明光の偏光方向が示される場合、情報圧縮部は、偏光照明光の偏光方向に基づいて基準画像情報と差分情報の生成を行う。
　この技術の第２の側面は、
　複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を情報圧縮部で生成すること
を含む画像処理方法にある。
　この技術の第３の側面は、
　偏光画像の圧縮処理をコンピュータで実行させるプログラムであって、
　複数偏光方向の偏光画素を有する前記偏光画像を取得する手順と、
　前記偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する情報復号部
を備える画像処理装置にある。
偏光画像の取得について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光画像処理システムの第１の構成を例示した図である。 偏光撮像部の構成を例示した図である。 イメージセンサの偏光フィルタとカラーフィルタを例示した図である。 第１の構成における情報圧縮部の第１の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第１の動作を説明するための図である。 第１の構成における情報復号部の第１の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第２の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第２の動作を説明するための図である。 第１の構成における情報復号部の第２の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第３の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第３の動作を説明するための図である。 第１の構成における情報復号部の第３の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第４の動作を例示したフローチャートである。 第１の構成における情報復号部の第４の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第５の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第５の動作を説明するための図である。 第１の構成における情報復号部の第５の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第６の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第６の動作を説明するための図である。 第１の構成における情報復号部の第６の動作を例示したフローチャートである。 第１の構成における情報圧縮部の第７の動作を例示したフローチャートである。 第１の構成における情報復号部の第７の動作を例示したすフローチャートである。 偏光画像処理システムの第２の構成を例示した図である。 消光比を説明するための図である。 透過軸透過率を説明するための図である。 第２の構成における情報圧縮部の第２の動作を例示したフローチャートである。 第２の構成における情報圧縮部の第２の動作を説明するための図である。 第２の構成における情報復号部の動作を例示したフローチャートである。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光画像の取得について
　２．偏光画像処理システムの第１の構成
　３．第１の構成における圧縮処理と復号処理について
　　３－１．第１の構成における情報圧縮部と情報復号部の第１の動作
　　３－２．第１の構成における情報圧縮部と情報復号部の第２の動作
　　３－３．第１の構成における情報圧縮部と情報復号部の第３の動作
　　３－４．第１の構成における情報圧縮部と情報復号部の第４の動作
　　３－５．第１の構成における情報圧縮部と情報復号部の第５の動作
　　３－６．第１の構成における情報圧縮部と情報復号部の第６の動作
　　３－７．第１の構成における情報圧縮部と情報復号部の第７の動作
　４．偏光画像処理システムの第２の構成
　５．第２の構成における圧縮処理と復号処理について
　　５－１．第２の構成における情報圧縮部の第１の動作
　　５－２．第２の構成における情報圧縮部の第２の動作
　６．圧縮処理の他の動作
　７．応用例
　＜１．偏光画像の取得について＞
　図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φの輝度を推定できる。
　また、偏光方向が０度であるときの輝度値を「Ｉ0」、偏光方向が４５度であるときの輝度値を「Ｉ45」、偏光方向が９０度であるときの輝度値を「Ｉ90」、偏光方向が１３５度であるときの輝度値を「Ｉ135」とすると、平均輝度値Ｉmeanと各偏光方向の輝度値は式（２）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000002
　＜２．偏光画像処理システムの第１の構成＞
　図３は、本技術の画像処理装置を用いた偏光画像処理システムの第１の構成を例示している。偏光画像処理システム１０は、偏光撮像部２０、情報圧縮部４０を有している。また、偏光画像処理システム１０では、情報復号部７０と偏光情報利用部８０を設けてもよい。偏光画像処理システム１０では、情報圧縮部４０で生成された偏光圧縮情報を記録媒体５０あるいは伝送路６０を介して、情報復号部７０へ供給する。
　偏光撮像部２０は、偏光方向が異なる複数の偏光画像を取得する。図４は、偏光撮像部の構成を例示している。偏光撮像部２０は、イメージセンサ２０１の入射光面には、複数の偏光方向の画素構成とされた偏光フィルタ２０２が配置されており、イメージセンサ２０１は偏光画像を取得する。また、イメージセンサ２０１の入射光面には、偏光フィルタ２０２と色成分毎の画素構成とされたカラーフィルタ２０３が配置されており、イメージセンサ２０１でカラー偏光画像を取得しても良い。
　図５は、イメージセンサの偏光フィルタとカラーフィルタを例示している。図５の（ａ），（ｂ）は偏光フィルタの偏光パターンを例示している。偏光フィルタは、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。図５の（ａ）は、１画素を偏光成分単位として、例えば式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０度，４５度，９０度，１３５度の４方向）の画素を設けた場合を例示している。また、図５の（ｂ）は、２×２画素単位を偏光成分単位とした場合を例示している。なお、偏光フィルタの偏光パターンは、図５の（ａ）や図５の（ｂ）に示す配置に限らず、偏光成分単位に無偏光の画素を設けてもよい。
　図５の（ｃ）～（ｇ）はカラーフィルタと偏光フィルタの組み合わせを例示している。図５の（ｃ）は、図５の（ａ）に示す偏光フィルタと、２×２画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いた場合を例示している。また、図５の（ｄ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いた場合を例示している。図５の（ｅ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いて、２×２画素の画素領域が同色で４つの偏光方向の画素を含む場合を例示している。図５の（ｅ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いて、２×２画素の画素領域が同色で４つの偏光方向の画素を含む場合を例示している。図５の（ｆ）は、２×２画素単位を偏光成分単位として、水平方向の偏光成分単位の偏光方向が９０度の角度差を有しており、垂直方向の偏光成分単位の偏光方向が４５度の角度差で水平方向に１画素分の位置差を有している。図５の（ｇ）は、２×２画素単位を偏光成分単位として、垂直方向の偏光成分単位の偏光方向が９０度の角度差を有しており、水平方向の偏光成分単位の偏光方向が４５度の角度差で垂直方向に１画素分の位置差を有している。
　図５の（ｈ）（ｉ）は、白色画素（Ｗ画素）が設けられている場合を例示している。図５の（ｈ）は偏光成分単位が２×２画素単位であり、１つの偏光成分単位は赤と青と緑と白の画素で構成した場合を例示している。また、図５の（ｉ）は偏光成分単位が２×２画素単位であり、１つの偏光成分単位は赤と青と緑と白の画素であり、偏光成分単位が隣接する２×２画素の領域が４つの偏光方向の画素で構成される場合を例示している。また、図示せずも、偏光成分単位に無偏光の画素を含む偏光フィルタとカラーフィルタを組み合わせて用いてもよい。
　式（１）に示す偏光モデル式へのフィッティングは、３偏光方向以上の偏光画像、例えば異なる４つの偏光方向の偏光画像を用いる場合に限らず、無偏光画像と２偏光方向の偏光画像を用いてもよい。偏光画素の感度は理想的には無偏光である通常画素の（１／２）倍であり、偏光画素の平均輝度値は通常画素の輝度値Ｉnpに対して１／２倍となる。また、偏光方向を４５度間隔で４方向とした場合、例えば図２に示すように偏光方向を０度，４５度，９０度，１３５度とすると式（６）が成り立つ。ここで、偏光撮像部２０の画素が通常画素と偏光方向が０度の偏光画素と４５度の偏光画素で構成されている場合、偏光方向が９０度であるときの輝度値Ｉ90と偏光方向が１３５度であるときの輝度値Ｉ135は、式（７）（８）に基づいて算出できる。
　　（Ｉ45＋Ｉ135）／２＝（Ｉ0＋Ｉ90）／２＝Ｉnp／２　　・・・（６）
　　Ｉ90＝Ｉnp－Ｉ0　　　・・・（７）
　　Ｉ135＝Ｉnp－Ｉ45　　・・・（８）
　情報圧縮部４０は、偏光撮像部２０で取得された複数偏光方向の画素を有する偏光画像の圧縮処理を行う。情報圧縮部４０は、取得された偏光画像における選択した少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い圧縮画像情報を生成する。情報圧縮部４０は、生成した圧縮画像情報を記録媒体５０あるいは伝送路６０を介して情報復号部７０へ出力する。なお、情報圧縮部４０の動作の詳細については後述する。
　情報復号部７０は、情報圧縮部４０の圧縮処理に対応した復号処理を行い、記録媒体５０あるいは伝送路６０を介して取得した圧縮画像情報から圧縮処理前の偏光画像を生成する。情報復号部７０は、生成した偏光画像を偏光情報利用部８０へ出力する。
　偏光情報利用部８０は、情報復号部７０で生成された偏光画像に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
　＜３．第１の構成における圧縮処理と復号処理について＞
　次に情報圧縮部で行われる圧縮処理と情報復号部で行われる復号処理について説明する。情報圧縮部は、偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なり選択した偏光画素毎の偏光画像情報と基準画像情報との差分を示す差分情報の生成を行い、偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。また、情報復号部は、情報圧縮部で生成された圧縮画像情報の基準画像情報と差分情報に基づいて情報圧縮部の圧縮処理に対応する復号処理を行い偏光画像の画素毎の輝度値を生成する。なお、情報圧縮部４０と情報復号部７０で行われる処理は、可逆圧縮あるいは不可逆圧縮のいずれであってもよい。
　＜３－１．第１の構成における情報圧縮部と情報復号部の第１の動作＞
　情報圧縮部と情報復号部の第１の動作では、色毎および偏光方向毎の基準偏光画素の輝度値を示す情報を含む基準画像情報と、基準偏光画素の輝度値と同色かつ同偏光方向であって基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む差分情報を生成して、偏光画素毎に生成された差分情報の情報量を削減する。
　図６は、第１の構成における情報圧縮部の第１の動作を例示したフローチャートである。ステップＳＴ１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。例えば情報圧縮部４０は、異なる色および異なる偏光方向毎に最初の画素を基準偏光画素として基準輝度値を設定する。また、その後の偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ３に進む。
　ステップＳＴ３で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ４に進む。
　ステップＳＴ４で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ２で設定した基準値を基準画像情報、ステップＳＴ３で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　図７は、第１の構成における情報圧縮部の第１の動作を説明するための図である。なお、図７の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図７の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
　図７の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光画素Ｐ(1,0)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,0)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから、偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、偏光画素Ｐ(3,0)が１３５度の偏光方向の２番目の画素であることから、偏光画素Ｐ(3,0)の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について基準偏光画素の輝度値を基準輝度値として、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
　次に、情報圧縮部４０は、偏光画素Ｐ(0,1)の偏光方向が４５度の最初の画素であることから、偏光画素Ｐ(0,1)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が９０度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
　また、情報圧縮部４０は、偏光画素Ｐ(0,2)の偏光方向が０度の偏光画素であり、０度の偏光方向ついては基準輝度値が設定されていることから、偏光画素Ｐ(0,2)の輝度値と同偏光の基準輝度値との差分値を算出する。情報圧縮部４０は、以下同様に差分値を算出して、４つの偏光方向毎の基準偏光画素の輝度値である基準輝度値がｍビットである場合、他の偏光画素について算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
　また、図７の（ｂ）の場合、図７の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として輝度値を基準輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、４つの偏光方向毎の基準偏光画素の輝度値である基準輝度値がｍビットである場合、他の偏光画素について算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。
　図８は、第１の構成における情報復号部の第１の動作を例示したフローチャートである。ステップＳＴ１１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１２に進む。
　ステップＳＴ１２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。
　このような、第１の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。
　＜３－２．第１の構成における情報圧縮部と情報復号部の第２の動作＞
　情報圧縮部の第２の動作では、上述の式（２）に示す偏光の性質に基づいた圧縮処理を行う。すなわち、情報圧縮部は、平均輝度値と平均輝度値の算出が可能な２つの偏光方向の組み合わせ（例えば０度と９０度の組、および４５度と１３５度の組）において、予め指定された偏光方向の偏光画素（指定偏光画素）の偏光画素、例えば偏光方向が０度と１３５度である指定偏光画素の輝度値と平均輝度値を用いれば、他方の偏光方向の偏光画素（従属偏光画素）である偏光方向が４５度と９０度の従属偏光画素の輝度値を算出できる。
　したがって、情報圧縮部の第２の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含むようにする。
　図９は、第１の構成における情報圧縮部の第２の動作を例示したフローチャートである。ステップＳＴ２１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ２３に進む。
　ステップＳＴ２３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。また、情報圧縮部４０は、指定偏光画素を基準偏光画素として色毎に設定して、色毎の基準偏光画素の輝度値を基準輝度値に設定する。さらに、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準輝度値との差分値、および基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ２４に進む。
　ステップＳＴ２４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値（基準平均輝度値と基準輝度値）のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ２５に進む。
　ステップＳＴ２５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ２３で設定した基準値を基準画像情報、ステップＳＴ２４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　図１０は、第１の構成における情報圧縮部の第２の動作を説明するための図である。なお、図１０の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図１０の（ｂ）（ｃ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
　図１０の（ａ）において、情報圧縮部４０は、０度と９０度の組、および４５度と１３５度の組において、０度と１３５度の偏光画素を指定偏光画素として、最初の指定偏光画素である偏光画素Ｐ(0,0),Ｐ(1,0)の輝度値を基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、偏光画素Ｐ(3,0)が１３５度の偏光方向の２番目の画素であることから偏光画素Ｐ(3,0)の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について、基準偏光画素と異なる指定偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
　次に、２ライン目の画素を用いると、画素ブロックＢ(0,0)を構成する偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(0,1)，Ｐ(1,1)の輝度値を用いて最初の平均輝度値を算出できることから、偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(0,1)，Ｐ(1,1)を基準偏光画素として、算出した平均輝度値を基準平均輝度値とする。また、画素ブロックＢ(1,0)を構成する偏光画素Ｐ(2,0)，Ｐ(3,0)，Ｐ(2,1)，Ｐ(3,1)の輝度値を用いて平均輝度値を算出できることから、Ｐ(2,0)，Ｐ(3,0)，Ｐ(2,1)，Ｐ(3,1)の輝度値を用いて算出した平均輝度値と基準平均輝度値との差分値を算出する。なお、２ライン目の偏光画素Ｐ(0,1)，Ｐ(1,1)，Ｐ(2,1)，Ｐ(3,1)は従属偏光画素であることから、情報圧縮部４０は、差分値の算出を行わない。
　以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは偏光画素であって異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および指定偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。さらに、情報圧縮部４０は、基準平均輝度値と指定偏光画素の基準輝度値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
　また、図１０の（ｂ）の場合、図１０の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(0,0)における０度の偏光画素と１３５度の偏光画素の輝度値をそれぞれ基準輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、平均輝度値を算出して基準平均輝度値との差分値を算出する。さらに、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)における偏光方向が０度と１３５度の偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について、平均輝度値と偏光方向が０度と１３５度の偏光画素と輝度値に対する基準輝度値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、基準平均輝度値と指定偏光画素の基準輝度値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
　また、図１０の（ｃ）の場合、情報圧縮部４０は、偏光画素Ｐ(0,0)，Ｐ(2,0)，Ｐ(0,2)，Ｐ(2,2)の輝度値を用いて緑色偏光画素の最初の平均輝度値を算出できることから、偏光画素Ｐ(0,0)，Ｐ(2,0)，Ｐ(0,2)，Ｐ(2,2)を基準偏光画素として、算出した平均輝度値を基準平均輝度値とする。また、偏光方向が０度である偏光画素Ｐ(0,0)と偏光方向が１３５度である偏光画素Ｐ(2,0)を基準偏光画素として輝度値を基準とする。その後、水平方向および垂直方向に１画素離れている同色かつ偏光方向が異なる４つの偏光画素の画素値から算出された平均輝度値と基準平均輝度値との差分値および偏光方向が０度と１３５度である指定偏光画素の輝度値と対応する偏光方向の基準輝度値との差分値を算出する。また、赤色偏光画素および青色偏光画素についても同様にして、平均輝度値と偏光方向が０度と１３５度の指定偏光画素と輝度値に対する基準値（基準平均輝度値と基準輝度値）の設定と差分値の算出を行う。さらに、情報圧縮部４０は、平均輝度値の基準値と指定偏光画素の基準値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
　また、図１０の（ｄ）に示すように、４つの偏光方向の偏光画素（例えば偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(2,0)，Ｐ(3,0)）を画素ブロックとして、画素ブロックをライン方向に並べた画素配置とすれば、ライン毎に平均輝度値の差分値および視点偏光画素の差分値を算出できるようになる。
　図１１は、第１の構成における情報復号部の第２の動作を例示したフローチャートである。ステップＳＴ３１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ３２に進む。
　ステップＳＴ３２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準値（基準偏光輝度値と基準輝度値）を加算して、平均輝度値と指定偏光画素の輝度値を復号してステップＳＴ３３に進む。
　ステップＳＴ３３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ３２で得られた平均輝度値と指定偏光画素の輝度値から従属偏光画素の輝度値を算出する。
　このような、第２の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
　＜３－３．第１の構成における情報圧縮部と情報復号部の第３の動作＞
　情報圧縮部の第３の動作では、偏光画像において平均輝度値は色毎に異なるが、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、この偏光の性質に基づいた圧縮処理を行う。
　しあがって、情報圧縮部の第３の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含むようにする。
　図１２は、第１の構成における情報圧縮部の第３の動作を例示したフローチャートである。ステップＳＴ４１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ４２に進む。
　ステップＳＴ４２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ４３に進む。
　ステップＳＴ４３で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ４４に進む。
　ステップＳＴ４４で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準平均輝度値との差分値を算出する。また、情報圧縮部４０は、基準平均輝度値との差分値が算出された平均輝度値の算出に用いた複数偏光方向の画素ブロックに隣接する画素ブロックの比率を用いて、平均輝度値の算出に用いた複数偏光方向の画素ブロックの比率と隣接する画素ブロックの比率の差分値を偏光方向毎に算出してステップＳＴ４５に進む。
　ステップＳＴ４５で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ４６に進む。
　ステップＳＴ４６で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ４４で設定した基準値を基準画像情報、ステップＳＴ４５で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　図１３は、第１の構成における情報圧縮部の第３の動作を説明するための図である。例えば、情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値と基準平均輝度値との差分値を算出する。
　また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値を「ＩＢ45」，「ＩＢ90」，「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ45＋ＩＢ90＋ＩＢ135）」となる。また、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値の比率ｒＢ45，ｒＢ90，ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
　情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値の比率ｒＧ0，ｒＧ45，ｒＧ90，ｒＧ135を算出して、青色画素ブロックＢＢ(0,0)の比率との差分値を偏光方向毎に算出する。
　以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは異なる偏光画素であって異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および４つの偏光方向の偏光画素の輝度値の比率と隣接する画素ブロックの比率との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
　情報圧縮部４０は、基準平均輝度値がｍビットである場合、算出した平均輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率の差分値は小さく、比率の差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
　なお、図１３では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
　図１４は、第１の構成における情報復号部の第３の動作を例示したフローチャートである。ステップＳＴ５１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ５２に進む。
　ステップＳＴ５２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された平均輝度値の差分値と基準平均輝度値を加算して、平均輝度値を算出する。また、情報復号部７０は、差分情報で示された比率の差分値と隣接偏光ブロックの比率を偏光方向毎に加算して、平均輝度値を算出した画素ブロックにおける偏光画素の輝度値の比率を復号してステップＳＴ５３に進む。
　ステップＳＴ５３で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ５２で得られた平均輝度値と偏光方向毎の輝度値の比率から平均輝度値を算出した画素ブロックにおける偏光方向毎の偏光画素の輝度値を算出する。
　このような、第３の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。
　＜３－４．第１の構成における情報圧縮部と情報復号部の第４の動作＞　
　上述の情報圧縮部の第３の動作では、偏光方向毎の輝度値の比率と基準値との差分値を算出したが、平均輝度値と隣接する画素ブロックの輝度値の比率に基づき予測値を算出して、予測値との差分値を差分情報として用いることもできる。
　したがって、情報圧縮部の第４の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにして、予測値は、基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
　図１５は、第１の構成における情報圧縮部の第４の動作を例示したフローチャートである。ステップＳＴ６１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ６２に進む。
　ステップＳＴ６２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ６３に進む。
　ステップＳＴ６３で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ６４に進む。
　ステップＳＴ６４で情報圧縮部は予測値を算出する。情報圧縮部４０は、画素ブロックの平均輝度値と、隣接する画素ブロックの輝度値の比率に基づき、偏光方向毎に予測値を算出してステップＳＴ６５に進む。
　ステップＳＴ６５で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準平均輝度値との差分値を算出する。また、情報圧縮部４０は、基準平均輝度値との差分値が算出された平均輝度値と、この平均値の算出に用いた複数偏光方向の画素ブロックに隣接する画素ブロックの比率を用いて、予測値を算出する。さらに、情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の画素ブロックの輝度値と予測値との差分値を偏光方向毎に算出してステップＳＴ６６に進む。
　ステップＳＴ６６で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準平均輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ６６に進む。
　ステップＳＴ６７で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ６５で設定した基準値を基準画像情報、ステップＳＴ６６で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　次に、情報圧縮部の第４の動作を、図１３を用いて説明する。例えば、情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値と基準平均輝度値との差分値を算出する。
　また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出とする。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値を「ＩＢ45」，「ＩＢ90」，「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ45＋ＩＢ90＋ＩＢ135）」となる。また、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値の比率ｒＢ45，ｒＢ90，ｒＢ135を算出して、比率ｒＢ0，ｒＢ45，ｒＢ90，ｒＢ135を予測値の算出に用いる比率とする。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
　情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値ＩＧmeanと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ0を用いて、偏光方向が０度の予測値ＩＧｄ0を算出する。この場合、偏光方向が０度である偏光画素の予測値ＩＧｄ0は「ＩＧｄ0＝４×ＩＧmean×ｒＢ0」となる。同様に、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値ＩＧmeanと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ45，ｒＢ90，ｒＢ135を用いて、偏光方向毎の予測値ＩＧｄ45，ＩＧｄ90，ＩＧｄ135を算出する。
　さらに、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値と同偏光の予測値との差分値を偏光方向毎に算出する。
　以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および４つの偏光方向の偏光画素の輝度値と同偏光の予測値との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
　情報圧縮部４０は、基準平均輝度値がｍビットである場合、算出した平均輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率を用いて算出した予測値と輝度値との差分値は小さく、予測値と輝度値との差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
　なお、図１３では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
　図１６は、第１の構成における情報復号部の第４の動作を例示したフローチャートである。ステップＳＴ７１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ７２に進む。
　ステップＳＴ７２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準値（基準平均輝度値）を加算して平均輝度値を復号してステップＳＴ７３に進む。
　ステップＳＴ７３で情報復号部は予測値を算出する。情報復号部７０は、ステップＳＴ７２で得られた平均輝度値と隣接する画素ブロックの輝度値の比率から予測値を偏光方向毎に算出してステップＳＴ７４進む。
　ステップＳＴ７４で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ５２で得られた差分値とステップＳＴ７３で算出された予測値を偏光方向毎に加算して、平均輝度を算出した画素ブロックにおける偏光方向毎の偏光画素の輝度値を算出する。
　このような、第４の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。
　＜３－５．第１の構成における情報圧縮部と情報復号部の第５の動作＞
　次に、第５の動作では、偏光撮像部２０で取得された偏光画像に偏光画素と通常画素が含まれる場合について説明する。
　通常画素の輝度値は、平均輝度値の２倍の値を示す。このため、通常画素と指定偏光画素の輝度値を用いて基準値の設定と差分値の算出を行い、従属偏光画素の輝度値は、復号時に通常画素と指定偏光画素の輝度値から算出する。
　したがって、情報圧縮部の第５の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含むようにする。
　図１７は、第１の構成における情報圧縮部の第５の動作を例示したフローチャートである。ステップＳＴ８１で情報圧縮部は偏光画素と通常画素からなる偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ８２に進む。
　ステップＳＴ８２で情報圧縮部は偏光画素と通常画素に対する基準値の設定と差分値の算出を行う。情報圧縮部４０は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、通常画素の色毎に基準通常画素を設定して、基準通常画素の輝度値を無偏光基準輝度値に設定する。情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。例えば情報圧縮部４０は、異なる色および異なる偏光方向毎に最初の画素を基準偏光画素として基準輝度値を設定する。また、その後の偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。さらに、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出する。例えば情報圧縮部４０は、色毎に最初の通常画素を基準通常画素として無偏光基準輝度値を設定する。また、その後の通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出してステップＳＴ８３に進む。
　ステップＳＴ８３で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値（基準輝度値と無偏光基準輝度値）のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ８４に進む。
　ステップＳＴ８４で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ８２で設定した基準値を基準画像情報、ステップＳＴ８３で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　図１８は、第１の構成における情報圧縮部の第５の動作を説明するための図である。なお、図１８の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図１８の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。この偏光画像では、偏光画素が上述の指定偏光画素、例えば偏光方向が０度と１３５度である偏光画素である。なお、従属偏光画素である偏光方向が４５度と９０度の偏光画素の輝度値は、後述するように復号処理で算出可能である。
　図１８の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、通常画素Ｐ(1,0)が最初の通常画素であることから、通常画素Ｐ(1,0)を基準通常画素として輝度値を無偏光基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから、偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素Ｐ(3,0)が２番目の通常画素であることから、通常画素Ｐ(3,0)の輝度値と基準通常画素の無偏光基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について基準偏光画素と基準通常画素の輝度値を基準値（基準輝度値と無偏光基準輝度値）として設定して、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値、および基準通常画素とは異なる通常画素の輝度値と無偏光基準輝度値との差分値を算出する。
　次に、情報圧縮部４０は、通常画素Ｐ(0,1)の輝度値と基準通常画素の輝度値との差分値を算出する。なお、図１８の（ａ）では２×２画素が画素配列の基準単位とされていることから、通常画素Ｐ(0,1)を基準通常画素として輝度値を無偏光基準輝度値としてもよい。情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素と通常画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値および通常画素の輝度値と無偏光基準輝度値との差分値を算出する。なお、通常画素Ｐ(0,1)を基準通常画素とした場合、通常画素Ｐ(0,1)の輝度値を無偏光基準輝度値として用いて差分値を算出してもよい。
　以下同様に、情報圧縮部４０は差分値を算出して、２つの偏光方向毎の基準偏光画素の輝度値および基準通常画素の輝度値を示す基準値（基準輝度値と無偏光基準輝度値）がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
　また、図１８の（ｂ）の場合、図１８の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の緑色画素ブロックＢＧ(0,0)の２つの偏光画素（例えば偏光方向が０度と１３５度の偏光画素）を基準偏光画素として輝度値を基準輝度値に設定する。また、緑色画素ブロックＢＧ(0,0)の２つの通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値と、通常画素の輝度値とブロック内の同位置の無偏光基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、基準偏光画素と基準通常画素の輝度値である基準値（基準輝度値と無偏光基準輝度値）がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。
　図１９は、第１の構成における情報復号部の第５の動作を例示したフローチャートである。ステップＳＴ９１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ９２に進む。
　ステップＳＴ９２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された偏光画素の差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。また、差分情報で示された通常画素の差分値と無偏光基準輝度値を加算して、通常画素の輝度値を復号してステップＳＴ９３に進む。
　ステップＳＴ９３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ９２で得られた通常画素と偏光画素の輝度値に基づき従属偏光画素の輝度値を算出する。すなわち、上述の式（６）の関係に基づいて、通常画素の輝度値Ｉnpと偏光方向が０度の偏光画素の輝度値Ｉ0と偏光方向が１３５度の偏光画素の輝度値Ｉ135から偏光方向が４５度と９０度の偏光画素の輝度値Ｉ45，Ｉ90を算出する。
　このような、第５の動作によれば、偏光画像に通常画素が含まれていても、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。
　＜３－６．第１の構成における情報圧縮部と情報復号部の第６の動作＞
　情報圧縮部の第６の動作では、偏光撮像部２０で取得された偏光画像に偏光画素と通常画素が含まれており、偏光画像において通常画素の輝度値は色毎に異なるが、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の性質に基づいた圧縮処理を行う。
　すなわち、情報圧縮部の第６の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値の比率と隣接する画素ブロックにおける指定偏光画素の輝度値の比率との差を示す情報を含むようにする。
　図２０は、第１の構成における情報圧縮部の第６の動作を例示したフローチャートである。ステップＳＴ１０１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１０２に進む。
　ステップＳＴ１０２で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、偏光方向毎の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ１０３に進む。
　ステップＳＴ１０３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、通常画素を基準通常画素として色毎に設定して、基準通常画素の輝度値を基準輝度値として設定する。その後、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素と複数偏光方向の偏光画素からなる画素ブロックに隣接する画素ブロックの比率を用いて、画素ブロックの比率と隣接する画素ブロックの比率の差分値を偏光方向毎に算出してステップＳＴ１０４に進む。
　ステップＳＴ１０４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１０５に進む。
　ステップＳＴ１０５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１０３で設定した基準値を基準画像情報、ステップＳＴ１０４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　図２１は、第１の構成における情報圧縮部の第６の動作を説明するための図である。例えば、情報圧縮部４０は、偏光方向が異なる２つの偏光方向の指定偏光画素と２つの通常画素で構成された２×２画素の緑色画素ブロックＢＧ(0,0)において、通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値を算出する。
　また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が１３５度である青色偏光画素の輝度値を「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ135）」となる。また、偏光方向が１３５度である青色偏光画素の輝度値の比率ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
　情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値の比率ｒＧ0，ｒＧ135を算出して、青色画素ブロックＢＢ(0,0)の比率との差分値を偏光方向毎に算出する。
　以下同様の処理を行い、情報圧縮部４０は、基準通常画素とは異なる通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値、および２つの偏光方向の偏光画素の輝度値の比率と隣接する画素ブロックの比率との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
　情報圧縮部４０は、無偏光基準輝度値がｍビットである場合、算出した輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率の差分値は小さく、比率の差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
　なお、図２１では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
　図２２は、第１の構成における情報復号部の第６の動作を例示したフローチャートである。ステップＳＴ１１１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１１２に進む。
　ステップＳＴ１１２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された通常画素の差分値と、この通常画素の差分値とブロック内で等しい位置の無偏光基準輝度値を加算して通常画素の輝度値とする。また、情報復号部７０は、差分情報で示された比率の差分値と隣接偏光ブロックの比率を偏光方向毎に加算して、輝度値が算出された通常画素を含む画素ブロックにおける偏光画素の輝度値の比率を復号してステップＳＴ１１３に進む。
　ステップＳＴ１１３で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ１１２で得られた通常画素の輝度値と偏光方向毎の輝度値の比率から２つの偏光方向の指定偏光画素の輝度値を算出する。さらに、情報復号部７０は通常画素の輝度値と指定偏光画素の輝度値に基づいて従属偏光画素の輝度値を算出する。
　このような、第６の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。また、偏光画像に従属偏光画素の輝度値が含まれていなくとも、圧縮画像情報の復号処理を行えば、従属偏光画素の輝度値を算出できる。
　＜３－７．第１の構成における情報圧縮部と情報復号部の第７の動作＞　
　上述の情報圧縮部の第６の動作では、輝度値と比率について差分値を算出したが、第７の動作では、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に予測値を算出して、予測値との差分値を差分情報として用いる。
　すなわち、情報圧縮部の第７の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにして、予測値は、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
　図２３は、第１の構成における情報圧縮部の第７の動作を例示したフローチャートである。ステップＳＴ１２１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１２２に進む。
　ステップＳＴ１２２で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、偏光方向毎の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ１２３に進む。
　ステップＳＴ１２３で情報圧縮部は予測値を算出する。情報圧縮部４０は、画素ブロックの通常画素の輝度値と、隣接する画素ブロックの輝度値の比率に基づき、偏光方向毎に予測値を算出してステップＳＴ１２４に進む。
　ステップＳＴ１２４で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、基準通常画素を色毎に設定して基準通常画素の輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値とブロック内で同じ位置の無偏光基準輝度値との差分値を算出する。また、情報圧縮部４０は、無偏光基準輝度値との差分値が算出された通常画素の輝度値と、この通常画素を含む画素ブロックに隣接する画素ブロックの比率を用いて、予測値を算出する。さらに、情報圧縮部４０は、画素ブロック内の偏光画素の輝度値と予測値との差分値を偏光方向毎に算出してステップＳＴ１２５に進む。
　ステップＳＴ１２５で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、無偏光基準輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１２６に進む。
　ステップＳＴ１２６で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１２４で設定した基準値を基準画像情報、ステップＳＴ１２５で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　次に、情報圧縮部の第７の動作を、図２１を用いて説明する。例えば、情報圧縮部４０は、偏光方向が異なる２つの偏光方向の指定偏光画素と２つの通常画素で構成された２×２画素の緑色画素ブロックＢＧ(0,0)において、通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値を算出する。
　また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が１３５度である青色偏光画素の輝度値を「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ135）」となる。また、偏光方向が１３５度である青色偏光画素の輝度値の比率ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
　情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値ＩＧnpと青色画素ブロックＢＢ(0,0)の比率ｒＢ0を用いて、偏光方向が０度の予測値ＩＧｄ0を算出する。この場合、偏光方向が０度である偏光画素の予測値ＩＧｄ0は「ＩＧｄ0＝ＩＧnp×ｒＢ0」となる。同様に、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値ＩＧnpと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ135を用いて、偏光方向が１３５度の予測値ＩＧｄ135を算出する。情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)における偏光方向が０度の偏光画素の輝度値と同偏光の予測値との差分値と、偏光方向が１３５度の偏光画素の輝度値と同偏光の予測値との差分値を算出する。
　以下同様の処理を行い、情報圧縮部４０は、基準通常画素とは異なる通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値、および２つの偏光方向の偏光画素の輝度値と予測値との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
　情報圧縮部４０は、無偏光基準輝度値がｍビットである場合、算出した輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率を用いて算出した予測値と輝度値との差分値は小さく、予測値と輝度値との差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
　なお、図２１では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
　図２４は、第１の構成における情報復号部の第７の動作を例示したフローチャートである。ステップＳＴ１３１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１３２に進む。
　ステップＳＴ１３２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された通常画素の差分値と、この通常画素の差分値とブロック内で等しい位置の無偏光基準輝度値を加算して通常画素の輝度値とする。また、予測値に対する差分値を取得してステップＳＴ１３３に進む。
　ステップＳＴ１３３で情報復号部は予測値を算出する。情報復号部７０は、ステップＳＴ１３２で得られた通常画素の輝度被と隣接する画素ブロックにおける偏光画素の輝度値の比率から予測値を偏光方向毎に算出してステップＳＴ１３４進む。
　ステップＳＴ１３４で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ１３２で得られた予測値との差分値とステップＳＴ１３３で算出された予測値を偏光方向毎に加算して、画素ブロックにおける２つの偏光方向の指定偏光画素の輝度値を算出する。さらに、情報復号部７０は通常画素の輝度値と指定偏光画素の輝度値に基づいて従属偏光画素の輝度値を算出する。
　このような、第７の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。また、偏光画像に従属偏光画素の輝度値が含まれていなくとも、圧縮画像情報の復号処理を行えば、従属偏光画素の輝度値を算出できる。
　＜４．偏光画像処理システムの第２の構成＞
　図２５は、本技術の画像処理装置を用いた偏光画像処理システムの第２の構成を例示している。偏光画像処理システム１０ａは、偏光撮像部２０、特性情報記憶部３０、情報圧縮部４５を有している。また、偏光画像処理システム１０ａでは、情報復号部７５と偏光情報利用部８０を設けてもよい。偏光画像処理システム１０ａでは、情報圧縮部４５で生成された偏光圧縮情報を記録媒体５０あるいは伝送路６０を介して、情報復号部７５へ供給する。
　偏光撮像部２０は、偏光画像処理システムの第１の構成と同様に、偏光方向が異なる複数の偏光画像を取得して、情報圧縮部４５へ出力する。
　図２５に示す特性情報記憶部３０は、偏光画像の取得に関する特性情報を記憶している。特性情報は、例えば偏光撮像部２０の偏光分解性能情報を含む。偏光分解性能情報は、例えば消光比や透過軸透過率に関する情報である。また、特性情報は、偏光撮像部２０の画素配置情報、すなわち各色や偏光方向がどのようなパターンで配置されているかを示す情報を含むようにしてもよい。また、特性情報には、偏光画像の取得に用いた偏光照明光の偏光方向を示す偏光照明情報を含むようにしてもよい。
　図２６は、消光比を説明するための図である。イメージセンサ２０１に対して偏光フィルタ２０２が設けられており、図２６の（ａ）に示すように偏光フィルタ２０２で透過する光の偏光方向Ｆaに平行な完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉpとする。また、図２６の（ｂ）に示すように、偏光フィルタ２０２で透過する光の偏光方向Ｆaに垂直な完全直線偏光の光Ｌvを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉvとする。この輝度値Ｉpと輝度値Ｉvの比率「Ｉp:Ｉv」を消光比という。消光比は、理想的には「Ｉp:Ｉv＝１：０」であるが実際のデバイスにおいては多少劣化が発生する。したがって消光比を「Ｅr：１」で表すようにして、値Ｅrを消光比に関する情報として特性情報に含める。なお、一般的な偏光板においてはＥｒ＝１００～１００００である。
　図２７は、透過軸透過率を説明するための図である。イメージセンサ２０１に対して偏光フィルタ２０２が設けられており、図２７の（ａ）に示すように偏光フィルタ２０２で透過する光の偏光方向Ｆaに平行な完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉsとする。また、偏光フィルタ２０２が設けられていないイメージセンサ２０１に対して、図２７の（ｂ）に示すように上述の完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉqとする。この輝度値Ｉsと輝度値Ｉqの比率「Ｅt＝Ｉs／Ｉq」を透過軸透過率という。透過軸透過率は偏光素子を設けたことでどれくらい感度が落ちたかを表す指標であり、透過軸透過率Ｅtを特性情報に含める。なお、透過軸透過率は理想的には「Ｅt＝１」である。
　情報圧縮部４５は、偏光撮像部２０で取得された偏光画像の圧縮処理を行う。情報圧縮部４５は、特性情報記憶部３０に記憶されている特性情報を用いて偏光画像の圧縮処理を行い、圧縮画像情報を生成する。情報圧縮部４５は、生成した圧縮画像情報を記録媒体５０あるいは伝送路６０を介して情報復号部７５へ出力する。
　情報復号部７５は、情報圧縮部４５の圧縮処理に対応した復号処理を行い、記録媒体５０あるいは伝送路６０を介して取得した圧縮画像情報から圧縮処理前の偏光画像を生成する。情報復号部７５は、生成した偏光画像を偏光情報利用部８０へ出力する。
　偏光情報利用部８０は、情報復号部７５で生成された偏光画像に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
　＜５．第２の構成における圧縮処理と復号処理について＞
　次に情報圧縮部４５で行われる圧縮処理と情報復号部で行われる復号処理について説明する。情報圧縮部４５では、特性情報記憶部３０に記憶されて特性情報を用いて圧縮処理を行う。また、情報復号部７５は、情報圧縮部４５で用いた圧縮処理に対応した復号処理を行う。なお、情報圧縮部４５と情報復号部７５で行われる処理は、可逆圧縮あるいは不可逆圧縮のいずれであってもよい。
　＜５－１．第２の構成における情報圧縮部の第１の動作＞
　情報圧縮部４５の第１の動作では、例えば消光比や透過軸透過率を用いて圧縮処理を行う。
　情報圧縮部４５は、偏光撮像部２０から偏光画像と特性情報記憶部３０から消光比や透過軸透過率を取得して、消光比や透過軸透過率に基づき偏光画像の輝度値を補正する。さらに、情報圧縮部４５は、輝度値が補正された偏光画像を用いて上述の情報圧縮部４０と同様な処理を行い、圧縮画像情報を生成する。
　ここで、観測輝度値を「Ｉv」、理想輝度値を「Ｉp」、消光比をＥr、透過軸透過率をＥtとする。偏光方向が０度の場合には式（９）が成立する。また、偏光方向が４５度，９０度，１３５度の場合には式（１０）（１１）（１２）が成立する。
Figure JPOXMLDOC01-appb-M000003
　また、通常画素が設けられている場合、通常画素の観測輝度値Ｉnpvとすると偏光方向が０度，４５度である場合、式（１３）（１４）が成立して、観測輝度値Ｉnpvは式（１５）の関係となる。
Figure JPOXMLDOC01-appb-M000004
　したがって、情報圧縮部４５は、特性情報記憶部３０に記憶されている消光比や透過軸透過率を用いて、偏光撮像部２０で取得された偏光画像の輝度値を理想輝度値に補正することができる。
　このように、特性情報に基づいて偏光画像の補正を行えば、偏光撮像部２０の特性の違いによる影響を除去することが可能となり、精度の高い偏光画像の圧縮処理を行うことができるようになる。
　＜５－２．第２の構成における情報圧縮部の第２の動作＞
　次に、特性情報記憶部に照明の偏光情報が記憶されている場合について説明する。この場合、情報圧縮部４５は上述の情報圧縮部の第５の動作乃至第７の動作で示した偏光画素と通常画素を有する偏光画像を用いることが望ましい。なお、偏光照明照射は、内視鏡や工場用途など光源状態を自分で制御して体内や物体の検査などに用いられる。
　完全直線偏光の偏光照明光を用いた場合、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値との関係は、透過軸透過率で示される。したがって、透過軸透過率に応じて偏光画素の輝度値を調整すれば、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値を同じような値にできる。したがって、隣接する偏光方向が偏光照明光に平行な偏光画素と通常画素とのいずれか一方の画素に関する基準値と差分値のみを圧縮画像情報に用いて、復号時には一方の画素に関する基準値と差分値を他方の画素に関する基準値と差分値として用いるようにすることで圧縮効率を向上させる。
　図２８は、第２の構成における情報圧縮部の第２の動作を例示したフローチャートである。なお、説明を容易とするため、透過軸透過率は「Ｅｔ＝１」であり、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値は等しいとする。また、以下の説明では、偏光方向が偏光照明光に平行な偏光画素と通常画素のいずれか一方の画素として、偏光画素を用いた場合を示している。
　ステップＳＴ１４１で情報圧縮部は特性情報を取得する。情報圧縮部４５は、特性情報記憶部３０から偏光照明情報を取得してステップＳＴ１４２に進む。
　ステップＳＴ１４２で情報圧縮部は偏光画像を取得する。情報圧縮部４５は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１４３に進む。
　ステップＳＴ１４３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４５は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ１４４に進む。
　ステップＳＴ１４４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１４５に進む。
　ステップＳＴ１４５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１４３で設定した基準値を基準画像情報、ステップＳＴ１４４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
　図２９は、第２の構成における情報圧縮部の第２の動作を説明するための図である。なお、図２９の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図２９の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
　図２９の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値が等しいことから、通常画素Ｐ(1,0)をスキップする。なお、図では、スキップする画素を「ＳＫ」で示している。
　情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素Ｐ(3,0)をスキップする。以下同様に通常画素はスキップして、情報圧縮部４０は、１ライン目の画素について基準偏光画素の輝度値を基準輝度値として設定して、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
　次に、情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
　以下同様に、情報圧縮部４０は差分値を算出して、２つの偏光方向毎の基準偏光画素の輝度値がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。なお、上述の処理は、通常画素について基準値の設定と差分値の算出を行い、偏光方向が偏光照明光に平行な偏光画素をスキップしてもよく、圧縮画像情報には通常画素（または偏光方向が偏光照明光に平行な偏光画素）の輝度値に関する情報が含まれないことから情報量を効率よく削減できる。
　また、図２９の（ｂ）の場合、図２９の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の緑色画素ブロックＢＧ(0,0)の２つの偏光画素（例えば偏光方向が０度と１３５度の偏光画素）を基準偏光画素として輝度値を基準輝度値に設定する。また、緑色画素ブロックＢＧ(0,0)の２つの通常画素を基準通常画素として輝度値を基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。また、緑色画素ブロック内の通常画素はスキップする。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。なお、赤色偏光画素と青色偏光画素についてはスキップする画素であることを示す表示「ＳＫ」を省略している。
　情報圧縮部４０は、基準偏光画素の輝度値である基準輝度値がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。なお、上述の処理は、通常画素について基準値の設定と差分値の算出を行い、偏光方向が偏光照明光に平行な偏光画素をスキップしてもよく、圧縮画像情報には通常画素（または偏光方向が偏光照明光に平行な偏光画素）の輝度値に関する情報が含まれないことから情報量を効率よく削減できる。
　図３０は、第２の構成における情報復号部の動作を例示したフローチャートである。なお、図３０は図２８の処理で生成された圧縮画像情報の復号処理を示している。
　ステップＳＴ１５１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４５で圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１５２に進む。
　ステップＳＴ１５２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された偏光画素の差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。また、情報復号部７０は、偏光方向が偏光照明光に平行な偏光画素の輝度値を、隣接する通常画素の輝度値としてステップＳＴ１５３に進む。
　ステップＳＴ１５３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ１５２で得られた通常画素と偏光画素の輝度値に基づき従属偏光画素の輝度値を算出する。すなわち、上述の式（６）の関係に基づいて、２×２画素の画像ブロック毎に、通常画素の輝度値Ｉnpと偏光方向が０度の偏光画素の輝度値Ｉ0と偏光方向が１３５度の偏光画素の輝度値Ｉ135から偏光方向が４５度と９０度の偏光画素の輝度値Ｉ45，Ｉ90を算出する。
　ところで、透過軸透過率が「Ｅｔ＝１」でない場合、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値は異なる。しかし、透過軸透過率Ｅｔに基づき、偏光方向が偏光照明光に平行な偏光画素の輝度値を通常画素の輝度値に調整可能であることから、輝度値の調整を行った場合には調整率等を示す調整情報を圧縮画像情報に含めるようにする。また、情報復号部７０は、調整情報に基づき偏光方向が偏光照明光に平行な偏光画素の輝度値を調整前の輝度値に戻すようにすればよい。
　このような、第２の構成における第２の動作によれば、偏光画像に通常画素が含まれていても、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、特性情報を利用して圧縮効率をさらに向上させることが可能となる。
　＜６．圧縮処理の他の動作＞
　ところで、上述の動作において、色毎および偏光方向毎の最初の画素を基準偏光画素に設定する動作では、差分値の算出に用いる基準輝度値を、前回差分値を算出した同色同偏光画素の画素値としてもよい。例えば最初の画素を基準画素に設定して、その後の同色同偏光の偏光画素について差分値を算出した場合、差分値を算出した偏光画素の画素値を次の差分値の算出における基準輝度値とする。このように基準輝度値を更新すれば、近傍の同色同偏光の偏光画素間で差分値が算出されるので、最初に設定した基準画素からの距離が大きいことで差分値が大きくなってしまうことを防止できる。なお、このように基準輝度値を更新する場合、最初の基準輝度値と差分値を用いて順次偏光画素の画素値を復号できることから、最初の基準輝度値のみを基準画像情報に含めればよい。また、基準平均輝度値や無偏光基準輝度値も同様に更新して、最初の基準平均輝度値や無偏光基準輝度値のみを基準画像情報に含めてもよい。また、基準偏光画素や基準通常画素は、所定領域毎あるいは被写体認識結果に基づいた領域毎に設定してもよい。
　また、上述の情報圧縮部の動作は、フローチャートの処理順序に限られない。例えば偏光画像に対してフローチャートの１つのステップの処理が完了する前に、次のステップの処理が可能であるときは、偏光画像に対するステップの処理が完了する前に、次のステップの処理を行うようにしてもよい。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
　＜７．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
　さらに、偏光情報のデータ量を削減して伝送できることから、遠隔地でも周辺環境や術部の確認を三次元で行うことが容易となる。また、偏光情報を効率よく記録できるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置。
　（２）　前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する（１）に記載の画像処理装置。
　（３）　前記基準画像情報は、色毎および偏光方向毎の前記基準偏光画素の輝度値を示す情報を含み、
　前記差分情報は、前記基準偏光画素の輝度値と同色かつ同偏光方向であって前記基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む（２）に記載の画像処理装置。
　（４）　前記情報圧縮部は、偏光の性質に基づいて前記基準画像情報と前記差分情報の生成を行う（２）に記載の画像処理装置。
　（５）　前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の前記基準偏光画素の輝度値である基準輝度値を示す情報を含み、
　前記差分情報は、前記基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含む（４）に記載の画像処理装置。
　（６）　前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
　前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含む（４）に記載の画像処理装置。
　（７）　前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
　前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
　前記予測値は、前記基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、前記画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出した（４）に記載の画像処理装置。
　（８）　前記偏光画像は無偏光である通常画素を有し、
　前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、前記平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、
　前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含む（４）に記載の画像処理装置。
　（９）　前記偏光画像は無偏光である通常画素を有し、
　前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
　前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値の比率と隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率との差を示す情報を含む（４）に記載の画像処理装置。
　（１０）　前記偏光画像は無偏光の通常画素を有し、
　前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
　前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
　前記予測値は、前記基準通常画素とは異なる通常画素の輝度値と、前記画素ブロックに隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出した（４）に記載の画像処理装置。
　（１１）　前記複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、
　前記情報圧縮部は前記特性情報記憶部に記憶されている特性情報を用いて前記圧縮画像情報の生成を行う（２）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記特性情報は、前記偏光画像を取得した偏光撮像部の消光比または透過軸透過率を示し、
　前記情報圧縮部は、前記消光比または前記透過軸透過率を用いて前記偏光画像の補正を行い、補正後の前記偏光画像を用いて前記圧縮画像情報を生成する（１１）に記載の画像処理装置。
　（１３）　前記特性情報は、前記偏光画像の取得に用いた偏光照明光の偏光方向を示しており、
　前記情報圧縮部は、前記偏光照明光の偏光方向に基づいて前記基準画像情報と前記差分情報の生成を行う（１１）または（１２）に記載の画像処理装置。
　（１４）　前記情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する（２）乃至（１３）のいずれかに記載の画像処理装置。
　１０，１０ａ・・・偏光画像処理システム
　２０・・・偏光撮像部
　３０・・・特性情報記憶部
　４０，４５・・・情報圧縮部
　５０・・・記録媒体
　６０・・・伝送路
　７０，７５・・・情報復号部
　８０・・・偏光情報利用部
　２０１・・・イメージセンサ
　２０２・・・偏光フィルタ
　２０３・・・カラーフィルタ

Claims (18)

  1. 　複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
    を備える画像処理装置。
  2. 　前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する
    請求項１に記載の画像処理装置。
  3. 　前記基準画像情報は、色毎および偏光方向毎の前記基準偏光画素の輝度値を示す情報を含み、
    　前記差分情報は、前記基準偏光画素の輝度値と同色かつ同偏光方向であって前記基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む
    請求項２に記載の画像処理装置。
  4. 　前記情報圧縮部は、偏光の性質に基づいて前記基準画像情報と前記差分情報の生成を行う
    請求項２に記載の画像処理装置。
  5. 　前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の前記基準偏光画素の輝度値である基準輝度値を示す情報を含み、
    　前記差分情報は、前記基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含む
    請求項４に記載の画像処理装置。
  6. 　前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
    　前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含む
    請求項４に記載の画像処理装置。
  7. 　前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
    　前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
    　前記予測値は、前記基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、前記画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出した
    請求項４に記載の画像処理装置。
  8. 　前記偏光画像は無偏光である通常画素を有し、
    　前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、前記平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、
    　前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含む
    請求項４に記載の画像処理装置。
  9. 　前記偏光画像は無偏光である通常画素を有し、
    　前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
    　前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値の比率と隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率との差を示す情報を含む
    請求項４に記載の画像処理装置。
  10. 　前記偏光画像は無偏光の通常画素を有し、
    　前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
    　前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
    　前記予測値は、前記基準通常画素とは異なる通常画素の輝度値と、前記画素ブロックに隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出した
    請求項４に記載の画像処理装置。
  11. 　前記複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、
    　前記情報圧縮部は前記特性情報記憶部に記憶されている特性情報を用いて前記圧縮画像情報の生成を行う
    請求項２に記載の画像処理装置。
  12. 　前記特性情報は、前記偏光画像を取得した偏光撮像部の消光比または透過軸透過率を示し、
    　前記情報圧縮部は、前記消光比または前記透過軸透過率を用いて前記偏光画像の補正を行い、補正後の前記偏光画像を用いて前記圧縮画像情報を生成する
    請求項１１に記載の画像処理装置。
  13. 　前記特性情報は、前記偏光画像の取得に用いた偏光照明光の偏光方向を示しており、
    　前記情報圧縮部は、前記偏光照明光の偏光方向に基づいて前記基準画像情報と前記差分情報の生成を行う
    請求項１１に記載の画像処理装置。
  14. 　前記情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する
    請求項２に記載の画像処理装置。
  15. 　複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を情報圧縮部で生成すること
    を含む画像処理方法。
  16. 　偏光画像の圧縮処理をコンピュータで実行させるプログラムであって、
    　複数偏光方向の偏光画素を有する前記偏光画像を取得する手順と、
    　前記偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する手順と
    を前記コンピュータで実行させるプログラム。
  17. 　情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する情報復号部
    を備える画像処理装置。
  18. 　前記圧縮画像情報は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含み、
    　前記情報復号部は、前記基準画像情報と前記差分情報に基づいて前記偏光画像の画素毎の輝度値を生成する。
    請求項１７に記載の画像処理装置。
PCT/JP2019/022514 2018-09-12 2019-06-06 画像処理装置と画像処理方法およびプログラム WO2020054152A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980058313.3A CN112655219B (zh) 2018-09-12 2019-06-06 图像处理装置、图像处理方法和记录介质
EP19859860.9A EP3852375A4 (en) 2018-09-12 2019-06-06 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US17/273,891 US11930160B2 (en) 2018-09-12 2019-06-06 Image processing apparatus, image processing method, and program
JP2020546697A JP7276346B2 (ja) 2018-09-12 2019-06-06 画像処理装置と画像処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018170378 2018-09-12
JP2018-170378 2018-09-12

Publications (1)

Publication Number Publication Date
WO2020054152A1 true WO2020054152A1 (ja) 2020-03-19

Family

ID=69777528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022514 WO2020054152A1 (ja) 2018-09-12 2019-06-06 画像処理装置と画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11930160B2 (ja)
EP (1) EP3852375A4 (ja)
JP (1) JP7276346B2 (ja)
WO (1) WO2020054152A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209226A1 (ja) * 2021-03-31 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086720A (ja) * 2005-08-23 2007-04-05 Photonic Lattice Inc 偏光イメージング装置
WO2012017600A1 (ja) * 2010-08-04 2012-02-09 パナソニック株式会社 撮像素子および撮像装置
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2018128265A (ja) * 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100704938B1 (ko) 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
JP2015115041A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
US20150229910A1 (en) 2014-02-07 2015-08-13 National University Of Singapore Method and apparatus for stereoscopic imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086720A (ja) * 2005-08-23 2007-04-05 Photonic Lattice Inc 偏光イメージング装置
WO2012017600A1 (ja) * 2010-08-04 2012-02-09 パナソニック株式会社 撮像素子および撮像装置
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2018128265A (ja) * 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GARY A. ATKINSON ET AL.: "Recovery of Surface Orientation From Diffuse Polarization", IEEE TRANSACTIONS OF IMAGE PROCESSING, vol. 15, no. 6, June 2006 (2006-06-01), pages 1653 - 1664, XP002604501, DOI: 10.1109/TIP.2006.871114 *
GARY A. ATKINSONEDWIN R. HANCOCK: "Recovery of surface orientation from diffuse polarization", IEEE TRANSACTIONS OF IMAGE PROCESSING, vol. 15, no. 6, 2006, pages 1653 - 1664, XP002604501, DOI: 10.1109/TIP.2006.871114
LAWRENCE B. WOLFF ET AL.: "Constraining Object Features Using a Polarization Reflectance Model", IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 13, no. 7, July 1991 (1991-07-01), pages 635 - 657, XP000229148, DOI: 10.1109/34.85655 *
LAWRENCE B.WOLFFTERRANCE E.BOULT: "Constraining Object Features Using a Polarization Reflectance Model", IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 13, no. 7, July 1991 (1991-07-01), XP000229148, DOI: 10.1109/34.85655
See also references of EP3852375A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209226A1 (ja) * 2021-03-31 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Also Published As

Publication number Publication date
JP7276346B2 (ja) 2023-05-18
US11930160B2 (en) 2024-03-12
US20210243437A1 (en) 2021-08-05
JPWO2020054152A1 (ja) 2021-08-30
EP3852375A4 (en) 2021-10-27
CN112655219A (zh) 2021-04-13
EP3852375A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP4787871B2 (ja) カラー偏光撮像装置
CN103828359B (zh) 用于产生场景的视图的方法、编码系统以及解码系统
RU2512130C2 (ru) Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве
JP4427097B2 (ja) 画像処理装置、撮像装置、方法、およびプログラム
WO2007102403A1 (ja) 電子透かし埋め込み方法及び装置及びプログラム及び電子透かし検出方法及び装置及びプログラム
RU2562759C2 (ru) Морфологическое сглаживание (мс) при повторном проецировании двухмерного изображения
JP2013179640A (ja) 電子透かし検出方法、電子透かし検出装置、プログラム、及び記録媒体
JPWO2007037229A1 (ja) 画像処理装置および画像処理方法
JP2016536873A (ja) 拡張ダイナミックレンジのための案内されたカラー・グレーディング
EP3741126A1 (en) Apparatus and method for picture coding with selective loop-filtering
WO2020054152A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR102083721B1 (ko) 딥 러닝을 이용한 양안기반 초해상 이미징 방법 및 그 장치
CN111738951B (zh) 图像处理方法及装置
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
WO2014073198A1 (ja) 画像処理装置、及び、画像処理方法
CN112655219B (zh) 图像处理装置、图像处理方法和记录介质
EP2908286A1 (en) Imaging system, imaging apparatus, and image processing apparatus
JP2007329678A (ja) 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置
Tran et al. Spherical light-weight data hiding in 360-degree videos with equirectangular projection
CN103297703A (zh) 多光谱图像获取方法
US20100182464A1 (en) Joint Automatic Demosaicking And White Balancing
JP2006262062A (ja) 画像処理装置および画像処理プログラム
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
Genser et al. Joint regression modeling and sparse spatial refinement for high-quality reconstruction of distorted color images
JP2011505095A (ja) 動きの符号化及び復号

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19859860

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020546697

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019859860

Country of ref document: EP

Effective date: 20210412