WO2021111779A1 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021111779A1
WO2021111779A1 PCT/JP2020/040609 JP2020040609W WO2021111779A1 WO 2021111779 A1 WO2021111779 A1 WO 2021111779A1 JP 2020040609 W JP2020040609 W JP 2020040609W WO 2021111779 A1 WO2021111779 A1 WO 2021111779A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
information
region
polarized
marker
Prior art date
Application number
PCT/JP2020/040609
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
康孝 平澤
楽公 孫
大志 大野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021111779A1 publication Critical patent/WO2021111779A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This technology enables processing using information that cannot be observed with the naked eye with respect to information processing devices, information processing methods, and programs.
  • Non-Patent Document 1 and Non-Patent Document 2 the polarization model of the imaging scene is estimated from the acquired polarized image to generate normal information.
  • the purpose of this technology is to provide an information processing device, an information processing method, and a program capable of processing using information that cannot be observed with the naked eye.
  • the first aspect of this technology is A polarization information acquisition unit that acquires polarization information from a polarization image including a marker provided with a polarization region indicating a preset polarization characteristic, and a polarization information acquisition unit.
  • the information processing device includes a region detection unit that detects the polarization region based on the polarization information acquired by the polarization information acquisition unit.
  • polarization information is acquired by the polarization information acquisition unit from a polarized image including a marker.
  • the marker is provided so that a polarization region showing preset polarization characteristics surrounds a predetermined position with respect to the information display region, for example, the information display region, and whether or not the polarization region is a polarization region is visually inspected. It is formed so that it cannot be confirmed.
  • the region detection unit detects a polarization region based on the polarization information acquired by the polarization information acquisition unit, for example, the degree of polarization and the polarization phase. In addition, the region detection unit detects the information display region based on the detection result of the polarized region.
  • the polarization region of the marker is modulated with polarization characteristics according to the presented information, and the information reading unit reads the presentation information corresponding to the polarization characteristics of the polarization region.
  • the presented information is, for example, auxiliary information of the information indicated in the information display area of the marker.
  • correction information is generated based on the polarization characteristics of the polarization region detected by the region detection unit and the polarization characteristics of the polarization region in the reference marker. For example, the correction information generation unit calculates the extinction ratio based on the degree of polarization indicated by the polarization characteristics and uses it as correction information.
  • the second aspect of this technology is
  • the polarization information acquisition unit acquires polarization information from a polarization image including a marker provided with a polarization region indicating a preset polarization characteristic.
  • the information processing method includes detecting the polarization region by the region detection unit based on the polarization information acquired by the polarization information acquisition unit.
  • the third aspect of this technology is A program that allows a computer to perform processing using polarized images.
  • the computer executes a procedure for detecting the polarized light region based on the acquired polarized light information.
  • the program of the present technology provides, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer capable of executing various program codes, for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory. Or, it is a program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program can be realized on the computer.
  • FIG. 1 is a diagram for explaining acquisition of a polarized image.
  • the light source LT is used to illuminate the subject OB
  • the imaging unit CM images the subject OB via the polarizer PL.
  • the brightness of the subject OB changes according to the polarization direction of the polarizer PL.
  • the highest brightness is Imax and the lowest brightness is Imin.
  • the angle in the y-axis direction with respect to the x-axis when the polarization direction of the polarizer is rotated is defined as the polarization angle ⁇ pol.
  • the polarization direction of the polarizer returns to the original polarization state when rotated 180 degrees about the z-axis direction, and has a period of 180 degrees.
  • the brightness I observed when the polarization direction is rotated can be expressed by the equation (1). Note that FIG. 2 illustrates the relationship between the brightness and the polarization angle.
  • the polarization angle ⁇ pol is clear when the polarized image is generated, and the maximum brightness Imax, the minimum brightness Imin, and the azimuth angle ⁇ az are variables. Therefore, it is desired based on the polarization model equation showing the relationship between the brightness and the polarization angle by fitting to the polarization model equation shown in the equation (1) using the brightness of the polarized image having three or more polarization directions. The brightness of the azimuth angle ⁇ az can be estimated.
  • the normal of the object surface can be shown by the azimuth angle ⁇ az and the zenith angle ⁇ using the polar coordinate system.
  • the zenith angle ⁇ is the angle from the z-axis to the normal
  • the azimuth ⁇ az is the angle in the y-axis direction with respect to the x-axis as described above.
  • the degree of polarization ⁇ can be calculated from the minimum brightness Imin and the maximum brightness Imax based on the equation (2).
  • the degree of polarization represents the ratio of polarized light in the observed light.
  • the polarization model equation shown in equation (1) can be transformed into equation (3).
  • the coefficient a in the equation (3) is the value shown in the equation (4).
  • the coefficients b and c in the equation (3) are the values shown in the equations (5) and (6).
  • FIG. 3 illustrates the configuration of a system using the information processing device of the present technology.
  • the system 10 includes a marker 15, a polarized light imaging unit 20, and an information processing device 30.
  • FIG. 4A illustrates a case where the AR marker is used as the information display area MAs and a frame-shaped polarization region MAp surrounding the AR marker is provided. Further, (b) and (c) of FIG. 4 exemplify a case where the traffic sign is used as the information display area MAs and a frame-shaped polarized light region MAp surrounding the traffic sign is provided.
  • the marker 15 may modulate the polarization characteristics of the polarization region according to the presented information.
  • the auxiliary information of the information indicated by the information display area MAs of the marker can be used as the presentation information, and the auxiliary information can be acquired based on the polarization characteristics of the polarization area MAp.
  • the polarization region MAp is formed by using a polarizing film having the polarization characteristics corresponding to the auxiliary information.
  • the polarization region MAp is obtained by combining the polarizing plate and the wave plate so as to show the polarization characteristics according to the auxiliary information. May be formed.
  • FIG. 5 shows an example of presenting auxiliary information.
  • FIG. 5A shows a case where the marker 15 is a sign indicating a height limit.
  • the polarization region MAp is associated with the auxiliary information to obtain the polarization characteristic Pa as the information indicating that the information indicated by the information display region MAs is the height limit.
  • the marker 15 is configured in this way, even if it is difficult to recognize the mark indicating the height limitation in the information display region MAs, it is determined that the marker indicates the height limitation based on the polarization characteristics of the polarization region MAp. It becomes possible to do.
  • FIG. 5B shows a case where the marker 15 is a sign indicating the maximum width.
  • the polarization region MAp is associated with the auxiliary information to obtain the polarization characteristic Pb as the information indicating the maximum width of the information indicated by the information display region MAs.
  • the marker 15 is configured in this way, even if it is difficult to recognize the mark indicating the width limitation in the information display region MAs, it can be determined that the marker indicates the maximum width based on the polarization characteristics of the polarization region MAp. Is possible.
  • FIG. 5C shows a case where the marker 15 is a sign indicating a weight limit.
  • the information indicated by the information display region MAs is information indicating the weight limit
  • the polarization region MAp is associated with the auxiliary information to obtain the polarization characteristic Pc.
  • (E) in FIG. 5 shows a case where the marker 15 is a sign indicating a decrease in the number of lanes.
  • the auxiliary information is the polarization characteristic Pe in association with the polarization region MAp as the information indicating the distance to the reduced position of the number of lanes indicated by the information display region MAs.
  • the marker 15 is configured in this way, the distance to the position where the number of lanes is reduced indicated by the information display region MAs can be determined based on the polarization characteristics of the polarization region MAp.
  • the automatic guided vehicle 60 provided with the polarization imaging unit 20 and the information processing unit not only moves with reference to the marker 15, but also moves at a moving speed based on the detection result of the polarization characteristic of the polarization region MAp. And the movement distance or movement direction can be controlled automatically.
  • the polarized light imaging unit 20 takes an image using a polarizing element and acquires a polarized image.
  • FIG. 7 illustrates the configuration of the polarized light imaging unit.
  • the polarized light imaging unit 20 has a polarized light having a pixel configuration in a plurality of polarization directions on an image sensor 201 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • a filter 202 is placed to acquire a polarized image.
  • the polarizing filter 202 may be able to extract linearly polarized light from the subject light, and for example, a wire grid or a photonic liquid crystal is used.
  • the polarized light imaging unit 20 When the polarized light imaging unit 20 is configured in this way, a plurality of polarized images can be acquired by one imaging, so that the recognition process of the subject to be recognized can be performed quickly. Further, as shown in FIG. 7 (c), the polarizing plates 212-1 to 212-4 having different polarization directions are provided in front of the imaging units 210-1 to 210-4 from different viewpoints. A plurality of polarized images having different polarization directions may be generated.
  • a polarizing plate 211 may be provided in front of the imaging unit 210 as shown in FIG. 7D.
  • the polarizing plate 211 is rotated to take images in a plurality of different polarization directions, and a plurality of polarized images having different polarization directions are acquired.
  • FIGS. 8, 9, and 10 exemplify pixel configurations in a plurality of polarization directions, and the configurations shown in the drawings are repeated in the horizontal direction and the vertical direction.
  • 8 (a) and 8 (b) exemplify the pixel configuration when acquiring a black-and-white image.
  • FIG. 8A illustrates a case where a polarized pixel block of 2 ⁇ 2 pixels is composed of polarized pixels having polarization directions (polarization angles) of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example. .. Further, in FIG.
  • FIG. 8C shows a case where the 2 ⁇ 2 pixel polarized pixel block shown in FIG. 8A is used as one color unit and the three primary color pixels (red pixel, green pixel, and blue pixel) are arranged in a bayer arrangement. Shown.
  • FIG. 8D illustrates a case where the three primary color pixels are provided in a Bayer array for each pixel block of the 2 ⁇ 2 pixels shown in FIG. 8B in the same polarization direction.
  • FIG. 8 (f) shows a pixel block having a bayer arrangement in the same polarization direction of 2 ⁇ 2 pixels, which has a phase difference of 90 in the polarization direction from a pixel block adjacent in the horizontal direction and is adjacent to the pixel block in the vertical direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • FIG. 8 (g) shows a pixel block having a bayer arrangement in the same polarization direction of 2 ⁇ 2 pixels, having a phase difference of 90 in the polarization direction from a pixel block adjacent in the vertical direction, and a pixel block adjacent in the horizontal direction. The case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • FIG. 9 illustrates the case where the three primary color pixels and the white pixels are provided.
  • FIG. 9A illustrates a case where one green pixel is a white pixel in a pixel block of a Bayer array in the same polarization direction of 2 ⁇ 2 pixels shown in FIG. 8D.
  • FIG. 9 (b) shows a block of 2 ⁇ 2 pixels shown in FIG. 8 (e) having different polarization directions, with one green pixel as a white pixel in a pixel block of a Bayer array in the same polarization direction. Is illustrated as a case where pixels of the same color are used.
  • the dynamic range in the generation of normal information is expanded as compared with the case where the white pixels are not provided. it can. Further, since the white pixel has a good S / N ratio, it is less likely to be affected by noise in calculation of color difference and the like.
  • FIGS. 10A and 10B illustrate a case where unpolarized pixels are provided, FIGS. 10A to 10D are black-and-white images, and FIGS. 10E and 10L are color images. doing.
  • the polarization direction and the display of the color pixels are the same as those in FIG.
  • FIG. 10A illustrates a case where the polarized pixels located in the oblique direction are unpolarized pixels in the pixel block of 2 ⁇ 2 pixels shown in FIG. 8B in the same polarization direction.
  • polarized pixels having a phase difference of 45 degrees are provided in a pixel block of 2 ⁇ 2 pixels in an oblique direction so that the polarized pixels have a phase difference of 90 degrees from the adjacent pixel block. The case where it is done is illustrated.
  • polarized pixels in the same polarization direction are provided in the pixel block of 2 ⁇ 2 pixels in an oblique direction, and the polarized pixels have a phase difference of 45 degrees from the adjacent pixel block.
  • An example shows a case where the polarization directions of the polarized pixels are two directions having a phase difference of 45 degrees.
  • the technique disclosed in, for example, Patent Document "International Publication No. 2018/0740664" may be used to acquire the polarization information from the unpolarized pixel and the polarized pixel in the two polarization directions.
  • polarized pixels having a phase difference of 45 degrees are provided in a pixel block of 2 ⁇ 2 pixels in an oblique direction, and the polarization directions of the polarized pixels are two directions having a phase difference of 45 degrees. The case is illustrated.
  • FIG. 10 (e) shows a pixel block of 4 ⁇ 4 pixels using two pixel blocks of 2 ⁇ 2 pixels having four different polarization directions and two pixel blocks of 2 ⁇ 2 pixels composed of unpolarized pixels.
  • FIG. 10 (g) shows a case where pixel blocks of 2 ⁇ 2 pixels are used as color units, pixel blocks of the three primary colors are provided as a bayer array, and pixel blocks of green pixels are provided with polarized pixels in two different polarization directions. Illustrate.
  • polarized pixels are provided in the same manner as in FIG. 10 (d), and a pixel block composed of two polarized images in different polarization directions and two unpolarized pixels has three green pixels.
  • An example is illustrated in which one unpolarized pixel is a red pixel and one unpolarized pixel is a blue pixel in an adjacent pixel block.
  • an infrared (IR) pixel may be mixed and repeated.
  • the polarized light imaging unit 20 configured in this way acquires a polarized image including the markers illustrated in FIGS. 4 and 5, for example, in which a polarized region showing preset polarization characteristics is provided.
  • the polarization information acquisition unit 31 acquires polarization information from the polarization image acquired by the polarization imaging unit 20.
  • the polarization information acquisition unit 31 calculates the degree of polarization ⁇ and the polarization phase ⁇ p as polarization information based on, for example, the above equations (7) and (8), and outputs the polarization information to the region detection unit 32.
  • the area detection unit 32 detects a recognition target area to be recognized by the recognition processing unit 35 based on the polarization information acquired by the polarization information acquisition unit 31.
  • the region detection unit 32 detects a polarized region in which the degree of polarization and the polarization phase are in a preset predetermined range. Further, the area detection unit 32 detects the information display area surrounded by the polarized light area as the recognition target area, and outputs the detection result to the recognition processing unit 35.
  • the area detection unit 32 determines the "Flood Fill” and "Seed Fill” algorithms for filling the closed area, the Scan Line Seed Fill algorithm, and the "Crossing Number” for determining the area surrounded by the line.
  • the Algorithm, Winding Number Algorithm, etc. for example, a closed region surrounded by a polarization region in which the degree of polarization ⁇ satisfies the equation (9) and the polarization phase ⁇ p satisfies the equation 10) is detected as a recognition target region. ..
  • ⁇ low and ⁇ plow are preset lower thresholds
  • ⁇ high and ⁇ phigh are preset upper thresholds.
  • FIG. 11 is a diagram for explaining the detection of the closed region, and the polarized region detected by the region detection unit 32 is shown by a black line.
  • the region detection unit 32 detects the information display region MAs surrounded by the polarized region as a recognition target region by using the above algorithm.
  • the area detection unit 32 can efficiently detect the information display area by reducing the binary image showing the degree of polarization and the polarization phase in a predetermined range and detecting the information display area based on the reduced image. ..
  • the degree of polarization and the polarization phase are calculated in units of 2 ⁇ 2 pixels. Therefore, if the 2 ⁇ 2 pixel unit is processed as one pixel of the binary image, the information display area can be detected efficiently.
  • the recognition processing unit 35 performs recognition processing using the image of the information display area detected by the area detection unit 32 in the unpolarized image generated by the unpolarized image generation unit 34, and the information displayed in the information display area. Is output to the information utilization unit 40 that performs behavior control or the like based on the recognition result, for example.
  • FIG. 12 is a flowchart illustrating the operation of the first embodiment of the information processing apparatus.
  • the information processing apparatus acquires a polarized image.
  • the information processing device 30 acquires a polarized image from the polarized light imaging unit 20 and proceeds to step ST2.
  • step ST3 the information processing device detects the polarization region. Based on the polarization information acquired in step ST2, the information processing apparatus 30 detects, for example, a region in which the degree of polarization of the polarization information is within a preset range and a region in which the polarization phase is within a preset range as a polarization region. And proceed to step ST4.
  • step ST5 the information processing device generates an unpolarized image.
  • the information processing apparatus 30 calculates the average value of the polarized pixels in the adjacent different polarization directions as shown in the above equation (6), and the calculated average value is unpolarized.
  • An unpolarized image is generated as the pixel value of the pixel.
  • the information processing device 30 generates an unpolarized image and proceeds to step ST6.
  • step ST6 the information processing device performs recognition processing.
  • the information processing apparatus 30 performs recognition processing on the unpolarized image generated in step ST5 using the image of the recognition target area detected in step ST4, and for example, displays the information indicated by the information display area MAs of the marker 15. Determine.
  • the unpolarized image in step ST5 may be generated at any timing after the unpolarized image is acquired in step ST1 and before the recognition process is started in step ST6. It may be performed by parallel processing.
  • the first embodiment it becomes possible to easily detect an information display area in which processing using information that cannot be observed with the naked eye, for example, recognition processing based on polarization information. Further, since the information display area can be easily detected, the marker detection cost can be significantly reduced as compared with the case where the entire unpolarized image is recognized and the marker is detected as in the conventional case.
  • the polarized region of the marker is difficult to visually recognize with the naked eye, the polarized region has little influence on the appearance of the marker and the surrounding landscape, and for example, the region to be watched can be detected effectively and efficiently. Will be.
  • the polarization region may be provided at a predetermined position with respect to the information display region, and is not limited to the case where the polarization region is provided so as to surround the information display region as described above.
  • the polarization region is not limited to the case where the information display region is identifiable as in the first embodiment.
  • the polarization characteristic is modulated according to the presented information, it is possible to present the information in a state invisible to the naked eye.
  • the presentation information presented by utilizing the polarization characteristic is, for example, auxiliary information of the display information shown in the information display area.
  • FIG. 13 illustrates the configuration of the second embodiment of the information processing apparatus.
  • the information processing device 30 includes a polarization information acquisition unit 31, a region detection unit 32, an information reading unit 33, a non-polarized image generation unit 34, and a recognition processing unit 35.
  • the polarization information acquisition unit 31, the region detection unit 32, the unpolarized image generation unit 34, and the recognition processing unit 35 are configured in the same manner as in the first embodiment.
  • the polarization information acquisition unit 31 acquires polarization information from the polarization image acquired by the polarization imaging unit 20 and outputs it to the region detection unit 32.
  • the region detection unit 32 detects the polarization region based on the polarization information acquired by the polarization information acquisition unit 31, and outputs the polarization information of the polarization region to the information reading unit 33. Further, the region detection unit 32 detects the recognition target region based on the detected polarization region, and outputs the detection result to the recognition processing unit 35.
  • the information reading unit 33 demodulates the polarization information of the polarization region detected by the region detection unit 32 and acquires the presentation information.
  • the information reading unit 33 registers information corresponding to the polarization information in advance, and outputs the information corresponding to the polarization information in the polarization region to the information utilization unit 40 as presentation information.
  • the information reading unit 33 indicates that the marker shown in FIG. 5 is included in the polarized image, and when the polarized region MAp detected by the region detecting unit 32 has the polarization characteristic Pa, the height is limited.
  • Information, in the case of the polarization characteristic Pb information indicating that the width is the maximum width is output to the information utilization unit 40 as presentation information.
  • the non-polarized image generation unit 34 generates a non-polarized image from the polarized image acquired by the polarized light imaging unit 20 and outputs it to the recognition processing unit 35.
  • the recognition processing unit 35 performs recognition processing on the unpolarized image generated by the unpolarized image generation unit 34 using the image of the recognition target region detected by the region detection unit 32, and sends the recognition result to the information utilization unit 40. Output.
  • the polarization information acquisition unit 31 corrects the polarized image based on the correction information stored in the correction information storage unit 37.
  • the observed value of a polarized pixel with a polarization direction of 0 degrees is "Ime0”
  • the observed value of a polarized pixel with a polarized direction of 45 degrees is “Ime45”
  • the observed value of a polarized pixel with a polarized direction of 90 degrees is "Ime90”
  • polarized light polarized light.
  • the observed value of a polarized pixel having a direction of 135 degrees is defined as "Ime135".
  • the ideal value of a polarized pixel having a polarization direction of 0 degrees is "Iref0”
  • the ideal value of a polarized pixel having a polarization direction of 45 degrees is “Iref45”
  • the ideal value of a polarized pixel having a polarization direction of 90 degrees is “Iref90”.
  • the ideal value of a polarized pixel having a polarization direction of 135 degrees is defined as "Iref135".
  • the polarization information acquisition unit 31 assumes that the relationship between the observed value of the polarized pixel and the ideal value is, for example, the relationship of the equations (13) to (16) using the extinction ratio e, and the equations (17) to (20).
  • the ideal value is calculated based on the observed value and the extinction ratio.
  • the polarization information acquisition unit 31 uses the observed value of the polarization region of the marker in the polarization image acquired by the polarization imaging unit 20 and the extinction ratio of the position stored in the correction information storage unit 37 and corresponding to the polarization region.
  • the polarized images are corrected by performing the calculations of equations (17) to (20). Further, the polarization information acquisition unit 31 acquires polarization information from the corrected polarized image.
  • the correction information may be generated in advance using the reference marker and stored in the correction information storage unit 37. For example, each time the correction information is generated at the pixel position in the closed region, the correction information of the corresponding pixel position is obtained. May be sequentially stored in the correction information storage unit 37.
  • FIG. 17 is a flowchart illustrating the operation of the third embodiment of the information processing apparatus.
  • the information processing apparatus acquires a reference marker polarized image.
  • the information processing device 30 acquires a reference marker polarized image from the polarized light imaging unit 20 and proceeds to step ST22.
  • step ST22 the information processing device acquires polarization information.
  • the information processing apparatus 30 calculates the degree of polarization and the polarization phase based on the reference marker polarized light image acquired in step ST21, and proceeds to step ST23.
  • step ST23 the information processing device detects the polarization region. Based on the polarization information acquired in step ST22, the information processing apparatus 30 detects, for example, a region in which the degree of polarization of the polarization information is within a preset range and a region in which the polarization phase is within a preset range as a polarization region. To step ST24.
  • step ST24 the information processing device generates correction information.
  • the information processing apparatus 30 calculates correction information, for example, an extinction ratio based on the polarization information of the polarization region detected in step ST23, and proceeds to step ST25.
  • step ST25 the information processing device stores the correction information.
  • the information processing apparatus 30 stores the correction information generated in step ST24, corrects the polarized image acquired thereafter to an ideal polarized image based on the stored correction information, and corrects the corrected polarized image. To be able to generate polarization information based on.
  • correction information corresponding to the device characteristics of the polarization imaging unit 20 is generated by the correction information generation unit and stored in the correction information storage unit. Further, the polarization information acquisition unit corrects the influence of the device characteristics of the polarization imaging unit 20 on the polarized image by using the correction information stored in the correction information storage unit, and acquires the polarization information from the corrected polarized image. To. Therefore, the influence of the device characteristics of the polarized light imaging unit 20 can be reduced, and the recognition target region can be detected and the presentation information can be acquired with high accuracy.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may. Further, it may be realized as a device mounted on a device used in a production process in a factory or a device used in a construction field.
  • the marker can be easily detected and the information presented by the marker can be easily acquired, so that the fatigue of the driver and the operator can be reduced. In addition, automatic driving and the like can be performed more safely.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer embedded in the dedicated hardware and executed.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk as a recording medium, an SSD (Solid State Drive), or a ROM (Read Only Memory).
  • the program is a flexible disc, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as an optical disc.
  • a removable recording medium can be provided as so-called package software.
  • the information processing device of the present technology can have the following configuration.
  • a polarization information acquisition unit that acquires polarization information from a polarization image including a marker provided with a polarization region indicating a preset polarization characteristic.
  • An information processing device including a region detection unit that detects the polarization region based on the polarization information acquired by the polarization information acquisition unit.
  • the marker is provided with the polarization region at a predetermined position with respect to the information display region.
  • the information processing apparatus according to (1), wherein the region detection unit detects the information display region based on the detection result of the polarized light region.
  • the information displayed in the information display area is recognized by using the image of the information display area of the marker from the unpolarized image including the marker.
  • the information processing apparatus according to (2) further comprising a recognition processing unit.
  • the information processing apparatus according to (3) further comprising a non-polarized image generation unit that generates the non-polarized image from the polarized image.
  • the polarization region of the marker has its polarization characteristics modulated according to the presented information.
  • the information processing device reads the presented information corresponding to the polarization characteristic of the polarization region.
  • the presented information is auxiliary information of information displayed in the information display area of the marker.
  • the polarized light region is formed so that it cannot be visually confirmed whether or not the polarized light region is a polarized light region.
  • the polarization information acquisition unit acquires a degree of polarization and a polarization phase as the polarization information.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)

Abstract

予め設定された偏光特性を示す偏光領域が情報表示領域に対して所定位置に設けられたマーカ１５を偏光撮像部２０で撮像して得た偏光画像から、偏光情報取得部３１で偏光情報を取得する。偏光領域は肉眼で観察できないように形成する。領域検出部３２は、偏光情報取得部３１で取得した偏光情報に基づき偏光領域を検出する。さらに、領域検出部３２は、偏光領域の検出結果に基づき情報表示領域を検出する。したがって、肉眼で観察できない偏光領域の偏光情報を利用して、情報表示領域を容易に検出できる。認識処理部３５は、無偏光画像生成部３４で偏光画像から生成した無偏光画像における情報表示領域の画像を用いて認識処理を行うことで、容易に情報表示領域に表示された情報を得られるようになる。

Description

情報処理装置と情報処理方法およびプログラム
　この技術は、情報処理装置と情報処理方法およびプログラムに関し、肉眼で観察できない情報を利用した処理を行えるようにする。
　従来、撮像装置の前に偏光板を配置して、もしくはイメージセンサに様々な方向の偏光子を設けることで、撮像シーンにおける肉眼では観察できない偏光特性を示す偏光画像を取得することが行われている。例えば、非特許文献１や非特許文献２では、取得した偏光画像から撮像シーンの偏光モデルを推定して法線情報を生成することが行われている。
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13、No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、近年、ＡＲ（Augmented Reality）用途やロボット等において、画像を通して現実世界にあるものを認識したり、自動運転目的で標識などを認識する技術開発が行われている。特にＡＲ用途やロボット等においては、例えば撮像画像に写っているマーカを基準として仮想的に物体を重畳することや、撮像画像に写っている標識等に基づき移動する方向の設定等が行われている。しかし、撮像画像には種々の形状や色の物体が含まれることから、マーカや標識を撮像画像から検出するためのコストが高くなってしまう。
　そこで、この技術では、肉眼で観察できない情報を利用した処理が可能な情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む偏光画像から、偏光情報を取得する偏光情報取得部と、
　前記偏光情報取得部で取得された偏光情報に基づき、前記偏光領域を検出する領域検出部と
を備える情報処理装置にある。
　この技術においては、マーカを含む偏光画像から、偏光情報取得部で偏光情報を取得する。マーカは、予め設定された偏光特性を示す偏光領域が情報表示領域に対して所定位置、例えば情報表示領域を囲むように設けられており、偏光領域は、偏光領域であるか否かを肉眼で確認できないように形成されている。領域検出部は、偏光情報取得部で取得された偏光情報例えば偏光度や偏光位相に基づき、偏光領域を検出する。また、領域検出部は、偏光領域の検出結果に基づき情報表示領域を検出する。認識処理部は、領域検出部における情報表示領域の検出結果に基づき、マーカを含む無偏光画像からマーカの情報表示領域の画像を用いて、情報表示領域に表示されている情報を認識する。無偏光画像は、無偏光画像生成部によって偏光画像から無偏光画像を生成する。
　また、マーカの偏光領域は、提示情報に応じて偏光特性が変調されており、情報読み取り部は、偏光領域の偏光特性に対応する提示情報を読み取る。提示情報は、例えばマーカの情報表示領域で示された情報の補助情報である。
　また、偏光画像を取得する偏光撮像部に応じて偏光画像の補正に用いる補正情報を記憶した補正情報記憶部をさらに備え、偏光情報取得部は、補正情報記憶部に記憶されている補正情報を用いて偏光画像の補正を行い、補正後の偏光画像から偏光情報を取得する。さらに、偏光画像の補正に用いる補正情報を生成して補正情報記憶部に記憶させる補正情報生成部を備え、補正情報生成部は、偏光領域が所定の偏光特性とされている基準マーカを含む偏光画像から偏光情報取得部で取得された偏光情報に基づいて領域検出部で検出された偏光領域の偏光特性と、基準マーカにおける偏光領域の偏光特性に基づき補正情報を生成する。例えば、補正情報生成部は、偏光特性で示された偏光度に基づき消光比を算出して補正情報とする。
　この技術の第２の側面は、
　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む偏光画像から、偏光情報を偏光情報取得部で取得することと、
　前記偏光情報取得部で取得された偏光情報に基づき、前記偏光領域を領域検出部で検出すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　偏光画像を用いた処理をコンピュータで実行させるプログラムであって、
　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む前記偏光画像から、偏光情報を取得する手順と、
　前記取得された偏光情報に基づき、前記偏光領域を検出する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラムコードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
偏光画像の取得について説明するための図である。 輝度と偏光角との関係を例示した図である。 システムの構成を例示した図である。 マーカを例示した図である。 補助情報の提示例を示した図である。 マーカの他の構成を例示した図である。 偏光撮像部の構成を例示した図である。 複数の偏光方向の画素構成を例示した図（その１）である。 複数の偏光方向の画素構成を例示した図（その２）である。 複数の偏光方向の画素構成を例示した図（その３）である。 閉領域の検出を説明するための図である。 第１の実施の形態の動作を例示したフローチャートである。 第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 第３の実施の形態の構成を例示した図である。 消光比を説明するための図である。 第３の実施の形態の動作を例示したフローチャートである。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光画像の取得について
　２．システムの構成　
　　２－１．マーカの構成
　　２－２．偏光撮像部の構成
　　２－３．情報処理装置の第１の実施の形態
　　２－４．情報処理装置の第２の実施の形態
　　２－５．情報処理装置の第３の実施の形態
　３．応用例
　＜１．偏光画像の取得について＞
　図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φazが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φazの輝度を推定できる。
　また、物体表面の法線は、極座標系を用いて方位角φazと天頂角θで示すことができる。なお、天頂角θはｚ軸から法線に向かう角度、方位角φazは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、最小輝度Ｉminと最大輝度Ｉmaxから、式（２）に基づき偏光度ρを算出できる。なお、偏光度は観測される光の中での偏光の割合を表している。
Figure JPOXMLDOC01-appb-M000002
　式（１）に示す偏光モデル式は、式（３）に変形できる。なお、偏光素子の偏光方向を４５度の間隔として、例えば偏光角υ０＝０度の輝度を「Ｉ０」、偏光角υ１＝４５度の輝度を「Ｉ１」、偏光角υ２＝９０度の輝度を「Ｉ２」、偏光角υ３＝１３５度の輝度を「Ｉ３」とした場合、式（３）における係数ａは、式（４）に示す値である。また、式（３）における係数ｂ，ｃは、式（５），（６）に示す値である。
Figure JPOXMLDOC01-appb-M000003
　このとき、偏光度ρは式（７）に基づいて算出することができ、偏光位相φpは式（８）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000004
　このように、偏光画像から偏光特性を算出できることから、本技術では、肉眼で観測できない偏光領域をマーカに設けて、偏光画像から偏光特性を算出してマーカの識別やマーカが示す情報の取得を容易に行えるようにする。なお、本技術における肉眼とは、人が眼で直接視認する場合に限らず、偏光フィルタ等が設けられていない一般的な撮像装置で撮像画像を取得する場合も含む。
　＜２．システムの構成＞
　図３は、本技術の情報処理装置を用いたシステムの構成を例示している。システム１０は、マーカ１５と偏光撮像部２０および情報処理装置３０を有している。
　＜２－１．マーカの構成＞
　マーカ１５には、予め設定された偏光特性を示す偏光領域を設ける。図４は、マーカを例示している。マーカ１５は、情報を表示する情報表示領域ＭＡｓと、情報表示領域ＭＡｓに対して所定位置、例えば情報表示領域ＭＡｓを囲む額縁状の偏光領域ＭＡｐが設けられている。偏光領域ＭＡｐは、肉眼で観測できないように例えば透明体である偏光フィルムをマーカ１５に貼着して形成する。
　図４の（ａ）は、ＡＲマーカを情報表示領域ＭＡｓとして、ＡＲマーカを囲む額縁状の偏光領域ＭＡｐを設けた場合を例示している。また、図４の（ｂ）（ｃ）は、交通標識を情報表示領域ＭＡｓとして、交通標識を囲む額縁状の偏光領域ＭＡｐを設けた場合を例示している。
　また、マーカ１５は、偏光領域の偏光特性を提示情報に応じて変調してもよい。例えば、マーカの情報表示領域ＭＡｓで示された情報の補助情報を提示情報として、偏光領域ＭＡｐの偏光特性に基づいて補助情報を取得可能とする。このように、偏光領域ＭＡｐの偏光特性で補助情報を示す場合、補助情報に応じた偏光特性を有する偏光フィルムを用いて偏光領域ＭＡｐを形成する。また、偏光板と波長板を組み合わせることで、偏光特性例えば偏光度や偏光位相を任意に調整できることから、偏光板と波長板を組み合わせて、補助情報に応じた偏光特性を示すように偏光領域ＭＡｐを形成してもよい。
　図５は、補助情報の提示例を示している。図５の（ａ）は、マーカ１５が高さ制限を示す標識である場合を示している。この場合、補助情報は、情報表示領域ＭＡｓで示す情報が高さ制限であることを示す情報として、偏光領域ＭＡｐを補助情報に関連付けて偏光特性Ｐａとする。このようにマーカ１５を構成すれば、情報表示領域ＭＡｓにおける高さ制限を示すマークの認識が困難であっても、偏光領域ＭＡｐの偏光特性に基づき、高さ制限を示す標識であることを判別することが可能となる。
　図５の（ｂ）は、マーカ１５が最大幅を示す標識である場合を示している。この場合、補助情報は、情報表示領域ＭＡｓで示す情報が最大幅を示す情報として、偏光領域ＭＡｐを補助情報に関連付けて偏光特性Ｐｂとする。このようにマーカ１５を構成すれば、情報表示領域ＭＡｓにおける幅制限を示すマークの認識が困難であっても、偏光領域ＭＡｐの偏光特性に基づき、最大幅を示す標識であることを判別することが可能となる。
　図５の（ｃ）は、マーカ１５が重量制限を示す標識である場合を示している。この場合、補助情報は、情報表示領域ＭＡｓで示す情報が重量制限を示す情報として、偏光領域ＭＡｐを補助情報に関連付けて偏光特性Ｐｃとする。このようにマーカ１５を構成すれば、情報表示領域ＭＡｓにおける重量単位を示すマークの認識が困難であっても、偏光領域ＭＡｐの偏光特性に基づき、重量制限を示す標識であることを判別することが可能となる。
　さらに、情報表示領域ＭＡｓの数字の認識と偏光領域ＭＡｐの偏光特性を取得可能であれば、図５の（ａ）～図５の（ｃ）に示すようにマーカ１５が類似してもどのような標識であるかを正しく判別できるようになる。
　図５の（ｄ）は、マーカ１５が十字路を示す標識である場合を示している。この場合、補助情報は、情報表示領域ＭＡｓで示す十字路までの距離を示す情報として、偏光領域ＭＡｐを補助情報に関連付けて偏光特性Ｐｄとする。このようにマーカ１５を構成すれば、情報表示領域ＭＡｓで示す十字路までの距離を、偏光領域ＭＡｐの偏光特性に基づき判別することが可能となる。
　図５の（ｅ）は、マーカ１５が車線数の減少を示す標識である場合を示している。この場合、補助情報は、情報表示領域ＭＡｓで示す車線数の減少位置までの距離を示す情報として、偏光領域ＭＡｐを補助情報に関連付けて偏光特性Ｐｅとする。このようにマーカ１５を構成すれば、情報表示領域ＭＡｓで示す車線数の減少位置までの距離を、偏光領域ＭＡｐの偏光特性に基づき判別することが可能となる。
　図５の（ｆ）（ｇ）は、マーカ１５が勾配を示す標識である場合を示している。この場合、補助情報は、情報表示領域ＭＡｓで示す勾配を示す情報として、偏光領域ＭＡｐを補助情報に関連付けて偏光特性Ｐｆ（Ｐｇ）とする。このようにマーカ１５を構成すれば、情報表示領域ＭＡｓで示す勾配を、偏光領域ＭＡｐの偏光特性に基づき判別することが可能となる。
　なお、図５の（ｄ）乃至図５の（ｇ）に示すように、補助情報が距離や角度等の量を示す情報である場合、補助情報に応じて偏光特性の偏光位相を変化させれば、偏光度を変化させる場合に比べて補助情報の分解能を高くすることが容易となる。
　マーカは、上述のような道路標識に限らず、無人搬送車やロボット等のように自動で移動する移動体の制御に用いるマーカであってもよい。図６はマーカの他の構成を例示している。例えば、無人搬送車６０が通行する位置の基準を示すマーカ１５の側端側に偏光領域ＭＡｐを設けて、埋め込む補助情報（移動速度、移動距離、移動方向等の少なくともいずれかの情報）に応じて偏光領域ＭＡｐの偏光特性を変調する。この場合、偏光撮像部２０と情報処理部（図示せず）を設けた無人搬送車６０は、マーカ１５を基準として移動するだけでなく、偏光領域ＭＡｐの偏光特性の検出結果に基づき、移動速度や移動距離あるいは移動方向を自動的に制御できるようになる。
　また、マーカは、偏光領域で提示される情報を、情報表示領域で表示される情報のウォーターマークとして利用可能に構成してもよい。さらに、マーカは、偏光領域のみで構成して、提示する情報に応じて偏光領域の偏光特性を変調してもよい。例えば、移動速度を偏光度で示して、移動距離を偏光位相で示すようにすれば、偏光領域の偏光特性に基づき移動体を自動的に移動させることが可能となる。
　＜２－２．偏光撮像部の構成＞
　偏光撮像部２０は、偏光素子を用いて撮像を行い、偏光画像を取得する。図７は偏光撮像部の構成を例示している。偏光撮像部２０は、例えば図７の（ａ）に示すように、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１に、複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置して偏光画像を取得する。偏光フィルタ２０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。
　また、偏光撮像部２０は、図７の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向として、偏光方向が異なる複数の偏光画像を生成する。このように偏光撮像部２０を構成すれば、１回の撮像で複数の偏光画像を取得できることから速やかに認識対象の被写体の認識処理を行える。また、図７の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を生成してもよい。
　なお、マーカの動きが遅い場合やステップ的に動作する場合には、図７の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得する。
　また、図７の（ｂ），（ｃ）の場合、被写体までの距離に対して各レンズ２０３や撮像部２１０-1～２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。また、図７の（ｄ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。
　図８，図９，図１０は、複数の偏光方向の画素構成を例示しており、図に示す構成が水平方向及び垂直方向に繰り返されている。図８の（ａ）、（ｂ）は白黒画像を取得する場合の画素構成を例示している。なお、図８の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図８の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図８の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図８の（ａ）に示す１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなり、消光比を良くすることができる。
　図８の（ｃ）乃至（ｇ）はカラー画像を取得する場合の画素構成を例示している。図８の（ｃ）は、図８の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と青色画素）をベイヤ配列とした場合を示している。
　図８の（ｄ）は、図８の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。
　図８の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　図８の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図８の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図９は三原色画素と白色画素を設けた場合を例示している。例えば、図９の（ａ）は、図８の（ｄ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素とした場合を例示している。
　図９の（ｂ）は、図８の（ｅ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素として、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　このように白色画素を設けることで、特許文献「国際公開第２０１６／１３６０８５号」で開示されているように、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出等においてノイズの影響を受けにくくなる。
　図１０は、無偏光画素を設けた場合を例示しており、図１０の（ａ）乃至（ｄ）は白黒画像、図１０の（ｅ）乃至（ｌ）はカラー画像を取得する場合を例示している。なお、偏光方向と色画素の表示は、図８と同様である。
　図１０の（ａ）は、図８の（ｂ）に示す２×２画素の同一偏光方向の画素ブロックにおいて、斜め方向に位置する偏光画素を無偏光画素とした場合を例示している。
　図１０の（ｂ）は２×２画素の画素ブロック内に位相差が４５度の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が９０度の位相差を有するように構成した場合を例示している。
　図１０の（ｃ）は、２×２画素の画素ブロック内に等しい偏光方向の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が４５度の位相差を有しており、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。なお、無偏光画素と２つの偏光方向の偏光画素からの偏光情報の取得は、例えば特許文献「国際公開第２０１８／０７４０６４号」で開示された技術を用いればよい。
　図１０の（ｄ）は、２×２画素の画素ブロック内に４５度の位相差を有する偏光画素を斜め方向に設けて、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。
　図１０の（ｅ）は、４つ異なる偏光方向である２×２画素の画素ブロックと、無偏光画素からなる２×２画素の画素ブロックをそれぞれ２つ用いて、４×４画素の画素ブロックを構成して、偏光画素の画素ブロックは緑色画素、無偏光画素の画素ブロックは赤色画素または青色画素として、同一色の画素ブロック（２×２画素）をベイヤ配列として設けた場合を例示している。
　図１０の（ｆ）は、偏光画素が図１０の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けた場合を例示している。
　図１０の（ｇ）は、２×２画素の画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けて、緑色画素の画素ブロックに２つの異なる偏光方向の偏光画素を設けた場合を例示している。
　図１０の（ｈ）は、偏光画素が図１０の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックは３つの緑色画素と、１つの無偏光画素を赤色画素として、隣接ずる画素ブロックでは１つの無偏光画素を青色画素とした場合を例示している。
　図１０の（ｉ）（ｊ）は、無偏光画素を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。また、図１０の（ｋ），（ｌ）は、無偏光画素の一部を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。
　なお、図８乃至図１０に示す構成は例示であって、他の構成を用いてもよい。また、夜間等でも高感度な撮像を可能するため、赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。
　このように構成された偏光撮像部２０は、予め設定された偏光特性を示す偏光領域が設けられている例えば図４や図５に例示したマーカを含む偏光画像を取得する。
　＜２－３．情報処理装置の第１の実施の形態＞
　次に、情報処理装置について説明する。情報処理装置の第１の実施の形態では、図３に示すように、偏光情報取得部３１、領域検出部３２、認識処理部３５を有している。
　偏光情報取得部３１は、偏光撮像部２０で取得された偏光画像から偏光情報を取得する。偏光情報取得部３１は、偏光情報として例えば上述の式（７），（８）に基づき偏光度ρと偏光位相φpを算出して領域検出部３２へ出力する。
　領域検出部３２は、偏光情報取得部３１で取得された偏光情報に基づき、認識処理部３５で認識処理を行う認識対象領域を検出する。領域検出部３２は、偏光度や偏光位相が予め設定された所定範囲にある偏光領域を検出する。さらに、領域検出部３２は、偏光領域で囲まれた情報表示領域を認識対象領域として検出して、検出結果を認識処理部３５へ出力する。
　偏光度がある程度高く偏光位相が揃っているような領域が、閉領域例えば丸形や四角形、三角形等の閉領域を構成することは極めて少ないと考えられる。そこで、領域検出部３２は、閉領域を塗りつぶす「Flood Fill」や「Seed Fill」のアルゴリズム、スキャンラインシードフィル（Scan Line Seed Fill）のアルゴリズム、線で囲まれた領域の判定を行う「Crossing Number Algorithm」「Winding Number Algorithm」等を用いて、例えば偏光度ρが式（９）を満たし、偏光位相φpが式１０）を満たす偏光領域によって囲まれている閉領域を、認識対象領域として検出する。なお、ρlowとφplowは予め設定された下側閾値、ρhighとφphighは予め設定された上側閾値である。
　ρlow＜ρ＜ρhigh　　・・・（９）
　φplow＜φp＜φphigh　　・・・（１０）
　図１１は閉領域の検出を説明するための図であり、領域検出部３２で検出された偏光領域を黒線で示している。領域検出部３２は、図４や図５に示すマーカを含む偏光画像が取得された場合、上述のアルゴリズムを用いて、認識対象領域として偏光領域に囲まれた情報表示領域ＭＡｓを検出する。
　なお、領域検出部３２は、所定範囲の偏光度と偏光位相を示す２値画像を縮小して、縮小画像に基づき情報表示領域の検出を行うようにすれば、効率よく情報表示領域を検出できる。例えば、図８の（ａ）に示す画素構成では２×２画素単位で偏光度と偏光位相が算出される。したがって、２×２画素単位を２値画像の１画素として処理すれば、効率よく情報表示領域を検出できる。
　無偏光画像生成部３４は、偏光撮像部２０で取得された偏光画像から無偏光画像を生成する。無偏光画像生成部３４は、式（６）に基づいて算出される平均値を無偏光画像の画素値として無偏光画像を生成して認識処理部３５へ出力する。
　認識処理部３５は、無偏光画像生成部３４で生成された無偏光画像において、領域検出部３２で検出された情報表示領域の画像を用いて認識処理を行い、情報表示領域に表示された情報を示す認識結果を、例えば認識結果に基づいて行動制御等を行う情報利用部４０へ出力する。
　図１２は情報処理装置の第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で情報処理装置は偏光画像を取得する。情報処理装置３０は偏光撮像部２０から偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理装置は偏光情報を取得する。情報処理装置３０は、ステップＳＴ１で取得した偏光画像に基づき、偏光情報例えは偏光度と偏光位相を算出してステップＳＴ３に進む。
　ステップＳＴ３で情報処理装置は偏光領域を検出する。情報処理装置３０は、ステップＳＴ２で取得された偏光情報に基づき、例えば偏光情報の偏光度が予め設定された範囲内、および偏光位相が予め設定された範囲内となる領域を偏光領域として検出してステップＳＴ４に進む。
　ステップＳＴ４で情報処理装置は認識対象領域を検出する。情報処理装置３０は、ステップＳＴ３で算出された偏光領域に基づき認識対象領域、例えばマーカに設けられた偏光領域で囲まれた閉領域である情報表示領域を検出してステップＳＴ５に進む。
　ステップＳＴ５で情報処理装置は無偏光画像を生成する。情報処理装置３０はステップＳＴ１で取得した偏光画像において、例えば上述の式（６）に示すように、隣接した異なる複数偏光方向の偏光画素の平均値を算出して、算出した平均値を無偏光画素の画素値として無偏光画像を生成する。情報処理装置３０は、無偏光画像を生成してステップＳＴ６に進む。
　ステップＳＴ６で情報処理装置は認識処理を行う。情報処理装置３０はステップＳＴ５で生成された無偏光画像において、ステップＳＴ４で検出された認識対象領域の画像を用いて認識処理を行い、例えばマーカ１５の情報表示領域ＭＡｓで示されている情報を判別する。
　なお、第１の実施の形態の動作は、図１２の処理順序に限られない。例えばステップＳＴ５の無偏光画像の生成は、ステップＳＴ１で無偏光画像を取得した後で、ステップＳＴ６で認識処理を開始する前であればいずれのタイミングで行ってもよく、無偏光画像の生成を並列処理で行うようにしてもよい。
　このように、第１の実施の形態によれば、肉眼で観察できない情報を利用した処理、例えば偏光情報に基づいて認識処理を行う情報表示領域を容易に検出することができるようになる。また、情報表示領域を容易に検出することができるので、従来のように無偏光画像の全体に対して認識処理を行いマーカを検出する場合に比べて、マーカの検出コストを大幅に削減できる。
　また、マーカの偏光領域は、肉眼で視認することが困難であるから、偏光領域がマーカの外観や周辺の景観等に与える影響が少なく、例えば注視させたい領域を効果的・効率的に検出できるようになる。
　なお、偏光領域は、情報表示領域に対して所定位置に設けられていればよく、上述のように情報表示領域を囲むように設ける場合に限られない。
　＜２－４．情報処理装置の第２の実施の形態＞
　ところで、偏光領域は、第１の実施の形態のように情報表示領域を特定可能に設ける場合に限られない。例えば、提示情報に応じて偏光特性が変調されているマーカを用いれば、肉眼で見えない状態で情報を提示することが可能となる。
　次に、第２の実施の形態では、提示情報に応じて偏光特性が変調されているマーカを用いる場合について説明する。偏光特性を利用して提示する提示情報は、例えば情報表示領域で示される表示情報の補助情報とする。
　図１３は、情報処理装置の第２の実施の形態の構成を例示している。情報処理装置３０は、偏光情報取得部３１、領域検出部３２、情報読み取り部３３、無偏光画像生成部３４、認識処理部３５を有している。なお、偏光情報取得部３１、領域検出部３２、無偏光画像生成部３４、認識処理部３５は、第１の実施の形態と同様に構成されている。
　偏光情報取得部３１は、偏光撮像部２０で取得された偏光画像から偏光情報を取得して領域検出部３２へ出力する。
　領域検出部３２は、偏光情報取得部３１で取得された偏光情報に基づき偏光領域を検出して、偏光領域の偏光情報を情報読み取り部３３へ出力する。また、領域検出部３２は検出した偏光領域に基づき認識対象領域を検出して、検出結果を認識処理部３５へ出力する。
　情報読み取り部３３は、領域検出部３２で検出された偏光領域の偏光情報を復調して提示情報を取得する。情報読み取り部３３は、偏光情報に対応する情報が予め登録されており、偏光領域の偏光情報に対応する情報を提示情報として情報利用部４０へ出力する。例えば、情報読み取り部３３は、図５に示すマーカが偏光画像に含まれており、領域検出部３２で検出された偏光領域ＭＡｐが偏光特性Ｐａである場合には高さ制限であることを示す情報、偏光特性Ｐｂである場合には最大幅であることを示す情報を提示情報として情報利用部４０へ出力する。
　無偏光画像生成部３４は、偏光撮像部２０で取得された偏光画像から無偏光画像を生成して認識処理部３５へ出力する。
　認識処理部３５は、無偏光画像生成部３４で生成された無偏光画像において、領域検出部３２で検出された認識対象領域の画像を用いて認識処理を行い、認識結果を情報利用部４０へ出力する。
　図１４は情報処理装置の第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で情報処理装置は偏光画像を取得する。情報処理装置３０は偏光撮像部２０から偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で情報処理装置は偏光情報を取得する。情報処理装置３０は、ステップＳＴ１１で取得した偏光画像に基づき、偏光情報例えは偏光度と偏光位相を算出してステップＳＴ１３に進む。
　ステップＳＴ１３で情報処理装置は偏光領域を検出する。情報処理装置３０は、ステップＳＴ１２で取得された偏光情報に基づき、例えば偏光情報の偏光度が予め設定された範囲内、および偏光位相が予め設定された範囲内となる領域を偏光領域として検出してステップＳＴ１４に進む。
　ステップＳＴ１４で情報処理装置は提示情報を取得する。情報処理装置３０は、ステップＳＴ１３で検出した偏光領域の偏光情報を復調することにより提示情報を取得してステップＳＴ１５に進む。
　ステップＳＴ１５で情報処理装置は認識対象領域を検出する。情報処理装置３０は、ステップＳＴ１３で検出した偏光領域によって囲まれた閉領域である認識対象領域、例えばマーカに設けられた偏光領域で囲まれた閉領域である情報表示領域を検出してステップＳＴ１６に進む。
　ステップＳＴ１６で情報処理装置は無偏光画像を生成する。情報処理装置３０はステップＳＴ１で取得した偏光画像において隣接した異なる複数偏光方向の偏光画素の平均値を算出して、算出した平均値を無偏光画素の画素値として無偏光画像を生成する。情報処理装置３０は、無偏光画像を生成してステップＳＴ１７に進む。
　ステップＳＴ１７で情報処理装置は認識処理を行う。情報処理装置３０はステップＳＴ１６で生成された無偏光画像において、ステップＳＴ１５で検出された認識対象領域の画像を用いて認識処理を行い、例えばマーカ１５の情報表示領域ＭＡｓで示されている情報を判別する。
　なお、第２の実施の形態の動作は、図１４の処理順序に限られない。例えばステップＳＴ１６の無偏光画像の生成は、ステップＳＴ１１で無偏光画像を取得した後で、ステップＳＴ７で認識処理を開始する前であればいずれのタイミングで行ってもよく、無偏光画像の生成を並列処理で行うようにしてもよい。
　このように、第２の実施の形態によれば、第１の実施の形態と同様に、肉眼で観察できない情報を利用した処理を行えるようになる。また、情報表示領域を容易に検出することができるので、マーカの検出コストを大幅に削減できる。
　また、提示情報として情報表示領域の表示情報に対する補助情報を用いることで、マーカによって表示された表示情報を容易に精度よく取得することや、表示情報に関連した多くの情報を取得することが可能となる。例えば、偏光特性を重要度で変調すれば、領域検出部３２で検出された偏光領域の偏光情報に基づき、表示情報の重要度を出力できる。また、マーカを注視させる時間帯や天候等を提示情報として偏光領域の偏光特性を変調すれば、領域検出部３２で検出された偏光領域の偏光情報に基づき、マーカを注視させる時間帯や天候の情報を出力できる。また、作業ロボットなどにおいて、作業時に必要となるマーカの偏光領域の偏光特性を作業に応じて変調すれば、領域検出部３２で検出された偏光領域の偏光情報に基づき、作業に必要なマーカであるか判別できるので、複数のマーカが設けられても、作業に必要なマーカのみを選択して作業を行うことができる。また、ＡＲサイネージにおいて、対象年齢や性別と偏光領域の偏光特性をリンクさせることによって、その人に適した広告などを提示させることが可能となる。さらに、偏光領域の偏光特性を情報表示領域で示された表示情報のウォーターマークとして利用することで、偽の表示情報に対して頑強なシステムを構築できる。
　＜２－５．情報処理装置の第３の実施の形態＞
　次に、第３の実施の形態について説明する。第３の実施の形態では偏光情報の取得精度を向上させる。具体的には、所定の偏光特性である基準マーカ、例えば完全直線偏光板を用いて構成された基準マーカを撮像して取得した基準マーカ偏光画像から偏光度を算出する。また、基準マーカの偏光度と偏光画像から算出した偏光度に基づき補正量を算出して、算出した補正量に基づき偏光画像を補正して、精度の高い偏光情報を得られるようにする。
　図１５は、情報処理装置の第３の実施の形態の構成を例示している。情報処理装置３０は、偏光情報取得部３１、領域検出部３２、無偏光画像生成部３４、認識処理部３５、補正情報生成部３６、補正情報記憶部３７を有している。なお、偏光情報取得部３１、領域検出部３２、無偏光画像生成部３４、認識処理部３５は、第１の実施の形態と同様に構成されている。
　偏光情報取得部３１は、第１の実施の形態や第２の実施の形態と同様に、偏光画像から偏光情報を取得して領域検出部３２へ出力する。また、偏光情報取得部３１は、後述するように補正情報記憶部３７に補正情報が記憶されている場合、偏光撮像部２０で取得された偏光画像に対して補正情報に基づき補正処理を行い、補正処理後の偏光画像から偏光情報を取得して領域検出部３２へ出力する。
　領域検出部３２は、偏光情報取得部３１で取得された偏光情報に基づき、偏光領域を検出して、偏光領域の偏光情報を補正情報生成部３６へ出力する。また、領域検出部３２は検出した偏光領域に基づき認識対象領域、例えばマーカの情報表示領域を検出して、検出結果を認識処理部３５へ出力する。
　無偏光画像生成部３４は、偏光撮像部２０で取得された偏光画像から無偏光画像を生成して認識処理部３５へ出力する。
　認識処理部３５は、無偏光画像生成部３４で生成された無偏光画像において、領域検出部３２で検出された認識対象領域の画像を用いて認識処理を行い、認識結果を情報利用部４０へ出力する。
　補正情報生成部３６は、偏光領域が所定の偏光特性とされている基準マーカを含む偏光画像から偏光情報取得部３１で取得された偏光情報に基づいて領域検出部３２で検出された偏光領域の偏光特性と、基準マーカにおける偏光領域の所定の偏光特性に基づき補正情報、例えば消光比を算出する。
　図１６は、消光比を説明するための図である。図１６の（ａ）に示すように、偏光フィルタＦＬｐは、矢印で示す偏光方向の偏光光を取得する。図１６の（ａ）に示すように、偏光フィルタＦＬｐで取得する偏光光に対して平行な完全直線偏光光ＬＵｐを偏光フィルタＦＬｐに入射したとき、出力光は輝度ＩＦｐであるとする。また、図１６の（ｂ）に示すように、偏光フィルタＦＬｐで取得する偏光光に対して垂直な完全直線偏光光ＬＵｓを入射したとき、出力光は輝度ＩＦｓであるとする。この場合、消光比ｅは「ｅ＝ＩＦｐ／ＩＦｓ」となる。
　補正情報生成部３６は、基準マーカにおける偏光領域の偏光度ρrefと偏光情報取得部３１で取得された偏光領域の偏光度ρmeと消光比ｅの関係が式（１１）であることから、式（１２）に基づき消光比ｅを補正情報として算出して補正情報記憶部３７に記憶する。
Figure JPOXMLDOC01-appb-M000005
　その後、偏光情報取得部３１は、補正情報記憶部３７に記憶されている補正情報に基づき偏光画像を補正する。例えば偏光方向が０度の偏光画素の観測値を「Ｉme0」、偏光方向が４５度の偏光画素の観測値を「Ｉme45」、偏光方向が９０度の偏光画素の観測値を「Ｉme90」、偏光方向が１３５度の偏光画素の観測値を「Ｉme135」とする。また、偏光方向が０度の偏光画素の理想値を「Ｉref0」、偏光方向が４５度の偏光画素の理想値を「Ｉref45」、偏光方向が９０度の偏光画素の理想値を「Ｉref90」、偏光方向が１３５度の偏光画素の理想値を「Ｉref135」とする。
　偏光情報取得部３１は、偏光画素の観測値と理想値の関係が、消光比ｅを用いて例えば式（１３）乃至式（１６）の関係であるとして、式（１７）乃至式（２０）に基づき観測値と消光比に基づき理想値を算出する。
Figure JPOXMLDOC01-appb-M000006
　したがって、偏光情報取得部３１は、偏光撮像部２０で取得された偏光画像におけるマーカの偏光領域の観測値と、補正情報記憶部３７に記憶されており偏光領域に対応する位置の消光比を用いて式（１７）乃至式（２０）の演算を行い、偏光画像を補正する。さらに、偏光情報取得部３１は、補正後の偏光画像から偏光情報を取得する。
　なお、補正情報は、予め基準マーカを用いて生成して補正情報記憶部３７に記憶させてもよく、例えば閉領域内の画素位置で補正情報を生成する毎に、対応する画素位置の補正情報として補正情報記憶部３７に順次記憶させてもよい。
　図１７は情報処理装置の第３の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で情報処理装置は基準マーカ偏光画像を取得する。情報処理装置３０は偏光撮像部２０から基準マーカ偏光画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で情報処理装置は偏光情報を取得する。情報処理装置３０は、ステップＳＴ２１で取得した基準マーカ偏光画像に基づき、偏光情報例えは偏光度と偏光位相を算出してステップＳＴ２３に進む。
　ステップＳＴ２３で情報処理装置は偏光領域を検出する。情報処理装置３０は、ステップＳＴ２２で取得された偏光情報に基づき、例えば偏光情報の偏光度が予め設定された範囲内、および偏光位相が予め設定された範囲内となる領域を偏光領域として検出してステップＳＴ２４に進む。
　ステップＳＴ２４で情報処理装置は補正情報を生成する。情報処理装置３０は、ステップＳＴ２３で検出した偏光領域の偏光情報に基づき補正情報、例えば消光比を算出してステップＳＴ２５に進む。
　ステップＳＴ２５で情報処理装置は補正情報を記憶する。情報処理装置３０は、ステップＳＴ２４で生成した補正情報を記憶することで、その後に取得された偏光画像を記憶されている補正情報に基づき理想的な偏光画像に補正して、補正後の偏光画像に基づき偏光情報を生成できるようにする。
　このような第３の実施の形態によれば、偏光撮像部２０のデバイス特性に応じた補正情報が補正情報生成部で生成されて、補正情報記憶部に記憶される。また、偏光情報取得部では、補正情報記憶部に記憶された補正情報を用いて、偏光画像における偏光撮像部２０のデバイス特性の影響が補正されて、補正後の偏光画像から偏光情報が取得される。したがって、偏光撮像部２０のデバイス特性の影響を少なくして、認識対象領域の検出や提示情報の取得を精度よくが行えるようになる。
　＜３．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。
　このような分野に適用すれば、マーカの検出やマーカで提示されている情報の取得を容易に行えるので、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む偏光画像から、偏光情報を取得する偏光情報取得部と、
　前記偏光情報取得部で取得された偏光情報に基づき、前記偏光領域を検出する領域検出部と
を備える情報処理装置。
　（２）　前記マーカは、情報表示領域に対して所定位置に前記偏光領域が設けられており、
　前記領域検出部は、前記偏光領域の検出結果に基づき前記情報表示領域を検出する（１）に記載の情報処理装置。
　（３）　前記領域検出部における前記情報表示領域の検出結果に基づき、前記マーカを含む無偏光画像から前記マーカの情報表示領域の画像を用いて、前記情報表示領域に表示されている情報を認識する認識処理部をさらに備える（２）に記載の情報処理装置。
　（４）　前記偏光画像から前記無偏光画像を生成する無偏光画像生成部をさらに備える（３）に記載の情報処理装置。
　（５）　前記偏光領域は、前記情報表示領域を囲むように設けられている（２）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記領域検出で検出された偏光領域の偏光特性から情報を読み取る情報読み取り部をさらに備え、
　前記マーカの偏光領域は、提示情報に応じて偏光特性が変調されており、
　前記情報読み取り部は、前記偏光領域の偏光特性に対応する提示情報を読み取る（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記提示情報は、前記マーカの情報表示領域に表示された情報の補助情報である（６）に記載の情報処理装置。
　（８）　前記偏光領域は、偏光領域であるか否かを肉眼で確認できないように形成されている（１）乃至（６）のいずれかに記載の情報処理装置。
　（９）　前記偏光情報取得部は、前記偏光情報として偏光度と偏光位相を取得する（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　前記偏光画像を取得する偏光撮像部に応じて前記偏光画像の補正に用いる補正情報を記憶した補正情報記憶部をさらに備え、
　前記偏光情報取得部は、前記補正情報記憶部に記憶されている補正情報を用いて前記偏光画像の補正を行い、補正後の前記偏光画像から偏光情報を取得する（１）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　前記偏光画像の補正に用いる補正情報を生成して前記補正情報記憶部に記憶される補正情報生成部をさらに備え、
　前記補正情報生成部は、前記偏光領域が所定の偏光特性とされている基準マーカを含む偏光画像から前記偏光情報取得部で取得された偏光情報に基づいて前記領域検出部で検出された前記偏光領域の偏光特性と、前記基準マーカにおける前記偏光領域の所定の偏光特性に基づき前記補正情報を生成する（１０）に記載の情報処理装置。
　（１２）　前記偏光特性は偏光度であり、前記補正情報は消光比を示す（１０）または（１１）に記載の情報処理装置。
　また、本技術は、以下のような構成のマーカを含む。
　（１）　予め設定された偏光特性を示す偏光領域を設けたマーカ。
　（２）　情報表示領域に対して所定位置に前記偏光領域を設けた（１）に記載のマーカ。
　（３）　前記情報表示領域を囲むように前記偏光領域を設けた（２）に記載のマーカ。
　（４）　前記マーカの偏光領域は、提示情報に応じて偏光特性が変調されている（１）に記載のマーカ。
　（５）　前記提示情報は、前記情報表示領域で表示された情報の補助情報である（４）に記載の情報処理装置。
　（６）　前記偏光領域は、偏光領域であることを肉眼で確認できないように形成したる（１）に記載のマーカ。
　１０・・・システム
　１５・・・マーカ
　２０・・・偏光撮像部
　３０・・・情報処理装置
　３１・・・偏光情報取得部
　３２・・・領域検出部
　３３・・・情報読み取り部
　３４・・・無偏光画像生成部
　３５・・・認識処理部
　３６・・・補正情報生成部
　３７・・・補正情報記憶部
　４０・・・情報利用部
　６０・・・無人搬送車
　２０１・・・イメージセンサ
　２０２・・・偏光フィルタ
　２０３・・・レンズ
　２０４，２１１，２１２-1～２１２-4・・・偏光板
　２１０，２１０-1～２１０-4・・・撮像部

Claims (14)

  1. 　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む偏光画像から、偏光情報を取得する偏光情報取得部と、
    　前記偏光情報取得部で取得された偏光情報に基づき、前記偏光領域を検出する領域検出部と
    を備える情報処理装置。
  2. 　前記マーカは、情報表示領域に対して所定位置に前記偏光領域が設けられており、
    　前記領域検出部は、前記偏光領域の検出結果に基づき前記情報表示領域を検出する
    請求項１に記載の情報処理装置。
  3. 　前記領域検出部における前記情報表示領域の検出結果に基づき、前記マーカを含む無偏光画像から前記マーカの情報表示領域の画像を用いて、前記情報表示領域に表示されている情報を認識する認識処理部をさらに備える
    請求項２に記載の情報処理装置。
  4. 　前記偏光画像から前記無偏光画像を生成する無偏光画像生成部をさらに備える。
    請求項３に記載の情報処理装置。
  5. 　前記偏光領域は、前記情報表示領域を囲むように設けられている
    請求項２に記載の情報処理装置。
  6. 　前記領域検出で検出された偏光領域の偏光特性から情報を読み取る情報読み取り部をさらに備え、
    　前記マーカの偏光領域は、提示情報に応じて偏光特性が変調されており、
    　前記情報読み取り部は、前記偏光領域の偏光特性に対応する提示情報を読み取る
    請求項１に記載の情報処理装置。
  7. 　前記提示情報は、前記マーカの情報表示領域で示された情報の補助情報である
    請求項６に記載の情報処理装置。
  8. 　前記偏光領域は、偏光領域であるか否かを肉眼で確認できないように形成されている
    請求項１に記載の情報処理装置。
  9. 　前記偏光情報取得部は、前記偏光情報として偏光度と偏光位相を取得する
    請求項１に記載の情報処理装置。
  10. 　前記偏光画像を取得する偏光撮像部に応じて前記偏光画像の補正に用いる補正情報を記憶した補正情報記憶部をさらに備え、
    　前記偏光情報取得部は、前記補正情報記憶部に記憶されている補正情報を用いて前記偏光画像の補正を行い、補正後の前記偏光画像から偏光情報を取得する
    請求項１に記載の情報処理装置。
  11. 　前記偏光画像の補正に用いる補正情報を生成して前記補正情報記憶部に記憶される補正情報生成部をさらに備え、
    　前記補正情報生成部は、前記偏光領域が所定の偏光特性とされている基準マーカを含む偏光画像から前記偏光情報取得部で取得された偏光情報に基づいて前記領域検出部で検出された前記偏光領域の偏光特性と、前記基準マーカにおける前記偏光領域の所定の偏光特性に基づき前記補正情報を生成する
    請求項１０に記載の情報処理装置。
  12. 　前記偏光特性は偏光度であり、前記補正情報は消光比を示す
    請求項１０に記載の情報処理装置。
  13. 　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む偏光画像から、偏光情報を偏光情報取得部で取得することと、
    　前記偏光情報取得部で取得された偏光情報に基づき、前記偏光領域を領域検出部で検出すること
    を含む情報処理方法。
  14. 　偏光画像を用いた処理をコンピュータで実行させるプログラムであって、
    　予め設定された偏光特性を示す偏光領域が設けられているマーカを含む前記偏光画像から、偏光情報を取得する手順と、
    　前記取得された偏光情報に基づき、前記偏光領域を検出する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2020/040609 2019-12-02 2020-10-29 情報処理装置と情報処理方法およびプログラム WO2021111779A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019218059 2019-12-02
JP2019-218059 2019-12-02

Publications (1)

Publication Number Publication Date
WO2021111779A1 true WO2021111779A1 (ja) 2021-06-10

Family

ID=76222376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040609 WO2021111779A1 (ja) 2019-12-02 2020-10-29 情報処理装置と情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2021111779A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652554B2 (ja) * 1985-11-07 1994-07-06 日本電装株式会社 道路標識認識装置
JP2012033073A (ja) * 2010-07-30 2012-02-16 Dainippon Printing Co Ltd 付加情報提供システム及び撮像装置
JP2013090085A (ja) * 2011-10-17 2013-05-13 Sony Corp 撮像装置、画像処理方法及びプログラム
JP2014169965A (ja) * 2013-03-05 2014-09-18 Ihi Corp マーカ、対象物識別装置、および対象物識別方法
JP2015501560A (ja) * 2011-09-30 2015-01-15 ▲ムン▼基 李 ステレオ映像に基づく映像処理システム
JP2015179182A (ja) * 2014-03-19 2015-10-08 セイコーエプソン株式会社 プロジェクター、及び表示状態調整方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2019117161A (ja) * 2017-12-27 2019-07-18 国立研究開発法人宇宙航空研究開発機構 被検体検出装置
US20190318138A1 (en) * 2018-04-11 2019-10-17 3M Innovative Properties Company System for vehicle identification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652554B2 (ja) * 1985-11-07 1994-07-06 日本電装株式会社 道路標識認識装置
JP2012033073A (ja) * 2010-07-30 2012-02-16 Dainippon Printing Co Ltd 付加情報提供システム及び撮像装置
JP2015501560A (ja) * 2011-09-30 2015-01-15 ▲ムン▼基 李 ステレオ映像に基づく映像処理システム
JP2013090085A (ja) * 2011-10-17 2013-05-13 Sony Corp 撮像装置、画像処理方法及びプログラム
JP2014169965A (ja) * 2013-03-05 2014-09-18 Ihi Corp マーカ、対象物識別装置、および対象物識別方法
JP2015179182A (ja) * 2014-03-19 2015-10-08 セイコーエプソン株式会社 プロジェクター、及び表示状態調整方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2019117161A (ja) * 2017-12-27 2019-07-18 国立研究開発法人宇宙航空研究開発機構 被検体検出装置
US20190318138A1 (en) * 2018-04-11 2019-10-17 3M Innovative Properties Company System for vehicle identification

Similar Documents

Publication Publication Date Title
US10848743B2 (en) 3D Camera calibration for adjustable camera settings
EP3438776B1 (en) Method, apparatus and computer program for a vehicle
CN106910224B (zh) 宽视场高分辨显微成像中像感器阵列标定方法
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
US8587612B2 (en) Method and system for providing augmented reality based on marker tracking, and non-transitory computer-readable medium thereof
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
EP3296955B1 (en) Image processing device, image processing method and program
EP2518688A1 (en) Method and device for splicing images
WO2010073547A1 (ja) 画像処理装置及び擬似立体画像生成装置
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
US20120057001A1 (en) Image Processing Apparatus and Method, and Program
US20090073255A1 (en) Video Transmitting Apparatus, Video Display Apparatus, Video Transmitting Method and Video Display Method
US10902271B2 (en) Recognizing a raised object on the basis of perspective images
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
US10805534B2 (en) Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
JP4621214B2 (ja) 立体画像撮像位置調整装置、立体画像撮像位置調整方法およびそのプログラムならびに立体画像撮影システム
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
Shin et al. Maximizing self-supervision from thermal image for effective self-supervised learning of depth and ego-motion
WO2021111779A1 (ja) 情報処理装置と情報処理方法およびプログラム
CN109472737A (zh) 一种车载六路摄像头的全景报警方法
CN113436130A (zh) 一种非结构光场智能感知系统与装置
CN115601437A (zh) 一种基于目标识别的动态会聚型双目立体视觉系统
CN109272445A (zh) 基于球面模型的全景视频拼接方法
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895398

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895398

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP