WO2019215820A1 - 情報処理装置および被写体情報取得方法 - Google Patents

情報処理装置および被写体情報取得方法 Download PDF

Info

Publication number
WO2019215820A1
WO2019215820A1 PCT/JP2018/017840 JP2018017840W WO2019215820A1 WO 2019215820 A1 WO2019215820 A1 WO 2019215820A1 JP 2018017840 W JP2018017840 W JP 2018017840W WO 2019215820 A1 WO2019215820 A1 WO 2019215820A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
interest
point
polarization
information
Prior art date
Application number
PCT/JP2018/017840
Other languages
English (en)
French (fr)
Inventor
隆行 石田
博之 勢川
和田　信也
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2020517661A priority Critical patent/JP6933776B2/ja
Priority to PCT/JP2018/017840 priority patent/WO2019215820A1/ja
Priority to US17/050,872 priority patent/US11108966B2/en
Publication of WO2019215820A1 publication Critical patent/WO2019215820A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present invention relates to an information processing apparatus and a subject information acquisition method for acquiring a subject state using a captured image.
  • Image analysis using polarized light generally has high robustness with respect to ambient brightness and presence / absence of feature points on the surface of the subject because attention is paid to changes in luminance with respect to the polarization direction.
  • the observed light includes light having different reflection modes such as specular reflection and diffuse reflection, the accuracy of calculation may be deteriorated depending on the suitability of the model used.
  • the present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of easily acquiring subject information using a polarization image.
  • An aspect of the present invention relates to an information processing apparatus.
  • the information processing apparatus includes a captured image acquisition unit that acquires data of polarization images in a plurality of directions captured from different viewpoints by the imaging apparatus, and imaging apparatus information that acquires information on the position and orientation of the imaging apparatus as viewpoint information.
  • the acquisition unit and the polarization luminance of the pixel of interest representing the point of interest on the subject the incident surface of the observed light at the point of interest is acquired for each viewpoint, and then integrated based on the positional relationship of the viewpoints.
  • a viewpoint control unit that determines a viewpoint after movement when a predetermined condition is satisfied as a second viewpoint for deriving an incident surface.
  • the information processing apparatus acquires a plurality of directions of polarization image data captured from different viewpoints by the imaging apparatus, and acquires information on the position and orientation of the imaging apparatus as viewpoint information.
  • the incident surface of the observed light at the point of interest is acquired for each viewpoint, and integrated based on the positional relationship of the viewpoint, so that the world coordinates
  • a step of obtaining state information of a point of interest in the system, and a direction in which the viewpoint should move is determined based on the incident surface obtained for the first viewpoint, and when a predetermined condition is satisfied for the incident surface
  • the method includes a step of determining a viewpoint after movement as a second viewpoint for deriving an incident surface and a step of outputting state information of the point of interest.
  • information on the position and orientation of the subject can be easily obtained using the polarization image.
  • FIG. 1 It is a figure which shows the structure of the functional block of the information processing apparatus in this Embodiment.
  • this Embodiment it is a flowchart which shows the process sequence in which information processing apparatus acquires the status information of a subject using a polarization image.
  • FIG. 1 shows a configuration example of the information processing system in the present embodiment.
  • the information processing system includes an imaging device 12 that captures an image of a subject 8, an information processing device 10 that acquires data of the captured image and performs predetermined information processing, and a display device 16 that outputs a result of the information processing.
  • the information processing system may further include an input device that receives an operation on the information processing apparatus 10 from a user.
  • the information processing apparatus 10 may be further communicable with an external apparatus such as a server by connecting to a network such as the Internet.
  • the information processing apparatus 10, the imaging apparatus 12, and the display apparatus 16 may be connected by a wired cable, or may be wirelessly connected by a wireless LAN (Local Area Network) or the like. Alternatively, any two or more of the information processing device 10, the imaging device 12, and the display device 16 may be combined to form an integrated device.
  • the information processing system may be realized by a camera or a mobile terminal equipped with them.
  • the display device 16 may be an electronic viewfinder.
  • the display device 16 is a head-mounted display that displays an image in front of the user when the user wears the head, and the imaging device 12 is provided on the head-mounted display so as to capture an image corresponding to the user's line of sight. Also good.
  • the external shapes of the information processing device 10, the imaging device 12, and the display device 16 are not limited to those illustrated.
  • the information processing apparatus 10 acquires polarization image data captured by the imaging apparatus 12 and specifies at least one of the normal of the point of interest on the subject 8 and the position in the three-dimensional space. Based on the result, image and sound data are generated and output to the display device 16. There may be one or a plurality of points of interest on the subject 8.
  • the shape of the subject 8 can be specified by setting the points of interest on the subject 8 with a density equal to or higher than a predetermined value and obtaining the respective positions.
  • the change in the posture of the subject 8 can be acquired.
  • the positions of all the points of interest are continuously acquired, the change in the posture of the subject 8 and the movement destination can be acquired.
  • the normal and position of the point of interest, the shape and orientation of the subject may be collectively referred to as “subject state information”.
  • the content of data output by the information processing apparatus 10 is not limited based on the subject state information acquired using the polarization image.
  • data representing the obtained state information itself may be output, or they may be integrated to generate and output an environment map of the object space.
  • separate information processing may be performed using such state information, and the result may be output as an image or sound.
  • an electronic game or arbitrary information processing may be progressed by using a predetermined object included in the subject 8 as a game controller and recognizing the movement as a user operation.
  • the subject space including the subject 8 may be replaced with a virtual object to represent a virtual world, or a virtual object that interacts with the subject 8 may be drawn on the photographed image.
  • a virtual object By modeling the real world as a virtual object, the virtual world drawn in the field of view corresponding to the user's line of sight may be displayed on the head mounted display.
  • the subject state information acquired using the polarization image may be temporarily stored in a storage device or the like and used for another information processing at a later timing.
  • the imaging device 12 also captures an image of natural light and supplies it to the information processing device 10.
  • FIG. 2 schematically shows a polarization image shooting environment used in the present embodiment.
  • the imaging device 12 captures a space including the subject 72 via the linear polarizing plate 70. More specifically, the imaging device 12 is a straight line of reflected light composed of a specular reflection component in which the light emitted from the light source 74 reflects the subject 72 and a diffuse reflection component that is scattered in the subject 72. The polarized light transmitted through the polarizing plate 70 is observed.
  • the linearly polarizing plate 70 transmits only the linearly polarized light that vibrates in a certain direction (referred to as “polarization direction”) out of the reflected light that reaches the imaging device 12 from the subject 72. If the linearly polarizing plate 70 is rotated around an axis perpendicular to the surface, the polarization direction can be set in an arbitrary direction. If the light reaching the imaging device 12 is non-polarized light, the observed luminance is constant even if the linearly polarizing plate 70 is rotated. On the other hand, general reflected light changes due to partial polarization in the luminance observed with respect to the polarization direction.
  • the light observed as the image of the point of interest a on the subject 72 is reflected light in the incident surface 76 including the normal vector n of the subject 72 at that position. It is known that specular reflection is dominated by so-called s-polarized light that vibrates in a direction perpendicular to the incident surface 76, and diffuse reflection is dominated by so-called p-polarized light that vibrates in a direction parallel to the incident surface 76. Yes.
  • the ratio of s-polarized light and p-polarized light depends on the angle ⁇ (referred to as “zenith angle”) between the normal vector n and the observed light beam on the incident surface 76.
  • the degree of polarization that is, the degree of polarization and the polarization phase are determined by the incidence plane 76 and zenith angle ⁇ determined by the relationship between the viewpoint of the imaging device 12 and the normal vector n at the point of interest a, and the ratio of specular reflection and diffuse reflection. It changes depending on.
  • the normal vector n viewed from the imaging device 12 is estimated by rotating the linearly polarizing plate 70 and acquiring a change in luminance with respect to the polarization direction, assuming a ratio between specular reflection and diffuse reflection. be able to.
  • “determining the incident surface” means obtaining the angle of the incident surface in a captured image plane or a three-dimensional space.
  • the “viewpoint” of the imaging device 12 may include the direction of the lens in addition to the position of the lens center of the imaging device 12.
  • FIG. 3 illustrates the change in the luminance I with respect to the polarization direction ⁇ .
  • the upper part of the figure shows a case where specular reflection is dominant, and the lower part shows a case where diffuse reflection is dominant. Both have a sine wave shape with a period of 180 °.
  • this is because s-polarized light is dominant in specular reflection and p-polarized light is dominant in diffuse reflection.
  • the polarization direction ( ⁇ s-90 °) at which the luminance is minimized in the specular reflection, or the luminance is maximized in the diffuse reflection is a vibration perpendicular to the incident surface and the p-polarized light is parallel to the incident surface
  • the polarization direction ⁇ d represents the angle of the incident surface. Since the normal vector n is always included in the incident surface, the angle represents the angle of a vector obtained by projecting the normal vector n onto the captured image plane. This angle is generally called the azimuth angle of the normal vector n. In addition to the azimuth angle, the normal vector in the three-dimensional space viewed from the imaging device 12 is uniquely determined by obtaining the zenith angle at the incident surface.
  • the polarization direction when the luminance of the observed polarized light becomes maximum is referred to as a phase angle ⁇ .
  • the change in luminance I shown in FIG. 3 can be expressed by the following equation using the phase angle ⁇ .
  • I max , I min , and ⁇ can be obtained by rotating the linear polarizing plate 70 and approximating the luminance observed with respect to a plurality of polarization directions ⁇ to the form of Equation 1 using the least square method or the like.
  • I max and I min the degree of polarization ⁇ is obtained by the following equation.
  • Fig. 4 compares the change in the degree of polarization with respect to the zenith angle of the normal vector by specular reflection and diffuse reflection.
  • the degree of polarization takes a value up to 1.0
  • the degree of polarization of the diffuse reflection shown in the lower stage is about 0.4 at the maximum.
  • the angle of the incident surface with respect to the phase angle ⁇ differs by 90 ° depending on whether specular reflection or diffuse reflection is dominant. That is, even if the change in luminance with respect to the polarization direction is expressed as in Equation 1 and the phase angle ⁇ is obtained, an indefiniteness of 90 ° occurs on the incident surface.
  • a normal vector is specified based on the specular reflection model by setting a threshold Th ⁇ for the degree of polarization and selecting a point having a degree of polarization higher than that as a point of interest. . That is, the behavior of the luminance of polarized light with a polarization degree equal to or greater than the threshold Th ⁇ with respect to the polarization direction is approximated to the form of Equation 1, and the polarization direction ( ⁇ 90 °) at which the luminance is the minimum is the angle of the incident surface. .
  • the degree of polarization ⁇ s of the specular reflected light can be expressed by the following equation as a function of the zenith angle ⁇ and the refractive index ⁇ of the subject.
  • the illustrated degree of polarization typically represents the case where the refractive index ⁇ is 1.6. Since the refractive index of a general artifact is about 1.5 to 1.6 and does not change greatly, the threshold Th ⁇ may be constant regardless of the subject. However, the threshold value Th ⁇ may be set strictly according to the material of the subject. In this embodiment, as will be described later, the change in the degree of polarization of specular reflection with respect to the zenith angle is also used in the evaluation of the reliability of the estimated normal vector. In this case as well, it is possible to evaluate by the same calculation regardless of the subject by utilizing the fact that the tendency of the degree of polarization does not change greatly with respect to the refractive index ⁇ . On the other hand, the degree of polarization may be strictly determined according to the material of the subject and used for evaluation.
  • the angle of the normal vector in the incident plane that is, the zenith angle ⁇ can be derived from the degree of polarization ⁇ .
  • the azimuth angle and zenith angle of the normal vector thus obtained are only based on the viewpoint of the imaging device 12. Further, it is not possible to obtain the position coordinates of the point of interest in the world coordinate system from only the information. For this reason, analysis using a polarization image is generally used to interpolate the distance value from the imaging device 12 to the subject obtained using another measurement system, or to identify the change in the posture of the subject whose position is known. Often used.
  • the viewpoint of the imaging device 12 is freely changed, and a plurality of incident planes are acquired with respect to the same point of interest by analyzing polarized images from at least two of them. Then, the state information of the point of interest in the world coordinate system is acquired by integrating the incident surface information for each viewpoint based on the positional relationship of the viewpoints. Specifically, since a normal vector is included in any incident surface, a normal vector in the world coordinate system is obtained from an intersection line of at least two incident surfaces.
  • the reliability of the obtained normal vector is evaluated based on the relationship between the zenith angle determined by the positional relationship between the normal vector and the viewpoint and the degree of polarization. Further, by specifying in which direction one point of interest is located from the two viewpoints, the position coordinates of the point of interest in the world coordinate system are acquired. As a result, subject state information can be acquired in the world coordinate system using only the polarization image.
  • the means for observing the polarization luminance is not limited to the linear polarizing plate.
  • a polarizer layer may be provided as part of the image sensor structure.
  • FIG. 5 shows an example of the structure of an image pickup device including a polarizer layer that can be introduced into the image pickup device 12 of the present embodiment. This figure schematically shows the functional structure of the element cross section, and detailed structures such as an interlayer insulating film and wiring are omitted.
  • the image sensor 110 includes a microlens layer 112, a wire grid polarizer layer 114, a color filter layer 116, and a light detection layer 118.
  • the wire grid type polarizer layer 114 includes a polarizer in which a plurality of linear conductor members are arranged in stripes at intervals smaller than the wavelength of incident light.
  • the polarization component in the direction parallel to the polarizer line is reflected, and only the perpendicular polarization component is transmitted.
  • a polarized image is acquired by detecting the transmitted polarization component with the light detection layer 118.
  • the light detection layer 118 has a semiconductor element structure such as a general CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • the wire grid type polarizer layer 114 includes an array of polarizers having different polarization orientations for transmitting charges in the light detection layer 118, that is, in units of pixels or in units larger than that.
  • the right side of the figure illustrates the polarizer array 120 when the wire grid polarizer layer 114 is viewed from the top.
  • the shaded lines are conductors (wires) constituting the polarizer.
  • Each dotted rectangle represents a region of a polarizer in one direction, and the dotted line itself is not actually formed.
  • polarizers in four directions are arranged in four regions 122a, 122b, 122c, and 122d in two rows and two columns.
  • the polarizers on the diagonal are orthogonal in transmission direction, and adjacent polarizers have a 45 ° difference. That is, polarizers in four directions every 45 ° are provided.
  • This replaces the linearly polarizing plate 70, and in the light detection layer 118 provided below, polarization information in four directions at 45 ° intervals can be obtained in each of the regions corresponding to the four regions 122a, 122b, 122c, and 122d. it can.
  • An image sensor that simultaneously acquires polarization information in four directions as two-dimensional data by arranging a predetermined number of such polarizer arrays in the vertical and horizontal directions and connecting peripheral circuits that control the timing of charge readout. Can be realized.
  • a color filter layer 116 is provided between the wire grid type polarizer layer 114 and the light detection layer 118.
  • the color filter layer 116 includes, for example, an array of filters that respectively transmit red, green, and blue light corresponding to each pixel. Accordingly, polarization information is obtained for each color according to the combination of the direction of the polarizer in the wire grid polarizer layer 114 positioned above and below and the color of the filter in the color filter layer 116. That is, since polarization information of the same direction and the same color is obtained discretely on the image plane, a polarization image for each direction and color can be obtained by appropriately interpolating the information.
  • a non-polarized color image can be reproduced by computing polarized images of the same color.
  • An image acquisition technique using a wire grid polarizer is also disclosed in, for example, Japanese Patent Application Laid-Open No. 2012-80065.
  • the color filter layer 116 can be omitted if a color image is not necessary for other purposes.
  • the polarizer is not limited to the wire grid type, and a linear dichroic polarizer can also be used.
  • Equation 1 When the azimuth dependence of polarization luminance is approximated to the form of Equation 1, at least three directions of polarization luminance are required for the same point of interest. According to the illustrated image pickup device, four azimuth polarization luminances can be obtained at substantially the same position on the subject at the same time, but this condition is satisfied. Approximate equations can contain large errors. However, in this embodiment, as described above, a point where the degree of polarization is equal to or greater than the threshold Th ⁇ is treated. In other words, by calculating only the point where the difference between I max and I min is large, the approximate expression is less likely to contain errors even with polarized light in a limited direction, and the phase angle ⁇ , and thus the state information of the subject can be obtained accurately. be able to.
  • FIG. 6 shows an internal circuit configuration of the information processing apparatus 10.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 23, a GPU (Graphics Processing Unit) 24, and a main memory 26. These units are connected to each other via a bus 30.
  • An input / output interface 28 is further connected to the bus 30.
  • the input / output interface 28 outputs data to a peripheral device interface such as USB or IEEE1394, a communication unit 32 including a wired or wireless LAN network interface, a storage unit 34 such as a hard disk drive or a nonvolatile memory, and the display device 16.
  • An output unit 36, an input unit 38 for inputting data from the imaging device 12 or an input device (not shown), and a recording medium driving unit 40 for driving a removable recording medium such as a magnetic disk, an optical disk or a semiconductor memory are connected.
  • the CPU 23 controls the entire information processing apparatus 10 by executing the operating system stored in the storage unit 34.
  • the CPU 23 also executes various programs read from the removable recording medium and loaded into the main memory 26 or downloaded via the communication unit 32.
  • the GPU 24 has a function of a geometry engine and a function of a rendering processor, performs a drawing process according to a drawing command from the CPU 23, and stores display image data in a frame buffer (not shown).
  • the display image stored in the frame buffer is converted into a video signal and output to the output unit 36.
  • the main memory 26 is composed of RAM (Random Access Memory) and stores programs and data necessary for processing.
  • FIG. 7 shows a functional block configuration of the information processing apparatus 10 according to the present embodiment.
  • Each element described as a functional block for performing various processes in the figure can be constituted by various circuits such as the CPU 23, the GPU 24, the main memory 26 and the like shown in FIG. Is realized by a recording medium driven by the recording medium driving unit 40 or a program loaded from the storage unit 34 to the main memory 26. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • the information processing apparatus 10 includes a captured image acquisition unit 50 that acquires captured image data from the imaging device 12, an image data storage unit 52 that stores acquired image data, and an imaging that acquires information on the position and orientation of the imaging device 12.
  • the captured image acquisition unit 50 is realized by the input unit 38, the CPU 23, and the like of FIG. 6 and acquires image data including polarization images captured from a plurality of viewpoints from the imaging device 12. At this time, an image having polarization luminance in at least three directions per viewpoint is acquired as a polarization image.
  • image data having a polarization image including information on a plurality of directions as an image frame may be acquired. At this time, data of moving images shot while continuously moving the viewpoint may be acquired.
  • data of still images shot individually from two or more viewpoints may be acquired.
  • the imaging device 12 may be a plurality of cameras fixed so as to obtain different viewpoints, and data of still images and moving images captured by the cameras may be acquired.
  • the captured image acquisition unit 50 may also acquire general color captured image data.
  • the captured image acquisition unit 50 stores the acquired captured image data in the image data storage unit 52.
  • the captured image acquisition unit 50 When one image frame includes polarization information in a plurality of directions, the captured image acquisition unit 50 generates a polarization image in a plurality of directions by separating pixel values for each polarization direction and appropriately interpolating the image data storage unit. 52.
  • the imaging device information acquisition unit 53 is realized by the input unit 38, the CPU 23, and the like of FIG. 6, and acquires the position and orientation of the imaging device 12 in real space at least at the timing when the polarization image is captured.
  • the position and orientation of the imaging device 12 are derived at predetermined time steps based on measured values such as acceleration and angular velocity measured by a motion sensor included in the imaging device 12.
  • the position and orientation of the imaging device 12 may be derived by image analysis technology such as SLAM (Simultaneous Localization and Mapping). Since these techniques are widely known, description thereof is omitted.
  • the subject information acquisition unit 54 is realized by the CPU 23, the GPU 24, and the like of FIG. 6, and the polarization image data stored in the image data storage unit 52 and the position and orientation information of the imaging device 12 acquired by the imaging device information acquisition unit 53 Is used to obtain the normal vector and position coordinates of the point of interest on the subject in the world coordinate system.
  • the subject information acquisition unit 54 may also acquire the shape and orientation of the subject by using a collection of points of interest as the surface of the subject.
  • the subject information acquisition unit 54 includes a viewpoint control unit 60 and a point of interest information acquisition unit 64.
  • the viewpoint control unit 60 uses the information on the position and orientation of the imaging device 12 to control the polarization image to be taken from a suitable viewpoint.
  • the polarization image captured at a certain viewpoint is determined as a reference, and the user is notified of the viewpoint moving direction in subsequent imaging.
  • the notification is performed by causing the display device 16 to display the image via the output data generation unit 56 or to output it as sound.
  • the viewpoint control unit 60 guides the viewpoint in a direction away from the incident surface with respect to the previous viewpoint, and further in a direction in which the incident surface approaches 90 °, on the condition that the point of interest does not deviate from the field of view. Then, a polarization image photographed when an appropriate viewpoint is obtained is set as an analysis target. At this time, when the viewpoint control unit 60 notifies the shutter timing, the user may shoot a still image, or the viewpoint control unit 60 may extract an image frame at an appropriate viewpoint from a series of moving image data. Good.
  • this embodiment is not limited to a mode in which the user moves the imaging device 12, and a plurality of imaging devices may be fixed from an appropriate viewpoint as described above.
  • the imaging device 12 may be provided with a mechanism that allows the viewpoint control unit 60 to control the position and orientation.
  • the present embodiment can acquire subject state information using images taken from a few viewpoints such as two viewpoints, even if the user moves the imaging device 12, it does not require much effort and the introduction cost is suppressed. It is done.
  • the viewpoint when the polarized image serving as a reference is captured is referred to as a “first viewpoint”, and the viewpoint having an appropriate positional relationship in analysis is referred to as a “second viewpoint”.
  • the second viewpoint may be one or two or more.
  • the point-of-interest information acquisition unit 64 sets a target pixel with respect to the polarization image captured from the first viewpoint, and acquires the incident surface based on the orientation dependency of the polarization luminance at the target pixel.
  • the “pixel of interest” is a pixel formed by projecting a point of interest on a subject in a three-dimensional space onto an image plane. That is, this process is nothing but setting a point of interest on the subject and determining an incident surface with respect to the first viewpoint at the point of interest.
  • a pixel having a polarization degree equal to or higher than a threshold value is selected as the target pixel.
  • the obtained incident surface is also used by the viewpoint control unit 60 to control the second viewpoint.
  • the point-of-interest information acquisition unit 64 further acquires an incident surface in a pixel representing the same point of interest on the subject with respect to the polarization image photographed from the second viewpoint.
  • the position of the pixel representing the same point of interest as set using the image of the first viewpoint is unknown unless there is a clear feature point or the like.
  • the point-of-interest information acquisition unit 64 projects the line-of-sight vector from the first viewpoint to the point of interest on the image plane of the second viewpoint, and acquires the normal vector of the subject on the straight line. Then, by evaluating the reliability of each normal vector using the relationship between the zenith angle and the degree of polarization, pixels representing the same point of interest are specified.
  • the point-of-interest information acquisition unit 64 may further evaluate the normal vector thus obtained based on a predetermined criterion and give the reliability. If the reliability is below a predetermined threshold, the normal vector may be excluded from the output result. Alternatively, the reliability may be output in association with each normal vector.
  • the point of interest information acquisition unit 64 extends the line of sight from each viewpoint to the pixel of interest on the image plane as necessary, and acquires the intersection as the position coordinates of the point of interest. Also in this case, the output target is screened based on the reliability obtained with respect to the corresponding normal vector, or output after associating the reliability.
  • the output data generation unit 56 is realized by the CPU 23, the GPU 24, the output unit 36, and the like shown in FIG. 6, and the subject state information acquired by the subject information acquisition unit 54 or data representing the result of performing predetermined information processing based on the subject state information. Generate and output. For example, when a real object existing in the object space is replaced with a virtual object or a virtual object that interacts with the real object is drawn, the output data generation unit 56 uses the real space as a model as an initial process of such operation. Create and output a simplified environment map. The output destination at this time may be a storage device such as the main memory 26.
  • predetermined information processing such as a game may be performed using output data of the subject information acquisition unit 54, and display image or audio data representing the result may be output to the display device 16.
  • the output data generation unit 56 may appropriately use a captured image of natural light stored in the image data storage unit 52.
  • FIG. 8 is a flowchart illustrating a processing procedure in which the information processing apparatus 10 acquires state information of a subject using a polarization image. This flowchart assumes a mode in which the user moves the viewpoint by moving the imaging device 12.
  • the information processing apparatus 10 establishes communication with the imaging apparatus 12, the imaging apparatus information acquisition unit 53 sequentially acquires information related to the position and orientation, and the captured image acquisition unit 50 sequentially acquires captured image data. Progress in parallel.
  • the viewpoint control unit 60 of the subject information acquisition unit 54 first acquires image data of the first viewpoint (S10). At this time, as described above, a still image shot from a certain viewpoint may be used as the image of the first viewpoint as it is, or an image extracted by the viewpoint control unit 60 from moving images shot from a continuously changing viewpoint.
  • the frame may be the first viewpoint image.
  • the point-of-interest information acquisition unit 64 sets a pixel of interest for the polarization image of the first viewpoint (S12). Specifically, for each pixel of the polarization image, a change in polarization luminance is approximated by Equation 1, and a pixel whose polarization degree value obtained by Equation 2 is equal to or greater than the threshold Th ⁇ is selected as a pixel of interest. It should be noted that such pixels are not intended to be all pixels of interest, and only the image area of the object may be targeted, or only pixels at predetermined intervals may be targeted. Alternatively, only one pixel may be the target pixel. When one pixel of interest is set, a pixel having the maximum degree of polarization may be selected instead of threshold determination.
  • the point-of-interest information acquisition unit 64 obtains an incident surface (reference incident surface) with respect to the first viewpoint for each target pixel from the phase angle ⁇ obtained by the approximation of Equation 1 (S14).
  • the angle of the incident surface can be obtained as ⁇ 90 ° by applying a specular reflection model.
  • a plane having ⁇ -90 ° with respect to the viewpoint can be defined in the world coordinate system.
  • the viewpoint control unit 60 guides the viewpoint of the imaging device 12 so that the second viewpoint is appropriately obtained (S16).
  • the appropriate viewpoint is a viewpoint in which the point of interest on the subject represented by the pixel of interest set in S12 is in the field of view, and the angle between the incident surfaces is sufficient.
  • the point of interest and the position of the image are unknown, so that the incident surface with respect to the second viewpoint cannot be obtained accurately. Therefore, for example, the angle formed by the incident surfaces is approximated by the angle formed by the optical axis with respect to the incident surface at the first viewpoint.
  • the angle formed by the incident surfaces is preferably close to 90 °.
  • the angle of the two incident surfaces forming the maximum angle is close to 90 °, and the other angles are obtained by dividing the angle approximately equally. It is desirable to obtain an incident surface. Therefore, an appropriate threshold value is set for the angle of the optical axis in accordance with the number of viewpoints of the captured image used for analysis. Alternatively, suitability may be determined simply using the position of the viewpoint. In this case, for example, when the distance from the incident surface at the first viewpoint is equal to or greater than the threshold value, it is determined that the viewpoint is appropriate.
  • the viewpoint control unit 60 While the condition that the viewpoint is appropriate is not satisfied (N in S18), the viewpoint control unit 60 continues to guide the viewpoint (S16). When the condition is satisfied (Y in S18), the viewpoint control unit 60 sets the polarization image captured at that time as the second viewpoint image (S20). If images taken from three or more viewpoints are used, the processes of S16 to S20 are repeated. The number of viewpoints of the polarization image used for processing is appropriately set based on required accuracy, processing performance of the information processing apparatus 10, time allowed for processing, and the like.
  • the point-of-interest information acquisition unit 64 acquires an incident surface at the same point of interest using a polarization image photographed from the second viewpoint, and obtains an intersection line with the incident surface with respect to the first viewpoint. Then, a normal vector of the point of interest is derived. Further, the position coordinates of the point of interest are derived by obtaining the intersection of the line-of-sight vectors from each viewpoint toward the point of interest (S22). In this process, the reliability of the normal vector is evaluated according to the situation when the normal vector is derived, the consistency with the surrounding results, and the like, and screening or assigning the reliability is performed as appropriate.
  • the attention point information acquisition unit 64 appropriately associates the normal vector and the position coordinates in the world coordinate system with the reliability for each of the attention points on the subject, and supplies them to the output data generation unit 56.
  • the output data generation unit 56 generates and outputs data representing the result itself or output data obtained by performing processing such as a game or image drawing using the data (S24).
  • the reliability of the data for each point of interest is used to screen the values used for information processing, and the reliability is weighted to affect the processing result. You can adjust.
  • FIG. 9 schematically shows the positional relationship between the viewpoint of the imaging device 12, the point of interest on the subject, and the pixel of interest on the captured image.
  • the image of the point of interest a on the subject 72 is the straight line L connecting the viewpoint 84 of the imaging device 12 and the point of interest a to the captured image. Projected to the intersection b of the plane 80.
  • the plane 80 of the captured image is a plane perpendicular to the optical axis at a position away from the viewpoint 84 in the direction of the optical axis O by the focal length f, and its size is determined by the viewing angle of the imaging device 12.
  • internal parameters of the imaging device 12 such as the focal length f and the viewing angle are acquired in advance.
  • the imaging device information acquisition unit 53 acquires the position and orientation of the imaging device 12
  • the position coordinates of the viewpoint 84 and the direction of the optical axis O are known. Accordingly, the plane 80 of the captured image can be defined in the world coordinate system.
  • the point of interest is obtained by giving the point projected on the plane 80 of the captured image, that is, the position coordinate of the pixel of interest b.
  • a straight line L where a can exist is uniquely determined in the world coordinate system.
  • a vector from the viewpoint 84 of the imaging device 12 toward the point of interest a is referred to as a line-of-sight vector.
  • the phase angle ⁇ and the polarization degree ⁇ are obtained for each pixel on the plane 80 from Equation 1 and Equation 2 based on the orientation dependency of the polarization luminance. If a point where the degree of polarization ⁇ is larger than a predetermined threshold is selected as the pixel of interest b, the specular reflection model is applied to obtain the angle ⁇ -90 ° of the incident surface 85 from the phase angle ⁇ .
  • the incident surface 85 is a plane including the line-of-sight vector L and the normal vector n at the point of interest a. Since the plane 80 of the captured image is obtained in the global coordinate system, the incident surface 85 is also defined in the world coordinate system.
  • FIG. 10 schematically shows how the normal of the point of interest is acquired from the incident surface corresponding to a plurality of viewpoints.
  • the viewpoints of the imaging devices 12a and 12b are defined as a first viewpoint and a second viewpoint, respectively.
  • the incident surface 86a obtained with respect to the point of interest a on the subject 72 includes a line-of-sight vector L1 toward the point of interest a and a normal vector n of the point of interest a. If the imaging device 12 is moved to the second viewpoint and the incident surface 86b is obtained in the same manner, the normal vector n coincides with the intersection line of the incident surfaces 86a and 86b. Further, the intersection of the line-of-sight vector L2 and the line-of-sight vector L1 from the first viewpoint coincides with the point of interest a.
  • the viewpoint control unit 60 presents information related to an appropriate viewpoint movement direction and a direction in which the lens faces to the user.
  • FIG. 11 shows an example of a screen displayed on the display device 16 via the output data generation unit 56 in order for the viewpoint control unit 60 to guide the viewpoint of the imaging device 12.
  • Each of the rectangles shown in (a), (b), (c), and (d) represents a screen that is displayed at the timing of shooting from the first viewpoint, and is shot from the first viewpoint as a base. An image is shown. In this example, a spherical subject 90 is photographed. The figure also shows a state in which the pixel of interest 92 is set on the image of the subject 90, but it may not actually be displayed.
  • the viewpoint control unit 60 guides the viewpoint so that the target pixel 92 set in the captured image of the first viewpoint does not deviate from the field of view and the angle formed by the incident surfaces approaches 90 °. .
  • a circle mark 96 surrounding the pixel of interest 92 and arrows 94a and 94b directed left and right starting from the circle are superimposed on the captured image.
  • the direction of the arrow is a direction away from the incident surface at the first viewpoint, and is not necessarily the left-right direction as illustrated.
  • the state of the object space captured by the imaging device 12 the superimposed arrow, and the like are continuously displayed.
  • the circle 96 indicating the pixel of interest may be made to appear to be attached to the subject 90 by moving in the direction opposite to the movement of the viewpoint of the imaging device 12.
  • the movement of the viewpoint can be specified based on the position and orientation information of the imaging device 12 acquired by the imaging device information acquisition unit 53.
  • the arrow in the corresponding direction may be shortened, for example, so that the user can recognize the fact.
  • feature points such as a pattern 98 actually present on the subject are used. That is, when the pixel of interest 92 is set, a feature point having a size that can be visually recognized by the user and a color difference from the surroundings in the moving direction to an appropriate viewpoint in the vicinity thereof is detected.
  • a general edge detection technique or pattern matching technique can be used for extraction. Then, for example, a guidance such as “Please move the camera so that the yellow star-shaped pattern comes to the center of the front” is indicated by a character string or voice to guide the viewpoint toward the detected feature point.
  • An arrow pointing to the feature point may be superimposed and displayed. Accordingly, during the period in which the user moves the imaging device 12, the state of the subject space captured by the imaging device 12 is continuously displayed. Thereby, the user can adjust the viewpoint while confirming the actual angle.
  • a mark is placed on the subject on the spot, and this is used as a feature point. That is, when the pixel of interest 92 is set, a graphic indicating a position separated by a predetermined length in the moving direction to an appropriate viewpoint is superimposed and displayed with a character string or voice to mark the position on the subject surface. .
  • a balloon 100 representing a character string “Please stick a sticker here” is superimposed and displayed.
  • a thin object having a small influence on the shape of the subject such as paper or a sticker of a color, shape, or size that can be easily distinguished from the surroundings, is prepared separately.
  • a mark may be directly written on the subject with a pen that can be erased later.
  • the guidance such as "Please move the camera so that the sticker is in the center of the front" is indicated by a character string or voice, and the viewpoint is guided toward the mark. .
  • the state of the object space captured by the imaging device 12 is continuously displayed.
  • the example shown in the figure is an instruction to put a sticker in one place, but by specifying both of the two directions of movement to the appropriate viewpoint, the user can select the one that is convenient for marking. It may be.
  • a light irradiation device 102 such as a laser pointer that can be controlled by the viewpoint control unit 60 is prepared in real space, and light is irradiated to a position separated by a predetermined length in the moving direction to an appropriate viewpoint. To do.
  • an irradiation pattern 104 is formed on the subject.
  • guidance such as “Please move the camera so that the irradiation pattern comes to the front center” is indicated by a character string or a voice to guide the viewpoint toward the irradiation pattern 104.
  • the viewpoint control unit 60 performs on / off of the irradiation device and adjustment of the irradiation position.
  • an irradiation device may be provided on the imaging apparatus 12 side, and the viewpoint control unit 60 may control this.
  • the point-of-interest information acquisition unit 64 represents the same point of interest on the subject in the polarization images from a plurality of viewpoints, as shown in FIG.
  • the incident surface is obtained based on the orientation dependency of the polarization luminance.
  • the point-of-interest information acquisition unit 64 searches the correct pixel of interest on the captured image from the second viewpoint by repeating the derivation of the normal vector.
  • FIG. 12 is a flowchart showing a processing procedure in which the point-of-interest information acquisition unit 64 acquires subject state information in S22 of FIG.
  • the point-of-interest information acquisition unit 64 projects the line-of-sight vector L1 from the first viewpoint to the point of interest on the captured image plane of the second viewpoint.
  • the line-of-sight vector L is uniquely determined in the three-dimensional space.
  • the image plane 80b for the second viewpoint is obtained from the position and orientation of the imaging device 12b at that time.
  • the line-of-sight vector L1 from the first viewpoint can be represented as a straight line on the image plane 80b of the second viewpoint.
  • FIG. 13 schematically shows a state in which the line-of-sight vector L1 from the first viewpoint is projected onto the image plane of the second viewpoint.
  • the point of interest on the subject is at any position on the line-of-sight vector L1 from the first viewpoint. Accordingly, the point-of-interest information acquisition unit 64 searches for a correct target pixel on a straight line obtained by projecting the line-of-sight vector L1 onto the image plane 80b of the second viewpoint.
  • the phase angles ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 are obtained from the azimuth dependency of the polarization luminance, as indicated by the arrows in the angle direction.
  • the point-of-interest information acquisition unit 64 sets a certain pixel on a straight line projected from the line-of-sight vector L1 as a target (S32), and obtains the degree of polarization ⁇ using Equations 1 and 2 based on the polarization luminance at that position. (S34).
  • S12 of FIG. 8 when the pixel of interest is set for the image of the first viewpoint, a pixel in which specular reflection is dominant is selected. Since the degree of polarization depends on the zenith angle, when the second viewpoint is mainly changed in the azimuth direction, the degree of polarization is considered to be equal to or greater than a predetermined value even in the pixel of interest in the image of the second viewpoint. Therefore, the pixel whose polarization degree ⁇ is smaller than the threshold value is not a corresponding pixel, and no further calculation is performed (N in S36).
  • next pixel is set again on the projected straight line, and the degree of polarization is similarly evaluated (S32 to S36).
  • the “next pixel” may be a pixel adjacent on the projected straight line, or may be a pixel having a predetermined interval as shown in FIG.
  • the threshold value used as the determination criterion in S36 may be the same as or different from the threshold value used when the target pixel is set for the first viewpoint image in S12 of FIG.
  • the phase angle ⁇ is obtained by Equation 1
  • the angle of the incident surface is calculated by the specular reflection model, and the incident surface obtained with respect to the first viewpoint is obtained.
  • the normal vector n is estimated as shown in FIG. 10 (S38). However, at this stage, it is not known whether the incident surface at the point of interest is obtained correctly. Therefore, the reliability of the obtained normal vector is evaluated based on the relationship between the polarization degree and the zenith angle (S40).
  • the degree of polarization theoretically obtained from the zenith angle determined by the estimated normal vector is compared with the degree of polarization actually obtained from Equation 1 and Equation 2, and if it is concluded that there is no contradiction, it is estimated. It is determined that the normal vector is correct (Y in S40).
  • the point-of-interest information acquisition unit 64 calculates the reliability for the normal vector (S42), associates them with each other, and records them in the main memory (S44).
  • the “reliability” may be a function that becomes larger as the difference between the theoretical degree of polarization and the actual degree of polarization obtained in the determination process of S40 is smaller, or from a viewpoint different from the degree of polarization. You may calculate newly.
  • the reliability is calculated based on the dispersion of normal vectors obtained for the points of interest within a predetermined range.
  • the refractive index ⁇ of the subject is obtained by substituting the zenith angle ⁇ determined by the normal vector and the degree of polarization ⁇ determined by Equation 2 into Equation 3, and the reliability is calculated based on the dispersion.
  • the estimated normal vector is not correct. If not, the next pixel is set again on the projected straight line and the same processing is repeated (S32 to S40). If the degree of polarization is inconsistent in all the pixels on the projected straight line, such as when the second viewpoint is not appropriate, the processing may be terminated at that point (not shown). According to the above processing, the true pixel of interest in the image plane of the second viewpoint corresponding to the point of interest on the subject and the normal vector of the point of interest are irrespective of the position of the point of interest in the world coordinate system. Can be determined at the same time.
  • a pixel having a maximum reliability or a threshold value or more is extracted, and pixels within a predetermined range centered on that location are extracted.
  • Sampling at a higher density may be used to evaluate the reliability again.
  • the number of times the processing is repeated by changing the density of the pixels to be sampled may be fixed, or the distribution of reliability is statistically processed, and the number of times that the probability of obtaining higher reliability than the previous time is greater than or equal to a predetermined value is adaptive You may decide to. Also in this case, the normal vector showing the highest reliability is selected and recorded through the processing.
  • a line with high reliability is selected as the normal vector from the intersection lines of the incident surfaces from the two viewpoints.
  • the correct target pixel in the second viewpoint image is determined.
  • the second line-of-sight vector L2 that goes from the second viewpoint through the target pixel toward the target point on the subject. Therefore, as shown in FIG. 10, by obtaining the intersection point with the line-of-sight vector L1 of the first viewpoint, the position coordinates in the world coordinate system of the point of interest a on the subject are further obtained and recorded in the main memory or the like in S44. Also good.
  • the variance of the position coordinates may be used as the reliability calculated in S42. In this case as well, it is only necessary to derive an increase amount of variance based on the newly obtained position coordinates and calculate the reliability with a function that decreases as the increase amount increases.
  • N is a natural number of 2 or more
  • the illustrated flowchart is repeated N-1 times.
  • N-1 normal vectors are basically obtained for one point of interest, normal vectors having the highest reliability, average vectors thereof, or statistical processing are used. Let a vector etc. be a final normal vector.
  • FIG. 14 is a diagram for explaining a method of evaluating the reliability of the normal vector using the relationship between the zenith angle and the polarization degree in S40 of FIG.
  • a graph 138a indicated by a dotted line in (a) shows the relationship between the zenith angle of the specular reflected light and the degree of polarization shown in (a) of FIG.
  • the change is as shown in the graph 138a.
  • the polarization degree of the graph 138a has a predetermined ratio ⁇ as shown in the graph 138b. The change is obtained by multiplying (0 ⁇ ⁇ 1).
  • the ratio ⁇ is first calculated as follows using the zenith angle ⁇ 1 determined by the estimated normal vector and the line-of-sight vector L1 of the first viewpoint.
  • ⁇ ⁇ ob_1 / ⁇ th_1
  • [rho Th_1 is the actual polarization degree polarization
  • ⁇ ob ( ⁇ ) ⁇ * ⁇ th ( ⁇ )
  • the point-of-interest information acquisition unit 64 may conclude that a normal vector having a consistent degree of polarization is obtained, and may conclude that the normal vector is a true value, or a function that increases as ⁇ decreases as a normal.
  • the vector reliability may be calculated and associated with the normal vector, and the normal vector having the maximum reliability may be selected at a later timing.
  • the selected normal vector may be associated with the reliability and recorded in the main memory or the like.
  • FIG. 15 is a diagram for explaining another example of the technique for evaluating the reliability of the normal vector using the relationship between the zenith angle and the polarization degree in S40 of FIG.
  • the magnitude relation between the zenith angles ⁇ 1 and ⁇ 2 of the normal vector with respect to the first and second viewpoints and the magnitude relation of the degree of polarization are used. That is, for the estimated normal vector, the position coordinates ( ⁇ 1, ⁇ ob — 1 ) on the graph 138b representing the degree of polarization are uniquely determined by the zenith angle ⁇ 1 obtained from the first viewpoint.
  • the polarization degree graph 138b is divided into a monotonically increasing region A and a monotonically decreasing region B with the maximum point as a boundary.
  • the degree of polarization ⁇ increases or decreases as the zenith angle ⁇ increases.
  • the degree of polarization ⁇ est_2 with respect to the zenith angle ⁇ 2 is the degree of polarization of the first viewpoint. Should be smaller than ⁇ ob — 1 .
  • the reliability of the normal vector can be evaluated from the magnitude relationship between the zenith angle and the degree of polarization without strictly obtaining the function of the degree of polarization as shown in FIG.
  • the degree of polarization correctly increases or decreases with respect to the change in the zenith angle may be used as an evaluation criterion, and the amount of increase / decrease in the degree of polarization may be evaluated.
  • the former qualitative evaluation is suitable when there is a lot of noise in the observation system and the accuracy of values such as the zenith angle and the degree of polarization is relatively low.
  • the latter quantitative evaluation is suitable when the accuracy of values such as the zenith angle and the degree of polarization is relatively high, and a strict evaluation can be performed.
  • 1 / c is a fixed coefficient.
  • the reliability r is a function that linearly decreases when 0 and the difference d is 0, and becomes 0 when c or more. Therefore, c is given an appropriate value in advance as a threshold value of the difference d when the reliability is 0.
  • FIG. 16 is a diagram for explaining the validity of using the degree of polarization for reliability evaluation of normal vectors in the present embodiment.
  • an image is taken from the first viewpoint, and the second viewpoint is guided in a direction away from the incident surface at the point of interest a so that the point of interest a does not deviate from the field of view.
  • the viewpoint moves along a locus close to the circumference of the bottom surface of the cone 140 with the point of interest a as the apex, the zenith angle as the half apex angle, and the normal vector n as the axis.
  • the zenith angle ⁇ does not change greatly.
  • the degree of polarization does not change greatly. Therefore, selecting a point of interest having a degree of polarization greater than the threshold has the effect of being able to efficiently extract pixels representing the same point of interest even when the viewpoint moves, in addition to the effect of applying a specular reflection model.
  • the zenith angle ⁇ does not change greatly, as shown in FIG. 15, even if the viewpoint moves, the degree of polarization is likely to be within a monotonically increasing region or a monotonically decreasing region. Therefore, the reliability of the normal vector can be appropriately evaluated based on the magnitude relationship and difference of the polarization degree.
  • the normal vector and position coordinates can be specified only from the polarization image even if there is no feature point such as a pattern on the surface of the subject.
  • a point where a feature point exists is selected as a point of interest, the position where the point of interest appears in the captured image of each viewpoint can be specified, and thus the processing can be simplified. That is, as shown in FIG. 13, it is possible to specify the pixel of interest accurately from the feature point image without searching for the pixel of interest on a straight line formed by projecting the line-of-sight vector at the first viewpoint. Therefore, if an incident plane is obtained for the pixel of interest in the captured image of the second viewpoint, a normal vector can be obtained from an intersection line of the incident planes of the first and second viewpoints.
  • the position coordinates of the target point in the world coordinate system can be obtained from the intersection of the first and second line-of-sight vectors.
  • the position coordinates of the target point can be directly obtained without obtaining the normal vector.
  • the angle of the incident surface at each viewpoint is obtained from the phase angle ⁇ of Equation 1.
  • the incident surface may be obtained by utilizing the fact that the degree of polarization depends only on the zenith angle ⁇ .
  • FIG. 17 is a diagram for explaining a method of specifying the incident surface based on the change in the degree of polarization with respect to the zenith angle ⁇ . As described above, the image of the point of interest a on the subject 72 is determined even if the viewpoint of the imaging device 12 changes.
  • a direction in which the change rate of the zenith angle ⁇ a is the largest is searched. That is, the position and orientation of the imaging device 12a are changed in various ways, and the direction in which the amount of change in the degree of polarization with respect to the change in the unit angle of the line-of-sight vector is acquired is acquired.
  • the plane including the moving direction of the viewpoint and the point of interest a at this time is the incident plane 142a.
  • the “first viewpoint” in this case may select one point in the movement direction.
  • the imaging device 12b is variously changed, and the plane including the moving direction of the viewpoint and the point of interest a when the rate of change in the degree of polarization is the largest is the incident surface 142b.
  • the viewpoint control unit 60 presents the moving direction to the user with images and sounds as illustrated in FIG. Just guide.
  • the incident surface may also be acquired by Equation 1 and integrated with the result of the incident surface obtained from the rate of change in the degree of polarization. For example, the average of both may be used as the true incident surface angle.
  • the method of deriving it may be different for each incident surface.
  • the incident plane may be obtained from the phase angle ⁇ for the first viewpoint, and the incident plane may be obtained from the rate of change in the degree of polarization for the other viewpoints.
  • the specular reflection model is applied to the aspect described so far by targeting a pixel of interest having a polarization degree equal to or higher than a threshold value.
  • the present embodiment can be applied to light in which diffuse reflection is dominant by utilizing the difference in the behavior of the polarization degree with respect to the change in the zenith angle ⁇ . For example, when the viewpoint is moved so that the zenith angle ⁇ changes as shown in FIG. 17, if the rate of change in the polarization degree does not exceed a predetermined value in any direction, the light with dominant diffuse reflection is observed. It is thought that.
  • the specular reflection model is introduced for the subsequent calculation by setting the pixel whose polarization degree is above the threshold as the target pixel. You can do it.
  • the phase angle can be obtained with high accuracy. As a result, the angle of the incident surface with respect to the target point on the subject represented by the target pixel can be acquired with high accuracy.
  • the viewpoint by moving the viewpoint in an appropriate direction based on the incident surface obtained for a certain viewpoint and photographing the same point of interest on the subject, a plurality of incident surfaces are obtained, and the point of interest is determined from the intersection line.
  • the line-of-sight vector from the first viewpoint to the point of interest is projected onto the image plane of the second viewpoint, and a position where a normal vector with high reliability is obtained on the straight line is searched. Further, the position coordinate of the point of interest is acquired in the world coordinate system by the intersection of the line-of-sight vector from the second viewpoint to the position and the line-of-sight vector from the first viewpoint to the point of interest. As a result, even when there is no feature point at the point of interest on the subject and the position of the point of interest is unknown, it is possible to obtain subject state information in the world coordinate system.
  • This embodiment uses the relationship between the zenith angle of the normal vector of the subject and the degree of polarization, so it is highly robust against changes in the brightness of the imaging environment due to the brightness of the shooting environment and the viewpoint position, shadow, etc. To obtain information on the subject.
  • a technique such as Non-Patent Document 1 that performs image analysis using the Brewster angle as a parameter by obtaining detailed information for a region with a high degree of polarization, that is, near the Brewster angle where the reflectance of p-polarized light is 0 It can be applied to further image analysis.
  • 10 information processing device 12 imaging device, 16 display device, 23 CPU, 24 GPU, 26 main memory, 50 captured image acquisition unit, 52 image data storage unit, 53 imaging device information acquisition unit, 54 subject information acquisition unit, 56 output Data generation unit, 60 viewpoint control unit, 64 point of interest information acquisition unit.
  • the present invention can be used for various information processing devices such as game devices, portable terminals, surveillance camera systems, in-vehicle camera systems, and inspection devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置の着目点情報取得部は、撮像装置１２ａの視点から撮影された偏光画像を用いて、被写体７２上の着目点ａにおける、当該視点に対する入射面８６ａを取得する。視点制御部は、入射面８６ａとのなす角度が好適に得られるように撮像装置の移動方向を決定しユーザに提示する。移動後の撮像装置１２ｂの視点が適切と判定されたら、撮影された偏光画像を用いて着目点ａにおける入射面８６ｂを取得し、入射面８６ａとの交線を着目点ａの法線ベクトルｎとする。

Description

情報処理装置および被写体情報取得方法
　本発明は、撮影画像を利用して被写体の状態を取得する情報処理装置および被写体情報取得方法に関する。
　従来、撮影画像を解析することにより、被写空間にある物体を認識したり、位置や姿勢を検出したりする技術は、ゲームなどの電子コンテンツ、物体や空間のモデリング、監視カメラなど様々な分野で利用されている。撮影画像における被写体の２次元の情報から位置や姿勢など３次元の情報を得る技術として様々な手法が研究されており、例えば偏光画像を用いて物体表面の法線を求める技術が提案されている（例えば非特許文献１、２参照）。
Jeremy Riviere, et al. "Polarization imaging reflectometry in the wild", Technical Report 2016/8, Department of Computing. Imperial College London, ISSN 1469-4174, May 2016. Zhaopeng Cui, et al. "Polarimetric Multi-View Stereo", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
　偏光を利用した画像解析は一般に、偏光方位に対する輝度の変化に着目するため、周囲の明るさや被写体表面の特徴点の有無などに対し高い頑健性を有する。一方で、観測される光には鏡面反射と拡散反射という反射の態様が異なる光が含まれるため、用いるモデルの適性によっては演算の精度が悪化し得る。
　そのため、ステレオカメラや赤外線照射により別途求めた被写体までの距離情報と組み合わせて補助的に用いたり、反射の態様が既知の材質を対象としたりするなど、適用シーンが限定されやすい。材質や法線など未知のパラメータを仮定して観測される光を計算し、実際の観測結果に合致するようにそれらのパラメータを導出するインバースレンダリングといった手法も提案されているが、処理の負荷が大きく、特に応答性が求められる状況においては不利となる。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、偏光画像を用いて被写体の情報を容易に取得できる技術を提供することにある。
　本発明のある態様は情報処理装置に関する。この情報処理装置は、撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得する撮影画像取得部と、撮像装置の位置および姿勢に係る情報を視点の情報として取得する撮像装置情報取得部と、被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得し出力する着目点情報取得部と、第１の視点に対し得られた入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に入射面を導出する第２の視点として決定する視点制御部と、を備えたことを特徴とする。
　本発明の別の態様は被写体情報取得方法に関する。この被写体情報取得方法は情報処理装置が、撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得するステップと、撮像装置の位置および姿勢に係る情報を視点の情報として取得するステップと、被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得するステップと、第１の視点に対し得られた入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に入射面を導出する第２の視点として決定するステップと、着目点の状態情報を出力するステップと、を含むことを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
　本発明によると、偏光画像を用いて被写体の位置や姿勢の情報を容易に取得できる。
本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態で利用する偏光画像の撮影環境を模式的に示す図である。 本実施の形態で利用する偏光方位に対する輝度の変化を例示する図である。 法線ベクトルの天頂角に対する偏光度の変化を、鏡面反射と拡散反射で比較する図である。 本実施の形態の撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態において、情報処理装置が偏光画像を用いて被写体の状態情報を取得する処理手順を示すフローチャートである。 本実施の形態における撮像装置の視点、被写体上の着目点、および撮影画像上の着目画素の位置関係を模式的に示す図である。 本実施の形態において、複数の視点に対応する入射面から着目点の法線を取得する様子を模式的に示す図である。 本実施の形態において、視点制御部が撮像装置の視点を誘導するために、出力データ生成部を介して表示装置に表示させる画面の例を示す図である。 図８のＳ２２において着目点情報取得部が被写体の状態情報を取得する処理手順を示すフローチャートである。 本実施の形態において、第２の視点の画像平面に第１の視点からの視線ベクトルを射影した様子を模式的に示す図である。 図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法を説明するための図である。 図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法の別の例を説明するための図である。 本実施の形態において偏光度を法線ベクトルの信頼度評価に利用する妥当性を説明するための図である。 本実施の形態において天頂角θに対する偏光度の変化に基づき入射面を特定する手法を説明するための図である。
　図１は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
　情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。カメラの場合、表示装置１６は電子ファインダーとしてもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。
　このようなシステムにおいて情報処理装置１０は、撮像装置１２が撮影した偏光画像のデータを取得し、被写体８上の着目点の法線および３次元空間での位置の少なくともいずれかを特定する。そして、その結果に基づき画像や音声のデータを生成し表示装置１６に出力する。被写体８上の着目点は１つでもよいし複数でもよい。たとえば被写体８上に所定値以上の密度で着目点を設定し、それぞれの位置を求めれば、被写体８の形状を特定することができる。
　そのうえで、いずれかの着目点における法線を所定の頻度で求めれば、当該被写体８の姿勢の変化を取得できる。当然、全ての着目点について位置を取得しつづければ、被写体８の姿勢の変化や移動先を取得できる。以後、着目点の法線および位置、被写体の形状および姿勢を「被写体の状態情報」と総称する場合がある。偏光画像を用いて取得した被写体の状態情報に基づき、情報処理装置１０が出力するデータの内容は限定されない。
　例えば得られた状態情報自体を表すデータを出力してもよいし、それらを統合し被写空間の環境マップを生成し出力してもよい。あるいはそのような状態情報を利用して別途情報処理を実施し、その結果を画像や音声として出力してもよい。例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、その動きをユーザ操作として認識することで、電子ゲームや任意の情報処理を進捗させてもよい。
　あるいは被写体８を含む被写空間を仮想オブジェクトに置換して仮想世界を表したり、被写体８とインタラクションする仮想オブジェクトを撮影画像上に描画したりしてもよい。実世界を仮想オブジェクトとしてモデル化することにより、ユーザの視線に対応する視野で描画した仮想世界をヘッドマウントディスプレイに表示させてもよい。偏光画像を用いて取得した被写体の状態情報を一旦、記憶装置などに格納しておき、後のタイミングで別の情報処理に利用してもよい。表示画像として自然光の撮影画像を用いる場合、撮像装置１２は自然光の画像も撮影し、情報処理装置１０に供給する。
　図２は、本実施の形態で利用する偏光画像の撮影環境を模式的に示している。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源７４から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱されてなる拡散反射成分で構成される反射光のうち、直線偏光板７０を透過した偏光を観測する。
　ここで直線偏光板７０は、被写体７２から撮像装置１２へ到達する反射光のうち、ある方向（「偏光方位」と呼ぶ）に振動する直線偏光のみを透過する。直線偏光板７０を面に垂直な軸周りに回転させれば、偏光方位を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、偏光方位に対し観測される輝度に変化が生じる。
　被写体７２上の着目点ａの像として観測される光は、その位置での被写体７２の法線ベクトルｎを含む入射面７６内での反射光である。鏡面反射は入射面７６に垂直な方向に振動する、いわゆるｓ偏光が支配的であり、拡散反射は入射面７６に平行な方向に振動する、いわゆるｐ偏光が支配的であることが知られている。またｓ偏光とｐ偏光の割合は、入射面７６において、法線ベクトルｎと観測される光線のなす角度θ（「天頂角」と呼ぶ）に依存する。
　このため偏光の度合いすなわち偏光度や偏光位相は、撮像装置１２の視点と着目点ａでの法線ベクトルｎとの関係により定まる入射面７６および天頂角θと、鏡面反射および拡散反射の割合に依存して変化する。還元すれば、鏡面反射と拡散反射の割合を想定したうえで、直線偏光板７０を回転させ、偏光方位に対する輝度の変化を取得することにより、撮像装置１２から見た法線ベクトルｎを推定することができる。なお以後の説明で「入射面を求める」とは、入射面の角度を撮影画像平面あるいは３次元空間で求めることを意味する。また撮像装置１２の「視点」とは、撮像装置１２のレンズ中心の位置に加え、レンズの方向も含み得る。
　図３は、偏光方位φに対する輝度Ｉの変化を例示している。同図上段は鏡面反射が支配的な場合、下段は拡散反射が支配的な場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｓと、拡散反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｄには９０°の差がある。これは上述したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。
　ｓ偏光が入射面に垂直、ｐ偏光が入射面に平行な振動であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ－９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の角度を表す。法線ベクトルｎは常に入射面に含まれるため、当該角度は、法線ベクトルｎを撮影画像平面に射影したベクトルの角度を表す。この角度は一般的に、法線ベクトルｎの方位角と呼ばれる。当該方位角に加え、入射面での天頂角を求めることにより、撮像装置１２から見た３次元空間での法線ベクトルが一意に定まる。以後、観測される偏光の輝度が最大となるときの偏光方位を位相角ψと呼ぶ。図３で示す輝度Ｉの変化は、位相角ψを用いて次の式で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　直線偏光板７０を回転させ複数の偏光方位φに対し観測される輝度を、最小二乗法等を用いて式１の形式に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、ψを求めることができる。そのうちＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
Figure JPOXMLDOC01-appb-M000002
　図４は、法線ベクトルの天頂角に対する偏光度の変化を、鏡面反射と拡散反射で比較している。上段に示す鏡面反射の場合、偏光度は最大で１．０までの値をとるのに対し、下段に示す拡散反射の偏光度は、最大でも０．４程度である。上述のとおり位相角ψに対する入射面の角度は、鏡面反射と拡散反射のどちらが支配的であるかによって９０°異なる。すなわち偏光方位に対する輝度の変化を式１のように表し位相角ψを求めても、入射面には９０°の不定性が生じる。
　そこで本実施の形態では、偏光度に対ししきい値Ｔｈρを設定し、それ以上の偏光度を有する点を選択して着目点とすることにより、鏡面反射モデルに基づき法線ベクトルを特定する。すなわち偏光度がしきい値Ｔｈρ以上の偏光の輝度の、偏光方位に対する振る舞いを式１の形式に近似し、当該輝度が最小となる偏光方位（ψ－９０°）を入射面の角度とする。なお鏡面反射光の偏光度ρｓは、天頂角θと被写体の屈折率ηの関数として次の式で表せる。
Figure JPOXMLDOC01-appb-M000003
　図示した偏光度は、屈折率ηが１．６の場合を代表的に表している。一般的な人工物の屈折率はおよそ１．５～１．６程度で大きく変化しないため、しきい値Ｔｈρを被写体によらず一定としても差し支えない。ただし被写体の材質に応じてしきい値Ｔｈρを厳密に設定してもよい。また本実施の形態では後述するように、天頂角に対する鏡面反射の偏光度の変化を、推定した法線ベクトルの信頼度の評価においても利用する。この場合も、屈折率ηに対し偏光度の傾向が大きく変化しないことを利用し、被写体によらず同様の演算で評価を行うことができる。一方で、被写体の材質によって偏光度を厳密に求め、それを評価に用いてもよい。
　式３の関係を利用すると、入射面内での法線ベクトルの角度すなわち天頂角θを、偏光度ρから導出できることになる。しかしながらこのようにして得た法線ベクトルの方位角および天頂角は、撮像装置１２の視点を基準としたものに過ぎない。また当該情報のみから、着目点のワールド座標系での位置座標を得ることはできない。そのため偏光画像を用いた解析は一般に、別の測定系を用いて求めた、撮像装置１２から被写体までの距離値の補間や、位置が判明している被写体の姿勢の変化の特定などに、補助的に利用されることが多い。
　一方、本実施の形態では、撮像装置１２の視点を自由に変化させ、そのうち少なくとも２視点からの偏光画像を解析することにより、同じ着目点に対し入射面を複数取得する。そして当該視点ごとの入射面の情報を、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得する。具体的には、どの入射面にも法線ベクトルが含まれていることから、少なくとも２つの入射面の交線から、ワールド座標系での法線ベクトルを求める。
　ここで、法線ベクトルと視点の位置関係による定まる天頂角と偏光度との関係に基づき、得られた法線ベクトルの信頼度を評価する。さらに１つの着目点が当該２視点からどの方向にあるかを特定することで、着目点のワールド座標系での位置座標を取得する。結果として、偏光画像のみを用いて被写体の状態情報をワールド座標系で取得できる。
　なお本実施の形態において、偏光輝度を観測する手段は直線偏光板に限らない。例えば撮像素子構造の一部として偏光子の層を設けてもよい。図５は、本実施の形態の撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。
　ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。
　ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過する偏光方位が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の偏光子の領域を表しており、点線自体は実際に形成されるものではない。
　図示する例では、４方向の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過方向が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
　同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
　また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。
　偏光輝度の方位依存性を式１の形式に近似する場合、同じ着目点に対し少なくとも３方位の偏光輝度が必要となる。図示する撮像素子によれば、被写体上の略同一の位置に対し４方位の偏光輝度が同時に得られるためこの条件を満たすが、直線偏光板７０と比較し方位の自由度が少なく、場合によっては近似式が大きな誤差を含み得る。しかしながら本実施の形態では、上述のとおり偏光度がしきい値Ｔｈρ以上の点を処理対処とする。つまりＩｍａｘとＩｍｉｎの差が大きい点のみを演算の対象とすることにより、限定的な方位の偏光でも近似式が誤差を含みにくく、位相角ψ、ひいては被写体の状態情報を、精度よく求めることができる。
　図６は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
　ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
　図７は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図６で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各種回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮像装置１２の位置および姿勢の情報を取得する撮像装置情報取得部５３、撮影画像に基づき被写体の法線や形状に係る情報を取得する被写体情報取得部５４、および、被写体の状態情報に基づき出力すべきデータを生成する出力データ生成部５６を含む。
　撮影画像取得部５０は図６の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から、複数の視点から撮影された偏光画像を含む画像のデータを取得する。このとき偏光画像として、１視点当たり少なくとも３方位の偏光輝度の画像を取得する。上述のとおり複数方向の偏光子を含む偏光子層を設けたイメージセンサを導入した場合は特に、複数方位の情報を含む偏光画像を画像フレームとする動画像データを取得してもよい。このとき、連続して視点を移動させつつ撮影された動画像のデータを取得してもよい。
　または２つ以上の視点で個別に撮影された静止画のデータを取得してもよい。あるいは撮像装置１２を、異なる視点が得られるように固定された複数のカメラとし、各カメラが撮影した静止画や動画のデータを取得してもよい。表示装置１６への表示に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、撮影画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。撮影画像取得部５０は、取得した撮影画像のデータを画像データ記憶部５２に格納する。
　なお１つの画像フレームが複数方位の偏光情報を含む場合、撮影画像取得部５０は、偏光方位ごとに画素値を分離し、適宜補間することにより複数方位の偏光画像を生成したうえ画像データ記憶部５２に格納する。撮像装置情報取得部５３は図６の入力部３８、ＣＰＵ２３などで実現され、少なくとも偏光画像が撮影されたタイミングにおける、実空間での撮像装置１２の位置および姿勢を取得する。典型的には撮像装置１２が備えるモーションセンサが計測する、加速度、角速度などの計測値に基づき、撮像装置１２の位置および姿勢を所定の時間ステップで導出する。
　あるいは撮影画像取得部５０が取得した撮影画像に基づき、ＳＬＡＭ（Simultaneous Localization and Mapping）などの画像解析技術により撮像装置１２の位置や姿勢を導出してもよい。これらの技術は広く知られているため説明は省略する。被写体情報取得部５４は図６のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納された偏光画像のデータおよび、撮像装置情報取得部５３が取得した撮像装置１２の位置および姿勢の情報を用いて、被写体上の着目点の法線ベクトルおよび位置座標を、ワールド座標系において取得する。被写体情報取得部５４は、着目点の集合体を被写体の表面とすることで、被写体の形状や姿勢も取得してよい。
　より詳細には被写体情報取得部５４は、視点制御部６０および着目点情報取得部６４を含む。視点制御部６０は、撮像装置１２の位置および姿勢の情報を用いて、偏光画像が好適な視点から撮影されるように制御する。ユーザが把持したり装着したりして撮像装置１２を動かす態様においては、ある視点において撮影された偏光画像を基準として定めたうえ、以降の撮影における視点の移動方向をユーザに通知する。通知は出力データ生成部５６を介して表示装置１６に画像として表示させたり、音声として出力させたりすることで行う。
　本実施の形態では上述のとおり、複数の視点に対し得られた入射面や着目点までの視線を利用して、法線や位置座標をワールド座標系で導出する。このとき、一方の視点の入射面に対し他方の視点が離れているほど、算出結果が誤差を含みにくくなる。したがって視点制御部６０は、着目点が視野から外れないことを条件に、前の視点に対する入射面から離れる方向に、ひいては入射面が９０°に近づく方向に、視点を誘導する。そして適切な視点が得られた時点で撮影された偏光画像を解析対象とする。このとき視点制御部６０がシャッタータイミングを通知することにより、ユーザが静止画を撮影してもよいし、一連の動画像データから、適切な視点における画像フレームを視点制御部６０が抽出してもよい。
　なお本実施の形態はユーザが撮像装置１２を動かす態様に限定されず、上述のとおり複数の撮像装置を適切な視点で固定しておいてもよい。あるいは撮像装置１２に、視点制御部６０が位置や姿勢を制御可能な機構を設けてもよい。ただし本実施の形態は、２視点など少ない視点から撮影された画像を用いて被写体の状態情報を取得できるため、ユーザが撮像装置１２を動かす態様としても、大きな手間にはならないうえ導入コストも抑えられる。以後、基準となる偏光画像を撮影したときの視点を「第１の視点」、それに対し解析上、適切な位置関係を有する視点を「第２の視点」と呼ぶ。ただし第２の視点は１つでもよいし２つ以上でもよい。
　着目点情報取得部６４は、第１の視点から撮影された偏光画像に対し着目画素を設定し、当該着目画素における偏光輝度の方位依存性に基づき入射面を取得する。ここで「着目画素」とは、３次元空間での被写体上の着目点を画像平面に射影してなる画素である。すなわちこの処理は、被写体上で着目点を設定し、当該着目点における、第１の視点に対する入射面を決定することに他ならない。着目画素としては上述のとおり、偏光度がしきい値以上の画素を選択する。得られた入射面は、視点制御部６０において第２の視点の制御にも用いられる。
　着目点情報取得部６４はさらに、第２の視点から撮影された偏光画像に対し、被写体上の同じ着目点を表す画素における入射面を取得する。ここで第２の視点から撮影された偏光画像において、第１の視点の画像を用いて設定したのと同じ着目点を表す画素の位置は、明確な特徴点などがない限り未知である。そこで着目点情報取得部６４は、第１の視点から着目点への視線ベクトルを第２の視点の画像平面に射影し、その直線上で被写体の法線ベクトルを取得していく。そして、天頂角と偏光度の関係を利用して各法線ベクトルの信頼度を評価することで、同じ着目点を表す画素を特定する。
　これにより、第２の視点から撮影された画像平面における、対応する着目画素の特定と、着目点における法線ベクトルの取得を同時に行える。なおこれらの処理は、複数の着目点に対し並列に実施してもよい。着目点情報取得部６４は、そのようにして得られた法線ベクトルを所定の基準でさらに評価し、信頼度を付与してもよい。信頼度が所定のしきい値を下回る場合、当該法線ベクトルは出力結果から除外してもよい。あるいは各法線ベクトルに信頼度を対応づけて出力してもよい。
　さらに着目点情報取得部６４は必要に応じて、各視点から画像平面上の着目画素への視線を延長し、その交点を着目点の位置座標として取得する。この場合も、対応する法線ベクトルに対し取得した信頼度に基づき出力対象をスクリーニングしたり、信頼度を対応づけたうえで出力したりする。
　出力データ生成部５６は、図６のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、被写体情報取得部５４が取得した被写体の状態情報、あるいはそれに基づき所定の情報処理を実施した結果を表すデータを生成、出力する。例えば被写空間に存在する実物体を仮想オブジェクトに置換したり実物体とインタラクションする仮想オブジェクトを描画したりする場合、出力データ生成部５６は、そのような運用の初期処理として、実空間をモデル化した環境マップを作成し出力する。このときの出力先はメインメモリ２６などの記憶装置でもよい。
　あるいは被写体情報取得部５４の出力データを利用してゲームなど所定の情報処理を実施し、その結果を表す表示画像や音声のデータを表示装置１６に出力してもよい。このとき出力データ生成部５６は、画像データ記憶部５２に格納された自然光の撮影画像などを適宜利用してよい。実物体の法線や形状を利用して実現できる情報処理が様々に考えられることは、当業者には理解されるところである。
　次に、以上の構成によって実現できる情報処理装置１０の動作について説明する。図８は、情報処理装置１０が偏光画像を用いて被写体の状態情報を取得する処理手順を示すフローチャートである。このフローチャートは、撮像装置１２をユーザが動かして視点を移動させる態様を想定している。また、情報処理装置１０が撮像装置１２と通信を確立して、撮像装置情報取得部５３がその位置や姿勢に係る情報を、撮影画像取得部５０が撮影画像のデータを、逐次取得するのと並行して進捗する。
　被写体情報取得部５４の視点制御部６０はまず、第１の視点の画像のデータを取得する（Ｓ１０）。このとき上述のとおり、ある視点から撮影された静止画をそのまま第１の視点の画像としてもよいし、連続して変化する視点から撮影された動画像のうち、視点制御部６０が抽出した画像フレームを第１の視点の画像としてもよい。
　続いて着目点情報取得部６４は、第１の視点の偏光画像に対し着目画素を設定する（Ｓ１２）。具体的には偏光画像の画素ごとに、偏光輝度の変化を式１に近似したうえ、式２により得られる偏光度の値が、しきい値Ｔｈρ以上の画素を着目画素として選択する。なおそのような画素を全て着目画素とする趣旨ではなく、対象物の像の領域のみを対象としてもよいし、そのうち所定の間隔おきの画素のみを対象としてもよい。あるいは１つの画素のみを着目画素としてもよい。着目画素を１つ設定する場合、しきい値判定の代わりに最大の偏光度が得られた画素を選択してもよい。
　さらに着目点情報取得部６４は、式１の近似により得られる位相角ψから、第１の視点に対する入射面（基準の入射面）を着目画素ごとに求める（Ｓ１４）。偏光度が大きい画素を着目画素としたことにより、入射面の角度は鏡面反射モデルを適用しψ－９０°として得られる。ワールド座標系における第１の視点の情報、すなわち撮像装置１２の位置および姿勢の情報を用いることにより、当該視点に対しψ－９０°を有する平面を、ワールド座標系において定義できる。
　次に視点制御部６０は、第２の視点が適切に得られるように、撮像装置１２の視点を誘導する（Ｓ１６）。ここで適切な視点とは上述のとおり、Ｓ１２で設定した着目画素が表す、被写体上の着目点が視野に入っており、かつ入射面同士のなす角度が十分な視点である。ただしこの時点では、着目点やその像の位置が未知のため、第２の視点に対する入射面を厳密に得ることはできない。そこで例えば、入射面同士のなす角度を、第１の視点における入射面に対する、光軸のなす角度で近似する。
　２つの視点に対応する２つの入射面から法線ベクトルを求める場合、入射面のなす角度は９０°に近いことが望ましい。一方、３つ以上の視点にそれぞれ対応する入射面から法線ベクトルを求める場合は、最大角度をなす２つの入射面の角度が９０°に近く、当該角度をおよそ均等に分割した角度でその他の入射面が得られることが望ましい。したがって、解析に用いる撮影画像の視点の数に応じて、光軸の角度に適切なしきい値を設定しておく。あるいは単に、視点の位置を用いて適性を判定してもよい。この場合は例えば、第１の視点における入射面からの距離がしきい値以上のとき、適切な視点と判定する。
　視点が適切とされる条件を満たしていない間は（Ｓ１８のＮ）、視点制御部６０は視点の誘導を継続する（Ｓ１６）。条件を満たした時点で（Ｓ１８のＹ）、視点制御部６０はそのとき撮影された偏光画像を第２の視点の画像とする（Ｓ２０）。なお３つ以上の視点から撮影された画像を用いる場合は、Ｓ１６～Ｓ２０の処理を繰り返す。処理に用いる偏光画像の視点の数は、求められる精度、情報処理装置１０の処理性能、処理に許容される時間などに基づき適切に設定しておく。
　次に着目点情報取得部６４は、第２の視点から撮影された偏光画像を用いて、同じ着目点における入射面を取得したうえ、第１の視点に対する入射面との交線を求めることにより、着目点の法線ベクトルを導出する。さらに、各視点から着目点へ向かう視線ベクトルの交点を求めることにより、着目点の位置座標を導出する（Ｓ２２）。この処理において、法線ベクトルを導出した際の状況や周囲の結果との整合性などに応じて法線ベクトルの信頼度を評価し、適宜スクリーニングしたり信頼度を付与したりする。
　着目点情報取得部６４は被写体上の着目点ごとに、ワールド座標系での法線ベクトルや位置座標、それに対する信頼度を適宜対応づけ、出力データ生成部５６に供給する。出力データ生成部５６はその結果自体を表すデータ、あるいはそれを利用してゲームや画像描画などの処理を実施してなる出力データを生成し出力する（Ｓ２４）。被写体の状態情報を利用して情報処理を実施する場合、着目点ごとのデータの信頼度を利用して、情報処理に用いる値をスクリーニングしたり、信頼度を重みとして、処理結果に与える影響を調整したりできる。
　図９は、撮像装置１２の視点、被写体上の着目点、および撮影画像上の着目画素の位置関係を模式的に示している。本実施の形態で想定する一般的な中心射影方式の撮像装置１２によれば、被写体７２上の着目点ａの像は、撮像装置１２の視点８４と着目点ａを結ぶ直線Ｌと撮影画像の平面８０の交点ｂに射影される。ここで撮影画像の平面８０は、視点８４から光軸Ｏの方向に焦点距離ｆだけ離れた位置における、光軸に垂直な平面であり、そのサイズは撮像装置１２の視野角によって定まる。本実施の形態では焦点距離ｆや視野角など撮像装置１２の内部パラメータがあらかじめ取得されているものとする。
　撮像装置情報取得部５３が撮像装置１２の位置および姿勢を取得することにより、視点８４の位置座標と光軸Ｏの向きは既知となる。したがって撮影画像の平面８０はワールド座標系で定義できる。上述した射影の関係に鑑みれば、被写体上の着目点ａの位置座標が未知であっても、撮影画像の平面８０において射影される点、すなわち着目画素ｂの位置座標を与えることにより、着目点ａが存在し得る直線Ｌがワールド座標系において一意に定まる。以後、撮像装置１２の視点８４から着目点ａへ向かうベクトルを視線ベクトルと呼ぶ。
　一方、偏光輝度の方位依存性に基づいて、式１および式２から、位相角ψと偏光度ρが、平面８０上の画素ごとに求められる。偏光度ρが所定のしきい値より大きい点を着目画素ｂとして選択すれば、鏡面反射モデルを適用して位相角ψから入射面８５の角度ψ－９０°が求められる。当該入射面８５は、視線ベクトルＬと、着目点ａにおける法線ベクトルｎを含む平面である。撮影画像の平面８０がグローバル座標系で得られていることにより、入射面８５もワールド座標系で定義される。
　図１０は、複数の視点に対応する入射面から着目点の法線を取得する様子を模式的に示している。ここで撮像装置１２ａ、１２ｂの視点をそれぞれ、第１の視点、第２の視点とする。まず第１の視点において、被写体７２上の着目点ａに対し得られる入射面８６ａは、着目点ａへ向かう視線ベクトルＬ１と着目点ａの法線ベクトルｎを含む。ここで撮像装置１２を第２の視点へ移動させ、同じように入射面８６ｂを求めれば、法線ベクトルｎは、入射面８６ａ、８６ｂの交線と一致する。またそのときの視線ベクトルＬ２と第１の視点からの視線ベクトルＬ１の交点は着目点ａと一致する。
　ここで、２つの視点に対応する視線ベクトルＬ１とＬ２の角度が大きいほど、より厳密には、第２の視点に対する視線ベクトルＬ２と、第１の視点の入射面８６ａとのなす角度が９０°に近いほどノイズ耐性が向上し、結果として着目点ａの法線ベクトルｎや位置座標の精度が高くなる。そこで視点制御部６０は上述のとおり、適切な視点の移動方向やレンズが向く方向に係る情報をユーザに提示する。
　図１１は、視点制御部６０が撮像装置１２の視点を誘導するために、出力データ生成部５６を介して表示装置１６に表示させる画面の例を示している。（ａ）、（ｂ）、（ｃ）、（ｄ）に示す矩形はいずれも、第１の視点で撮影されたタイミングにおいて表示される画面を示しており、ベースとして第１の視点での撮影画像が表されている。この例では、球形の被写体９０が撮影されている。また同図においては、被写体９０の像上に着目画素９２が設定されている様子も示しているが、実際には表示させなくてもよい。
　視点制御部６０は上述のとおり、第１の視点の撮影画像に設定された着目画素９２が視野から外れないように、かつ入射面同士のなす角度が９０°に近づくように、視点を誘導する。（ａ）の例では、着目画素９２を囲む丸印９６と、それを始点として左右に向かう矢印９４ａ、９４ｂを、撮影画像に重畳表示させている。ここで矢印の方向は、第１の視点における入射面から離れる方向であり、図示するような左右の向きとは限らない。矢印９４ａ、９４ｂを重畳表示させた状態で、例えば「丸印を画面中央付近に収めながら、カメラをどちらかの矢印の方向に移動させて下さい」といったガイダンスを、文字列あるいは音声で示す。
　これに従いユーザが、撮像装置１２をどちらかの方向に移動させている期間、撮像装置１２が捉えている被写空間の様子と、重畳表示させた矢印等を、継続して表示させる。例えば着目画素を示す丸印９６を、撮像装置１２の視点の移動と逆方向に移動させることにより、被写体９０に貼り付いているように見せてもよい。視点の移動は、撮像装置情報取得部５３が取得する、撮像装置１２の位置および姿勢の情報に基づき特定できる。適切な視点に近づくのに伴い、対応する方向の矢印を短くするなどして、その旨がわかるようにしてもよい。
　（ｂ）の例では、被写体に実際にある模様９８などの特徴点を利用する。すなわち着目画素９２を設定したら、その近傍のうち適切な視点への移動方向において、ユーザが視認できる大きさおよび、周囲との色の差が十分な特徴点を検出する。抽出には一般的なエッジ検出技術やパターンマッチング技術を利用できる。そして例えば「黄色い星形の模様が正面中央に来るようにカメラを移動させて下さい」といったガイダンスを、文字列あるいは音声で示すことにより、視点が検出した特徴点へ向かうように誘導する。
　特徴点近傍に、それを指す矢印などを重畳表示させてもよい。これに従いユーザが撮像装置１２を移動させている期間、撮像装置１２が捉えている被写空間の様子を継続して表示させる。これによりユーザは、実際のアングルを確認しながら視点を調整できる。
　（ｃ）の例では、被写体にその場で目印をつけ、それを特徴点とする。すなわち着目画素９２を設定したら、適切な視点への移動方向に所定長だけ離れた位置を指す図形を重畳表示させたうえ、被写体表面のその位置に目印をつけるように文字列あるいは音声で指示する。図示する例では「ここにシールを貼ってください」という文字列を表す吹き出し１００を重畳表示している。被写体に一時的に目印をつけるために、周囲との判別が容易な色、形状、サイズの紙やシールなど、被写体の形状への影響が小さい薄い物体を別途準備しておく。被写体の材質によっては、後から消すことができるペンなどで、被写体に直接目印を書き込むようにしてもよい。
　この態様においても、目印がつけられた時点で「シールが正面中央に来るようにカメラを移動させて下さい」といったガイダンスを、文字列あるいは音声で示すことにより、視点が目印へ向かうように誘導する。そしてユーザが撮像装置１２を移動させている期間、撮像装置１２が捉えている被写空間の様子を継続して表示させる。なお図示する例は一カ所にシールを貼らせる指示であるが、適切な視点への２つの移動方向のどちらをも明示することにより、目印をつけるのに都合のよい方をユーザが選択できるようにしてもよい。
　（ｄ）の例では、視点制御部６０が制御可能なレーザーポインタなどの光線照射デバイス１０２を実空間に準備しておき、適切な視点への移動方向に所定長だけ離れた位置に光線を照射する。これにより被写体上に照射パターン１０４が形成される。そのうえで、例えば「照射パターンが正面中央に来るようにカメラを移動させて下さい」といったガイダンスを、文字列あるいは音声で示すことにより、視点が照射パターン１０４へ向かうように誘導する。このケースでは、視点制御部６０が照射デバイスのオン／オフおよび照射位置の調整を実施する。あるいは撮像装置１２側に照射デバイスを設け、視点制御部６０がこれを制御してもよい。
　このような視点の誘導により適切な視点からの偏光画像が撮影されたら、着目点情報取得部６４は図１０で示したように、複数視点からの偏光画像における、被写体上の同じ着目点を表す着目画素について、偏光輝度の方位依存性に基づき入射面を求める。ここで被写体上の着目点の位置が未知の場合、第２の視点の撮影画像における当該着目点の像、すなわち着目画素がどこにあるかはわかならい。そこで着目点情報取得部６４は、法線ベクトルの導出を繰り返すことにより、第２の視点からの撮影画像上で正しい着目画素を探索する。
　図１２は、図８のＳ２２において着目点情報取得部６４が被写体の状態情報を取得する処理手順を示すフローチャートである。まず着目点情報取得部６４は、第１の視点から着目点への視線ベクトルＬ１を、第２の視点の撮影画像平面に射影する。図９で示したように、第１の視点８４の撮影画像の平面８０に対し着目画素ｂを設定することにより、その視線ベクトルＬは３次元空間で一意に定まる。一方、図１０で示したように、第２の視点に対する画像平面８０ｂは、そのときの撮像装置１２ｂの位置及び姿勢から求められる。結果として、第１の視点からの視線ベクトルＬ１を、第２の視点の画像平面８０ｂに直線として表すことができる。
　図１３は、第２の視点の画像平面に第１の視点からの視線ベクトルＬ１を射影した様子を模式的に示している。上述のとおり被写体上の着目点は、第１の視点からの視線ベクトルＬ１上のいずれかの位置にある。そこで着目点情報取得部６４は、第２の視点の画像平面８０ｂに視線ベクトルＬ１を射影した直線上で、正しい着目画素を探索する。
　同図においては、視線ベクトルＬ１を表す直線上の画素ｐ１、ｐ２、ｐ３、ｐ４について、偏光輝度の方位依存性から位相角ψ１、ψ２、ψ３、ψ４が求められる様子を、角度方向の矢印で示している。基本的にはこれらの画素を着目画素と仮定した場合に得られる法線ベクトルの信頼度を評価することにより、最も確からしい法線ベクトルが得られる画素を着目画素、当該法線ベクトルを着目点の法線ベクトルとする。
　図１２に戻り、着目点情報取得部６４は、視線ベクトルＬ１を射影した直線上のある画素を対象と設定し（Ｓ３２）、その位置の偏光輝度に基づき式１、２により偏光度ρを求める（Ｓ３４）。図８のＳ１２において、第１の視点の画像に対し着目画素を設定した際、鏡面反射が支配的な画素を選択している。偏光度は天頂角に依存するため、第２の視点を主に方位角方向に変化させた場合、第２の視点の画像における着目画素でも偏光度が所定値以上であると考えられる。したがって偏光度ρがしきい値より小さい画素は、対応する画素ではないとしてそれ以上の計算を行わない（Ｓ３６のＮ）。
　この場合、射影した直線上で次の画素を対象に設定し直し、同様に偏光度を評価する（Ｓ３２～Ｓ３６）。なお「次の画素」とは射影した直線上で隣接する画素でもよいし、図１３に示すように、所定間隔を有する画素でもよい。またＳ３６における判定基準として用いるしきい値は、図８のＳ１２において第１の視点の画像に対し着目画素を設定した際に用いたしきい値と同じでもよいし、異なっていてもよい。
　偏光度がしきい値以上であれば（Ｓ３６のＹ）、式１により位相角ψを求め、鏡面反射モデルにより入射面の角度を計算したうえ、第１の視点に対し得られている入射面との交線を求めることにより、図１０で示すように法線ベクトルｎを推定する（Ｓ３８）。ただしこの段階では、着目点の入射面が正しく得られているかはわからない。そこで、得られた法線ベクトルの信頼度を、偏光度と天頂角の関係に基づき評価する（Ｓ４０）。
　具体的には、推定された法線ベクトルにより定まる天頂角から理論上得られる偏光度と、式１、式２から実際に求めた偏光度を比較し、矛盾がないと結論づけられれば、推定された法線ベクトルは正しいと判定する（Ｓ４０のＹ）。この場合、着目点情報取得部６４は、当該法線ベクトルに対し信頼度を算出したうえ（Ｓ４２）、それらを対応づけてメインメモリなどに記録する（Ｓ４４）。ここで「信頼度」は、Ｓ４０の判定処理において求められる、理論上の偏光度と実際の偏光度との差が小さいほど大きな値となる関数としてもよいし、偏光度とは別の観点から新たに算出してもよい。
　例えば同じ被写体上に着目点を複数、設定する場合は、所定範囲の着目点に対し得られている法線ベクトルの分散に基づき信頼度を算出する。あるいは、法線ベクトルにより定まる天頂角θと式２により定まる偏光度ρを式３に代入して被写体の屈折率ηを求め、その分散に基づき信頼度を算出する。どちらの場合も、新たに得られた法線ベクトルによる分散の増加量を導出し、増加量が大きいほど値が小さくなる関数で信頼度を算出することが考えられる。
　一方、Ｓ４０において、理論上の偏光度と実際に得られた偏光度にしきい値以上の差があるなど矛盾があることが結論づけられたら（Ｓ４０のＮ）、推定した法線ベクトルは正しいものではないとして、射影した直線上で次の画素を対象に設定し直し同様の処理を繰り返す（Ｓ３２～Ｓ４０）。なお第２の視点が適切でなかった場合など、射影した直線上の全ての画素で偏光度に矛盾がある場合は、その時点で処理を終了してよい（図示せず）。以上の処理によれば、被写体上の着目点に対応する、第２の視点の画像平面における真の着目画素と、当該着目点の法線ベクトルを、着目点のワールド座標系における位置と関わりなく、同時に求めることができる。
　なお図１２に示したフローチャートでは、１つの着目点につき、ある画素で信頼度の高い法線ベクトルが得られたら、それを記録して処理を終了させている。このようにすることで処理に要する時間を節約できる。一方、視線ベクトルＬ１を画像平面に射影してなる直線上の対象画素の全てに対し、Ｓ３４からＳ４０、あるいはＳ４２までの処理を実施して、最も高い信頼度を示す法線ベクトルを選択して記録対象としてもよい。
　この場合、視線ベクトルＬ１を射影した直線上で、所定間隔でサンプリングした画素のうち、信頼度が最大、あるいはしきい値以上の画素を抽出し、その箇所を中心とする所定範囲内の画素をより高い密度でサンプリングして、再度、信頼度を評価してもよい。サンプリングする画素の密度を変化させて処理を繰り返す回数は固定としてもよいし、信頼度の分布を統計処理し、前の回より高い信頼度が得られる確率が所定値以上となる回数を適応的に決定してもよい。この場合も、処理を通じて最も高い信頼度を示す法線ベクトルを選択して記録する。
　また上記説明においては、２視点からの入射面の交線のうち、信頼度の高い線を法線ベクトルとして選択した。上述のようにこのとき同時に、第２の視点の画像における正しい着目画素が決定する。これを利用すれば、第２の視点から当該着目画素を通り被写体上の着目点へ向かう、第２の視線ベクトルＬ２を特定できる。そこで図１０に示すように、第１の視点の視線ベクトルＬ１との交点を求めることにより、被写体上の着目点ａのワールド座標系における位置座標をさらに求め、Ｓ４４においてメインメモリなどに記録してもよい。この態様においては、Ｓ４２で算出する信頼度として、当該位置座標の分散を利用してもよい。この場合も、新たに得られた位置座標による分散の増加量を導出し、増加量が大きいほど値が小さくなる関数で信頼度を算出すればよい。
　また、Ｎ個（Ｎは２以上の自然数）の視点からの撮影画像を用いる場合、図示するフローチャートがＮ－１回繰り返されることになる。この場合、基本的には１つの着目点に対しＮ－１個の法線ベクトルが得られるため、そのうち最も高い信頼度を有する法線ベクトルや、それらの平均ベクトル、あるいは統計処理により推定されるベクトルなどを、最終的な法線ベクトルとする。
　ただし視点によっては、Ｓ４０において、視線ベクトルＬ１を射影した直線上の全ての画素で偏光度に矛盾があると判定され、法線ベクトルが得られないことが考えられる。そこでこの状況をＳ４２における信頼度の算出に利用してもよい。すなわち得られるべき法線ベクトルの数Ｎ－１に対する、実際に得られた法線ベクトルの数の割合を信頼度とする。なおこれまで述べたいくつかの信頼度は、そのうち１つを選択して用いてもよいし、複数を組み合わせて多角的な観点から算出してもよい。
　図１４は、図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法を説明するための図である。まず（ａ）において点線で示したグラフ１３８ａは、図４の（ａ）で示した、鏡面反射光の天頂角と偏光度の関係を示している。観測した光が全て鏡面反射の場合はグラフ１３８ａのような変化となるが、実際には多くの場合、拡散反射成分が含まれるため、グラフ１３８ｂにように、グラフ１３８ａの偏光度に所定割合λ（０＜λ＜１）を乗算した変化となる。
　そこで、推定した法線ベクトルと第１の視点の視線ベクトルＬ１により定まる天頂角θ１を用いて、まず割合λを次のように計算する。
　λ＝ρｏｂ＿１／ρｔｈ＿１
ここでρｔｈ＿１は鏡面反射のみの場合の天頂角θ１における偏光度、ρｏｂ＿１は第１の視点の偏光画像から式１、２により計算された実際の偏光度である。つまりグラフ１３８ｂで表される、被写体上の同じ着目点からの光の偏光度ρｏｂは、割合λと鏡面反射のみの偏光度の関数ρｔｈ（θ）を用いて次のような関数で表せる。
　ρｏｂ（θ）＝λ＊ρｔｈ（θ）
　図の（ｂ）には、偏光度ρｏｂ（θ）のグラフ１３８ｂを再掲している。正しい着目点の法線ベクトルであれば、第２の視点で観測される光の偏光度もグラフ１３８ｂを満たすはずである。第２の視点での天頂角をθ２とすると、その場合の偏光度ρｅｓｔ＿２は理論上、次のようになる。
　ρｅｓｔ＿２＝λ＊ρｔｈ（θ２）
一方、第２の視点の偏光画像から、式１、２により計算された実際の偏光度ρｏｂ＿２が別途得られる。これらの差Δρ＝｜ρｏｂ＿２－ρｅｓｔ＿２｜が所定のしきい値より小さければ、偏光度が矛盾しない、しきい値以上であれば偏光度が矛盾する、と判定する。
　上述のとおり着目点情報取得部６４は、偏光度が矛盾しない法線ベクトルが得られた時点で、当該法線ベクトルを真値と結論づけてもよいし、Δρが小さいほど大きくなる関数を法線ベクトルの信頼度として算出して法線ベクトルに対応づけておき、後のタイミングで信頼度が最大の法線ベクトルを選択してもよい。また、選択した法線ベクトルに対し、当該信頼度を対応づけてメインメモリなどに記録してもよい。
　図１５は、図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法の別の例を説明するための図である。この例では、第１、第２の視点に対する法線ベクトルの天頂角θ１、θ２の大小関係と、偏光度の大小関係を利用する。すなわち推定された法線ベクトルに対し、第１の視点で求められた天頂角θ１によって、偏光度を表すグラフ１３８ｂ上の位置座標（θ１，ρｏｂ＿１）は一意に定まる。偏光度のグラフ１３８ｂは、極大点を境に単調増加領域Ａと単調減少領域Ｂに分けられる。
　したがって天頂角θがどちらの領域にあるかによって、天頂角θの増加とともに偏光度ρが増加するか減少するかを特定できる。図示するように位置座標（θ１，ρｏｂ＿１）が単調増加領域Ａにある場合、第２の視点に対する天頂角θ２がθ１より小さければ、それに対する偏光度ρｅｓｔ＿２は、第１の視点の偏光度ρｏｂ＿１より小さいはずである。これに反し図示するように、第２の視点の偏光画像から式１、２により計算された実際の偏光度ρｏｂ＿２が、ρｏｂ＿１より大きい場合、推定された法線ベクトルの信頼度が低いといえる。
　この手法によれば、図１４で示したような偏光度の関数を厳密に求めることなく、天頂角および偏光度の大小関係から法線ベクトルの信頼度を評価することができる。ここで、天頂角の変化に対し偏光度が正しく増加あるいは減少しているか、のみを評価基準としてもよいし、さらに偏光度の増減量を評価してもよい。前者の定性的な評価は、観測系のノイズが多く天頂角や偏光度などの値の精度が比較的低い場合に適しており、当該誤差を踏まえた評価を行える。後者の定量的な評価は、天頂角や偏光度などの値の精度が比較的高い場合に適しており、厳密な評価を行える。
　ただし後者の手法は図１４で示したのと同様に、天頂角に対する偏光度の関数を、拡散反射成分を考慮して求めておく必要がある。そのうえで、天頂角θ１からθ２へ変化したときの本来の偏光度の変化量Δρｅｓｔ、実際の偏光度の変化量Δρｏｂを次のように定義する。
　Δρｅｓｔ＝ρｅｓｔ＿２－ρｏｂ＿１
　Δρｏｂ＝ρｏｂ＿２－ρｏｂ＿１
　そして両者の差分ｄ＝｜Δρｏｂ－Δρｅｓｔ｜を用いて、信頼度ｒを次のように求める。
　ｒ＝ｍａｘ（０，１－ｄ／ｃ）
ここで１／ｃは固定の係数である。この信頼度ｒは、差分ｄが０のとき１、０＜ｄ＜ｃで線形に減少しｃ以上で０となる関数である。したがってｃは信頼度を０とするときの差分ｄのしきい値として、あらかじめ適切な値を与えておく。
　図１６は、本実施の形態で偏光度を法線ベクトルの信頼度評価に利用する妥当性を説明するための図である。本実施の形態では第１の視点から画像を撮影したうえ、着目点ａにおける入射面から離れる方向に、かつ着目点ａが視野から外れないように、第２の視点を誘導する。このことは、着目点ａを頂点、天頂角を半頂角、法線ベクトルｎを軸とする円錐１４０の底面の円周に近い軌跡で視点が移動することを意味する。
　すなわち視点を大きく移動させるとしても天頂角θは大きく変化しない。結果として、移動後の視点から被写体上の同じ位置の偏光を観測すると、その偏光度は大きく変化しない。そのためしきい値より大きい偏光度の着目点を選択することは、鏡面反射モデルを適用できる効果とともに、視点が動いても同じ着目点を表す画素を効率的に抽出できるという効果がある。また天頂角θが大きく変化しないことから、図１５で示したように、視点が移動してもその偏光度は、単調増加する領域あるいは単調減少する領域に収まっている可能性が高い。したがってその偏光度の大小関係や差分に基づき、法線ベクトルの信頼度を適正に評価できることになる。
　これまで述べた態様によれば、被写体表面に模様などの特徴点がなくとも、偏光画像のみからその法線ベクトルと位置座標を特定できる。一方、特徴点の存在する箇所を着目点として選択すると、各視点の撮影画像において当該着目点が表れる位置を特定できるため、処理を簡略化できる。すなわち図１３で示したように、第１の視点における視線ベクトルを射影してなる直線上で着目画素を探索する必要なく、特徴点の像から正確な着目画素を特定できる。したがって第２の視点の撮影画像のうち当該着目画素に対し入射面を求めれば、第１、第２の視点の入射面の交線から法線ベクトルを求められる。
　同様に、第１、第２の視線ベクトルの交点から、ワールド座標系における着目点の位置座標を求められる。この態様では上述のとおり法線ベクトルの信頼度に基づき着目画素を探索する必要がないため、法線ベクトルを求めることなく直接、着目点の位置座標を求めることもできる。
　これまでの態様では基本的に、各視点における入射面の角度を、式１の位相角ψから求めた。一方、図１４で示したように、偏光度が天頂角θのみに依存することを利用して入射面を求めてもよい。図１７は、天頂角θに対する偏光度の変化に基づき入射面を特定する手法を説明するための図である。上述したように、被写体７２上の着目点ａの像は、撮像装置１２の視点が変化しても判明するとする。
　ここで、第１の視点に対する入射面１４２ａを決定するため、天頂角θａの変化の割合が最も大きい方向を探索する。すなわち撮像装置１２ａの位置や姿勢を様々に変化させ、視線ベクトルの単位角度の変化に対する偏光度の変化量が最も大きくなる方向を取得する。このときの視点の移動方向と着目点ａを含む面が入射面１４２ａとなる。換言すれば入射面１４２ａは、当該移動方向に視点が変化しても変化しないため、この場合の「第１の視点」は、当該移動方向のうちの１点を選択すればよい。第２の視点についても同様に、撮像装置１２ｂを様々に変化させ、偏光度の変化の割合が最も大きいときの視点の移動方向と着目点ａを含む面が入射面１４２ｂとなる。
　この場合、撮像装置１２を左右上下など２次元の方向に移動させる必要があるが、視点制御部６０が、図１１で示したような画像や音声によってユーザに移動方向を提示して、視点を誘導すればよい。なお式１によっても入射面を取得し、偏光度の変化の割合から求めた入射面の結果と統合してもよい。例えば両者の平均を真の入射面の角度としてもよい。また入射面ごとに、それを導出する手法を異ならせてもよい。例えば第１の視点については位相角ψから入射面を求め、それ以外の視点については偏光度の変化の割合から入射面を求めるなどでもよい。
　またこれまで述べた態様は、しきい値以上の偏光度を有する着目画素を対象とすることで、鏡面反射モデルを適用した。一方、図４に示すように、天頂角θの変化に対する偏光度の振る舞いの違いを利用すると、拡散反射が支配的な光についても本実施の形態を適用できる。例えば図１７のように天頂角θが変化するように視点を移動させたとき、どの方向の移動でも偏光度の変化の割合が所定値以上にならない場合、拡散反射が支配的な光を観測していると考えられる。
　これは図４に示すように、ほぼ全ての天頂角の範囲で、偏光度の変化の割合は鏡面反射の方が高くなるためである。このような場合は、拡散反射モデルを適用して入射面を導出する。すなわち式１において位相角ψの角度に入射面があるとする。それ以外の処理は、鏡面反射について上述したのと同様でよい。
　以上述べた本実施の形態によれば、偏光画像を用いた画像解析において、偏光度がしきい値上の画素を着目画素として処理対象とすることにより、以後の演算を、鏡面反射モデルを導入して行える。また、偏光輝度の方位に対する振幅が大きい画素が選択されることから、位相角を精度よく求められる。結果として、当該着目画素が表す被写体上の着目点に対する入射面の角度を精度よく取得できる。
　また、ある視点に対し得られた入射面を基準として、適切な方向に視点を移動させ、被写体上の同じ着目点を撮影することで、入射面を複数取得し、その交線から着目点の法線ベクトルをワールド座標系で取得する。基準となる第１の視点に対し、法線の精度が得られるように視点の移動方向を決定できるため、少ない撮影回数で効率的に法線を求められる。また移動方向が明確なため、画像や音声での簡単な指示により、ユーザが手動で視点を移動させても、大きな手間をかけることなく容易に撮影が完了する。
　また、第１の視点から着目点までの視線ベクトルを第２の視点の画像平面に射影し、その直線上で、信頼度が高い法線ベクトルが得られる位置を探索する。さらに、第２の視点から当該位置への視線ベクトルと、第１の視点から着目点までの視線ベクトルとの交点により着目点の位置座標をワールド座標系で取得する。これにより、被写体上の着目点に特徴点がなくても、また、当該着目点の位置が未知であっても、ワールド座標系での被写体の状態情報を得ることができる。
　本実施の形態は全体として、被写体の法線ベクトルの天頂角と偏光度の関係を利用しているため、撮影環境の明るさや、視点位置および影などによる見た目の輝度の変化に対し高い頑健性で被写体の情報を得ることができる。また偏光度が高い領域、すなわちｐ偏光の反射率が０となるブルースター角近傍に対し詳細な情報が得られることにより、ブルースター角をパラメータとして画像解析を行う、非特許文献１などの技術との親和性がよく、さらなる画像解析への応用が可能である。
　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１０　情報処理装置、　１２　撮像装置、　１６　表示装置、　２３　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　５０　撮影画像取得部、　５２　画像データ記憶部、　５３　撮像装置情報取得部、　５４　被写体情報取得部、　５６　出力データ生成部、　６０　視点制御部、　６４　着目点情報取得部。
　以上のように本発明は、ゲーム装置、携帯端末、監視カメラシステム、車載カメラシステム、検品装置など各種情報処理装置に利用可能である。

Claims (14)

  1. 　撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得する撮影画像取得部と、
    　前記撮像装置の位置および姿勢に係る情報を視点の情報として取得する撮像装置情報取得部と、
    　被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、前記着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得し出力する着目点情報取得部と、
    　第１の視点に対し得られた前記入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に前記入射面を導出する第２の視点として決定する視点制御部と、
    　を備えたことを特徴とする情報処理装置。
  2. 　前記視点制御部は、前記視点が移動すべき方向を画像として表示装置に表し、それに従う撮像装置の移動をユーザに指示することで視点を誘導することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記視点制御部は、撮像装置の視野内の像を前記表示装置に表示させ、前記視点が移動すべき方向を示す図形を重畳表示させることを特徴とする請求項２に記載の情報処理装置。
  4. 　前記視点制御部は、前記第１の視点から撮影された画像における前記着目画素に対し、前記視点が移動すべき方向に存在する、前記被写体の特徴点を検出し、当該特徴点に向かう方向に視点を移動させるように誘導することを特徴とする請求項２に記載の情報処理装置。
  5. 　前記視点制御部は、前記第１の視点から撮影された画像における前記着目画素に対し、前記視点が移動すべき方向に所定の間隔を有する位置に目印をつけるようにユーザに指示したうえ、当該目印に向かう方向に視点を移動させるように誘導することを特徴とする請求項２に記載の情報処理装置。
  6. 　前記視点制御部は、前記第１の視点から撮影された画像における前記着目画素に対し、前記視点が移動すべき方向に所定の間隔を有する位置に、光線照射デバイスからの光を照射し、照射されたパターンに向かう方向に視点を移動させるように誘導することを特徴とする請求項２に記載の情報処理装置。
  7. 　前記着目点情報取得部は、視点ごとに取得した前記入射面の交線を、前記着目点の法線ベクトルとして取得することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
  8. 　前記着目点情報取得部は、各視点から前記着目点への視線ベクトルの交点を、前記着目点の位置座標として取得することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
  9. 　前記撮影画像取得部は、視点を移動させながら撮影された、各フレームに複数方位の偏光の情報を含む動画像のデータを取得し、
    　前記視点制御部は、前記第２の視点から得られたフレームを、前記入射面を取得するのに用いる偏光画像として決定することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
  10. 　前記撮影画像取得部は、異なる視点からそれぞれ撮影された静止画の偏光画像のデータを取得し、
    　前記視点制御部は、移動後の視点が前記条件を満たしたとき、シャッターを操作するようにユーザに指示することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
  11. 　前記着目点情報取得部は、視点を移動させたときの前記着目画素の偏光度の変化の割合が最大となる視点の移動方向と前記着目点を含む面を、当該移動方向のいずれかの点を視点とする前記入射面として取得し、
    　前記視点制御部はさらに、前記入射面を取得するために視点が移動すべき方向を決定することを特徴とする請求項１から１０のいずれかに記載の情報処理装置。
  12. 　前記視点制御部は、移動後の視点が前記条件を満たしたか否かを、前記第１の視点に対し得られた前記入射面からの距離または当該入射面に対する角度に基づき判定することを特徴とする請求項１から１１のいずれかに記載の情報処理装置。
  13. 　撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得するステップと、
    　前記撮像装置の位置および姿勢に係る情報を視点の情報として取得するステップと、
    　被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、前記着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得するステップと、
    　第１の視点に対し得られた前記入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に前記入射面を導出する第２の視点として決定するステップと、
    　前記着目点の状態情報を出力するステップと、
    　を含むことを特徴とする情報処理装置による被写体情報取得方法。
  14. 　撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得する機能と、
    　前記撮像装置の位置および姿勢に係る情報を視点の情報として取得する機能と、
    　被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、前記着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得する機能と、
    　第１の視点に対し得られた前記入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に前記入射面を導出する第２の視点として決定する機能と、
    　前記着目点の状態情報を出力する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。
PCT/JP2018/017840 2018-05-08 2018-05-08 情報処理装置および被写体情報取得方法 WO2019215820A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020517661A JP6933776B2 (ja) 2018-05-08 2018-05-08 情報処理装置および被写体情報取得方法
PCT/JP2018/017840 WO2019215820A1 (ja) 2018-05-08 2018-05-08 情報処理装置および被写体情報取得方法
US17/050,872 US11108966B2 (en) 2018-05-08 2018-05-08 Information processing apparatus and subject information acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017840 WO2019215820A1 (ja) 2018-05-08 2018-05-08 情報処理装置および被写体情報取得方法

Publications (1)

Publication Number Publication Date
WO2019215820A1 true WO2019215820A1 (ja) 2019-11-14

Family

ID=68468480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017840 WO2019215820A1 (ja) 2018-05-08 2018-05-08 情報処理装置および被写体情報取得方法

Country Status (3)

Country Link
US (1) US11108966B2 (ja)
JP (1) JP6933776B2 (ja)
WO (1) WO2019215820A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019215821A1 (ja) * 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
EP3617999B1 (en) * 2018-09-01 2023-04-19 Tata Consultancy Services Limited Systems and methods for dense surface reconstruction of an object using graph signal processing
WO2021149526A1 (ja) * 2020-01-23 2021-07-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2016133396A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
WO2016181687A1 (ja) * 2015-05-14 2016-11-17 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3012828B2 (ja) * 1998-05-25 2000-02-28 株式会社セタ 描画方法、装置および記録媒体
US9597024B2 (en) * 2005-02-09 2017-03-21 Medici Instruments Llc Methods and apparatuses for noninvasive determinations of analytes
EP2120007A4 (en) * 2007-02-13 2010-12-01 Panasonic Corp IMAGE PROCESSING SYSTEM, METHOD AND APPARATUS AND IMAGE FORMAT
JP4317583B2 (ja) * 2007-08-07 2009-08-19 パナソニック株式会社 法線情報生成装置および法線情報生成方法
JP4435865B2 (ja) * 2008-06-26 2010-03-24 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
WO2011062279A1 (ja) * 2009-11-20 2011-05-26 独立行政法人産業技術総合研究所 欠陥を検査する方法、欠陥の検査を行ったウエハまたはそのウエハを用いて製造された半導体素子、ウエハまたは半導体素子の品質管理方法及び欠陥検査装置
CN102753933B (zh) * 2010-02-15 2015-06-10 株式会社理光 透明物体检测系统和透明平板检测系统
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
US8334985B2 (en) * 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method
WO2012073414A1 (ja) * 2010-11-30 2012-06-07 パナソニック株式会社 画像処理装置
JP5966256B2 (ja) * 2011-05-23 2016-08-10 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
EP2600168A1 (de) * 2011-12-01 2013-06-05 Leica Geosystems AG Entfernungsmesser
US20140300897A1 (en) * 2013-04-05 2014-10-09 Chemimage Corporation Security screening systems and methods
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
CN106256122B (zh) * 2014-04-30 2019-09-24 索尼公司 图像处理设备和图像处理方法
JP6566749B2 (ja) * 2015-07-01 2019-08-28 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、および情報処理装置
JP6807546B2 (ja) * 2016-11-15 2021-01-06 パナソニックＩｐマネジメント株式会社 画像形成装置
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2016133396A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
WO2016181687A1 (ja) * 2015-05-14 2016-11-17 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2019215820A1 (ja) 2021-04-22
JP6933776B2 (ja) 2021-09-08
US20210243374A1 (en) 2021-08-05
US11108966B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
JP4435865B2 (ja) 画像処理装置、画像分割プログラムおよび画像合成方法
WO2021185217A1 (zh) 一种基于多激光测距和测角的标定方法
JP6933776B2 (ja) 情報処理装置および被写体情報取得方法
US10545215B2 (en) 4D camera tracking and optical stabilization
WO2019003384A1 (ja) 情報処理装置、情報処理システム、および材質特定方法
WO2019003383A1 (ja) 情報処理装置および材質特定方法
CN112102199A (zh) 深度图像的空洞区域填充方法、装置和系统
JP6934575B2 (ja) 情報処理装置および物体検出方法
JP6650848B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN114080627A (zh) 三维模型生成方法及三维模型生成装置
JP7039616B2 (ja) 情報処理装置および表面粗さ取得方法
JP2001266128A (ja) 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
JP6934565B2 (ja) 情報処理装置および被写体情報取得方法
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
JP6246441B1 (ja) 画像解析システム、画像解析方法、およびプログラム
JP6783928B2 (ja) 情報処理装置および法線情報取得方法
JP6851475B2 (ja) 情報処理装置および情報処理方法
JP7101250B2 (ja) 情報処理装置およびプレイフィールド逸脱検知方法
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
WO2023063088A1 (en) Method, apparatus, system and non-transitory computer readable medium for adaptively adjusting detection area
CN114208153B (zh) 不使用防抖的多重拍摄图像捕获
JP6246440B1 (ja) 画像解析システム、画像解析方法、およびプログラム
JP2021101494A (ja) 撮影装置、撮影制御装置、撮影システム、撮影装置の制御方法、撮影プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18918020

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020517661

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18918020

Country of ref document: EP

Kind code of ref document: A1