WO2019155903A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2019155903A1
WO2019155903A1 PCT/JP2019/002389 JP2019002389W WO2019155903A1 WO 2019155903 A1 WO2019155903 A1 WO 2019155903A1 JP 2019002389 W JP2019002389 W JP 2019002389W WO 2019155903 A1 WO2019155903 A1 WO 2019155903A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
unit
image
posture
imaging
Prior art date
Application number
PCT/JP2019/002389
Other languages
English (en)
French (fr)
Inventor
都夢 田原
小林　直樹
祐伍 勝木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/964,818 priority Critical patent/US11483528B2/en
Priority to CN201980011183.8A priority patent/CN111670574A/zh
Publication of WO2019155903A1 publication Critical patent/WO2019155903A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/10—Projectors with built-in or built-on screen
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method capable of suppressing reduction in image projection correction accuracy.
  • the shape of the projection surface is measured three-dimensionally, and the geometric correction of the projected image is performed based on the measurement information.
  • internal parameters for example, focal length, principal point, lens distortion coefficient, etc.
  • external parameters representing relative position / posture
  • the projection correction technique based on the three-dimensional shape measurement using such a projector / camera system is based on a so-called ftan ⁇ lens system used in a normal projector.
  • ftan ⁇ lens system used in a normal projector.
  • the influence of distortion of the projector lens is very small compared to the influence of other internal parameters and external parameters. Therefore, sufficiently accurate projection correction is possible even if calibration is performed while ignoring this distortion.
  • f ⁇ lenses have a much larger influence of lens distortion than ftan ⁇ lenses. Therefore, in the case of projection correction of a projector / camera system using a projector having this f ⁇ lens, if the calibration is performed while ignoring distortion as in the case of the ftan ⁇ lens system, the accuracy of the projection correction is higher than that of the ftan ⁇ lens system. There was a risk of reduction.
  • the present disclosure has been made in view of such circumstances, and is intended to suppress a reduction in image projection correction accuracy.
  • An information processing apparatus uses an image projection model using a distortion coefficient of an f ⁇ lens in which an image height of incident light is represented by a product of a focal length f and an incident angle ⁇ of the incident light.
  • An information processing apparatus includes a projection unit that projects an image and a posture estimation unit that performs posture estimation of an imaging unit that captures a projection plane on which the image is projected.
  • An information processing method uses an image projection model using a distortion coefficient of an f ⁇ lens in which an image height of incident light is represented by a product of a focal length f and an incident angle ⁇ of the incident light. It is an information processing method for estimating a posture of a projection unit that projects an image and an imaging unit that captures a projection plane on which the image is projected.
  • an image projection model using a distortion coefficient of an f ⁇ lens in which an image height of incident light is represented by a product of a focal length f and an incident angle ⁇ of the incident light is obtained.
  • the posture estimation of the imaging unit that projects the projection unit that projects the image and the projection plane on which the image is projected is performed.
  • image projection can be corrected.
  • a reduction in image projection correction accuracy can be suppressed.
  • Image projection correction> ⁇ Projection correction of ftan ⁇ lens system>
  • As a correction method a method of projecting a pattern, a marker, or the like from an arranged projector and obtaining information with a camera, a sensor, or the like provided for correction can be considered.
  • the two-dimensional information method does not require calibration of the projector and the camera, and the apparatus configuration is simple.
  • the correction image is geometrically correct (for example, correction is performed so that the straight line appears as a straight line from the camera viewpoint). Is not guaranteed).
  • the method using the three-dimensional information is corrected in accordance with the shape of the screen, the geometric correctness is easily guaranteed, but a calibration procedure is required.
  • the projector projects a pattern or marker toward the target
  • the camera captures it
  • the control device uses the captured image to determine the pixel correspondence between the projector and the camera
  • the triangle Depth information (Depth) is measured by the principle of surveying.
  • the control device in order for the control device to measure the depth from the pixel correspondence relationship between the projector and the camera, a procedure for estimating internal variables and relative positions and orientations of the projector and the camera, that is, a method using three-dimensional information, Calibration is required.
  • each projector / camera housing is calibrated in advance before the device configuration, or each projector / camera housing is, for example, as in Patent Literature 1 and Patent Literature 2.
  • the conventional calibration method uses a so-called ftan ⁇ lens (general lens) in which the image height of light at an incident angle ⁇ is represented by the product of the focal length f and tan ⁇ (f ⁇ tan ⁇ ). It was presupposed to be applied to a system using a projector having the above.
  • ftan ⁇ lens general lens
  • the influence of distortion of the projector lens is very small compared to the influence of other internal parameters and external parameters. Therefore, sufficiently accurate projection correction is possible even if calibration is performed while ignoring this distortion.
  • a projector using an f ⁇ lens has a ftan ⁇ lens. It is more suitable than the projector used.
  • f ⁇ lenses have a much larger influence of lens distortion than ftan ⁇ lenses. Therefore, in the case of projection correction of a projector / camera system using a projector having this f ⁇ lens, if the calibration is performed while ignoring distortion as in the case of the ftan ⁇ lens system, the accuracy of the projection correction is higher than that of the ftan ⁇ lens system. There was a risk of reduction.
  • Patent Document 1 discloses a projector / camera system using a fish-eye projector.
  • a projection surface for projecting an image is a plane in the optical axis direction of the projector. And a plane orthogonal thereto. Therefore, it has been difficult to apply this method to projection onto a dome-shaped spherical screen.
  • an image is projected using an image projection model using a distortion coefficient of an f ⁇ lens in which the image height of incident light is represented by the product of the focal length f and the incident angle ⁇ of the incident light.
  • the posture of the projection unit and the imaging unit that captures the projection plane onto which the image is projected is estimated.
  • an image is projected using an image projection model using a distortion coefficient of an f ⁇ lens in which the image height of incident light is represented by a product of a focal length f and an incident angle ⁇ of the incident light.
  • a posture estimation unit that performs posture estimation of a projection unit and an imaging unit that images a projection plane on which the image is projected.
  • posture estimation can be performed while correcting lens distortion of the f ⁇ lens. Therefore, even when an f ⁇ lens is used, it is possible to suppress a reduction in image projection correction accuracy.
  • the internal parameters and external parameters of the projection unit and the imaging unit can be calibrated with sufficient accuracy. That is, the image projection correction can be performed more easily, and the robustness of the parameter accuracy against the environmental change or the like can be improved. Therefore, a realistic operation of the image projection system using the f ⁇ lens becomes possible.
  • FIG. 1 is a block diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied.
  • a projection imaging system 100 is a system capable of projecting an image on a projection surface and calibrating parameters using a captured image obtained by capturing the projection image projected on the projection surface. .
  • the projection imaging system 100 includes a control device 111, a projection device 112-1, an imaging device 113-1, a projection device 112-2, and an imaging device 113-2.
  • the projection device 112-1, the imaging device 113-1, the projection device 112-2, and the imaging device 113-2 are connected to the control device 111 through the cables 115-1 to 115-4 so as to be communicable with each other. Yes.
  • the projection device 112-1 and the projection device 112-2 will be referred to as the projection device 112 when there is no need to distinguish them from each other.
  • the imaging device 113-1 and the imaging device 113-2 are referred to as the imaging device 113 when it is not necessary to distinguish between them.
  • the cables 115-1 to 115-4 are referred to as cables 115 when it is not necessary to distinguish them from each other.
  • the control device 111 controls each projection device 112 and each imaging device 113 via the cable 115. For example, an image is supplied to the control device 111 via the cable 114. The control device 111 supplies the image to each projection device 112 and projects the image onto a dome-shaped (partial spherical shape) screen 121. In addition, for example, the control device 111 causes each imaging device 113 to capture the screen 121 (a projection image or the like projected on the screen 121), and acquires the captured image.
  • an image is supplied to the control device 111 via the cable 114.
  • the control device 111 supplies the image to each projection device 112 and projects the image onto a dome-shaped (partial spherical shape) screen 121.
  • the control device 111 causes each imaging device 113 to capture the screen 121 (a projection image or the like projected on the screen 121), and acquires the captured image.
  • control device 111 calibrates the parameters of the projection device 112 and the imaging device 113 using the captured image, and calculates the geometric correction parameters of the image to be projected on the projection device 112.
  • the control device 111 performs geometric correction on the image supplied from the outside using the parameter, and supplies the image after the geometric correction to the projection device 112.
  • the projection device 112 has a so-called projector function.
  • the projection device 112 is controlled by the control device 111 and projects an image supplied from the control device 111 onto the screen 121.
  • Each projection device 112 projects an image so as to obtain one projection image on the screen 121 in cooperation with each other under the control of the control device 111 (one projection image is displayed on the screen 121). It can be performed.
  • image projection is performed such that projection images projected from each of the plurality of projection devices 112 are arranged without gaps on the screen 121, and a projection image larger (higher resolution) than an image projected by one projection device 112 is obtained. Can be obtained (such a projection image is displayed on the screen 121). Further, for example, the projected images projected from each of the plurality of projection devices 112 are projected so that the positions on the screen 121 are the same as each other, and are brighter (high dynamic) than the image projected by one projection device 112. A range of projected images can be obtained (such projected images are displayed on the screen 121). That is, the projection imaging system 100 in that case is a so-called multi-projection system, and can implement so-called projection mapping.
  • the imaging device 113 has a so-called camera function.
  • the imaging device 113 is controlled by the control device 111 to capture the screen 121 (the screen 121 on which an image is projected by the projection device 112), and the obtained captured image data (also referred to as captured image data) is controlled by the control device. 111.
  • This captured image is used for calculation of parameters for geometric correction of the image by the control device 111 (calibration of parameters of the projection device 112 and the imaging device 113). That is, the imaging device 113 has a configuration for performing geometric correction on a projected image (configuration for calculating parameters for geometric correction).
  • the screen 121 is an approximately dome-shaped (partial spherical shape) projection surface. Since the screen 121 is configured by a curved surface as described above, it is possible to realize a projection image (image display) with a wider viewing angle than when projecting an image on a flat screen, and to give the user a sense of presence and immersion. A feeling can be improved.
  • the projection device 112 and the imaging device 113 have a so-called f ⁇ lens (also referred to as a fisheye lens) instead of a so-called ftan ⁇ lens (general lens). Therefore, the projected image projected by the projection device 112 and the captured image captured by the imaging device 113 are larger in distortion in the peripheral portion than in the case of the ftan ⁇ lens.
  • f ⁇ lens also referred to as a fisheye lens
  • ftan ⁇ lens general lens
  • FIG. 2 is a block diagram illustrating a main configuration example of the control device 111 that is an embodiment of an information processing device to which the present technology is applied.
  • main components such as a processing unit and a data flow are illustrated, and the configuration of the control device 111 is not limited to that illustrated in FIG. 2. That is, in the control device 111, there may be a processing unit that is not shown as a block in FIG. 2, or there may be a process or data flow that is not shown as an arrow or the like in FIG.
  • the control device 111 includes a control unit 201, an input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and a drive 215.
  • the control unit 201 performs processing related to control.
  • the control unit 201 controls an arbitrary configuration in the control device 111.
  • the control unit 201 performs processing related to control of other devices such as the projection device 112 and the imaging device 113, for example.
  • the control unit 201 may have any configuration.
  • the control unit 201 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the CPU is a ROM or the like.
  • the processing may be performed by loading the program or data stored in the memory into the RAM and executing it.
  • the input unit 211 includes an input device that accepts external information such as user input.
  • the input unit 211 may include a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • the input unit 211 may include various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, and an input device such as a barcode reader.
  • the output unit 212 includes an output device that outputs information such as images and sounds.
  • the output unit 212 may include a display, a speaker, an output terminal, and the like.
  • the storage unit 213 includes a storage medium that stores information such as programs and data.
  • the storage unit 213 may include a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 214 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • the communication unit 214 may be constituted by a network interface, for example.
  • the communication unit 214 communicates (transfers programs and data) with devices external to the control device 111 (for example, the projection device 112 and the imaging device 113).
  • the communication unit 214 may have a wired communication function, a wireless communication function, or both.
  • the drive 215 reads information (program, data, etc.) stored in the removable medium 221 mounted on itself, for example, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 215 supplies information read from the removable medium 221 to the control unit 201 and the like.
  • the drive 215 can store information (program, data, etc.) supplied from the control unit 201 or the like in the removable medium 221.
  • FIG. 3 is a functional block diagram illustrating an example of functions realized by the control device 111 executing a program or the like. As illustrated in FIG. 3, the control device 111 has functions of, for example, a sensing processing unit 251, a posture estimation unit 252, and a geometric correction unit 253 by executing a program.
  • the sensing processing unit 251 performs processing related to sensing. For example, the sensing processing unit 251 performs corresponding point detection between the pixels of the projection device 112 and the pixels of the imaging device 113 using the captured image obtained by the imaging device 113. The sensing processing unit 251 supplies the processing result (information on corresponding points between the projection device 112 and the imaging device 113) to the posture estimation unit 252.
  • the posture estimation unit 252 performs processing related to estimation of the posture of the projection device 112 and the imaging device 113. For example, the posture estimation unit 252 estimates a posture-related parameter (variable) of at least one of the projection device 112 and the imaging device 113 using an image projection model using a distortion coefficient of an f ⁇ lens (posture). To calculate the estimated value of the variable).
  • a posture-related parameter variable
  • the posture estimation unit 252 estimates a posture-related parameter (variable) of at least one of the projection device 112 and the imaging device 113 using an image projection model using a distortion coefficient of an f ⁇ lens (posture).
  • the parameters relating to the posture may be any parameters, but for example, may include at least one of the internal parameters (also referred to as internal variables) of the projection device 112 and the imaging device 113.
  • the internal parameter may be anything, for example, among parameters (k inv ) corresponding to the inverse transformation of the focal length, principal point, and lens distortion coefficient of the projection device 112 or the imaging device 113, You may make it include at least any one.
  • the parameters related to the posture may include at least one of external parameters (also referred to as external variables) of the projection device 112 and the imaging device 113.
  • the external parameter may be any type, and may include, for example, at least one of a rotation matrix and a translation vector with respect to the origin of the world coordinate system of the projection device 112 or the imaging device 113.
  • the posture estimation unit 252 estimates a parameter related to this posture based on the information about the corresponding points between the projection device 112 and the imaging device 113 supplied from the sensing processing unit 251. In addition, the posture estimation unit 252 determines a parameter related to this posture based on a representative value (also referred to as an internal variable representative value) of at least one of the internal parameters of the projection device 112 and the imaging device 113 that are determined in advance. presume.
  • a representative value also referred to as an internal variable representative value
  • the posture estimation unit 252 determines the estimated value of the obtained parameter (the estimated value of the internal parameter (also referred to as the internal variable estimated value) of at least one of the projection device 112 and the imaging device 113) and the estimated value of the external parameter (external At least one of the variable estimation values) is supplied to the geometric correction unit 253.
  • the geometric correction unit 253 performs processing related to geometric correction of the image.
  • the geometric correction unit 253 is a parameter (for example, geometric correction vector data) used for geometric correction of an image input from the outside via the cable 114 based on the estimated value of the parameter supplied from the posture estimation unit 252. Is calculated.
  • the posture estimation unit 252 includes an imaging variable estimation unit 261, a projection variable estimation unit 262, and an overall optimization unit 263.
  • the imaging variable estimation unit 261 performs processing related to estimation of at least one of internal parameters and external parameters (also referred to as imaging variables) of the imaging device 113.
  • the projection variable estimation unit 262 performs processing related to estimation of at least one of internal parameters and external parameters (also referred to as projection variables) of the projection device 112.
  • the overall optimization unit 263 includes an estimated value of the imaging variable estimated by the imaging variable estimation unit 261 (also referred to as an imaging variable estimation value) and an estimated value of the projection variable estimated by the projection variable estimation unit 262 (projection variable estimation value). (Also referred to as “optimized”).
  • the posture estimation unit 252 estimates the imaging variable and the projection variable, optimizes the whole, and estimates the internal variable estimated value and the external variable of at least one of the projection device 112 and the imaging device 113. At least one of the estimated values is obtained.
  • the posture estimation unit 252 performs posture estimation as described above using an image projection model using the distortion coefficient of the f ⁇ lens. That is, the imaging variable estimation unit 261 obtains an imaging variable estimation value using an image projection model using the distortion coefficient of the f ⁇ lens. Similarly, the projection variable estimation unit 262 obtains a projection variable estimation value using an image projection model using the distortion coefficient of the f ⁇ lens. Similarly, the overall optimization unit 263 optimizes these parameters as a whole using an image projection model using the distortion coefficient of the f ⁇ lens.
  • control device 111 can suppress a reduction in image projection correction accuracy even when the projection device 112 or the imaging device 113 uses an f ⁇ lens. Therefore, realistic operation of the projection imaging system 100 using the f ⁇ lens becomes possible.
  • the geometric correction unit 253 includes a projection plane modeling unit 271, a virtual viewpoint position projection direction estimation unit 272, a model shift correspondence processing unit 273, and a projection mask generation unit 274.
  • the projection plane modeling unit 271 performs processing related to projection plane modeling (curved surface functioning).
  • the virtual viewpoint position projection direction estimation unit 272 performs processing related to estimation of a virtual viewpoint position serving as a distortion correction reference position and an image projection direction from the virtual viewpoint position.
  • the model deviation correspondence processing unit 273 performs a correspondence process for suppressing a deviation (also referred to as model deviation) between an actual projection plane and its model.
  • the projection mask generation unit 274 performs processing related to generation of a projection mask that limits the projection range of the image by the projection device 112.
  • FIG. 4 is a block diagram illustrating a main configuration example of the projection device 112 which is an embodiment of the information processing device to which the present technology is applied.
  • FIG. 4 shows main components such as a processing unit and a data flow, and the configuration of the projection device 112 is not limited to that shown in FIG. That is, in the projection apparatus 112, there may be a processing unit not shown as a block in FIG. 4, or there may be a process or data flow not shown as an arrow or the like in FIG.
  • the projection device 112 includes a control unit 301, a projection unit 302, an input unit 311, an output unit 312, a storage unit 313, a communication unit 314, and a drive 315.
  • the control unit 301 performs processing related to control.
  • the control unit 301 controls an arbitrary configuration in the projection device 112.
  • the control unit 301 controls driving of the projection unit 302.
  • the control unit 301 may have any configuration.
  • the control unit 301 includes a CPU, a ROM, a RAM, and the like. The CPU loads a program or data stored in the ROM or the like to the RAM and executes the program or data. Thus, the processing may be performed.
  • Projection unit 302 is controlled by control unit 301 to perform processing related to image projection.
  • the projection unit 302 acquires the image data supplied from the control device 111 from the control unit 301 and projects the image on the screen 121.
  • the projection unit 302 has an f ⁇ lens, and projects an image on the screen 121 via the f ⁇ lens.
  • the input unit 311 includes an input device that accepts external information such as user input.
  • the input unit 311 may include a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • the input unit 311 may include various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, and an input device such as a barcode reader.
  • the output unit 312 includes an output device that outputs information such as images and sounds.
  • the output unit 312 may include a display, a speaker, an output terminal, and the like.
  • the storage unit 313 includes a storage medium that stores information such as programs and data.
  • the storage unit 313 may include a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 314 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • the communication unit 314 may be constituted by a network interface, for example.
  • the communication unit 314 communicates (transfers programs and data) with a device outside the projection device 112 (for example, the control device 111).
  • the communication unit 314 may have a wired communication function, a wireless communication function, or both.
  • the drive 315 reads information (program, data, etc.) stored in a removable medium 321 mounted on itself, for example, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 315 supplies information read from the removable medium 321 to the control unit 301 or the like.
  • the drive 315 can store information (program, data, etc.) supplied from the control unit 301 or the like in the removable medium 321.
  • FIG. 5 is a block diagram illustrating a main configuration example of the imaging device 113 which is an embodiment of an information processing device to which the present technology is applied.
  • FIG. 5 illustrates main components such as a processing unit and a data flow, and the configuration of the imaging device 113 is not limited to that illustrated in FIG. 5. That is, in the imaging device 113, there may be a processing unit that is not shown as a block in FIG. 5, or there may be a process or data flow that is not shown as an arrow or the like in FIG.
  • the imaging device 113 includes a control unit 401, an imaging unit 402, an input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415.
  • the control unit 401 performs processing related to control.
  • the control unit 401 controls an arbitrary configuration in the imaging device 113.
  • the control unit 401 controls driving of the imaging unit 402.
  • the control unit 401 may have any configuration.
  • the control unit 401 includes a CPU, a ROM, a RAM, and the like.
  • the CPU loads a program or data stored in the ROM or the like to the RAM and executes the program or data. Thus, the processing may be performed.
  • the imaging unit 402 is controlled by the control unit 401 to perform processing related to imaging of a subject. For example, the imaging unit 402 captures a projection image projected on the screen 121 from the projection device 112 and obtains the captured image data. The imaging unit 402 supplies the captured image data to the control unit 401. The control unit 401 supplies the captured image data to the control device 111 via the communication unit 414. As described above, the imaging unit 402 has an f ⁇ lens, and images the screen 121 (projected image) through the f ⁇ lens.
  • the input unit 411 includes an input device that accepts external information such as user input.
  • the input unit 411 may include a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • the input unit 411 may include various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, and an input device such as a barcode reader.
  • the output unit 412 includes an output device that outputs information such as images and sounds.
  • the output unit 412 may include a display, a speaker, an output terminal, and the like.
  • the storage unit 413 includes a storage medium that stores information such as programs and data.
  • the storage unit 413 may include a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 414 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • the communication unit 414 may be constituted by a network interface, for example.
  • the communication unit 414 communicates (transfers programs and data) with a device outside the imaging device 113 (for example, the control device 111).
  • the communication unit 414 may have a wired communication function, a wireless communication function, or both.
  • the drive 415 reads information (programs, data, etc.) stored in a removable medium 421 mounted on the drive 415, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 415 supplies information read from the removable medium 421 to the control unit 401 or the like.
  • information (program, data, etc.) supplied from the control unit 401 or the like can be stored in the removable medium 421.
  • the control device 111 of the projection imaging system 100 calibrates projection variables (internal parameters and external parameters of the projection device 112) and imaging variables (internal parameters and external parameters of the imaging device 113) by executing calibration processing. It can be carried out.
  • the sensing processing unit 251 performs the sensing process and detects corresponding points in step S101.
  • the correspondence between the pixels between the projection device 112 (for example, a projector) and the imaging device 113 (for example, a camera) is obtained by the Structured Light method. More specifically, for example, the projection device 112 (for example, a projector) switches a pattern (for example, a gray code or a checker pattern) in which the pixels are encoded in the time direction while switching in a time series, so that the dome-shaped screen 121 is used. Project against.
  • the imaging device 113 (for example, a camera) captures a projected image of each pattern.
  • the control device 111 obtains corresponding points between the pixels of the projection device 112 and the pixels of the imaging device 113 based on the patterns included in the captured images.
  • the process proceeds to step S102.
  • step S102 the posture estimation unit 252 performs posture estimation processing based on the information regarding the corresponding points obtained in step S101, and obtains internal variable estimated values and external variable estimated values of the projection device 112 and the imaging device 113, respectively. .
  • the posture estimation unit 252 makes the internal variables and external variables of the projection device 112 and the imaging device 113 unknown, and after the projection device 112 and the imaging device 113 are arranged on the screen 121 on which the projection device 112 projects an image, Each variable is estimated according to the arrangement. That is, in the case of this method, it is not necessary to perform a calibration procedure in advance for the internal variables and the external variables of the projection device 112 and the imaging device 113.
  • the projection device 112 and the imaging device 113 have representative values of respective internal variables (for example, focal length, principal point, lens distortion, etc.) as initial values, and the posture estimation unit 252 uses the representative values to perform posture estimation. Processing may be performed.
  • the focal length and the principal point may be set based on the resolution of the captured image or the projected image.
  • the lens distortion coefficient may be an average value of values obtained by calibrating a plurality of projection devices 112 and imaging devices 113 in advance.
  • These internal variables are only used as initial values.
  • the posture estimation unit 252 re-estimates all these internal variables through the processing in step S102 (posture estimation processing).
  • control device 111 performs this posture estimation processing even when the projection device 112 and the imaging device 113 are configured by a projection device and an imaging device that are not used for obtaining the representative value of the internal variable. Thus, it is possible to suppress a reduction in image projection correction accuracy.
  • the posture estimation unit 252 also estimates external variables of the projection device 112 and the imaging device 113 in this posture estimation processing. This external variable does not require an initial value, and can be automatically estimated from a completely unknown state in this process.
  • step S103 the geometric correction unit 253 performs geometric correction processing using the respective internal variable estimated values and external variable estimated values of the projection device 112 and the imaging device 113 obtained by the processing in step S102, and the geometric correction vector. Ask for data.
  • step S103 When the process of step S103 is completed, the calibration process is completed.
  • the imaging variable estimation unit 261 of the posture estimation unit 252 estimates internal variables and external variables (that is, imaging variables) of the imaging device 113 in step S121.
  • the external variable can be estimated by this processing, and prior estimation is unnecessary.
  • representative values are used as initial values.
  • the imaging variable estimation unit 261 estimates a parameter related to the posture of the imaging device 113 (that is, an imaging variable) using an image projection model using a distortion coefficient of the f ⁇ lens.
  • the process proceeds to step S122.
  • step S122 the projection variable estimation unit 262 estimates internal variables and external variables (that is, projection variables) of the projection device 112.
  • the projection variable is estimated by the same method as that for the imaging variable estimation in step S121.
  • step S123 the overall optimization unit 263 determines the imaging variable estimated values (internal variable estimated values and external variable estimated values of the imaging device 113) obtained in step S121 and the projection variable estimated values obtained in step S122. (Internal variable estimated value and external variable estimated value of the projection device 112) are optimized.
  • step S123 When the estimated value of each variable is optimized and the process of step S123 is completed, the posture estimation process is terminated, and the process returns to FIG.
  • the posture estimation unit 252 performs the posture estimation processing, thereby performing internal parameters (parameter k inv corresponding to the inverse transformation of the focal length, principal point, and lens distortion coefficient) and external parameters (world coordinates).
  • internal parameters parameter k inv corresponding to the inverse transformation of the focal length, principal point, and lens distortion coefficient
  • external parameters world coordinates.
  • a final estimation value is obtained by independently estimating and optimizing the rotation matrix and translation vector with respect to the origin of the system, and finally performing simultaneous optimization.
  • the coordinate value X in the world coordinate system of the 3D point P in the 3D space is the rotation matrix R from the world coordinate system to the camera coordinate system, translation vector Using T, it is expressed as the following formula (1).
  • the distortion coefficient k of the fisheye lens is defined as in the following equation (6), and the homogeneous coordinates x ′ and y ′ in consideration of the distortion are calculated as in the following equations (7) to (9). .
  • ⁇ Parameters corresponding to inverse transformation of lens distortion coefficient In order to perform ray tracing by applying such a model, in this method, a parameter k inv corresponding to the inverse transformation of the lens distortion coefficient is used as an internal variable.
  • the pixel value represented by the image coordinate system of the projection device 112 (or the imaging device 113) corresponding to a point on the three-dimensional space is defined as an ideal space without distortion in the three-dimensional space with the measurement target. Is considered to contain distortion.
  • k is defined as a parameter for reprojecting from a three-dimensional space to a distorted two-dimensional image direction. Repetitive distortion compensation is required.
  • the parameter k corresponding to the inverse transformation of the lens distortion coefficient k in order to correct the distortion of the coordinate values of the projection device 112 and the imaging device 113 using the above-described equations (7) to (9). Inv is introduced.
  • k inv distortion correction can be performed uniformly for all pixels.
  • an increase in calculation cost can be suppressed as compared with the method of compensating for each pixel.
  • the parameter k inv is initially estimated by the following procedure using the value of the distortion coefficient k, and then re-estimated in an optimization process (parameter estimation process) described later.
  • the points (pixels) used for estimation are a sufficient number of points sampled at equal intervals in the vertical and horizontal directions from the entire image, and the lens distortion coefficient k in the two-dimensional image direction (reprojection direction) with distortion is, for example, a plurality of points It is assumed that there is a reasonable initial value such as a representative value generated from an average value of calibration values of the projection device 112 (projector) or the imaging device 113 (camera).
  • step S121 and step S122 in FIG. 8 the parameter k inv corresponding to the inverse transformation of the lens distortion coefficient is re-estimated. This re-estimation is realized by nonlinear optimization that minimizes the distance between corresponding rays (triangulation error) obtained from the pixel correspondence of the projection device 112 and the imaging device 113.
  • An example of the flow of parameter estimation processing performed in step S121 and step S122 in FIG. 8 will be described with reference to the flowchart in FIG. For example, the Levenberg-Marquardt method is used as an algorithm for nonlinear optimization.
  • the imaging variable estimation unit 261 sets, for example, the parameter k inv as an estimation target parameter in step S141.
  • the parameter k inv can be specified. Multiple parameters can be specified at the same time.
  • step S142 the imaging variable estimation unit 261 (or the projection variable estimation unit 262) performs distortion correction on each corresponding point using the parameter k inv corresponding to the inverse transformation of the lens distortion coefficient.
  • the three-dimensional space is defined as an ideal space without distortion, and the captured image and the projected image are defined as including distortion due to the f ⁇ lens. That is, the pixel correspondence between the projection device 112 and the imaging device 113 acquired in advance is obtained as a correspondence relationship between image coordinates including distortion. Therefore, in order to perform ray tracing in a three-dimensional space from this correspondence, it is necessary to use image coordinate values that do not include distortion.
  • the imaging variable estimator 261 tracks the corresponding ray and calculates a triangulation point (approximate calculation).
  • a triangulation point approximately a triangulation point
  • the imaging variable estimator 261 tracks the corresponding ray and calculates a triangulation point (approximate calculation).
  • Expression (10) and Expression (11) projecting image distortion-free image coordinates in the three-dimensional space direction, it becomes possible to trace the light ray corresponding to the pixel. That is, as shown in FIG. 11, the corresponding pixel 601A of the two-dimensional plane image 611A with distortion is converted into the corresponding pixel 602A on the image 612A by distortion correction. Similarly, the corresponding pixel 601B of the distorted two-dimensional plane image 611B is converted into the corresponding pixel 602B on the image 612B by distortion correction. As described above, it is possible to measure a corresponding three-dimensional point as an intersection of light rays obtained by projecting the corresponding pixels between the projection device 112 and the imaging device
  • the distance between the rays corresponding to the triangulation point is defined as an error between rays (triangulation error).
  • error When the error is 0, it means that the corresponding rays intersect at one point in the three-dimensional space.
  • the process proceeds to step S144.
  • step S144 the imaging variable estimator 261 (or projection variable estimator 262) calculates the average error of the entire corresponding points based on the measurement error obtained by the process of step S143.
  • step S145 the imaging variable estimation unit 261 (or projection variable estimation unit 262) determines whether or not all corresponding points have been processed. If it is determined that there is an unprocessed corresponding point, the process returns to step S141, and the subsequent processes are performed. That is, steps S141 to S145 are executed for each corresponding point. If it is determined in step S145 that all corresponding points have been processed, the process proceeds to step S146.
  • step S146 the imaging variable estimation unit 261 (or projection variable estimation unit 262) determines whether or not the average error calculated in step S144 is equal to or less than a predetermined threshold value. If it is determined that the average error is greater than the predetermined threshold, the process proceeds to step S147.
  • step S147 the imaging variable estimation unit 261 (or the projection variable estimation unit 262) corrects the estimation parameter (for example, the parameter k inv and other parameters). Note that, in order to realize highly accurate estimation, corresponding points that cause a very large error are appropriately removed in each processing block and are not used for estimation.
  • the process of step S147 ends, the process returns to step S141, and the subsequent processes are performed. That is, the processes in steps S141 to S147 are repeated until the average error of all corresponding points is optimized to a predetermined threshold value or less.
  • step S146 when it is determined that the average error is equal to or smaller than the predetermined threshold value and the parameter is optimized, the parameter estimation process is terminated, and the process returns to FIG.
  • outliers are removed so that points outside the screen 121 and points with poor sensing accuracy are not used for estimation.
  • the triangulation point is obtained as shown in the upper side of FIG. 12
  • the corresponding ray error of the projection device 112 and the imaging device 113 is obtained, and the corresponding ray error is obtained as shown in the lower side of FIG.
  • the optimization to minimize and the removal of sensing points with a large corresponding ray error are repeated. By doing in this way, when the highly accurate corresponding point information can be obtained by the sensing process, the internal variable and the external variable can be estimated with higher accuracy.
  • the projection plane modeling unit 271 of the geometric correction unit 253 reconstructs the projection plane using parameters related to posture estimation of the projection device 112 and the imaging device 113 in step S161, and performs the secondary operation. Fitting a curved surface.
  • the virtual viewpoint position projection direction estimation unit 272 estimates the virtual viewpoint position and the projection direction of the image from the virtual viewpoint position. For example, it is assumed that the screen shape model 701 is set as shown in FIG. 14 by the processing in step S161.
  • the virtual viewpoint position projection direction estimation unit 272 sets the virtual viewpoint 702 in front of the screen shape model 701 and sets the projection direction (front) from the virtual viewpoint 702.
  • the virtual viewpoint position projection direction estimation unit 272 determines a front direction from a measured three-dimensional point group as shown in FIG. 15A by using a screen as shown in FIG. 15B. A point cloud corresponding to the edge of 121 is selected. Further, the virtual viewpoint position projection direction estimation unit 272 fits the point group to a plane as shown in C of FIG. The normal direction of the plane is the front direction viewed from the viewpoint camera. Furthermore, generally, since the projection device 112-1 and the projection device 112-2 are arranged at substantially the same height, the horizontal direction is determined based on the height of the projection device 112. The vertical direction is finally determined as a vector orthogonal to these two directions. Such estimation of the virtual viewpoint position and the projection direction is automatically performed from the measured information, and it is not necessary to explicitly give the direction manually.
  • the virtual viewpoint position and the projection direction are estimated, so that it is possible to generate a geometric correction vector so that the image can be viewed geometrically correctly from the position assuming that the screen 121 is in front of the virtual viewpoint position. Become.
  • step S163 the model deviation corresponding processing unit 273 determines whether or not the model deviation is supported. If there is a deviation (model deviation) between the projection plane and the model and it is determined that the model deviation corresponds to the process, the process proceeds to step S164.
  • step S164 the model deviation correspondence processing unit 273 performs model deviation correspondence interpolation processing.
  • the corresponding point information of the projection device 112 and the imaging device 113 and the estimated values of the internal variables and the external variables are used.
  • the three-dimensional point 721 is measured.
  • a quadratic curved screen shape model 701 for example, an ellipsoid, a hyperboloid, a cylinder, etc.
  • a spherical screen is usually modeled as an ellipsoid.
  • a geometric correction vector is generated from the position of the intersection point of the model in which the interpolation value of the distance between the spherical center of the spherical model and the triangulation point is assumed as the radius. That is, in the case of the example of FIG. 18, since the three-dimensional point 741 on the screen shape model 701A and the three-dimensional point 742 on the screen shape model 701B are measured as triangulation points, the space between these three-dimensional points is measured. A three-dimensional point 743 (a temporary intersection on the screen shape model 701C obtained by interpolating the radius from the sphere center) is interpolated, and a geometric correction vector is generated using the three-dimensional point 743.
  • step S165 the model deviation correspondence processing unit 273 generates a correction vector with model deviation correspondence (also referred to as a model deviation correspondence correction vector).
  • a correction vector with model deviation correspondence also referred to as a model deviation correspondence correction vector.
  • step S166 the model deviation correspondence processing unit 273 generates a correction vector (also referred to as a model deviation non-corresponding correction vector) without corresponding to the model deviation.
  • step S167 the process proceeds to step S167.
  • step S167 the projection mask generation unit 274 limits the projection range of the image to a range included in the screen 121 (that is, limits the projection image so that it does not protrude outside the screen 121 (contains within the screen 121)). ) Generate a projection mask.
  • the projection mask generation unit 274 outputs geometric correction vector data including the correction vector generated in step S165 or step S166 and the projection mask generated in step S167. When the process of step S167 ends, the geometric correction process ends, and the process returns to FIG.
  • control device 111 performs a projection correction for the dome-shaped screen 121 using the plurality of projection devices 112 using f ⁇ lenses, and a three-dimensional approach using the projection imaging system 100. Can be realized.
  • the correction is based on the quadratic surface model based on the three-dimensional information such as the screen shape, the geometrical correctness of the image, such as the straight line appearing as a straight line, is guaranteed.
  • the projection imaging system 100 having a fish-eye (equal distance projection) optical system that cannot be handled by the method using the projector / camera system based on the existing perspective projection optical system, the projection device 112 and the imaging device 113 are used. From the calibration of the internal and external variables to the projection correction can be easily performed.
  • the geometrically correct correction for the set virtual viewpoint without arranging the imaging device 113 at a position where the imaging apparatus 113 is desired to be the viewpoint.
  • the geometrically correct projection image from the front of the screen 121 can be corrected based on information obtained by projecting and photographing the projection device 112 and the imaging device 113 on the side of the screen 121 instead of the front.
  • the parameter k inv corresponding to the inverse transformation of the lens distortion coefficient of the projection device 112 is introduced, and the pixels are uniformly corrected with the parameter k inv. There is no need to compensate using the lens distortion coefficient k.
  • the projection including k inv by optimization that minimizes the distance between the corresponding rays Re-estimation of internal variables and external variables of the device 112 and the imaging device 113 can be realized.
  • control device 111 has been described so as to estimate the internal variables and the external variables of the projection device 112 and the imaging device 113, but the present method is not limited to this example.
  • the control device 111 may estimate an internal variable and an external variable of any one of the projection device 112 and the imaging device 113.
  • the other internal variable and external variable may be determined in advance or may be estimated by another device.
  • control device 111 may estimate either an internal variable or an external variable.
  • the other variable may be determined in advance or may be estimated by another device.
  • control device 111 may estimate at least one of the internal variable and the external variable of at least one of the projection device 112 and the imaging device 113.
  • Second Embodiment> ⁇ Other configurations> Note that the configuration of the imaging system to which the present technology is applied is not limited to the example of FIG. 1 described above.
  • the numbers of the control device 111, the projection device 112, and the imaging device 113 are arbitrary. For example, there may be a plurality of control devices 111, or there may be three or less projection devices 112 and imaging devices 113, or five or more. Further, the number of the projection devices 112 and the imaging devices 113 may not be the same.
  • the projection device 112 and the imaging device 113 have been described as being connected to the control device 111 via the cable 115, but the connection method is arbitrary as long as they can communicate with each other.
  • the communication between the control device 111 and the projection device 112 or the imaging device 113 may be wired communication, wireless communication, or both.
  • the control device 111 to the imaging device 113 may be communicably connected via a network that is an arbitrary communication network, for example.
  • the communication method adopted in this network is arbitrary.
  • wired communication, wireless communication, or both of them may be used.
  • this network may be configured by a single communication network or may be configured by a plurality of communication networks.
  • the network may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • the projection device 112 and the imaging device 113 may be integrated.
  • the projection imaging system 100 may be configured by a projection imaging device 801-1, a projection imaging device 801-2, and a control device 111.
  • the projection imaging device 801-1 includes a projection unit 811-1 and an imaging unit 812-1.
  • the projection unit 811-1 has the same function as the projection device 112-1 in FIG.
  • the imaging unit 812-1 has the same function as the imaging device 113-1 in FIG. That is, the projection imaging device 801-1 has the functions of the projection device 112-1 and the imaging device 113-1.
  • the projection imaging apparatus 801-2 includes a projection unit 811-2 and an imaging unit 812-2.
  • the projection unit 811-2 has the same function as the projection device 112-2 in FIG.
  • the imaging unit 812-2 has the same function as the imaging device 113-2 in FIG. That is, the projection imaging device 801-2 has the functions of the projection device 112-2 and the imaging device 113-2.
  • the control device 111 is communicably connected to the projection imaging device 801-1 via the cable 115-1, and controls the projection imaging device 801-1 through the communication to supply an image and place the image on the projection surface. Projecting is performed, or a projected image projected on the projection plane is captured to acquire the captured image.
  • the control device 111 is communicably connected to the projection imaging device 801-2 via the cable 115-2, and controls the projection imaging device 801-2 by the communication, supplies an image, and projects the image.
  • the projected image is projected onto a plane (for example, the screen 121) or the projected image projected onto the projected plane is captured to acquire the captured image.
  • the projection imaging system 100 can perform image projection correction by applying the present technology, as in the case of FIG.
  • the projection imaging apparatus 801-1 and the projection imaging apparatus 801-2 are referred to as the projection imaging apparatus 801 when it is not necessary to distinguish between them. Further, when there is no need to distinguish between the projection unit 811-1 and the projection unit 811-2, the projection unit 811-1 and the projection unit 811-2 are referred to as a projection unit 811. In addition, the imaging unit 812-1 and the imaging unit 812-2 are referred to as the imaging unit 812 when there is no need to distinguish them from each other.
  • the number of projection imaging devices 801 is arbitrary, and may be, for example, three or more.
  • the number of projection units 811 and imaging units 812 included in the projection imaging apparatus 801 is arbitrary, and may be plural, or the number of projection units 811 and imaging units 812 may not be the same. Further, the numbers of the projection units 811 and the imaging units 812 do not have to match between the projection imaging devices 801. Further, the projection imaging apparatus 801 and the projection apparatus 112 or the imaging apparatus 113 or both may be mixed in the projection imaging system 100.
  • control device 111 may be integrated with other devices.
  • the projection imaging system 100 may be configured by an imaging device 820, a projection device 112, and a projection imaging device 801.
  • the imaging device 820 includes an imaging unit 812-1 and a control unit 821.
  • the control unit 821 has the same function as the control device 111 of FIG. 1 or 19A. That is, the imaging device 820 has the functions of the imaging device 113 and the control device 111.
  • the imaging device 820, the projection device 112, and the projection imaging device 801 are connected to each other via a cable 115 so as to communicate with each other.
  • the control unit 821 of the imaging device 820 controls the projection unit 811-1 of the projection device 112 and the projection unit 811-2 of the projection imaging device 801 via the cable 115, and projects the image onto the projection plane (for example, the screen 121).
  • the control unit 821 controls the imaging unit 812-1 or controls the imaging unit 812-2 of the projection imaging apparatus 801 via the cable 115 to capture the projection image projected on the projection plane.
  • the control unit 821 can perform geometric correction by applying the present technology to the image and project the image after geometric correction.
  • the projection imaging system 100 can perform image projection correction by applying the present technology, as in the case of FIG.
  • control device 111 may be integrated with the projection device 112, the projection imaging device 801, or the like other than the imaging device 113. That is, the configuration of the apparatus including the control unit 821 is arbitrary, and the number of the projection units 811 and the imaging units 812 included in the apparatus is arbitrary. Further, the number of devices having the control unit 821 is arbitrary and may be plural. Further, the configuration of the projection imaging system 100 other than the apparatus having the control unit 821 is arbitrary, and is not limited to the example of B in FIG.
  • a projection imaging device 830 may be used.
  • the projection imaging apparatus 830 includes a projection unit 811-1, a projection unit 811-2, an imaging unit 812-1, an imaging unit 812-2, and a control unit 821. That is, the projection imaging apparatus 830 has the same configuration as the projection imaging system 100 in FIG. In this way, the present technology may be applied inside the projection imaging apparatus 830.
  • the configuration of the projection imaging apparatus 830 is arbitrary, and is not limited to the example of C in FIG.
  • the numbers of the control unit 821, the projection unit 811, and the imaging unit 812 are arbitrary.
  • this recording medium is constituted by a removable medium 221 on which the program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 221 for example, by installing the removable medium 221 in the drive 215, the program stored in the removable medium 221 can be read and installed in the storage unit 213.
  • this recording medium is constituted by a removable medium 321 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the program stored in the removable medium 321 can be read and installed in the storage unit 313.
  • this recording medium is configured by a removable medium 421 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the program stored in the removable medium 421 can be read and installed in the storage unit 413.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 214 and installed in the storage unit 213.
  • the program can be received by the communication unit 314 and installed in the storage unit 313.
  • the program can be received by the communication unit 414 and installed in the storage unit 413.
  • this program can be installed in advance in a storage unit or ROM.
  • the program in the case of the control device 111 in FIG. 2, the program can be installed in advance in a ROM (not shown) or the like built in the storage unit 213 or the control unit 201.
  • the program in the case of the projection apparatus 112 of FIG. 4, the program can be installed in advance in a ROM (not shown) or the like built in the storage unit 313 or the control unit 301.
  • the program can be installed in advance in a ROM (not shown) or the like built in the storage unit 413 or the control unit 401.
  • the present technology may be any configuration installed in any device or a device constituting the system, for example, a processor (for example, a video processor) as a system LSI (Large Scale Integration) or the like, a module (for example, a video) Modules), units using a plurality of modules (for example, video units), sets obtained by adding other functions to the units (for example, video sets), etc. (that is, a configuration of a part of the apparatus).
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • modules for example, a video Modules
  • units using a plurality of modules for example, video units
  • sets obtained by adding other functions to the units for example, video sets
  • the present technology can also be applied to a network system including a plurality of devices.
  • a network system including a plurality of devices.
  • it can also be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, IoT (Internet of Things) devices, etc. it can.
  • systems, devices, processing units, etc. to which this technology is applied shall be used in any field such as traffic, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factory, home appliance, weather, nature monitoring, etc. Can do. Moreover, the use is also arbitrary.
  • the present technology can be applied to a system or device used for providing ornamental content or the like.
  • the present technology can also be applied to systems and devices used for traffic such as traffic situation management and automatic driving control.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for automatic control of a machine or the like.
  • the present technology can also be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans, and wildlife.
  • the present technology can be applied to a system or a device provided for sports.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or a system, for example, a processor (eg, a video processor) as a system LSI (Large Scale Integration), a module using a plurality of processors (eg, a video module), a plurality of modules, etc. Etc. (for example, a video unit), a set obtained by further adding other functions to the unit (for example, a video set), etc. (that is, a part of the apparatus).
  • a processor eg, a video processor
  • LSI Large Scale Integration
  • a module using a plurality of processors eg, a video module
  • a plurality of modules e.g., a plurality of modules, etc.
  • Etc. for example, a video unit
  • a set obtained by further adding other functions to the unit for example, a video set
  • a part of the apparatus that is, a part of the apparatus.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • a projection unit that projects an image using an image projection model using a distortion coefficient of an f ⁇ lens in which an image height of incident light is represented by a product of a focal length f and an incident angle ⁇ of the incident light
  • An information processing apparatus comprising: a posture estimation unit that performs posture estimation of an imaging unit that images a projection plane onto which an image is projected.
  • the posture estimation unit estimates a posture-related parameter of at least one of the projection unit and the imaging unit using the image projection model.
  • the parameter related to the posture includes an internal parameter of at least one of the projection unit and the imaging unit.
  • the internal parameter includes at least one of parameters corresponding to a focal length, a principal point, and an inverse transformation of the distortion coefficient of the projection unit or the imaging unit. Processing equipment.
  • the parameter related to the posture includes an external parameter of at least one of the projection unit and the imaging unit.
  • the external parameter includes at least one of a rotation matrix and a translation vector with respect to an origin of a world coordinate system of the projection unit or the imaging unit.
  • the posture estimation unit includes: Perform distortion correction of the pixels of the projection unit and the imaging unit using parameters corresponding to the inverse transformation of the distortion coefficient, The information processing apparatus according to any one of (2) to (6), wherein a parameter related to the posture is estimated by detecting corresponding points by ray tracing using the projection unit and the imaging unit after distortion correction. (8) The information processing apparatus according to (7), wherein the posture estimation unit optimizes parameters related to the posture so that an average error of the detected corresponding points is equal to or less than a predetermined threshold.
  • the posture estimation unit If the average error is not less than or equal to the threshold, modify the parameters used to estimate the parameters related to the posture, The information processing apparatus according to (8), wherein the estimation of the parameter related to the posture is repeated until the average error is equal to or less than the threshold value. (10) The information processing apparatus according to (8) or (9), wherein the posture estimation unit optimizes parameters related to the posture by removing corresponding points with large errors as outliers. (11) The posture estimation unit includes: Estimating a parameter related to the posture of the projection unit; Estimating a parameter related to the posture of the imaging unit; The information processing apparatus according to any one of (7) to (10), wherein the estimated parameter related to the posture of the projection unit and the parameter related to the posture of the imaging unit are optimized.
  • the image processing apparatus further includes a geometric correction unit that generates vector data for geometric correction of an image projected by the projection unit using the posture-related parameter estimated by the posture estimation unit (2) to (11)
  • the information processing apparatus according to any one of the above.
  • the geometric correction unit includes: A projection plane is obtained using parameters related to the posture estimation of the projection unit and the imaging unit, and the projection plane is modeled as a quadric surface, The information processing apparatus according to (12), wherein the vector data is generated using the obtained model of the projection plane.
  • the geometric correction unit estimates a virtual viewpoint position in front of the projection plane and a projection direction from the virtual viewpoint position using the model of the projection plane, and suppresses distortion at the virtual viewpoint position.
  • the information processing apparatus according to (13), wherein the vector data is generated.
  • the information processing apparatus performs a model deviation handling process that suppresses an error due to a difference between an actual projection plane and the model.
  • the geometric correction unit generates a projection mask that limits a projection range for an image to be projected.
  • It further includes a corresponding point detection unit that detects a corresponding point between the projection unit and the imaging unit,
  • the posture estimation unit performs posture estimation of the projection unit and the imaging unit using the corresponding points detected by the corresponding point detection unit.
  • the information processing apparatus according to any one of (1) to (17), further including the projection unit.
  • the information processing apparatus according to any one of (1) to (18), further including the imaging unit.
  • 100 projection imaging system 111 control device, 112 projection device, 113 imaging device, 201 control unit, 251 sensing processing unit, 252 attitude estimation unit, 253 geometric correction unit, 261 imaging variable estimation unit, 262 projection variable estimation unit, 263 Optimizer, 271 Projection plane modeling unit, 272 Virtual viewpoint position projection direction estimation unit, 273 Model deviation handling processing unit, 274 Projection mask generation unit, 301 control unit, 302 projection unit, 401 control unit, 402 imaging unit, 801 Projection imaging device, 811 projection unit, 812 imaging unit, 820 imaging device, 821 control unit, 830 projection imaging device

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

本開示は、画像投影補正精度の低減を抑制することができるようにする情報処理装置および方法に関する。 入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部およびその画像が投影される投影面を撮像する撮像部の姿勢推定を行う。本開示は、例えば、情報処理装置、投影装置、撮像装置、投影撮像装置、投影撮像制御装置、または画像投影撮像システム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、画像投影補正精度の低減を抑制することができるようにした情報処理装置および方法に関する。
　従来、プロジェクタ・カメラシステムを用いた３次元形状計測による投影補正技術においては、投影面（スクリーン）の形状を３次元的に計測して、その計測情報を基に投影画の幾何的な補正を行う方法があった。この３次元形状計測のためには、プロジェクタとカメラの個別の特性を表す内部パラメータ（例えば、焦点距離、主点、レンズ歪み係数等）と相対的な位置・姿勢を表す外部パラメータを推定（キャリブレーション）する必要があった。
　例えば、プロジェクタやカメラの内部変数および外部変数の内のいずれか一方を事前にキャリブレーションしておき、他方を、装置構成後に計測して得た情報に基づいてキャリブレーションする方法があった（例えば、特許文献１および特許文献２参照）。
　このようなプロジェクタ・カメラシステムを用いた３次元形状計測による投影補正技術は、通常のプロジェクタに用いられている所謂ftanθレンズ系を前提としていた。ftanθレンズを有するプロジェクタを用いるプロジェクタ・カメラシステムの投影補正の場合、プロジェクタのレンズの歪みの影響は、他の内部パラメータや外部パラメータによる影響に比べて非常に小さい。そのため、この歪みを無視してキャリブレーションしても十分に高精度な投影補正が可能である。
特開２０１５－１４２１５７号公報 特開２００５－２４４８３５号公報
　しかしながら、所謂fθレンズは、ftanθレンズに比べてレンズ歪みの影響が非常に大きい。そのため、このfθレンズを有するプロジェクタを用いるプロジェクタ・カメラシステムの投影補正の場合、ftanθレンズ系の場合のように歪みを無視したキャリブレーションを行うと、投影補正の精度がftanθレンズ系の場合よりも低減してしまうおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、画像投影補正精度の低減を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う姿勢推定部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、入射光の像高が焦点距離ｆとその入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部およびその画像が投影される投影面を撮像する撮像部の姿勢推定が行われる。
　本開示によれば、画像投影を補正することができる。特に、画像投影補正精度の低減を抑制することができる。
投影撮像システムの主な構成例を示すブロック図である。 制御装置の主な構成例を示すブロック図である。 制御部が実現する主な機能の例を示す機能ブロック図である。 投影装置の主な構成例を示すブロック図である。 撮像装置の主な構成例を示すブロック図である。 キャリブレーション処理の流れの例を説明するフローチャートである。 Structured Lightによる画素対応取得の様子の例を示す図である。 姿勢推定処理の流れの例を説明するフローチャートである。 パラメータ推定処理の流れの例を説明するフローチャートである。 歪み補正の様子の例を示す図である。 歪みを考慮した光線追跡の様子の例を示す図である。 姿勢推定の様子の例を示す図である。 幾何補正処理の流れの例を説明するフローチャートである。 仮想視点に対する幾何投影補正の様子の例を示す図である。 仮想視点の設定の様子の例を示す図である。 ２次曲面フィッティングの様子の例を示す図である。 モデルずれの様子の例を示す図である。 モデルずれ対応処理の様子の例を示す図である。 投影撮像システムの他の構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．画像投影補正
　２．第１の実施の形態（fθレンズを用いた投影撮像システム）
　３．第２の実施の形態（投影撮像システムの他の構成例）
　４．付記
　＜１．画像投影補正＞
　　＜ftanθレンズ系の投影補正＞
　スクリーンに対して複数のプロジェクタで１つの映像を投影するためには、各プロジェクタの投影画がスクリーンの曲面上で歪むことを考慮し、幾何的に正しく歪みのないように補正する技術が必要である。この補正方法として、配置したプロジェクタからパターンやマーカ等を投射し、併設したカメラやセンサ等で情報を得て補正を行う方法が考えられた。
　例えば、非平面投影におけるカメラを用いた投影補正技術として、撮影画像の画としての見えを基に補正を行う２次元情報による手法と、カメラとプロジェクタの特性を表す内部変数と、相対的な位置・姿勢を表す外部変数とをそれぞれ推定（＝キャリブレーション）し、プロジェクタの投射範囲、すなわち、スクリーンの形状を計測して得た情報を基に補正を行う３次元情報による手法が提案されている。
　２次元情報による手法は、プロジェクタとカメラのキャリブレーションが必要なく、装置構成が簡便なものであるが、補正画が幾何的に正しいこと（例えば、直線がカメラの視点から直線として見えるように補正されていること）が保証されない。これに対して、３次元情報による手法は、スクリーンの形状に即した補正となるため、幾何的な正しさが保証されやすいが、キャリブレーションの手続きが必要である。
　つまり、３次元情報による手法の場合、プロジェクタが対象に向けてパターンやマーカを投影し、カメラがそれを撮像し、制御装置が、その撮像画像を用いてプロジェクタとカメラの画素対応を求め、三角測量の原理により奥行情報（デプス（Depth））を計測する。このとき、制御装置がプロジェクタとカメラの画素対応関係からデプスを計測するためには、プロジェクタとカメラの内部変数や相対的な位置・姿勢を推定する手続き、すなわち、３次元情報による手法の場合、キャリブレーションが必要である。
　そこで、例えば、各プロジェクタ・カメラ筐体の全ての内部・外部変数について装置構成前に事前にキャリブレーションしておくか、または、例えば特許文献１および特許文献２のように、各プロジェクタ・カメラ筐体の内部変数および外部変数の内のいずれか一方を事前にキャリブレーションしておき、他方を、装置構成後に計測して得た情報を基にキャリブレーションする方法が考えられた。
　しかしながら、これらの方法では、プロジェクタやカメラが動いてしまったり、ズーム・シフト等により内部変数が変化してしまったりした場合に、再度キャリブレーションを行う際に煩雑な作業を行う必要があった。複数のプロジェクタによる１つの映像投影においては、正しい投影補正がなされていない場合、２つ以上のプロジェクタで投影されているオーバラップ領域において画ずれが発生する。これは、投影補正後にプロジェクタがわずかに動くだけでも生じてしまうため、再度の補正のための事前手続きに膨大な手間がかかるのは実際の運用として現実的ではない。
　また、従来のキャリブレーションの手法は、入射角θの光の像高が、焦点距離ｆを用いてとtanθとの積（ｆ・tanθ）で表される所謂ftanθレンズ（一般的なレンズ）を有するプロジェクタを用いたシステムにおいて適用されることが前提であった。ftanθレンズを有するプロジェクタを用いるプロジェクタ・カメラシステムの投影補正の場合、プロジェクタのレンズの歪みの影響は、他の内部パラメータや外部パラメータによる影響に比べて非常に小さい。そのため、この歪みを無視してキャリブレーションしても十分に高精度な投影補正が可能である。
　しかしながら、近年、例えばドーム型（例えば半球面形状）のような曲面の投影面に画像を投影し、その投影画像を視るユーザの没入感を増大させるような画像投影システムの場合、プロジェクタとして、入射光の像高が焦点距離ｆとその入射光の入射角θとの積で表される所謂fθレンズ（魚眼レンズとも称する）を用いたプロジェクタを適用することが考えられた。
　fθレンズを用いるとftanθレンズの場合と比べて投影画像の画角を広くすることができるので、ドーム型のような曲面への画像投影においては、fθレンズを用いるプロジェクタの方が、ftanθレンズを用いるプロジェクタよりも適している。
　しかしながら、所謂fθレンズは、ftanθレンズに比べてレンズ歪みの影響が非常に大きい。そのため、このfθレンズを有するプロジェクタを用いるプロジェクタ・カメラシステムの投影補正の場合、ftanθレンズ系の場合のように歪みを無視したキャリブレーションを行うと、投影補正の精度がftanθレンズ系の場合よりも低減してしまうおそれがあった。
　なお、特許文献１には、魚眼プロジェクタを用いるプロジェクタ・カメラシステムが開示されているが、この特許文献１に記載の手法の場合、画像を投影する投影面を、プロジェクタの光軸方向の平面およびそれに直交する平面としている。そのため、この手法をドーム型の球面スクリーンへの投影に適用することは困難であった。
　そこで、画像投影補正において、入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部およびその画像が投影される投影面を撮像する撮像部の姿勢推定を行うようにする。
　例えば、情報処理装置において、入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う姿勢推定部を備えるようにする。
　このようにすることにより、fθレンズのレンズ歪みを補正しながら姿勢推定を行うことができる。したがって、fθレンズを用いる場合であっても、画像投影補正精度の低減を抑制することができる。換言するに、このようにすることにより、投影部および撮像部の内部パラメータおよび外部パラメータのキャリブレーションを十分な精度で行うことができる。つまり、画像投影補正をより容易に行うことができ、環境変化等に対するパラメータ精度のロバスト性を向上させることができる。したがって、fθレンズを用いる画像投影システムの現実的な運用が可能になる。
　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　図１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１において、投影撮像システム１００は、画像を投影面に投影したり、その投影面に投影された投影画像を撮像した撮像画像を用いてパラメータのキャリブレーションを行ったりすることができるシステムである。
　図１に示されるように、投影撮像システム１００は、制御装置１１１、投影装置１１２－１、撮像装置１１３－１、投影装置１１２－２、および撮像装置１１３－２を有する。投影装置１１２－１、撮像装置１１３－１、投影装置１１２－２、および撮像装置１１３－２は、それぞれ、ケーブル１１５－１乃至ケーブル１１５－４を介して制御装置１１１と通信可能に接続されている。
　以下において、投影装置１１２－１および投影装置１１２－２を互いに区別して説明する必要が無い場合、投影装置１１２と称する。また、撮像装置１１３－１および撮像装置１１３－２を互いに区別して説明する必要が無い場合、撮像装置１１３と称する。また、ケーブル１１５－１乃至ケーブル１１５－４を互いに区別して説明する必要が無い場合、ケーブル１１５と称する。
　制御装置１１１は、ケーブル１１５を介して各投影装置１１２および各撮像装置１１３を制御する。例えば、制御装置１１１には、ケーブル１１４を介して画像が供給される。制御装置１１１は、各投影装置１１２に対して、その画像を供給し、ドーム型（部分球面形状）のスクリーン１２１に投影させる。また、例えば、制御装置１１１は、各撮像装置１１３に対して、スクリーン１２１（スクリーン１２１に投影された投影画像等）を撮像させ、その撮像画像を取得する。
　さらに、例えば、制御装置１１１は、その撮像画像を用いて、投影装置１１２および撮像装置１１３のパラメータのキャリブレーションを行い、投影装置１１２に投影させる画像の幾何補正用のパラメータを算出する。制御装置１１１は、そのパラメータを用いて、外部より供給された画像に対して幾何補正を行い、その幾何補正後の画像を投影装置１１２に供給する。
　投影装置１１２は、所謂プロジェクタの機能を有する。例えば、投影装置１１２は、制御装置１１１により制御され、制御装置１１１から供給される画像をスクリーン１２１に投影する。各投影装置１１２は、制御装置１１１の制御の下、互いに協働してスクリーン１２１上に１枚の投影画像が得られる（スクリーン１２１上に１枚の投影画像が表示される）ように画像投影を行うことができる。
　例えば、複数の投影装置１１２のそれぞれより投影された投影画像がスクリーン１２１上において隙間なく並ぶように画像投影を行い、１台の投影装置１１２が投影する画像より大きな（高解像度の）投影画像を得る（そのような投影画像をスクリーン１２１上に表示させる）ようにすることができる。また、例えば、複数の投影装置１１２のそれぞれから投影された投影画像のスクリーン１２１上の位置が互いに同一となるように画像投影を行い、１台の投影装置１１２が投影する画像より明るい（高ダイナミックレンジの）投影画像を得る（そのような投影画像がスクリーン１２１上に表示される）ようにすることができる。つまり、その場合の投影撮像システム１００は、所謂マルチプロジェクションシステムであり、所謂プロジェクションマッピングを実現することができる。
　撮像装置１１３は、所謂カメラの機能を有する。例えば、撮像装置１１３は、制御装置１１１により制御され、スクリーン１２１（投影装置１１２により画像が投影されたスクリーン１２１）を撮像し、得られた撮像画像のデータ（撮像画像データとも称する）を制御装置１１１に供給する。この撮像画像は、制御装置１１１による画像の幾何補正用のパラメータの算出（投影装置１１２や撮像装置１１３のパラメータのキャリブレーション）に利用される。つまり、撮像装置１１３は、投影する画像に対する幾何補正を行うための構成（幾何補正用のパラメータを算出するための構成）である。
　スクリーン１２１は、おおよそドーム型（部分球面形状）の投影面である。このようにスクリーン１２１は、曲面により構成されるため、平面のスクリーンに画像を投影する場合よりも、広視野角な投影画像（画像表示）を実現することができ、ユーザに与える臨場感や没入感を向上させることができる。
　また、投影装置１１２および撮像装置１１３は、所謂ftanθレンズ（一般的なレンズ）ではなく、所謂fθレンズ（魚眼レンズとも称する）を有する。したがって、投影装置１１２が投影した投影画像や撮像装置１１３が撮像した撮像画像は、特に周辺部において歪みがftanθレンズの場合よりも大きい。
　　＜制御装置＞
　図２は、本技術を適用した情報処理装置の一実施の形態である制御装置１１１の主な構成例を示すブロック図である。なお、図２においては、処理部やデータの流れ等の主なものを示しており、制御装置１１１の構成は、図２に示されるものが全てとは限らない。つまり、制御装置１１１において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２に示されるように、制御装置１１１は、制御部２０１、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。
　制御部２０１は、制御に関する処理を行う。例えば、制御部２０１は、制御装置１１１内の任意の構成を制御する。また、制御部２０１は、例えば投影装置１１２や撮像装置１１３等の他の装置の制御に関する処理を行う。制御部２０１は、どのような構成を有するようにしてもよいが、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
　入力部２１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２１１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれるようにしてもよい。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部２１１に含まれるようにしてもよい。出力部２１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２１２には、ディスプレイ、スピーカ、出力端子等が含まれるようにしてもよい。
　記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部２１３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれるようにしてもよい。通信部２１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部２１４は、例えば、ネットワークインタフェースよりなるようにしてもよい。例えば、通信部２１４は、制御装置１１１の外部の装置（例えば、投影装置１１２や撮像装置１１３等）と通信（プログラムやデータの授受）を行う。なお、通信部２１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
　ドライブ２１５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ２１５は、リムーバブルメディア２２１から読み出した情報を制御部２０１等に供給する。また、ドライブ２１５は、書き込み可能なリムーバブルメディア２２１が自身に装着された場合、制御部２０１等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア２２１に記憶させることができる。
　　＜制御装置の機能ブロック＞
　図３は、制御装置１１１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図３に示されるように、プログラムを実行することにより制御装置１１１は、例えば、センシング処理部２５１、姿勢推定部２５２、および幾何補正部２５３の機能を有する。
　センシング処理部２５１は、センシングに関する処理を行う。例えば、センシング処理部２５１は、撮像装置１１３により得られた撮像画像を用いて、投影装置１１２の画素と撮像装置１１３の画素との間の対応点検出等を行う。センシング処理部２５１は、その処理結果（投影装置１１２と撮像装置１１３との間の対応点に関する情報）を姿勢推定部２５２に供給する。
　姿勢推定部２５２は、投影装置１１２や撮像装置１１３の姿勢の推定に関する処理を行う。例えば、姿勢推定部２５２は、fθレンズの歪み係数を用いた画像投影モデルを用いて、投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の、姿勢に関するパラメータ（変数）を推定する（姿勢に関する変数の推定値を算出する）。
　この姿勢に関するパラメータは、どのようなものであってもよいが、例えば、投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の内部パラメータ（内部変数とも称する）を含むようにしてもよい。この内部パラメータは、どのようなものであってもよいが、例えば、投影装置１１２または撮像装置１１３の焦点距離、主点、およびレンズ歪み係数の逆変換に対応するパラメータ（kinv）の内、少なくともいずれか１つを含むようにしてもよい。
　また、姿勢に関するパラメータが、投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の外部パラメータ（外部変数とも称する）を含むようにしてもよい。この外部パラメータは、どのようなものであってもよいが、例えば、投影装置１１２または撮像装置１１３の世界座標系の原点に対する回転行列および並進ベクトルの内の少なくともいずれか一方を含むようにしてもよい。
　姿勢推定部２５２は、センシング処理部２５１より供給された投影装置１１２と撮像装置１１３との間の対応点に関する情報に基づいて、この姿勢に関するパラメータを推定する。また、姿勢推定部２５２は、予め定められた投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の内部パラメータの代表値（内部変数代表値とも称する）にも基づいて、この姿勢に関するパラメータを推定する。
　姿勢推定部２５２は、求めたパラメータの推定値（投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の、内部パラメータの推定値（内部変数推定値とも称する）および外部パラメータの推定値（外部変数推定値とも称する）の内の少なくともいずれか一方）を幾何補正部２５３に供給する。
　幾何補正部２５３は、画像の幾何補正に関する処理を行う。例えば、幾何補正部２５３は、姿勢推定部２５２から供給されるパラメータの推定値に基づいて、ケーブル１１４を介して外部から入力される画像に対する幾何補正に用いられるパラメータ（例えば幾何補正用ベクトルデータ）を算出する。
　　＜姿勢推定部＞
　図３に示されるように、姿勢推定部２５２は、撮像変数推定部２６１、投影変数推定部２６２、および全体最適化部２６３を有する。
　撮像変数推定部２６１は、撮像装置１１３の内部パラメータおよび外部パラメータの内少なくともいずれか一方（撮像変数とも称する）の推定に関する処理を行う。投影変数推定部２６２は、投影装置１１２の内部パラメータおよび外部パラメータの内少なくともいずれか一方（投影変数とも称する）の推定に関する処理を行う。全体最適化部２６３は、撮像変数推定部２６１により推定された撮像変数の推定値（撮像変数推定値とも称する）と、投影変数推定部２６２により推定された投影変数の推定値（投影変数推定値とも称する）との最適化に関する処理を行う。
　このように、姿勢推定部２５２は、撮像変数と投影変数とをそれぞれ推定し、全体を最適化して、投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の、内部変数推定値および外部変数推定値の内の少なくともいずれか一方を得る。
　その際、姿勢推定部２５２は、fθレンズの歪み係数を用いた画像投影モデルを用いて上述のような姿勢推定を行う。つまり、撮像変数推定部２６１は、fθレンズの歪み係数を用いた画像投影モデルを用いて撮像変数推定値を求める。同様に、投影変数推定部２６２は、fθレンズの歪み係数を用いた画像投影モデルを用いて投影変数推定値を求める。同様に、全体最適化部２６３は、fθレンズの歪み係数を用いた画像投影モデルを用いてこれらのパラメータ全体の最適化を行う。
　したがって、制御装置１１１は、投影装置１１２や撮像装置１１３がfθレンズを用いる場合であっても、画像投影補正精度の低減を抑制することができる。したがって、fθレンズを用いる投影撮像システム１００の現実的な運用が可能になる。
　　＜幾何補正部＞
　また、図３に示されるように、幾何補正部２５３は、投影面モデル化部２７１、仮想視点位置投影方向推定部２７２、モデルずれ対応処理部２７３、および投影マスク生成部２７４を有する。
　投影面モデル化部２７１は、投影面のモデル化（曲面の関数化）に関する処理を行う。仮想視点位置投影方向推定部２７２は、歪み補正の基準位置となる仮想視点位置と、その仮想視点位置からの画像投影方向の推定に関する処理を行う。モデルずれ対応処理部２７３は、現実の投影面とそのモデルとのずれ（モデルずれとも称する）を抑制するための対応処理を行う。投影マスク生成部２７４は、投影装置１１２による画像の投影範囲を制限する投影マスクの生成に関する処理を行う。
　　＜投影装置＞
　図４は、本技術を適用した情報処理装置の一実施の形態である投影装置１１２の主な構成例を示すブロック図である。なお、図４においては、処理部やデータの流れ等の主なものを示しており、投影装置１１２の構成は、図４に示されるものが全てとは限らない。つまり、投影装置１１２において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図４に示されるように、投影装置１１２は、制御部３０１、投影部３０２、入力部３１１、出力部３１２、記憶部３１３、通信部３１４、およびドライブ３１５を有する。
　制御部３０１は、制御に関する処理を行う。例えば、制御部３０１は、投影装置１１２内の任意の構成を制御する。例えば、制御部３０１は、投影部３０２の駆動を制御する。制御部３０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、そのCPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
　投影部３０２は、制御部３０１に制御されて、画像投影に関する処理を行う。例えば、投影部３０２は、制御装置１１１から供給された画像のデータを制御部３０１から取得し、その画像をスクリーン１２１に投影する。なお、この投影部３０２は、上述のように、fθレンズを有しており、このfθレンズを介して画像をスクリーン１２１に投影する。
　入力部３１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３１１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれるようにしてもよい。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部３１１に含まれるようにしてもよい。出力部３１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３１２には、ディスプレイ、スピーカ、出力端子等が含まれるようにしてもよい。
　記憶部３１３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部３１３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれるようにしてもよい。通信部３１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部３１４は、例えば、ネットワークインタフェースよりなるようにしてもよい。例えば、通信部３１４は、投影装置１１２の外部の装置（例えば制御装置１１１等）と通信（プログラムやデータの授受）を行う。なお、通信部３１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
　ドライブ３１５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３２１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ３１５は、リムーバブルメディア３２１から読み出した情報を制御部３０１等に供給する。また、ドライブ３１５は、書き込み可能なリムーバブルメディア３２１が自身に装着された場合、制御部３０１等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア３２１に記憶させることができる。
　　＜撮像装置＞
　図５は、本技術を適用した情報処理装置の一実施の形態である撮像装置１１３の主な構成例を示すブロック図である。なお、図５においては、処理部やデータの流れ等の主なものを示しており、撮像装置１１３の構成は、図５に示されるものが全てとは限らない。つまり、撮像装置１１３において、図５においてブロックとして示されていない処理部が存在したり、図５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図５に示されるように、撮像装置１１３は、制御部４０１、撮像部４０２、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５を有する。
　制御部４０１は、制御に関する処理を行う。例えば、制御部４０１は、撮像装置１１３内の任意の構成を制御する。例えば、制御部４０１は、撮像部４０２の駆動を制御する。制御部４０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、そのCPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
　撮像部４０２は、制御部４０１に制御されて、被写体の撮像に関する処理を行う。例えば、撮像部４０２は、投影装置１１２からスクリーン１２１に投影された投影画像を撮像し、その撮像画像データを得る。撮像部４０２は、その撮像画像データを制御部４０１に供給する。制御部４０１は、その撮像画像データを、通信部４１４を介して制御装置１１１に供給する。なお、この撮像部４０２は、上述のように、fθレンズを有しており、このfθレンズを介してスクリーン１２１（投影画像）を撮像する。
　入力部４１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部４１１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれるようにしてもよい。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部４１１に含まれるようにしてもよい。出力部４１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部４１２には、ディスプレイ、スピーカ、出力端子等が含まれるようにしてもよい。
　記憶部４１３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部４１３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれるようにしてもよい。通信部４１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなるようにしてもよい。例えば、通信部４１４は、撮像装置１１３の外部の装置（例えば制御装置１１１等）と通信（プログラムやデータの授受）を行う。なお、通信部４１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
　ドライブ４１５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ４１５は、リムーバブルメディア４２１から読み出した情報を制御部４０１等に供給する。また、ドライブ４１５は、書き込み可能なリムーバブルメディア４２１が自身に装着された場合、制御部４０１等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア４２１に記憶させることができる。
　　＜キャリブレーション処理の流れ＞
　次に、以上のような投影撮像システム１００により実行される処理について説明する。投影撮像システム１００の制御装置１１１は、キャリブレーション処理を実行することにより、投影変数（投影装置１１２の内部パラメータおよび外部パラメータ）および撮像変数（撮像装置１１３の内部パラメータおよび外部パラメータ）のキャリブレーションを行うことができる。
　図６のフローチャートを参照して、このキャリブレーション処理の流れの例を説明する。キャリブレーション処理が開始されると、センシング処理部２５１は、ステップＳ１０１において、センシング処理を行い、対応点を検出する。
　このセンシング処理では、図７に示される例のように、ストラクチャードライト（Structured Light）法により、投影装置１１２（例えばプロジェクタ）と撮像装置１１３（例えばカメラ）との間の画素の対応を得る。より具体的には、例えば、投影装置１１２（例えばプロジェクタ）が、その画素を時間方向に符号化するパターン（例えばグレーコードやチェッカーパターン等）を、時系列的に切り替えながら、ドーム型のスクリーン１２１に対して投影する。また、撮像装置１１３（例えばカメラ）が、その各パターンの投影画像を撮像する。制御装置１１１は、それらの撮像画像に含まれる各パターンに基づいて、投影装置１１２の画素と撮像装置１１３の画素との対応点を求める。この対応点に関する情報（投影装置・撮像装置対応点）が得られると、処理はステップＳ１０２に進む。
　ステップＳ１０２において、姿勢推定部２５２は、ステップＳ１０１において得られた対応点に関する情報に基づいて姿勢推定処理を行い、投影装置１１２および撮像装置１１３のそれぞれの内部変数推定値および外部変数推定値を求める。
　なお、姿勢推定部２５２は、投影装置１１２および撮像装置１１３の内部変数および外部変数を未知とし、投影装置１１２が画像を投影するスクリーン１２１に対して投影装置１１２および撮像装置１１３を配置した後に、その配置に応じて各変数を推定する。つまり、本手法の場合、投影装置１１２および撮像装置１１３の内部変数および外部変数について、事前にキャリブレーション手続きを行う必要はない。
　ただし、投影装置１１２および撮像装置１１３が、それぞれの内部変数（例えば焦点距離、主点、レンズ歪み等）の代表値を初期値として持ち、姿勢推定部２５２が、この代表値を用いて姿勢推定処理を行うようにしてもよい。例えば、焦点距離および主点は、撮像画像や投影画像の解像度に基づいて設定するようにしてもよい。また、レンズ歪み係数は、複数の投影装置１１２および撮像装置１１３を事前にキャリブレーションして得た値の平均値を用いるようにしてもよい。これらの内部変数はあくまで初期値として用いられる。姿勢推定部２５２は、ステップＳ１０２の処理（姿勢推定処理）により、これらの内部変数を全て再推定する。したがって、制御装置１１１は、投影装置１１２および撮像装置１１３が、内部変数の代表値の取得に用いていない投影装置および撮像装置により構成される場合であっても、この姿勢推定処理を行うことにより、画像投影補正精度の低減を抑制することができる。
　なお、姿勢推定部２５２は、この姿勢推定処理において、投影装置１１２および撮像装置１１３の外部変数も推定する。この外部変数については、特に初期値を必要とせず、この過程において完全に未知の状態から自動で推定が可能である。
　以上のような姿勢推定処理により、投影装置１１２および撮像装置１１３のそれぞれの内部変数推定値および外部変数推定値が得られると、処理はステップＳ１０３に進む。
　ステップＳ１０３において、幾何補正部２５３は、ステップＳ１０２の処理により得られた投影装置１１２および撮像装置１１３のそれぞれの内部変数推定値および外部変数推定値を用いて幾何補正処理を行い、幾何補正用ベクトルデータを求める。
　ステップＳ１０３の処理が終了すると、キャリブレーション処理が終了する。
　　＜姿勢推定処理の流れ＞
　次に、図８のフローチャートを参照して、図６のステップＳ１０２において実行される姿勢推定処理の流れの例を説明する。
　姿勢推定処理が開始されると、姿勢推定部２５２の撮像変数推定部２６１は、ステップＳ１２１において、撮像装置１１３の内部変数および外部変数（すなわち撮像変数）を推定する。なお、上述したように、外部変数は、本処理により推定することができ、事前推定は不要である。また、内部変数は、代表値が初期値として用いられる。このとき、撮像変数推定部２６１は、fθレンズの歪み係数を用いた画像投影モデルを用いて、撮像装置１１３の姿勢に関するパラメータ（すなわち撮像変数）を推定する。撮像変数が推定されると処理はステップＳ１２２に進む。
　ステップＳ１２２において、投影変数推定部２６２は、投影装置１１２の内部変数および外部変数（すなわち投影変数）を推定する。この投影変数の推定は、ステップＳ１２１の撮像変数の推定の場合と同様の手法により行われる。
　ステップＳ１２３において、全体最適化部２６３は、ステップＳ１２１において得られた撮像変数の推定値（撮像装置１１３の内部変数推定値および外部変数推定値）と、ステップＳ１２２において得られた投影変数の推定値（投影装置１１２の内部変数推定値および外部変数推定値）とを最適化する。
　各変数の推定値が最適化され、ステップＳ１２３の処理が終了すると、姿勢推定処理が終了し、処理は図６に戻る。
　このように、姿勢推定部２５２は、姿勢推定処理を行うことにより、投影装置１１２の内部パラメータ（焦点距離、主点、レンズ歪み係数の逆変換に対応するパラメータkinv）と外部パラメータ（世界座標系の原点に対する回転行列と並進ベクトル）を独立に推定・最適化して、最後に同時最適化を行うことにより、最終的な推定値を得る。
　　＜画像投影モデル＞
　次に、上述した姿勢推定処理において行われる撮像変数の推定（ステップＳ１２１）と投影変数の推定（ステップＳ１２２）について説明する。撮像変数の推定と投影変数の推定は基本的に同様の手法により行われる。これらの変数の推定においては、fθレンズを用いた画像投影モデルが用いられる。
　まず、そのモデルの定義について説明する。３次元空間中の３次元点Pの世界座標系における座標値Xについて、Pをカメラ座標系へ変換したときの座標値Xcが、世界座標系からカメラ座標系への回転行列R、並進ベクトルTを用いて、以下の式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　Pを透視投影モデルとしてz=1の平面に投影したときの同次座標a,bから画角θは、以下の式（２）乃至式（５）のように求まる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、魚眼レンズの歪み係数kを以下の式（６）のように定義し、歪みを考慮した同次座標x',y'を以下の式（７）乃至式（９）のように算出する。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　この(θd/r)は、レンズ歪みによる画像座標上でのずれを表しており、k=0のとき、理想的な魚眼レンズモデル(r=fθ)に対応している。最後に、x',y'を焦点距離fx,fyよりカメラ座標系における画像座標u,vを、以下の式（１０）および式（１１）のように算出する。ただし、cx,cyはカメラの主点、αはせん断係数を表すパラメータであり、今回はα=0とする。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　この場合、投影装置１１２および撮像装置１１３の内部パラメータ（例えば焦点距離・主点）は、以下の式（１２）のように表すことができる。奥行方向のスケールを１とした場合、以下の式（１３）のように表すことができる。これにより、AやA-1を掛け合わせることによって２次元画像座標と３次元座標の相互変換を行うことができる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　このモデルを用いることで、３次元空間中の点を一度画像平面に再投影し、魚眼レンズ（fθレンズ）を用いた場合のレンズ歪みを考慮した画像座標へと変換するという処理を実現することができる。
　　＜レンズ歪み係数の逆変換に対応するパラメータ＞
　このようなモデルを適用して光線追跡を行うために、本手法では、内部変数として、レンズ歪み係数の逆変換に対応するパラメータkinvを用いる。本手法の場合、計測対象のある３次元空間を歪みのない理想的な空間とし、３次元空間上の点と対応する投影装置１１２（または撮像装置１１３）の画像座標系で表された画素値が歪みを含むものと考える。このとき、投影装置１１２（または撮像装置１１３）の画像座標系の画素p'を歪み補正（歪みを除去）した理想的な座標値pを３次元空間に投影することで得られる光線上に、p'と対応する３次元点Pが存在する。よって、投影装置１１２および撮像装置１１３の間の画素の対応関係から対応する理想座標を３次元空間に投影（projection）して得た複数の光線の交点として画各素と対応する３次元点を計測することができる。
　上述のモデルにおいて、kは３次元空間から歪みのある２次元画像方向へ再投影するためのパラメータとして定義されており、通常３次元空間方向へ歪み補正して投影するためには、画素毎の歪みの繰り返し補償が必要となる。これに対して、本手法では上述した式（７）乃至式（９）を用いて投影装置１１２および撮像装置１１３の座標値を歪み補正するためにレンズ歪み係数kの逆変換に対応するパラメータkinvを導入する。kinvを用いることで、全画素について統一的に歪み補正が可能となる。また、画素毎に補償する手法より計算コストの増大も抑制することができる。このパラメータkinvは、歪み係数kの値を用いて、次のような手続きで初期推定され、その後、後述の最適化過程（パラメータ推定処理）において再推定される。
　式（７）をkに関して整理し、行列形式で表すと、以下の式（１４）が得られる。
Figure JPOXMLDOC01-appb-M000014
　この式（１４）は、投影装置１１２および撮像装置１１３の画像中の１画素に対応する画角θごとに求まるため、n個の画素についてレンズ歪み変換処理は、以下の式（１５）のように(n×4)行列と(4×1)行列との乗算で表すことができる。
Figure JPOXMLDOC01-appb-M000015
　ここで、歪み変換前後のθiとθdi（ただし、i=1,2,・・・,n）を入れ替えることで、[k1 k2 k3 k4]Tを歪み補正するための変換行列[kinv(1) kinv(2) kinv(3) kinv(4)]Tとして定義し直す。これにより、左辺に右辺の(n×4)行列の擬似逆行列を掛けることによって、以下の式（１６）のように、パラメータkinvを推定することができる。
Figure JPOXMLDOC01-appb-M000016
　推定に用いる点（画素）は、画像全体から上下左右方向に等間隔にサンプルした十分な数の点とし、歪みのある２次元画像方向（再投影方向）のレンズ歪み係数kは、例えば複数の投影装置１１２（プロジェクタ）や撮像装置１１３（カメラ）のキャリブレーション値の平均値から生成した代表値など、妥当な初期値を持つものとする。
　また、kinvを用いてレンズ歪みを補正するためには、上述の歪み処理の逆過程を辿る必要がある。歪みを含む座標x',y'より、以下の式（１７）および式（１８）のように、歪み補正された画角θ'が求められる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　これにより、その画角θ'と対応する同次座標a,bは、以下の式（１９）および式（２０）のように求められる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
　したがって、歪みを含む座標から歪みの含まない座標への補正が可能となる。
　　＜パラメータ推定処理の流れ＞
　図８のステップＳ１２１およびステップＳ１２２において、レンズ歪み係数の逆変換に対応するパラメータkinvの再推定が行われる。この再推定は、投影装置１１２および撮像装置１１３の画素対応から得られる対応光線間距離（三角測量誤差）を最小化する非線形最適化により実現する。この、図８のステップＳ１２１およびステップＳ１２２において行われる、パラメータ推定処理の流れの例を、図９のフローチャートを参照して説明する。なお、非線形最適化のアルゴリズムとして、例えばLevenberg-Marquardt法を利用する。
　パラメータ推定処理が開始されると、撮像変数推定部２６１（または投影変数推定部２６２）は、ステップＳ１４１において、例えばパラメータkinv等を推定対象パラメータとしてセットする。ここでは、パラメータkinv以外のいずれの内部変数および外部変数も指定することができる。また複数のパラメータを同時に指定することもできる。
　ステップＳ１４２において、撮像変数推定部２６１（または投影変数推定部２６２）は、各対応点について、レンズ歪み係数の逆変換に対応するパラメータkinvを用いて歪み補正を行う。
　上述したように、本手法では３次元空間を歪みのない理想空間とし、撮像画像や投影画像をfθレンズによる歪みを含むものとして定義する。つまり、事前に取得した投影装置１１２および撮像装置１１３の画素対応は、いずれも歪みを含んだ画像座標の対応関係として得られる。したがって、この対応関係から３次元空間において光線追跡をするためには、歪みを含まない画像座標値を用いる必要がある。
　そこで、図１０の左に示されるような２次元平面の画像６１１における対応画素６０１を、パラメータkinvと上述の式（７）乃至式（１１）を利用して歪み補正を行い、図１０の右のように画像範囲がfθレンズの影響で元の矩形より広がった歪み無しの画像６１２上での画像座標値（対応画素６０２）を求める。各対応画素についてこのような歪み補正を行う。
　ステップＳ１４３において、撮像変数推定部２６１（または投影変数推定部２６２）は、対応光線を追跡し、三角測量点を算出（近似計算）する。式（１０）および式（１１）の関係を利用して、歪みなし画像座標を３次元空間方向に投影することで、画素に対応する光線の追跡が可能となる。つまり、図１１のように、歪み有りの２次元平面の画像６１１Ａの対応画素６０１Ａは、歪み補正により画像６１２Ａ上の対応画素６０２Ａに変換される。同様に、歪み有りの２次元平面の画像６１１Ｂの対応画素６０１Ｂは、歪み補正により画像６１２Ｂ上の対応画素６０２Ｂに変換される。このように、投影装置１１２および撮像装置１１３の間の対応画素同士を歪み補正して投影することで得られる光線の交点として対応する３次元点を計測することができる。
　このとき、三角測量点と対応する光線の距離を光線間誤差（三角測量誤差）とする。誤差が０の場合、対応光線は３次元空間中の一点で交わることを意味する。このようにして、各対応点の３次元座標（対応３次元座標とも称する）とその計測誤差が得られると、処理はステップＳ１４４に進む。
　ステップＳ１４４において、撮像変数推定部２６１（または投影変数推定部２６２）は、ステップＳ１４３の処理により得られた計測誤差等に基づいて、対応点全体の平均誤差を算出する。
　ステップＳ１４５において、撮像変数推定部２６１（または投影変数推定部２６２）は、全ての対応点を処理したか否かを判定する。未処理の対応点が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理が行われる。つまり、各対応点について、ステップＳ１４１乃至ステップＳ１４５が実行される。そして、ステップＳ１４５において、全ての対応点が処理されたと判定された場合、処理はステップＳ１４６に進む。
　ステップＳ１４６において、撮像変数推定部２６１（または投影変数推定部２６２）は、ステップＳ１４４において算出した平均誤差が所定の閾値以下であるか否かを判定する。平均誤差が所定の閾値より大きいと判定された場合、処理はステップＳ１４７に進む。
　ステップＳ１４７において、撮像変数推定部２６１（または投影変数推定部２６２）は、推定パラメータ（例えばパラメータkinvやその他のパラメータ）を修正する。なお、高精度な推定を実現するために、誤差が非常に大きくなるような対応点は各処理ブロックで適宜除去し、推定に用いない。ステップＳ１４７の処理が終了すると、処理はステップＳ１４１に戻り、それ以降の処理が行われる。つまり、全対応点の平均誤差が所定の閾値以下に最適化されるまで、ステップＳ１４１乃至ステップＳ１４７の処理が繰り返される。
　そして、ステップＳ１４６において、平均誤差が所定の閾値以下であり、パラメータが最適化されたと判定された場合、パラメータ推定処理が終了し、処理は図８に戻る。
　つまり、スクリーン１２１外の点やセンシング精度の悪い点を推定に用いないようにするために外れ値を除去するようにする。例えば、図１２の上側に示されるように、三角測量点を求める際に、投影装置１１２および撮像装置１１３の対応光線誤差を求め、図１２の下側に示されるように、その対応光線誤差を最小化する最適化と、対応光線誤差の大きなセンシング点の除去とを繰り返す。このようにすることにより、センシング処理で高精度な対応点情報を得ることができている場合において、内部変数および外部変数をより高精度に推定することができる。
　なお、図８のステップＳ１２３の全体最適化においても基本的に同様にパラメータを最適化する。ただし、この全体最適化においては、以上のように推定した投影変数および撮像変数の全てを更新する処理を、推定対象のパラメータを変えながら繰り返し行う。
　以上のように、姿勢推定処理やパラメータ推定処理を行うことにより、レンズ歪みの影響の大きい魚眼レンズ（fθレンズ）を使用する投影装置１１２および撮像装置１１３を含む投影撮像システム１００においても、自動キャリブレーションの過程でレンズ歪み係数を正しく推定し、高精度な自動投影補正を実現することができる。
　　＜幾何補正処理の流れ＞
　次に、図６のステップＳ１０３において実行される幾何補正処理の流れの例を、図１３のフローチャートを参照して説明する。
　幾何補正処理が開始されると、幾何補正部２５３の投影面モデル化部２７１は、ステップＳ１６１において、投影装置１１２および撮像装置１１３の姿勢推定に関するパラメータを用いて投影面を再構成し、２次曲面をフィッティングする。
　ステップＳ１６２において、仮想視点位置投影方向推定部２７２は、仮想視点位置とその仮想視点位置からの画像の投影方向を推定する。例えば、ステップＳ１６１の処理により、図１４のようにスクリーン形状モデル７０１が設定されたとする。仮想視点位置投影方向推定部２７２は、仮想視点７０２をそのスクリーン形状モデル７０１の正面に設定し、その仮想視点７０２からの投影方向（正面）を設定する。
　この仮想視点７０２からスクリーン形状モデル７０１に対して幾何的に正しく画を投影するには、仮想視点７０２の正面、水平、垂直方向を決定する必要がある。そこで、仮想視点位置投影方向推定部２７２は、正面方向を決定するために、図１５のＡに示されるような計測された３次元点群の中から、図１５のＢに示されるようなスクリーン１２１の縁に対応する点群を選択する。さらに、仮想視点位置投影方向推定部２７２は、図１５のＣに示されるように、その点群を平面にフィッティングする。そして、その平面の法線方向を視点カメラから見た正面方向とする。さらに、一般的に、投影装置１１２－１および投影装置１１２－２は、概ね同程度の高さに配置されていることから、その投影装置１１２の高さに基づいて、水平方向を決定する。この２方向に直交するベクトルとして最後に垂直方向が決定される。このような仮想視点位置と投影方向の推定は、計測された情報から自動で行われ、手動で明示的に方向などを与える必要はない。
　以上の処理により、仮想視点位置と投影方向が推定されるため、その仮想視点位置の正面にスクリーン１２１があるものとしてその位置から画が幾何的に正しく見えるような幾何補正ベクトルの生成が可能となる。
　ステップＳ１６３において、モデルずれ対応処理部２７３は、モデルずれに対応するか否かを判定する。投影面とそのモデルとの間にずれ（モデルずれ）が発生しており、そのモデルずれに対応すると判定された場合、処理はステップＳ１６４に進む。
　ステップＳ１６４において、モデルずれ対応処理部２７３は、モデルずれ対応補間処理を行う。ステップＳ１６１の投影面の再構成では、図１６のＡに示されるように、投影装置１１２および撮像装置１１３の対応点情報と、それらの内部変数および外部変数の推定値を用いて、投影面上の３次元点７２１が計測される。次に、図１６のＢに示されるように、その計測された３次元点群に、最小二乗誤差が最小となるような二次曲面のスクリーン形状モデル７０１（例えば楕円体、双曲面、円柱等）がフィッティングされる。球面スクリーンの場合は通常楕円体としてモデル化される。これにより、全画素について推定されたモデルに基づいた幾何補正ベクトルを計算することでノイズに強く滑らかな幾何補正が実現できる。
　ただし、モデルベースの幾何補正は、スクリーンの形状が歪みなどによりモデルからずれている場合に、図１７のような推定したモデルからずれた３次元点として計測されるという誤差が生じてしまう。図１７の例の場合、推定したスクリーン形状モデル７０１上において計測される３次元点７３１は、現実の（実世界の）スクリーン１２１上において計測されるはずの３次元点７３２からずれている。
　そこで、図１８に示されるように、仮想的に配置した球面モデルの球心と三角測量点の距離の補間値を半径とするようなモデルの交点の位置から幾何補正ベクトルを生成する。つまり、図１８の例の場合、三角測量点として、スクリーン形状モデル７０１Ａ上の３次元点７４１と、スクリーン形状モデル７０１Ｂ上の３次元点７４２とが計測されるので、それらの３次元点の間に３次元点７４３（球心からの半径を補間したスクリーン形状モデル７０１Ｃ上の仮交点）を補間し、その３次元点７４３を用いて幾何補正ベクトルを生成する。
　このようにすることにより、実際のスクリーン１２１が理想的なモデル（スクリーン形状モデル７０１）に沿っていないモデルずれ部分でも滑らかな補正を実現することができる。
　そして、ステップＳ１６５において、モデルずれ対応処理部２７３は、モデルずれ対応有りの補正ベクトル（モデルずれ対応有り補正ベクトルとも称する）を生成する。ステップＳ１６５の処理が終了すると処理はステップＳ１６７に進む。
　また、ステップＳ１６３において、モデルずれに対応しないと判定された場合、処理はステップＳ１６６に進む。ステップＳ１６６において、モデルずれ対応処理部２７３は、モデルずれ対応せずに補正ベクトル（モデルずれ対応無し補正ベクトルとも称する）を生成する。ステップＳ１６６の処理が終了すると処理はステップＳ１６７に進む。
　ステップＳ１６７において、投影マスク生成部２７４は、画像の投影範囲をスクリーン１２１に含まれる範囲に制限する（つまり、投影画像がスクリーン１２１の外にはみ出さない（スクリーン１２１内に収まる）ように制限する）投影マスクを生成する。投影マスク生成部２７４は、ステップＳ１６５またはステップＳ１６６において生成された補正ベクトルと、ステップＳ１６７において生成された投影マスクとを含む幾何補正用ベクトルデータを出力する。ステップＳ１６７の処理が終了すると幾何補正処理が終了し、処理は図６に戻る。
　以上のように各処理を行うことにより、制御装置１１１は、fθレンズを用いる複数の投影装置１１２を用いたドーム型のスクリーン１２１向け投影補正を、この投影撮像システム１００を用いた３次元的アプローチにより実現することができる。
　その際、スクリーン形状という３次元情報を基に２次曲面モデルベースで補正するため、直線が直線として見える、など画の幾何的な正しさが保証される。また、既存の透視投影光学系を前提としたプロジェクタ・カメラシステムを用いた手法では対応不可能な、魚眼（等距離射影）光学系を有する投影撮像システム１００において、投影装置１１２および撮像装置１１３の内部変数および外部変数のキャリブレーションから投影補正までを容易に行うことができる。
　また、通常の投影撮像システムによる３次元的アプローチで必要な投影装置および撮像装置毎の全てまたは一部の内部変数および外部変数の事前推定（事前キャリブレーション）を必要としない。
　さらに、撮像装置１１３を視点としたい位置に配置しなくても設定した仮想視点に対して幾何的に正しい補正を実現することができる。また、その仮想視点からスクリーン１２１に対して適切な投影方向・映像の上下左右方向を保って投影することができる。さらに、投影装置１１２および撮像装置１１３をスクリーン１２１の正面ではなく側において投影・撮影して得た情報に基づいて、スクリーン１２１の正面からの幾何的に正しい投影画の補正を行うことができる。
　また、上述のように、パラメータ推定において、投影装置１１２のレンズ歪み係数の逆変換に対応するパラメータkinvを導入して、そのパラメータkinvで統一的に画素を歪み補正するため、画素毎にレンズ歪み係数kを用いて補償する必要がない。
　さらに、歪みのある画像上の画素を歪み補正して歪みのない画像上での画素として投影することで光線追跡をするため、その対応光線間距離を最小化する最適化によってkinvを含む投影装置１１２および撮像装置１１３の内部変数および外部変数の再推定を実現することができる。
　また、投影装置１１２および撮像装置１１３の一部の内部パラメータについてある程度妥当な初期値（例えば、キャリブレーション値の平均値など）を与えさえすれば、個別筐体毎の事前キャリブレーション手続きなしで、スクリーン前に投影装置１１２および撮像装置１１３を配置した状況から、全ての内部変数および外部変数のキャリブレーションを行うことができる。
　なお、以上においては、制御装置１１１が、投影装置１１２および撮像装置１１３のそれぞれの内部変数および外部変数を推定するように説明したが、本手法は、この例に限定されない。例えば、制御装置１１１が、投影装置１１２および撮像装置１１３のいずれか一方の内部変数および外部変数を推定するようにしてもよい。その場合、他方の内部変数および外部変数は、予め定められていてもよいし、他の装置により推定されるようにしてもよい。
　また、例えば、制御装置１１１が、内部変数および外部変数のいずれか一方を推定するようにしてもよい。その場合、他方の変数は、予め定められていてもよいし、他の装置により推定されるようにしてもよい。
　つまり、制御装置１１１は、投影装置１１２および撮像装置１１３の内の少なくともいずれか一方の、内部変数および外部変数の内の少なくともいずれか一方を推定すればよい。
　＜３．第２の実施の形態＞
　　＜その他の構成＞
　なお、本技術を適用した撮像システムの構成は、上述した図１の例に限定されない。例えば、制御装置１１１、投影装置１１２、撮像装置１１３の数は、それぞれ任意である。例えば、制御装置１１１が複数であってもよいし、投影装置１１２および撮像装置１１３がそれぞれ３台以下であってもよいし、５台以上であってもよい。また、投影装置１１２および撮像装置１１３が互いに同数でなくてもよい。
　また、投影装置１１２および撮像装置１１３は、ケーブル１１５を介して制御装置１１１と接続されるように説明したが、互いに通信可能であれば、その接続方法は任意である。例えば、制御装置１１１と、投影装置１１２や撮像装置１１３との間の通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。また、制御装置１１１乃至撮像装置１１３が、例えば、任意の通信網であるネットワークを介して通信可能に接続されるようにしてもよい。
　このネットワークにおいて採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、このネットワークは、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がこのネットワークに含まれるようにしてもよい。
　また、例えば、投影装置１１２および撮像装置１１３を一体化するようにしてもよい。例えば、図１９のＡに示されるように、投影撮像システム１００が、投影撮像装置８０１－１、投影撮像装置８０１－２、および制御装置１１１により構成されるようにしてもよい。
　投影撮像装置８０１－１は、投影部８１１－１および撮像部８１２－１を有する。この投影部８１１－１は、図１の投影装置１１２－１と同様の機能を有する。また撮像部８１２－１は、図１の撮像装置１１３－１と同様の機能を有する。つまり、投影撮像装置８０１－１は、投影装置１１２－１および撮像装置１１３－１の機能を有する。
　同様に、投影撮像装置８０１－２は、投影部８１１－２および撮像部８１２－２を有する。この投影部８１１－２は、図１の投影装置１１２－２と同様の機能を有する。また撮像部８１２－２は、図１の撮像装置１１３－２と同様の機能を有する。つまり、投影撮像装置８０１－２は、投影装置１１２－２および撮像装置１１３－２の機能を有する。
　制御装置１１１は、ケーブル１１５－１を介して投影撮像装置８０１－１と通信可能に接続され、その通信により、投影撮像装置８０１－１を制御し、画像を供給してその画像を投影面に投影させたり、その投影面に投影された投影画像を撮像させてその撮像画像を取得したりする。また、制御装置１１１は、ケーブル１１５－２を介して投影撮像装置８０１－２と通信可能に接続され、その通信により、投影撮像装置８０１－２を制御し、画像を供給してその画像を投影面（例えばスクリーン１２１）に投影させたり、その投影面に投影された投影画像を撮像させてその撮像画像を取得したりする。
　つまり、この場合も投影撮像システム１００は、図１の場合と同様に、本技術を適用して画像投影補正を行うことができる。
　なお、投影撮像装置８０１－１および投影撮像装置８０１－２を互いに区別して説明する必要が無い場合、投影撮像装置８０１と称する。また、投影部８１１－１および投影部８１１－２を互いに区別して説明する必要が無い場合、投影部８１１と称する。また、撮像部８１２－１および撮像部８１２－２を互いに区別して説明する必要が無い場合、撮像部８１２と称する。
　図１の場合と同様に、投影撮像装置８０１の台数は任意であり、例えば３台以上であってもよい。また、投影撮像装置８０１が有する投影部８１１および撮像部８１２の数は、それぞれ任意であり、複数であってもよいし、投影部８１１および撮像部８１２が互いに同数でなくてもよい。さらに、投影撮像装置８０１間で投影部８１１および撮像部８１２の数が一致しなくてもよい。また、投影撮像装置８０１と、投影装置１１２若しくは撮像装置１１３またはその両方とを投影撮像システム１００に混在させるようにしてもよい。
　また、制御装置１１１を他の装置と一体化するようにしてもよい。例えば、図１９のＢに示されるように、投影撮像システム１００が、撮像装置８２０、投影装置１１２、および投影撮像装置８０１により構成されるようにしてもよい。
　撮像装置８２０は、撮像部８１２－１および制御部８２１を有する。この制御部８２１は、図１や図１９のＡの制御装置１１１と同様の機能を有する。つまり、撮像装置８２０は、撮像装置１１３および制御装置１１１の機能を有する。撮像装置８２０、投影装置１１２、および投影撮像装置８０１は、ケーブル１１５を介して互いに通信可能に接続されている。
　したがって、画像は、ケーブル１１４を介して撮像装置８２０に供給される。撮像装置８２０の制御部８２１は、ケーブル１１５を介して投影装置１１２の投影部８１１－１や投影撮像装置８０１の投影部８１１－２を制御し、その画像を投影面（例えばスクリーン１２１）に投影させる。また、制御部８２１は、撮像部８１２－１を制御したり、ケーブル１１５を介して投影撮像装置８０１の撮像部８１２－２を制御したりして、その投影面に投影された投影画像を撮像させる。その際、制御部８２１は、その画像に対して本技術を適用した幾何補正を行い、幾何補正後の画像を投影させることができる。
　つまり、この場合も投影撮像システム１００は、図１の場合と同様に、本技術を適用して画像投影補正を行うことができる。
　なお、制御装置１１１が、投影装置１１２や投影撮像装置８０１等、撮像装置１１３意外と一体化されるようにしてもよい。つまり、制御部８２１を有する装置の構成は任意であり、この装置が有する投影部８１１や撮像部８１２の数はそれぞれ任意である。また、この制御部８２１を有する装置の数は任意であり、複数であってもよい。さらに、投影撮像システム１００の、この制御部８２１を有する装置以外の構成も任意であり、図１９のＢの例に限定されない。
　さらに、投影撮像システム１００の全ての構成を一体化し、１つの装置としてもよい。例えば、図１９のＣに示されるように、投影撮像装置８３０としてもよい。図１９のＣの例の場合、投影撮像装置８３０は、投影部８１１－１、投影部８１１－２、撮像部８１２－１、撮像部８１２－２、および制御部８２１を有する。つまり、投影撮像装置８３０は、図１の投影撮像システム１００と同様の構成を有する。このようにして、投影撮像装置８３０の内部において、本技術を適用するようにしてもよい。
　もちろん、投影撮像装置８３０の構成は任意であり、図１９のＣの例に限定されない。例えば、制御部８２１、投影部８１１、および撮像部８１２の数はそれぞれ任意である。
　＜４．付記＞
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　例えば図２の制御装置１１１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２２１により構成される。その場合、例えば、リムーバブルメディア２２１をドライブ２１５に装着することにより、そのリムーバブルメディア２２１に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。
　また、例えば、図４の投影装置１１２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア３２１により構成される。その場合、例えば、リムーバブルメディア３２１をドライブ３１５に装着することにより、そのリムーバブルメディア３２１に記憶されているこのプログラムを読み出させ、記憶部３１３にインストールさせることができる。
　さらに、例えば、図５の撮像装置１１３の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア４２１により構成される。その場合、例えば、リムーバブルメディア４２１をドライブ４１５に装着することにより、そのリムーバブルメディア４２１に記憶されているこのプログラムを読み出させ、記憶部４１３にインストールさせることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２の制御装置１１１の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。また、例えば図４の投影装置１１２の場合、プログラムは、通信部３１４で受信し、記憶部３１３にインストールすることができる。さらに、例えば図５の撮像装置１１３の場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図２の制御装置１１１の場合、プログラムは、記憶部２１３や制御部２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。また、例えば図４の投影装置１１２の場合、プログラムは、記憶部３１３や制御部３０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。さらに、例えば図５の撮像装置１１３の場合、プログラムは、記憶部４１３や制御部４０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。
　　＜本技術の適用対象＞
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
　（１）　入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う姿勢推定部
　を備える情報処理装置。
　（２）　前記姿勢推定部は、前記画像投影モデルを用いて、前記投影部および前記撮像部の内の少なくともいずれか一方の、姿勢に関するパラメータを推定する
　（１）に記載の情報処理装置。
　（３）　前記姿勢に関するパラメータは、前記投影部および前記撮像部の内の少なくともいずれか一方の、内部パラメータを含む
　（２）に記載の情報処理装置。
　（４）　前記内部パラメータは、前記投影部または前記撮像部の焦点距離、主点、および前記歪み係数の逆変換に対応するパラメータの内、少なくともいずれか１つを含む
　（３）に記載の情報処理装置。
　（５）　前記姿勢に関するパラメータは、前記投影部および前記撮像部の内の少なくともいずれか一方の、外部パラメータを含む
　（２）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記外部パラメータは、前記投影部または前記撮像部の世界座標系の原点に対する回転行列および並進ベクトルの内の少なくともいずれか一方を含む
　（５）に記載の情報処理装置。
　（７）　前記姿勢推定部は、
　　前記歪み係数の逆変換に対応するパラメータを用いて前記投影部および前記撮像部の画素の歪み補正を行い、
　　歪み補正後の前記投影部および前記撮像部を用いた光線追跡により対応点を検出することにより、前記姿勢に関するパラメータを推定する
　（２）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記姿勢推定部は、検出した前記対応点の平均誤差が所定の閾値以下となるように前記姿勢に関するパラメータの最適化を行う
　（７）に記載の情報処理装置。
　（９）　前記姿勢推定部は、
　　前記平均誤差が前記閾値以下とならない場合、前記姿勢に関するパラメータの推定に用いるパラメータを修正し、
　　前記平均誤差が前記閾値以下となるまで前記姿勢に関するパラメータの推定を繰り返す
　（８）に記載の情報処理装置。
　（１０）　前記姿勢推定部は、誤差の大きな対応点を外れ値として除去して前記姿勢に関するパラメータの最適化を行う
　（８）または（９）に記載の情報処理装置。
　（１１）　前記姿勢推定部は、
　　前記投影部の前記姿勢に関するパラメータを推定し、
　　前記撮像部の前記姿勢に関するパラメータを推定し、
　　推定した前記投影部の前記姿勢に関するパラメータおよび前記撮像部の前記姿勢に関するパラメータを最適化する
　（７）乃至（１０）のいずれかに記載の情報処理装置。
　（１２）　前記姿勢推定部により推定された前記姿勢に関するパラメータを用いて、前記投影部が投影する画像の幾何補正用のベクトルデータを生成する幾何補正部をさらに備える
　（２）乃至（１１）のいずれかに記載の情報処理装置。
　（１３）　前記幾何補正部は、
　　前記投影部および前記撮像部の前記姿勢推定に関するパラメータを用いて投影面を求め、前記投影面を２次曲面としてモデル化し、
　得られた前記投影面のモデルを用いて前記ベクトルデータを生成する
　（１２）に記載の情報処理装置。
　（１４）　前記幾何補正部は、前記投影面のモデルを用いて、前記投影面の正面の仮想視点位置と、前記仮想視点位置からの投影方向を推定し、前記仮想視点位置における歪みを抑制する前記ベクトルデータを生成する
　（１３）に記載の情報処理装置。
　（１５）　前記幾何補正部は、現実の投影面と前記モデルとの差による誤差を抑制するモデルずれ対応処理を行う
　（１４）に記載の情報処理装置。
　（１６）　前記幾何補正部は、投影する画像に対して、投影範囲を制限する投影マスクを生成する
　（１５）に記載の情報処理装置。
　（１７）　前記投影部と前記撮像部との間の対応点を検出する対応点検出部をさらに備え、
　前記姿勢推定部は、前記対応点検出部により検出された対応点を用いて、前記投影部および前記撮像部の姿勢推定を行う
　（１）乃至（１６）のいずれかに記載の情報処理装置。
　（１８）　前記投影部をさらに備える
　（１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記撮像部をさらに備える
　（１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う
　情報処理方法。
　１００　投影撮像システム，　１１１　制御装置，　１１２　投影装置，　１１３　撮像装置，　２０１　制御部,　２５１　センシング処理部，　２５２　姿勢推定部，　２５３　幾何補正部，　２６１　撮像変数推定部，　２６２　投影変数推定部，　２６３　全体最適化部，　２７１　投影面モデル化部，　２７２　仮想視点位置投影方向推定部，　２７３　モデルずれ対応処理部，　２７４　投影マスク生成部，　３０１　制御部，　３０２　投影部，　４０１　制御部，　４０２　撮像部，　８０１　投影撮像装置，　８１１　投影部，　８１２　撮像部，　８２０　撮像装置，　８２１　制御部，　８３０　投影撮像装置

Claims (20)

  1. 　入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う姿勢推定部
    　を備える情報処理装置。
  2. 　前記姿勢推定部は、前記画像投影モデルを用いて、前記投影部および前記撮像部の内の少なくともいずれか一方の、姿勢に関するパラメータを推定する
    　請求項１に記載の情報処理装置。
  3. 　前記姿勢に関するパラメータは、前記投影部および前記撮像部の内の少なくともいずれか一方の、内部パラメータを含む
    　請求項２に記載の情報処理装置。
  4. 　前記内部パラメータは、前記投影部または前記撮像部の焦点距離、主点、および前記歪み係数の逆変換に対応するパラメータの内、少なくともいずれか１つを含む
    　請求項３に記載の情報処理装置。
  5. 　前記姿勢に関するパラメータは、前記投影部および前記撮像部の内の少なくともいずれか一方の、外部パラメータを含む
    　請求項２に記載の情報処理装置。
  6. 　前記外部パラメータは、前記投影部または前記撮像部の世界座標系の原点に対する回転行列および並進ベクトルの内の少なくともいずれか一方を含む
    　請求項５に記載の情報処理装置。
  7. 　前記姿勢推定部は、
    　　前記歪み係数の逆変換に対応するパラメータを用いて前記投影部および前記撮像部の画素の歪み補正を行い、
    　　歪み補正後の前記投影部および前記撮像部を用いた光線追跡により対応点を検出することにより、前記姿勢に関するパラメータを推定する
    　請求項２に記載の情報処理装置。
  8. 　前記姿勢推定部は、検出した前記対応点の平均誤差が所定の閾値以下となるように前記姿勢に関するパラメータの最適化を行う
    　請求項７に記載の情報処理装置。
  9. 　前記姿勢推定部は、
    　　前記平均誤差が前記閾値以下とならない場合、前記姿勢に関するパラメータの推定に用いるパラメータを修正し、
    　　前記平均誤差が前記閾値以下となるまで前記姿勢に関するパラメータの推定を繰り返す
    　請求項８に記載の情報処理装置。
  10. 　前記姿勢推定部は、誤差の大きな対応点を外れ値として除去して前記姿勢に関するパラメータの最適化を行う
    　請求項８に記載の情報処理装置。
  11. 　前記姿勢推定部は、
    　　前記投影部の前記姿勢に関するパラメータを推定し、
    　　前記撮像部の前記姿勢に関するパラメータを推定し、
    　　推定した前記投影部の前記姿勢に関するパラメータおよび前記撮像部の前記姿勢に関するパラメータを最適化する
    　請求項７に記載の情報処理装置。
  12. 　前記姿勢推定部により推定された前記姿勢に関するパラメータを用いて、前記投影部が投影する画像の幾何補正用のベクトルデータを生成する幾何補正部をさらに備える
    　請求項２に記載の情報処理装置。
  13. 　前記幾何補正部は、
    　　前記投影部および前記撮像部の前記姿勢推定に関するパラメータを用いて投影面を求め、前記投影面を２次曲面としてモデル化し、
    　得られた前記投影面のモデルを用いて前記ベクトルデータを生成する
    　請求項１２に記載の情報処理装置。
  14. 　前記幾何補正部は、前記投影面のモデルを用いて、前記投影面の正面の仮想視点位置と、前記仮想視点位置からの投影方向を推定し、前記仮想視点位置における歪みを抑制する前記ベクトルデータを生成する
    　請求項１３に記載の情報処理装置。
  15. 　前記幾何補正部は、現実の投影面と前記モデルとの差による誤差を抑制するモデルずれ対応処理を行う
    　請求項１４に記載の情報処理装置。
  16. 　前記幾何補正部は、投影する画像に対して、投影範囲を制限する投影マスクを生成する
    　請求項１５に記載の情報処理装置。
  17. 　前記投影部と前記撮像部との間の対応点を検出する対応点検出部をさらに備え、
    　前記姿勢推定部は、前記対応点検出部により検出された対応点を用いて、前記投影部および前記撮像部の姿勢推定を行う
    　請求項１に記載の情報処理装置。
  18. 　前記投影部をさらに備える
    　請求項１に記載の情報処理装置。
  19. 　前記撮像部をさらに備える
    　請求項１に記載の情報処理装置。
  20. 　入射光の像高が焦点距離ｆと前記入射光の入射角θとの積で表されるfθレンズの歪み係数を用いた画像投影モデルを用いて、画像を投影する投影部および前記画像が投影される投影面を撮像する撮像部の姿勢推定を行う
    　情報処理方法。
PCT/JP2019/002389 2018-02-08 2019-01-25 情報処理装置および方法 WO2019155903A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/964,818 US11483528B2 (en) 2018-02-08 2019-01-25 Information processing apparatus and information processing method
CN201980011183.8A CN111670574A (zh) 2018-02-08 2019-01-25 信息处理装置和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-020612 2018-02-08
JP2018020612 2018-02-08

Publications (1)

Publication Number Publication Date
WO2019155903A1 true WO2019155903A1 (ja) 2019-08-15

Family

ID=67547993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002389 WO2019155903A1 (ja) 2018-02-08 2019-01-25 情報処理装置および方法

Country Status (3)

Country Link
US (1) US11483528B2 (ja)
CN (1) CN111670574A (ja)
WO (1) WO2019155903A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116194A1 (zh) * 2020-12-04 2022-06-09 中国科学院深圳先进技术研究院 一种全景呈现方法及其装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
CN115103169B (zh) * 2022-06-10 2024-02-09 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2004015255A (ja) * 2002-06-05 2004-01-15 Sony Corp 撮像装置および撮像方法、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP2004282711A (ja) * 2003-02-28 2004-10-07 Victor Co Of Japan Ltd 投射表示装置
JP2007309660A (ja) * 2006-05-16 2007-11-29 Roland Dg Corp ３次元形状測定装置におけるキャリブレーション方法
JP2015128242A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 画像投影装置及びそのキャリブレーション方法
WO2016204068A1 (ja) * 2015-06-19 2016-12-22 ソニー株式会社 画像処理装置および画像処理方法、ならびにプロジェクションシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244835A (ja) 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP4631048B2 (ja) * 2005-02-14 2011-02-16 国立大学法人岩手大学 撮像装置及び撮像系パラメータの校正方法
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP5558973B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
JP2013005393A (ja) * 2011-06-21 2013-01-07 Konica Minolta Advanced Layers Inc 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN103869661B (zh) 2012-12-17 2018-09-11 株式会社理光 显影装置以及图像形成装置
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
JP2015142157A (ja) 2014-01-27 2015-08-03 パナソニックＩｐマネジメント株式会社 映像投影システム、投影制御装置、投影制御用プログラム
JP6448196B2 (ja) * 2014-02-13 2019-01-09 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6900609B2 (ja) * 2016-12-06 2021-07-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 広角画像を修正するシステム及び方法
US11373335B2 (en) * 2017-03-27 2022-06-28 Nec Corporation Camera parameter estimation device, method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2004015255A (ja) * 2002-06-05 2004-01-15 Sony Corp 撮像装置および撮像方法、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP2004282711A (ja) * 2003-02-28 2004-10-07 Victor Co Of Japan Ltd 投射表示装置
JP2007309660A (ja) * 2006-05-16 2007-11-29 Roland Dg Corp ３次元形状測定装置におけるキャリブレーション方法
JP2015128242A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 画像投影装置及びそのキャリブレーション方法
WO2016204068A1 (ja) * 2015-06-19 2016-12-22 ソニー株式会社 画像処理装置および画像処理方法、ならびにプロジェクションシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116194A1 (zh) * 2020-12-04 2022-06-09 中国科学院深圳先进技术研究院 一种全景呈现方法及其装置

Also Published As

Publication number Publication date
US11483528B2 (en) 2022-10-25
US20210067753A1 (en) 2021-03-04
CN111670574A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
US11232593B2 (en) Calibration apparatus, calibration system, and calibration method
US10594941B2 (en) Method and device of image processing and camera
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP5902297B2 (ja) 撮像デバイスを較正するための方法および装置
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN112399158B (zh) 投影图像校准方法、装置及投影设备
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
WO2019155903A1 (ja) 情報処理装置および方法
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
EP3633606B1 (en) Information processing device, information processing method, and program
CN111161336A (zh) 三维重建方法、三维重建装置和计算机可读存储介质
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
KR100248374B1 (ko) 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
JP6318576B2 (ja) 画像投影システム、画像処理装置、画像投影方法およびプログラム
KR20130130283A (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
KR101847996B1 (ko) 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템
JP7040511B2 (ja) 情報処理装置および方法
Kim et al. Real‐Time Human Shadow Removal in a Front Projection System
US11715218B2 (en) Information processing apparatus and information processing method
CN110349109B (zh) 基于鱼眼畸变校正方法及其系统、电子设备
JP2019007995A (ja) 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム
WO2022044807A1 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19751291

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19751291

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP