WO2022004248A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2022004248A1
WO2022004248A1 PCT/JP2021/020877 JP2021020877W WO2022004248A1 WO 2022004248 A1 WO2022004248 A1 WO 2022004248A1 JP 2021020877 W JP2021020877 W JP 2021020877W WO 2022004248 A1 WO2022004248 A1 WO 2022004248A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image pickup
information
processing circuit
information processing
Prior art date
Application number
PCT/JP2021/020877
Other languages
English (en)
French (fr)
Inventor
秀人 森
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022004248A1 publication Critical patent/WO2022004248A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • a camera is provided by providing a rangefinder using a laser, a pre-calibrated camera capable of acquiring an irradiation point of the laser in a predetermined range, and a rangefinder for measuring the distance.
  • a rangefinder using a laser
  • a pre-calibrated camera capable of acquiring an irradiation point of the laser in a predetermined range
  • a rangefinder for measuring the distance.
  • the information processing apparatus includes a processing circuit.
  • the processing circuit is based on the irradiation light emitted by at least two lasers irradiating the target existing in the angle of view of the image pickup device, the distance between the laser and the target, and the image in the captured image acquired by the image pickup device. Based on the position of the irradiation light, information regarding the calibration of the image pickup apparatus is generated.
  • the distance between the laser and the target may be calculated by the distance measuring circuit or the processing circuit.
  • the focal point of the optical system of the image pickup apparatus and the irradiation positions of the plurality of lasers may be provided on the reference plane.
  • the processing circuit may acquire information regarding magnification fluctuations of the image pickup device based on the image pickup image.
  • the processing circuit may acquire information on the magnification variation based on an image of a position where at least two of the lasers irradiate the target in the captured image and a distance between the laser irradiation positions. ..
  • the processing circuit may acquire information regarding the deviation of the posture of the image pickup device based on the image pickup image.
  • the processing circuit may acquire information regarding an angular deviation of the optical axis of the image pickup device based on the image pickup image.
  • the processing circuit provides information on the angular deviation of the optical axis of the image pickup apparatus based on the position of the image of the laser at the target theoretically acquired by the image pickup apparatus and the position of the image actually taken. May be obtained.
  • the processing circuit may acquire information on the rotational deviation around the optical axis of the image pickup device based on the image pickup image.
  • the processing circuit rotates about the optical axis of the image pickup device based on the position of the image at at least two theoretical targets of the laser image acquired in the image pickup device and the position of the image actually taken. You may get information about the deviation.
  • the processing circuit relates to the rotational deviation depending on the angle formed by the straight line connecting the images of at least two theoretical targets of the laser acquired in the image pickup apparatus and the straight line connecting the images actually taken. Information may be obtained.
  • the processing circuit may acquire information regarding translational deviation of the optical axis of the image pickup device based on the image pickup image.
  • the processing circuit acquires information about the translational deviation of the optical axis based on the deviation between the theoretical image of the laser acquired by the image pickup apparatus at the target and the position of the image actually taken. You may.
  • the information processing device may be mounted on an edge device.
  • the edge device may be a head-mounted display.
  • the edge device may be a glasses-type wearable device.
  • the edge device may include an output unit that corrects the information acquired by the image pickup apparatus and displays it as an image based on the parameters related to the correction acquired from the processing circuit.
  • the information processing method executes the information processing described in any of the above.
  • the program specifically realizes the information processing described in any of the above by using hardware resources.
  • the figure which shows the correction of the laser distance measurement which concerns on one Embodiment. The figure which shows typically about the detection of the magnification fluctuation which concerns on one Embodiment.
  • the figure which shows typically an example of the angle deviation of the optical axis which concerns on one Embodiment. The figure which shows an example which is taken by the camera in the case of FIG.
  • the figure which shows an example of the parallel deviation of the optical axis which concerns on one Embodiment schematically.
  • the flowchart which shows the preprocessing which concerns on one Embodiment.
  • the block diagram which shows the use example of the information processing apparatus which concerns on one Embodiment.
  • FIG. 1 is a diagram schematically showing an image pickup unit connected to the information processing apparatus according to the embodiment.
  • the information processing device 1 includes, for example, a processing circuit 10 and a storage unit 12. Then, the information processing apparatus 1 is connected to the image pickup apparatus shown by the dotted line including the camera 14 and the laser 16.
  • the information processing device 1 may include an image pickup device, or the information processing device 1 may exist as a device different from the image pickup device.
  • the information processing device 1 is described as being provided with an image pickup device, but the present invention is not limited to this, and the information processing device 1 and the image pickup device are connected to each other via various buses or the like. In some cases, it can be applied in the same way.
  • the camera 14 (imaging device) is provided with an imaging system such as a lens on one surface 1a (reference surface) of the information processing apparatus 1, and is described as an external image, an image, or the like (hereinafter referred to as an image or the like) from this surface 1a.
  • the camera 14 includes, for example, an optical system, a light receiving element, and a signal processing unit for a camera.
  • the light receiving element receives light from the outside through the optical system and converts it into an analog signal.
  • the camera signal processing unit converts this analog signal into a digital signal, which is an image signal, further performs image processing such as lens distortion correction if necessary, and outputs it to the processing circuit 10.
  • signal processing such as stereo video may be executed. For example, the process described later may be executed for each of the plurality of cameras 14, or may be converted into a stereo image or the like at the output timing.
  • Laser 16 is a light source for distance measurement.
  • the laser 16 is, for example, a light emitting element including an LD (Laser Diode), and may have such an intensity that it does not have a great influence on the human eye. Further, the laser 16 may include a light emitting element that emits infrared light in a region outside the visible light. These light sources may be those that can acquire information on the emitted light by the camera 14. Since the laser 16 in the present disclosure does not necessarily have to have temporal and spatial coherence, instead of the laser 16, an LED (LED) which is a light source having directivity and suppressing the spread of the beam diameter to some extent. It may be a light source such as Light Emitting Diode).
  • LED LED
  • the laser 16 in the present disclosure may be understood by non-skilled persons to be generally a laser, rather than a device that emits light with coherent properties that is technically common. It may be a device that emits directional light while having no coherent property. By using a device that emits light that does not have coherent properties, the user's safety can be further enhanced.
  • the laser 16 is a laser for measuring a distance, and is provided so that the light beam of the laser 16 enters the angle of view of the camera 14 at a predetermined distance equal to or larger than a reference distance. That is, a device suitable for distance measurement can be used even if it does not have coherent properties.
  • the reference distance is a distance such as 10 cm when the information processing device 1 is mounted on an edge device such as a head-mounted display, but it may be a shorter distance such as 5 cm, or 50 cm or 1 m. It may be a longer distance such as.
  • the predetermined distance is not uniquely determined as long as it is a distance greater than or equal to this reference distance, and is a distance that changes in real time depending on the environment in which the information processing apparatus 1 is used.
  • the predetermined distance is the distance between the laser 16 and the target that can be appropriately measured by the corresponding sensor, and the image of the laser 16 projected on the target by the camera 14 is appropriately imaged. It is a distance that can be obtained by such as. That is, the predetermined distance in the present disclosure may not be a distance uniquely determined, but may be a distance that changes in real time based on the usage status of the information processing apparatus 1.
  • the laser 16 is arranged so as to emit the laser from the surface 1a.
  • two lasers 16 are provided, and lasers emitted from both are arranged so as to fit within the angle of view of the camera 14. Further, in order to improve the accuracy of the processing described later, the plurality of lasers 16 are provided so that the image taken by the camera 14 of the laser 16 projected on the target at a predetermined distance is located as far as possible in the image or the like. May be done.
  • each laser 16 is equipped with a sensor for acquiring reflected light and a ranging circuit.
  • the distance measuring circuit measures the distance to the target based on the timing at which the laser 16 emits light and the timing at which the sensor receives the reflected light.
  • the sensor may be mounted on the camera 14.
  • the measurement result is transmitted to, for example, the storage unit 12. It should be noted that only the time data may be transmitted and the distance measurement may be performed by the processing circuit 10. That is, the ranging circuit may operate as a part of the processing circuit 10.
  • the rays of the two lasers 16 are arranged so as to fit within the angle of view of each camera 14. It is not necessary to share a part or all of the light rays of the laser 16 in all the cameras 14, for example, for each camera 14, at least two lasers 16 whose light rays fall within the angle of view over a predetermined distance are provided. It suffices if it is prepared.
  • two lasers 16 are provided for two cameras 14, and the rays of both lasers 16 are arranged so as to be present at the angle of view of both cameras 14 at a predetermined distance. be able to.
  • the camera 14 and the laser 16 are arranged in a state of being fixed to the information processing device 1. Then, at the time of shipment from the factory, the lens distortion parameter, internal parameter, and external parameter of the camera 14 are acquired, the position and orientation of the laser 16 are acquired, and the calibration of the distance measurement accuracy by the laser 16 is executed. It shall be.
  • the external parameters of the camera 14 are acquired as parameters from the reference position and orientation in the world coordinate system.
  • the position and posture of the laser 16 are measured using the same reference position and reference posture as the reference position and reference posture in which the camera 14 acquires external parameters.
  • the optical axis of the camera 14 and the emission direction of the laser 16 may be parallelized in advance. If it is not parallel due to the state of the housing, the parameters for parallelizing the optical axis and the light beam may be calculated in advance so that the calculation considered to be parallel can be executed.
  • the distance measurement accuracy of the laser 16 may be calibrated at the time of shipment from the factory and then corrected to suppress an error during use.
  • the posture of the laser 16 fluctuates due to changes in the temperature of the housing.
  • the fluctuation due to this temperature change may be measured in advance and corrected based on the temperature information at the time of use.
  • a correction table may be stored in the storage unit 12 of the information processing apparatus 1 and corrections may be made based on this table.
  • the lens distortion of the optical system of the camera 14, the position of the camera 14 and the laser 16, and the state of the posture are known. Further, as described above, at least two laser beams 16 are arranged so as to be within the angle of view of the camera 14 at a predetermined distance equal to or longer than the reference distance. Further, the above-mentioned factory-shipped calibration information is stored in the storage unit 12.
  • the processing circuit 10 executes calibration based on the position of the light beam of the laser 16 in the image taken by the camera 14.
  • the camera 14 basically includes a sensor that acquires a visible light image, but may have other forms.
  • the laser 16 may be used as infrared light, and the infrared light may be acquired by the camera 14. Further, it may be configured to use ultraviolet light.
  • the storage unit 12 stores data and the like required for processing of the processing circuit 10.
  • the storage unit 12 is provided with, for example, temporary / non-temporary memory, storage, etc., for example, ROM (Read Only Memory), RAM (Random Access Memory), etc., as needed.
  • the storage unit 12 may exist outside via an input / output interface (not shown).
  • the processing circuit 10 operates so that information processing by software is concretely realized by using hardware resources, the storage unit 12 uses a program or a program equivalent to the operation of the processing circuit 10. May be stored.
  • the storage unit 12 has, for example, information such as the camera 14, the installation position of each laser 16, the installation angle, etc., as well as internal parameters, external parameters, and other parameters required for processing obtained by calibration at the time of shipment from the factory. Etc. are stored.
  • the processing circuit 10 reads out these data and executes processing as needed. Since these data are data required for basic processing, they may be stored in, for example, a ROM.
  • the processing circuit 10 executes the processing based on the data.
  • the lasers 16a and 14b of the laser 16 for a certain camera 14 are used, and the positions of the light emitted from each laser in the image taken by the camera 14 are the positions Pa, Pb, and the target measured by the laser, respectively.
  • La and Lb be the distances to the laser.
  • the camera 14 acquires, for example, the position of the light beam emitted from the laser 16 at the target with the wall as the target T as an image.
  • FIG. 2 is a diagram showing a situation when the optical axes of the laser 16 and the camera 14 are not parallel.
  • FIG. 2 shows the position of the laser 16 and the position of the target. It is a figure which views the optical axis of the camera 14 in a plane view, that is, looks down on the optical axis of the camera 14 from above. In this figure, the optical axis is assumed to be perpendicular to the target T, but is not limited to this. It is possible to correct the optical axis direction of the camera 14 and execute the process by the same method as the correction of the laser beam. It should be noted that although some of the following explanations will be given in the same situation, the explanations will not be repeated unless otherwise noted.
  • the light emitted from the point Pa has an incident angle ⁇ with respect to the target, that is, is incident with an error of ⁇ with respect to the optical axis of the camera 14.
  • the measurement result of the distance by the laser 16a is La'.
  • the correct point Pa in this case and the distance La of the target T are as shown in the figure. It can be expressed as.
  • the distance between the emission point and the target should be corrected using this measured angle. Is possible.
  • it can change depending on the environment such as temperature and humidity, it is possible to acquire ⁇ and correct the distance by referring to, for example, a table relating to posture, as described above.
  • FIG. 3 is a diagram for explaining the magnification according to one embodiment.
  • the broken line indicates the angle of view of the camera 14, that is, the area where the image is acquired.
  • the PC indicates the position of the focal point of the lens system of the camera 14. It may be assumed that the position of this focal point is, for example, the same distance from the emission points Pa and Pb of the laser 16 and the target T.
  • the alternate long and short dash line indicates the direction of the optical axis of the camera 14 from the PC.
  • the dotted line shows the line segment connecting the point of the laser 16 that irradiates the target T with the PC.
  • the camera 14 has the imager I at the position of the focal length f from the point PC.
  • This focal length f is known because it is included in the internal parameters described above.
  • the optical axis of the camera 14 shall pass through a point at the center of the imager I. Even when passing through the center point, it is possible to perform the same processing by defining the offset using the internal parameters of the camera 14.
  • the straight line where the target T and the ideal points PC, Pa, and Pb exist may be parallel to each other. This can be achieved by performing correction of the surrounding environment and taking an attitude in which the distances La and Lb to the target measured by the lasers 16a and 14b are equal. Let L be this equal distance.
  • the change in the magnification of the camera 14 can be calculated from the ratio of the focal length f obtained in advance to the actual focal length f'.
  • f is known
  • lab is known to Dab
  • it can be calculated from the measured L by equation (3)
  • lab' is the distance between the pixels of the actually acquired image and was actually obtained. It can be calculated from Eq. (3) based on L. Therefore, the focal length f'after the magnification fluctuates can be calculated by the equation (5). The magnification can be corrected based on this f'.
  • FIG. 4 is a diagram for explaining the angle deviation of the camera 14 according to the embodiment.
  • the camera 14 acquires the irradiated point as an image. This point is acquired as point A in the imager I, for example, when there is no deviation. If the angle of the camera 14 deviates, it is acquired as a point A'in the imager I.
  • FIG. 5 is an example of an image acquired by the camera 14 in the situation of FIG.
  • the position of A when there is no angle deviation and the position of A'when there is an angle deviation are shown as the same image.
  • the camera 14 is displaced in the horizontal direction in the drawing, for example.
  • Arctan represents the principal value of the inverse function of tan.
  • the focal length f of the camera 14 is known, and da and da'can be calculated from the number of pixels of the acquired image. Therefore, the angle deviation ⁇ of the camera can be calculated by acquiring the irradiation point by the laser 16 as an image. Then, by using this ⁇ , it is possible to calculate the deviation of the angle of the optical axis, for example, the pitch and yaw of the camera 14 with respect to the light beam of the laser 16, so that the optical axis of the camera 14 in the image taken by the camera 14 can be calculated. It is possible to realize the correction of the distance measurement of the angle deviation.
  • the case of deviation only in the horizontal direction is shown, but the case of deviation in the vertical direction can be processed in the same manner.
  • the sign is not taken into consideration in the calculation, the sign shall be taken into consideration appropriately.
  • the angle is deviated in the focal position PC, but the deviated position can be corrected by using a plurality of points or a plurality of targets.
  • the deviation of the angle is sufficiently small, or the deviation of the position of the axis deviation is sufficiently small. You may.
  • FIG. 6 is a diagram for explaining the rotation deviation of the camera 14 according to the embodiment.
  • the points A and B projected onto the imager of the positions of the lasers 16a and 14b on the target T when there is no rotation deviation are acquired as points A'and B'. Suppose it was done.
  • the positions of points A and B are known.
  • the angle ⁇ between the straight line connecting the points A'and B'and the straight line connecting the points A and B is ⁇
  • this is the angle at which the camera rotates with respect to the optical axis.
  • the angle ⁇ is the angle formed by the two straight lines, it can be calculated from the position of each point. For example, it can be obtained as follows using the inner product of the vector AB and the vector A'B'.
  • Arccos represents the principal value of the inverse function of cos.
  • the angle of inclination can be calculated from the equation of a straight line, or the points A and B are assumed to be in the horizontal direction of the imager in the theoretical value, and the points A'and B'are You may find ⁇ by calculating only.
  • the following equation may be followed.
  • the rotation around the optical axis of the camera 14, that is, the roll of the camera 14 can be calculated, so that the distance measurement due to the rotation deviation of the camera 14 around the optical axis in the image taken by the camera 14 can be calculated. It is possible to realize the correction.
  • FIG. 7 is a diagram for explaining the correction for the complex deviation. For example, it is assumed that the deviation of the magnification, the deviation of the rotation, and the deviation of the angle are combined.
  • the focal length f can be corrected.
  • the focal length f is necessary for correcting the angle deviation of the camera.
  • the angle deviation of the camera is corrected using the focal length corrected by the correction of the magnification.
  • the angle deviation of the optical axis of the camera 14 is corrected as shown by the first arrow from A'and B'in the figure.
  • the coordinates used for the correction of the rotation deviation around the optical axis can be acquired.
  • the correction of the rotation deviation around the optical axis is executed based on the coordinates corrected for the angle deviation of the optical axis. In this way, the correction is performed so that the required value can be obtained in the next step. In this way, when executing a plurality of corrections, the order of corrections may be defined.
  • FIG. 8 is a diagram for explaining the deviation of the optical axis in the parallel direction.
  • the positions of the light rays at the targets T1 and T2 existing at two distances are acquired. Prior to the acquisition of this information, it is assumed that each of the above corrections has been performed.
  • the angle deviation of the optical axis only the horizontal deviation (the deviation in the direction connecting the point PC of the camera 14 and the point Pa of the laser 16) will be described as an example, but it is formed by P1 and P2 in the figure. Since it can be calculated on the straight line to be formed, it can be applied to any angle.
  • the camera 14 acquires images of targets T1 and T2 at different distances from which the projection point of one of the lasers 16 can be acquired.
  • L1 and L2 be the distances from the measurement reference planes of the point PC and the laser 16 to the targets T1 and T2, respectively.
  • P1 be the projection point of the laser 16 imager at the target T1 and P2 be the projection point of the laser 16 imager at the target T2.
  • the distances between this point P1 and P2 and the optical axis are set to d1 and d2, respectively.
  • Da be the distance between the point PC and the point Pa.
  • ⁇ x can be calculated by the above equation (11), (12), or the same equation for P2 in the other laser 16.
  • the deviation between the theoretical values of d1 and d2 and the measured values corresponds to the change in the optical axis deviation. For example, by calculating the theoretical value with Da as the distance from the center point of the imager to the laser 16 by the above formula and comparing it with the measured value, it is possible to detect how the center of the optical axis has deviated. Become.
  • the amount of deviation calculated from these equations will be the same.
  • the deviation ⁇ x obtained from these equations may be used as the deviation of the translation of the optical axis. Then, if there is an influence of the angle deviation, the angle deviation may be corrected by the above-mentioned method.
  • FIG. 9 is a flowchart showing the calibration process according to the embodiment.
  • the information processing device 1 acquires the data required for processing (S100).
  • the data required for processing are, for example, the distance measured by a plurality of lasers 16 with respect to an index target such as a wall, the image taken by the camera 14, and the temperature and humidity acquired by a sensor (not shown). Information such as.
  • the data acquired in this process is stored in the storage unit 12 as needed.
  • FIG. 10 is a flowchart showing the preprocessing.
  • the processing circuit 10 executes distortion correction using the given internal parameters for the image acquired by the camera 14 (S1100).
  • the processing circuit 10 has a plurality of cameras 14, and when acquiring a stereo image or the like, it executes image parallelization (S1102). This is done, for example, based on internal and external parameters.
  • the processing circuit 10 acquires the point projected on the target by the laser 16 as a bright point (S1104). For example, the processing circuit 10 acquires the coordinates of the bright spot. In addition, if necessary for the processing described later, information such as the wavelength of the bright spot, FPS, spot diameter, and positional relationship is acquired.
  • the processing circuit 10 determines which bright spot corresponds to which laser 16 for a plurality of lasers 16 (S1106). This determination can be obtained, for example, by the wavelength of the laser 16, the FPS, the spot system, and the positional relationship with the camera 14.
  • the processing circuit 10 acquires the distance information (S1108).
  • the distance information is measured based on the sensing information of the laser 16 and the sensor corresponding to each laser. It should be noted that this process does not have to be executed after S1106, and may be executed before the next process, for example, it may be executed in parallel with the processes of S1100 to S1106.
  • the processing circuit 10 stores the distance information in association with the bright spot information (S1110). For a plurality of lasers 16, based on the coordinates obtained by S1104, the correspondence between the laser 16 obtained by S1106 and the bright spot, and the distance information measured by each laser 16 obtained by S1108. , Which bright spot is at which distance is associated and stored in the storage unit 12.
  • the processing circuit 10 detects the fluctuation of the magnification and, if necessary, corrects the magnification (S120).
  • the magnification correction may be performed on the image acquired by the processing circuit 10.
  • the magnification is ideal based on the control signal transmitted from the processing circuit 10 to the camera 14 using a highly accurate control mechanism.
  • the optical system of the camera 14 may be controlled so as to be corrected so as to approach.
  • FIG. 11 is a flowchart showing processing related to magnification fluctuation.
  • the processing circuit 10 acquires the position of the bright spot obtained by the above processing (S1200). When it is executed continuously with the above processing, for example, it may be stored in a variable or the like and held as cache data or the like until the main processing.
  • the processing circuit 10 acquires the ideal position of the bright spot stored in the storage unit 12 (S1202).
  • the ideal position is the position of the bright spot in an environment such as a predetermined temperature and humidity in the mounted camera 14, laser 16, and the like.
  • the processing circuit 10 acquires the ideal bright spot position for each laser 16.
  • the processing circuit 10 detects the fluctuation of the magnification according to the above-mentioned processing (S1204).
  • the processing circuit 10 corrects based on the detected fluctuation of the magnification correction (S1206). As described above, this correction may be performed on the image itself or on the camera 14. If this is done for the camera 14, the image after the magnification correction may be reacquired.
  • the processing circuit 10 stores the magnification fluctuation information in the storage unit 12 (S1208).
  • the processing circuit 10 may calculate and store the parameters converted into the information necessary for the correction as the information related to the magnification fluctuation. Even when a magnification fluctuation is detected, it is not necessary to perform correction on the image itself or the camera 14, and if it is sufficient to store the fluctuation information, this fluctuation information is used. At least the process of storing it should be executed. For example, the correction may be executed based on the information of each fluctuation and deviation stored in the storage unit 12 at the end without being executed at each stage, or may be executed at a necessary step.
  • FIG. 12 is a flowchart showing the processing related to the angle deviation.
  • the processing circuit 10 executes magnification correction based on the above processing result (S1300). If the magnification correction is not necessary, or if the image after the magnification correction can be obtained in the above process, this process may be omitted. Further, the following processing may be performed based on the information of the magnification correction, that is, the information of the focal length f'without acquiring the image, and this processing may be omitted in this case as well.
  • the processing circuit 10 calculates the angle between the optical axis and the bright spot in the magnified image (S1302).
  • the processing circuit 10 detects the deviation between the ideal optical axis and the bright spot based on the angle calculated in the previous step (S1304). For example, when the angle deviation is equal to or greater than a predetermined value, the angle deviation may be detected. If the angle deviation is less than the predetermined value at this point, the following processing may be omitted.
  • the processing circuit 10 corrects the angle deviation (S1306).
  • the processing circuit 10 stores the acquired angle deviation information in the storage unit 12 (S1308). Similar to the above, when the correction is executed, the processing circuit 10 may calculate and store the parameters converted into the information necessary for the correction as the information regarding the angle deviation. Even if an angle deviation is detected, it is not necessary to perform correction on the image, and if it is sufficient to store this deviation information, at least the process of storing this fluctuation information is executed. do it.
  • FIG. 13 is a flowchart showing a process related to rotation deviation.
  • the processing circuit 10 executes magnification correction based on the above processing result (S1400). If the magnification correction is not necessary, or if the image after the magnification correction can be obtained in the above process, this process may be omitted. Further, the following processing may be performed based on the information of the magnification correction, that is, the information of the focal length f'without acquiring the image, and this processing may be omitted in this case as well.
  • the processing circuit 10 calculates the angle between the bright spot by the two lasers 16 and the reference, for example, the horizontal direction in the magnified image (S1402).
  • the straight line connecting the ideal two bright spots and the angle between the two actually observed bright spots are directly calculated by the inner product or the like. May be.
  • the processing circuit 10 compares the angle between the straight line connecting the two ideal bright spots and the straight line connecting the two bright spots actually observed, based on the angle calculated in the previous step. Thereby, the rotation deviation is detected (S1404).
  • the angle formed by the two straight lines is equal to or greater than a predetermined value, it is detected as having a rotation deviation.
  • the angle is calculated directly in the above process, it may be detected in this process, for example, when the angle is equal to or larger than a predetermined value. If the rotation deviation is less than the predetermined value at this point, the following processing may be omitted.
  • the processing circuit 10 corrects the rotation deviation (S1406).
  • the processing circuit 10 stores the acquired rotation deviation information in the storage unit 12 (S1408). Similar to the above, when the correction is executed, the processing circuit 10 may calculate and store the parameters converted into the information necessary for the correction as the information regarding the rotation deviation. Even if a rotation deviation is detected, it is not necessary to perform correction on the image, and if it is sufficient to store this deviation information, at least the process of storing this fluctuation information is executed. do it.
  • the processing circuit 10 then detects the parallel deviation of the optical axis and executes correction if necessary (S150). This process is not essential and may be executed as needed.
  • the processing circuit 10 outputs data and ends the processing related to calibration (S160). If necessary, correction may be executed based on each detection result at this stage, or this detection result may be output to an external application or the like.
  • FIG. 14 is a block diagram showing a usage example of the information processing apparatus 1 according to the embodiment.
  • the information processing apparatus 1 is connected to the head-mounted display 2 and mounted to execute information processing in the space that the user sees or operates.
  • the information processing device 1 may be built in the head-mounted display 2.
  • it may be used for a glass-type wearable device or the like.
  • the information processing apparatus 1 improves the accuracy of processing in, for example, a VR (Virtual Reality) space and an AR (Augmented Reality) space.
  • the head-mounted display 2 includes a self-position detection block 20 and a video output block 22.
  • the self-position detection block 20 includes, for example, a processing circuit 200, a position information acquisition unit 202, and a sensor 204.
  • the processing circuit 200 is based on information such as camera images, various positions, and postures acquired from the information processing apparatus 1, position information acquired by the position information acquisition unit 202, and environmental information acquired by the sensor 204. , Perform camera image processing.
  • the position information acquisition unit 202 executes position measurement using, for example, GPS (Global Positioning System) or the like, or position measurement using Wi-Fi (registered trademark) or the like. Based on this position measurement result, the processing circuit 200 can, for example, arrange an object or the like in the VR / AR space, or arrange an operation window or the like.
  • GPS Global Positioning System
  • Wi-Fi registered trademark
  • the sensor 204 includes, for example, a 6-axis sensor, an atmospheric pressure sensor, and the like. Based on the information sensed by these sensors, the processing circuit 200 appropriately processes the camera image and the like.
  • the self-position detection block 20 outputs information such as the detected self-position and posture. Further, image processing may be added to the received camera image or the like in consideration of position information, posture information, and other environmental information. Further, when a plurality of cameras 14 are provided, processing related to the stereo image may be executed.
  • the video output block 22 includes a video information processing circuit 220 and an output unit 222.
  • the video information processing circuit 220 generates a video signal based on the data output by the processing circuit 200. For example, the video information processing circuit 220 generates appropriate video information based on the camera image, self-position, and posture output by the processing circuit 200, and transmits the appropriate video information to the output unit.
  • the video information processing circuit 220 includes, for example, various GPUs.
  • the output unit 222 is, for example, a display.
  • the video information processing circuit 220 generates a video from the information acquired as described above and displays it on this display. By looking at the display, the user can see the image with a sense of reality. This image is calibrated in real time by the above processing. By executing the calibration accurately in real time, it becomes possible to perform the correction of the image seen by the user more accurately.
  • the head-mounted display 2 superimposes an image that is a copy of the real space corrected for the position and posture of the camera 14 on another operation window, a virtual object, and the like without any inconsistency with the actual position and posture. , It becomes possible to output.
  • the information processing device 1 As described above, by using the information processing device 1 according to the present embodiment, it is possible to realize real-time calibration processing on the edge device side such as a head-mounted display. As a result, it is possible to keep the estimation accuracy of the position / posture at a certain level or higher at all times. As described above, this process uses the distance to the target and the image taken by the camera. Therefore, as in general calibration, a test chart is prepared and the test chart is taken in a predetermined posture. Since it does not require preparation for calibration such as, and does not use advanced calculations, it is possible to execute calibration in sufficient real time. This calibration does not have to be executed all the time, but may be executed at an appropriate timing.
  • Devices that are generally used maintain a certain level of accuracy by being calibrated at the time of shipment from the factory or at the time of initial startup, but these change depending on the environment and the like. In the present disclosure, it is possible to detect and correct the subsequent failure in real time by calibration.
  • the focal point of the optical system of the image pickup apparatus and the irradiation positions of the plurality of lasers are provided on the reference plane.
  • the information processing device according to (1) or (2).
  • the processing circuit acquires information regarding magnification fluctuations of the image pickup apparatus based on the image pickup image.
  • the information processing device according to (3).
  • the processing circuit acquires information on the magnification variation based on an image of a position where at least two of the lasers irradiate the target in the captured image and a distance between the laser irradiation positions.
  • the information processing device according to (4).
  • the processing circuit acquires information regarding a posture shift of the image pickup apparatus based on the image pickup image.
  • the information processing device according to (4) or (5).
  • the processing circuit acquires information regarding an angular deviation of the optical axis of the image pickup apparatus based on the image pickup image.
  • the information processing device according to (6).
  • the processing circuit provides information on the angular deviation of the optical axis of the image pickup apparatus based on the position of the image of the laser at the target theoretically acquired by the image pickup apparatus and the position of the image actually taken. To get, The information processing device according to (7).
  • the processing circuit acquires information on the rotational deviation around the optical axis of the image pickup device based on the image pickup image.
  • the information processing device according to any one of (6) to (8).
  • the processing circuit rotates about the optical axis of the image pickup device based on the position of the image at at least two theoretical targets of the laser image acquired in the image pickup device and the position of the image actually taken. Get information about deviations, The information processing device according to (9).
  • the processing circuit relates to the rotational deviation depending on the angle formed by the straight line connecting the images of at least two theoretical targets of the laser acquired in the image pickup apparatus and the straight line connecting the images actually taken. Get information, The information processing device according to (10).
  • the processing circuit acquires information regarding translational deviation of the optical axis of the image pickup apparatus based on the image pickup image.
  • the information processing apparatus according to any one of (6) to (11).
  • the processing circuit acquires information about the translational deviation of the optical axis based on the deviation between the theoretical image of the laser acquired by the image pickup apparatus at the target and the position of the image actually taken. do, The information processing device according to (12).
  • the edge device is a head-mounted display.
  • the edge device is a spectacle-type wearable device.
  • the edge device corrects the information acquired by the image pickup apparatus based on the parameters related to the correction acquired from the processing circuit, and displays it as an image.
  • the information processing apparatus according to (14) to (16).
  • the aspect of the present disclosure is not limited to the above-mentioned embodiment, but also includes various possible modifications, and the effect of the present disclosure is not limited to the above-mentioned contents.
  • the components in each embodiment may be applied in appropriate combinations. That is, various additions, changes and partial deletions are possible without departing from the conceptual idea and purpose of the present disclosure derived from the contents specified in the claims and their equivalents.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

［課題］リアルタイムのキャリブレーションを実現する。 ［解決手段］情報処理装置は、処理回路を備える。処理回路は、撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、前記撮像装置が取得した撮像画像における前記照射光の位置と、に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　ビジョンセンシング向けのカメラにおいて、カメラごとのばらつきを補正するために高精度なキャリブレーションを実行する必要がある。キャリブレーションの直後には、カメラは、よい性能を発揮するが、使用していると、温度、湿度等の周囲の環境や衝撃等により、カメラの特性が変動し、性能が劣化することがある。このため、実使用時には、観測精度を落として特性変化を許容するか、又は、利用時においてキャリブレーションをしながら動作をさせるという方法がとられている。
　従来、利用中にキャリブレーションをする手段として、専用のチャートを撮影してカメラ画像を取得して、画像差分から移動量等を推定してパラメータを最適化する方法がとられることがあった。この手法は、専用治具及びこの治具を用いた撮影等が必要となり、手間がかかる。また、撮影条件の安定化のノウハウが必要であること、使用する直前に計測をする必要があることも課題となる。別の手段として、当該カメラにおいて大量に画像を取得して最適化する方法があるが、計算コストが高くなる。モバイル端末のような環境でリアルタイムにこの計算を実行することは困難であるし、補正後の精度を検証することも難しいため、比較的誤差が大きくなってしまう。
特開2019-074535号公報 特開2018-185203号公報
　そこで、本開示では、レーザーを用いた距離計と、このレーザーの照射点を所定範囲において取得可能な事前にキャリブレーションがされているカメラと、距離を計測する距離計とを備えることにより、カメラの特性変化をリアルタイムに計測、補正することが可能な情報処理装置を提供する。
　一実施形態によれば、情報処理装置は、処理回路を備える。処理回路は、撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、前記撮像装置が取得した撮像画像における前記照射光の位置と、に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する。
　前記レーザーと、前記ターゲットまでの距離は、測距回路、又は、前記処理回路により算出されてもよい。
　前記撮像装置の光学系の焦点と、複数の前記レーザーの照射位置は、基準面に備えられてもよい。
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の倍率変動に関する情報を取得してもよい。
　前記処理回路は、前記撮像画像における少なくとも2つの前記レーザーが前記ターゲットに照射された位置の像と、前記レーザーの照射位置の距離と、に基づいて、前記倍率変動に関する情報を取得してもよい。
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の姿勢のずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像を結んだ直線と、実際に撮影された像を結んだ直線とのなす角度により、前記回転ずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の平行移動ずれに関する情報を取得してもよい。
　前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像と、実際に撮影された像の位置とのずれに基づいて、前記光軸の平行移動ずれに関する情報を取得してもよい。
　前記情報処理装置は、エッジデバイスに搭載されてもよい。
　前記エッジデバイスは、ヘッドマウントディスプレイであってもよい。
　前記エッジデバイスは、眼鏡型のウェアラブルデバイスであってもよい。
　前記エッジデバイスは、前記処理回路から取得した補正に関するパラメータに基づいて、前記撮像装置が取得した情報を補正し、映像として表示する、出力部を備えてもよい。
　一実施形態によれば、情報処理方法は、上記のいずれかに記載の情報処理を実行する。
　一実施形態によれば、プログラムは、上記のいずれかに記載の情報処理を、ハードウェア資源を用いて具体的に実現する。
一実施形態に係る情報処理装置を模式的に示す図。 一実施形態に係るレーザー距離測定の補正について示す図。 一実施形態に係る倍率変動の検出について模式的に示す図。 一実施形態に係る光軸の角度ずれの一例を模式的に示す図。 図4の場合にカメラにより撮影される一例を示す図。 一実施形態に係る光軸周りの回転ずれの一例を模式的に示す図。 一実施形態に係る複合的なずれの一例を模式的に示す図。 一実施形態に係る光軸の平行ずれの一例を模式的に示す図。 一実施形態に係る処理を示すフローチャート。 一実施形態に係る前処理を示すフローチャート。 一実施形態に係る倍率変動に関する処理を示すフローチャート。 一実施形態に係る角度ずれに関する処理を示すフローチャート。 一実施形態に係る回転ずれに関する処理を示すフローチャート。 一実施形態に係る情報処理装置の利用例を示すブロック図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図1は、一実施形態に係る情報処理装置と接続される撮像部を模式的に示す図である。情報処理装置1は、例えば、処理回路10と、記憶部12と、を備える。そして、情報処理装置1は、カメラ14と、レーザー16とを備える点線で示される撮像装置と接続される。図1に示すように、情報処理装置1が撮像装置を含むものであってもよいし、情報処理装置1が撮像装置とは別の装置として存在していてもよい。本開示においては、情報処理装置1が撮像装置を備えるものとして説明するが、これに限定されるものではなく、情報処理装置1と撮像装置が各種バス等を介して接続される別個の個体である場合にも、同様に適用することができる。
　カメラ14（撮像装置）は、例えば、情報処理装置1の1つの面1a（基準面）においてレンズ等の撮像系が備えられ、この面1aから外部の映像、画像等（以下、映像等と記載する）を取得する。カメラ14は、例えば、光学系と、受光素子と、カメラ用信号処理部と、を備える。受光素子は、外部から光学系を介した光を受光し、アナログ信号へと変換する。カメラ用信号処理部は、このアナログ信号を画像信号であるデジタル信号へと変換し、必要であればさらにレンズ歪み補正等の画像処理を実行して、処理回路10へと出力する。図1においては、カメラ14は、1つしか備えられていないが、複数備えられてもよい。カメラ14を2つ以上備えることにより、ステレオ映像等の信号処理を実行してもよい。例えば、後述する処理は、複数のカメラ14ごとに実行されてもよく、出力するタイミングでステレオ映像等に変換されてもよい。
　レーザー16は、距離測定用の光源である。レーザー16は、例えば、LD（Laser Diode）を備える発光素子であり、人間の目に多大な影響を与えない程度の強度を有するものであってもよい。さらに、レーザー16は、可視光外の領域である赤外光を射出する発光素子を備えていてもよい。これらの光源は、カメラ14によって、射出した光の情報が取得できるものであればよい。本開示におけるレーザー16は、時間的、空間的なコヒーレント性を必ずしも有していなくてもよいので、レーザー16の代わりに、指向性があり、ビーム径の広がりをある程度抑制した光源であるLED（Light Emitting Diode）等の光源であってもよい。
　このように、本開示におけるレーザー16とは、技術的に一般的であるコヒーレント性を有している光を射出するデバイスではなく、当業者ではない人間が一般的にレーザーであると理解するかもしれないコヒーレント性を有しない一方で指向性のある光を射出するデバイスであってもよい。コヒーレント性を有しない光を射出するデバイスを用いることにより、ユーザの安全性をより高めた構成とすることができる。このレーザー16は、距離測定用のレーザーであり、基準距離以上の所定距離においてカメラ14の画角内にこのレーザー16の光線が入るように備えられる。すなわち、コヒーレント性を有しなくても、測距に適しているデバイスを用いることができる。
　例えば、基準距離とは、情報処理装置1がヘッドマウントディスプレイ等のエッジデバイスに搭載される場合には、10cm等の距離であるが、5cmといったさらに短い距離であってもよいし、50cm、1mといったさらに長い距離であってもよい。所定距離は、この基準距離以上の距離であれば、一意的に決定されるものではなく、情報処理装置1が利用される環境によりリアルタイムに変化する距離である。本開示において、特に断りがない限り、所定距離とは、レーザー16と対応するセンサにより適切に測距できるターゲットとの距離であり、カメラ14によりターゲットに投影されたレーザー16の像が適切に映像等で取得できる距離である。すなわち、本開示における所定距離とは、一意的に決定される距離ではなく、情報処理装置1の使用状況に基づきリアルタイムに変化する距離であってもよい。
　レーザー16は、面1aからレーザーを射出するように配置される。例えば、レーザー16は、2つ備えられ、双方から射出されたレーザーがカメラ14の画角内におさまるように配置される。また、後述する処理の精度を向上するために、所定距離のターゲットに投影されるレーザー16のカメラ14により撮影される像が、映像等内においてなるべく遠くに位置するように複数のレーザー16が備えられてもよい。
　図示しないがそれぞれのレーザー16には、反射光を取得するためのセンサと測距回路が併せて備えられる。例えば、レーザー16が光を射出するタイミングと、センサが反射光を受光するタイミングとに基づいて、測距回路がターゲットとの距離を測定する。センサは、カメラ14に搭載されていてもよい。測定結果は、例えば、記憶部12へと送信される。なお、時間データだけを送信し、距離測定は、処理回路10が実行してもよい。すなわち、測距回路は、処理回路10の一部として動作するものであってもよい。
　カメラ14が複数備えられる場合には、2つのレーザー16の光線がそれぞれのカメラ14の画角内に収まるように配置される。このレーザー16の光線の一部又は全部を全てのカメラ14において共有する必要はなく、例えば、各カメラ14に対して、その光線が所定の距離以上において画角内に収まる少なくとも2つのレーザー16が備えられていればよい。例えば、ステレオカメラの構成である場合、2つのカメラ14に対して2つのレーザー16が備えられ、所定距離において、双方のカメラ14の画角に双方のレーザー16の光線が存在するように配置することができる。
　例えば、工場出荷時においてカメラ14とレーザー16は、情報処理装置1に固定された状態で配置される。そして、工場出荷時において、カメラ14のレンズ歪パラメータ、内部パラメータ、外部パラメータが取得され、及び、レーザー16の位置、姿勢が取得され、レーザー16による測距精度のキャリブレーションは、実行されているものとする。ここで、カメラ14の外部パラメータは、ワールド座標系において基準の位置と姿勢からのパラメータとして取得される。レーザー16の位置、姿勢は、カメラ14が外部パラメータを取得する基準位置、基準姿勢と同じ、基準位置、基準姿勢を用いて計測する。
　また、カメラ14の光軸と、レーザー16の射出方向の平行化があらかじめ実行されていてもよい。筐体の状態により平行ではない場合には、平行であるとみなした計算が実行できるように、光軸と光線の平行化を実行するパラメータ等があらかじめ計算されていてもよい。
　レーザー16における測距精度は、上記するように、工場出荷時にキャリブレーションされた上で、さらに、使用時に誤差を抑制する補正をしてもよい。例えば、レーザー16の姿勢は、筐体の温度変化により変動する。この温度変化による変動をあらかじめ計測しておき、使用時に温度情報に基づいて補正をしてもよい。補正をする場合には、補正用のテーブルを情報処理装置1の記憶部12に記憶させておき、このテーブルに基づいて補正をしてもよい。
　本実施形態における情報処理装置1においては、カメラ14の光学系のレンズ歪み、カメラ14とレーザー16の位置、姿勢の状態は、既知である。また、上記したように、基準距離以上の所定距離で少なくとも2つのレーザー16の光線がカメラ14の画角内に入るように配置されている。また、上記の工場出荷時のキャリブレーション情報は、記憶部12に格納される。
　処理回路10は、カメラ14により撮影された画像内のレーザー16の光線の位置に基づいて、キャリブレーションを実行する。カメラ14は、基本的には可視光像を取得するセンサを備えるが、これ以外の形態であってもよい。例えば、レーザー16を赤外光とし、カメラ14によりこの赤外光を取得してもよい。また、紫外光を用いる構成としてもよい。
　記憶部12は、処理回路10の処理に必要となるデータ等を格納する。記憶部12は、例えば、一時的／非一時的なメモリ、ストレージ等、例えば、ROM（Read Only Memory）、RAM（Random Access Memory）等を必要に応じて備える。記憶部12は、図示しない入出力インタフェースを介した外部に存在していてもよい。処理回路10がソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現されるように動作をする場合、記憶部12は、この処理回路10の動作を行うためのプログラム又はプログラムに準ずるものを格納してもよい。
　記憶部12は、例えば、カメラ14、それぞれのレーザー16の設置位置、設置角度等の情報、また、工場出荷時にキャリブレーションにより取得された内部パラメータ、外部パラメータ、その他の処理に必要となる各種パラメータ等を格納する。処理回路10は、必要に応じて、これらのデータを読み出して処理を実行する。これらのデータは、基本的な処理に必要となるデータであるので、例えば、ROM等に格納されていてもよい。
　以下、より具体的なキャリブレーションの手法について説明する。例えば、以下の説明の処理は、必要なデータを記憶部12に格納し、又は、リアルタイムにデータを受信し、当該データに基づいて処理回路10が実行する。説明の関係上、あるカメラ14に対するレーザー16のレーザー16a、14bとし、カメラ14が撮影した画像内のそれぞれのレーザーから射出した光の位置を位置Pa、Pb、レーザーにより測距されたターゲットからそれぞれのレーザーまでの距離をLa、Lbとする。カメラ14により、例えば、壁をターゲットTとしてレーザー16から射出された光線のターゲットにおける位置を画像として取得する。
　以下の各補正の説明においては、事前にカメラ14の既知のパラメータを用いて、画像における歪み補正が実行されているものとする。
　（レーザーの姿勢の補正）
　図2は、レーザー16とカメラ14の光軸とが平行ではない場合の様子を示す図である。この図2は、レーザー16の位置とターゲットの位置を示すものである。カメラ14の光軸を平面視する、すなわち、カメラ14の光軸に対して上から見下ろしている図である。この図において、光軸は、ターゲットTに対して垂直であるとするが、これには限られない。レーザー光の補正と同様の方法により、カメラ14の光軸方向も補正して処理を実行することが可能である。なお、以下の説明においては、同じ状況で説明するものがあるが、特に注意のない限り説明は繰り返さないことに留意されたい。
　点Paから射出した光は、ターゲットに対して入射角θを有して、すなわち、カメラ14の光軸に対してθの誤差を有して入射される。この場合、レーザー16aによる距離の計測結果は、La’である。この場合の正しい点PaとターゲットTの距離Laは、図に示すように、
Figure JPOXMLDOC01-appb-M000001
 と表すことができる。
　この結果を、必要に応じて用いることが可能である。例えば、工場出荷時において、カメラ14の光軸と、それぞれのレーザー16の射出方向との角度が計測されていれば、この計測された角度を用いて射出点とターゲットとの距離を補正することが可能である。温度、湿度等の環境により変化しうる場合には、上述したように、例えば、姿勢に関するテーブルを参照することにより、θを取得し、距離を補正することが可能となる。
　（倍率変動の補正）
　図3は、一実施形態に係る倍率の説明のための図である。図において、破線はカメラ14の画角、すなわち、画像を取得する領域を示す。PCは、カメラ14のレンズ系の焦点の位置を示す。この焦点の位置は、例えば、レーザー16の射出点Pa、Pbと、ターゲットTから同じ距離離れていると仮定してもよい。一点鎖線はPCからカメラ14の光軸方向を示す。点線がターゲットTに照射されるレーザー16の点と、PCとをつなぐ線分を示す。
　カメラ14は、点PCから焦点距離fの位置にイメージャIがあるものとする。この焦点距離fは、上述した内部パラメータに含まれるものであるので、既知である。また、カメラ14の光軸は、イメージャIの中心の点を通るものとする。中心の点を通る以外の場合においても、カメラ14の内部パラメータを用いてオフセットを定義することにより同様に処理することが可能である。
　また、ターゲットTと、理想的に点PC、点Pa、Pbが存在する直線は、平行であるとしてもよい。これは、周辺環境の補正を実行して、レーザー16a、14bにより測定するターゲットまでの距離La、Lbが等しくなる姿勢をとることにより実現可能である。この等しくなる距離をLとおく。
　イメージャの面におけるレーザー16a、14bの像の距離をlab、ターゲットTにおけるレーザー16a、14bの照射されている点の距離をDabとおく。
　カメラ14の倍率の変化は、このあらかじめ求められている焦点距離fと、実際の焦点距離f’との比により算出することが可能である。
　三角形の相似関係により、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000002
 変形すると、
Figure JPOXMLDOC01-appb-M000003
 が得られる。この式から、イメージャ面におけるレーザー光の距離を測定できる。倍率の変動がある場合、このイメージャ面におけるレーザー光の距離がlab’に変更したとすると、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000004
 この式から、倍率の変動が以下のように取得できる。
Figure JPOXMLDOC01-appb-M000005
　ここで、fは既知であり、labはDabが既知であり、測定したLから(3)式により算出でき、lab’は実際に取得された画像のピクセル間の距離と、実際に求められたLとに基づいて、(3)式から算出することができる。このため、(5)式により、倍率が変動した後の焦点距離f’を算出することができる。このf’に基づいて、倍率を補正することができる。
　なお、レンズの角度ずれが発生している場合、倍率に誤差が生じるが、通常は無視できる範囲の誤差に収まる。
　（カメラの角度ずれ補正）
　図4は、一実施形態に係るカメラ14の角度ずれを説明するための図である。レーザー16がターゲットTに照射される場合、カメラ14は、この照射された点を画像として取得する。この点は、例えば、ずれがない場合に、イメージャIにおいて点Aとして取得される。カメラ14の角度がずれた場合、イメージャIにおいて、点A’として取得される。
　図5は、図4の状況において、カメラ14により取得された画像の一例である。角度ずれがない場合のAの位置と、角度ずれがある場合のA’の位置を同じ画像として示すものである。図5に示すように、カメラ14は、例えば、図面において水平方向にずれたものとする。
　図4と図5を参照して説明する。カメラ14の角度ずれがない場合には、距離LのターゲットTに対して照射された点は、例えば、点Aに投影される。カメラ14の光軸の角度が、焦点を中心としてΔθずれたとする。
　上面からみると、図4に示すように、点PCからみて光軸と点Aとのなす角がθであり、点PCからみて角度のずれた光軸と点A’のなす各がθ’である。すなわち、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000006
これをイメージャ上の状態として見ると、図5に示すように、イメージャにおいて、光軸からの距離がdaからda’へと変化するとできる。図4にもこのdaとda’が示されている。
　この図から、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 ただし、Arctanは、tanの逆関数の主値を表す。
　ここで、カメラ14の焦点距離fは既知であり、daとda’は、取得した画像のピクセル数から算出可能である。このため、レーザー16による照射点を画像として取得することにより、カメラの角度ずれΔθを算出することができる。そして、このΔθを用いることにより、光軸の角度のずれ、例えば、レーザー16の光線に対するカメラ14のピッチ、ヨーを算出することができるので、カメラ14で撮影した画像におけるカメラ14の光軸の角度ずれの距離測定の補正を実現することが可能である。
　上記では、水平方向のみにずれた場合を示したが、鉛直方向にずれた場合についても同様に処理することが可能である。また、計算において符号は、考慮されていないが、適切に符号を考慮するものとする。さらに、上記では、焦点の位置PCにおいて角度がずれるものとしたが、軸のずれる位置についても、複数の点、又は、複数のターゲットを用いることにより補正することが可能である。ただし、一般的には、角度のずれは十分に小さい、又は、軸ずれの位置のずれは十分に小さいと考えることができるため、角度ずれの中心点を考慮せずに、上記の式で近似してもよい。
　（カメラの回転ずれ補正）
　図6は、一実施形態に係るカメラ14の回転ずれを説明するための図である。カメラ14が光軸の周りに回転した場合に、回転ずれがない場合のレーザー16a、14bのターゲットT上の位置をイメージャ上に投影した点A、Bが、点A’、点B’として取得されたとする。点Aと点Bの位置は、既知である。
　この場合、点A’、点B’を結ぶ直線と、点A、点Bを結ぶ直線のなす角度φとすると、これが光軸に対してカメラが回転した角度となる。角度φは、2直線のなす角度であるので、各点の位置から算出することができる。例えば、ベクトルABとベクトルA’B’の内積を用いて以下のように求めることができる。
Figure JPOXMLDOC01-appb-M000009
 ただし、Arccosは、cosの逆関数の主値を表す。この式に限られるものではなく、直線の式から傾きの角度を演算したり、又は、理論値において点A、Bは、イメージャの水平方向にあると仮定して、点A’、B’についてのみ演算したりすることにより、φを求めてもよい。例えば、A’(xa, ya)、B’(xb, yb)であれば、以下の式にしたがってもよい。
Figure JPOXMLDOC01-appb-M000010
　このφを用いることにより、カメラ14の光軸周りの回転、すなわち、カメラ14のロールを算出することができるので、カメラ14で撮影した画像におけるカメラ14の光軸周りの回転ずれによる距離測定の補正を実現することが可能である。
　なお、光軸を中心に回転するものとしたが、光軸が中心でなくても同様にφを取得することは可能である。また、符号についても上記と同様に、適切に付与することが可能である。
　（複合的なずれ等に対する補正）
　図7は、複合的なずれに対する補正を説明するための図である。例えば、倍率のずれと、回転のずれと角度のずれが複合して発生しているとする。
　このような場合、まず、倍率の補正を実行する。この倍率の補正を最初に実行することにより、焦点距離fを補正することが可能となる。焦点距離fは、カメラの角度ずれの補正に必要となる。
　次に、倍率の補正により補正された焦点距離を用いて、カメラの角度ずれの補正を実行する。この補正をすることにより、図にA’、B’からの1つめの矢印で示されるように、カメラ14の光軸の角度ずれを補正する。この補正により、光軸周りの回転ずれの補正に用いる座標を取得することができる。
　その後、光軸周りの回転ずれの補正を、光軸の角度ずれを補正した座標に基づいて実行する。このように、次の段階で必要となる値が得られるように補正を実行する。このように、複数の補正を実行する場合には、補正の順番を定義しておいてもよい。
　（光軸の平行ずれ）
　図8は、光軸の平行方向のずれを説明するための図である。光軸の平行方向のずれを補正する場合には、2つの距離に存在するターゲットT1、T2における光線の位置を取得する。これらの情報の取得の前に、前述の各補正が実行されているものとする。光軸の角度ずれの補正の場合と同様に、一例として水平方向のずれ（カメラ14の点PCとレーザー16の点Paを結ぶ方向のずれ）だけを説明するが、図のP1、P2により形成される直線上で計算することができるので、任意の角度の場合に適用することが可能である。
　まず、カメラ14により、レーザー16のうち1つによる投影点を取得できる距離の異なる位置にあるターゲットT1、T2の画像を取得する。点PC及びレーザー16の測定基準となる面から、ターゲットT1、T2までの距離をそれぞれL1、L2とする。ターゲットT1におけるレーザー16のイメージャにおける投影点をP1、ターゲットT2におけるレーザー16のイメージャにおける投影点をP2とおく。この点P1、P2と、光軸との距離をそれぞれd1、d2とおく。また、点PCと点Paの距離をDaとおく。
　ターゲットT1に投影されたレーザー16の点の像に対して、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000011
 f、Daは、既知であり、L1は、レーザー16による測定で検出できるため、(11)式からずれがない場合の理想的なd1を求めることができる。一方で、取得した画像において、光軸の位置と観測点P’1の位置とに基づいて、実際のd’1を求めることができる。この差（= d’1 - d1）をずれとして検出してもよい。
　これに対して、より正確にずれを求めることもできる。例えば、光軸の位置のずれがある場合には、既知の光軸中心に対して、観測点をP’1とすると、ずれΔx（= d’1 - d1）は、以下の式にしたがう。
Figure JPOXMLDOC01-appb-M000012
 この式から、d’1が観測点として取得できればΔxを算出することが可能となる。カメラ14とレーザー16との角度のずれがない場合には、上記の(11)式、(12)式、又は、もう一方のレーザー16におけるP2に対する同様の式により、Δxを算出できる。
　また、ターゲットT2に対して以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000013
 f、Daは、既知であり、L1、L2は、レーザー16による測定で検出できるため、これらの式により、d1、d2の理論値をそれぞれ求めることができる。(13)式を用いても同様に、光軸の平行移動のずれを検出することができる。
　このd1、d2の理論値と、実測値とのずれが、光軸ずれの変化に対応するとなる。例えば、Daをイメージャの中心点からレーザー16までの距離として理論値を上述の式で算出し、実測値と比較することにより、光軸の中心がどのようにずれたかを検出することが可能となる。
　カメラ14とレーザー16との間の角度に関するずれの影響がない場合には、これらの式から算出されたずれの量は同等となる。一方で、カメラ14とレーザー16との角度のずれがある場合には、ターゲットT1及びターゲットT2の2つの距離におけるターゲットを用いて、それぞれのターゲットに対するずれΔxに基づいて、角度のずれがあることを検出することもできる。このため、これらの式から取得したずれΔxを、光軸の平行移動のずれとしてもよい。そして、角度のずれの影響がある場合には、前述の方法により、角度ずれを補正してもよい。
　（処理）
　次に、上記で説明した各処理について、フロー図を用いて説明する。
　図9は、一実施形態に係るキャリブレーション処理を示すフローチャートである。
　まず、情報処理装置1は、処理に必要となるデータを取得する（S100）。処理に必要となるデータは、例えば、壁等の指標となるターゲットに対して複数のレーザー16により測定した距離、カメラ14により撮影された画像、また、図示しないセンサにより取得された、温度、湿度等の情報である。この処理において取得されたデータは、必要に応じて記憶部12に格納される。
　次に、処理回路10は、上記のデータを用いて前処理を実行する（S110）。図10は、前処理を示すフローチャートである。
　処理回路10は、カメラ14が取得した映像等について、与えられた内部パラメータを用いて歪み補正を実行する（S1100）。
　次に、処理回路10は、カメラ14が複数あり、ステレオ映像等を取得する場合には、画像の平行化を実行する（S1102）。これは、例えば、内部パラメータ及び外部パラメータに基づいて実行される。
　次に、処理回路10は、レーザー16がターゲットに投影された点を輝点として取得する（S1104）。例えば、処理回路10は、輝点の座標を取得する。この他、後述の処理で必要となる場合には、輝点の波長、FPS、スポット径、位置関係等の情報を取得する。
　次に、処理回路10は、複数のレーザー16について、どの輝点がどのレーザー16に対応するかを判別する（S1106）。この判別は、例えば、レーザー16の波長、FPS、スポット系、カメラ14との位置関係により取得することができる。
　次に、処理回路10は、距離情報を取得する（S1108）。距離情報は、上述したように、レーザー16と、それぞれのレーザーに対応するセンサの感知情報に基づいて測定される。なお、この処理は、S1106の後に実行される必要はなく、例えば、S1100からS1106の処理と並行して実行される等、次の処理の前までに実行されればよい。
　次に、処理回路10は、距離情報を、輝点の情報と対応づけて格納する（S1110）。複数のレーザー16について、S1104で得られた座標と、S1106で得られたレーザー16と輝点との対応関係と、S1108で得られたそれぞれのレーザー16により計測された距離情報と、に基づいて、どの輝点がどの距離にあるかを関連づけて記憶部12に記憶する。
　図9に戻り、次に、処理回路10は、倍率の変動を検出し、必要であれば、倍率の補正を実行する（S120）。倍率の補正は、処理回路10が取得した画像に対して実行してもよい。また、別の例として、より精度の高い計測が必要である場合であれば、精度の高い制御機構を用いて、処理回路10からカメラ14へと送信された制御信号に基づいて、倍率が理想に近づくべく補正されるように、カメラ14の光学系の制御をしてもよい。
　図11は、倍率変動に関する処理を示すフローチャートである。
　処理回路10は、上記の処理で得られた輝点の位置を取得する（S1200）。上記の処理と連続して実行される場合には、例えば、変数等に格納してキャッシュデータ等として本処理まで保持していてもよい。
　次に、処理回路10は、記憶部12に格納されている理想的な輝点の位置を取得する（S1202）。理想的な位置とは、搭載されているカメラ14、レーザー16等において、所定の温度、湿度等の環境下における輝点の位置である。処理回路10は、それぞれのレーザー16に対する理想的な輝点の位置を取得する。
　次に、処理回路10は、前述した処理にしたがい、倍率の変動を検出する（S1204）。
　次に、処理回路10は、倍率変動補正が必要であれば、検出された倍率補正の変動に基づいて、補正を行う（S1206）。この補正は、前述したように、画像自体に行ってもよいし、カメラ14に対して行ってもよい。カメラ14に対して行った場合は、倍率補正した後の画像を再取得してもよい。
　次に、処理回路10は、倍率変動情報を記憶部12に格納する（S1208）。倍率補正を実行する場合には、倍率変動に関する情報として、補正に必要な情報に変換したパラメータ等を、処理回路10により算出し、格納してもよい。なお、倍率変動が検出された場合においても、画像自体、又は、カメラ14に対して補正を実行する必要はなく、この変動の情報が格納されれば十分である場合には、この変動情報を格納する処理を少なくとも実行すればよい。例えば、補正は、各段階では実行せずに最後にまとめて記憶部12に格納したそれぞれの変動、ずれの情報に基づいて実行してもよいし、必要となるステップにおいて実行してもよい。
　図9に戻り、次に、処理回路10は、角度ずれを検出し、必要であれば、角度ずれの補正を実行する（S130）。図12は、角度ずれに関する処理を示すフローチャートである。
　処理回路10は、倍率補正が必要である場合には、上記の処理結果に基づいて倍率補正を実行する（S1300）。なお、倍率補正が必要ではない、又は、上記の処理において倍率補正後の画像が取得できているのであれば、本処理は、省略してもよい。また、画像を取得することなく、倍率補正の情報、すなわち、焦点距離f’の情報に基づいて下記の処理を行ってもよく、この場合もこの処理を省略してもよい。
　次に、処理回路10は、倍率補正された画像における光軸と輝点とのなす角度を算出する（S1302）。
　次に、処理回路10は、前ステップにおいて算出された角度に基づいて、理想的な光軸と輝点とのなす角度とのずれを検出する（S1304）。例えば、角度ずれが所定値以上である場合に、角度ずれを検出してもよい。この時点で角度ずれが所定値未満である場合には、以下の処理は省略してもよい。
　次に、処理回路10は、前ステップにおいて角度ずれが検出された場合には、角度ずれの補正を行う（S1306）。
　次に、処理回路10は、取得された角度ずれ情報を記憶部12に格納する（S1308）。上記と同様に、補正を実行する場合には、角度ずれに関する情報として、補正に必要な情報に変換したパラメータ等を、処理回路10により算出し、格納してもよい。なお、角度ずれが検出された場合においても、画像に対して補正を実行する必要はなく、このずれの情報が格納されれば十分である場合には、この変動情報を格納する処理を少なくとも実行すればよい。
　図9に戻り、次に、処理回路10は、回転ずれを検出し、必要であれば、回転ずれの補正を実行する（S140）。図13は、回転ずれに関する処理を示すフローチャートである。
　処理回路10は、倍率補正が必要である場合には、上記の処理結果に基づいて倍率補正を実行する（S1400）。なお、倍率補正が必要ではない、又は、上記の処理において倍率補正後の画像が取得できているのであれば、本処理は、省略してもよい。また、画像を取得することなく、倍率補正の情報、すなわち、焦点距離f’の情報に基づいて下記の処理を行ってもよく、この場合もこの処理を省略してもよい。
　次に、処理回路10は、倍率補正された画像における2つのレーザー16による輝点と基準、例えば、水平方向との角度を算出する（S1402）。なお、この処理は、例えば、上記に示したように、内積等により、理想的な2つの輝点を結ぶ直線と、実際に観測された2つの輝点の角度とを直接的に計算するものであってもよい。
　次に、処理回路10は、前ステップにおいて算出された角度に基づいて、理想的な2つの輝点を結ぶ直線と、実際に観測されている2つの輝点を結ぶ直線との角度を比較することにより、回転ずれを検出する（S1404）。2つの直線のなす角度が所定値以上である場合には、回転ずれがあるとして検出する。上記の処理で直接的に角度を計算した場合には、本処理においては、例えば、当該角度が所定値以上であることにより、検出してもよい。この時点で回転ずれが所定値未満である場合には、以下の処理は省略してもよい。
　次に、処理回路10は、前ステップにおいて回転ずれが検出された場合には、回転ずれの補正を行う（S1406）。
　次に、処理回路10は、取得された回転ずれ情報を記憶部12に格納する（S1408）。上記と同様に、補正を実行する場合には、回転ずれに関する情報として、補正に必要な情報に変換したパラメータ等を、処理回路10により算出し、格納してもよい。なお、回転ずれが検出された場合においても、画像に対して補正を実行する必要はなく、このずれの情報が格納されれば十分である場合には、この変動情報を格納する処理を少なくとも実行すればよい。
　図9に戻り、次に、処理回路10は、光軸の並行ずれを検出、必要であれば、補正を実行する（S150）。この処理は、必須ではなく、必要に応じて実行すればよい。
　次に、処理回路10は、データを出力して、キャリブレーションに関する処理を終了する（S160）。必要に応じて、この段階で、各検出結果に基づいて補正を実行してもよいし、外部のアプリケーション等にこの検出結果を出力してもよい。
　図14は、一実施形態に係る情報処理装置1の使用例を示すブロック図である。例えば、情報処理装置1は、ヘッドマウントディスプレイ2に接続されて実装することにより、ユーザが見ている、又は、操作する空間の情報処理を実行する。別の例としては、ヘッドマウントディスプレイ2に情報処理装置1は、内蔵されていてもよい。この他、グラス型のウェアラブルデバイス等に用いてもよい。これらの場合において、情報処理装置1は、例えば、VR（Virtual Reality）空間、AR（Augmented Reality）空間における処理の精度を向上させる。
　ヘッドマウントディスプレイ2は、自己位置検出ブロック20と、映像出力ブロック22と、を備える。
　自己位置検出ブロック20は、例えば、処理回路200と、位置情報取得部202と、センサ204と、を備える。
　処理回路200は、情報処理装置1から取得した、カメラ映像等及び各種位置、姿勢に関する情報等と、位置情報取得部202が取得した位置情報と、センサ204が取得した環境情報と、に基づいて、カメラ映像の処理を実行する。
　位置情報取得部202は、例えば、GPS（Global Positioning System）等による位置測定、又は、Wi-Fi（登録商標）等を用いた位置測定を実行する。この位置測定結果に基づいて、処理回路200は、例えば、VR／AR空間内のオブジェクト等を配置したり、又は、操作ウィンドウ等を配置したりすることができる。
　センサ204は、例えば、6軸センサ、大気圧センサ等を備える。これらのセンサにより感知した情報に基づいて、処理回路200は、カメラ映像等を適切に処理する。
　自己位置検出ブロック20は、検出した自己位置、姿勢等の情報を出力する。また、受信したカメラ映像等に対して、位置情報、姿勢情報、その他の環境情報を加味した画像処理を加えてもよい。また、カメラ14が複数備えられる場合には、ステレオ映像に関する処理を実行してもよい。
　映像出力ブロック22は、映像情報処理回路220と、出力部222と、を備える。
　映像情報処理回路220は、処理回路200が出力したデータに基づいて、映像信号を生成する。例えば、映像情報処理回路220は、処理回路200が出力したカメラ映像、自己位置、姿勢に基づいて、適切な映像情報を生成し、出力部へと送信する。映像情報処理回路220は、例えば、各種GPUを備えている。
　出力部222は、例えば、ディスプレイである。映像情報処理回路220は、上記のように取得した情報から映像を生成して、このディスプレイに表示させる。ユーザは、ディスプレイを見ることにより、臨場感あふれる映像を見ることができる。この映像は、上記の処理により、リアルタイムにキャリブレーションされたものである。キャリブレーションをリアルタイムに精度よく実行することにより、ユーザが見る映像の補正をより精度よく実行することが可能となる。
　例えば、ヘッドマウントディスプレイ2は、カメラ14の位置、姿勢のずれを補正した現実空間をコピーした映像と、その他の操作ウィンドウ、仮想オブジェクト等を、現実の位置、姿勢と矛盾することなく重畳させて、出力することが可能となる。
　以上のように、本実施形態に係る情報処理装置1を用いることにより、ヘッドマウントディスプレイのようなエッジデバイス側でリアルタイムなキャリブレーション処理を実現することが可能となる。この結果、位置・姿勢の推定精度を、常に一定レベル以上に保つことが可能となる。この処理は、上述したように、ターゲットとの距離と、カメラにより撮影された像を用いるので、一般的なキャリブレーションのように、テストチャートを準備して所定の姿勢で当該テストチャートを撮影するといったキャリブレーションのための準備を必要とせず、かつ、高度な計算を用いないので、十分にリアルタイムにキャリブレーションを実行することが可能となる。このキャリブレーションは、常時実行されている必要はなく、適切なタイミングで実行されればよい。
　一般的に用いられているデバイスは、工場出荷時にキャリブレーションしたり、又は、初回起動時にキャリブレーションしたりすることにより、一定の精度を保つが、これらは、環境等により変化するものである。本開示においては、この後発的に発生する障害をキャリブレーションによりリアルタイムに検出し、補正することが可能となる。
　本開示において、「以上」「未満」という表現を使用したが、これは、必要に応じて「より大きい」「以下」と書き換えることが可能であることに留意されたい。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
　前記撮像装置が取得した撮像画像における前記照射光の位置と、
　に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する、処理回路を備える、
　情報処理装置。
(2)
　前記レーザーと、前記ターゲットまでの距離は、測距回路、又は、前記処理回路により算出される、
　(1)に記載の情報処理装置。
(3)
　前記撮像装置の光学系の焦点と、複数の前記レーザーの照射位置は、基準面に備えられる、
　(1)又は(2)に記載の情報処理装置。
(4)
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の倍率変動に関する情報を取得する、
　(3)に記載の情報処理装置。
(5)
　前記処理回路は、前記撮像画像における少なくとも2つの前記レーザーが前記ターゲットに照射された位置の像と、前記レーザーの照射位置の距離と、に基づいて、前記倍率変動に関する情報を取得する、
　(4)に記載の情報処理装置。
(6)
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の姿勢のずれに関する情報を取得する、
　(4)又は(5)に記載の情報処理装置。
(7)
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
　(6)に記載の情報処理装置。
(8)
　前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
　(7)に記載の情報処理装置。
(9)
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
　(6)から(8)のいずれかに記載の情報処理装置。
(10)
　前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
　(9)に記載の情報処理装置。
(11)
　前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像を結んだ直線と、実際に撮影された像を結んだ直線とのなす角度により、前記回転ずれに関する情報を取得する、
　(10)に記載の情報処理装置。
(12)
　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の平行移動ずれに関する情報を取得する、
　(6)から(11)のいずれかに記載の情報処理装置。
(13)
　前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像と、実際に撮影された像の位置とのずれに基づいて、前記光軸の平行移動ずれに関する情報を取得する、
　(12)に記載の情報処理装置。
(14)
　エッジデバイスに搭載される、
　(1)から(13)のいずれかに記載の情報処理装置。
(15)
　前記エッジデバイスは、ヘッドマウントディスプレイである、
　(14)に記載の情報処理装置。
(16)
　前記エッジデバイスは、眼鏡型のウェアラブルデバイスである、
　(14)に記載の情報処理装置。
(17)
　前記エッジデバイスは、前記処理回路から取得した補正に関するパラメータに基づいて、前記撮像装置が取得した情報を補正し、映像として表示する、出力部、
　を備える、(14)から(16)に記載の情報処理装置。
(18)
　(1)から(17)のいずれかに記載の情報処理を実行する、情報処理方法。
(19)
　(1)から(17)のいずれかに記載の情報処理を、ハードウェア資源を用いて具体的に実現する、プログラム。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1：情報処理装置、
10：処理回路、12：記憶部、14：カメラ、16：レーザー、
2：ヘッドマウントディスプレイ、
20：自己位置検出ブロック、200：処理回路、202：位置情報取得部、204：センサ、
22：映像出力ブロック、220：映像情報処理回路、222：出力部

Claims (19)

  1. 　撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
    　前記撮像装置が取得した撮像画像における前記照射光の位置と、
    　に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する、処理回路を備える、
    　情報処理装置。
  2. 　前記レーザーと、前記ターゲットまでの距離は、測距回路、又は、前記処理回路により算出される、
    　請求項1に記載の情報処理装置。
  3. 　前記撮像装置の光学系の焦点と、複数の前記レーザーの照射位置は、基準面に備えられる、
    　請求項1に記載の情報処理装置。
  4. 　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の倍率変動に関する情報を取得する、
    　請求項3に記載の情報処理装置。
  5. 　前記処理回路は、前記撮像画像における少なくとも2つの前記レーザーが前記ターゲットに照射された位置の像と、前記レーザーの照射位置の距離と、に基づいて、前記倍率変動に関する情報を取得する、
    　請求項4に記載の情報処理装置。
  6. 　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の姿勢のずれに関する情報を取得する、
    　請求項4に記載の情報処理装置。
  7. 　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
    　請求項6に記載の情報処理装置。
  8. 　前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
    　請求項7に記載の情報処理装置。
  9. 　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
    　請求項6に記載の情報処理装置。
  10. 　前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
    　請求項9に記載の情報処理装置。
  11. 　前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像を結んだ直線と、実際に撮影された像を結んだ直線とのなす角度により、前記回転ずれに関する情報を取得する、
    　請求項10に記載の情報処理装置。
  12. 　前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の平行移動ずれに関する情報を取得する、
    　請求項6に記載の情報処理装置。
  13. 　前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像と、実際に撮影された像の位置とのずれに基づいて、前記光軸の平行移動ずれに関する情報を取得する、
    　請求項12に記載の情報処理装置。
  14. 　エッジデバイスに搭載される、
    　請求項1に記載の情報処理装置。
  15. 　前記エッジデバイスは、ヘッドマウントディスプレイである、
    　請求項14に記載の情報処理装置。
  16. 　前記エッジデバイスは、眼鏡型のウェアラブルデバイスである、
    　請求項14に記載の情報処理装置。
  17. 　前記エッジデバイスは、前記処理回路から取得した補正に関するパラメータに基づいて、前記撮像装置が取得した情報を補正し、映像として表示する、出力部、
    　を備える、請求項14に記載の情報処理装置。
  18. 　処理回路が、
    　　撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
    　　前記撮像装置が取得した撮像画像における前記照射光の位置と、
    　に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する、
    　情報処理方法。
  19. 　処理回路に、
    　　撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
    　　前記撮像装置が取得した撮像画像における前記照射光の位置と、
    　に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する方法を実行させる、
    　プログラム。
PCT/JP2021/020877 2020-06-30 2021-06-01 情報処理装置、情報処理方法及びプログラム WO2022004248A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-113071 2020-06-30
JP2020113071A JP2022011740A (ja) 2020-06-30 2020-06-30 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022004248A1 true WO2022004248A1 (ja) 2022-01-06

Family

ID=79316012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020877 WO2022004248A1 (ja) 2020-06-30 2021-06-01 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2022011740A (ja)
WO (1) WO2022004248A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117129809A (zh) * 2023-08-30 2023-11-28 上海紫红光电技术有限公司 一种基于无人机载多光成像技术的电力故障诊断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030157A (ja) * 2004-06-18 2006-02-02 Japan Aerospace Exploration Agency カメラ校正のための透過型校正器具とその校正法
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2015132540A (ja) * 2014-01-14 2015-07-23 株式会社リコー 測距装置及びロボットピッキングシステム
WO2019099408A1 (en) * 2017-11-15 2019-05-23 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030157A (ja) * 2004-06-18 2006-02-02 Japan Aerospace Exploration Agency カメラ校正のための透過型校正器具とその校正法
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2015132540A (ja) * 2014-01-14 2015-07-23 株式会社リコー 測距装置及びロボットピッキングシステム
WO2019099408A1 (en) * 2017-11-15 2019-05-23 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117129809A (zh) * 2023-08-30 2023-11-28 上海紫红光电技术有限公司 一种基于无人机载多光成像技术的电力故障诊断方法
CN117129809B (zh) * 2023-08-30 2024-04-19 上海紫红光电技术有限公司 一种基于无人机载多光成像技术的电力故障诊断方法

Also Published As

Publication number Publication date
JP2022011740A (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
US11223820B2 (en) Augmented reality displays with active alignment and corresponding methods
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
US9330324B2 (en) Error compensation in three-dimensional mapping
JP7007167B2 (ja) 測量装置、測量装置の校正方法および測量装置の校正用プログラム
EP3483554B1 (en) Calibration checking method for surveying device
CN109211107B (zh) 测量装置、旋转体以及产生图像数据的方法
KR20190075044A (ko) 깊이 정보 결정을 위한 다중 이미터 조명
KR101605386B1 (ko) 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템
CN108111828B (zh) 投影设备校正方法、装置及投影设备
US20180211367A1 (en) Method and device for inpainting of colourised three-dimensional point clouds
CN110274581B (zh) 全站仪、确定全站仪的仪器误差的方法和机器可读介质
JP7097709B2 (ja) 測量システム
AU2022231762B2 (en) A bundle adjustment system
US10436905B2 (en) System and method for positioning measurement
WO2022004248A1 (ja) 情報処理装置、情報処理方法及びプログラム
AU2017344757B2 (en) An aerial camera boresight calibration system
CN114296057A (zh) 一种计算测距系统相对外参的方法、装置和存储介质
KR102158026B1 (ko) 캘리브레이션 장치 및 카메라 시스템
JPWO2005100910A1 (ja) ３次元形状計測方法及びその装置
CN116342710B (zh) 用于激光跟踪仪的双目相机的标定方法
JP2016017913A (ja) 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム
CN116718108A (zh) 双目相机
JP7001800B2 (ja) 測量システム
JPH09145320A (ja) ３次元入力カメラ
US10247613B1 (en) Optical head tracking and object tracking without the use of fiducials

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832165

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21832165

Country of ref document: EP

Kind code of ref document: A1