WO2019017328A1 - 較正装置および較正方法 - Google Patents

較正装置および較正方法 Download PDF

Info

Publication number
WO2019017328A1
WO2019017328A1 PCT/JP2018/026707 JP2018026707W WO2019017328A1 WO 2019017328 A1 WO2019017328 A1 WO 2019017328A1 JP 2018026707 W JP2018026707 W JP 2018026707W WO 2019017328 A1 WO2019017328 A1 WO 2019017328A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
subject
subjects
fixing member
imaging device
Prior art date
Application number
PCT/JP2018/026707
Other languages
English (en)
French (fr)
Inventor
丈晴 北川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019531033A priority Critical patent/JP7056660B2/ja
Publication of WO2019017328A1 publication Critical patent/WO2019017328A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques

Definitions

  • the present invention relates to a technique related to calibration of an imaging device.
  • Patent Document 1 discloses a configuration of a three-dimensional measurement device in which a measurement device that measures a distance to a survey target point and the direction thereof and a stereo camera are integrated. Further, in the configuration of the three-dimensional shape detection device disclosed in Patent Document 2, a mounting table on which the subject is mounted is disposed at one end, and a photographing unit that photographs the subject is disposed at the other end. Patent Document 2 discloses a technique relating to calibration of a three-dimensional shape detection device having such a configuration.
  • a fish may be photoed with imaging devices under water of the sea etc., and measurement of the length of a fish etc. may be performed using the photography picture concerned.
  • a fish to be observed is photographed by a stereo camera which is a photographing device configured by a digital video camera, and a photographed image including length information is acquired.
  • the length of the fish and the like are measured using this captured image.
  • calibration of the stereo camera needs to be performed with high accuracy.
  • the calibration of the stereo camera in this case is based on the photographed image of the calibration subject photographed by the stereo camera, with the stereo camera and the calibration subject (for example, a plate member such as a checkerboard) arranged at intervals in water.
  • the distance between the stereo camera and the calibration subject is a distance corresponding to the size of the area to be photographed by the stereo camera, and may be, for example, about 2 m apart.
  • the change in the degree of transparency (visibility) of water in the sea or lake due to the change in season or weather is larger than that in the atmosphere, so it is possible to respond to changes in the season without changing the shooting device or shooting location. It is necessary to perform the calibration process of the imaging device at an appropriate timing. For this reason, the frequency of the calibration process becomes high compared with the case where it uses in the atmosphere, when the imaging device used under water etc. is used. Every time the calibration process is performed, as described above, it is necessary to suspend the photographing device and the calibration subject from the boat on the water and measure the distance between the photographing device and the calibration subject, which is troublesome.
  • the main object of the present invention is to facilitate acquisition of the accurate dimension of the distance between the imaging device and the calibration subject when performing calibration processing of the imaging device, and to reduce the work involved in the calibration processing.
  • the calibration device of the present invention A plurality of calibration objects juxtaposed to each other via a gap; An object connecting member for connecting between the calibration subjects and fixing a distance between the calibration subjects.
  • a photographing device fixing member for positioning and fixing a plurality of photographing devices juxtaposedly spaced apart from each other in a direction intersecting the juxtaposed direction of the plurality of calibration subjects; And a member for fixing a distance between the calibration subject and the imaging device.
  • the calibration method in the present invention is By connecting subject connecting members between a plurality of calibration subjects arranged side by side with a space between them, the spacing between the calibration subjects is fixed,
  • An imaging device fixing member positions and fixes a plurality of imaging devices juxtaposed with one another at an interval in a direction intersecting the juxtaposed direction of the plurality of calibration subjects.
  • the imaging device captures the calibration subject;
  • the imaging device is calibrated using a captured image obtained by the imaging.
  • the present invention it is possible to easily obtain an accurate dimension of the distance between the imaging device and the calibration subject when performing the calibration process of the imaging device, and to reduce the work involved in the calibration process.
  • FIG. 7 is a cross-sectional view for explaining an embodiment of a connecting member that constitutes the imaging device fixing member. It is a perspective view explaining an example of composition of a connection part of an imaging device fixed member and a member for interval fixation. It is a perspective view which represents typically the structure of the calibration apparatus of 2nd Embodiment which concerns on this invention.
  • FIG. 7 is a diagram illustrating another embodiment of a calibration apparatus.
  • FIG. 7 illustrates yet another alternative embodiment of the calibration apparatus.
  • FIG. 7 illustrates yet another alternative embodiment of the calibration apparatus.
  • FIG. 1 is a perspective view schematically showing a calibration apparatus according to a first embodiment of the present invention.
  • the calibration apparatus 1 of the first embodiment is an apparatus (apparatus) used when performing calibration of a stereo camera.
  • the stereo camera to be calibrated is constituted by a plurality of similar photographing devices (here, digital video cameras) 10 and 11 juxtaposed via a gap, in water such as sea or lake It is assumed that fish etc. are photographed.
  • the calibration apparatus 1 includes a plurality of calibration subjects 2 and 3, a subject connection member 4, an imaging device fixing member 5, and a spacing fixing member 6.
  • the photographing device fixing member 5 is a member for fixing a plurality of photographing devices 10 and 11 in a state of being juxtaposed through a gap, and mounting members 13 and 14 on which the respective photographing devices 10 and 11 are to be installed; And a connecting member 15 for connecting the members 13 and 14.
  • the placement member 13 and the placement member 14 have the same configuration. Thereby, the configuration of the placement member 13 will be described here, and the description of the configuration of the placement member 14 will be omitted.
  • FIG. 2 is a perspective view schematically showing the configuration of the mounting member 13
  • FIG. 3 is a perspective view schematically showing a state in which the imaging device 10 is mounted on the mounting member 13.
  • the mounting member 13 has a substrate 20 on which the imaging device 10 is mounted, and the substrate 20 is provided with a configuration for positioning and fixing the imaging device 10.
  • FIG. 4 is a view for explaining a configuration for positioning and fixing the photographing device 10 in the mounting member 13.
  • the imaging device 10 may be attached to a support tool such as a tripod or a monopod in order to perform stable imaging.
  • the imaging device 10 may be provided with screw holes 17 and positioning holes 18 as shown in FIG. 4.
  • the mounting member 13 is provided with a configuration for positioning and fixing the imaging device 10 using the screw holes 17 and the positioning holes 18. That is, in the mounting member 13, the insertion hole 21 is provided at the position of the substrate 20 corresponding to the screw hole 17 of the photographing device 10 when the photographing device 10 is mounted at the setting position.
  • the protrusions 22 are provided at the position of the substrate 20 corresponding to the positioning holes 18.
  • the insertion hole 21 is a through hole penetrating from the back surface of the substrate 20 to the front surface in FIG. 4 and has a hole diameter through which the screw 23 screwed into the screw hole 17 of the photographing device 10 can be inserted.
  • the protrusion 22 has a shape and a size that fit loosely into the positioning hole 18 of the imaging device 10.
  • the imaging device 10 is represented in FIG. 3 by the screw 23 inserted into the insertion hole 21 from the back surface side of the substrate 20 being screwed into the screw hole 17 and the projection 22 being loosely fitted into the positioning hole 18. In the setting position of the substrate 20. In order to fix the photographing device 10 thus installed to the substrate 20, the substrate 20 is provided with gripping members 24, 25.
  • the gripping members 24 and 25 are plate-like small-piece members, respectively, and have contact surfaces 24A and 25A that are in contact with the side surface of the imaging device 10 installed at the setting position on the substrate 20. Furthermore, through holes 26 and 27 penetrating from the front side to the back side shown in FIG. 2 and the like are provided in the gripping members 24 and 25 respectively (in the first embodiment, the through holes 26 and 27). There are multiple The through holes 26 and 27 allow the screws 30 and 31 to be screwed into screw holes (not shown) provided in the substrate 20 and can be inserted through the through holes 26 and 27. 27 has a size for locking to the open end edge.
  • the through holes 26 and 27 are formed in the shape of a long hole extending in a direction approaching and approaching the contact surfaces 24A and 25A.
  • the imaging device 10 is installed at the setting position of the substrate 20, and the contact surfaces 24A and 25A of the gripping members 24 and 25 press the side surface of the imaging device 10 as shown in FIG. Screws 30 and 31 screw the gripping members 24 and 25 onto the substrate 20 in the state where they are located. Thereby, the holding members 24 and 25 hold the imaging device 10 to position and fix the imaging device 10 on the substrate 20.
  • the substrate 20 and the gripping members 24 and 25 of the mounting member 13 (14) and the imaging device 10 are simplified and represented, and the substrate 20 and the gripping members 24 and 25 are illustrated.
  • the shape of the imaging device 10 is not limited to the illustrated example.
  • portions of the substrate 20 and the gripping members 24 and 25 in contact with or facing the imaging device 10 (11) improve the shape of the imaging device 10 (11) and the attachment workability and attachment accuracy of the imaging device 10 (11). It is preferable to provide the shape which considered etc.
  • the connecting member 15 is a member that connects the mounting members 13 and 14 and fixes the distance between the mounting members 13 and 14.
  • the connection member 15 is configured of a rod-like rigid body (for example, a metal such as aluminum).
  • the material constituting the connection member 15 assumes mechanical strength and utilization in water (for example, in the sea), it is easy to carry out corrosion or transport due to seawater etc. It is selected in consideration of the lightness and ease of processing.
  • the rod-like connection member 15 may be solid, it may be a hollow structure in consideration of weight reduction.
  • the connecting member 15 may be in the shape of a bar whose cross-sectional shape is shown in FIG. Also in this case, the connecting member 15 can be made lighter than solid.
  • the connecting member 15 and the mounting members 13 and 14 are connected by, for example, a screw.
  • the distance between the mounting members 13 and 14 fixed by the connection member 15 is assumed to be the view angle of the imaging devices 10 and 11 mounted on the mounting members 13 and 14 and the imaging object from the imaging devices 10 and 11 This interval is appropriately set in consideration of the distance to the area to be
  • An attachment member 33 is connected to the connection member 15.
  • the attachment member 33 functions as a site for attaching the rope 35 used to suspend the calibration device 1 in water.
  • the attachment member 33 is also a rod-like member made of the same material as the connection member 15.
  • a stereo camera is configured by mounting the imaging devices 10 and 11 on the imaging device fixing member 5 including the mounting members 13 and 14 and the connection member 15 as described above.
  • the calibration subjects 2 and 3 are subjects for which an image (feature point) used for calibration of the imaging devices 10 and 11 is included in the captured image.
  • the calibration subjects 2 and 3 are provided inside the square-shaped frames 2A and 3A for reinforcement and distortion prevention of the square-shaped frames 2A and 3A and the frames 2A and 3A, respectively. It has a frame structure having frames 2B and 3B.
  • the rectangular frame 2A (3A) and the reinforcing frame 2B (3B) are disposed along the virtual plane.
  • the virtual plane in this example is the xy plane of the three-dimensional orthogonal coordinate system in FIG.
  • frame 2B, 3B, like the connection member 15 has mechanical strength, corrosion due to seawater etc., the lightness for easiness of transportation, and processing The selection is made in consideration of ease of operation.
  • the frame 2A of the calibration subject 2 is formed larger than the frame 3A of the calibration subject 3 (for example, the frame 2A is a square of 100 cm on one side, and the frame 3A is a square of 70 cm on one side) .
  • the calibration subjects 2 and 3 are parallel to each other in the perspective direction with respect to the photographing devices 10 and 11 so that the smaller calibration object 3 is closer to the photographing devices 10 and 11 than the larger calibration object 2. It will be set up.
  • the distance between the calibration subjects 2 and 3 and the size of the calibration subjects 2 and 3 are the size of the imaging area determined based on the performance of the imaging devices 10 and 11, the size of the imaging subject (for example, fish), etc. Etc. is taken into consideration.
  • the frame 2A of the calibration subject 2 is larger than the frame 3A of the calibration subject 3
  • the size of the object in the captured image becomes smaller as the distance from the imaging devices 10 and 11 increases. It is because a viewing angle was considered.
  • the direction of arrangement of the calibration subjects 2 and 3 is the imaging device 10 in which the imaginary plane as described above in which the rectangular frames 2A and 3A are disposed is installed on the mounting members 13 and 14, It is oriented orthogonal to the optical axis of 11.
  • the parallel arrangement direction of the calibration subjects 2 and 3 is a direction (z direction in FIG. 1) orthogonal to the parallel arrangement direction (x direction in FIG. 1) of the photographing devices 10 and 11.
  • the center lines of the calibration subjects 2 and 3 and the optical axes of the photographing devices 10 and 11 are disposed on the same plane.
  • the calibration subjects 2 and 3 When such calibration subjects 2 and 3 are displayed on a photographed image by the photographing devices 10 and 11, for example, corner portions of the frames 2A and 3A are used as a feature point for calibration processing.
  • the calibration subjects 2 and 3 have a configuration in which the feature points of the calibration subjects 2 and 3 used for such calibration processing can be easily determined in the captured image. That is, in the first embodiment, the calibration subjects 2 and 3 are a frame member (also referred to as a vertical member) along the y direction in FIG. 1 constituting the calibration subjects 2 and 3, and a frame member along the x direction It has a configuration in which the color is different from that of the cross member).
  • the combination of the color of the longitudinal member and the lateral member is a combination of colors that makes the difference between the longitudinal member and the lateral member clear, such that one of the longitudinal member and the lateral member is black and the other is yellow.
  • the combination of the colors of the vertical and horizontal members in the calibration subject 2 may be different from or the same as the combination of the colors of the vertical and horizontal members in the calibration subject 3.
  • the combinations of colors in the calibration subjects 2 and 3 are the same, for example, in the photographed image, the colors of the vertical members of the calibration subjects 2 and 3 are different even if the combinations of colors are the same. It is preferable to make the subjects 2 and 3 easy to distinguish.
  • the subject connecting member 4 is a member configured of a rod-like rigid body that connects the calibration subjects 2 and 3 and fixes the distance between the calibration subjects 2 and 3 to the setting interval as described above.
  • the calibration subjects 2 and 3 are connected by the four subject connection members 4.
  • Each subject connecting member 4 and the calibration subjects 2 and 3 are fixed by, for example, a screw or the like.
  • the connection position between each subject connection member 4 and calibration subjects 2 and 3 is appropriately set in consideration of suppressing distortion of calibration subjects 2 and 3 and a gap between calibration subjects 2 and 3. Ru.
  • distortion between calibration subjects 2 and 3 or between calibration subjects 2 and 3 is more than when one subject connecting member 4 is provided. It is easy to prevent the gap between the
  • the material constituting the subject connecting member 4 also has mechanical strength, corrosion due to seawater, etc., lightness for easy transport, ease of processing, etc. Is a material (for example, a metal such as aluminum) selected appropriately.
  • ropes 36 and 37 are attached to the calibration subjects 2 and 3 connected by the subject connection member 4, and the calibration subjects 2 and 3 are suspended in water by the ropes 36 and 37, for example.
  • the calibration subjects 2 and 3 have a frame structure. Therefore, when the calibration subjects 2 and 3 are suspended in water, such as in the sea, distortion, positional deviation, and the like due to the pressing force of the water flow can be suppressed.
  • the spacing fixing member 6 is a rigid member that fixes the spacing between the calibration subjects 2 and 3 and the imaging devices 10 and 11. That is, in order to perform accurate calibration (calibration) of the imaging devices 10 and 11, it is desirable to obtain information of accurate lengths between the calibration subjects 2 and 3 and the imaging devices 10 and 11. Taking this into consideration, the spacing fixing member 6 has a spacing between the calibration subjects 2 and 3 and the photographing devices 10 and 11 (specifically, a spacing between the calibration subject 3 and the photographing device fixing member 5). The interval between the calibration subject 3 and the photographing device fixing member 5 is fixed so as to be the set value. That is, in the first embodiment, the spacing fixing member 6 has a configuration in which a plurality of rod-like rigid members are juxtaposed and integrated.
  • One end of the space fixing member 6 is connected to the setting position of the calibration subject 3 by, for example, a screw, and the other end is connected to the setting position of the connecting member 15 of the photographing apparatus fixing member 5 by, for example, a screw
  • the interval between the subject 3 and the photographing device fixing member 5 is fixed.
  • the distance between the calibration subject 3 and the photographing device fixing member 5 is fixed by the space fixing member 6, and the distance between the photographing devices 10 and 11 is fixed by the connecting member 15 as described above.
  • the distance between the subjects 2 and 3 is fixed by the subject connecting member 4.
  • the distance between the calibration subjects 2 and 3 and the imaging devices 10 and 11 is fixed.
  • the calibration subject and the imaging apparatus are separated, and the calibration subject and the imaging apparatus are separately suspended from the ship in water for calibration of the imaging apparatus.
  • the distance between the calibration subject and the imaging apparatus is different each time the calibration processing is performed, it is necessary to measure the interval between the calibration subject and the imaging apparatus each time the calibration processing is performed. .
  • the measurement is performed by a worker on the ship after the calibration object and the photographing device are suspended from the ship on the water. For this reason, the measurement operation is troublesome, and it is difficult to obtain a highly accurate measurement value.
  • the calibration subjects 2 and 3 and the imaging devices 10 and 11 are underwater with the distance between the calibration subjects 2 and 3 and the imaging devices 10 and 11 fixed. You can enter the Therefore, since the distance between the calibration subjects 2 and 3 and the photographing devices 10 and 11 can be measured, for example, on board, the calibration device 1 can easily measure the distance between the calibration subjects 2 and 3 and the photographing devices 10 and 11 It is possible to reduce the burden of work and to obtain accurate measurement values. Further, since it is assumed that the distance between the calibration subjects 2 and 3 and the photographing devices 10 and 11 does not substantially change, the calibration device 1 measures the distance between the calibration subjects 2 and 3 and the photographing devices 10 and 11 once. If this is done, it will be possible to omit the subsequent measurement, and to reduce the workload.
  • the space fixing member 6 is also selected appropriately in consideration of mechanical strength, corrosion due to seawater etc., lightness and ease of transportation, etc. (For example, a metal such as aluminum).
  • interval fixation may be equipped with the structure which can be shortened in consideration of the ease of conveyance, for example.
  • the imaging device fixing member 5 including the placement members 13 and 14 and the connection member 15 constitutes a stereo camera by mounting the imaging devices 10 and 11 on the placement members 13 and 14 .
  • the connecting member 15 of the photographing device fixing member 5 and the member 6 for fixing a distance can be separated from the connecting member 15 so that the stereo camera and the calibration subjects 2 and 3 can be separated. It is provided with a configuration that allows easy removal of the member 6 (removable).
  • a projecting portion that protrudes toward the spacing fixing member 6 is provided at the setting connection position of the connecting member 15 with the spacing fixing member 6, and the end face of the spacing fixing member 6 is a projecting portion A recess is formed to fit with. Furthermore, the structure which hold
  • interval fixation is provided.
  • the connecting member 15 and the spacing fixing member 6 may be connected using an L-shaped fitting.
  • the connecting member 15 slides one piece 42B of the two pieces 42A and 42B that constitute the L-shaped metal fitting 40.
  • a slide groove 41 is formed to movably fit.
  • the connecting member 15 and the piece 42B of the L-shaped fitting 40 communicate with each other in a state in which the piece 42B of the L-shaped fitting 40 is fitted in the slide groove 41 of the connecting member 15 Insertion holes (not shown) are provided.
  • the L-shaped metal fitting 40 is fixed to the connection member 15 by inserting a pin for positioning and fixing into the pin insertion holes.
  • the piece 42 ⁇ / b> A of the L-shaped fitting 40 protrudes from the connecting member 15.
  • a fitting portion (not shown) is formed in which the piece 42A of the L-shaped fitting 40 is fitted.
  • the space fixing member 6 and the piece 42A of the L-shaped fitting 40 communicate with each other in the state where the space fixing member 6 and the piece 42A of the L-shaped fitting 40 are fitted.
  • Pin insertion holes (not shown) are provided. By inserting a pin for positioning and fixing into these pin insertion holes, the L-shaped metal fitting 40 and the spacing fixing member 6 are connected. With such a configuration, the connecting member 15 and the spacing fixing member 6 are connected by the L-shaped fitting 40.
  • the calibration device 1 of the first embodiment is configured as described above.
  • the calibration device 1 can obtain the following effects. That is, in the first embodiment, the distance between the plurality of calibration subjects 2 and 3 is fixed by the subject connection member 4, and the distance between the calibration subjects 2 and 3 and the photographing device fixing member 5 is the distance fixing It is fixed by a member 6. For this reason, the interval between the imaging devices 10 and 11 and the calibration subjects 2 and 3 is a set value, and it is possible to obtain information on the accurate dimension of the interval between the imaging devices 10 and 11 and the calibration subjects 2 and 3 .
  • the calibration device 1 of the first embodiment can improve the accuracy of the calibration process of the imaging devices 10 and 11. This effect can be demonstrated especially in water.
  • the calibration device 1 can suppress variation in the accuracy of the calibration process. In other words, the calibration device 1 can improve the repeat accuracy of the calibration process.
  • the distance between the photographing devices 10 and 11 and the calibration subjects 2 and 3 is a set value
  • the distance between the photographing devices 10 and 11 and the calibration subjects 2 and 3 is determined by the degree of calibration processing. It is possible to reduce the work of calibration processing because it is not necessary to
  • the calibration device 1 can suppress distortion and displacement of the calibration objects 2 and 3 in water.
  • the calibration subjects 2 and 3 have a frame structure, weight reduction can be achieved. Further, the calibration subjects 2 and 3 are flat, and the flat calibration subjects 2 and 3 can include three-dimensional information in the photographed image by arranging them in parallel. For this reason, the calibration subjects 2 and 3 can include three-dimensional information necessary for calibration processing in the photographed image without using a solid such as a cube as the calibration subject, for example, and reduce the bulk. be able to.
  • the weight reduction and the bulk reduction as described above make the calibration objects 2 and 3 easy to carry.
  • the calibration objects 2 and 3 have a frame structure, the portion of the calibration object 2 on the far side of the imaging device 10 in the shadow of the calibration object 3 on the near side can be reduced.
  • the feature points used for processing can be increased.
  • making the sizes of the calibration subjects 2 and 3 different also contributes to an increase in feature points.
  • the placement members 13 and 14 of the imaging device fixing member 5 are provided with a configuration for positioning and fixing the imaging devices 10 and 11. For this reason, even if the mounting members 13 and 14 repeatedly attach and detach the imaging devices 10 and 11, the imaging devices 10 and 11 can be installed at the set positions, whereby the calibration process is performed each time the attachment and detachment are performed. It will not be necessary. That is, the mounting members 13 and 14 can reduce the trouble of performing the calibration process each time the imaging devices 10 and 11 are attached and detached for maintenance or the like.
  • FIG. 7 is a perspective view schematically showing the configuration of the calibration apparatus of the second embodiment.
  • the calibration device 1 of the second embodiment includes a calibration subject 8 in addition to the configuration of the first embodiment.
  • the calibration subject 8 is different in size from the calibration subjects 2 and 3.
  • the configuration other than the size of the calibration subject 8 is the same as that of the calibration subjects 2 and 3. That is, the calibration subject 8 is formed smaller than the calibration subject 3 (for example, the calibration subject 2 is a square having a side of 100 cm, the calibration subject 3 is a square having a side of 70 cm, and the calibration subject is The subject 8 is a square with one side of 40 cm).
  • the calibration subject 8 is disposed between the calibration subjects 2 and 3 (for example, an intermediate position between the calibration subjects 2 and 3) so as to be parallel to the calibration subjects 2 and 3. Furthermore, the position of the center line of the calibration subject 8 coincides with the position of the center line of the calibration subjects 2 and 3.
  • the calibration subject 2 and the calibration subject 8 and the calibration subject 3 and the calibration subject 8 are respectively connected by the subject connecting member 4. Further, the distance between the calibration subjects 2 and 8 and the distance between the calibration subjects 3 and 8 are fixed to set values by the subject connecting member 4.
  • the size of the calibration subject 8 is the corner portion of the calibration subject 8 in the photographed image when the calibration subjects 2, 3 and 8 are photographed by the photographing devices 10 and 11 installed on the mounting members 13 and 14. Are set so as not to overlap the corners of the calibration subjects 2 and 3. That is, in the photographed image by the photographing devices 10 and 11, the corner portions of the calibration subjects 2, 3 and 8 are used as feature points when performing the calibration process.
  • feature points used in the calibration process increase in images captured by the imaging devices 10 and 11.
  • the calibration subject 8 may have a function as a measuring scale (having a length as a reference of the measurement target).
  • the calibration apparatus 1 of the second embodiment can obtain the same effect as that of the first embodiment by providing the same configuration as that of the first embodiment, and can increase the number of features used in the calibration process. This makes it possible to further improve the calibration accuracy of the imaging device 10, 11.
  • the calibration subject 8 is disposed between the calibration subjects 2 and 3.
  • the calibration subject 8 may be disposed closer to the imaging devices 10 and 11 than the calibration subject 3, for example.
  • the area to be calibrated in the calibration process can be enlarged.
  • the calibration device 1 includes three calibration objects.
  • the calibration device 1 may comprise four or more calibration objects. That is, if the number of calibration subjects constituting the calibration device 1 is plural, the view angles of the imaging devices 10 and 11, the accuracy required for the calibration process, the size of the area to be calibrated process, etc. It may be an appropriate number.
  • the sizes of the calibration subjects 2 and 3 are different, but the sizes of the calibration subjects 2 and 3 may be the same. Furthermore, in the second embodiment, the sizes of the three calibration subjects 2, 3, 8 are different from each other. Alternatively, for example, the calibration subjects 2 and 3 may have the same size, and the calibration subject 8 may be smaller than the calibration subjects 2 and 3. Thus, when there are three or more calibration subjects constituting the calibration apparatus 1, the sizes of the calibration subjects may be different from each other, or calibration subjects having the same size may be included. It may be
  • the calibration subjects 2, 3, 8 have a square shape, but may have other shapes.
  • the calibration subject may be a light emitter such as a light emitting diode (LED) or a visible light such as having a color or pattern with good color development.
  • a high mark or the like may be provided.
  • the identification members 44 such as the light emitters and the marks are installed at various places in the calibration subjects 2, 3 and 8.
  • the identification member 44 can be a feature point used for the calibration process in the image captured by the imaging device 10 or 11. The identification member 44 can easily increase the feature points used for the calibration process.
  • a string for example, a string for fishing
  • a mark for example, a tape
  • the calibration subjects 2 and 3 have the same size, and the subject connecting member 4 connects the calibration subjects 2 and 3 at the four corners of the square calibration subjects 2 and 3. doing.
  • the calibration device 1 is assumed to be used in water, but the calibration device according to the present invention performs calibration of the imaging device on the ground May be used for
  • the calibration subjects 2, 3, and 8 are set so that the center lines of the calibration subjects 2, 3 and 8 and the optical axes of the imaging devices 10 and 11 are on the same plane. 8 and photographing devices 10 and 11 are provided.
  • the calibration subjects 2 and 3 are arranged such that the optical axes of the photographing devices 10 and 11 are shifted downward or upward in FIG. 1 etc. with respect to the center line of the calibration subjects 2, 3 and 8. , 8 and the photographing devices 10 and 11 may be disposed.
  • the calibration subjects 2, 3 and 8 have a frame structure.
  • the calibration subjects 2, 3, 8 And may be plate-like.
  • the calibration subject 2 far from the photographing apparatus 10 will be a shadow of the calibration subject 3 near the photographing apparatus 10 and not be photographed.
  • the number and connection positions of the subject connection members 4 are for calibration. It may be set appropriately in consideration of the size, intensity, shape, etc. of the objects 2, 3, and 8.
  • between the calibration subjects 2 and 8 adjacent to each other and between the calibration subjects 3 and 8 adjacent to each other are connected by the subject connecting member 4.
  • adjacent calibration subjects 2 and 8 are connected by subject connecting member 4, and calibration subjects 2 and 3 not adjacent are connected by subject connecting member 4.
  • the calibration subjects 2, 3, 8 may be connected with the interval fixed.
  • ropes 35, 36, and 37 are connected to the calibration device 1 as hanging members for suspending the calibration device 1 in water.
  • the hanging members may be rod-like members.
  • the rod-like members may be disposed so as to be passed between the hanging members.
  • the spacing fixing member 6 has a configuration in which a plurality of rod-like members are fixed in a juxtaposed manner, but it does not interfere with imaging and it is easy to carry. It may be another form in which the mechanical strength and the like are considered.
  • connection member 15 of the photographing device fixing member 5 is in the shape of a rod.
  • the connecting member 15 may be a rectangular parallelepiped frame, and the mounting members 13 and 14 are connected by fixing the mounting members 13 and 14 inside the frame.
  • the configuration may be
  • the mounting members 13 and 14 are disposed at the arrangement positions of the imaging devices 10 and 11 by using the screw holes 17 and the positioning holes 18 provided in the imaging devices 10 and 11.
  • the placement members 13 and 14 may be provided with another configuration for positioning the imaging devices 10 and 11.
  • the calibration subject 8 may have a function as a measurement basis (having a length as a reference of the measurement target).
  • the calibration objects 2, 3 in the first and second embodiments, the subject connecting member 4 and the spacing fixing member 6 may also have a function as a measuring ruler.
  • the first and second embodiments aluminum is used as a material of the subject connecting member 4, the space fixing member 6 and the connecting member 15, and a screw is made between the subject connecting member 4 and the calibration subject 2, 3 or the like.
  • An example of connecting by instead, for example, when it is assumed that the members 4, 6, 15 are made of stainless steel and it is assumed that they are not removed, the members 4, 6 and 15 and the members to be connected (for calibration The objects 2, 3 and so on may be connected by welding.
  • the calibration apparatus may have another configuration as shown in FIG. That is, the calibration device 50 in FIG. 9 includes a plurality of calibration subjects 51 and 52, a subject connection member 53, an imaging device fixing member 56, and a spacing fixing member 57.
  • the calibration subjects 51 and 52 are juxtaposed with each other at an interval.
  • the subject connecting member 53 is a member that connects the calibration subjects 51 and 52 and fixes the interval between the calibration subjects 51 and 52.
  • the photographing device fixing member 56 is a member for positioning and fixing a plurality of photographing devices 54 and 55 juxtaposedly spaced apart from each other in a direction intersecting the juxtaposed direction of the plurality of calibration subjects 51 and 52.
  • the spacing fixing member 57 is a member for fixing the spacing between the calibration subjects 51 and 52 and the photographing devices 54 and 55.
  • the distance between the plurality of calibration subjects 51 and 52 is fixed by the subject connection member 53, and the calibration subjects 51 and 52 and the photographing apparatus 54 are further provided. , 55 are fixed by the distance fixing member 57. Thereby, the same effect as that of the first or second embodiment can be obtained.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

撮影装置の較正処理を行う際における撮影装置と較正用被写体との間隔の正確な寸法を取得し易くし、かつ、較正処理に係る作業の軽減を図る技術を提供するべく、較正装置50は、複数の較正用被写体51,52と、被写体接続部材53と、撮影装置固定部材56と、間隔固定用部材57とを備える。較正用被写体51,52は、互いに間隔を介し並設されている。被写体接続部材53は、較正用被写体51,52間を接続すると共に当該較正用被写体51,52間の間隔を固定する。撮影装置固定部材56は、複数の較正用被写体51,52の並設方向に交差する方向に互いに間隔を介し並設される複数の撮影装置54,55をそれぞれ位置決め固定する。間隔固定用部材57は、較正用被写体51,52と撮影装置54,55との間隔を固定する。

Description

較正装置および較正方法
 本発明は、撮影装置の較正(キャリブレーション)に係る技術に関する。
 撮影装置による撮影画像を利用することによって、撮影画像における互いに直交する水平方向と垂直方向のそれぞれの長さの情報と、撮影画像に直交する方向(奥行き方向)の長さの情報とを取得する三次元計測の技術が様々に提案されている。
 そのような三次元計測によって正確な長さの情報を得るためには、撮影装置の較正(キャリブレーション)が必要である。
 なお、特許文献1には、測量対象点までの距離とその方向を計測する計測装置と、ステレオカメラとが一体化している三次元計測装置の構成が開示されている。また、特許文献2に示されている三次元形状検出装置の構成では、一端側には被写体を搭載する載置台が配置され、他端側には被写体を撮影する撮影部が配置されている。当該特許文献2には、そのような構成を持つ三次元形状検出装置のキャリブレーションに関わる技術が開示されている。
特開2007-147422号公報 特開2007-212159号公報
 撮影装置の較正を精度良く行うためには、撮影装置と、当該撮影装置によって較正のために撮影する被写体との間隔の正確な寸法が要求される。
 ところで、魚の観察などのために、海中などの水中にて撮影装置により魚を撮影し、当該撮影画像を利用して魚の体長などの計測が行われる場合がある。このような場合には、例えば、デジタルビデオカメラにより構成される撮影装置であるステレオカメラによって観測対象の魚が撮影され、長さ情報を含む撮影画像が取得される。この撮影画像を利用して魚の体長などが計測される。魚の体長などの計測値の精度を高めるためには、ステレオカメラの較正が精度良く行われる必要がある。
 この場合におけるステレオカメラの較正は、水中に、ステレオカメラと較正用被写体(例えばチェッカーボードのような板部材)を間隔を介して配置し、ステレオカメラにより撮影した較正用被写体の撮影画像に基づいて行われる。しかしながら、ステレオカメラと較正用被写体との間隔は、ステレオカメラが撮影対象とする領域の大きさに応じた間隔であり、例えば、2m程度離れている場合がある。このようにステレオカメラと較正用被写体が離れている場合には、別々の人が船上からステレオカメラと較正用被写体をそれぞれ水中に吊下げ、ステレオカメラと較正用被写体との間隔が計測される場合がある。このような場合には、ステレオカメラと較正用被写体との間隔の正確な寸法を得ることが難しい。また、海中等の水中では、波力によって較正用被写体が変位することが考えられ、このことも、ステレオカメラと較正用被写体との間隔の正確な寸法を得ることを難しくしている。
 このように、水中でのステレオカメラ等の撮影装置と較正用被写体との間隔の正確な寸法を得ることが難しいことから、水中で使用する撮影装置の較正処理は精度を高めることが難しい。
 さらに、季節や天気の変化による海や湖などの水中の透明度(視界度合)の変化は、大気に比べると、大きいことから、撮影装置や撮影場所を変更しなくとも、季節の変化等に応じた適宜なタイミングで、撮影装置の較正処理を行う必要がある。このため、海中などで使用する撮影装置は、大気中で使用する場合に比べて、較正処理の頻度が高くなる。較正処理を行う度に、前述したように、撮影装置と較正用被写体を船上から水中に吊下げ、撮影装置と較正用被写体との間隔を計測するという作業が必要であり、面倒である。
 本発明は上記のような課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影装置の較正処理を行う際における撮影装置と較正用被写体との間隔の正確な寸法を取得し易くし、かつ、較正処理に係る作業の軽減を図ることができる技術を提供することにある。
 上記目的を達成するために、本発明の較正装置は、
 互いに間隔を介し並設される複数の較正用被写体と、
 前記較正用被写体間を接続すると共に当該較正用被写体間の間隔を固定する被写体接続部材と、
 複数の前記較正用被写体の並設方向に交差する方向に互いに間隔を介し並設される複数の撮影装置をそれぞれ位置決め固定する撮影装置固定部材と、
 前記較正用被写体と前記撮影装置との間隔を固定する間隔固定用部材とを備える。
 また、本発明における較正方法は、
 互いに間隔を介し並設される複数の較正用被写体間を被写体接続部材が接続することにより、前記較正用被写体間の間隔を固定し、
 複数の前記較正用被写体の並設方向に交差する方向に互いに間隔を介し並設される複数の撮影装置をそれぞれ撮影装置固定部材が位置決め固定し、
 前記較正用被写体と前記撮影装置との間隔を間隔固定用部材が固定している状態で、
 前記撮影装置が前記較正用被写体を撮影し、
 当該撮影による撮影画像を利用して前記撮影装置を較正する。
 本発明によれば、撮影装置の較正処理を行う際における撮影装置と較正用被写体との間隔の正確な寸法を取得し易くし、かつ、較正処理に係る作業の軽減を図ることができる。
本発明に係る第1実施形態の較正装置の構成を模式的に表す斜視図である。 第1実施形態における撮影装置固定部材を構成する載置部材の構成を説明する図である。 図2と共に、載置部材の構成を説明する図である。 さらに、図2と図3と共に、載置部材の構成を説明する図である。 撮影装置固定部材を構成する接続部材の一形態例を説明する断面図である。 撮影装置固定部材と間隔固定用部材との接続部分の構成の一例を説明する斜視図である。 本発明に係る第2実施形態の較正装置の構成を模式的に表す斜視図である。 較正装置のその他の実施形態を説明する図である。 較正装置のさらに別のその他の実施形態を説明する図である。 較正装置のさらに別のその他の実施形態を説明する図である。
 以下に、本発明に係る実施形態を図面を参照しつつ説明する。
 <第1実施形態>
 図1は、本発明に係る第1実施形態の較正装置を模式的に表す斜視図である。第1実施形態の較正装置1は、ステレオカメラの較正(キャリブレーション)を行う際に利用される装置(器具)である。この第1実施形態では、較正対象のステレオカメラは、間隔を介して並設される複数の同様な撮影装置(ここでは、デジタルビデオカメラ)10,11により構成され、海や湖などの水中で魚などを撮影することが想定されている。
 第1実施形態の較正装置1は、複数の較正用被写体2,3と、被写体接続部材4と、撮影装置固定部材5と、間隔固定用部材6とを備えている。
 撮影装置固定部材5は、複数の撮影装置10,11を間隔を介し並設されている状態で固定する部材であり、各撮影装置10,11を設置する載置部材13,14と、載置部材13,14を接続する接続部材15とを備えている。
 載置部材13と載置部材14は同様な構成を備えている。これにより、ここでは、載置部材13の構成について説明し、載置部材14の構成の説明は省略する。
 図2は、載置部材13の構成を模式的に表す斜視図であり、図3は、載置部材13に撮影装置10が搭載されている状態を模式的に表す斜視図である。載置部材13は、撮影装置10が載置される基板20を有し、当該基板20には撮影装置10を位置決め固定する構成が設けられている。図4は、載置部材13において撮影装置10を位置決め固定する構成を説明する図である。
 撮影装置10は、安定した撮影を行うために三脚や一脚等の支持道具に取り付ける場合が有る。その支持道具への取り付けを考慮して、撮影装置10には、図4に表されるようなねじ穴17と位置決め穴18が設けられている場合がある。この第1実施形態では、そのようなねじ穴17と位置決め穴18が設けられている撮影装置10が載置部材13に設置されることが想定されている。ここでは、そのねじ穴17と位置決め穴18を利用して撮影装置10を位置決め固定する構成が載置部材13に設けられている。つまり、載置部材13には、撮影装置10を設定の位置に載置した場合に撮影装置10のねじ穴17に対応する基板20の位置に挿通孔21が設けられ、また、撮影装置10の位置決め穴18に対応する基板20の位置に突起部22が設けられている。挿通孔21は、図4における基板20の裏面から表面に貫通している貫通孔であり、撮影装置10のねじ穴17に螺合するねじ23が挿通できる孔径を持っている。突起部22は、撮影装置10の位置決め穴18に遊嵌する形状および大きさを持っている。
 撮影装置10は、基板20の裏面側から挿通孔21に挿通されたねじ23がねじ穴17に螺合し、かつ、位置決め穴18に突起部22が遊嵌することにより、図3に表されるように基板20における設定の位置に設置される。このように設置された撮影装置10を基板20に固定するために、基板20には把持部材24,25が設けられている。
 把持部材24,25は、それぞれ、板状の小片部材であり、基板20における設定の位置に設置された撮影装置10の側面に当接する当接面24A,25Aを有している。さらに、把持部材24,25には、それぞれ、図2等に表されている表面側から裏面側に貫通する貫通孔26,27が設けられている(第1実施形態では、貫通孔26,27は複数ずつ設けられている)。貫通孔26,27は、基板20に設けられている把持部材取り付け用ねじ穴(図示せず)に螺合するねじ30,31が挿通でき、かつ、ねじ30,31のフランジが貫通孔26,27の開口端縁に係止する大きさを備えている。また、第1実施形態では、貫通孔26,27は、当接面24A,25Aに対し遠近する方向に伸びる長穴形状と成している。このように貫通孔26,27を長穴形状とすることにより、基板20に固定される把持部材24,25の当接面24A,25A間の間隔を調整することが可能となる。
 前述したように撮影装置10が基板20の設定位置に設置され、かつ、図3に表されているように把持部材24,25の当接面24A,25Aが撮影装置10の側面を押圧している状態で、ねじ30,31が把持部材24,25を基板20にねじ止めする。これにより、把持部材24,25は、撮影装置10を把持することにより、当該撮影装置10を基板20に位置決め固定する。なお、図2~図4の例では、載置部材13(14)の基板20や把持部材24,25や、撮影装置10は簡略化されて表されており、基板20や把持部材24,25や、撮影装置10の形状は、図示の例に限定されない。例えば、基板20や把持部材24,25において、撮影装置10(11)と接触あるいは対面する部分は、撮影装置10(11)の形状や撮影装置10(11)の取り付け作業性や取り付け精度の向上などを考慮した形状を備えることが好ましい。
 接続部材15は、載置部材13,14を接続すると共に、載置部材13,14の間隔を固定する部材である。例えば、接続部材15は、棒状の剛体(例えば、アルミニウム等の金属)により構成されている。第1実施形態では、接続部材15を構成する材料は、機械的な強度や、水中(例えば海中)での利用を想定していることから海水等に因る腐食や、運搬し易さのための軽さや、加工し易さなどが考慮されて選定される。さらに、棒状の接続部材15は、中実であってもよいが、軽量化を考慮することにより中空構造としてもよい。また、例えば、接続部材15は、その断面形状が図5に表されるような棒状であってもよい。この場合にも、接続部材15は、中実であるよりも軽量化が図られる。このような接続部材15と、載置部材13,14とは例えばねじにより接続される。
 接続部材15により固定される載置部材13,14間の間隔は、載置部材13,14に搭載される撮影装置10,11の視野角や、撮影装置10,11から撮影対象が存在すると想定される領域までの距離などを考慮して適宜設定される間隔である。
 接続部材15には取り付け部材33が接続されている。取り付け部材33は、較正装置1を水中に吊下げる際に利用するロープ35を取り付ける部位として機能する。取り付け部材33も、接続部材15と同様な材料により構成される棒状部材である。
 上述したような載置部材13,14と接続部材15を備える撮影装置固定部材5に、撮影装置10,11が搭載されることにより、ステレオカメラが構成される。
 較正用被写体2,3は、撮影装置10,11の較正に利用する像(特徴点)を撮影画像に含ませる被写体である。第1実施形態では、較正用被写体2,3は、それぞれ、四角形状のフレーム2A,3Aと、当該フレーム2A,3Aの補強と歪み防止のためにフレーム2A,3Aの四角形状内部に設けられる補強フレーム2B,3Bとを有するフレーム構造を備える。四角形状のフレーム2A(3A)と補強フレーム2B(3B)は、仮想平面に沿うように配置されている。この例での仮想平面は図1における三次元直交座標系のxy平面である。また、フレーム2A,3Aと補強フレーム2B,3Bを構成する材料は、接続部材15と同様に、機械的な強度や、海水等に因る腐食や、運搬し易さのための軽さや、加工し易さなどが考慮されて選定される。
 さらに、較正用被写体2のフレーム2Aは、較正用被写体3のフレーム3Aよりも大きく形成されている(例えば、フレーム2Aは一辺が100cmの正方形であり、フレーム3Aは一辺が70cmの正方形である)。較正用被写体2,3は、小さい方の較正用被写体3が大きい方の較正用被写体2よりも撮影装置10,11に近くなるように、撮影装置10,11に対し遠近方向に間隔を介し並設される。較正用被写体2,3間の間隔および較正用被写体2,3の大きさは、撮影装置10,11の性能や、撮影対象(例えば魚)の大きさ等に基づいて定められる撮影領域の大きさなどを考慮して設定される。なお、較正用被写体2のフレーム2Aが較正用被写体3のフレーム3Aよりも大きい構成は、撮影装置10,11から離れるに従って撮影画像における物体の大きさは小さくなることや、撮影装置10,11の視野角が考慮されたことによる。
 さらに、ここでは、較正用被写体2,3の配置の向きは、四角形状のフレーム2A,3Aが配置される前述したような仮想平面が、載置部材13,14に設置された撮影装置10,11の光軸に直交するような向きである。また、較正用被写体2,3の並設方向は、撮影装置10,11の並設方向(図1におけるx方向)に直交する方向(図1におけるz方向)である。さらに、較正用被写体2,3の中心線と撮影装置10,11の光軸は、同一平面上に配置されている。
 このような較正用被写体2,3は、撮影装置10,11による撮影画像に映し出された場合において、フレーム2A,3Aの例えば角部が特徴点として較正処理に利用される。そのような較正処理に利用する較正用被写体2,3の特徴点が撮影画像において判別し易くなる構成を較正用被写体2,3は備える。つまり、第1実施形態では、較正用被写体2,3は、当該較正用被写体2,3を構成する図1におけるy方向に沿うフレーム部材(縦部材とも記す)と、x方向に沿うフレーム部材(横部材とも記す)との色が異なる構成を備える。例えば、縦部材と横部材のうちの一方は黒であり、他方は黄色というように、縦部材と横部材の色の組み合わせは、縦部材と横部材の差異が明瞭となる色の組み合わせとなっている。なお、較正用被写体2における縦部材と横部材の色の組み合わせと、較正用被写体3における縦部材と横部材の色の組み合わせとは異なってもよいし、同じでもよい。ただ、較正用被写体2,3における色の組み合わせが同じ場合には、例えば、色の組み合わせが同じでも較正用被写体2,3の各縦部材の色を異にすることにより、撮影画像において較正用被写体2,3を区別し易くすることが好ましい。
 被写体接続部材4は、較正用被写体2,3を接続すると共に、較正用被写体2,3の間隔を前述したような設定の間隔に固定する棒状の剛体により構成される部材である。第1実施形態では、4本の被写体接続部材4により較正用被写体2,3間が接続される。各被写体接続部材4と較正用被写体2,3は、例えば、ねじ等により固定される。各被写体接続部材4と、較正用被写体2,3との接続位置は、較正用被写体2,3の歪みや較正用被写体2,3間の間隔のずれを抑制することを考慮して適宜設定される。この第1実施形態のように、複数の被写体接続部材4を利用することにより、被写体接続部材4が1本である場合よりも、較正用被写体2,3の歪みや較正用被写体2,3間の間隔のずれが防止され易くなる。
 なお、被写体接続部材4を構成する材料も、前述した接続部材15と同様に、機械的な強度や、海水等に因る腐食や、運搬し易さのための軽さや、加工し易さなどが考慮され適宜選定された材料(例えばアルミニウム等の金属)である。
 被写体接続部材4により接続された較正用被写体2,3には、例えば、ロープ36,37が取り付けられ、当該ロープ36,37によって較正用被写体2,3は水中に吊下げられる。前述したように、較正用被写体2,3はフレーム構造と成している。このため、海中等の水中に吊下げられた際に、較正用被写体2,3は、水流の押圧力に因る歪みや位置ずれ等を抑制できる。
 間隔固定用部材6は、較正用被写体2,3と、撮影装置10,11との間隔を固定する剛体部材である。つまり、撮影装置10,11の精度良い較正(キャリブレーション)を行うためには、較正用被写体2,3と撮影装置10,11との間の正確な長さの情報が得られることが望ましい。このことを考慮し、間隔固定用部材6は、較正用被写体2,3と、撮影装置10,11との間隔(具体的には、較正用被写体3と撮影装置固定部材5との間隔)が設定値となるように較正用被写体3と撮影装置固定部材5との間隔を固定する。すなわち、第1実施形態では、間隔固定用部材6は、複数の棒状の剛体部材が並設され一体化されている構成を備えている。間隔固定用部材6は、その一端側が較正用被写体3の設定位置に例えばねじにより接続され、他端側が撮影装置固定部材5における接続部材15の設定位置に例えばねじにより接続されることにより、較正用被写体3と撮影装置固定部材5との間隔を固定する。このように間隔固定用部材6によって較正用被写体3と撮影装置固定部材5との間隔が固定され、また、前述したように撮影装置10,11間の間隔は接続部材15により固定され、較正用被写体2,3間の間隔は被写体接続部材4によって固定される。これにより、較正用被写体2,3と、撮影装置10,11との間隔が固定される。
 例えば、仮に、較正用被写体と、撮影装置とが分離状態であり、撮影装置の較正のために、それら較正用被写体と撮影装置が別々に船上から水中に吊下げられるとする。この場合には、較正処理の度に、較正用被写体と、撮影装置との間隔が異なることになるから、較正処理の度に、較正用被写体と、撮影装置との間隔を計測する必要がある。その計測は、較正用被写体と撮影装置を船上から水中に吊下げた後に、船上の作業者によって行われる。このため、当該計測作業は面倒であるし、高精度な計測値が得られ難い。
 これに対し、第1実施形態では、前述したように、較正用被写体2,3と、撮影装置10,11との間隔を固定した状態で較正用被写体2,3と撮影装置10,11を水中に進入させることができる。このため、較正用被写体2,3と撮影装置10,11の間隔を例えば船上にて計測できるから、較正装置1は、較正用被写体2,3と撮影装置10,11の間隔の計測が容易であり作業負担を軽減できるし、かつ、精度良い計測値を得ることができる。また、較正用被写体2,3と撮影装置10,11の間隔はほぼ変動しないと想定されることから、較正装置1は、較正用被写体2,3と撮影装置10,11の間隔を一度計測しておけば、それ以降の計測の省略を可能にし、作業負担のより軽減を可能にする。
 なお、間隔固定用部材6も、接続部材15と同様に、機械的な強度や、海水等に因る腐食や、運搬し易さのための軽さや、加工し易さなどが考慮され適宜選定された材料(例えばアルミニウム等の金属)により構成されている。なお、間隔固定用部材6を構成する棒状の部材は、例えば、運搬し易さを考慮して短縮自在な構成を備えていてもよい。
 ところで、前述したように、載置部材13,14と接続部材15を備える撮影装置固定部材5は、撮影装置10,11が載置部材13,14に搭載されることにより、ステレオカメラを構成する。このことにより、そのステレオカメラと、較正用被写体2,3等とが分離できるように、撮影装置固定部材5の接続部材15と、間隔固定用部材6とには、接続部材15から間隔固定用部材6を取り外すことが容易な(着脱自在な)構成を備えている。
 接続部材15と間隔固定用部材6を取り外しが容易な状態で接続する構成には様々な構成が考えられ、何れの構成を採用してもよい。例えば、接続部材15における間隔固定用部材6との設定の接続位置には、間隔固定用部材6側に向けて突出する突出部が設けられ、間隔固定用部材6の端面には、その突出部が嵌合する凹部が形成される。さらに、接続部材15の突出部が間隔固定用部材6の凹部に嵌合している状態を保持(ロック)する構成が設けられる。
 あるいは、例えば、L字形状の金具を利用して接続部材15と間隔固定用部材6は接続されてもよい。この場合には、例えば、図6の斜視図に表されるように、接続部材15には、L字形状の金具40を構成する2つの片42A,42Bのうちの1つの片42Bを、スライド移動可能に嵌合するスライド溝41が形成される。また、接続部材15と、L字形状の金具40における片42Bとには、それぞれ、接続部材15のスライド溝41にL字形状の金具40における片42Bが嵌合している状態で連通するピン挿通孔(図示せず)が設けられる。これらピン挿通孔に位置決め固定用のピンを挿通することにより、L字形状の金具40が接続部材15に固定される。このように接続部材15にL字形状の金具40が固定されている場合には、L字形状の金具40における片42Aが接続部材15から突出する態様となる。間隔固定用部材6の端面には、そのL字形状の金具40における片42Aが嵌合する嵌合部(図示せず)が形成される。さらに、間隔固定用部材6と、L字形状の金具40における片42Aとには、それぞれ、間隔固定用部材6と、L字形状の金具40における片42Aとが嵌合している状態において連通するピン挿通孔(図示せず)が設けられる。これらピン挿通孔に位置決め固定用のピンを挿通することにより、L字形状の金具40と間隔固定用部材6が接続される。このような構成によって、L字形状の金具40によって接続部材15と間隔固定用部材6が接続される。
 第1実施形態の較正装置1は上記のように構成されている。この較正装置1は、次のような効果を得ることができる。すなわち、第1実施形態では、複数の較正用被写体2,3間の間隔は被写体接続部材4によって固定され、また、較正用被写体2,3と撮影装置固定部材5との間隔は、間隔固定用部材6によって固定されている。このため、撮影装置10,11と較正用被写体2,3との間隔は設定値となり、撮影装置10,11と較正用被写体2,3との間隔の正確な寸法の情報を取得することができる。これにより、第1実施形態の較正装置1は、撮影装置10,11の較正処理の精度を高めることができる。この効果は、特に水中で発揮することができる。また、較正装置1は、較正処理の精度がばらつくことを抑制できる。換言すれば、較正装置1は、較正処理の繰り返し精度を向上させることができる。
 また、上記のように、撮影装置10,11と較正用被写体2,3との間隔は設定値となることから、撮影装置10,11と較正用被写体2,3との間隔を較正処理の度に計測しなくて済むことから、較正処理の作業の軽減を図ることができる。
 さらに、第1実施形態では、較正用被写体2,3は、フレーム構造であることから、較正用被写体2,3が板状である場合に比べて、水中において受ける波力が弱くなる。このため、較正装置1は、水中での較正用被写体2,3の歪みや変位を抑制できる。
 さらに、較正用被写体2,3は、フレーム構造であることにより、軽量化を図ることができる。また、較正用被写体2,3は平面状であり、当該平面状の較正用被写体2,3は、並設することにより三次元の情報を撮影画像に含ませることができる。このため、較正用被写体2,3は、較正用被写体として例えば立方体のような立体を用いなくとも、較正処理に必要な三次元の情報を撮影画像に含ませることができ、しかも、嵩を抑えることができる。上記のような軽量化と嵩減少によって、較正用被写体2,3は、運搬し易くなる。
 さらにまた、較正用被写体2,3は、フレーム構造であることにより、撮影装置10に遠い側の較正用被写体2が近い側の較正用被写体3の影に隠れる部分を減少でき、これにより、較正処理に利用する特徴点の増加を図ることができる。また、較正用被写体2,3の大きさを異ならせていることも特徴点の増加に寄与する。
 さらに、第1実施形態では、撮影装置固定部材5における載置部材13,14には、撮影装置10,11を位置決め固定する構成が設けられている。このため、載置部材13,14は、撮影装置10,11の着脱が繰り返し行われても撮影装置10,11を設定位置に設置させることができ、これにより、着脱の度に較正処理を行わなくても済むこととなる。つまり、載置部材13,14は、撮影装置10,11がメンテナンス等のために着脱される度に較正処理を行うという手間を軽減できる。
 <第2実施形態>
 以下に、本発明に係る第2実施形態を説明する。なお、第2実施形態の説明において、第1実施形態の較正装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
 図7は、第2実施形態の較正装置の構成を模式的に表す斜視図である。第2実施形態の較正装置1は、第1実施形態の構成に加えて、較正用被写体8を備えている。較正用被写体8は、較正用被写体2,3と大きさが異なる。較正用被写体8における大きさ以外の構成は、較正用被写体2,3と同様である。すなわち、較正用被写体8は、較正用被写体3よりも小さく形成されている(例えば、較正用被写体2は一辺が100cmの正方形であり、較正用被写体3は一辺が70cmの正方形であり、較正用被写体8は一辺が40cmの正方形である)。また、較正用被写体8は、較正用被写体2,3間(例えば、較正用被写体2,3の中間位置)に、較正用被写体2,3と平行となるように配置されている。さらに、較正用被写体8の中心線の位置は、較正用被写体2,3の中心線の位置と一致している。
 較正用被写体2と較正用被写体8との間、および、較正用被写体3と較正用被写体8との間は、それぞれ、被写体接続部材4によって接続されている。かつ、当該被写体接続部材4によって、較正用被写体2,8間の間隔および較正用被写体3,8間の間隔は設定値に固定されている。
 較正用被写体8の大きさは、載置部材13,14に設置された撮影装置10,11により較正用被写体2,3,8を撮影した場合に、撮影画像において、較正用被写体8の角部が較正用被写体2,3の角部と重ならないように、設定される。つまり、撮影装置10,11による撮影画像において、較正用被写体2,3,8の角部は、較正処理を行う際に特徴点として利用される。較正用被写体2,3に加えて較正用被写体8を備えることにより、撮影装置10,11による撮影画像において、較正処理で使用する特徴点が増加する。なお、較正用被写体8は、計測用ものさし(計測対象の基準となる長さを持つもの)としての機能を持たせてもよい。
 第2実施形態の較正装置1は、第1実施形態と同様の構成を備えていることにより第1実施形態と同様の効果を得ることができる上に、較正処理で使用する特徴点を増加できることにより、撮影装置10,11の較正の精度をより高めることを可能にする。
 なお、第2実施形態では、較正用被写体8は、較正用被写体2,3間に配置されている。これに対し、較正用被写体8は、例えば、較正用被写体3よりも撮影装置10,11に近い側に配置されてもよい。ただ、較正用被写体8よりも大きな較正用被写体3を撮影装置10,11に近い側に配置することにより、較正処理にて較正される領域を大きくすることができる。
 <その他の実施形態>
 なお、本発明は第1や第2の実施形態に限定されず、様々な態様を採り得る。例えば、第2実施形態では、較正装置1は3つの較正用被写体を備えている。これに代えて、較正装置1は、4つ以上の較正用被写体を備えていてもよい。つまり、較正装置1を構成する較正用被写体の数は、複数であれば、撮影装置10,11の視野角や、較正処理に要求される精度や、較正処理対象の領域の大きさなどを考慮した適宜な数でよい。
 また、第1実施形態では、較正用被写体2,3の大きさは異なっているが、較正用被写体2,3の大きさは同じであってもよい。さらに、第2実施形態では、3つの較正用被写体2,3,8の大きさは互いに異なっている。これに代えて、例えば、較正用被写体2,3は同様な大きさを持ち、較正用被写体8は、較正用被写体2,3よりも小さくてもよい。このように、較正装置1を構成する較正用被写体が3つ以上である場合には、それら較正用被写体の大きさは互いに異なっていてもよいし、同じ大きさを持つ較正用被写体が含まれていてもよい。
 さらに、較正用被写体2,3,8は四角形状であるが、他の形状であってもよい。
 さらに、第1や第2の実施形態の構成に加えて、較正用被写体には、例えば、LED(Light Emitting Diode)等の発光体や、発色の良い色や模様を持つというような視認性の高いマークなどが備えられていてもよい。例えば、図8に表されるように、これら発光体やマーク等の識別部材44は、較正用被写体2,3,8における様々な箇所に設置される。識別部材44は、撮影装置10,11による撮影画像において較正処理に利用する特徴点とすることができる。識別部材44は、較正処理に利用する特徴点を容易に増加することができる。
 さらに、第1や第2の実施形態の構成に加えて、図10のように、較正用被写体2,3間に線条材である紐(例えば漁業用の紐)60が張られてもよい。さらに、紐60および較正用被写体2,3に、較正処理に利用する特徴点となる識別部材である目印(例えばテープ)61が取り付けられてもよい。なお、図10の例では、較正用被写体2,3は同じ大きさを持ち、被写体接続部材4は、四角形状の較正用被写体2,3の四隅部でもって較正用被写体2,3間を接続している。
 さらに、第1や第2の実施形態では、較正装置1は、水中での使用が想定されていることを説明しているが、本発明に係る較正装置は地上において撮影装置の較正を行う場合に利用されてもよい。
 さらに、第1や第2の実施形態では、較正用被写体2,3,8の中心線と、撮影装置10,11の光軸とが同一平面上となるように、較正用被写体2,3,8と撮影装置10,11が配設されている。これに代えて、較正用被写体2,3,8の中心線に対して撮影装置10,11の光軸が図1等における下側あるいは上側にずれて配置するように、較正用被写体2,3,8と撮影装置10,11が配設されてもよい。
 また、第1や第2の実施形態では、較正用被写体2,3,8は、フレーム構造である。これに代えて、例えば、波力(あるいは地上での使用が想定される場合には風力)による較正用被写体の歪みや位置ずれの懸念が小さい場合には、較正用被写体2,3,8は、板状であってもよい。ただ、この場合には、撮影装置10から遠い側の較正用被写体2が撮影装置10に近い側の較正用被写体3の影となり、撮影されないという事態が懸念される。このような事態を防止するために、例えば、少なくとも撮影装置10に近い側の較正用被写体3は、透明部材を利用して構成することが好ましい。
 さらに、第1や第2の実施形態では、較正用被写体2,3,8間は、4本の被写体接続部材4によって接続されているが、被写体接続部材4の数や接続位置は、較正用被写体2,3,8の大きさや強度や形状などを考慮し適宜設定してよい。例えば、第2実施形態では、隣り合う較正用被写体2,8間と、隣り合う較正用被写体3,8間とが、それぞれ、被写体接続部材4により接続されている。この構成に代えて、例えば、隣り合う較正用被写体2,8間が被写体接続部材4により接続され、かつ、隣り合っていない較正用被写体2,3間が被写体接続部材4により接続されることによって、間隔が固定された状態で較正用被写体2,3,8が接続されていてもよい。
 さらに、第1や第2の実施形態では、水中に較正装置1を吊下げる吊下げ部材としてロープ35,36,37が較正装置1に接続されている。そのロープ35,36,37に代えて、吊下げ部材は棒状部材であってもよい。このように、吊下げ部材が棒状部材である場合には、例えば、それら吊下げ部材間に渡すように棒状部材が配置されてもよい。
 さらに、第1と第2の実施形態では、間隔固定用部材6は、複数の棒状部材が並設された状態で固定されている構成を備えているが、撮影を妨げないことや運搬し易さや機械的な強度などが考慮された他の形態であってもよい。
 さらに、第1と第2の実施形態では、撮影装置固定部材5の接続部材15は、棒状の態様である。これに代えて、例えば、接続部材15は、直方体状の枠体であってもよく、この枠体の内部に載置部材13,14が固定されることにより、載置部材13,14を接続する構成であってもよい。
 さらに、第1と第2の各実施形態では、撮影装置10,11に設けられているねじ穴17と位置決め穴18を利用して、載置部材13,14は撮影装置10,11の配置位置を位置決めする構成を備えている。これに代えて、載置部材13,14には、撮影装置10,11を位置決めする別の構成が設けられてもよい。
 さらに、第2実施形態の説明において、較正用被写体8は計測用ものさし(計測対象の基準となる長さを持つもの)としての機能を持たせてもよいことを述べている。これに加えて、第1と第2の実施形態における較正用被写体2,3や被写体接続部材4や間隔固定用部材6においても、同様に、計測用ものさしとしての機能を持たせてもよい。
 さらに、第1や第2の実施形態では、被写体接続部材4や間隔固定用部材6や接続部材15を構成する材料としてアルミニウムを挙げ、被写体接続部材4と較正用被写体2,3間などをねじにより接続する例を挙げている。これに代えて、例えば、それら部材4,6,15がステンレスにより構成される場合であって、取り外ししないと想定される場合には、それら部材4,6,15と接続対象の部材(較正用被写体2,3など)とは溶接により接続されてもよい。
 さらに、本発明に係る較正装置は、その他の形態として、図9に表されるような構成を備えていてもよい。すなわち、図9における較正装置50は、複数の較正用被写体51,52と、被写体接続部材53と、撮影装置固定部材56と、間隔固定用部材57とを備えている。較正用被写体51,52は、互いに間隔を介し並設されている。被写体接続部材53は、較正用被写体51,52間を接続すると共に当該較正用被写体51,52間の間隔を固定する部材である。撮影装置固定部材56は、複数の較正用被写体51,52の並設方向に交差する方向に互いに間隔を介し並設される複数の撮影装置54,55をそれぞれ位置決め固定する部材である。間隔固定用部材57は、較正用被写体51,52と撮影装置54,55との間隔を固定する部材である。
 この較正装置50は、第1や第2の実施形態と同様に、複数の較正用被写体51,52間の間隔が被写体接続部材53によって固定され、さらに、較正用被写体51,52と撮影装置54,55との間隔が間隔固定用部材57によって固定されている。これにより、第1や第2の実施形態と同様の効果を得ることができる。
 以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
 この出願は、2017年7月21日に出願された日本出願特願2017-141663を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 1,50 較正装置
 2,3,8,51,52 較正用被写体
 4,53 被写体接続部材
 5,56 撮影装置固定部材
 6,57 間隔固定用部材

Claims (9)

  1.  互いに間隔を介し並設される複数の較正用被写体と、
     前記較正用被写体間を接続すると共に当該較正用被写体間の間隔を固定する被写体接続部材と、
     複数の前記較正用被写体の並設方向に交差する方向に互いに間隔を介し並設される複数の撮影装置をそれぞれ位置決め固定する撮影装置固定部材と、
     前記較正用被写体と前記撮影装置との間隔を固定する間隔固定用部材とを備える較正装置。
  2.  前記較正用被写体は、仮想平面に沿うように配置されたフレームにより構成されるフレーム構造であり、
     当該較正用被写体は、前記仮想平面が前記撮影装置の光軸に交差する向きで配設されている請求項1に記載の較正装置。
  3.  複数の前記較正用被写体は、前記撮影装置固定部材に対し遠近方向に並設されており、
     前記間隔固定用部材は、複数の前記較正用被写体のうちの前記撮影装置固定部材に近い前記較正用被写体と、前記撮影装置固定部材とを接続することにより、前記較正用被写体と前記撮影装置との間隔を固定する請求項1又は請求項2に記載の較正装置。
  4.  前記撮影装置固定部材は、複数の前記撮影装置と共にステレオカメラをも構成する部材であり、
     前記間隔固定用部材は、前記撮影装置固定部材に着脱自在に接続される請求項3に記載の較正装置。
  5.  複数の前記較正用被写体は、大きさが異なる請求項1乃至請求項4の何れか一つに記載の較正装置。
  6.  複数の前記較正用被写体は、大きさが同じである請求項1乃至請求項4の何れか一つに記載の較正装置。
  7.  前記較正用被写体には、前記撮影装置を較正する処理にて利用する撮影画像における特徴点となる識別部材が設けられている請求項1乃至請求項5の何れか一つに記載の較正装置。
  8.  前記較正用被写体間を渡すように線条材が設けられ、当該線条材にも前記識別部材が設けられている請求項7に記載の較正装置。
  9.  互いに間隔を介し並設される複数の較正用被写体間を被写体接続部材が接続することにより、前記較正用被写体間の間隔を固定し、
     複数の前記較正用被写体の並設方向に交差する方向に互いに間隔を介し並設される複数の撮影装置をそれぞれ撮影装置固定部材が位置決め固定し、
     前記較正用被写体と前記撮影装置との間隔を間隔固定用部材が固定している状態で、
     前記撮影装置が前記較正用被写体を撮影し、
     当該撮影による撮影画像を利用して前記撮影装置を較正する較正方法。
PCT/JP2018/026707 2017-07-21 2018-07-17 較正装置および較正方法 WO2019017328A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019531033A JP7056660B2 (ja) 2017-07-21 2018-07-17 較正方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017141663 2017-07-21
JP2017-141663 2017-07-21

Publications (1)

Publication Number Publication Date
WO2019017328A1 true WO2019017328A1 (ja) 2019-01-24

Family

ID=65016014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026707 WO2019017328A1 (ja) 2017-07-21 2018-07-17 較正装置および較正方法

Country Status (2)

Country Link
JP (1) JP7056660B2 (ja)
WO (1) WO2019017328A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216297A1 (ja) * 2018-05-09 2019-11-14 日本電気株式会社 較正装置および較正方法
JP2022019593A (ja) * 2020-07-16 2022-01-27 古野電気株式会社 水中3次元復元装置および水中3次元復元方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05248819A (ja) * 1992-03-06 1993-09-28 Kobe Steel Ltd カメラによる測定対象物の三次元位置測定のための較正対象データの較正方法及び三次元位置測定方法
JP2003042726A (ja) * 2001-08-03 2003-02-13 Topcon Corp 校正用被写体
JP2004271292A (ja) * 2003-03-07 2004-09-30 Meidensha Corp 校正器及びステレオカメラ位置姿勢校正装置
WO2005124276A2 (de) * 2004-06-15 2005-12-29 Heins Burkhard Verfahren zur vermessung von gegenständen mit einer kamera und kalibriermitteln
JP2015106287A (ja) * 2013-11-29 2015-06-08 キヤノン株式会社 キャリブレーション装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05248819A (ja) * 1992-03-06 1993-09-28 Kobe Steel Ltd カメラによる測定対象物の三次元位置測定のための較正対象データの較正方法及び三次元位置測定方法
JP2003042726A (ja) * 2001-08-03 2003-02-13 Topcon Corp 校正用被写体
JP2004271292A (ja) * 2003-03-07 2004-09-30 Meidensha Corp 校正器及びステレオカメラ位置姿勢校正装置
WO2005124276A2 (de) * 2004-06-15 2005-12-29 Heins Burkhard Verfahren zur vermessung von gegenständen mit einer kamera und kalibriermitteln
JP2015106287A (ja) * 2013-11-29 2015-06-08 キヤノン株式会社 キャリブレーション装置及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216297A1 (ja) * 2018-05-09 2019-11-14 日本電気株式会社 較正装置および較正方法
JPWO2019216297A1 (ja) * 2018-05-09 2021-04-22 日本電気株式会社 較正装置および較正方法
JP7074186B2 (ja) 2018-05-09 2022-05-24 日本電気株式会社 較正装置
JP2022019593A (ja) * 2020-07-16 2022-01-27 古野電気株式会社 水中3次元復元装置および水中3次元復元方法
JP7245291B2 (ja) 2020-07-16 2023-03-23 古野電気株式会社 水中3次元復元装置および水中3次元復元方法

Also Published As

Publication number Publication date
JPWO2019017328A1 (ja) 2020-07-02
JP7056660B2 (ja) 2022-04-19

Similar Documents

Publication Publication Date Title
AU2013379669B2 (en) Apparatus and method for three dimensional surface measurement
CN102364299B (zh) 一种多个结构光投影三维型面测量头的标定技术
CN103791892B (zh) 一种船载视场可调的海面观测装置及方法
US20150253129A1 (en) Inspection apparatus
KR101667755B1 (ko) 프레임형 해저면 영상 촬영장치
JP2006053147A5 (ja)
CN106097367B (zh) 一种双目立体相机的标定方法及装置
KR101640935B1 (ko) 3차원 형상 측정장치
WO2019017328A1 (ja) 較正装置および較正方法
GB2585303A (en) Method for constructing a 3D representation of a conduit internal surface
JP6782909B2 (ja) 撮影器具及びパノラマ撮影装置
US20160124296A1 (en) Panoramic imaging head, and imaging system using same
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
JPWO2017057362A1 (ja) 図面作成装置及び図面作成方法
JP2010219663A (ja) 撮像装置のキャリブレーション方法およびキャリブレーションシステム
JP2012112911A (ja) キャリブレーション用校正治具、校正治具を備えた3次元計測システム
CN110501026A (zh) 基于阵列星点的相机内方位元素标定装置及方法
CN102628693A (zh) 一种用于摄像机主轴与激光束进行平行配准的方法
JP2018119865A5 (ja)
CA2268681A1 (en) Optical imaging mount apparatus
CN112907647B (zh) 一种基于固定式单目摄像机的三维空间尺寸测量方法
JP2011203473A (ja) ステレオ撮影装置
CN207691920U (zh) 一种结构光摄像模组
JP2010224298A (ja) 撮像装置
WO2021120911A1 (zh) 一种板状工件的三维坐标校准方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18835622

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019531033

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18835622

Country of ref document: EP

Kind code of ref document: A1