WO2018155198A1 - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- WO2018155198A1 WO2018155198A1 PCT/JP2018/004290 JP2018004290W WO2018155198A1 WO 2018155198 A1 WO2018155198 A1 WO 2018155198A1 JP 2018004290 W JP2018004290 W JP 2018004290W WO 2018155198 A1 WO2018155198 A1 WO 2018155198A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pattern
- captured image
- error
- evaluation value
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title abstract description 50
- 238000011156 evaluation Methods 0.000 claims abstract description 98
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000003384 imaging method Methods 0.000 claims description 136
- 238000012545 processing Methods 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 52
- 238000003672 processing method Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 8
- 239000000047 product Substances 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Definitions
- the present disclosure relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method that can perform alignment between captured images more accurately.
- the present disclosure has been made in view of such a situation, and makes it possible to perform alignment between captured images more accurately.
- An information processing apparatus is configured to detect a corresponding point between a captured image including a pattern irradiated for alignment with another captured image and the other captured image including the pattern.
- a calculation unit that calculates an evaluation value for evaluating the occurrence rate of an alignment error when combining the captured image and the other captured image, and irradiation of the pattern based on the evaluation value calculated by the calculation unit
- An information processing apparatus including an update unit that updates a position.
- the calculation unit can calculate the evaluation value based on a magnitude of an error in matching a predetermined partial region including the pattern.
- the calculation unit can set the evaluation value to a value indicating that the error occurrence rate is higher than that when the error is within the range, regardless of whether the error is larger or smaller than a predetermined range. .
- the calculation unit can calculate the evaluation value based on a magnitude of an error in matching a predetermined partial area including the pattern and an image feature amount of the partial area.
- the calculation unit can set the evaluation value to a value indicating that the error occurrence rate is higher than when the error is equal to or less than the threshold when the error is greater than a predetermined threshold.
- the image feature amount may be a parameter related to pixel value variation.
- the calculation unit when the parameter related to the pixel value variation is smaller than a predetermined threshold value, indicates the evaluation value, and a value indicating that the error occurrence rate is higher than when the parameter related to the pixel value variation is equal to or greater than the threshold value. Can be set to
- the calculation unit includes a magnitude of an error in matching a predetermined partial region including the pattern, an imaging unit that has captured and generated the captured image, and another imaging unit that has captured and generated the other captured image.
- the evaluation value can be calculated based on the information on the relative posture.
- the calculation unit can set the evaluation value to a value indicating that the error occurrence rate is higher than when the error is equal to or less than the threshold when the error is greater than a predetermined threshold.
- the information on the relative posture may be the magnitude of an error between the relative posture based on the detected corresponding point and the actual relative posture between the imaging unit and the other imaging unit.
- the calculation unit can set the evaluation value to a value indicating that the error occurrence rate is higher as the error is larger.
- the update unit is configured to irradiate a pattern irradiated to an area where the captured image and the other captured image are superimposed.
- the pattern irradiation position can be updated so as to increase.
- the update unit can move the irradiation position of another pattern included in the captured image to the region.
- the update unit can move the irradiation position of another pattern irradiated outside the captured image to the area.
- the image processing apparatus further includes a corresponding point detection unit that detects a corresponding point between the captured image and the other captured image by matching a predetermined partial region including the pattern, and the calculation unit is obtained by the corresponding point detection unit.
- the evaluation value for the corresponding point detection result may be calculated.
- the corresponding point detection unit can detect the corresponding point based on the latest pattern irradiation.
- the corresponding point detection unit can detect the corresponding point based on a plurality of pattern irradiations.
- the pattern can be irradiated as laser light.
- the pattern can be irradiated as infrared light.
- An information processing method provides a detection result of a corresponding point between a captured image including a pattern irradiated for alignment with another captured image and the other captured image including the pattern.
- a corresponding point detection result between a captured image including a pattern irradiated for alignment with another captured image and another captured image including the pattern is calculated, and the pattern irradiation position is updated based on the calculated evaluation value.
- information can be processed.
- alignment between captured images can be performed more accurately.
- FIG. 1A a plurality of imaging devices capture the same part (same range) at different timings, combine the captured images obtained by the cameras as frames, and have a frame rate higher than the frame rate of the camera.
- FIG. 1B by capturing a wide range with a plurality of imaging devices and combining the captured images so that they are arranged, the imaging range of a single imaging device, such as a panoramic image, can be obtained.
- FIG. 2 there is a method of generating a composite image developed on a curved surface, such as an omnidirectional image, by performing geometric correction at the time of combining captured images.
- a composite image in a portion where a plurality of captured images appear to be superposed for a user viewing the image, if the combined captured images are misaligned, the edges are doubled, and the color and brightness change. The user may feel uncomfortable.
- the portion that appears to be superimposed for the user is not only the portion where the captured images are superimposed on the data and synthesized, but the data is not actually synthesized but the data is separate, but at the time of display or editing, etc. Also included is a portion that may be superimposed and synthesized.
- Such images that can be combined are not only those that are output and displayed at the same timing and actually superimposed and displayed, but also a portion that is visually combined by the user at the time of display, for example, Also included is a portion (for example, a frame or the like) that is displayed at a timing that is not the same as each other and one afterimage appears to be superimposed on the other captured image.
- ⁇ Calculation of evaluation value and rehabilitation of pattern display position> Accordingly, for example, regarding the corresponding point detection result between the captured image including the pattern irradiated for alignment with the other captured image and the other captured image including the pattern, the captured image (the captured image and the other). A calculation unit that calculates an evaluation value for evaluating the occurrence rate of an alignment error when combining the captured image), and an update unit that updates the irradiation position of the pattern based on the evaluation value calculated by the calculation unit Be prepared. Further, for example, regarding the corresponding point detection result between the captured image including the pattern irradiated for alignment with the other captured image and the other captured image including the pattern, the captured image (the captured image and the other). An evaluation value for evaluating the occurrence rate of alignment error when combining the captured image) is calculated, and the pattern irradiation position is updated based on the calculated evaluation value. By doing in this way, position alignment between captured images can be performed more accurately.
- FIG. 3 is a block diagram illustrating a main configuration example of an embodiment of an imaging system to which the present technology is applied.
- the imaging system 100 irradiates a predetermined pattern image for alignment toward an arbitrary subject, and images the subject irradiated with the pattern image with a plurality of imaging devices.
- This is a system that generates and outputs a plurality of captured images including the pattern image.
- the imaging system 100 can generate and output a plurality of captured images including pattern images that can be more accurately aligned by performing such processing by a method described later.
- the imaging system 100 includes a central processing unit 111, an irradiation device 112, and imaging devices 113-1 to 113-4.
- the central processing unit 111, the irradiation device 112, and the imaging devices 113-1 to 113-4 are connected so as to be communicable with each other via a predetermined cable that is a communication medium.
- the central processing unit 111 performs processing related to control of the irradiation device 112 and the imaging devices 113-1 to 113-4, processing related to synthesis of captured images supplied from the imaging devices 113-1 to 113-4, and the like. Do.
- the irradiation device 112 is a device that irradiates a laser beam at an arbitrary position (an arbitrary direction).
- the irradiation device 112 is controlled by the central processing unit 111 via the above-described cable, and scans a subject at an arbitrary position (arbitrary direction) with a laser beam, so that an alignment pattern is formed on the surface of the subject.
- Draw an image For example, the irradiation device 112 irradiates the pattern image (laser light) toward the wall 120 that is the subject as indicated by a dotted arrow 141 to a dotted arrow 149 under the control of the central processing unit 111.
- the number of patterns (laser light) that can be irradiated simultaneously by the irradiation device 112 is arbitrary, and is not limited to the example of FIG.
- the pattern image may have any pattern.
- the irradiation device 112 may irradiate the pattern with any light, and may not be a laser beam.
- the imaging devices 113-1 to 113-4 are devices that capture a subject, generate a captured image, and output the captured image.
- the imaging devices 113-1 to 113-4 are referred to as the imaging device 113 when it is not necessary to distinguish between them.
- the imaging device 113 is controlled by the central processing unit 111 via the above-described cable, images an arbitrary subject, and obtains a captured image.
- the imaging device 113 supplies the obtained captured image to the central processing unit 111 via the above-described cable.
- the imaging device 113 can be installed in an arbitrary position at an arbitrary position. That is, the imaging device 113 can image an arbitrary direction from an arbitrary position with an arbitrary posture and an arbitrary angle of view. That is, the imaging device 113 can image an arbitrary imaging range.
- the central processing unit 111 may be able to perform not only imaging execution control of each imaging device 113 but also arbitrary control related to imaging.
- the central processing unit 111 may be able to control settings relating to imaging such as aperture, exposure, and illumination of each imaging device 113.
- the central processing unit 111 may be able to control settings related to the imaging range such as the position, orientation, zoom, and the like of each imaging device 113.
- each imaging device 113 may not be unified. Further, the direction and orientation in which the imaging device 113 captures images may not be unified. For example, there may be an imaging device 113 that captures a different direction from the other in a different posture. Each imaging device 113 may capture images in different directions from each other.
- the imaging device 113-1 images the range indicated by the double-headed arrow 121 of the wall 120.
- the imaging device 113-2 images the range indicated by the double arrow 122 of the wall 120.
- the imaging device 113-3 images the range indicated by the double arrow 123 of the wall 120.
- the imaging device 113-4 images the range indicated by the double arrow 124 of the wall 120.
- the range indicated by the double arrow 131 is a range where the imaging range of the imaging device 113-1 and the imaging range of the imaging device 113-2 overlap.
- the range indicated by the double arrow 132 is a range where the imaging range of the imaging device 113-2 and the imaging range of the imaging device 113-3 overlap.
- the range indicated by the double arrow 133 is a range where the imaging range of the imaging device 113-3 and the imaging range of the imaging device 113-4 overlap.
- the pattern 131 is irradiated with one pattern image (dotted arrow 142)
- the pattern 132 is irradiated with two pattern images (dotted arrow 144, dotted arrow 145)
- the range 133 is 3
- Two pattern images are irradiated (dotted arrow 146, dotted arrow 147, dotted arrow 148).
- FIG. 4 is a block diagram illustrating a main configuration example of the central processing unit 111 which is an embodiment of an information processing apparatus to which the present technology is applied.
- the central processing unit 111 includes a CPU 201, ROM 202, RAM 203, bus 204, input / output interface 210, input unit 211, output unit 212, storage unit 213, communication unit 214, and drive 215.
- the CPU 201, ROM 202, and RAM 203 are connected to each other via a bus 204.
- An input / output interface 210 is also connected to the bus 204.
- An input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and a drive 215 are connected to the input / output interface 210.
- the CPU 201 performs various processes by loading a program stored in the ROM 202 or the storage unit 213 into the RAM 203 and executing the program, for example.
- the RAM 203 also appropriately stores data necessary for the CPU 201 to execute various processes.
- the CPU 201 can perform various processes relating to the synthesis of the captured image by executing the program and the like in this way.
- the input unit 211 includes an input device that accepts arbitrary external information such as user input, for example.
- This input device may be anything.
- a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, a barcode reader, and the like may be used.
- various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, may be used.
- it may be an input terminal that receives arbitrary external information as data (signal).
- the output unit 212 includes an output device that outputs arbitrary information inside the apparatus such as an image and sound. Any output device may be used. For example, a display or a speaker may be used.
- the output terminal which outputs arbitrary information as data (signal) outside may be sufficient.
- the storage unit 213 includes a storage medium that stores information such as programs and data.
- This storage medium may be anything. For example, it may be a hard disk, a RAM disk, a non-volatile memory, or the like.
- the communication unit 214 includes a communication device that performs communication for exchanging information such as programs and data with an external device via a predetermined communication medium (for example, an arbitrary network such as the Internet).
- This communication device may be anything.
- a network interface may be used.
- the communication method and communication standard of communication by the communication unit 214 are arbitrary.
- the communication unit 214 may be able to perform wired communication, wireless communication, or both.
- the drive 215 performs processing related to reading and writing of information (program, data, etc.) with respect to the removable medium 216 attached to the drive 215.
- the removable medium 216 may be any recording medium.
- it may be a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like.
- the drive 215 reads information (program, data, etc.) stored in the removable medium 216 attached to the drive 215 and supplies the information to the CPU 201, the RAM 203, and the like. Further, for example, the drive 215 acquires information (programs, data, etc.) supplied from the CPU 201, the RAM 203, etc., and writes the information to the removable medium 216 attached to itself.
- FIG. 5 is a functional block diagram illustrating an example of functions realized by the CPU 201 or the like of the central processing unit 111 executing a program or the like. As illustrated in FIG. 5, the central processing unit 111 executes a program, thereby performing a pattern irradiation unit 251, an imaging unit 252, a corresponding point detection unit 253, an evaluation value calculation unit 254, a determination unit 255, and an irradiation pattern update.
- the function of the unit 256 is provided.
- the pattern irradiation unit 251 performs processing related to pattern image irradiation.
- the imaging unit 252 performs processing related to control of the imaging device 113.
- the corresponding point detection unit 253 performs processing related to detection of corresponding points in the captured image obtained by the imaging device 113.
- the evaluation value calculation unit 254 performs processing related to calculation of an evaluation value for evaluating the occurrence rate of an alignment error when combining captured images with respect to the corresponding point detection result.
- the determination unit 255 performs determination regarding update of the pattern image based on the evaluation value.
- the irradiation pattern update unit 256 performs processing related to the update of the irradiation position of the pattern image.
- the central processing unit 111 determines the irradiation position of the pattern image used for the alignment of the captured images by executing the alignment process. An example of the flow of such alignment processing will be described with reference to the flowchart of FIG.
- the pattern irradiation unit 251 controls the irradiation device 112 to irradiate the pattern on the imaging environment in step S101.
- the irradiation device 112 irradiates the imaging environment with laser light according to the control, and draws a pattern image in the imaging environment.
- the imaging environment is a subject or the like within the imaging range (that is, included in the captured image).
- a subject or the like is any object including, for example, a wall, a floor, a ceiling, a person, an animal, or the like within the imaging range.
- the laser beam is normally radiated near or in front of the original subject.
- a possible object may be arranged and a pattern image may be drawn by irradiating the object with laser light.
- the imaging unit 252 controls all the imaging devices 113 to capture all viewpoints.
- the viewpoint indicates an imaging range of one imaging device 113. That is, each imaging device 113 captures images according to the control, and obtains captured image data (captured image data). Each imaging device 113 supplies the captured image data to the central processing unit 111. Thereby, captured image data of all viewpoints (entire imaging range) is obtained.
- step S103 the corresponding point detection unit 253 selects a processing target viewpoint, that is, a captured image to be processed.
- step S ⁇ b> 104 the corresponding point detection unit 253 performs corresponding point detection on the image between adjacent viewpoints as a clue. In other words, the corresponding point detection unit 253 selects the corresponding point (which imaging is based on the pattern image included in each captured image between the captured image of the processing target viewpoint and the captured image of the viewpoint adjacent to the processing target viewpoint. Detection of a pattern that also exists in the image).
- the captured image 310 of FIG. 7A is a captured image of a processing target viewpoint
- the captured image 320 of FIG. 7B is a captured image of a viewpoint adjacent to the processing target viewpoint.
- the captured image 310 of FIG. 7A includes a pattern 311 and a pattern 312 that are irradiated by the irradiation device 112, and an edge 313.
- the edge 313 is a pattern of the subject (for example, the wall 120).
- the part other than the circular edge 313 is assumed to be a flat part with a sufficiently small change in pixel value.
- the captured image 320 in FIG. 7B includes a pattern 312 and an edge 313 irradiated by the irradiation device 112.
- the corresponding point detection unit 253 detects a corresponding point between the captured image 310 and the captured image 320 in FIG. 7, alignment is performed based on the pattern 312 and the edge 313 included in both images. At that time, for example, it is assumed that alignment is performed as shown in FIG. However, in reality, it may be correct to align the captured image 320 with respect to the captured image 310 as in the example of FIG. As described above, it may be difficult to specify the difference in the orientation of the captured image 320 based on a small number of features (pattern 312 and edge 313).
- step S105 the evaluation value calculation unit 254 calculates an evaluation value for evaluating the occurrence rate of the alignment error when combining the captured images with respect to the corresponding point detection result obtained by the process of step S104.
- the determination part 255 reserves the addition of the pattern irradiated to a process target viewpoint in step S106 according to the evaluation value obtained by the process of step S105.
- the evaluation value may be any value (function). For example, the larger the evaluation value, the lower the possibility of alignment error (incidence of error), and the smaller the evaluation value, the more likely an error occurs. If the evaluation value is higher than the predetermined threshold, the determination unit 255 determines that the possibility of an error is sufficiently low when the evaluation value is equal to or higher than the predetermined threshold, and the error is highly likely to occur when the evaluation value is smaller than the predetermined threshold. Is determined.
- the determination unit 255 increases the pattern in the region of the processing target viewpoint that has been determined to have a high possibility of error, that is, irradiates an additional pattern image. To the irradiation pattern update unit 256. On the other hand, the addition of the pattern is not requested for the area determined that the possibility of an error is low.
- step S107 the determination unit 255 reserves deletion of a pattern unnecessary for alignment. A pattern image that does not overlap with other captured images and does not contribute to alignment is unnecessary. Therefore, the determination unit 255 requests the irradiation pattern update unit 256 to delete such a pattern.
- the pattern image is an image added for alignment, and is unnecessary for appreciating the original captured image. In other words, it can be said that the pattern image reduces the subjective image quality for the viewer of the captured image. Therefore, by erasing unnecessary pattern images as described above (not irradiating unnecessary patterns), it is possible to suppress a reduction in image quality of the captured image.
- a new pattern 331 (FIG. 10) is added in the vicinity of the pattern 312 described with reference to FIGS.
- a pattern 331 is added to the captured image 310 as shown in FIG.
- the pattern 331 is also added to the captured image 320. Therefore, as shown in FIG. 11, since the alignment can be performed based on the pattern 312, the edge 313, and the pattern 331, the orientation of the above-described captured image 320 can be more easily specified. , More accurate alignment can be performed.
- the alignment described with reference to FIGS. 7 to 11 is an example, and the alignment method, the number of patterns and edges, the shape, the position, the size, and the like are all arbitrary. In general, increasing the number of patterns increases the characteristics of the captured images, so that the alignment (matching) error between the captured images tends to be small. That is, matching can be performed more accurately.
- how to increase the pattern is arbitrary.
- a new pattern may be irradiated, or a pattern that has been irradiated to another area may be moved to an area where an error is likely to occur in alignment.
- the pattern determined not to contribute to the alignment by the process of step S107 may be moved.
- pattern addition and movement may be combined. For example, when there is an upper limit to the number of patterns irradiated by the irradiation device 112, patterns are added up to the upper limit, and when the number of patterns reaches the upper limit, the pattern being irradiated is moved. Good.
- step S108 the corresponding point detection unit 253 determines whether or not the processing for all viewpoints has been completed. If it is determined that there is an unprocessed viewpoint, the process returns to step S103, and the subsequent processes are executed. Each process of step S103 to step S108 is performed for each viewpoint, and if it is determined in step S108 that the processes for all viewpoints have been completed, the process proceeds to step S109.
- step S109 the irradiation pattern update unit 256 determines whether there is a viewpoint for updating the pattern. That is, after the processing is performed for all viewpoints as described above, the irradiation pattern update unit 256 determines whether the processing in step S106 or the processing in step S107 is performed in the processing for each viewpoint. If it is determined that the process has been performed, the process proceeds to step S110. In step S110, the irradiation pattern update unit 256 updates the pattern irradiated to each viewpoint according to the reservation made in steps S106 and S107 (addition, movement, deletion, etc. of patterns).
- the irradiation pattern update unit 256 when the evaluation value is set to a value indicating that the error occurrence rate is higher than the predetermined threshold, the irradiation pattern update unit 256 superimposes the captured image of the viewpoint to be processed and another captured image. The pattern irradiation position is updated so as to increase the pattern irradiated to the region. Further, the irradiation pattern update unit 256 deletes the pattern determined to be unnecessary.
- the process of step S110 ends, the process returns to step S101, and the subsequent processes are executed. That is, the pattern image is irradiated to the updated position, and imaging is performed again. Subsequent processing is performed on the new captured image, that is, the captured image including the pattern image whose irradiation position is updated.
- steps S101 to S110 are repeatedly executed until the position of the pattern image is not updated. If it is determined in step S109 that there is no viewpoint for updating the pattern, the positioning process ends.
- the evaluation value calculation method in step S105 in FIG. 6 is arbitrary.
- the evaluation value may be obtained based on the corresponding point detection result (matching error).
- An example of the relationship between the matching error and the matching reliability is shown by a curve 341 in FIG.
- the matching error is a parameter indicating the magnitude of the comparison result (difference) between the two captured images that are aligned based on the result of corresponding point detection (step S104). The larger this value is, the more the images that are aligned do not match (there are many mismatches).
- “Matching reliability” is a parameter indicating the reliability of successful alignment, depending on the matching error. The larger this value is, the higher the possibility that the alignment based on the corresponding point detection result is a correct alignment result. For example, when the alignment result of the captured image of FIG. 7 is as shown in FIG. 8, the higher the matching reliability, the higher the possibility that the state of FIG. 8 is the correct alignment state. Note that this matching reliability may be a parameter that indicates the degree of possibility of successful alignment depending on the matching error. In this case, for example, if the state of FIG. 9 is a correct alignment state, the alignment result of the captured image of FIG. 7 does not become as shown in FIG. Is likely to become.
- the evaluation value is set according to this matching reliability value.
- the evaluation value is set to a value indicating that the error occurrence rate is lower as the matching reliability is higher (for example, a larger value), and the evaluation value is higher in error rate as the matching reliability is lower. Is set to a value (for example, a smaller value).
- the matching reliability decreases as the value increases.
- the matching error exceeds the predetermined first threshold
- the matching reliability decreases as the value increases.
- the matching error is smaller than the predetermined second threshold value smaller than the first threshold value
- the matching reliability becomes lower as the value becomes smaller.
- the matching reliability is lower than when the matching error is within the range. That is, the evaluation value is set to a value indicating that the error occurrence rate is higher.
- the matching error is too large as a result of matching in a predetermined partial region including the pattern of interest, it is estimated that the registered images do not match (there are many mismatches), and matching
- the error is too small, it is estimated that there are many flat portions (fewer features).
- the evaluation value may be obtained based on the corresponding point detection result (matching error) and the image feature amount of the partial area where the corresponding point is detected.
- a curve 342 in FIG. 13A shows an example of the relationship between the matching error and the matching reliability in this case.
- a curve 343 in FIG. 13B shows an example of the relationship between the image feature amount and the flatness degree reliability.
- the image feature amount is arbitrary, but may be a parameter related to pixel value variation (a parameter related to flatness), for example.
- the parameter regarding the variation of the pixel value is arbitrary. For example, it may be a value related to DR, an adjacent pixel difference absolute value sum, or the like. In this case, the flatness is higher as the image feature amount (pixel value variation) is smaller.
- the flatness degree reliability depends on the flatness degree (the magnitude of variation in pixel values) and is a parameter indicating the reliability of successful alignment (depending on the flatness degree, the possibility of successful alignment). Is a parameter indicating the magnitude of. As in the case of the matching reliability, the larger this value is, the higher the possibility that the alignment (matching) based on the corresponding point detection result is the correct alignment result.
- the flatness degree reliability may be a parameter that indicates the degree of the possibility of successful alignment depending on the flatness degree.
- the evaluation value is set to a value corresponding to the product of matching reliability and flatness reliability. That is, as the product of the matching reliability and the flatness reliability increases, the evaluation value is set to a value indicating that the error occurrence rate is lower (for example, a larger value), and the product of the matching reliability and the flatness reliability is obtained. The smaller the is, the evaluation value is set to a value (for example, a smaller value) indicating that the error occurrence rate is higher.
- the matching reliability decreases as the value increases.
- the flatness degree reliability is reduced as the flatness degree is larger (the possibility of being flat is higher or flatter).
- the flatness reliability decreases as the value decreases. Therefore, even if the matching error is small, if the matching area is flat, it is determined that the error is likely to occur in the alignment, and the evaluation value indicates that the error occurrence rate is higher. Set to a value.
- a predetermined matching error and image feature amount for example, a parameter related to pixel value variation.
- the evaluation value may be obtained from the matching error value and the image feature value.
- the relationship between the matching error and the matching reliability (curve 342) is arbitrary and is not limited to the example of A in FIG. Further, the relationship (curve 343) between the image feature quantity and the flatness degree reliability is arbitrary, and is not limited to the example of B in FIG. Furthermore, the relationship among the matching error, the image feature amount, and the evaluation value is arbitrary, and is not limited to the example of C in FIG.
- the evaluation value may be obtained based on the corresponding point detection result (matching error) and the relative orientations of the two imaging units that generate the two captured images to be imaged and aligned. Good.
- a curve 344 in FIG. 14A shows an example of the relationship between the matching error and the matching reliability in this case.
- a straight line 345 in FIG. 14B shows an example of the relationship between distance and distance reliability.
- the distance is information on the relative posture of each imaging unit (or its imaging range) that images the corresponding point, which is obtained using the detected corresponding point. More specifically, the distance represents the magnitude of an error between the relative orientation of each imaging unit (or its imaging range) based on the corresponding point and the relative orientation of each imaging unit (or its imaging range) in real space. It is a parameter to show. That is, when this distance is zero or sufficiently small, the corresponding points detected in each captured image point to the same position in the real space, and there is a possibility that the alignment will be a correct result. high. On the other hand, when this distance is large, the corresponding points detected in each captured image are shifted in the real space, and the possibility of erroneous detection is high. That is, it is unlikely that the alignment will be correct.
- the distance reliability is a parameter indicating the reliability that the alignment is successful depending on such distance. The larger this value is, the higher the possibility that the alignment based on the corresponding point detection result is a correct alignment result. Note that the distance reliability may be a parameter that indicates the magnitude of the possibility of successful alignment depending on the distance.
- the relationship between the distance and the distance reliability is, for example, a relationship as shown by a straight line 345 in FIG.
- the calculation method of such distance and distance reliability is arbitrary.
- the calculation may be performed using a functional block as shown in FIG. First, it is assumed that the relative orientation (position, orientation, etc.) in the real space between the imaging device 113 of the viewpoint of interest A and the imaging device 113 of the viewpoint B is known. Further, the relative position of the captured images in the in-image coordinate system is known from the detected corresponding points.
- the coordinate conversion unit 401 converts the relative position between the imaging devices 113 in the image coordinate system (x, y) based on the corresponding points into a coordinate system (X, Y, Z) in real space.
- the distance calculation unit 402 captures the coordinates of the imaging device 113 in the real space of the viewpoint B based on the corresponding point detection result obtained by the coordinate conversion unit 401 and the imaging of the viewpoint B in the real space on the basis of the target viewpoint A.
- the distance (error) from the coordinates (known) of the device 113 is calculated.
- the distance reliability calculation unit 403 calculates the distance reliability based on the distance calculated by the distance calculation unit 402.
- the evaluation value is set to a value corresponding to the product of the matching reliability and the distance reliability. That is, as the product of the matching reliability and the distance reliability is larger, the evaluation value is set to a value (for example, a larger value) indicating that the error occurrence rate is lower, and the product of the matching reliability and the distance reliability is smaller. The evaluation value is set to a value (for example, a smaller value) indicating that the error occurrence rate is higher.
- the matching reliability decreases as the value increases.
- the distance reliability decreases as the distance increases. Therefore, even if the matching error is small, when the error between the relative orientation of each imaging unit (or its imaging range) based on the corresponding point and the relative orientation of each imaging unit (or its imaging range) in real space is large, It is determined that an error is likely to occur in the alignment, and the evaluation value is set to a value indicating that the error occurrence rate is higher.
- the matching error value, the image feature value, and the like are calculated based on a predetermined relationship between the matching error, the distance, and the evaluation value. From this, the evaluation value may be obtained.
- the relationship between the matching error and the matching reliability (curve 344) is arbitrary and is not limited to the example of A in FIG. Further, the relationship between the distance and the distance reliability (curve 345) is arbitrary, and is not limited to the example of B in FIG.
- ⁇ Pattern movement method and corresponding point detection method> When increasing the pattern as described above, for example, a method of moving the pattern being irradiated or a method of adding the pattern to be irradiated can be considered.
- the pattern irradiated in the imaging range of the processing target viewpoint that is, the pattern included in the processing target captured image
- the irradiation position of another pattern included in the captured image to be processed may be moved to a region where the captured images are superimposed, where the evaluation value is a value indicating that the error occurrence rate is higher.
- a pattern irradiated outside the imaging range of the processing target viewpoint (that is, a pattern not included in the processing target imaging image) may be moved. That is, the irradiation position of another pattern irradiated to a position not included in the captured image to be processed is an area where the captured images are superimposed, where the evaluation value is a value indicating a higher error occurrence rate. You may make it move.
- the pattern can be updated more easily because the pattern can be updated without waiting for processing for another captured image by moving the pattern within the captured image.
- moving the pattern from outside the captured image can move the pattern image over a wider range, so that more patterns can be concentrated in a region where alignment is more difficult, and alignment between the captured images can be performed. It can be done more accurately.
- the detection of corresponding points may be performed based on the latest pattern irradiation, or based on a plurality of pattern irradiations, that is, not only the latest pattern image but also the pattern image irradiated in the past.
- the corresponding points may be detected by using them.
- Detecting corresponding points can be performed more easily by detecting corresponding points based on the latest patterns (increase in load and processing time can be suppressed). In addition, by detecting corresponding points using past patterns, it becomes possible to detect corresponding points using more patterns, so that alignment between captured images can be performed more accurately. it can.
- pattern movement method and the corresponding point detection method described above can be used in any combination as shown in the table of FIG. 16, for example.
- the pattern when a pattern is moved in a captured image to be processed and a corresponding point is detected based on the latest pattern, the pattern is irradiated to an area where the possibility of an error is determined for the evaluation value of the corresponding point detection You may try again.
- the evaluation value of the corresponding point detection is set to an area where the possibility of error is determined to be large.
- the corresponding point detection may be recalculated by irradiating the pattern, superimposing the updated pattern irradiation result on the previous pattern irradiation result, and increasing the number of patterns that can be used as a clue.
- the evaluation value of the corresponding point detection is a pattern in an area where the possibility of error is determined to be large. May be added.
- the evaluation value of the corresponding point detection is set to an area where the possibility of error is determined to be large. You may make it recalculate corresponding point detection by adding a pattern, superimposing the updated pattern irradiation result on the last pattern irradiation result, and increasing the number of patterns which can be used as a clue.
- the pattern shape may be changed.
- a circular pattern may be changed to a polygon (for example, a triangle or a quadrangle) that can identify the posture of the pattern in detecting corresponding points.
- the irradiation device 112 may irradiate any light as long as it can irradiate the pattern image to the subject or the like.
- a projector projection device
- a plurality of pattern images may be irradiated with one projection image.
- the irradiation device 112 irradiates laser light, so that a pattern image can be irradiated more clearly to a subject at a longer distance.
- the wavelength range of light for irradiating the pattern image is arbitrary, and may be visible light or invisible light.
- infrared light may be used.
- the imaging device 113 may receive both visible light and infrared light.
- one imaging device 113 includes an image sensor including a filter 503 in which a visible light color filter and an infrared light filter are combined as shown in FIG. Both the generation of the captured image and the detection of the infrared light pattern may be performed. In this case, alignment is not necessary. If necessary, visible light (RGB) and IR components may be separated according to the wavelength range. As shown in FIG. 17D, the RGB component and the IR component have different peak wavelength ranges. In FIG. 17D, a curve 511 indicates the spectrum of the B component, a curve 512 indicates the spectrum of the G component, a curve 513 indicates the spectrum of the R component, and a curve 514 indicates the spectrum of the IR component.
- RGB visible light
- IR component the RGB component and the IR component have different peak wavelength ranges.
- a curve 511 indicates the spectrum of the B component
- a curve 512 indicates the spectrum of the G component
- a curve 513 indicates the spectrum of the R component
- a curve 514 indicates the spectrum of the
- the IR component included in the RGB image may be separated as in the following formula (1).
- IR ' IR- (wr * R + wg * G + wb * B) ... (1)
- the RGB components included in the IR image may be separated as shown in the following equation (2).
- the distance to the subject or the like irradiated with the pattern may be measured using a ToF (Time Of Flight) sensor.
- ToF Time Of Flight
- measuring the depth in addition to pattern irradiation can be used to improve matching accuracy.
- Second Embodiment> ⁇ Other configurations> Note that the configuration of the imaging system to which the present technology is applied is not limited to the example of FIG. 3 described above.
- the number of the central processing unit 111, the irradiation device 112, and the imaging device 113 is arbitrary. For example, there may be a plurality of central processing units 111 and irradiation devices 112, or there may be three or less imaging devices 113, or five or more.
- the central processing unit 111 and the irradiation device 112 or the imaging device 113 may be connected to each other via the network 601.
- the network 601 is an arbitrary communication network.
- a communication method employed in the network 601 is arbitrary. For example, wired communication, wireless communication, or both of them may be used.
- the network 601 may be configured by a single communication network or may be configured by a plurality of communication networks.
- the network 601 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
- the central processing unit 111, the irradiation device 112, and each imaging device 113 are communicably connected to the network 601. Note that this connection may be wired (that is, connection via wired communication), wireless (that is, connection via wireless communication), or both.
- this connection may be wired (that is, connection via wired communication), wireless (that is, connection via wireless communication), or both.
- the number of each device, the shape and size of the housing, the arrangement position, etc. are arbitrary.
- the central processing unit 111, the irradiation device 112, and each imaging device 113 can communicate with each other (transfer and receive information) via the network 601.
- the central processing unit 111, the irradiation device 112, and each imaging device 113 may be connected so as to be communicable with each other via other equipment (device, transmission path, etc.).
- the present technology can be applied in the same manner as the imaging system 100 described above, and the above-described effects can be achieved.
- the imaging system 100 may be configured as one apparatus.
- An imaging apparatus 610 illustrated in FIG. 19 includes a central processing unit 611, an irradiation unit 612, and an imaging unit 613 (imaging units 613-1 to 613-4).
- the central processing unit 611 controls the irradiation unit 612 and the imaging unit 613 to perform detection of corresponding points by executing the processing performed in the central processing device 111 described above.
- the present technology can be applied similarly to the imaging system 100, and the above-described effects can be obtained.
- the configuration of the imaging device 610 is arbitrary, and is not limited to the example of FIG.
- the numbers of the central processing unit 611, the irradiation unit 612, and the imaging unit 613 are arbitrary.
- the present technology can also be applied to systems and devices used for viewing.
- the present technology can be applied to a system or a device provided for traffic management.
- the present technology can also be applied to a system or device used for security.
- the present technology can be applied to a system or a device provided for sports.
- the present technology can also be applied to a system or a device provided for agriculture.
- the present technology can also be applied to a system or device used for livestock industry.
- the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans.
- the present technology can be applied to, for example, a weather observation system or a weather observation apparatus that observes weather, temperature, humidity, wind speed, sunshine duration, and the like.
- the present technology can also be applied to systems and devices for observing the ecology of wildlife such as birds, fish, reptiles, amphibians, mammals, insects, and plants.
- this recording medium is constituted by a removable medium 216 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
- the removable medium 216 in the drive 215, the program stored in the removable medium 216 can be read and installed in the storage unit 213.
- This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be received by the communication unit 214 and installed in the storage unit 213.
- this program can be installed in advance in a storage unit or ROM.
- a storage unit or ROM For example, in the case of the central processing unit 111 shown in FIG.
- the program can be installed in advance in a storage unit 213 or a ROM (not shown) built in the CPU 201.
- the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
- each step described above can be executed in each device described above or any device other than each device described above.
- the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
- Information necessary for processing may be transmitted to the apparatus as appropriate.
- Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
- the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
- the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
- a configuration other than that described above may be added to the configuration of each device (or each processing unit).
- a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
- the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
- each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
- the present technology is not only implemented as a device or system, but also any configuration mounted on a device constituting the device or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, etc. It can also be implemented as a unit using a plurality of modules or the like, a set in which other functions are further added to the unit, or the like (that is, a partial configuration of the apparatus).
- LSI Large Scale Integration
- association means, for example, that one data can be used (linked) when one data is processed. That is, the data associated with each other may be collected as one data, or may be individual data. For example, information associated with encoded data (image) may be transmitted on a different transmission path from the encoded data (image). Further, for example, information associated with encoded data (image) may be recorded on a recording medium different from the encoded data (image) (or another recording area of the same recording medium). Good.
- the “association” may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
- this technique can also take the following structures.
- An information processing apparatus comprising: an update unit that updates an irradiation position of the pattern based on the evaluation value calculated by the calculation unit.
- the calculation unit calculates the evaluation value based on a magnitude of an error in matching of a predetermined partial region including the pattern.
- the calculation unit sets the evaluation value to a value indicating that the error occurrence rate is higher than that when the error is within the range, regardless of whether the error is larger or smaller than a predetermined range.
- the calculation unit calculates the evaluation value based on a magnitude of an error in matching a predetermined partial area including the pattern and an image feature amount of the partial area.
- An information processing apparatus according to claim 1. When the error is larger than a predetermined threshold, the calculation unit sets the evaluation value to a value indicating that the error occurrence rate is higher than that when the error is equal to or less than the threshold.
- (6) The information processing apparatus according to (4) or (5), wherein the image feature amount is a parameter regarding pixel value variation.
- the calculation unit has a higher error rate when the parameter related to the pixel value variation is smaller than a predetermined threshold value, and the error occurrence rate is higher than the evaluation value when the parameter related to the pixel value variation is equal to or larger than the threshold value.
- the calculation unit may include a magnitude of an error in matching a predetermined partial region including the pattern, and an imaging unit that has captured and generated the captured image and another imaging that has captured the other captured image.
- the information processing apparatus according to any one of (1) to (7), wherein the evaluation value is calculated based on information related to a relative posture with the unit.
- the calculation unit sets the evaluation value to a value indicating that the error occurrence rate is higher than that when the error is equal to or less than the threshold.
- the information processing apparatus described. The information related to the relative posture is a magnitude of an error between the relative posture based on the detected corresponding point and the actual relative posture between the image pickup unit and the other image pickup unit. ).
- the update unit irradiates a region where the captured image and the other captured image overlap.
- the information processing apparatus according to any one of (1) to (11), wherein an irradiation position of the pattern is updated so as to increase a pattern to be performed. (13) The information processing apparatus according to (12), wherein the update unit moves an irradiation position of another pattern included in the captured image to the region. (14) The information processing apparatus according to (12), wherein the update unit moves an irradiation position of another pattern irradiated outside the captured image to the area.
- a corresponding point detection unit that detects corresponding points between the captured image and the other captured image by matching a predetermined partial region including the pattern
- the information processing apparatus according to any one of (1) to (14), wherein the calculation unit is configured to calculate the evaluation value for the corresponding point detection result obtained by the corresponding point detection unit.
- the corresponding point detection unit detects the corresponding point based on the latest pattern irradiation.
- the corresponding point detection unit detects the corresponding point based on a plurality of pattern irradiations.
- the pattern is irradiated as laser light.
- imaging system 111 central processing unit, 112 irradiation device, 113 imaging device, 201 CPU, 251 pattern irradiation unit, 252 imaging unit, 253 corresponding point detection unit, 254 evaluation value calculation unit, 255 determination unit, 256 irradiation pattern update unit , 401 coordinate conversion unit, 402 distance calculation unit, 403 distance reliability calculation unit, 501 color filter, 502 IR filter, 503 filter, 600 imaging system, 601 network, 610 imaging device, 611 central processing unit, 612 irradiation unit, 613 Imaging unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本開示は、撮像画像間の位置合わせをより正確に行うことができるようにする情報処理装置および方法に関する。 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、その画像および他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、算出されたその評価値に基づいて、パタンの照射位置を更新する。本開示は、例えば、情報処理装置、照射装置、撮像装置、照射撮像装置、制御装置、または撮像システム等に適用することができる。
Description
本開示は、情報処理装置および方法に関し、特に、撮像画像間の位置合わせをより正確に行うことができるようにした情報処理装置および方法に関する。
従来、複数のカメラで撮像した撮像画像を合成して、全方位画像やパノラマ画像を作成することが行われていた。その際、画像同士の繋ぎ目等において違和感が生じないように、撮像画像同士を正確に位置合わせする必要がある。このような位置合わせを手動で行う方法があった(例えば、特許文献1参照)。
しかしながら、手動では、1枚の合成画像を作成するのにも多大な時間を要するため、動画像の合成画像を作成することは困難であった。また、手動の場合、位置合わせの正確性は、その作業者の練度に依存するため、必ずしも位置合わせを十分に正確に行うことができるとは限らなかった。
本開示は、このような状況に鑑みてなされたものであり、撮像画像間の位置合わせをより正確に行うことができるようにするものである。
本技術の一側面の情報処理装置は、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部とを備える情報処理装置である。
前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出することができる。
前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定することができる。
前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出することができる。
前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定することができる。
前記画像特徴量は、画素値のバラツキに関するパラメータであるようにすることができる。
前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定することができる。
前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出することができる。
前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定することができる。
前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさであるようにすることができる。
前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定することができる。
前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新することができる。
前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させることができる。
前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させることができる。
前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成されるようにすることができる。
前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行うことができる。
前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行うことができる。
前記パタンは、レーザ光として照射されるようにすることができる。
前記パタンは、赤外光として照射されるようにすることができる。
本技術の一側面の情報処理方法は、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、算出された前記評価値に基づいて、前記パタンの照射位置を更新する情報処理方法である。
本技術の一側面の情報処理装置および方法においては、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、その撮像画像および他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値が算出され、算出されたその評価値に基づいて、パタンの照射位置が更新される。
本開示によれば、情報を処理することができる。特に、撮像画像間の位置合わせをより正確に行うことができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.撮像画像間の位置合わせ
2.第1の実施の形態(撮像システム)
3.第2の実施の形態(撮像システム・照射撮像装置)
4.その他
1.撮像画像間の位置合わせ
2.第1の実施の形態(撮像システム)
3.第2の実施の形態(撮像システム・照射撮像装置)
4.その他
<1.撮像画像間の位置合わせ>
<画像合成と位置合わせ>
従来、複数のカメラで撮像した撮像画像を合成して1つの合成画像とすることがあった。例えば図1のAのように、複数の撮像装置で同一箇所(同一範囲)をタイミングをずらして撮像し、各カメラで得られる撮像画像をフレームとして組み合わせ、カメラのフレームレートよりも高フレームレートの動画像を実現する方法があった。また、例えば図1のBのように、複数の撮像装置により広範囲を撮像し、各撮像画像を並べるように合成することにより、例えばパノラマ画像のような、1台の撮像装置の撮像範囲よりも広範囲の合成画像を生成する方法があった。また、図2に示される例のように、撮像画像の合成の際に幾何補正も行うことにより、例えば全方位画像のような、曲面に展開される合成画像を生成する方法もあった。
<画像合成と位置合わせ>
従来、複数のカメラで撮像した撮像画像を合成して1つの合成画像とすることがあった。例えば図1のAのように、複数の撮像装置で同一箇所(同一範囲)をタイミングをずらして撮像し、各カメラで得られる撮像画像をフレームとして組み合わせ、カメラのフレームレートよりも高フレームレートの動画像を実現する方法があった。また、例えば図1のBのように、複数の撮像装置により広範囲を撮像し、各撮像画像を並べるように合成することにより、例えばパノラマ画像のような、1台の撮像装置の撮像範囲よりも広範囲の合成画像を生成する方法があった。また、図2に示される例のように、撮像画像の合成の際に幾何補正も行うことにより、例えば全方位画像のような、曲面に展開される合成画像を生成する方法もあった。
このような合成画像の、画像を見るユーザにとって複数の撮像画像が重畳して見える部分において、合成された撮像画像同士がずれていると、エッジが2重になったり、色や輝度が変化したりして、ユーザが違和感を覚える可能性がある。なお、このユーザにとって重畳して見える部分とは、データ上で撮像画像同士が重畳されて合成される部分だけでなく、実際には合成されずデータは別々であるが、表示や編集の際などにおいて重畳されて合成される可能性がある部分も含む。また、そのような合成され得る画像には、同一のタイミングで出力・表示され、実際に重畳されて表示されるものだけでなく、表示の際にユーザの視覚的に合成される部分、例えば、互いに同一でないタイミングに表示され、一方の残像が他方の撮像画像に重畳して見えるような部分も含む(例えばフレーム等)。
このような複数の撮像画像が重畳する部分において、ユーザに違和感を覚えさせないようにするために、合成する撮像画像の位置合わせを行う様々な方法が考えられた。例えば、特許文献1には、複数の画像のパースペクティブを統一しながら画像を合成する方法において、合成する2枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、またはその一部を表示し、表示された画像から、操作者が画質確認を行う方法が開示されている。
しかしながら、手動では、1枚の合成画像を作成するのにも多大な時間を要するため、動画像の合成画像を作成することは困難であった。また、手動の場合、位置合わせの正確性は、その作業者の練度に依存するため、必ずしも位置合わせを十分に正確に行うことができるとは限らなかった。
<評価値の算出とパタン表示位置の更生>
そこで、例えば、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、それらの撮像画像(撮像画像および他の撮像画像)を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、その算出部により算出された評価値に基づいて、パタンの照射位置を更新する更新部とを備えるようにする。また、例えば、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、それらの撮像画像(撮像画像および他の撮像画像)を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、算出されたその評価値に基づいて、パタンの照射位置を更新するようにする。このようにすることにより、撮像画像間の位置合わせをより正確に行うことができる。
そこで、例えば、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、それらの撮像画像(撮像画像および他の撮像画像)を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、その算出部により算出された評価値に基づいて、パタンの照射位置を更新する更新部とを備えるようにする。また、例えば、他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、そのパタンを含む他の撮像画像との対応点検出結果について、それらの撮像画像(撮像画像および他の撮像画像)を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、算出されたその評価値に基づいて、パタンの照射位置を更新するようにする。このようにすることにより、撮像画像間の位置合わせをより正確に行うことができる。
<2.第1の実施の形態>
<撮像システム>
図3は、本技術を適用した撮像システムの一実施の形態の主な構成例を示すブロック図である。図3において、撮像システム100は、任意の被写体に向けて、位置合わせ用の所定のパタン画像を照射し、そのパタン画像が照射された被写体を複数の撮像装置によって撮像することにより、位置合わせ用のパタン画像を含む複数の撮像画像を生成して出力するシステムである。そして、この撮像システム100は、後述する手法によってそのような処理を行うことにより、より正確な位置合わせが可能なパタン画像を含む複数の撮像画像を生成し、出力することができる。
<撮像システム>
図3は、本技術を適用した撮像システムの一実施の形態の主な構成例を示すブロック図である。図3において、撮像システム100は、任意の被写体に向けて、位置合わせ用の所定のパタン画像を照射し、そのパタン画像が照射された被写体を複数の撮像装置によって撮像することにより、位置合わせ用のパタン画像を含む複数の撮像画像を生成して出力するシステムである。そして、この撮像システム100は、後述する手法によってそのような処理を行うことにより、より正確な位置合わせが可能なパタン画像を含む複数の撮像画像を生成し、出力することができる。
図3に示されるように、この撮像システム100は、中央処理装置111、照射装置112、撮像装置113-1乃至撮像装置113-4を有する。
中央処理装置111と、照射装置112、並びに、撮像装置113-1乃至撮像装置113-4とは、通信媒体である所定のケーブルを介して互いに通信可能に接続されている。中央処理装置111は、照射装置112や撮像装置113-1乃至撮像装置113-4の制御に関する処理や、撮像装置113-1乃至撮像装置113-4から供給される撮像画像の合成に関する処理等を行う。
照射装置112は、レーザ光を任意の位置(任意の方向)に照射する装置である。例えば、照射装置112は、上述のケーブルを介して中央処理装置111により制御され、任意の位置(任意の方向)の被写体をレーザ光でスキャンすることにより、その被写体表面に、位置合わせ用のパタン画像を描く。例えば、照射装置112は、中央処理装置111の制御に従って、点線矢印141乃至点線矢印149のように、被写体である壁120に向けてパタン画像(レーザ光)を照射する。
照射装置112が同時に照射可能なパタン(レーザ光)の数は任意であり、図3の例に限定されない。また、パタン画像はどのような絵柄であってもよい。また、照射装置112は、どのような光でパタンを照射するようにしてもよく、レーザ光でなくてもよい。
撮像装置113-1乃至撮像装置113-4は、それぞれ、被写体を撮像して撮像画像を生成し、それを出力する装置である。以下において、撮像装置113-1乃至撮像装置113-4を互いに区別して説明する必要がない場合、撮像装置113と称する。撮像装置113は、上述のケーブルを介して中央処理装置111により制御され、任意の被写体を撮像し、撮像画像を得る。また、撮像装置113は、その得られた撮像画像を、上述のケーブルを介して中央処理装置111に供給する。
なお、撮像装置113は、任意の位置に任意の姿勢で設置することができる。つまり、撮像装置113は任意の位置から任意の姿勢、任意の画角で、任意の方向を撮像することができる。つまり、撮像装置113は任意の撮像範囲を撮像することができる。また、中央処理装置111は、各撮像装置113の撮像実行制御だけでなく、撮像に関する任意の制御を行うことができるようにしてもよい。例えば、各撮像装置113の絞り、露出、照明等の撮像に関する設定を中央処理装置111が制御することができるようにしてもよい。また、例えば、各撮像装置113の位置や姿勢、ズーム等、撮像範囲に関する設定を中央処理装置111が制御することができるようにしてもよい。
なお、各撮像装置113の性能(例えば、解像度、ダイナミックレンジ、コントラスト、フレームレート、画角、シャッタスピード等、撮像に関する性能を示すあらゆるパラメータの値)は、統一されていなくてもよい。また、撮像装置113が撮像する方向や姿勢は統一されていなくてもよい。例えば、他と異なる方向を他と異なる姿勢で撮像する撮像装置113が存在してもよい。各撮像装置113が互いに異なる方向を互いに異なる姿勢で撮像するようにしてもよい。
図3の例の場合、撮像装置113-1は、壁120の両矢印121で示される範囲を撮像する。また、撮像装置113-2は、壁120の両矢印122で示される範囲を撮像する。また、撮像装置113-3は、壁120の両矢印123で示される範囲を撮像する。また、撮像装置113-4は、壁120の両矢印124で示される範囲を撮像する。両矢印131で示される範囲が、撮像装置113-1の撮像範囲と撮像装置113-2の撮像範囲とが重なる範囲である。また、両矢印132で示される範囲が、撮像装置113-2の撮像範囲と撮像装置113-3の撮像範囲とが重なる範囲である。さらに、両矢印133で示される範囲が、撮像装置113-3の撮像範囲と撮像装置113-4の撮像範囲とが重なる範囲である。
図3の例の場合、範囲131には1つのパタン画像が照射され(点線矢印142)、範囲132には2つのパタン画像が照射され(点線矢印144、点線矢印145)、範囲133には3つのパタン画像が照射されている(点線矢印146、点線矢印147、点線矢印148)。
<中央処理装置>
図4は、本技術を適用した情報処理装置の一実施の形態である中央処理装置111の主な構成例を示すブロック図である。図4に示されるように、中央処理装置111は、CPU201、ROM202、RAM203、バス204、入出力インタフェース210、入力部211、出力部212、記憶部213、通信部214、およびドライブ215を有する。
図4は、本技術を適用した情報処理装置の一実施の形態である中央処理装置111の主な構成例を示すブロック図である。図4に示されるように、中央処理装置111は、CPU201、ROM202、RAM203、バス204、入出力インタフェース210、入力部211、出力部212、記憶部213、通信部214、およびドライブ215を有する。
CPU201、ROM202、RAM203は、バス204を介して相互に接続されている。バス204にはまた、入出力インタフェース210も接続されている。入出力インタフェース210には、入力部211、出力部212、記憶部213、通信部214、およびドライブ215が接続されている。
CPU201は、例えば、ROM202や記憶部213に記憶されているプログラム等をRAM203にロードして実行することにより、各種処理を行う。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。例えば、CPU201は、そのようにプログラム等を実行することにより、撮像画像の合成に関する各種処理を行うことができる。
入力部211は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ(信号)として受け付ける入力端子であってもよい。出力部212は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ(信号)として外部に出力する出力端子であってもよい。
記憶部213は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部214は、所定の通信媒体(例えばインターネット等の任意のネットワーク)を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部214による通信の通信方法や通信規格は任意である。例えば、通信部214が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。
ドライブ215は、自身に装着されたリムーバブルメディア216に対する情報(プログラムやデータ等)の読み出しや書き込みに関する処理を行う。このリムーバブルメディア216は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ215は、自身に装着されたリムーバブルメディア216に記憶されている情報(プログラムやデータ等)を読み出し、その情報をCPU201やRAM203等に供給する。また、例えば、ドライブ215は、CPU201やRAM203等から供給される情報(プログラムやデータ等)を取得し、その情報を自身に装着されたリムーバブルメディア216に書き込む。
<制御装置の機能ブロック>
図5は、中央処理装置111のCPU201等がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図5に示されるように、中央処理装置111は、プログラムを実行することにより、パタン照射部251、撮像部252、対応点検出部253、評価値算出部254、判定部255、および照射パタン更新部256の機能を有する。
図5は、中央処理装置111のCPU201等がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図5に示されるように、中央処理装置111は、プログラムを実行することにより、パタン照射部251、撮像部252、対応点検出部253、評価値算出部254、判定部255、および照射パタン更新部256の機能を有する。
パタン照射部251は、パタン画像の照射に関する処理を行う。撮像部252は、撮像装置113の制御に関する処理を行う。対応点検出部253は、撮像装置113において得られた撮像画像の対応点検出に関する処理を行う。評価値算出部254は、対応点検出結果について、撮像画像同士を合成する際の位置合わせのエラーの発生率を評価する評価値の算出に関する処理を行う。判定部255は、評価値に基づくパタン画像の更新に関する判定を行う。照射パタン更新部256は、パタン画像の照射位置の更新に関する処理を行う。
<位置合わせ処理の流れ>
以上のような中央処理装置111は、位置合わせ処理を実行することにより、撮像画像同士の位置合わせに用いるパタン画像の照射位置を決定する。図6のフローチャートを参照して、このような位置合わせ処理の流れの例を説明する。
以上のような中央処理装置111は、位置合わせ処理を実行することにより、撮像画像同士の位置合わせに用いるパタン画像の照射位置を決定する。図6のフローチャートを参照して、このような位置合わせ処理の流れの例を説明する。
位置合わせ処理が開始されると、パタン照射部251は、ステップS101において、照射装置112を制御して、パタンを撮像環境に照射させる。照射装置112は、その制御に従ってレーザ光を撮像環境に照射し、パタン画像を撮像環境に描画する。なお、撮像環境とは撮像範囲内の(すなわち、撮像画像に含まれる)被写体等のことである。被写体等とは、撮像範囲内の、例えば、壁、床、天井、人、動物等を含む何らかの物体である。なお、例えば、空や遠景等のように被写体にレーザ光が届かない場合等、被写体にパタン画像を正常に照射することが困難な場合、本来の被写体の近傍または手前にレーザ光を正常に照射可能な物体を配置し、その物体にレーザ光を照射してパタン画像を描画するようにしてもよい。
ステップS102において、撮像部252は、全ての撮像装置113を制御して、全視点を撮像させる。ここで視点とは、1つの撮像装置113の撮像範囲を示す。つまり、各撮像装置113は、その制御に従って撮像し、撮像画像のデータ(撮像画像データ)を得る。各撮像装置113は、その撮像画像データを中央処理装置111に供給する。これにより全視点(全撮像範囲)の撮像画像データが得られる。
ステップS103において、対応点検出部253は、処理対象視点、すなわち、処理対象とする撮像画像を選択する。ステップS104において、対応点検出部253は、隣接視点間の画像についてパタンを手掛かりに対応点検出を行う。つまり、対応点検出部253は、処理対象視点の撮像画像と、その処理対象視点に隣接する視点の撮像画像との間で、それぞれの撮像画像に含まれるパタン画像に基づく対応点(どちらの撮像画像にも存在する絵柄)の検出を行う。
例えば、図7のAの撮像画像310が処理対象視点の撮像画像であり、図7のBの撮像画像320がその処理対象視点に隣接する視点の撮像画像であるとする。図7のAの撮像画像310には、照射装置112により照射されたパタン311およびパタン312、並びに、エッジ313が含まれている。このエッジ313は、被写体(例えば壁120)の絵柄である。この円形のエッジ313以外の部分は、画素値変化が十分に小さい平坦部であるとする。また、図7のBの撮像画像320には、照射装置112により照射されたパタン312およびエッジ313が含まれている。
対応点検出においては、一般的に、輝度値が大きく変化するエッジ部分が特徴となり、その特徴に基づいて位置合わせが行われる。換言するに、撮像画像に平坦部が多い場合、撮像画像の特徴が少ないため、位置合わせがより困難になる可能性がある。
例えば、対応点検出部253が、図7の撮像画像310と撮像画像320との間で対応点検出を行うと、両画像に含まれるパタン312とエッジ313に基づいて位置合わせが行われる。その際、例えば図8のように位置合わせされるとする。しかしながら、本当は、図9の例のように撮像画像320を撮像画像310に対して傾けて位置合わせするのが正しいかもしれない。このように、少ない特徴(パタン312とエッジ313)に基づいてこの撮像画像320の向きの違いを特定することは困難である場合もある。
そこで、評価値算出部254は、ステップS105において、ステップS104の処理により得られた対応点検出結果について、撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する。
そして、判定部255は、ステップS106において、ステップS105の処理により得られた評価値に応じて、処理対象視点に照射するパタンの追加を予約する。評価値はどのような値(関数)であってもよいが、例えば、評価値が大きいほど位置合わせがエラーとなる可能性(エラーの発生率)が低く、評価値が小さいほどエラーとなる可能性が高いとすると、判定部255は、評価値が所定の閾値以上である場合エラーとなる可能性が十分に低いと判定し、評価値が所定の閾値より小さい場合エラーとなる可能性が高いと判定する。そして、エラーとなる可能性が高いと判定した場合、判定部255は、処理対象視点の、そのエラーとなる可能性が高いと判定した領域にパタンを増やす、すなわち追加のパタン画像を照射するように、照射パタン更新部256に対して要求する。逆に、エラーとなる可能性が低いと判定した領域については、パタンの追加を要求しない。
また、ステップS107において、判定部255は、位置合わせに不要なパタンの消去を予約する。他の撮像画像と重複せず、位置合わせに寄与しないパタン画像は不要である。したがって、判定部255は、そのようなパタンの消去を照射パタン更新部256に対して要求する。
パタン画像は位置合わせのために追加された画像であり、本来の撮像画像の鑑賞には不要な画像である。つまり、パタン画像は撮像画像の鑑賞者にとって主観画質を低減させているともいえる。したがって、上述のように不要なパタン画像を消去する(不要なパタンを照射しないようにする)ことにより、撮像画像の画質の低減を抑制することができる。
つまり、撮像画像を合成する際の位置合わせにおいてエラーが発生する可能性(エラーの発生率)が高い領域に照射するパタンの数を増やし、対応点検出を再度やり直すようにする。例えば、図7乃至図9を参照して説明したパタン312の近傍に新たなパタン331(図10)を追加する。このようにして再度撮像(ステップS102)を行うことにより、図10のAに示されるように、撮像画像310にパタン331が追加される。同様に、図10のBに示されるように、撮像画像320にもそのパタン331が追加される。従って、図11に示されるように、パタン312、エッジ313、およびパタン331に基づいて位置合わせを行うことができるので、上述の撮像画像320の向きもより容易に特定することができるようになり、より正確に位置合わせを行うことができる。
なお、図7乃至図11を参照して説明した位置合わせは、一例であり、位置合わせの仕方、パタンやエッジの数、形状、位置、大きさ等は全て任意である。一般的に、パタンの数を増やすことにより撮像画像の特徴が増えるため、撮像画像間の位置合わせ(マッチング)の誤差は小さくなりやすい。つまり、マッチングをより正確に行うことができるようになる。
なお、パタンの増やし方は任意である。新たなパタンを照射するようにしてもよいし、他の領域に照射していたパタンを、位置合わせにおいてエラーが発生する可能性が高い領域に移動させるようにしてもよい。パタンを移動させる場合は、他の領域の位置合わせへの影響を抑制するように移動させるパタンを選択するのが望ましい。つまり、移動(または消去)しても位置合わせへの影響が少ないパタンを特定し、そのパタンを移動させるようにしてもよい。例えば、ステップS107の処理により、位置合わせに寄与しないと判定されたパタンを移動させるようにしてもよい。例えば、パタンの追加と移動を組み合わせてもよい。例えば、照射装置112が照射するパタンの数に上限が存在する場合、その上限まではパタンを追加するようにし、パタン数が上限に達した場合、照射しているパタンを移動させるようにしてもよい。
ステップS108において、対応点検出部253は、全視点の処理が終了したか否かを判定する。未処理の視点が存在すると判定された場合、処理はステップS103に戻り、それ以降の処理を実行する。ステップS103乃至ステップS108の各処理を各視点について行い、ステップS108において全視点の処理を終了したと判定された場合、処理はステップS109に進む。
ステップS109において、照射パタン更新部256は、パタンを更新する視点が存在するか否かを判定する。つまり、上述のように全視点に対して処理が行われた後、照射パタン更新部256は、各視点に対する処理においてステップS106の処理またはステップS107の処理が行われたか否かを判定する。行われたと判定された場合、処理はステップS110に進む。ステップS110において、照射パタン更新部256は、ステップS106およびステップS107において行われた予約に従って各視点に照射するパタンを更新する(パタンの追加、移動、消去等)。つまり、照射パタン更新部256は、評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、処理対象の視点の撮像画像と他の撮像画像とが重畳する領域に照射されるパタンを増やすように、パタンの照射位置を更新する。また、照射パタン更新部256は、不要と判定されたパタンを消去する。ステップS110の処理が終了すると、処理はステップS101に戻り、それ以降の処理を実行する。つまり、更新された位置にパタン画像が照射され、再度撮像が行われる。それ以降の処理は、その新たな撮像画像、つまり、照射位置が更新されたパタン画像を含む撮像画像に対して行われる。
こうしてパタン画像の位置が更新されなくなるまで、ステップS101乃至ステップS110の各処理が繰り返し実行される。そして、ステップS109において、パタンを更新する視点が存在しないと判定された場合、位置合わせ処理が終了する。
以上のように位置合わせ処理を行うことにより、撮像画像間の位置合わせをより正確に行うことができる。
<評価値算出方法>
図6のステップS105における評価値の算出方法は任意である。例えば、対応点検出結果(マッチング誤差)に基づいてその評価値を求めるようにしてもよい。マッチング誤差とマッチング信頼度との関係の例を図12の曲線341により示す。マッチング誤差は、対応点検出(ステップS104)の結果に基づいて位置合わせされた両撮像画像の比較結果(差分)の大きさを示すパラメータである。この値が大きくなる程、位置合わせされた両画像が一致していない(不一致が多い)ということを表す。
図6のステップS105における評価値の算出方法は任意である。例えば、対応点検出結果(マッチング誤差)に基づいてその評価値を求めるようにしてもよい。マッチング誤差とマッチング信頼度との関係の例を図12の曲線341により示す。マッチング誤差は、対応点検出(ステップS104)の結果に基づいて位置合わせされた両撮像画像の比較結果(差分)の大きさを示すパラメータである。この値が大きくなる程、位置合わせされた両画像が一致していない(不一致が多い)ということを表す。
マッチング信頼度は、マッチング誤差に依存する、位置合わせが成功であることの信頼度を示すパラメータである。この値が大きくなる程、対応点検出結果に基づく位置合わせ(マッチング)が、正しい位置合わせ結果となっている可能性が高くなる。例えば、図7の撮像画像の位置合わせ結果が図8のようになった場合に、このマッチング信頼度が大きいほど、その図8の状態が正しい位置合わせの状態である可能性が高くなる。なお、このマッチング信頼度を、マッチング誤差に依存する、位置合わせが成功する可能性の大きさを示すパラメータとしてもよい。その場合、例えば、図9の状態が正しい位置合わせの状態であるとすると、このマッチング信頼度が大きいほど、図7の撮像画像の位置合わせ結果が図8のようにならずに図9のようになる可能性が高くなる。
評価値は、このマッチング信頼度の値に応じて設定される。つまり、マッチング信頼度が大きいほど評価値はエラーの発生率がより低いことを示す値(例えば、より大きな値)に設定され、マッチング信頼度が小さいほど評価値はエラーの発生率がより高いことを示す値(例えば、より小さな値)に設定される。
一般的に、不一致が増大すればそのマッチング結果が正しい結果である可能性は低減する。したがって、図12の例の曲線341の場合、マッチング誤差が所定の第1の閾値を越えるときは、その値が大きくなる程マッチング信頼度が低くなる。また一般的に、画像の特徴が少ない場合、特徴が多い場合に比べてマッチングが容易になり、マッチング誤差が低減するが、マッチング結果としてより多くの位置合わせの状態が可能になるため、得られたマッチング結果が正しい結果である可能性は低減する。つまり、マッチング誤差が小さすぎる場合、マッチング信頼度が低減する。したがって、図12の例の曲線341の場合、マッチング誤差が上述の第1の閾値よりも小さな所定の第2の閾値よりも小さいときは、その値が小さくなる程マッチング信頼度が低くなる。つまり、マッチング誤差が所定の範囲(第1の閾値と第2の閾値との間)より大きくても小さくても、そのマッチング誤差がその範囲内の場合よりも、マッチング信頼度が低くなる。つまり、評価値が、エラーの発生率がより高いことを示す値に設定される。
この場合、例えば、注目するパタンを含む所定の部分領域においてマッチングを行った結果、マッチング誤差が大きすぎるときは、位置合わせされた両画像が一致していない(不一致が多い)と推定され、マッチング誤差が小さすぎるときは、平坦部が多い(特徴が少ない)と推定される。このようにすることにより、不一致の場合はもちろん、特徴が少なく正しくマッチングされていない可能性が高いと判定される場合もパタンが更新されるようにすることができる。したがって上述のように撮像画像間の位置合わせをより正確に行うことができる。なお、マッチング誤差とマッチング信頼度との関係(曲線341)は任意であり、図12の例に限定されない。
また、例えば、対応点検出結果(マッチング誤差)と、その対応点検出が行われた部分領域の画像特徴量とに基づいてその評価値を求めるようにしてもよい。図13のAの曲線342は、この場合のマッチング誤差とマッチング信頼度との関係の例を示す。また、図13のBの曲線343は、画像特徴量と平坦度合信頼度との関係の例を示す。画像特徴量は、任意であるが、例えば、画素値のバラツキに関するパラメータ(平坦度合に関するパラメータ)であるようにしてもよい。この画素値のバラツキに関するパラメータは、任意である。例えば、DRや隣接画素差分絶対値和等に関する値であってもよい。この場合、画像特徴量(画素値のバラツキ)が小さいほど、平坦度合が高い。
また、平坦度合信頼度は、平坦度合(画素値のバラツキの大きさ)に依存する、位置合わせが成功であることの信頼度を示すパラメータ(平坦度合に依存する、位置合わせが成功する可能性の大きさを示すパラメータ)である。マッチング信頼度の場合と同様に、この値が大きくなる程、対応点検出結果に基づく位置合わせ(マッチング)が、正しい位置合わせ結果となっている可能性が高くなる。なお、この平坦度合信頼度を、平坦度合に依存する、位置合わせが成功する可能性の大きさを示すパラメータとしてもよい。
評価値は、マッチング信頼度と平坦度信頼度の積に応じた値に設定される。つまり、マッチング信頼度と平坦度信頼度の積が大きいほど評価値はエラーの発生率がより低いことを示す値(例えば、より大きな値)に設定され、マッチング信頼度と平坦度信頼度の積が小さいほど評価値はエラーの発生率がより高いことを示す値(例えば、より小さな値)に設定される。
図13のAの例の曲線342の場合、マッチング誤差が所定の閾値を越えるときは、その値が大きくなる程マッチング信頼度が低くなる。また上述のように、一般的に、画像の特徴が少ない場合、マッチング結果が正しい結果である可能性は低減する。つまり、平坦度合が大きい(平坦である可能性が高い、または、より平坦である)ほど、平坦度合信頼度が低減する。例えば図13のBの曲線343の場合、画像特徴量が所定の閾値より小さいときは、その値が小さくなる程平坦度信頼度が低くなる。したがって、マッチング誤差が小さくても、そのマッチングを行った領域が平坦であるときは、位置合わせにおいてエラーが発生する可能性が高いと判定され、評価値がエラーの発生率がより高いことを示す値に設定される。
したがって上述のように撮像画像間の位置合わせをより正確に行うことができる。なお、上述のようにマッチング信頼度と平坦度信頼度の積を算出する代わりに、図13のCに示されるように、予め定められたマッチング誤差と画像特徴量(例えば画素値のバラツキに関するパラメータ)と評価値との関係に基づいて、マッチング誤差の値と画像特徴量の値とから、評価値を求めるようにしてもよい。
なお、マッチング誤差とマッチング信頼度との関係(曲線342)は任意であり、図13のAの例に限定されない。また、画像特徴量と平坦度合信頼度との関係(曲線343)は任意であり、図13のBの例に限定されない。さらに、マッチング誤差と画像特徴量と評価値との関係は任意であり、図13のCの例に限定されない。
また、例えば、対応点検出結果(マッチング誤差)と、撮像して位置合わせを行う2つの撮像画像のそれぞれを生成した2つの撮像部の相対姿勢とに基づいてその評価値を求めるようにしてもよい。図14のAの曲線344は、この場合のマッチング誤差とマッチング信頼度との関係の例を示す。また、図14のBの直線345は、距離と距離信頼度との関係の例を示す。
距離は、検出された対応点を用いて求められる、その対応点を撮像した各撮像部(またはその撮像範囲)の相対姿勢に関する情報である。より具体的には、距離は、その対応点に基づく各撮像部(またはその撮像範囲)の相対姿勢と、実空間における各撮像部(またはその撮像範囲)の相対姿勢との誤差の大きさを示すパラメータである。つまり、この距離がゼロであるかまたは十分に小さい場合、各撮像画像において検出された対応点は、実空間上においても互いに同一の位置を指しており、位置合わせが正しい結果となる可能性が高い。これに対して、この距離が大きい場合は、各撮像画像において検出された対応点が実空間上においてずれており、誤検出の可能性が高い。すなわち、位置合わせが正しい結果となる可能性が低い。
距離信頼度は、このような距離に依存する、位置合わせが成功であることの信頼度を示すパラメータである。この値が大きくなる程、対応点検出結果に基づく位置合わせ(マッチング)が、正しい位置合わせ結果となっている可能性が高くなる。なお、距離信頼度を、距離に依存する、位置合わせが成功する可能性の大きさを示すパラメータとしてもよい。
上述のように、一般的に、距離が大きくなると位置合わせが正しい結果となる可能性が低くなる。したがって、距離と距離信頼度との関係は、例えば図14のBの直線345のような関係になる。
このような距離および距離信頼度の算出方法は任意である。例えば、図15に示されるような機能ブロックを用いて算出するようにしてもよい。まず、注目視点Aの撮像装置113と視点Bの撮像装置113との実空間上の相対姿勢(位置や向き等)が既知であるとする。また、検出された対応点から、撮像画像同士の画像内座標系における相対位置は既知である。
座標変換部401は、その対応点に基づく画像座標系(x,y)の撮像装置113同士の相対位置を、実空間上の座標系(X,Y,Z)に変換する。距離算出部402は、座標変換部401により求められた、対応点検出結果に基づく視点Bの実空間上の撮像装置113の座標と、注目視点Aを基準とした視点Bの実空間上の撮像装置113の座標(既知)との距離(誤差)を算出する。距離信頼度算出部403は、距離算出部402により算出された距離に基づいて、距離信頼度を算出する。
評価値は、マッチング信頼度と距離信頼度の積に応じた値に設定される。つまり、マッチング信頼度と距離信頼度の積が大きいほど評価値はエラーの発生率がより低いことを示す値(例えば、より大きな値)に設定され、マッチング信頼度と距離信頼度の積が小さいほど評価値はエラーの発生率がより高いことを示す値(例えば、より小さな値)に設定される。
図14のAの例の曲線344の場合、マッチング誤差が所定の閾値を越えるときは、その値が大きくなる程マッチング信頼度が低くなる。また図14のBの直線345の場合、距離が遠くなる程距離信頼度が低くなる。したがって、マッチング誤差が小さくても、対応点に基づく各撮像部(またはその撮像範囲)の相対姿勢と、実空間における各撮像部(またはその撮像範囲)の相対姿勢との誤差が大きいときは、位置合わせにおいてエラーが発生する可能性が高いと判定され、評価値がエラーの発生率がより高いことを示す値に設定される。
したがって上述のように撮像画像間の位置合わせをより正確に行うことができる。なお、上述のようにマッチング信頼度と距離信頼度の積を算出する代わりに、予め定められたマッチング誤差と距離と評価値との関係に基づいて、マッチング誤差の値と画像特徴量の値とから、評価値を求めるようにしてもよい。
なお、マッチング誤差とマッチング信頼度との関係(曲線344)は任意であり、図14のAの例に限定されない。また、距離と距離信頼度との関係(曲線345)は任意であり、図14のBの例に限定されない。
<パタン移動方法と対応点検出方法>
上述のようにパタンを増やす場合、例えば、照射中のパタンを移動させる方法や、照射するパタンを追加する方法が考えられる。パタンを移動させる場合、処理対象視点の撮像範囲内に照射されているパタン(つまり、処理対象の撮像画像に含まれるパタン)を移動させるようにしてもよい。つまり、処理対象の撮像画像に含まれる他のパタンの照射位置を、評価値がエラーの発生率がより高いことを示す値である、撮像画像同士が重畳する領域に移動させるようにしてもよい。
上述のようにパタンを増やす場合、例えば、照射中のパタンを移動させる方法や、照射するパタンを追加する方法が考えられる。パタンを移動させる場合、処理対象視点の撮像範囲内に照射されているパタン(つまり、処理対象の撮像画像に含まれるパタン)を移動させるようにしてもよい。つまり、処理対象の撮像画像に含まれる他のパタンの照射位置を、評価値がエラーの発生率がより高いことを示す値である、撮像画像同士が重畳する領域に移動させるようにしてもよい。
また、処理対象視点の撮像範囲の外に照射されているパタン(つまり、処理対象の撮像画像に含まれないパタン)を移動させるようにしてもよい。つまり、処理対象の撮像画像に含まれない位置に照射されていた他のパタンの照射位置を、評価値がエラーの発生率がより高いことを示す値である、撮像画像同士が重畳する領域に移動させるようにしてもよい。
撮像画像内でパタンを移動させる方が、他の撮像画像に対する処理を待たずにパタンを更新することができるので、パタンの更新をより容易に行うことができる。また、撮像画像外からパタンを移動させる方が、パタン画像をより広範囲に移動させることができるので、位置合わせがより難しい領域により多くのパタンを集中させることができ、撮像画像間の位置合わせをより正確に行うことができる。
また、対応点の検出は、最新のパタン照射に基づいて行うようにしてもよいし、複数回のパタン照射に基づいて、すなわち、最新のパタン画像だけでなく、過去に照射されたパタン画像も用いて前記対応点検出を行うようにしてもよい。
最新のパタンに基づいて対応点を検出する方がより容易に対応点の検出を行うことができる(負荷の増大や処理時間の増大を抑制することができる)。また、過去のパタンも利用して対応点を検出することにより、より多くのパタンを用いて対応点を検出することができるようになるので、撮像画像間の位置合わせをより正確に行うことができる。
なお、上述のパタンの移動方法と対応点の検出方法は、例えば図16の表のように、任意の組み合わせで用いることができる。
例えば、処理対象の撮像画像内でパタンを移動させ、最新のパタンに基づいて対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを照射し直すようにしてもよい。また、例えば、処理対象の撮像画像内でパタンを移動させ、過去のパタンも利用して対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを照射し、前回のパタン照射結果に更新されたパタン照射結果を重畳して、手掛かりに使えるパタン数を増やすことで対応点検出を再計算するようにしてもよい。
また、例えば、処理対象の撮像画像外からパタンを移動させ、最新のパタンに基づいて対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを追加するようにしてもよい。また、例えば、処理対象の撮像画像外からパタンを移動させ、過去のパタンも利用して対応点を検出する場合、対応点検出の評価値について、エラーの可能性が大きいと判定された領域にパタンを追加し、前回のパタン照射結果に更新されたパタン照射結果を重畳して、手掛かりに使えるパタン数を増やすことで対応点検出を再計算するようにしてもよい。
なお、パタン更新において、パタンの形状を変化させるようにしてもよい。例えば、円形であったパタンを、対応点検出において、そのパタンの姿勢が識別可能な多角形(例えば三角形や四角形)に変更するようにしてもよい。
<パタン画像>
なお照射装置112は、パタン画像を被写体等に照射可能な光であればどのような光を照射するようにしてもよい。例えば、この照射装置112としてプロジェクタ(投影装置)を用い、より広範囲に光を投影するようにしてもよい。この場合、例えば、1つの投影画像により複数のパタン画像を照射するようにしてもよい。なお、上述のように照射装置112がレーザ光を照射することにより、より遠距離の被写体等に対してより鮮明にパタン画像を照射することができる。
なお照射装置112は、パタン画像を被写体等に照射可能な光であればどのような光を照射するようにしてもよい。例えば、この照射装置112としてプロジェクタ(投影装置)を用い、より広範囲に光を投影するようにしてもよい。この場合、例えば、1つの投影画像により複数のパタン画像を照射するようにしてもよい。なお、上述のように照射装置112がレーザ光を照射することにより、より遠距離の被写体等に対してより鮮明にパタン画像を照射することができる。
また、このパタン画像を照射する光の波長域は任意であり、可視光であってもよいし、非可視光であってもよい。例えば、赤外光であってもよい。その場合、撮像装置113が、可視光と赤外光の両方を受光することができるようにすればよい。
例えば、図17のAに示されるようなベイヤ配列のカラーフィルタ501を備えるイメージセンサを有する撮像装置113と、図17のBに示されるような赤外光用のIRフィルタ502を備えるイメージセンサを有する撮像装置113との両方を用意し、一方の撮像装置113により可視光の撮像画像を得て、他方の撮像装置113により赤外光のパタン画像を検出するようにしてもよい。この場合、両撮像装置113において得られた可視光の撮像画像と赤外光の撮像画像とで位置合わせを行って両者を重畳させてから対応点検出を行うようにすればよい。
なお、1台の撮像装置113が、例えば図17のCに示されるような可視光用のカラーフィルタと赤外光用のフィルタとを組み合わせたフィルタ503を備えるイメージセンサを有するようにし、可視光の撮像画像の生成と、赤外光のパタンの検出の両方を行うようにしてもよい。この場合、位置合わせが不要である。必要に応じて、波長域によって可視光(RGB)とIRの成分を分離するようにしてもよい。図17のDに示されるように、RGB成分とIR成分は、ピークとなる波長域が互いに異なる。図17のDにおいて、曲線511がB成分のスペクトルを示し、曲線512がG成分のスペクトルを示し、曲線513がR成分のスペクトルを示し、曲線514がIR成分のスペクトルを示す。
したがって、例えば、RGB画像に含まれるIR成分を分離は、以下の式(1)のように行えばよい。
IR’=IR-(wr*R+wg*G+wb*B)
・・・(1)
・・・(1)
また、IR画像に含まれるRGB成分の分離は、以下の式(2)のように行えばよい。
R’=R-wir*IR (G’,B’も同様)
・・・(2)
・・・(2)
さらに、ToF(Time Of Flight)センサを用いて、パタンが照射された被写体等までの距離を計測するようにしてもよい。その場合、パタン照射に加えて奥行きを計測することで、マッチングの精度改善に利用できる。
<3.第2の実施の形態>
<その他の構成>
なお、本技術を適用した撮像システムの構成は、上述した図3の例に限定されない。例えば、中央処理装置111、照射装置112、撮像装置113の数は、それぞれ任意である。例えば、中央処理装置111や照射装置112が複数であってもよいし、撮像装置113が3台以下であってもよいし、5台以上であってもよい。
<その他の構成>
なお、本技術を適用した撮像システムの構成は、上述した図3の例に限定されない。例えば、中央処理装置111、照射装置112、撮像装置113の数は、それぞれ任意である。例えば、中央処理装置111や照射装置112が複数であってもよいし、撮像装置113が3台以下であってもよいし、5台以上であってもよい。
例えば図18に示される撮像システム600のように、中央処理装置111と、照射装置112や撮像装置113とがネットワーク601を介して互いに接続されるようにしてもよい。
ネットワーク601は、任意の通信網である。ネットワーク601において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク601は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク601に含まれるようにしてもよい。
中央処理装置111と、照射装置112および各撮像装置113とは、このネットワーク601に通信可能に接続されている。なお、この接続は有線(すなわち、有線通信を介した接続)であってもよいし、無線(すなわち、無線通信を介した接続)であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。
中央処理装置111と、照射装置112および各撮像装置113とは、ネットワーク601を介して互いに通信を行う(情報の授受等を行う)ことができる。換言するに、中央処理装置111と、照射装置112および各撮像装置113とは、他の設備(装置や伝送路等)を介して互いに通信可能に接続されるようにしてもよい。
このような構成の撮像システム600の場合も、上述した撮像システム100の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
また、例えば図19に示されるように、撮像システム100が1つの装置として構成されるようにしてもよい。図19に示される撮像装置610は、中央処理部611、照射部612、並びに、撮像部613(撮像部613-1乃至撮像部613-4)を有する。
撮像装置610において、中央処理部611は、上述した中央処理装置111において行われる処理を実行することにより、照射部612や撮像部613を制御して対応点の検出等を行う。
したがって、このような構成の撮像装置610の場合も、撮像システム100の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
もちろん、撮像装置610の構成は任意であり、図19の例に限定されない。例えば、中央処理部611、照射部612、および撮像部613の数はそれぞれ任意である。
<4.その他>
<本技術の適用分野>
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
<本技術の適用分野>
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
<ソフトウェア>
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
例えば図4の中央処理装置111の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア216により構成される。その場合、例えば、リムーバブルメディア216をドライブ215に装着することにより、そのリムーバブルメディア216に記憶されているこのプログラムを読み出させ、記憶部213にインストールさせることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図4の中央処理装置111の場合、プログラムは、通信部214で受信し、記憶部213にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図4の中央処理装置111の場合、プログラムは、記憶部213やROM202等に予めインストールしておくこともできる。また、例えば図4の中央処理装置111の場合、プログラムは、記憶部213やCPU201に内蔵されるROM(図示せず)等に予めインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能(機能ブロック等)を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
<その他>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
<補足>
なお、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本技術は以下のような構成も取ることができる。
(1) 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、
前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部と
を備える情報処理装置。
(2) 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出する
(1)に記載の情報処理装置。
(3) 前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定する
(2)に記載の情報処理装置。
(4) 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出する
(1)乃至(3)のいずれかに記載の情報処理装置。
(5) 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
(4)に記載の情報処理装置。
(6) 前記画像特徴量は、画素値のバラツキに関するパラメータである
(4)または(5)に記載の情報処理装置。
(7) 前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定する
(6)に記載の情報処理装置。
(8) 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出する
(1)乃至(7)のいずれかに記載の情報処理装置。
(9) 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
(8)に記載の情報処理装置。
(10) 前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさである
(8)または(9)に記載の情報処理装置。
(11) 前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定する
(10)に記載の情報処理装置。
(12) 前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新する
(1)乃至(11)のいずれかに記載の情報処理装置。
(13) 前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させる
(12)に記載の情報処理装置。
(14) 前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させる
(12)に記載の情報処理装置。
(15) 前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、
前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成される
(1)乃至(14)のいずれかに記載の情報処理装置。
(16) 前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行う
(15)に記載の情報処理装置。
(17) 前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行う
(15)に記載の情報処理装置。
(18) 前記パタンは、レーザ光として照射される
(1)乃至(17)のいずれかに記載の情報処理装置。
(19) 前記パタンは、赤外光として照射される
(1)乃至(18)のいずれかに記載の情報処理装置。
(20) 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、
算出された前記評価値に基づいて、前記パタンの照射位置を更新する
情報処理方法。
(1) 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、
前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部と
を備える情報処理装置。
(2) 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出する
(1)に記載の情報処理装置。
(3) 前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定する
(2)に記載の情報処理装置。
(4) 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出する
(1)乃至(3)のいずれかに記載の情報処理装置。
(5) 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
(4)に記載の情報処理装置。
(6) 前記画像特徴量は、画素値のバラツキに関するパラメータである
(4)または(5)に記載の情報処理装置。
(7) 前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定する
(6)に記載の情報処理装置。
(8) 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出する
(1)乃至(7)のいずれかに記載の情報処理装置。
(9) 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
(8)に記載の情報処理装置。
(10) 前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさである
(8)または(9)に記載の情報処理装置。
(11) 前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定する
(10)に記載の情報処理装置。
(12) 前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新する
(1)乃至(11)のいずれかに記載の情報処理装置。
(13) 前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させる
(12)に記載の情報処理装置。
(14) 前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させる
(12)に記載の情報処理装置。
(15) 前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、
前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成される
(1)乃至(14)のいずれかに記載の情報処理装置。
(16) 前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行う
(15)に記載の情報処理装置。
(17) 前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行う
(15)に記載の情報処理装置。
(18) 前記パタンは、レーザ光として照射される
(1)乃至(17)のいずれかに記載の情報処理装置。
(19) 前記パタンは、赤外光として照射される
(1)乃至(18)のいずれかに記載の情報処理装置。
(20) 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、
算出された前記評価値に基づいて、前記パタンの照射位置を更新する
情報処理方法。
100 撮像システム, 111 中央処理装置, 112 照射装置, 113 撮像装置, 201 CPU, 251 パタン照射部, 252 撮像部, 253 対応点検出部, 254 評価値算出部, 255 判定部, 256 照射パタン更新部, 401 座標変換部, 402 距離算出部, 403 距離信頼度算出部, 501 カラーフィルタ, 502 IRフィルタ, 503 フィルタ, 600 撮像システム, 601 ネットワーク, 610 撮像装置, 611 中央処理部, 612 照射部, 613 撮像部
Claims (20)
- 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出する算出部と、
前記算出部により算出された前記評価値に基づいて、前記パタンの照射位置を更新する更新部と
を備える情報処理装置。 - 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさに基づいて前記評価値を算出する
請求項1に記載の情報処理装置。 - 前記算出部は、前記誤差が所定の範囲より大きくても小さくても、前記評価値を、前記誤差が前記範囲内の場合よりもエラーの発生率が高いことを示す値に設定する
請求項2に記載の情報処理装置。 - 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、前記部分領域の画像特徴量とに基づいて前記評価値を算出する
請求項1に記載の情報処理装置。 - 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
請求項4に記載の情報処理装置。 - 前記画像特徴量は、画素値のバラツキに関するパラメータである
請求項4に記載の情報処理装置。 - 前記算出部は、前記画素値のバラツキに関するパラメータが所定の閾値より小さい場合、前記評価値を、前記画素値のバラツキに関するパラメータが前記閾値以上の場合よりもエラーの発生率が高いことを示す値に設定する
請求項6に記載の情報処理装置。 - 前記算出部は、前記パタンを含む所定の部分領域のマッチングにおける誤差の大きさと、撮像して前記撮像画像を生成した撮像部と撮像して前記他の撮像画像を生成した他の撮像部との相対姿勢に関する情報とに基づいて前記評価値を算出する
請求項1に記載の情報処理装置。 - 前記算出部は、前記誤差が所定の閾値より大きい場合、前記評価値を、前記誤差が前記閾値以下の場合よりもエラーの発生率が高いことを示す値に設定する
請求項8に記載の情報処理装置。 - 前記相対姿勢に関する情報は、前記撮像部と前記他の撮像部との、検出された対応点に基づく相対姿勢と実際の相対姿勢との誤差の大きさである
請求項8に記載の情報処理装置。 - 前記算出部は、前記誤差が大きい程、前記評価値を、エラーの発生率がより高いことを示す値に設定する
請求項10に記載の情報処理装置。 - 前記更新部は、前記評価値が所定の閾値よりもエラーの発生率が高いことを示す値に設定されている場合、前記撮像画像と前記他の撮像画像とが重畳する領域に照射されるパタンを増やすように、前記パタンの照射位置を更新する
請求項1に記載の情報処理装置。 - 前記更新部は、前記撮像画像に含まれる他のパタンの照射位置を前記領域に移動させる
請求項12に記載の情報処理装置。 - 前記更新部は、前記撮像画像外に照射されていた他のパタンの照射位置を前記領域に移動させる
請求項12に記載の情報処理装置。 - 前記パタンを含む所定の部分領域のマッチングにより、前記撮像画像と前記他の撮像画像との対応点検出を行う対応点検出部をさらに備え、
前記算出部は、前記対応点検出部により得られた前記対応点検出結果についての前記評価値を算出するように構成される
請求項1に記載の情報処理装置。 - 前記対応点検出部は、最新のパタン照射に基づいて前記対応点検出を行う
請求項15に記載の情報処理装置。 - 前記対応点検出部は、複数回のパタン照射に基づいて前記対応点検出を行う
請求項15に記載の情報処理装置。 - 前記パタンは、レーザ光として照射される
請求項1に記載の情報処理装置。 - 前記パタンは、赤外光として照射される
請求項1に記載の情報処理装置。 - 他の撮像画像との位置合わせのために照射されたパタンを含む撮像画像と、前記パタンを含む前記他の撮像画像との対応点検出結果について、前記撮像画像および前記他の撮像画像を合成する際の位置合わせのエラーの発生率を評価する評価値を算出し、
算出された前記評価値に基づいて、前記パタンの照射位置を更新する
情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880012173.1A CN110313172B (zh) | 2017-02-22 | 2018-02-08 | 成像系统和信息处理方法 |
US16/475,766 US11062466B2 (en) | 2017-02-22 | 2018-02-08 | Information processing apparatus and method |
JP2019501208A JP7040511B2 (ja) | 2017-02-22 | 2018-02-08 | 情報処理装置および方法 |
EP18756891.0A EP3588935A4 (en) | 2017-02-22 | 2018-02-08 | INFORMATION PROCESSING DEVICE AND METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-031075 | 2017-02-22 | ||
JP2017031075 | 2017-02-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018155198A1 true WO2018155198A1 (ja) | 2018-08-30 |
Family
ID=63253239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/004290 WO2018155198A1 (ja) | 2017-02-22 | 2018-02-08 | 情報処理装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11062466B2 (ja) |
EP (1) | EP3588935A4 (ja) |
JP (1) | JP7040511B2 (ja) |
CN (1) | CN110313172B (ja) |
WO (1) | WO2018155198A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020134985A (ja) * | 2019-02-12 | 2020-08-31 | 株式会社キーエンス | プログラマブルロジックコントローラ及びカメラ入力拡張ユニット |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021152754A1 (ja) * | 2020-01-29 | 2021-08-05 | オリンパス株式会社 | 画像処理装置、観察システム、及び観察方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005044077A (ja) | 2003-07-25 | 2005-02-17 | Ricoh Co Ltd | 複数画像の合成方法 |
JP2014164363A (ja) * | 2013-02-22 | 2014-09-08 | Hitachi Ltd | マルチカメラ撮影装置およびマルチカメラ撮影方法 |
JP2015139031A (ja) * | 2014-01-21 | 2015-07-30 | 富士通株式会社 | 撮像システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004342067A (ja) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | 画像処理方法、画像処理装置、及びコンピュータプログラム |
JP4599184B2 (ja) * | 2005-02-02 | 2010-12-15 | キヤノン株式会社 | 指標配置計測方法、指標配置計測装置 |
US8125613B2 (en) * | 2006-04-21 | 2012-02-28 | Nikon Corporation | Exposure apparatus, exposure method, and device manufacturing method |
JP5460341B2 (ja) * | 2010-01-06 | 2014-04-02 | キヤノン株式会社 | 3次元計測装置及びその制御方法 |
CN201846426U (zh) * | 2010-11-10 | 2011-05-25 | 北京赛四达科技股份有限公司 | 基于摄像的多画面自动几何与边缘融合系统 |
US9237331B2 (en) * | 2011-01-18 | 2016-01-12 | Disney Enterprises, Inc. | Computational stereoscopic camera system |
CN102782447A (zh) * | 2011-03-03 | 2012-11-14 | 三洋电机株式会社 | 物体检测装置及信息取得装置 |
JP2012227669A (ja) * | 2011-04-19 | 2012-11-15 | Sony Corp | 情報処理装置と情報処理方法およびプログラム |
JP6091864B2 (ja) * | 2012-11-27 | 2017-03-08 | 株式会社キーエンス | 形状測定装置、形状測定方法および形状測定プログラム |
JP2015060299A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社日立製作所 | マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法 |
US10080004B2 (en) * | 2014-11-06 | 2018-09-18 | Disney Enterprises, Inc. | Method and system for projector calibration |
JP6570330B2 (ja) * | 2015-06-12 | 2019-09-04 | キヤノン株式会社 | 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体 |
JP7157547B2 (ja) * | 2018-04-20 | 2022-10-20 | 株式会社キーエンス | 形状測定装置、形状測定方法及び形状測定プログラム |
-
2018
- 2018-02-08 EP EP18756891.0A patent/EP3588935A4/en not_active Withdrawn
- 2018-02-08 WO PCT/JP2018/004290 patent/WO2018155198A1/ja unknown
- 2018-02-08 CN CN201880012173.1A patent/CN110313172B/zh active Active
- 2018-02-08 JP JP2019501208A patent/JP7040511B2/ja active Active
- 2018-02-08 US US16/475,766 patent/US11062466B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005044077A (ja) | 2003-07-25 | 2005-02-17 | Ricoh Co Ltd | 複数画像の合成方法 |
JP2014164363A (ja) * | 2013-02-22 | 2014-09-08 | Hitachi Ltd | マルチカメラ撮影装置およびマルチカメラ撮影方法 |
JP2015139031A (ja) * | 2014-01-21 | 2015-07-30 | 富士通株式会社 | 撮像システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3588935A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020134985A (ja) * | 2019-02-12 | 2020-08-31 | 株式会社キーエンス | プログラマブルロジックコントローラ及びカメラ入力拡張ユニット |
JP7316056B2 (ja) | 2019-02-12 | 2023-07-27 | 株式会社キーエンス | プログラマブルロジックコントローラ及びカメラ入力拡張ユニット |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018155198A1 (ja) | 2019-12-12 |
EP3588935A1 (en) | 2020-01-01 |
JP7040511B2 (ja) | 2022-03-23 |
EP3588935A4 (en) | 2020-03-04 |
CN110313172B (zh) | 2021-11-23 |
US20190370986A1 (en) | 2019-12-05 |
US11062466B2 (en) | 2021-07-13 |
CN110313172A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106251334B (zh) | 一种摄像机参数调整方法、导播摄像机及系统 | |
JP6735592B2 (ja) | 画像処理装置及びその制御方法、画像処理システム | |
JP5035372B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
TWI393072B (zh) | 廣角感測器陣列模組及其影像校正方法、運作方法與應用 | |
JP5768684B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
JP6891873B2 (ja) | 画像処理装置および方法 | |
WO2014083721A1 (ja) | 情報処理装置および情報処理方法 | |
JP5725975B2 (ja) | 撮像装置及び撮像方法 | |
WO2017006780A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
US10250802B2 (en) | Apparatus and method for processing wide viewing angle image | |
WO2018037948A1 (ja) | 画像処理装置および方法 | |
JP2011215082A (ja) | 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム | |
JP5263437B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
WO2018155198A1 (ja) | 情報処理装置および方法 | |
WO2022142908A1 (zh) | 三维模型生成方法、xr设备及存储介质 | |
JP6318576B2 (ja) | 画像投影システム、画像処理装置、画像投影方法およびプログラム | |
US11483528B2 (en) | Information processing apparatus and information processing method | |
KR101529820B1 (ko) | 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 | |
TW201824178A (zh) | 全景即時影像處理方法 | |
JPWO2018216500A1 (ja) | 画像処理装置および方法 | |
JPWO2018189880A1 (ja) | 情報処理装置、情報処理システム、および画像処理方法 | |
CN108430302B (zh) | 图像处理装置、图像处理方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18756891 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019501208 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018756891 Country of ref document: EP Effective date: 20190923 |