WO2019238113A1 - 成像方法、装置、终端和存储介质 - Google Patents

成像方法、装置、终端和存储介质 Download PDF

Info

Publication number
WO2019238113A1
WO2019238113A1 PCT/CN2019/091223 CN2019091223W WO2019238113A1 WO 2019238113 A1 WO2019238113 A1 WO 2019238113A1 CN 2019091223 W CN2019091223 W CN 2019091223W WO 2019238113 A1 WO2019238113 A1 WO 2019238113A1
Authority
WO
WIPO (PCT)
Prior art keywords
scale image
image
scale
target
stitching
Prior art date
Application number
PCT/CN2019/091223
Other languages
English (en)
French (fr)
Inventor
方璐
李广涵
袁肖赟
戴琼海
Original Assignee
清华-伯克利深圳学院筹备办公室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 清华-伯克利深圳学院筹备办公室 filed Critical 清华-伯克利深圳学院筹备办公室
Publication of WO2019238113A1 publication Critical patent/WO2019238113A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • Embodiments of the present disclosure relate to the field of computational vision technology, for example, to an imaging method, device, terminal, and storage medium.
  • the field of view (FOV) of the camera in the related art and the sharpness of the content captured by the camera are mutually restricted, that is, the resolution of the camera is constant, and the larger the FOV, the more blurred the picture.
  • FOV field of view
  • the present disclosure provides an imaging method, device, terminal, and storage medium to achieve automatic acquisition of high-resolution image sequences in a large field of view.
  • an embodiment of the present disclosure provides an imaging method, and the method includes:
  • the target image includes the first scale image and / or a panorama image, and the panorama image is obtained by splicing a plurality of third scale images corresponding to multiple locations in the current scene and obtained in advance.
  • an embodiment of the present disclosure further provides an imaging device, where the device includes:
  • a first-scale image acquisition module configured to acquire a first-scale image of a current scene in real time
  • a target area determination module configured to determine a target area in the first scale image according to a pre-built gain function and a cost function
  • An image stitching module configured to acquire a second scale image corresponding to a target region in the first scale image, and stitch the second scale image into a target image according to a target stitching parameter
  • the target image includes the first scale image and / or a panorama image, and the panorama image is obtained by splicing a plurality of third scale images corresponding to multiple locations in the current scene and obtained in advance.
  • an embodiment of the present disclosure further provides an imaging terminal.
  • the terminal includes:
  • One or more processors are One or more processors;
  • a storage device configured to store one or more programs
  • the one or more programs are executed by the one or more processors such that the one or more processors implement the method as described above.
  • an embodiment of the present disclosure further provides a computer-readable storage medium.
  • a computer program is stored on the storage medium, and the computer program implements the method described above when executed by a processor.
  • Embodiment 1 is a flowchart of an imaging method in Embodiment 1 of the present disclosure
  • FIG. 2 is a flowchart of an imaging method in Embodiment 2 of the present disclosure
  • Embodiment 3 is a flowchart of an imaging method in Embodiment 3 of the present disclosure.
  • Embodiment 4 is a flowchart of an imaging method in Embodiment 4 of the present disclosure.
  • Embodiment 5 is a schematic structural diagram of an imaging system in Embodiment 5 of the present disclosure.
  • FIG. 6 is a schematic structural diagram of an imaging device in Embodiment 6 of the present disclosure.
  • FIG. 7 is a schematic structural diagram of an imaging terminal in Embodiment 7 of the present disclosure.
  • FIG. 1 is a flowchart of an imaging method provided by Embodiment 1 of the present disclosure. This embodiment is applicable to a case of acquiring a high-resolution image sequence in a large field of view.
  • the method may be performed by an imaging device, as shown in FIG. As shown in 1, the method in this embodiment includes:
  • the scale can correspond to the field of view of the camera or the scene range of the corresponding image. If the field of view of the camera is large or the scene range of the image is large, the corresponding scale is also relatively large. If the scene size is small or the image range is small, the corresponding scale is relatively small.
  • the target scene can be monitored in real time and the first-scale video stream of the target scene can be continuously obtained, where the first-scale video stream includes multiple frames of the first-scale image.
  • the first-scale video stream includes multiple frames of the first-scale image.
  • a first-scale camera may be used to obtain a first-scale image of the current scene.
  • the first-scale camera can be a large field of view camera, and because the angle of view of the camera and the clarity of the content it captures are mutually restricted, that is, the resolution of the camera is constant , The larger the field of view angle, the lower the sharpness of its shooting content. Therefore, in this embodiment, the scene range of the first-scale image acquired by the first-scale camera is large, and its sharpness is relatively low.
  • the target region is a region reflecting key information in the first-scale image, and may be a region containing a target of interest to the user, for example, a region containing a pedestrian or an object (car) of interest.
  • the gain function and cost function can be pre-constructed according to experience and used to jointly determine the target area in the first-scale image.
  • the gain function can reflect the weight of the target of interest in the corresponding area, and the cost function can be reflected in The cost value to obtain the target of interest in the corresponding area.
  • a gain function and a cost function may be used to determine a target region in a first-scale image.
  • the target image includes a first-scale image and / or a panoramic image, and the panoramic image is obtained by splicing a plurality of third-scale images corresponding to multiple positions in the current scene and obtained in advance.
  • a second scale camera can be used to obtain the target area.
  • Corresponding second-scale image the resolution of the second-scale camera is the same as that of the first-scale camera, and the size of the second-scale image is the same as the size of the first-scale image. Because the second-scale camera acquires the second-scale image of the target area in the current scene, the field of view of the second-scale camera is relatively small. Accordingly, the second-scale image obtained by the second-scale camera is relatively sharp. high.
  • the second-scale image After obtaining the second-scale image corresponding to the target region, in order to obtain a high-resolution image in a large field of view, the second-scale image can be stitched into the corresponding first-scale image by using the target stitching parameters. According to this method, over time, high-definition video streams in a large field of view can be obtained.
  • the straight line distance between the position of the first-scale camera and the position of the second-scale camera can be set to be less than or equal to The preset distance is such that the difference in the viewing angle between the first-scale camera and the second-scale camera is within the preset viewing angle difference.
  • a stitching operation may also be performed based on a panorama image obtained in advance.
  • a second-scale camera may be used to obtain multiple third-scale images corresponding to multiple locations of the target scene or the current scene in advance, and an image stitching method may be used to stitch multiple third-scale images into a panoramic image.
  • the sharpness of the panoramic image is the same as that of the second-scale image.
  • the second-scale image can be stitched into the corresponding position of the previously acquired panorama image by using the target stitching parameters to obtain a high-resolution panorama sequence in a large field of view.
  • this panorama sequence only the area corresponding to the target area in the first-scale image will change with time, and the scene information of other areas will not change with time. In the sequence, most of the scene information is static.
  • the imaging method provided by this embodiment obtains a first-scale image of a current scene in real time, determines a target region in the first-scale image according to a pre-built gain function and a cost function, and obtains a target region corresponding to the first-scale image.
  • the problem of the target area achieves the effect of automatically acquiring high-resolution image sequences in a large field of view.
  • the target image is a first-scale image
  • the method further includes:
  • the second-scale image is stitched into the target image according to the target stitching parameters, including:
  • the compressed second-scale image is stitched into the first-scale image according to the target stitching parameters.
  • the target image is a first-scale image
  • the second-scale image since the size of the second-scale image is the same as the size of the first-scale image, the range of the scene included in the second-scale image is smaller than the first-scale image.
  • the range of scenes included in this at this time, if the second-scale image is not further processed, it cannot be stitched into the first-scale image. Therefore, before stitching the second scale image into the first scale image, the second scale image can be compressed so that the size of the compressed second scale image is the same as the size of the target region in the first scale image. Based on this, the compressed second-scale image is stitched into the first-scale image to obtain a high-resolution first-scale image with a large field of view.
  • FIG. 2 is a flowchart of an imaging method provided in Embodiment 2 of the present disclosure.
  • this embodiment may optionally determine the target region in the first scale image according to a pre-built gain function and a cost function, including: dividing the first scale image into at least two sub-regions. Region; calculating the gain value and cost value of each sub-region in the first scale image based on the gain function and cost function; calculating the difference between the gain value and the cost value of each sub-region separately; selecting at least The largest difference between the two differences is used as a target difference, and a sub-region corresponding to the target difference is determined as a target region in the first-scale image.
  • the method in this embodiment includes:
  • S210 Acquire a first-scale image of the current scene in real time.
  • the first-scale image may be divided into at least two sub-areas, and the target area is performed for each sub-area according to a preset method. OK.
  • the sub-region when the sub-region is divided, the sub-region may be divided along a horizontal direction and a vertical direction of the first scale image by a preset number of pixels at intervals, that is, there may be an overlapping portion between the multiple sub-regions.
  • the second-scale camera is used to obtain the second-scale image corresponding to the target area in the first-scale image, if the range of the scene that can be captured by the second-scale camera is fixed, the second-scale camera can be used to shoot The size of the scene range occupied in the first-scale image captured by the first-scale camera is used to determine the number of dividing the first-scale image into sub-regions.
  • a preset gain function may be used to calculate the gain value of each sub-region
  • a preset cost function may be used to calculate the cost value of each sub-region
  • the gain function can reflect the weight of the target of interest in the corresponding sub-region
  • the cost function can reflect the cost to obtain the target of interest in the corresponding sub-region
  • the gain value corresponding to the gain function can be compared with The difference between the cost value corresponding to the cost function is used as the criterion for selecting the target area.
  • the difference between the gain value and the cost value corresponding to each sub-region may be calculated respectively. Using this difference as a criterion, a target region is selected from a plurality of sub-regions.
  • the largest difference can be selected as the target difference for selecting the target region, that is, the sub-region corresponding to the target difference is used as the target in the first-scale image. region.
  • the first-scale camera and the second-scale camera can also be set to automatically acquire images, and therefore, automatic acquisition of the target area can be achieved without human intervention.
  • the imaging method provided by this embodiment obtains the first-scale image of the current scene in real time, divides the obtained first-scale image into at least two sub-regions, and calculates them respectively based on the gain function and the cost function.
  • the gain value and cost value of each sub-region in the first-scale image, and the difference between the gain value and cost value of each sub-region is calculated separately, and the largest difference among at least two difference values is selected as the target difference value, and
  • the sub-region corresponding to the target difference value is determined as the target region in the first scale image, and finally a second scale image corresponding to the target region in the first scale image is obtained, and the second scale image is stitched according to the target stitching parameters
  • the target image it solves the problem that the multi-camera system in the related technology cannot automatically obtain the target area, and achieves the effect of automatically acquiring a high-resolution image sequence in a large field of view, without the need for human intervention. That is, automatic acquisition of the target area can be achieved.
  • the cost value is calculated according to the following expression of the cost function:
  • E cost is the cost value of the current region
  • s is the pixel difference between the pixel in the upper left corner of the current region in the current first-scale image and the pixel in the upper left corner of the target region determined by the previous frame of the first scale image.
  • Value; t is the sum of the number of traversal times of each pixel point in the current area, where each target point area of a frame of the first scale image is determined, the number of traversal times of each pixel point in the corresponding target area is increased by 1, ⁇ 1 , ⁇ 2 is the weighting factor.
  • a target area can be determined correspondingly by using a gain function and a cost function.
  • the second scale camera moves to a position corresponding to the target area, and acquires a second scale image corresponding to the target area.
  • the target area Each pixel in is recorded as being traversed once by the second-scale camera.
  • the first-scale image of each frame is divided into 9 sub-regions, and each sub-region has pixels overlapping each other.
  • the adjacent regions 1 and 2 Take the adjacent regions 1 and 2 as an example, where there are overlapping pixels in regions 1 and 2.
  • the target area of the first scale image of the first frame is area 1.
  • the number of traversals of each pixel in the area 1 is increased by 1, since it is the first frame One-scale image, so the number of traversals for each pixel in area 1 is 1.
  • the target area of the second frame of the first scale image is area 2.
  • the number of traversals of each pixel point in area 2 is increased by 1, since area 2 and area 1 There are overlapping pixels.
  • the number of traversals is already 1, and when they are in the second frame of the first scale image, the number of traversals becomes 2.
  • the number of traversals of other pixels in area 2 that do not overlap is 1.
  • the first-scale image of the third frame is the current first-scale image
  • the selected current region is region 2.
  • the number of traversal of the pixel points where there is no overlap between region 2 and region 1 is 1.
  • E gain is the gain value of the current region
  • f is the dynamic value of the current region
  • w is the number of target objects in the current region.
  • ⁇ 1 and ⁇ 2 are weight coefficients.
  • ⁇ 1 , ⁇ 2 , ⁇ 1 , and ⁇ 2 can be obtained through experience.
  • FIG. 3 is a flowchart of an imaging method provided by Embodiment 3 of the present disclosure.
  • this embodiment may optionally include: before the second-scale image is stitched into the target image according to the target stitching parameters, the method further includes: The third scale images corresponding to multiple positions in the current scene are described, and the size of the third scale image is the same as the size of the second scale image; according to the feature points of each third scale image, Determining first feature pairs that match each other among the multiple third-scale images; determining local parameters of each third-scale image according to each of the first feature pairs, and storing the local parameters; using each The local parameters of the third-scale image are obtained by stitching a plurality of the third-scale images into the panoramic image; wherein the local parameters of the third-scale image include an internal parameter matrix corresponding to the third-scale image, rotation, and the like.
  • the method further includes: determining the upper-left of the target area in the first-scale image.
  • the horizontal pixel difference and the vertical pixel difference between the pixel point of the corner and the pixel point of the upper left corner of the target area determined last time; according to the preset relationship between the pixel point difference and the moving distance, the above are respectively used
  • the horizontal pixel point difference value determines the left and right movement distance of the image acquisition device
  • the vertical pixel point difference value determines the vertical movement distance of the image acquisition device; according to the left and right movement distance, the vertical movement distance, and pre-save
  • the local parameters of are obtained by using interpolation operations to obtain the target stitching parameters corresponding to the second-scale image. As shown in FIG. 3, the method in this embodiment includes:
  • S310 Acquire a first-scale image of the current scene in real time, determine a target region in the first-scale image according to a pre-built gain function and a cost function, and acquire a second-scale image corresponding to the target region in the first-scale image.
  • the image acquisition device based on the second-scale image acquires multiple third-scale images corresponding to multiple positions in the current scene.
  • the second scene camera may be used to scan the current scene sequentially from left to right and from top to bottom to obtain a third scale image corresponding to each position in the current scene.
  • a third scale image corresponding to each position in the current scene.
  • Each third-scale image can be used to obtain a panoramic image and determine the stitching parameters of the second-scale image.
  • S320-S350 is the process of obtaining the panorama and determining the corresponding splicing parameters. This process only needs to be performed once in this embodiment, and the sequence of the process and the remaining steps is not too limited. It only needs to be performed in S380. It can be executed before.
  • S330 Determine, according to feature points of each third-scale image, first feature pairs that match each other among the multiple third-scale images.
  • a scale-invariant feature transform (SIFT) can be used to extract the feature points of each third-scale image.
  • SIFT scale-invariant feature transform
  • S340 Determine local parameters of each third-scale image according to each first feature pair, and save each local parameter.
  • the local parameters include internal parameter matrices, rotation matrices, and translation matrices corresponding to the third-scale image, and when the third-scale image is acquired, the moving distance of the image acquisition device in up, down, and left and right directions relative to the initial position.
  • the second-scale camera is continuously moved during the process of scanning the current scene from left to right and from top to bottom using the second-scale camera to obtain multiple third-scale images.
  • the moving distance of the two-scale camera in the up-down and left-right directions relative to the initial position is used as one of the local parameters to make the final target stitching parameters more accurate.
  • the initial position is set in advance.
  • the initial position may be the position where the second-scale camera is located when the upper-left corner of the current scene is obtained.
  • a set of initial local parameters can be estimated based on the initial homography matrix obtained by the feature matching. After the initial local parameters are obtained, the initial local parameters are optimized. In one embodiment, the connection relationship between multiple third-scale images can be determined according to the confidence of multiple feature points. For each third-scale image, a bundle adjustment algorithm (Bundle Adjustment, BA) can be used to combine the initial local parameters of each third-scale image and other images connected to the third-scale image. Optimize to get the final local parameters. After determining the local parameters of each third-scale image, it is saved for subsequent use in determining the target stitching parameters.
  • Bunle Adjustment BA
  • the relative positions between multiple third-scale images can be determined according to the local parameters of each third-scale image. Using the relative positions between multiple third-scale images, the stitching of the panorama can be completed.
  • a second-scale image with high definition and corresponding to the target area may be stitched into the first-scale image to replace the relatively blurred target area in the first-scale image. Furthermore, an image with high definition and a large field of view is obtained.
  • the target stitching parameters need to be obtained to determine the specific location of the stitching.
  • the target stitching parameter may be determined by using a pre-saved local parameter and a moving distance of the second-scale camera relative to the original position when shooting the second-scale image.
  • the relative difference between the target area of the current first-scale image and the target area of the previous frame of the first-scale image in the previous frame can be calculated to determine the relativeness of the second-scale camera when shooting the second-scale image.
  • the moving distance of the original position In one embodiment, the horizontal pixel point between the upper left corner pixel point of the target area of the current first scale image and the upper left corner pixel point of the target area of the first frame of the first scale image can be calculated.
  • the difference value and the vertical pixel point difference value are used to determine the left and right moving distance and the up and down moving distance of the second scale camera relative to the original position when shooting the second scale image.
  • the horizontal pixel point difference value is used to determine the left and right moving distance of the image acquisition device
  • the vertical pixel point difference value is used to determine the image acquisition device to obtain the second-scale image. Move up and down.
  • the relative original position of the second-scale camera can be determined according to a preset relationship between the pixel difference value and the moving distance. And left and right movement distances.
  • the preset relationship between the pixel point difference value and the moving distance can be the following expression:
  • ⁇ p is a left-right moving distance or a vertical moving distance
  • k is a translation scaling coefficient
  • x is a horizontal pixel point difference value or a vertical pixel point difference value.
  • the pre-stored local parameters include the internal parameter matrix, rotation matrix, and translation matrix corresponding to the third-scale image, and the moving distance of the image acquisition device in up, down, and left and right directions relative to the initial position when acquiring the third-scale image Therefore, there is a certain corresponding relationship between the moving distance of the image acquisition device in the up-down and left-right directions relative to the initial position and the internal parameter matrix, rotation matrix, and translation matrix corresponding to each third-scale image. Since the second-scale image and the third-scale image are both obtained by using the second-scale camera, the left-right movement distance, up-down movement distance, and local parameters saved in advance can be used to obtain the interpolation method. Target stitching parameters corresponding to the second-scale image.
  • S390 Stitch the second-scale image into the target image according to the target stitching parameters.
  • the imaging method provided in this embodiment uses the third-scale image to construct a panoramic image and determine local parameters of each third-scale image on the basis of the foregoing embodiments. After determining each local parameter, each local parameter and When the second-scale camera captures the second-scale image, the left-right moving distance and the up-and-down moving distance from the original position, obtain the target stitching parameters corresponding to the second scale through interpolation, and stitch the second-scale image to
  • the target image solves the problem that the multi-camera system in the related art cannot automatically obtain the target area, and achieves the effect of automatically acquiring a high-resolution image sequence in a large field of view, while using pre-saved local parameters , Which greatly reduces the amount of calculation during the stitching process, and achieves real-time acquisition of high-resolution image sequences in a large field of view.
  • the method further includes:
  • the target stitching parameters are optimized, and the target stitching parameters are updated according to the optimization results.
  • the target stitching parameters can also be optimized.
  • at least one third-scale image having an area overlapping with the second-scale image may be obtained from the multiple third-scale images, and a third-scale image set may be formed, and for each third-scale image set Third-scale image: feature matching between the second-scale image and the third-scale image to determine the feature pairs that match each other between the second-scale image and the third-scale image.
  • the target stitching parameters are optimized, and the optimized target stitching parameters are substituted for the original target stitching parameters.
  • FIG. 4 is a flowchart of an imaging method provided by Embodiment 4 of the present disclosure.
  • this embodiment may optionally include: before stitching the second-scale image into the target image according to the target stitching parameter, the method further includes: acquiring a fourth-scale image of a current scene, where the fourth The perspective of the scale image is the same as the perspective of the first scale image; the perspective of the fourth scale image is converted to the perspective of the panoramic image, and a perspective conversion parameter is obtained; and the first The perspective of the scale image is converted to the perspective of the panorama.
  • converting the perspective of the fourth-scale image to the perspective of the panoramic image includes: performing scene matching between the fourth-scale image and the panoramic image, and obtaining the image corresponding to the fourth scale.
  • a map and a feature point pair in the fourth-scale image are used to obtain a mapping matrix; the mapping matrix is used to convert the perspective of the fourth-scale image to the perspective of the panoramic image, and obtain perspective conversion parameters.
  • the method in this embodiment includes:
  • S410 Acquire a first-scale image of the current scene in real time, determine a target region in the first-scale image according to a pre-built gain function and a cost function, and acquire a second-scale image corresponding to the target region in the first-scale image.
  • a fourth-scale image of the current scene may be obtained first, and the fourth-scale image has the same perspective as the first-scale image.
  • the first-scale camera may be used to obtain the fourth-scale image. .
  • S420-S460 is a process of obtaining a perspective conversion parameter, and therefore, the process only needs to be performed once. And the sequence of the process and the remaining steps is not too limited, as long as it is completed before S480.
  • S430 Perform scene matching on the fourth-scale image and the panoramic image to obtain a partial panoramic image corresponding to the scene of the fourth-scale image.
  • the panorama obtained from the third-scale image is approximately the same as the fourth-scale image, but the scene range of the panorama is larger than that of the fourth-scale image. Matching to determine a part of the panoramic image corresponding to the scene of the fourth-scale image as a partial panoramic image.
  • the panorama is composed of multiple third-scale images with high definition, and each third-scale image is the same size and resolution as the fourth-scale image
  • the size of the panorama is larger than that of the fourth-scale image It is much larger, and the size of some panoramic images is much larger than that of the fourth-scale image.
  • the partial panoramic image may be down-sampled so that the resolution of the down-sampled partial panoramic image is the same as that of the fourth-scale image.
  • a zero-mean normalized cross-correlation can be used to extract the down-sampled partial panorama and the fourth Feature points in the scale image, and feature matching is performed on the down-sampled partial panoramic image and the fourth-scale image to determine the feature point pairs that match each other between the down-sampled partial panoramic image and the fourth-scale image. Then use these feature point pairs to estimate a homography matrix H, and then use the homography matrix H matrix to optimize the above feature point pairs using the ZNCC method, and obtain a mapping matrix based on the optimized feature point pairs to convert the fourth The scaled image is mapped to the down-sampled panoramic view.
  • ZNCC zero-mean normalized cross-correlation
  • a perspective conversion parameter may be obtained, so as to subsequently convert the first-scale image to the perspective of the panoramic view.
  • the perspective of the first-scale image may be converted to the perspective of the panoramic image by using a perspective conversion parameter.
  • S480 Stitch the second-scale image into the first-scale image according to the target stitching parameter.
  • the second-scale image is stitched into the first-scale image having a panoramic view angle according to the target parameter.
  • the imaging method provided by this embodiment obtains a scene corresponding to the fourth-scale image by acquiring a fourth-scale image of the current scene and scene-matching the fourth-scale image with the panoramic image.
  • Corresponding partial panorama downsample the partial panorama, use the downsampled partial panorama and feature point pairs in the fourth-scale image to obtain a mapping matrix, and use the mapping matrix to convert the perspective of the fourth-scale image to the panorama
  • obtain the perspective conversion parameters and use the perspective conversion parameters to convert the perspective of the first-scale image to the perspective of the panorama, which solves the problem that the multi-camera system in the related technology cannot automatically obtain the target area, and realizes real-time automatic While acquiring the effect of a high-resolution image sequence in a large field of view, it can overcome parallax between image acquisition devices and achieve image stitching at the same angle of view.
  • FIG. 5 is a schematic structural diagram of an imaging system in this embodiment, which includes a first-scale camera 501, a second-scale camera 502, and a PTZ 503 that moves the second-scale camera up, down, left, and right, and the first-scale camera 501 and the second-scale camera There is non-negligible parallax between the cameras 502.
  • the focal length of the first-scale camera is 16 mm
  • the focal length of the second-scale camera is 135 mm.
  • the resolution of both cameras is 2064 ⁇ 1544.
  • the PTZ 503 is controlled by a DC motor and uses absolute pulse positioning.
  • the control terminal sends an absolute pulse command to the PTZ 503 through the serial port to make the PTZ equipped with a second-scale camera to move.
  • a panoramic image For example, before real-time monitoring of global video stream information, a panoramic image, multiple local parameters, and perspective conversion parameters may be obtained.
  • the second-scale camera 502 is used to scan the current scene from left to right and from top to bottom to obtain a set of third-scale images.
  • the scene range of the panorama obtained by stitching the third-scale images is greater than or equal to the scene range of the images acquired by the first-scale camera 501.
  • the SIFT algorithm is used to determine the matching feature point pairs between multiple third-scale images. Based on each feature point pair, the internal parameter matrix, rotation matrix, and translation matrix of each third-scale image are determined. The pulse size in two directions corresponding to each third-scale image and the internal parameter matrix, rotation matrix, and translation matrix are stored as the local parameters of the third-scale image, and the local parameters of each third-scale image are used to store multiple images. The third scale images are stitched into a panoramic image.
  • a frame of a fourth-scale image is captured by using the first-scale camera 501, and the fourth-scale image is approximately the same as the foregoing panoramic image.
  • the same area as the scene of the fourth-scale image is matched from the panorama, and the area is down-sampled to the resolution of the fourth-scale image.
  • the ZNCC method is used to determine the credible feature point pairs in the scene, and a mapping matrix is obtained.
  • the mapping matrix is used to convert the perspective of the fourth-scale image to the perspective of the panoramic image, and obtain the perspective conversion parameters.
  • the first-scale camera 501 is used to monitor the global video stream information in real time.
  • the first scale camera is used to obtain the current first scale image.
  • a cost function and a gain function are used to automatically determine a target area of the current first scale image.
  • the target area is determined, it is determined according to the pixel difference in two directions between the upper left pixel point of the target area and the upper left pixel point of the target area determined by the first-scale image of the previous frame, and the translation scaling coefficient.
  • Pulse values of the gimbal 503 in two directions. The gimbal 503 drives the second-scale camera to obtain a second-scale image corresponding to the target area according to the pulse values.
  • the target stitching parameters of the second-scale image are obtained in real time by interpolation, and the target stitching parameters can be used to stitch the second-scale image into the converted view using the perspective conversion parameter.
  • the target stitching parameters can be used to stitch the second-scale image into the converted view using the perspective conversion parameter.
  • the first scale image In the first scale image.
  • the third-scale image set in the second-scale image and the third-scale image that overlaps with the second-scale image may be used to optimize the target stitching parameters obtained by interpolation to obtain an optimized result. Updated target stitching parameters.
  • KCF Kernel Correlation Filter
  • the face x extracted from the current first scale image can be compared with the previously detected face. If the face x is successfully compared with the face y in the previous frame of the first scale image, Then, it is determined that the pedestrian a in the first-scale image corresponding to the current face x and the pedestrian b corresponding to the face y determined last time are the same person. At this time, the position of the pedestrian b being tracked can be updated by using the position of the pedestrian a.
  • FIG. 6 is a schematic structural diagram of an imaging device in Embodiment 6 of the present disclosure. As shown in FIG. 6, the imaging device of this embodiment includes:
  • a first-scale image acquisition module 610 configured to acquire a first-scale image of a current scene in real time
  • a target area determination module 620 configured to determine a target area in the first scale image according to a pre-built gain function and a cost function
  • the image stitching module 630 is configured to acquire a second scale image corresponding to a target region in the first scale image, and stitch the second scale image into the target image according to the target stitching parameters;
  • the target image includes a first-scale image and / or a panoramic image, and the panoramic image is obtained by splicing a plurality of third-scale images corresponding to multiple positions in the current scene and obtained in advance.
  • the imaging device obtained in this embodiment obtains a first-scale image of a current scene in real time through a first-scale image acquisition module, uses a target area determination module to determine a target area in the first-scale image according to a pre-built gain function and a cost function, and finally An image stitching module is used to obtain a second scale image corresponding to the target area in the first scale image, and the second scale image is stitched into the target image according to the target stitching parameters, where the target image includes the first scale image and / or
  • the panoramic image solves the problem that the multi-camera system in the related art cannot automatically acquire the target area, and achieves the effect of automatically acquiring a high-resolution image sequence in a large field of view.
  • the target image is a first-scale image
  • the image stitching module 630 may include:
  • the second scale image compression unit is configured to compress the second scale image before stitching the second scale image into the target image according to the target stitching parameters, wherein the size of the compressed second scale image and the size of the target region are compressed. the same;
  • the image stitching module 630 is configured to stitch the compressed second-scale image into the first-scale image according to the target stitching parameters.
  • the target area determination module 620 may include:
  • a sub-region dividing unit configured to divide a first-scale image into at least two sub-regions
  • a gain cost value calculation unit configured to calculate a gain value and a cost value of each sub-region in the first-scale image respectively based on a gain function and a cost function;
  • a difference calculation unit configured to separately calculate a difference between a gain value and a generation value of each sub-region
  • the target region determination unit is configured to select the largest difference among the at least two difference values as the target difference value, and determine the sub-region corresponding to the target difference value as the target region in the first-scale image.
  • the apparatus may further include:
  • the third-scale image acquisition module is configured to obtain multiple images corresponding to multiple positions in the current scene based on the image acquisition device that acquires the second-scale image before stitching the second-scale image into the target image according to the target stitching parameters.
  • a first feature pair matching module configured to determine, according to feature points of each third-scale image, first feature pairs that are mutually matched among multiple third-scale images
  • a local parameter determining and saving module configured to determine local parameters of each third-scale image according to each first feature pair, and save each local parameter
  • the panorama stitching module is set to use the local parameters of each third-scale image to stitch multiple third-scale images into a panorama;
  • the local parameters include an internal parameter matrix, a rotation matrix, a translation matrix corresponding to the third-scale image, and a moving distance of the image acquisition device in up, down, and left and right directions relative to the initial position when acquiring the third-scale image.
  • the apparatus may further include:
  • the pixel point difference determination module is configured to determine, after acquiring a second-scale image corresponding to the target region in the first-scale image, in the first-scale image, determining the upper-left pixel point of the target region and the target determined last time.
  • the moving distance determination module is configured to determine the left and right moving distance of the image acquisition device by using the horizontal pixel difference value according to a preset relationship between the pixel difference value and the moving distance, and determine the upper and lower positions of the image acquisition device by using the vertical pixel difference value.
  • the target stitching parameter acquisition module is set to obtain the target stitching parameters corresponding to the second-scale image according to the left-right moving distance, the up-down moving distance, and the pre-stored local parameters by interpolation.
  • the apparatus may further include:
  • the third-scale image set generating module is configured to obtain target stitching parameters corresponding to the second-scale image by interpolation based on the left-right movement distance, the up-and-down movement distance, and pre-stored local parameters. Obtaining at least one third-scale image with an area overlapping with the second-scale image, and generating at least one third-scale image into a third-scale image set;
  • the second feature pair matching module is configured to use the second-scale image and each third-scale image in the third-scale image set to perform feature matching to determine the second-scale image and each third-scale image in the third-scale image set.
  • the target stitching parameter update module is configured to use the local parameters corresponding to each second feature pair and each third scale image in the third scale image set to optimize the target stitching parameters, and update the target stitching parameters according to the optimization result.
  • the apparatus may further include:
  • the fourth-scale image acquisition module is configured to obtain a fourth-scale image of the current scene in a frame before the second-scale image is stitched into the target image according to the target stitching parameters, and the perspective of the fourth-scale image and the perspective of the first-scale image the same;
  • the perspective conversion parameter acquisition module is configured to convert the perspective of the fourth-scale image to the perspective of the panoramic image, and obtain the perspective conversion parameter;
  • the perspective conversion module is configured to convert the perspective of the first-scale image to the perspective of the panoramic image by using the perspective conversion parameter.
  • the perspective conversion parameter acquisition module may include:
  • a partial panoramic image obtaining unit configured to match a fourth-scale image with the panoramic scene to obtain a partial panoramic image corresponding to the scene of the fourth-scale image
  • a down-sampling unit configured to down-sample a partial panorama, so that the resolution of the down-sampled partial panorama is the same as the resolution of the fourth-scale image
  • a mapping matrix obtaining unit configured to obtain a mapping matrix by using a down-sampled partial panoramic image and feature point pairs in a fourth-scale image
  • the perspective conversion parameter determining unit is configured to convert the perspective of the fourth-scale image to the perspective of the panoramic image by using a mapping matrix, and obtain the perspective conversion parameter.
  • the imaging device provided by the embodiment of the present disclosure can execute the imaging method provided by any embodiment of the present disclosure, and has corresponding function modules and effects for executing the method.
  • FIG. 7 is a schematic structural diagram of an imaging terminal provided in Embodiment 7 of the present disclosure.
  • FIG. 7 illustrates a block diagram of an exemplary imaging terminal 712 suitable for use in implementing embodiments of the present disclosure.
  • the imaging terminal 712 shown in FIG. 7 is only an example, and should not impose any limitation on the functions and use range of the embodiments of the present disclosure.
  • the imaging terminal 712 is expressed in the form of a general-purpose computing device.
  • the components of the imaging terminal 712 may include, but are not limited to, one or more processors 716, a memory 728, and a bus 718 connecting different system components (including the memory 728 and the processor 716).
  • the bus 718 represents one or more of several types of bus structures, including a memory bus or a memory controller, a peripheral bus, a graphics acceleration port, a processor, or a local area bus using any of a variety of bus structures.
  • these architectures include, but are not limited to, the Industry Standard Architecture (ISA) bus, the Micro Channel Architecture (MCA) bus, the enhanced ISA bus, and the Video Electronics Standards Association (VESA) local bus and Peripheral Component Interconnect (PCI) bus.
  • the imaging terminal 712 includes a variety of computer system-readable media. These media can be any available media that can be accessed by the imaging terminal 712, including volatile and non-volatile media, removable and non-removable media.
  • the memory 728 may include a computer system readable medium in the form of volatile memory, such as a Random Access Memory (RAM) 730 and / or a cache memory 732.
  • the imaging terminal 712 may further include other removable / non-removable, volatile / nonvolatile computer system storage media.
  • the storage device 734 may be configured to read and write non-removable, non-volatile magnetic media (not shown in FIG. 7 and is commonly referred to as a “hard drive”).
  • each drive may be connected to the bus 718 through one or more data medium interfaces.
  • the memory 728 may include at least one program product having a set (eg, at least one) of program modules configured to perform the functions of one or more embodiments of the present disclosure.
  • a program / utility tool 740 having a set (at least one) of program modules 742 may be stored in, for example, the memory 728.
  • Such program modules 742 include, but are not limited to, an operating system, one or more application programs, other program modules, and program data Each of these examples, or some combination, may include an implementation of a network environment.
  • the program module 742 generally performs functions and / or methods in the embodiments described in the present disclosure.
  • the imaging terminal 712 can also communicate with one or more external devices 714 (such as a keyboard, pointing device, display 724, etc., where the display 724 can decide whether to configure it according to actual needs), and can also communicate with one or more of the The imaging terminal 712 interacts with devices that communicate, and / or with any device (such as a network card, modem, etc.) that enables the imaging terminal 712 to communicate with one or more other computing devices. This communication can be performed through an input / output (I / O) interface 722.
  • the imaging terminal 712 can also communicate with one or more networks (such as a local area network (LAN), a wide area network (WAN), and / or a public network, such as the Internet) through the network adapter 720.
  • networks such as a local area network (LAN), a wide area network (WAN), and / or a public network, such as the Internet
  • the network adapter 720 communicates with other modules of the imaging terminal 712 through the bus 718. It should be understood that although not shown in FIG. 7, other hardware and / or software modules may be used in combination with the imaging terminal 712, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, and disk arrays (Redundant Arrays of Independent Drives (RAID) systems, tape drives, and data backup storage devices.
  • RAID Redundant Arrays of Independent Drives
  • the processor 716 executes one or more functional applications and data processing by running a program stored in the memory 728, for example, implementing an imaging method provided by any embodiment of the present disclosure.
  • the eighth embodiment of the present disclosure also provides a computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the imaging method provided by the embodiment of the present disclosure is implemented.
  • the method includes:
  • the target image includes a first-scale image and / or a panoramic image, and the panoramic image is obtained by splicing a plurality of third-scale images corresponding to multiple positions in the current scene and obtained in advance.
  • the computer-readable storage medium provided by the embodiment of the present disclosure is not limited to the method operations described above, and may also perform related operations in the imaging method provided by any embodiment of the present disclosure.
  • the computer storage medium of the embodiment of the present disclosure may adopt any combination of one or more computer-readable media.
  • the computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium.
  • the computer-readable storage medium may be, for example, but not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination thereof.
  • Computer-readable storage media includes (non-exhaustive list): electrical connections with one or more wires, portable computer disks, hard disks, RAM, read-only memory (ROM), erasable programmable memory Erasable Programmable Read Only Memory (EPROM) or flash memory, optical fiber, CD-ROM, optical storage device, magnetic storage device, or any suitable combination of the foregoing.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in combination with an instruction execution system, apparatus, or device.
  • the computer-readable signal medium may include a data signal propagated in baseband or transmitted as part of a carrier wave, which carries a computer-readable program code. Such a propagated data signal may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, and the computer-readable medium may send, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device. .
  • the program code contained on the computer-readable medium may be transmitted using any appropriate medium, including but not limited to wireless, wire, optical fiber cable, radio frequency (RF), etc., or any suitable combination of the foregoing.
  • RF radio frequency
  • Computer program code for performing the operations of the present disclosure may be written in one or more programming languages, or a combination thereof, including programming languages such as Java, Smalltalk, C ++, and also conventional Procedural programming language—such as "C" or similar programming language.
  • the program code can be executed entirely on the user's computer, partly on the user's computer, as an independent software package, partly on the user's computer, partly on a remote computer, or entirely on a remote computer or server.
  • the remote computer can be connected to the user's computer through any kind of network, including a LAN or WAN, or it can be connected to an external computer (such as using an Internet service provider to connect over the Internet).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本文公开了一种成像方法、装置、终端和存储介质，其中，成像方法包括：实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。

Description

成像方法、装置、终端和存储介质
本申请要求在2018年6月15日提交中国专利局、申请号为201810618985.2的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及计算视觉技术领域，例如涉及一种成像方法、装置、终端和存储介质。
背景技术
随着相机产业的发展和现代人工智能相关技术的进一步发展，计算视觉领域无论是在视频采集还是在视频目标识别的性能上和数据规模上都取得了巨大的突破。然而，相关技术中的图像识别技术仍受限于图像的清晰程度与视频数据的质量。
相关技术中的相机的视场角(Field of View，FOV)和相机拍摄内容的清晰度相互制约，即相机的分辨率一定，FOV越大，画面相对越模糊。要实现在大场景下进行大范围异常监控，就必须获得大视场角且高清晰度的拍摄内容。
相关技术中的提高视场角与清晰度的方案主要有两种，一种是从物理硬件入手，即增加图像传感器的尺寸，通过提高分辨率来达到要求。然而，上述方法通常需要增加设备成本，且相机的分辨率有限。另一种则是采用多相机系统，即用一个或多个小视场角相机拍摄到的图像或视频嵌入到大视场角的图像或视频中，即得到大场景高清晰度的内容。然而，上述方法通常无法实现实时且自动的获取所需要的图像或视频。
发明内容
本公开提供一种成像方法、装置、终端和存储介质，以实现自动获取大视场范围内的高分辨率图像序列。
在一实施例中，本公开实施例提供了一种成像方法，所述方法包括：
实时获取当前场景的第一尺度图像；
根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
其中，所述目标图像包括所述第一尺度图像和/或全景图，所述全景图由预先获取的与所述当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
在一实施例中，本公开实施例还提供了一种成像装置，所述装置包括：
第一尺度图像获取模块，设置为实时获取当前场景的第一尺度图像；
目标区域确定模块，设置为根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
图像拼接模块，设置为获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
其中，所述目标图像包括所述第一尺度图像和/或全景图，所述全景图由预先获取的与所述当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
在一实施例中，本公开实施例还提供了一种成像终端，所述终端包括：
一个或多个处理器；
存储装置，设置为存储一个或多个程序，
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。
在一实施例中，本公开实施例还提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的方法。
附图说明
图1是本公开实施例一中的成像方法的流程图；
图2是本公开实施例二中的成像方法的流程图；
图3是本公开实施例三中的成像方法的流程图；
图4是本公开实施例四中的成像方法的流程图；
图5是本公开实施例五中的成像系统的结构示意图；
图6是本公开实施例六中的成像装置的结构示意图；
图7是本公开实施例七中的成像终端的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的实施例仅仅用于解释本公开，而非对本公开的限定。为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
实施例一
图1为本公开实施例一提供的一种成像方法的流程图，本实施例可适用于获取大视场范围内的高分辨率图像序列的情况，该方法可以由成像装置来执行，如图1所示，本实施例的方法包括：
S110、实时获取当前场景的第一尺度图像。
其中，尺度可以对应相机的视场范围或对应图像的场景范围，如果相机的视场范围较大或者图像的场景范围较大，则其对应的尺度也相对较大，如果相机的视场范围较小或者图像中场景范围较小，则其对应的尺度也相对较小。
本实施例中，可以实时监测目标场景并连续获取目标场景的第一尺度视频流，其中，第一尺度视频流中包含多帧第一尺度图像。以当前时刻为例，实时获取当前场景的第一尺度图像，其中，当前场景为目标场景在当前时刻的场景。
示例性的，可以采用第一尺度相机获取当前场景的第一尺度图像。一般的，由于实时监测的目标场景其范围通常较大，因此，第一尺度相机可以为大视场相机，又由于相机的视场角与其拍摄内容的清晰度相互制约，即相机的分辨率一定，其视场角越大，其拍摄内容的清晰度就越低。因此，本实施例中，由第一尺度相机获取到的第一尺度图像的场景范围较大，其清晰度相对较低。
S120、根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区 域。
其中，目标区域是反映第一尺度图像中关键信息的区域，其可以是包含用户感兴趣的目标的区域，例如可以是包含感兴趣的行人或物体(汽车)等的区域。增益函数和代价函数可以根据经验预先构造获得，用于共同确定第一尺度图像中的目标区域，其中，增益函数可以反映出相应区域中感兴趣目标所占的权重，而代价函数可以反映出在相应区域中为了获取感兴趣目标所要付出的代价值。本实施例中，可以利用增益函数和代价函数来确定第一尺度图像中的目标区域。
S130、获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中。
其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
本实施例中，在确定第一尺度图像中的目标区域后，为了更加清晰的展现该目标区域中感兴趣的目标，突出感兴趣的目标的特征，可以采用第二尺度相机获取与目标区域相对应的第二尺度图像。在一实施例中，第二尺度相机的分辨率与第一尺度相机的分辨率相同，第二尺度图像的尺寸大小与第一尺度图像的尺寸大小相同。由于第二尺度相机获取的是当前场景中目标区域的第二尺度图像，因此，第二尺度相机的视场角相对较小，相应的，其获取到的第二尺度图像的清晰度也相对较高。
在获取到与目标区域相对应的第二尺度图像后，为了获取大视场范围内的高清晰度的图像，可以利用目标拼接参数将第二尺度图像拼接到相应的第一尺度图像中。依据此方法，随着时间的叠加，即可获取大视场范围内的高清晰度 的视频流。为了尽量减少拼接过程中由于两幅图像的视角不同而造成的影响，保证拼接结果的准确性，可以将第一尺度相机的位置与第二尺度相机的位置之间的直线距离设置为小于或等于预设距离，以使第一尺度相机与第二尺度相机的视角差值在预设视角差值范围内。
本实施例中，除了可以获取大视场范围内的高清晰度的视频流，还可以基于预先获取到的全景图进行拼接操作。在一实施例中，可以利用第二尺度相机预先获取与目标场景或当前场景的多个位置分别对应的多幅第三尺度图像，利用图像拼接方法将多幅第三尺度图像拼接成全景图，该全景图的图像清晰度与第二尺度图像的清晰度相同。在获取到第二尺度图像后，可以利用目标拼接参数将第二尺度图像拼接到预先获取的全景图的相应位置中，得到大视场范围内的高清晰度的全景图序列。在该全景图序列中，只有与第一尺度图像中的目标区域相对应的区域会随着时间的叠加而发生变化，其他区域的场景信息不会随着时间的叠加而发生变化，即全景图序列中，大部分场景信息为静态不变的。
本实施例提供的成像方法，通过实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，解决了相关技术中的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果。
在上述实施例的基础上，进一步的，目标图像为第一尺度图像，在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，还包括：
将第二尺度图像进行压缩，其中，压缩后的第二尺度图像的尺寸与目标区 域的尺寸相同；
根据目标拼接参数将第二尺度图像拼接到目标图像中，包括：
根据目标拼接参数将经过压缩后的第二尺度图像拼接到第一尺度图像中。
本实施例中，当目标图像是第一尺度图像时，由于第二尺度图像的尺寸大小与第一尺度图像的尺寸大小相同，但是，第二尺度图像中所包含的场景范围小于第一尺度图像中所包含的场景范围，此时，如果不对第二尺度图像作进一步的处理，其无法拼接到第一尺度图像中。因此，在将第二尺度图像拼接到第一尺度图像中之前，可以将第二尺度图像进行压缩，使得压缩后的第二尺度图像的尺寸大小与第一尺度图像中的目标区域的尺寸大小相同，基于此，将压缩后的第二尺度图像拼接到第一尺度图像中，即可得到大视场范围的高清晰度的第一尺度图像。
实施例二
图2为本公开实施例二提供的一种成像方法的流程图。本实施例在上述实施例的基础上，可选所述根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域，包括：将所述第一尺度图像划分为至少两个子区域；基于增益函数与代价函数分别计算所述第一尺度图像中每个子区域的增益值与代价值；分别计算每个子区域的所述增益值与所述代价值之间的差值；选取至少两个所述差值中最大的差值作为目标差值，并将与所述目标差值对应的子区域确定为所述第一尺度图像中的目标区域。如图2所示，本实施例的方法包括：
S210、实时获取当前场景的第一尺度图像。
S220、将第一尺度图像划分为至少两个子区域。
在获取到第一尺度图像后，为了确定第一尺度图像中的目标区域，在一实施例中，可以将第一尺度图像划分为至少两个子区域，按照预设方法针对每个子区域进行目标区域的确定。本实施例中，在划分子区域时，可以沿第一尺度图像的水平方向和竖直方向每间隔预设数目的像素点进行划分，即多个子区域之间可以存在重叠的部分。
由于利用第二尺度相机来获取第一尺度图像中的目标区域所对应的第二尺度图像，因此，如果第二尺度相机所能拍摄到的场景范围固定，则可以根据第二尺度相机所能拍摄到的场景范围在第一尺度相机拍摄到的第一尺度图像中所占据的尺寸大小，来确定将第一尺度图像划分为子区域的个数。
S230、基于增益函数与代价函数分别计算第一尺度图像中每个子区域的增益值与代价值。
在一实施例中，可以利用预设的增益函数计算每个子区域的增益值，利用预设的代价函数计算每个子区域的代价值。
S240、分别计算每个子区域的增益值与代价值之间的差值。
由于增益函数可以反映出相应子区域中感兴趣目标所占的权重，而代价函数可以反映出在相应子区域中为了获取感兴趣目标所要付出的代价，因此，可以将增益函数对应的增益值与代价函数对应的代价值之间的差值作为选择目标区域的标准。在一实施例中，可以在获取到每个子区域的增益值与代价值之后，分别计算每个子区域对应的增益值与代价值之间的差值。以该差值作为标准，在多个子区域中选择出目标区域。
S250、选取至少两个差值中最大的差值作为目标差值，并将与目标差值对应的子区域确定为第一尺度图像中的目标区域。
在一实施例中，可以在多个子区域分别对应的差值中，选取出最大的差值作为选择目标区域的目标差值，即将该目标差值对应的子区域作为第一尺度图像中的目标区域。
上述确定目标区域的过程，由于增益函数和代价函数可以预先设定，第一尺度相机和第二尺度相机也可以设置为自动获取图像，因此，无需人为介入，即可以实现目标区域的自动获取。
S260、获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中。
本实施例提供的成像方法，在上述实施例的基础上，通过实时获取当前场景的第一尺度图像，将获取到的第一尺度图像划分为至少两个子区域，基于增益函数与代价函数分别计算第一尺度图像中每个子区域的增益值与代价值，并分别计算每个子区域的增益值与代价值之间的差值，选取至少两个差值中最大的差值作为目标差值，并将与目标差值对应的子区域确定为第一尺度图像中的目标区域，最终获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，在解决了相关技术中的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果的同时，还可以无需人为介入，即可以实现目标区域的自动获取。
在上述实施例的基础上，进一步的，根据如下的代价函数的表达式计算代价值：
E cost＝α 1s+α 2t
其中，E cost为当前区域的代价值，s为当前第一尺度图像中的当前区域左上 角的像素点与上一帧第一尺度图像确定的目标区域左上角的像素点之间的像素点差值；t为当前区域每个像素点的遍历次数的总和，其中，每确定出一帧第一尺度图像的目标区域，相应目标区域内的每个像素点的遍历次数加1，α 1、α 2为权重系数。
本实施例中，每获取一帧第一尺度图像，相应的可以利用增益函数和代价函数确定其中的目标区域。每确定出一帧第一尺度图像中的目标区域，第二尺度相机就会移动到与该目标区域相对应的位置，获取与该目标区域相对应的第二尺度图像，相应的，该目标区域中的每个像素点记为被第二尺度相机遍历一次。
示例性的，每帧第一尺度图像都被划分为9个子区域，每个子区域都有相互重叠的像素点。以其中相邻的区域1和区域2为例，其中区域1与区域2中存在重叠的像素点。
假设第一帧第一尺度图像的目标区域为区域1，则在获取到与区域1对应的第二尺度图像后，该区域1中每个像素点的遍历次数加1，由于是第一帧第一尺度图像，因此区域1中每个像素点的遍历次数都是1。
假设第二帧第一尺度图像的目标区域为区域2，则在获取到与区域2对应的第二尺度图像后，区域2中的每个像素点的遍历次数加1，由于区域2与区域1存在重叠的像素点，这些重叠的像素点在第一帧第一尺度图像中时，其遍历次数已经是1，则在第二帧第一尺度图像中时，其遍历次数变为2，此时，区域2中其他不存在重叠的像素点的遍历次数则为1。
假设第三帧第一尺度图像为当前第一尺度图像，且选定的当前区域为区域2，则对于当前区域而言，区域2与区域1不存在重叠的像素点的遍历次数为1，存 在重叠的像素点的遍历次数为2。若区域2与区域1不存在重叠的像素点的个数为100，存在重叠的像素点的个数为100，则t的值为100×1+100×2＝300，即当前区域每个像素点的遍历次数的总和。
根据如下的增益函数的表达式计算增益值：
E gain＝β 1f+β 2w
其中，E gain为当前区域的增益值，f为当前区域的动态值，w为当前区域内目标对象的个数。β 1、β 2为权重系数。
本实施例中，α 1、α 2、β 1、β 2可以由经验获得。
实施例三
图3为本公开实施例三提供的一种成像方法的流程图。本实施例在上述实施例的基础上，可选在所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：基于获取第二尺度图像的图像获取设备获取与所述当前场景中的多个位置分别对应的多幅第三尺度图像，所述第三尺度图像的尺寸与所述第二尺度图像的尺寸相同；根据每幅所述第三尺度图像的特征点，确定所述多幅第三尺度图像之间相互匹配的第一特征对；根据每个所述第一特征对，确定每幅第三尺度图像的局部参数，并保存所述局部参数；利用每幅第三尺度图像的所述局部参数，将多幅所述第三尺度图像拼接成所述全景图；其中，所述第三尺度图像的局部参数包括所述第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取所述第三尺度图像时，所述图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。在一实施例中，可选在所述获取与所述第一尺度图像中的目标区域相对应的第二尺度图像之后，还包括：在所述第一 尺度图像中，确定所述目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值；依据像素点差值与移动距离之间的预设关系，分别利用所述水平像素点差值确定所述图像获取设备的左右移动距离，利用所述垂直像素点差值确定所述图像获取设备的上下移动距离；根据所述左右移动距离、所述上下移动距离以及预先保存的所述局部参数，利用插值运算获取与所述第二尺度图像相对应的所述目标拼接参数。如图3所示，本实施例的方法包括：
S310、实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像。
S320、基于获取第二尺度图像的图像获取设备获取与当前场景中的多个位置分别对应的多幅第三尺度图像。
在一实施例中，可以利用第二尺度相机从左至右，从上至下顺序扫描当前场景，获取与当前场景中的每个位置相对应的第三尺度图像。其中，多幅第三尺度图像之间存在一定的重叠区域。每幅第三尺度图像可以用于获取全景图以及确定第二尺度图像的拼接参数。
S320-S350为获取全景图及确定相应的拼接参数的过程，该过程在本实施例中只需执行一次即可，并且该过程与其余步骤的先后顺序并没有过多的限定，其只要在S380之前执行完毕即可。
S330、根据每幅第三尺度图像的特征点，确定多幅第三尺度图像之间相互匹配的第一特征对。
在利用第二尺度相机获取到多幅第三尺度图像后，可以利用尺度不变特征 变换算法(Scale-invariant feature transform，SIFT)提取出每幅第三尺度图像的特征点，并对多幅第三尺度图像进行相互之间的特征匹配，确定多幅第三尺度图像之间相互匹配的特征点对。
S340、根据每个第一特征对，确定每幅第三尺度图像的局部参数，并保存每个局部参数。
其中，局部参数包括第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取该第三尺度图像时，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。本实施例中，在利用第二尺度相机从左至右，从上至下顺序扫描当前场景，获取多幅第三尺度图像的过程中，第二尺度相机是不断移动的，因此，可以将第二尺度相机相对于初始位置在上下和左右两个方向上的移动距离作为局部参数中的一个，以使最终获取的目标拼接参数更加精确。其中，初始位置是预先设定的，例如可以是在获取当前场景中左上角的区域时，第二尺度相机所在的位置。
在确定多幅第三尺度图像之间相互匹配的特征点对之后，可以根据特征匹配得到的初始单应性矩阵预估一组初始局部参数。在得到初始局部参数后，对初始局部参数进行优化，在一实施例中，可以根据多个特征点的置信度确定多幅第三尺度图像之间的连接关系，根据多幅第三尺度图像之间的连接关系，针对每个第三尺度图像，可以利用捆绑调整算法(Bundle Adjustment，BA)，对每个第三尺度图像和与该第三尺度图像存在连接的其他图像的初始局部参数进行联合优化，得到最终的局部参数。确定每幅第三尺度图像的局部参数后，将其进行保存，以便后续用于确定目标拼接参数。
S350、利用每幅第三尺度图像的局部参数，将多幅第三尺度图像拼接成全 景图。
根据每幅第三尺度图像的局部参数可以确定多幅第三尺度图像之间的相对位置，利用多幅第三尺度图像之间的相对位置，即可完成全景图的拼接。
S360、在第一尺度图像中，确定目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值。
在确定当前第一尺度图像中的目标区域后，可以将清晰度高且与目标区域相对应的第二尺度图像拼接到第一尺度图像中，以替换第一尺度图像中相对模糊的目标区域，进而获得清晰度高且视场范围较大的图像。在将第二尺度图像拼接到第一尺度图像中之前，需要获取目标拼接参数，以确定拼接的具体位置。在一实施例中，可以利用预先保存的局部参数以及第二尺度相机在拍摄第二尺度图像时相对原始位置的移动距离来确定目标拼接参数。
在一实施例中，可以通过计算当前第一尺度图像的目标区域与上一帧第一尺度图像的目标区域之间的像素点差值，来确定第二尺度相机在拍摄第二尺度图像时相对原始位置的移动距离，在一实施例中，可以通过计算当前第一尺度图像的目标区域左上角的像素点与上一帧第一尺度图像的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值来确定第二尺度相机在拍摄第二尺度图像时相对原始位置的左右移动距离和上下移动距离。
S370、依据像素点差值与移动距离之间的预设关系，分别利用水平像素点差值确定图像获取设备的左右移动距离，利用垂直像素点差值确定获取第二尺度图像的图像获取设备的上下移动距离。
在确定第二尺度相机在拍摄第二尺度图像时相对原始位置的左右移动距离和上下移动距离之后，可以根据像素点差值与移动距离之间的预设关系，确定 第二尺度相机相对原始位置的左右移动距离和上下移动距离。其中，像素点差值与移动距离之间的预设关系可以为如下表达式：
Δp＝k×x
其中，Δp为左右移动距离或者上下移动距离，k为平移比例系数，x为水平像素点差值或者垂直像素点差值。
S380、根据左右移动距离、上下移动距离以及预先保存的局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数。
由于预先保存的局部参数中包括第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取该第三尺度图像时，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离，因此，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离与每幅第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵之间存在确定的对应关系。又由于第二尺度图像与第三尺度图像都是利用第二尺度相机获取到的，因此，可以利用上述获取到的左右移动距离、上下移动距离以及预先保存的局部参数，通过插值的方法来获取与第二尺度图像相对应的目标拼接参数。
S390、根据目标拼接参数将第二尺度图像拼接到目标图像中。
本实施例提供的成像方法，在上述实施例的基础上，利用第三尺度图像构造全景图以及确定每幅第三尺度图像的局部参数，在确定每个局部参数后，利用每个局部参数以及第二尺度相机在拍摄第二尺度图像时相对原始位置的左右移动距离和上下移动距离，通过插值运算获取与第二尺度相对应的目标拼接参数，并根据目标拼接参数将第二尺度图像拼接到目标图像中，在解决了相关技术中的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场 范围内的高分辨率图像序列的效果的同时，通过利用预先保存的局部参数，大大减小了拼接过程中的计算量，实现了能够实时地获取大视场范围内的高分辨率图像序列。
在上述实施例的基础上，进一步的，在根据左右移动距离、上下移动距离以及预先保存的局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数之后，还包括：
在多幅第三尺度图像中，获取与第二尺度图像存在重叠区域的至少一幅第三尺度图像，并将至少一幅第三尺度图像生成第三尺度图像集；
利用第二尺度图像与第三尺度图像集中的每幅第三尺度图像进行特征匹配，确定第二尺度图像与第三尺度图像集中的每幅第三尺度图像之间相互匹配的第二特征对；
利用每个第二特征对和第三尺度图像集中的每幅第三尺度图像所对应的局部参数，对目标拼接参数进行优化，并根据优化结果更新目标拼接参数。
为了使拼接效果更佳，使目标拼接参数更加精确，在上述通过插值运算获得目标参数之后，还可以对目标拼接参数进行优化。在一实施例中，可以在多幅第三尺度图像中，获取与第二尺度图像存在重叠区域的至少一幅第三尺度图像，并组成第三尺度图像集，针对每个第三尺度图像集中的第三尺度图像：将第二尺度图像与第三尺度图像进行特征匹配，确定第二尺度图像与第三尺度图像之间相互匹配的特征对，在获取到第三尺度图像的特征对之后，利用上述特征对以及第三尺度图像集中的每幅第三尺度图像所对应的局部参数，对目标拼接参数进行优化，并将优化后的目标拼接参数替代原始目标拼接参数。
实施例四
图4为本公开实施例四提供的一种成像方法的流程图。本实施例在上述实施例的基础上，可选在根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：获取一帧当前场景的第四尺度图像，所述第四尺度图像的视角与所述第一尺度图像的视角相同；将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数；利用所述视角转换参数将所述第一尺度图像的视角转换至所述全景图的视角。进一步的，可选所述将所述第四尺度图像的视角转换至所述全景图的视角，包括：将所述第四尺度图像与所述全景图进行场景匹配，获取与所述第四尺度图像的场景相对应的部分全景图；对所述部分全景图进行下采样，使得下采样后的部分全景图的分辨率与所述第四尺度图像的分辨率相同；利用下采样后的部分全景图与所述第四尺度图像中的特征点对获取映射矩阵；利用所述映射矩阵将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数。如图4所示，本实施例的方法包括：
S410、实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像。
S420、获取一帧当前场景的第四尺度图像，第四尺度图像的视角与第一尺度图像的视角相同。
在图像拼接的过程中，如果两个图像获取装置之间的距离大于预设距离(视差可接受的范围)，则在将利用两个图像获取装置获取到的两帧图像进行拼接时，会由于存在视差，导致拼接效果不佳的问题。因此，在进行图像拼接之前，可以消除两帧图像之间的视差。
在一实施例中，可以先获取一帧当前场景的第四尺度图像，该第四尺度图像与第一尺度图像的视角相同，在一实施例中，可以利用第一尺度相机获取第四尺度图像。
如果两个图像获取装置的相对位置确定，则其视差就是确定的。因此，只需确定一次视角转换参数，即可消除二者之间的视差。本实施例中，S420-S460为获取视角转换参数的过程，因此，该过程只需执行一次即可。且该过程与其余步骤的先后顺序并没有过多的限定，其只要在S480之前执行完毕即可。
S430、将第四尺度图像与全景图进行场景匹配，获取与第四尺度图像的场景相对应的部分全景图。
一般的，由第三尺度图像获得的全景图与第四尺度图像近似相同，但是全景图的场景范围会大于第四尺度图像的场景范围，此时，可以将第四尺度图像与全景图进行场景匹配，确定全景图中与第四尺度图像的场景相对应的部分，作为部分全景图。
S440、对部分全景图进行下采样，使得下采样后的部分全景图的分辨率与第四尺度图像的分辨率相同。
由于全景图由多幅清晰度高的第三尺度图像构成，且每个第三尺度图像都与第四尺度图像的尺寸和分辨率相同，因此，全景图的尺寸要比第四尺度图像的尺寸大的多，部分全景图的尺寸也要比第四尺度图像的尺寸大的多。为了使部分全景图能够与第四尺度图像进行视角匹配，可以对部分全景图进行下采样，使得下采样后的部分全景图的分辨率与第四尺度图像的分辨率相同。
S450、利用下采样后的部分全景图与第四尺度图像中的特征点对获取映射矩阵。
在一实施例中，在获取到下采样后的部分全景图后，可以利用去均值归一化互相关算法(zero-mean normalized cross correlation，ZNCC)提取出下采样后的部分全景图和第四尺度图像中的特征点，并对下采样后的部分全景图和第四尺度图像进行特征匹配，确定下采样后的部分全景图和第四尺度图像之间相互匹配的特征点对。然后利用这些特征点对预估一个单应性矩阵H，再利用该单应性矩阵H矩阵，利用ZNCC方法优化上述特征点对，并根据优化后的特征点对获取映射矩阵，以将第四尺度图像映射到下采样后的部分全景图视角。
S460、利用映射矩阵将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数。
在一实施例中，在利用映射矩阵将第四尺度图像映射到全景图视角的过程中，可以获取视角转换参数，以便后续将第一尺度图像转换至全景图的视角。
S470、利用视角转换参数将第一尺度图像的视角转换至全景图的视角。
在一实施例中，在将第二尺度图像拼接进第一尺度图像中之前，针对每一帧第一尺度图像，可以利用视角转换参数将第一尺度图像的视角转换至全景图的视角。
S480、根据目标拼接参数将第二尺度图像拼接到第一尺度图像中。
在一实施例中，根据目标参数将第二尺度图像拼接到具有全景图视角的第一尺度图像中。
本实施例提供的成像方法，在上述实施例的基础上，通过获取一帧当前场景的第四尺度图像，并将第四尺度图像与全景图进行场景匹配，获取与第四尺度图像的场景相对应的部分全景图，对部分全景图进行下采样，利用下采样后的部分全景图与第四尺度图像中的特征点对获取映射矩阵，利用映射矩阵将第 四尺度图像的视角转换至全景图的视角，并获取视角转换参数，利用视角转换参数将第一尺度图像的视角转换至全景图的视角，在解决了相关技术中的多相机系统无法实现自动获取目标区域的问题，实现了实时自动获取大视场范围内的高分辨率图像序列的效果的同时，能够克服图像获取设备之间的视差，实现在相同视角下的图像拼接。
实施例五
本实施例为上述实施例的可选实施例。图5是本实施例的成像系统的结构示意图，其中包括第一尺度相机501，第二尺度相机502以及带动第二尺度相机上下左右移动的云台503，且第一尺度相机501与第二尺度相机502之间存在不可忽略的视差。其中，第一尺度相机的焦距为16mm，第二尺度相机的焦距为135mm，两个相机的分辨率均是2064×1544。云台503使用直流电机控制，采用绝对式脉冲定位，控制端通过串口给云台503发送绝对脉冲指令使云台搭载着第二尺度相机移动。
示例性的，在实时监测全局视频流信息之前，可以先获取全景图、多个局部参数以及视角转换参数。在一实施例中，利用第二尺度相机502从左至右、从上至下依次扫描当前场景，得到一组第三尺度图像。利用该组第三尺度图像拼接得到的全景图的场景范围大于等于第一尺度相机501获取到的图像的场景范围。
利用SIFT算法确定多幅第三尺度图像之间相互匹配的特征点对，并根据每个特征点对，确定每幅第三尺度图像的内参矩阵、旋转矩阵和平移矩阵局部。将每个第三尺度图像对应的两方向上的脉冲大小以及内参矩阵、旋转矩阵和平 移矩阵作为该第三尺度图像的局部参数储存下来，并利用每幅第三尺度图像的局部参数将多幅第三尺度图像拼接成全景图。
利用第一尺度相机501拍摄一帧第四尺度图像，该第四尺度图像与上述全景图近似相同。从全景图中匹配出与第四尺度图像的场景相同的区域，并将该区域下采样至第四尺度图像的分辨率大小。利用ZNCC方法确定场景中可信的特征点对，并获取映射矩阵，利用映射矩阵将第四尺度图像的视角转换到全景图的视角，并获取视角转换参数。
之后，利用第一尺度相机501实时监测全局视频流信息。利用第一尺度相机501获取当前第一尺度图像，针对当前第一尺度图像，利用代价函数和增益函数自动确定该当前第一尺度图像的目标区域。在确定目标区域后，根据该目标区域左上角的像素点与由上一帧第一尺度图像确定的目标区域左上角的像素点之间两个方向上的像素点差值，以及平移比例系数确定云台503在两个方向上的脉冲值，云台503根据该脉冲值带动第二尺度相机获取与目标区域相对应的第二尺度图像。
同时，根据脉冲值以及预先存储的局部参数，利用插值运算的方法实时获取第二尺度图像的目标拼接参数，利用该目标拼接参数即可将第二尺度图像拼接进利用视角转换参数转换视角后的第一尺度图像中。
为了使拼接结果更加精确，可以利用上述第二尺度图像和第三尺度图像中与该第二尺度图像存在重叠区域的第三尺度图像集，对插值获得的目标拼接参数进行优化，以得到优化后更新的目标拼接参数。
本实施例的一个应用实例可以是：
在当前第一尺度图像中检测出所有带有人脸的行人(目标行人)所在的区 域，并将上述区域作为目标区域，获取与目标区域相对应的第二尺度图像以及目标拼接参数，并利用目标拼接参数将第二尺度图像拼接到第一尺度图像中行人所在的位置。实时获取连续的第一尺度图像，同时使用核相关滤波算法(Kernel Correlation Filter，KCF)对目标行人进行跟踪，以实时掌握目标行人的动态。
在跟踪的过程中，由于第一尺度图像视频流具有模糊特性，其可能导致跟踪性能变差。基于此，可以将从当前第一尺度图像中提取出的人脸x与之前检测到的人脸进行比对，若人脸x与上一帧第一尺度图像中的人脸y比对成功，则认定当前人脸x对应的第一尺度图像中的行人a和上一次确定的人脸y对应的行人b是同一个人，此时，可以利用行人a的位置更新正在跟踪的行人b的位置。
实施例六
图6是本公开实施例六中的一种成像装置的结构示意图。如图6所示，本实施例的成像装置包括：
第一尺度图像获取模块610，设置为实时获取当前场景的第一尺度图像；
目标区域确定模块620，设置为根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域；
图像拼接模块630，设置为获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中；
其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
本实施例提供的成像装置，通过第一尺度图像获取模块实时获取当前场景 的第一尺度图像，利用目标区域确定模块根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，最后利用图像拼接模块获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，解决了相关技术中的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果。
在上述实施例的基础上，在一实施例中，目标图像为第一尺度图像，图像拼接模块630可以包括：
第二尺度图像压缩单元，设置为在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，将第二尺度图像进行压缩，其中，压缩后的第二尺度图像的尺寸与目标区域的尺寸相同；
图像拼接模块630是设置为根据目标拼接参数将经过压缩后的第二尺度图像拼接到第一尺度图像中。
在一实施例中，目标区域确定模块620可以包括：
子区域划分单元，设置为将第一尺度图像划分为至少两个子区域；
增益代价值计算单元，设置为基于增益函数与代价函数分别计算第一尺度图像中每个子区域的增益值与代价值；
差值计算单元，设置为分别计算每个子区域的增益值与代价值之间的差值；
目标区域确定单元，设置为选取至少两个差值中最大的差值作为目标差值，并将与目标差值对应的子区域确定为第一尺度图像中的目标区域。
在一实施例中，装置还可以包括：
第三尺度图像获取模块，设置为在根据目标拼接参数将第二尺度图像拼接 到目标图像中之前，基于获取第二尺度图像的图像获取设备获取与当前场景中的多个位置分别对应的多幅第三尺度图像；
第一特征对匹配模块，设置为根据每幅第三尺度图像的特征点，确定多幅第三尺度图像之间相互匹配的第一特征对；
局部参数确定保存模块，设置为根据每个第一特征对，确定每幅第三尺度图像的局部参数，并保存每个局部参数；
全景图拼接模块，设置为利用每幅第三尺度图像的局部参数，将多幅第三尺度图像拼接成全景图；
其中，局部参数包括第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取第三尺度图像时，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。
在一实施例中，装置还可以包括：
像素点差值确定模块，设置为在获取与第一尺度图像中的目标区域相对应的第二尺度图像之后，在第一尺度图像中，确定目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值；
移动距离确定模块，设置为依据像素点差值与移动距离之间的预设关系，分别利用水平像素点差值确定图像获取设备的左右移动距离，利用垂直像素点差值确定图像获取设备的上下移动距离；
目标拼接参数获取模块，设置为根据左右移动距离、上下移动距离以及预先保存的局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数。
在一实施例中，装置还可以包括：
第三尺度图像集生成模块，设置为在根据左右移动距离、上下移动距离以 及预先保存的局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数之后，在多幅第三尺度图像中，获取与第二尺度图像存在重叠区域的至少一幅第三尺度图像，并将至少一幅第三尺度图像生成第三尺度图像集；
第二特征对匹配模块，设置为利用第二尺度图像与第三尺度图像集中的每幅第三尺度图像进行特征匹配，确定第二尺度图像与第三尺度图像集中的每幅第三尺度图像之间相互匹配的第二特征对；
目标拼接参数更新模块，设置为利用每个第二特征对和第三尺度图像集中的每幅第三尺度图像所对应的局部参数，对目标拼接参数进行优化，并根据优化结果更新目标拼接参数。
在一实施例中，装置还可以包括：
第四尺度图像获取模块，设置为在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，获取一帧当前场景的第四尺度图像，第四尺度图像的视角与第一尺度图像的视角相同；
视角转换参数获取模块，设置为将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数；
视角转换模块，设置为利用视角转换参数将第一尺度图像的视角转换至全景图的视角。
在一实施例中，视角转换参数获取模块可以包括：
部分全景图获取单元，设置为将第四尺度图像与全景图进行场景匹配，获取与第四尺度图像的场景相对应的部分全景图；
下采样单元，设置为对部分全景图进行下采样，使得下采样后的部分全景图的分辨率与第四尺度图像的分辨率相同；
映射矩阵获取单元，设置为利用下采样后的部分全景图与第四尺度图像中的特征点对获取映射矩阵；
视角转换参数确定单元，设置为利用映射矩阵将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数。
本公开实施例所提供的成像装置可执行本公开任意实施例所提供的成像方法，具备执行方法相应的功能模块和效果。
实施例七
图7为本公开实施例七提供的成像终端的结构示意图。图7示出了适于用来实现本公开实施方式的示例性成像终端712的框图。图7显示的成像终端712仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，成像终端712以通用计算设备的形式表现。成像终端712的组件可以包括但不限于：一个或者多个处理器716，存储器728，连接不同系统组件(包括存储器728和处理器716)的总线718。
总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry Standard Architecture，ISA)总线，微通道体系结构(MicroChannel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
成像终端712包括多种计算机系统可读介质。这些介质可以是任何能够被 成像终端712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器728可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)730和/或高速缓存存储器732。成像终端712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置734可以设置为读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开一个或多个实施例的功能。
具有一组(至少一个)程序模块742的程序/实用工具740，可以存储在例如存储器728中，这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本公开所描述的实施例中的功能和/或方法。
成像终端712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等，其中，显示器724可根据实际需求决定是否配置)通信，还可与一个或者多个使得用户能与该成像终端712交互的设备通信，和/或与使得该成 像终端712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口722进行。并且，成像终端712还可以通过网络适配器720与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与成像终端712的其它模块通信。应当明白，尽管图7中未示出，可以结合成像终端712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Drives，RAID)系统、磁带驱动器以及数据备份存储装置等。
处理器716通过运行存储在存储器728中的程序，从而执行一种或多种功能应用以及数据处理，例如实现本公开任意实施例所提供的成像方法。
实施例八
本公开实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所提供的成像方法，该方法包括：
实时获取当前场景的第一尺度图像；
根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域；
获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中；
其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
当然，本公开实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本公开任意实施例所提供的成像方法中的相关操作。
本公开实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质包括(非穷举的列表)：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)或闪存、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

Claims (12)

  1. 一种成像方法，包括：
    实时获取当前场景的第一尺度图像；
    根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
    获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
    其中，所述目标图像包括下述至少之一：所述第一尺度图像和全景图；所述全景图由预先获取的与所述当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
  2. 根据权利要求1所述的方法，其中，所述目标图像为所述第一尺度图像，在所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：
    将所述第二尺度图像进行压缩，其中，压缩后的第二尺度图像的尺寸与所述目标区域的尺寸相同；
    所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中，包括：
    根据所述目标拼接参数将经过压缩后的第二尺度图像拼接到所述第一尺度图像中。
  3. 根据权利要求1所述的方法，其中，所述根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域，包括：
    将所述第一尺度图像划分为至少两个子区域；
    基于增益函数与代价函数分别计算所述第一尺度图像中每个子区域的增益值与代价值；
    分别计算所述每个子区域的所述增益值与所述代价值之间的差值；
    选取至少两个所述差值中最大的差值作为目标差值，并将与所述目标差值 对应的子区域确定为所述第一尺度图像中的目标区域。
  4. 根据权利要求3所述的方法，还包括：
    根据如下所述的代价函数的表达式计算所述代价值：
    E cost＝α 1s+α 2t
    其中，E cost为当前区域的代价值，s为所述当前第一尺度图像中的当前区域左上角的像素点与上一帧第一尺度图像确定的目标区域左上角的像素点之间的像素点差值，t为所述当前区域每个像素点的遍历次数的总和，其中，每确定出一帧所述第一尺度图像的目标区域，相应目标区域内的每个像素点的遍历次数加1，α 1、α 2为权重系数；
    根据如下所述的增益函数的表达式计算所述增益值：
    E gain＝β 1f+β 2w
    其中，E gain为当前区域的增益值，f为当前区域的动态值，w为当前区域内目标对象的个数，β 1、β 2为权重系数。
  5. 根据权利要求1所述的方法，在所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：
    基于获取所述第二尺度图像的图像获取设备获取与所述当前场景中的多个位置分别对应的多幅第三尺度图像；
    根据每幅所述第三尺度图像的特征点，确定所述多幅第三尺度图像之间相互匹配的第一特征对；
    根据每个所述第一特征对，确定每幅第三尺度图像的局部参数，并保存所述局部参数；
    利用所述每幅第三尺度图像的局部参数，将所述多幅第三尺度图像拼接成 所述全景图；
    其中，所述第三尺度图像的局部参数包括所述第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取所述第三尺度图像时，所述图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。
  6. 根据权利要求5所述的方法，在所述获取与所述第一尺度图像中的目标区域相对应的第二尺度图像之后，还包括：
    在所述第一尺度图像中，确定所述目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值；
    依据像素点差值与移动距离之间的预设关系，分别利用所述水平像素点差值确定所述图像获取设备的左右移动距离，利用所述垂直像素点差值确定所述图像获取设备的上下移动距离；
    根据所述左右移动距离、所述上下移动距离以及预先保存的所述局部参数，利用插值运算获取与所述第二尺度图像相对应的所述目标拼接参数。
  7. 根据权利要求6所述的方法，在所述根据所述左右移动距离、所述上下移动距离以及预先保存的所述局部参数，利用插值运算获取与所述第二尺度图像相对应的所述目标拼接参数之后，还包括：
    在多幅所述第三尺度图像中，获取与所述第二尺度图像存在重叠区域的至少一幅第三尺度图像，并将所述至少一幅第三尺度图像生成第三尺度图像集；
    利用所述第二尺度图像与所述第三尺度图像集中的每幅第三尺度图像进行特征匹配，确定所述第二尺度图像与所述第三尺度图像集中的每幅第三尺度图像之间相互匹配的第二特征对；
    利用每个所述第二特征对和所述第三尺度图像集中的每幅第三尺度图像所 对应的局部参数，对所述目标拼接参数进行优化，并根据优化结果更新所述目标拼接参数。
  8. 根据权利要求2所述的方法，在根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：
    获取一帧当前场景的第四尺度图像，所述第四尺度图像的视角与所述第一尺度图像的视角相同；
    将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数；
    利用所述视角转换参数将所述第一尺度图像的视角转换至所述全景图的视角。
  9. 根据权利要求8所述的方法，其中，所述将所述第四尺度图像的视角转换至所述全景图的视角，包括：
    将所述第四尺度图像与所述全景图进行场景匹配，获取与所述第四尺度图像的场景相对应的部分全景图；
    对所述部分全景图进行下采样，使得所述下采样后的部分全景图的分辨率与所述第四尺度图像的分辨率相同；
    利用所述下采样后的部分全景图与所述第四尺度图像中的特征点对获取映射矩阵；
    利用所述映射矩阵将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数。
  10. 一种成像装置，包括：
    第一尺度图像获取模块，设置为实时获取当前场景的第一尺度图像；
    目标区域确定模块，设置为根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
    图像拼接模块，设置为获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
    其中，所述目标图像包括下述至少之一：所述第一尺度图像和全景图；所述全景图由预先获取的与所述当前场景中的多个位置分别对应的多幅第三尺度图像拼接得到。
  11. 一种成像终端，包括：
    一个或多个处理器；
    存储装置，设置为存储一个或多个程序，
    所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。
  12. 一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
PCT/CN2019/091223 2018-06-15 2019-06-14 成像方法、装置、终端和存储介质 WO2019238113A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810618985.2 2018-06-15
CN201810618985.2A CN109005334B (zh) 2018-06-15 2018-06-15 一种成像方法、装置、终端和存储介质

Publications (1)

Publication Number Publication Date
WO2019238113A1 true WO2019238113A1 (zh) 2019-12-19

Family

ID=64600488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/091223 WO2019238113A1 (zh) 2018-06-15 2019-06-14 成像方法、装置、终端和存储介质

Country Status (2)

Country Link
CN (1) CN109005334B (zh)
WO (1) WO2019238113A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112419372A (zh) * 2020-11-11 2021-02-26 广东拓斯达科技股份有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005334B (zh) * 2018-06-15 2020-07-03 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN113272871B (zh) * 2018-12-29 2024-05-28 浙江大华技术股份有限公司 一种相机校准的方法和系统
CN112308809B (zh) * 2019-08-20 2024-06-14 北京字节跳动网络技术有限公司 一种图像合成方法、装置、计算机设备及存储介质
CN110706251B (zh) * 2019-09-03 2022-09-23 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110717936B (zh) * 2019-10-15 2023-04-28 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN112136311B (zh) * 2019-10-22 2022-07-12 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN111343367B (zh) * 2020-02-17 2021-06-08 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN113114975B (zh) * 2021-04-07 2023-04-18 科大讯飞股份有限公司 图像拼接方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719239A (zh) * 2016-01-21 2016-06-29 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN107295256A (zh) * 2017-06-23 2017-10-24 华为技术有限公司 一种图像处理方法、装置与设备
CN107659774A (zh) * 2017-09-30 2018-02-02 深圳市未来媒体技术研究院 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN107749944A (zh) * 2017-09-22 2018-03-02 华勤通讯技术有限公司 一种拍摄方法及装置
US20180096487A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Systems and methods for fusing images
CN109005334A (zh) * 2018-06-15 2018-12-14 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482968B (zh) * 2008-01-07 2013-01-23 日电（中国）有限公司 图像处理方法和设备
JP5860304B2 (ja) * 2012-02-23 2016-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2015119276A (ja) * 2013-12-17 2015-06-25 オリンパス株式会社 撮像装置
EP3007106A1 (en) * 2014-10-08 2016-04-13 Thomson Licensing Method and apparatus for determining a detection of a defective object in an image sequence as a misdetection
CN107301620B (zh) * 2017-06-02 2019-08-13 西安电子科技大学 基于相机阵列的全景成像方法
CN107592467A (zh) * 2017-10-20 2018-01-16 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107948505B (zh) * 2017-11-14 2020-06-23 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN107707825B (zh) * 2017-11-27 2019-12-03 维沃移动通信有限公司 一种全景拍摄方法、移动终端和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719239A (zh) * 2016-01-21 2016-06-29 科盾科技股份有限公司 一种用于图像拼接的方法及装置
US20180096487A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Systems and methods for fusing images
CN107295256A (zh) * 2017-06-23 2017-10-24 华为技术有限公司 一种图像处理方法、装置与设备
CN107749944A (zh) * 2017-09-22 2018-03-02 华勤通讯技术有限公司 一种拍摄方法及装置
CN107659774A (zh) * 2017-09-30 2018-02-02 深圳市未来媒体技术研究院 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN109005334A (zh) * 2018-06-15 2018-12-14 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112132864B (zh) * 2020-09-21 2024-04-09 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112419372A (zh) * 2020-11-11 2021-02-26 广东拓斯达科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN112419372B (zh) * 2020-11-11 2024-05-17 广东拓斯达科技股份有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109005334A (zh) 2018-12-14
CN109005334B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
WO2019238113A1 (zh) 成像方法、装置、终端和存储介质
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
US8982180B2 (en) Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
KR102351542B1 (ko) 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US8723959B2 (en) Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US10284789B2 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
US8896703B2 (en) Superresolution enhancment of peripheral regions in nonlinear lens geometries
CN106791710B (zh) 目标检测方法、装置和电子设备
US9262807B2 (en) Method and system for correcting a distorted input image
JP5906028B2 (ja) 画像処理装置、画像処理方法
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
US8472667B2 (en) Editing apparatus and method
WO2019161814A2 (zh) 一种全景成像系统及方法
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
BR102015005929B1 (pt) Sistema e método para composição e compressão de vídeo com base em contexto a partir de objetos com resolução espacial normalizada
GB2593335A (en) Method and apparatus for 3-D auto tagging
US9838604B2 (en) Method and system for stabilizing video frames
US20210176395A1 (en) Gimbal system and image processing method thereof and unmanned aerial vehicle
JPWO2020004013A1 (ja) 画像処理装置および画像処理方法
CN110944101A (zh) 摄像装置及图像记录方法
JP2006287589A (ja) 画像処理方法、画像処理装置
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
KR101726692B1 (ko) 객체 추출 장치 및 방법
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
US20230247292A1 (en) Methods and apparatus for electronic image stabilization based on a lens polynomial

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818751

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818751

Country of ref document: EP

Kind code of ref document: A1