WO2020218024A1 - パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム - Google Patents

パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム Download PDF

Info

Publication number
WO2020218024A1
WO2020218024A1 PCT/JP2020/016061 JP2020016061W WO2020218024A1 WO 2020218024 A1 WO2020218024 A1 WO 2020218024A1 JP 2020016061 W JP2020016061 W JP 2020016061W WO 2020218024 A1 WO2020218024 A1 WO 2020218024A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
panoramic
frame
feature
afterimage
Prior art date
Application number
PCT/JP2020/016061
Other languages
English (en)
French (fr)
Inventor
広夢 宮下
昌義 近田
愛 磯貝
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/599,439 priority Critical patent/US20220180475A1/en
Publication of WO2020218024A1 publication Critical patent/WO2020218024A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present invention relates to a panoramic video compositing device, a panoramic video compositing method, and a panoramic video compositing program that input a plurality of videos shot at different angles of view and output a panoramic video that combines those videos.
  • panoramic image composition A technique for outputting a wide-angle panoramic image by inputting images taken by a plurality of cameras having different angles of view so that some areas overlap and combining them is widely known as panoramic image composition.
  • panoramic video composition a method has been proposed in which feature points included in a frame image are matched to detect corresponding points in which the same subject appears, and frame images are combined based on the corresponding points.
  • Patent Document 1 proposes a method of acquiring seam information indicating a joining line to be combined in order to combine a plurality of high-resolution images at high speed and with high accuracy.
  • the weighting of the corresponding area is changed so that the closer to the seam information adopted in the past frame image, the easier it is to be adopted.
  • the junction line which is the boundary between cameras, is dynamically changed according to the transition of the frame image, so that a double image of the subject generated when the junction line overlaps with the subject existing in the overlapping region can be obtained. Defects can be avoided. That is, since the flicker of the subject is suppressed, the image quality of the panoramic image is unlikely to deteriorate.
  • the present invention has been made in view of this problem, and is a panoramic image compositing device and a panoramic image compositing method that suppress double images and defects of a subject even when the subject moves so as to cross an overlapping area between cameras. , And to provide a panoramic video composition program.
  • the panoramic image synthesizer is a panoramic image synthesizer that synthesizes a panoramic image in which a plurality of images are combined, and is a panoramic image from a frame image that constitutes the image for each of the images having different image angles.
  • a background image as a background and a reference image as a reference are acquired, a moving area in which the subject moves is extracted from the difference between the background image and the frame image, and an afterimage image obtained by superimposing the moving areas extracted in the order of the frame images is obtained.
  • a feature point calculation that obtains a plurality of feature points from each of the generated afterimage image generation unit, the reference image, and the afterimage image, generates a feature point set by summing the feature points, and calculates the feature amount of each feature point. By comparing each feature point of the feature point set before and after the part and the frame image, a feature point having the same feature amount is searched for, and the degree of distortion of the frame image is expressed from the difference in the coordinates of the feature point.
  • the gist is to include a conversion parameter generation unit that generates conversion parameters.
  • the panoramic image synthesizing method is the panoramic image synthesizing method executed by the panoramic image synthesizing apparatus, and is the panorama from the frame image constituting the image for each image having a different angle of view.
  • An afterimage image in which a background image as a background of an image and a reference image as a reference are acquired, a moving area in which the subject moves is extracted from the difference between the background image and the frame image, and the moving areas extracted in the order of the frame images are overlapped.
  • a feature point set is generated by obtaining a plurality of feature points from each of the afterimage image generation step and the reference image and the afterimage image, and summing the feature points, and calculating the feature amount of each feature point.
  • the calculation step and each feature point of the feature point set are compared before and after the frame image, the feature points with which the feature amounts match are searched, and the degree to which the frame image is distorted from the difference in the coordinates of the feature points is shown.
  • the gist is to include a conversion parameter generation step for generating a first conversion parameter.
  • the panoramic video compositing program according to one aspect of the present invention is a panoramic video compositing program for operating a computer as the above panoramic video compositing device.
  • the present invention it is possible to provide a panoramic image in which a double image or loss of a subject is suppressed even when the subject moves so as to cross an overlapping area between cameras.
  • FIG. 10 It is a flowchart which shows the processing procedure of post-processing performed by the panoramic video synthesizer shown in FIG. It is a block diagram which shows the structural example of the panoramic image synthesizer which concerns on 2nd Embodiment of this invention. It is a figure which shows typically the example of the discrepancy area which can be acquired by the afterimage image generation part of the panoramic image synthesis apparatus shown in FIG. It is a figure which shows typically the example of the afterimage image generated by the afterimage image generation part of the panoramic image synthesizer shown in FIG. It is a block diagram which shows the structural example of the panoramic image synthesizer which concerns on 3rd Embodiment of this invention. It is a figure which shows typically the example of the panoramic image which the panoramic image synthesizer shown in FIG. 10 synthesizes.
  • FIG. 1 is a schematic view showing an example of the positional relationship between the camera device for panoramic image composition and the subject from a bird's-eye view.
  • Images taken at different viewing angles for example, a video taken by the left camera C L and the right-eye camera C R as shown in FIG.
  • Eye camera C L and the right-eye camera C R are located adjacent in the horizontal direction, and is fixed and held at a different angle of view to have overlapping regions each other.
  • the left-eye camera C L and the right-eye camera C R are subjects of a runner R moving across the track 2 from the right-eye camera C R to the left-eye camera C L with the audience seat 1 in the background. It is assumed that the photograph is taken. In the embodiment described below, a panoramic image obtained by combining two images taken in the environment shown in FIG. 1 is combined.
  • the plurality of images is not limited to two.
  • the number of camera devices may be an integer of 3 or more.
  • FIG. 2 is a block diagram showing a configuration example of the panoramic video synthesizer according to the first embodiment of the present invention.
  • Video signal input to the panoramic image synthesizing device 100 shown in FIG. 2 is a captured image signal in the left eye camera C L and the right-eye camera C R.
  • the video signal is input in two steps, a pre-processing until the first conversion parameter is generated and a post-processing for synthesizing the panoramic video after the first conversion parameter is generated.
  • the video signals input in the pre-processing and post-processing are the same.
  • the serial signal output by the camera device may be directly input, or the video may be input as a recorded file.
  • the panoramic image synthesizer 100 shown in FIG. 2 includes an afterimage image generation unit 10, a feature point calculation unit 20, a conversion parameter generation unit 30, a conversion parameter storage unit 40, a projection conversion unit 50, an image combination unit 60, and a control unit 70. Be prepared.
  • the panoramic video synthesizer 100 can be realized by, for example, a computer including a ROM, a RAM, a CPU, and the like. In that case, the processing content of the function that the panoramic video synthesizer 100 should have is described by a program.
  • the control unit 70 is a general one that controls the time-series operation of each function component unit.
  • the afterimage image generation unit 10 acquires a background image as a background of the panoramic image and a reference image as a reference from the frame images constituting the image for each image having a different angle of view, and the subject is obtained from the difference between the background image and the frame image.
  • the moving area to be moved is extracted, and an afterimage image is generated by superimposing the moving areas extracted in the order of the frame image.
  • a plurality of images, which in this example is two images taken by each of the left eye camera C L and the right-eye camera C R.
  • the extent to distort wherein the frame image is an amount that distort the frame image in order to match the different frame images with the right eye camera C R and the left eye camera C L to one. For example, to distort the frame image of the left eye camera C L to match the shape of the right-eye camera C R of the frame image. By distorting one frame image in this way, the image quality of the panoramic image can be improved.
  • FIG. 3 is a diagram showing an example of a reference image and a background image.
  • the first stage of FIG. 3 is the reference image KG, and the second stage is the background image BG.
  • reference image KG with captured video is left camera C L with captured video and the right-eye camera C R, overlap with attendant ranging Two left end (overlapping area alpha).
  • Reference image KG is a set of frame images captured respectively with the left eye camera C L and the right-eye camera C R to be the first reference to determine the conversion parameter indicating the degree to distort the frame image.
  • the feature points of the reference image KG are compared. The comparison of the feature points will be described later.
  • the background image BG may be the same frame image as the reference image KG, but it is desirable that the background image BG does not show the subject (runner) or the like.
  • the background image BG of this example is a frame image before a staff member is placed on the track 2.
  • the afterimage image generation unit 10 extracts a moving area in which the subject R moves from the difference between the background image BG and the frame image, extracts only the moving area from each of the frame images, and generates an afterimage image ZG overlaid.
  • An afterimage image is generated by repeating the process of extracting and superimposing the moving area from the old frame of the frame image to the new frame. That is, the subject R is recorded with a series of afterimages.
  • FIG. 4 is a diagram showing an example of a moving area and an afterimage image extracted from the frame image.
  • the second row of FIG. 4 shows the moving region ⁇ , and the third row shows the afterimage image ZG.
  • the afterimage image ZG shown in FIG. 4 is enlarged for the purpose of making it easier to see.
  • the feature point calculation unit 20 obtains a plurality of feature points from each of the reference image KG and the afterimage image ZG, generates a feature point set by summing the feature points, and calculates the feature amount of each feature point.
  • the feature point is a point showing the feature of each image such as a portion where the edge of the reference image KG and the afterimage image ZG is prominent, a portion having high brightness, and a portion having different hues.
  • the feature point calculation unit 20 calculates the feature points of the reference image KG and the afterimage image ZG and the feature quantities corresponding to the feature points according to a well-known local feature amount calculation method represented by SIFT, SURF, and AKAZE. calculate.
  • Feature point calculating unit 20 calculates the feature point and the feature quantity from the captured frame image at each of the left eye camera C L and the right-eye camera C R.
  • the conversion parameter generation unit 30 compares each feature point of the feature point set before and after the frame image, searches for feature points with the same feature amount, and distorts the frame image from the difference in the coordinates of the feature points. Generate the first conversion parameter to represent.
  • first conversion parameter to represent.
  • left camera C and the feature point sets the feature points obtained by summing the feature points and afterimage of the reference image taken by L, the feature points of the reference image taken by the right-eye camera C R and residual image Contrast with the feature point set that is the sum of the points.
  • FIG. 5 is a diagram showing an example of a feature point set.
  • the second row of FIG. 5 shows the feature points of the reference image KG with white dots
  • the fourth row shows the feature points of the afterimage image ZG with white dots.
  • the fifth row in FIG. 5 is the sum of the feature points of the reference image KG in the second row and the feature points of the afterimage image ZG in the fourth row.
  • the feature points of the afterimage image ZG are manually excluded in advance, for example.
  • movements such as shaking of trees and opening / closing of windows within a range corresponding to the background may be extracted as an afterimage (moving area). Afterimages that are not such subjects are eliminated, for example, offline.
  • the conversion parameter generation unit 30 estimates the homography matrix with the feature point set of each angle of view as an input according to a method represented by the RANSAC algorithm.
  • the homography matrix is a parameter for projecting transformation so that one image overlaps with another image, and corresponds to the first transformation parameter of the present embodiment.
  • Estimating the homography matrices, and the feature point set of the left eye camera C L, contrasted the feature point set of the right-eye camera C R, searches the feature points coincide with each other, coordinate differences between the plurality of feature points that match
  • the distortion between the angle of view is calculated from. That is, frame images of projective transformed eg, left-eye camera C L in the first transformation parameters can be superimposed by having good continuity in the frame image of the right-eye camera C R.
  • the first conversion parameter of the present embodiment is a parameter obtained by comparing the feature points of the reference image KG and the feature points of the afterimage image ZG with each other between the angle of view, the reference image KG and the afterimage image Both ZGs can be distorted in a well-balanced manner. Further, even if the subject is a small object, it is possible to secure a sufficient area for detecting the feature points by generating an afterimage image from the moving area. As a result, the frame images can be appropriately overlapped with each other.
  • the first conversion parameter is written and stored in the conversion parameter storage unit 40.
  • the conversion parameter storage unit 40 may not be provided as long as the processing speed of the panoramic video synthesizer 100 is high. Therefore, the conversion parameter storage unit 40 is not an indispensable configuration.
  • the pre-processing is until the first conversion parameter explained above is generated.
  • the post-processing for synthesizing the panoramic video will be described.
  • the projective transformation unit 50 performs a projective transformation on the frame image based on the first conversion parameter.
  • a frame image constituting the image photographed by the right-eye camera C R to the projective transformation of the frame image of the same time taken by the left camera C L first transformation parameters.
  • FIG. 6 is a schematic diagram showing an example of a panoramic image synthesized by the panoramic video synthesizer 100.
  • the first stage of FIG. 6 shows a frame image of each angle of view.
  • the second row of FIG. 6 shows the frame image after the projective transformation.
  • Eye camera C L ends of the image after projective transformation that not a vertical is the result of distorted image by projective transformation.
  • the black area in the second row indicates that the pixel value of the frame image is not set.
  • the image joining unit 60 joins the projected frame images of each angle of view at a predetermined joining line.
  • the unnecessary area may be trimmed from the combined image.
  • the joining line is set at an arbitrary position in the overlapping region ⁇ , for example, by the user.
  • the panoramic image shown in the third row of FIG. 6 shows an example in which a junction line is set at the center of the subject R (runner). Center leftward eye camera from C L of the object R, the right direction is composed of a frame image of the right-eye camera C R.
  • the position of the joint line and the unnecessary area may be set by the user or may be set by automatic calculation. Further, when the pixel width is set for the junction line, the two frame images can be seamlessly combined by gradually changing the pixel value of the pixel width.
  • both the reference image KG and the afterimage image ZG can be distorted in a well-balanced manner, so that a subject that crosses between the camera devices at a depth different from the background can be seen. Even if there is, it is possible to generate a panoramic image in which a plurality of images in which a part of the shooting area overlaps is combined with high accuracy.
  • FIG. 7 is a flowchart showing a processing procedure of preprocessing performed by the panoramic video synthesizer 100.
  • the afterimage image generation unit 10 acquires the background image BG and the reference image KG from each of the frame images constituting the images taken at different angles of view (step S1). Background image BG and the reference image KG, respectively obtained from the left-eye camera C L and the right-eye camera C R of both of the frame image.
  • the background image BG is an image that becomes the background of the panoramic image, and it is desirable that the subject R is not reflected.
  • the reference image KG is a neutral image in which an extra subject is not reflected, and may be, for example, the first frame image.
  • the afterimage image generation unit 10 acquires a moving area by calculating the difference between the frame image and the background image BG (step S2).
  • the range of pixels with a difference due to the difference calculation is the moving area.
  • the afterimage image generation unit 10 uses the moving area as a mask and transfers only the moving area from the frame image to the afterimage area (step S3).
  • an afterimage image ZG is generated (repetition of loop B).
  • the feature point calculation unit 20 calculates the feature points of the reference image KG (step S4).
  • the feature points and the corresponding feature quantities are calculated according to a local feature quantity calculation method such as SIFT.
  • the feature point calculation unit 20 similarly calculates the feature points and feature amounts of the afterimage image ZG (step S5).
  • the calculation of the feature point calculation unit 20 is performed for all frame images of both angles of view (repetition of loop A).
  • the feature point calculation unit 20 generates a feature point set in which the feature points and feature amounts of the reference image KG and the feature points and feature amounts of the afterimage image ZG are totaled (step S6).
  • a feature point set is generated for each angle of view.
  • the conversion parameter generation unit 30 compares the feature point sets, searches for a plurality of feature points having the same feature amount, generates the first conversion parameter from the difference in the coordinates of the feature points, and stores the conversion parameters. Store in unit 40 (step S7).
  • FIG. 8 is a flowchart showing a processing procedure of post-processing performed by the panoramic video synthesizer 100.
  • the frame image is projected and converted using the first conversion parameter generated in the pre-processing.
  • the same image as the image for which the first conversion parameter is generated is input to the projection conversion unit 50.
  • the projective transformation unit 50 performs a projective transformation based on the first conversion parameter on a frame image constituting a plurality of images shot at different angles of view input from the outside (step S8).
  • the first conversion parameter used here is generated from the same video in the preprocessing.
  • the left-eye camera C L first transformation parameters. Projective transformation is performed for all of the captured frame image in the left eye camera C L (iteration of the loop D).
  • the user specifies in advance which frame image is to be projected and converted. It may be projected converting the captured frame image with the right eye camera C R. Also, both frame images may be projected and transformed.
  • Image combining unit 60 the frame image captured by the right eye camera C R, a frame image obtained by projective transformation of the captured eye cameras CL at the same time, to obtain a panoramic image by combining a predetermined welding line (Step S9).
  • the image combining unit 60 trims the unnecessary area of the panoramic image (step S10).
  • the image combining unit 60 outputs a trimmed panoramic image (step S11).
  • the processes of steps S8 to S11 are repeatedly executed for all frame images (repetition of loop C).
  • FIG. 9 is a block diagram showing a configuration example of the panoramic video synthesizer according to the second embodiment of the present invention.
  • the action of the afterimage image generating unit 210 is different from that of the afterimage image generating unit 10 of the panoramic image compositing device 100.
  • the afterimage image generation unit 210 performs projective conversion on the frame images constituting the image for each image having a different angle of view based on the first conversion parameter, and acquires a mismatched region between the angle of view of the projected frame image. Then, a projective transformation was performed to return the mismatched area to the original frame image, and the non-overlapping area and the non-moving area of the mismatched area returned to the original frame image were superimposed in the order of the frame image. Generate an afterimage image.
  • FIG. 10 is a diagram schematically showing an example of a discrepancy region that can be acquired by the afterimage image generation unit 210.
  • the first stage of FIG. 10 is a frame image obtained by performing a projective transformation of the frame image based on the first conversion parameter acquired in advance.
  • the second row shows the discrepancy area between the angle of view.
  • the third row shows a mask that extracts a mismatched region from the frame image.
  • the white pixel portion of the non-matching region in the second row of FIG. 10 indicates that the pixel values between the angle of view are far. Further, the black pixel portion indicates that the pixel values between the viewing angles are close to each other.
  • the pixel value is a value of RGB and YUV, and is a value obtained by obtaining the difference between the angle of view and totaling the difference.
  • the central part of the second-tier non-matching area in FIG. 10 is the overlapping area ⁇ that overlaps between the angle of view, and the buildings in the background match. However, the subject R does not match.
  • mismatching area in the second stage of FIG. 10 shows an image obtained by distorting the frame image of the left eye camera C L first transformation parameter, a mismatching area in the right-eye camera C R of the frame image.
  • the afterimage image generation unit 210 returns the mismatched region to the original frame image by the inverse matrix of the first conversion parameter, and sets the non-overlapping region and the non-moving region of the mismatched region returned to the original frame image.
  • An afterimage image ZG is generated by taking out a mask and superimposing the images.
  • FIG. 11 shows an afterimage image ZG extracted from a mismatched region returned to the original frame image.
  • the afterimage image ZG can be generated. That is, the afterimage image ZG can be generated without using the background image BG.
  • FIG. 12 is a block diagram showing a configuration example of the panoramic video synthesizer according to the third embodiment of the present invention.
  • the panoramic video compositing device 300 shown in FIG. 12 is different from the above embodiment in that it includes a conversion parameter generation unit 330, a projection conversion unit 350, and an image combination unit 360.
  • the conversion parameter generation unit 330 generates a second conversion parameter indicating the degree to which the frame image is distorted from the difference in the coordinates of the feature points in which the feature amounts included in the reference image KG match. Then, the coordinates of the subject are extracted from the overlapping regions of the images having different angles of view, and the third conversion parameter indicating the degree of distortion of the subject is generated from the difference in the coordinates.
  • the second conversion parameter is different from the first conversion parameter generated from the difference in the coordinates of the feature point set in that it is generated only from the difference in the coordinates of the feature points of the reference image KG.
  • the second conversion parameter and the third conversion parameter are written and stored in the conversion parameter storage unit 40.
  • the projective transformation unit 350 performs a projective transformation of the frame image based on the second conversion parameter, and extracts the subject image from the overlapping region ⁇ that has undergone the projective transformation based on the third conversion parameter. Further, the projective transformation unit 350 extracts the background image BG ⁇ of the overlapping region ⁇ between the image angles.
  • the background image BG ⁇ can be obtained by a calculation such that the background image BG ⁇ is projected and transformed only in the portion corresponding to the overlapping region ⁇ .
  • the original image of the background image BG ⁇ extracted by the projective transformation unit 350 may be a frame image projected and converted by the second conversion parameter as long as the subject R is not reflected, or a frame image not projected. You may have it.
  • the process of extracting only a specific subject from the overlapping region ⁇ may be the same as the process of the afterimage image generation unit 10 extracting the moving region (subject) by calculating the difference between the frame image and the background image BG ⁇ .
  • the image combining unit 360 generates an initial panoramic image obtained by combining the frame images projected and converted by the second conversion parameter, superimposes the background image of the overlapping region on the initial panoramic image, and then superimposes the subject image on the panorama. Generate a video image. Since the panoramic video image is generated for each frame image, the output of the image combining unit 360 constitutes a panoramic video signal.
  • FIG. 13 is a diagram schematically showing an example of a panoramic image synthesized by the panoramic image synthesizer 300.
  • the first stage of FIG. 13 shows an initial panoramic image.
  • Second stage shows the overlapping area ⁇ of the left eye camera C L and the right-eye camera C R.
  • the third row shows a subject image obtained by performing a projective transformation on the subject image extracted from the overlapping region ⁇ based on the third conversion parameter.
  • the fourth row shows the background image BG ⁇ of the overlapping region ⁇ .
  • the fifth row shows a panoramic video image.
  • the background image of the overlapping region ⁇ is superimposed on the initial panoramic image, and the subject image corrected for the deviation of the subject is superimposed on it.
  • an image in which the deviation of the subject image is appropriately corrected is superimposed on the background image BG ⁇ , so that a panoramic image with less deviation can be generated.
  • the panoramic image synthesizer 100 is a panoramic image synthesizer that synthesizes a panoramic image in which a plurality of images are combined, and constitutes the image for each image having a different angle of view. From the frame image, the background image BG that is the background of the panoramic image and the reference image KG that is the reference are acquired, the moving area in which the subject moves is extracted from the difference between the background image BG and the frame image, and the movement extracted in the order of the frame images.
  • a plurality of feature points are obtained from each of the afterimage image generation unit 10 that generates the afterimage image ZG in which the regions are overlapped, the reference image KG, and the afterimage image ZG, and a feature point set in which the feature points are added is generated, and each feature point is generated.
  • the feature point calculation unit 20 that calculates the feature amount of is compared with each feature point of the feature point set before and after the frame image, a feature point with the same feature amount is searched, and a frame is obtained from the difference in the coordinates of the feature point.
  • a conversion parameter generation unit 30 for generating a first conversion parameter indicating the degree of distortion of the image is provided.
  • both the reference image KG and the afterimage image ZG can be distorted in a well-balanced manner, and a panoramic image with little deviation can be obtained by correcting the deviation between the image angles.
  • the frame images can be appropriately overlapped with each other.
  • the panoramic image synthesizer 200 includes an afterimage image generation unit 210, and the afterimage image generation unit 210 with respect to a frame image constituting the image for each image having a different angle of view.
  • a projection transformation is performed based on the first conversion parameter, a mismatched region between the angles of view of the projected frame image is acquired, and a projection transformation is performed to return the mismatched region to the original frame image.
  • An afterimage image is generated by superimposing an image that masks a non-overlapping area and a non-moving area of the mismatched area returned to the frame image.
  • the afterimage image ZG can be generated because the moving area is not extracted from the background image BG.
  • the conversion parameter generation unit 330 distorts the frame image from the difference in the coordinates of the feature points having the same feature amounts included in the reference image KG.
  • a second conversion parameter is generated to represent, the coordinates of the subject are extracted from the overlapping region ⁇ of images having different image angles, and a third conversion parameter representing the degree of distortion of the subject is generated from the difference in the coordinates, and the second conversion is performed.
  • the projection conversion unit 350 that performs projection conversion of the frame image based on the parameters, extracts the subject image from the overlapping region ⁇ that has undergone projection conversion based on the third conversion parameter, and extracts the background image BG ⁇ of the overlapping region ⁇ .
  • An initial panoramic image obtained by combining the frame images projected and converted by the second conversion parameter is generated, the background image BG ⁇ of the overlapping region ⁇ is superimposed on the initial panoramic image, and then the subject image is superimposed. It is provided with an image coupling unit 360 for generating an image. As a result, an image in which the deviation of the subject image is appropriately corrected is superimposed on the background image BG ⁇ , so that a panoramic image with less deviation can be generated.
  • the characteristic functional unit of the panoramic video synthesizer 100, 200, 300 according to the present embodiment can be realized by a computer including a ROM, a RAM, a CPU, and the like. In that case, the processing content of the function that each functional unit should have is described by the panoramic video composition program.
  • a panoramic video synthesis program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • the present invention includes various embodiments not described here.
  • the above embodiment has been described in example combining the images taken by two camera devices of the left eye camera C L and the right-eye camera C R, the present invention is not limited to this example.
  • the number of camera devices may be two or more.
  • the processing speed of the computer constituting the panoramic video synthesizer of the present invention may be increased so that the first conversion parameter is generated before the frame image is updated.
  • the present invention is not limited to the above embodiment.
  • the technical scope of the present invention is defined only by the matters specifying the invention relating to the reasonable claims from the above description.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

被写体がカメラ間の重複領域を横断するように移動する場合でも被写体の二重像や欠損を抑制するパノラマ映像合成装置を提供する。複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した移動領域を重ねた残像画像を生成する残像画像生成部１０と、基準画像と残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部２０と、フレーム画像の前後で特徴点セットの各特徴点を対比させて、特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部３０とを備える。

Description

パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
　本発明は、異なる画角で撮影された複数の映像を入力として、それらの映像を結合したパノラマ映像を出力するパノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラムに関する。
　画角の異なる複数のカメラによって、一部領域が重なるように撮影された映像を入力とし、それらを結合することで広角なパノラマ映像を出力する技術は、パノラマ映像合成として広く知られている。パノラマ映像合成においては、フレーム画像に含まれる特徴点をマッチングして同一の被写体が映っている対応点を検出し、その対応点に基づいてフレーム画像を結合する手法が提案されている。
　例えば特許文献１では、高解像度の複数の映像を高速かつ高精度に結合するために、結合させる接合線を示すシーム情報を取得する手法を提案している。その手法は、現在フレーム画像のシーム情報の探索において、過去のフレーム画像で採用されたシーム情報に近いほど採用され易くなるように該当領域の重み付けを変更する。この手法によればカメラ間の境界である接合線をフレーム画像の遷移に応じて動的に変更することで、重複領域に存在する被写体と接合線が重なった場合に生じる被写体の二重像や欠損を回避することができる。つまり、被写体のチラ付きが抑制されるため、パノラマ映像の画質が劣化し難い。
特開２０１８－２６７４４号公報
　しかしながら、被写体が重複領域を横断するように移動する場合は、何れかのフレーム画像で被写体が接合線を跨ぐ必要が生じる。そのため該当するフレーム画像の前後で被写体の表示座標が著しく変動し、パノラマ映像の画質が劣化するという課題がある。
　本発明は、この課題に鑑みてなされたものであり、被写体がカメラ間の重複領域を横断するように移動する場合でも被写体の二重像や欠損を抑制するパノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラムを提供することを目的とする。
　本発明の一態様に係るパノラマ映像合成装置は、複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、異なる画角の前記映像ごとに該映像を構成するフレーム画像から、前記パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成部と、前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部と、フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部とを備えることを要旨とする。
　また、本発明の一態様に係るパノラマ映像合成方法は、上記のパノラマ映像合成装置が実行するパノラマ映像合成方法であって、異なる画角の映像ごとに該映像を構成するフレーム画像から、前記パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成ステップと、前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算ステップと、フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成ステップとを含むことを要旨とする。
　また、本発明の一態様に係るパノラマ映像合成プログラムは、上記のパノラマ映像合成装置としてコンピュータを機能させるためのパノラマ映像合成プログラムであることを要旨とする。
　本発明によれば、被写体がカメラ間の重複領域を横断するように移動する場合でも被写体の二重像や欠損を抑制したパノラマ映像を提供することができる。
パノラマ映像合成のためのカメラ装置と被写体に関する位置関係の一例を俯瞰して示す模式図である。 本発明の第１実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。 基準画像と背景画像の例を示す図である。 フレーム画像から抽出した移動領域と残像画像の例を示す図である。 特徴点セットの例を示す図である。 図２に示すパノラマ映像合成装置で合成したパノラマ画像の例を示す模式図である。 図２に示すパノラマ映像合成装置が行う事前処理の処理手順を示すフローチャートである。 図２に示すパノラマ映像合成装置が行う事後処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。 図９に示すパノラマ映像合成装置の残像画像生成部で取得できる不一致領域の例を模式的に示す図である。 図９に示すパノラマ映像合成装置の残像画像生成部で生成する残像画像の例を模式的に示す図である。 本発明の第３実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。 図１０に示すパノラマ映像合成装置が合成するパノラマ画像の例を模式的に示す図である。
　（複数の映像）
　本発明の実施形態を説明する前に、本発明の実施形態に係るパノラマ映像合成装置が合成するパノラマ映像の元になる複数の映像について説明する。複数の映像は、異なる画角で撮影される。図１は、パノラマ映像合成のためのカメラ装置と被写体に関する位置関係の一例を俯瞰して示す模式図である。
　異なる画角で撮影された映像は、例えば、図１に示すように左眼カメラＣＬと右眼カメラＣＲで撮影された映像である。左眼カメラＣＬと右眼カメラＣＲは、水平方向に隣接して設置され、互いに重複領域を持つように異なる画角で保持して固定されている。
　左眼カメラＣＬと右眼カメラＣＲは、観客席１を背景に、トラック２の上を、右眼カメラＣＲから左眼カメラＣＬの方向へ横断するように移動するランナーＲを被写体に撮影するものと仮定する。以降で説明する実施形態は、図１に示す環境で撮影された2つの映像を結合したパノラマ映像を合成する。なお、複数の映像は2つに限られない。カメラ装置の数は、3以上の整数で有っても構わない。
　以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
　〔第１実施形態〕
　図２は、本発明の第１実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。図２に示すパノラマ映像合成装置１００に入力される映像信号は、左眼カメラＣＬと右眼カメラＣＲで撮影された映像信号である。
　本実施形態において、映像信号は、第１変換パラメータを生成するまでの事前処理と、第１変換パラメータを生成した後にパノラマ映像を合成する事後処理の2回に分けて入力される。事前処理と事後処理で入力される映像信号は同じものである。なお、映像信号はカメラ装置が出力するシリアル信号を直接入力しても良いし、映像を記録したファイルで入力しても良い。
　図２に示すパノラマ映像合成装置１００は、残像画像生成部１０、特徴点計算部２０、変換パラメータ生成部３０、変換パラメータ記憶部４０、射影変換部５０、画像結合部６０、及び制御部７０を備える。パノラマ映像合成装置１００は、例えば、ＲＯＭ、ＲＡＭ、ＣＰＵ等からなるコンピュータで実現することができる。その場合、パノラマ映像合成装置１００が有すべき機能の処理内容はプログラムによって記述される。制御部７０は、各機能構成部の時系列の動作を制御する一般的なものである。
　（事前処理）
　残像画像生成部１０は、異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した移動領域を重ねた残像画像を生成する。複数の映像は、この例では左眼カメラＣＬと右眼カメラＣＲのそれぞれで撮影された2つの映像である。
　ここでフレーム画像を歪ませる程度とは、右眼カメラＣＲと左眼カメラＣＬで異なるフレーム画像を一方に合わせるためにフレーム画像を歪ませる量のことである。例えば、右眼カメラＣＲのフレーム画像の形状に合うように左眼カメラＣＬのフレーム画像を歪ませる。このように一方のフレーム画像を歪ませることでパノラマ画像の画像品質を向上させることができる。
　図３は、基準画像と背景画像の例を示す図である。図３の一段目は基準画像ＫＧであり、二段目は背景画像ＢＧである。基準画像ＫＧから分かるように、左眼カメラＣＬで撮影した映像と右眼カメラＣＲで撮影した映像は、左側の端の二人の係員の範囲で重複（重複領域α）している。
　基準画像ＫＧは、フレーム画像を歪ませる程度を表す第１変換パラメータを求める基準となる左眼カメラＣＬと右眼カメラＣＲでそれぞれ撮影した一組のフレーム画像である。基準画像ＫＧのそれぞれの特徴点を対比させる。特徴点の対比については後述する。
　背景画像ＢＧは、基準画像ＫＧと同じフレーム画像で有っても良いが、被写体（ランナー）等が映っていないものが望ましい。この例の背景画像ＢＧは、トラック２上に係員が配置される前のフレーム画像である。
　残像画像生成部１０は、背景画像ＢＧとフレーム画像の差分から被写体Ｒが移動する移動領域を抽出し、フレーム画像のそれぞれから移動領域だけを取り出して重ねた残像画像ＺＧを生成する。この移動領域を取り出して重ねる処理を、フレーム画像の古いフレームから新しいフレームの方向に繰り返すことで残像画像が生成される。つまり、被写体Ｒが一連の残像を伴って記録されることになる。
　図４は、フレーム画像から抽出した移動領域と残像画像の例を示す図である。図４の二段目は移動領域βを示し、三段目は残像画像ＺＧを示す。なお、図４に示す残像画像ＺＧは見易くする目的で拡大している。
　特徴点計算部２０は、基準画像ＫＧと残像画像ＺＧのそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する。特徴点とは、基準画像ＫＧ及び残像画像ＺＧのエッジが際だっている部分、輝度が高い部分、及び色相が異なる部分等のそれぞれの画像の特徴を示す点である。
　特徴点計算部２０は、ＳＩＦＴ、ＳＵＲＦ、及びＡＫＡＺＥに代表されるような周知の局所特徴量の計算方法に従って、基準画像ＫＧと残像画像ＺＧの特徴点と、その特徴点に対応する特徴量を計算する。特徴点計算部２０は、左眼カメラＣＬと右眼カメラＣＲのそれぞれで撮影されたフレーム画像から特徴点と特徴量を計算する。
　変換パラメータ生成部３０は、フレーム画像の前後で特徴点セットの各特徴点を対比させて、特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する。ここで対比は、左眼カメラＣＬで撮影した基準画像の特徴点と残像画像の特徴点を合算した特徴点セットと、右眼カメラＣＲで撮影した基準画像の特徴点と残像画像の特徴点を合算した特徴点セットとを対比させる。
　図５は、特徴点セットの例を示す図である。図５の二段目は基準画像ＫＧの特徴点を白点で示し、四段目は残像画像ＺＧの特徴点を白点で示す。図５の五段目は、二段目の基準画像ＫＧの特徴点と四段目の残像画像ＺＧの特徴点を合算したものである。
　残像画像ＺＧの特徴点のうち、被写体に該当しない領域に含まれる特徴点は、例えば手動で予め排除しておく。残像画像ＺＧには、背景に該当する範囲内の例えば木々の揺れ、窓の開閉等の動きが残像（移動領域）として抽出される場合がある。このような被写体ではない残像は、例えばオフラインで排除する。
　次に変換パラメータ生成部３０は、ＲＡＮＳＡＣアルゴリズムに代表されるような手法に従って、各画角の特徴点セットを入力とするホモグラフィ行列を推定する。ホモグラフィ行列は、ある画像がもう一方の画像と重なり合うように射影変換するためのパラメータであり、本実施形態の第１変換パラメータに該当する。
　ホモグラフィ行列の推定では、左眼カメラＣＬの特徴点セットと、右眼カメラＣＲの特徴点セットを対比させ、互いに一致する特徴点を探索し、一致する複数の特徴点の座標の違いから画角間の歪みを算出する。つまり、第１変換パラメータで射影変換された例えば左眼カメラＣＬのフレーム画像は、右眼カメラＣＲのフレーム画像に良い連続性を持たせて重ねることができる。
　本実施形態の第１変換パラメータは、基準画像ＫＧの特徴点と残像画像ＺＧの特徴点を合算した特徴点セットを、画角間で対比させて求めたパラメータであるので、基準画像ＫＧと残像画像ＺＧの両方をバランス良く歪ませることができる。また、被写体が小さい物体であっても、その移動領域から残像画像を生成することによって、特徴点の検出に十分な面積を確保することができる。その結果、フレーム画像同士を適切に重ねることができる。
　第１変換パラメータは、変換パラメータ記憶部４０に書き込まれて記憶される。なお、変換パラメータ記憶部４０は、パノラマ映像合成装置１００の処理速度が高速であれば無くても構わない。よって、変換パラメータ記憶部４０は必須の構成ではない。
　以上説明した第１変換パラメータが生成されるまでが事前処理である。次に、パノラマ映像を合成する事後処理について説明する。
　（事後処理）
　射影変換部５０は、各画角のフレーム画像が入力される度に、そのフレーム画像に対して第１変換パラメータに基づいた射影変換を実施する。本実施形態では、例えば、右眼カメラＣＲで撮影された映像を構成するフレーム画像に、左眼カメラＣＬで撮影された同一時刻のフレーム画像を第１変換パラメータで射影変換する。
　図６は、パノラマ映像合成装置１００で合成したパノラマ画像の例を示す模式図である。図６の一段目は各画角のフレーム画像を示す。
　図６の二段目は射影変換後のフレーム画像を示す。左眼カメラＣＬの射影変換後の画像の両端が垂直で無いのは、射影変換によって画像が歪んだ結果である。そして、二段目の黒い領域は、フレーム画像の画素値が設定されていないことを示す。
　画像結合部６０は、各画角の射影変換されたフレーム画像を、所定の接合線で結合する。なお、結合させた画像から不要領域をトリミングしても良い。接合線は、重複領域α内の任意の位置に、例えば利用者が設定する。
　図６の三段目に示すパノラマ画像は、被写体Ｒ（ランナー）の中心に接合線が設定された例を示す。被写体Ｒの中心から左方向が左眼カメラＣＬ、右方向が右眼カメラＣＲのフレーム画像で構成される。
　接合線の位置及び不要領域は、利用者が設定しても良いし、自動的な計算によって設定しても良い。また、接合線に画素幅が設定されている場合は、その画素幅の画素値を段階的に変化させることで2つのフレーム画像をシームレスに結合することができる。
　そもそも、パノラマ映像合成における被写体の二重像や欠損はカメラ装置間の視差に起因する。視差の量は、カメラ装置から被写体までの距離に応じて変動するため、ある奥行きに存在する被写体の特徴点を基準に2つのフレーム画像を結合すると、その被写体と異なる奥行きに存在する被写体はパノラマ映像の上では異なる領域（奥行き）に位置することになる。
　しかしながら、本実施形態に係るパノラマ映像合成装置１００によれば、基準画像ＫＧと残像画像ＺＧの両方をバランス良く歪ませることができるため、背景と異なる奥行きにおいてカメラ装置間を横断するような被写体が有った場合でも、撮影領域の一部が重複する複数の映像を高精度に結合したパノラマ映像を生成することが可能となる。
　（パノラマ映像合成方法）
　図７は、パノラマ映像合成装置１００が行う事前処理の処理手順を示すフローチャートである。
　パノラマ映像合成装置１００が動作を開始すると、残像画像生成部１０は、異なる画角で撮影された映像を構成するフレーム映像のそれぞれから、背景画像ＢＧと基準画像ＫＧを取得する（ステップＳ１）。背景画像ＢＧと基準画像ＫＧは、左眼カメラＣＬと右眼カメラＣＲの両方のフレーム画像からそれぞれ取得する。
　背景画像ＢＧは、パノラマ映像の背景になる画像であり、被写体Ｒが映っていないものが望ましい。基準画像ＫＧは、余計な被写体が映っていないニュートラルな画像であり、例えば最初のフレーム画像であっても良い。
　次に、残像画像生成部１０は、フレーム画像と背景画像ＢＧの差分計算により移動領域を取得する（ステップＳ２）。差分計算により差のある画素の範囲が移動領域である。
　次に、残像画像生成部１０は、移動領域をマスクにしてフレーム画像から移動領域のみを残像領域に転写する（ステップＳ３）。
　この転写をフレーム画像の古いフレーム画像から新しいフレーム画像の方向に繰り返すことで、残像画像ＺＧを生成する（ループＢの繰り返し）。
　特徴点計算部２０は、基準画像ＫＧの特徴点を計算する（ステップＳ４）。特徴点とそれに対応する特徴量は、ＳＩＦＴ等の局所特徴量の計算手法に従って計算する。特徴点計算部２０は、同様に残像画像ＺＧの特徴点と特徴量を計算する（ステップＳ５）。この特徴点計算部２０の計算は、両画角の全てのフレーム画像について実施される（ループＡの繰り返し）。
　次に、特徴点計算部２０は、基準画像ＫＧの特徴点と特徴量及び残像画像ＺＧの特徴点と特徴量を合算した特徴点セットを生成する（ステップＳ６）。特徴点セットは画角ごとに生成される。
　次に、変換パラメータ生成部３０は、特徴点セットを対比させて、特徴量が一致する複数の特徴点を探索し、該特徴点の座標の差から第１変換パラメータを生成し、変換パラメータ記憶部４０に記憶する（ステップＳ７）。
　図８は、パノラマ映像合成装置１００が行う事後処理の処理手順を示すフローチャートである。
　事後処理は、事前処理で生成された第１変換パラメータを用いてフレーム画像を射影変換する。事後処理においては、第１変換パラメータを生成した映像と同じ映像を、射影変換部５０に入力する。
　射影変換部５０は、外部から入力される異なる画角で撮影された複数の映像を構成するフレーム画像に対して第１変換パラメータに基づいた射影変換を実施する（ステップＳ８）。ここで用いる第１変換パラメータは、事前処理において同じ映像から生成されたものである。
　本実施形態では、例えば、左眼カメラＣＬで撮影されたフレーム画像を第１変換パラメータで射影変換する。射影変換は、左眼カメラＣＬで撮影されたフレーム画像の全てについて実施する（ループＤの繰り返し）。どちらのフレーム画像を射影変換するかは、予め利用者が指定する。右眼カメラＣＲで撮影されたフレーム画像を射影変換しても構わない。また、両方のフレーム画像を射影変換しても構わない。
　画像結合部６０は、右眼カメラＣＲで撮影されたフレーム画像に、同時刻に撮影された左眼カメラＣＬの射影変換したフレーム画像を、所定の接合線で結合してパノラマ画像を取得する（ステップＳ９）。
　そして、画像結合部６０は、パノラマ画像の不要領域をトリミングする（ステップＳ１０）。画像結合部６０は、トリミングしたパノラマ画像を出力する（ステップＳ１１）。ステップＳ８～Ｓ１１の処理は、全てのフレーム画像について繰り返し実行される（ループＣの繰り返し）
　〔第２実施形態〕
　図９は、本発明の第２実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。図９に示すパノラマ映像合成装置２００は、残像画像生成部２１０の作用が、パノラマ映像合成装置１００の残像画像生成部１０と異なる。
　残像画像生成部２１０は、異なる画角の映像ごとに該映像を構成するフレーム画像に対して第１変換パラメータを基に射影変換を実施し、射影変換したフレーム画像の画角間の不一致領域を取得し、該不一致領域を元のフレーム画像に戻す射影変換を実施し、フレーム画像の順に元のフレーム画像に戻した不一致領域の重複していない領域と移動していない領域をマスクした画像を重ねた残像画像を生成する。
　図１０は、残像画像生成部２１０で取得できる不一致領域の例を模式的に示す図である。図１０の一段目は、予め取得した第１変換パラメータをもとにフレーム画像の射影変換を実施したフレーム画像である。二段目は画角間の不一致領域を示す。三段目はフレーム画像から不一致領域を抽出するマスクを示す。
　図１０の二段目の不一致領域の白い画素部分は、画角間の画素値が遠いことを示している。また、黒い画素部分は、画角間の画素値が近いことを示している。画素値とは、ＲＧＢ及びＹＵＶの値であり、画角間でその差分を求め、その差分を総計した値である。
　図１０の二段目の不一致領域の中央部分は、画角間で重複している重複領域αであり、背景の建物は一致している。しかし、被写体Ｒは不一致である。
　つまり、図１０の二段目の不一致領域は、左眼カメラＣＬのフレーム画像を第１変換パラメータで歪ませた画像と、右眼カメラＣＲのフレーム画像との不一致領域を示す。
　そこで、残像画像生成部２１０は、不一致領域を第１変換パラメータの逆行列で元のフレーム画像に戻し、その元のフレーム画像に戻した不一致領域の重複していない領域と移動していない領域をマスクにして取り出して画像を重ねた残像画像ＺＧを生成する。
　図１１は、元のフレーム画像に戻した不一致領域から抽出した残像画像ＺＧを示す。図１１に示す残像画像ＺＧは、左眼カメラＣＬと右眼カメラＣＲのそれぞれのフレーム画像のズレの範囲を含む。
　したがって、このようにして生成された残像画像ＺＧを元に第１変換パラメータを求めることで、画角間でズレの大きい部分の画像を重点的に矯正することができる。また、フレーム画像に被写体Ｒが映っていて背景画像ＢＧが取得できない場合でも、残像画像ＺＧを生成することができる。つまり、背景画像ＢＧを使用しなくても残像画像ＺＧを生成できる。
　〔第３実施形態〕
　図１２は、本発明の第３実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。図１２に示すパノラマ映像合成装置３００は、変換パラメータ生成部３３０、射影変換部３５０、及び画像結合部３６０を備える点で上記の実施形態と異なる。
　変換パラメータ生成部３３０は、基準画像ＫＧに含まれる特徴量が一致する特徴点の座標の差からフレーム画像を歪ませる程度を表す第２変換パラメータを生成する。そして、異なる画角の映像の重複領域から被写体の座標を抽出し、該座標の差から該被写体を歪ませる程度を表す第３変換パラメータを生成する。第２変換パラメータは、基準画像ＫＧの特徴点の座標の差のみから生成される点で、特徴点セットの座標の差から生成される第１変換パラメータと異なる。
　第２変換パラメータと第３変換パラメータは、変換パラメータ記憶部４０に書き込まれて記憶される。
　射影変換部３５０は、第２変換パラメータを基にフレーム画像の射影変換を実施し、第３変換パラメータを基に射影変換を実施した重複領域αから被写体画像を抽出する。また、射影変換部３５０は、画角間の重複領域αの背景画像ＢＧαを抽出する。背景画像ＢＧαは、重複領域αに該当する部分だけ背景画像ＢＧαを射影変換するような計算によって取得できる。
　射影変換部３５０が抽出する背景画像ＢＧαの元の画像は、被写体Ｒが映っていない画像であれば第２変換パラメータで射影変換したフレーム画像で有っても良いし、射影変換しないフレーム画像で有っても良い。
　重複領域αから特定の被写体だけを抽出する処理は、残像画像生成部１０がフレーム画像と背景画像ＢＧαの差分計算により移動領域（被写体）を抽出する処理と同じ処理を用いても良い。
　画像結合部３６０は、第２変換パラメータで射影変換したフレーム画像を結合した初期のパノラマ画像を生成し、該初期のパノラマ画像に重複領域の背景画像を重畳し、その後に被写体画像を重畳したパノラマ映像画像を生成する。パノラマ映像画像は、フレーム画像ごとに生成されるので、画像結合部３６０の出力はパノラマ映像信号を構成する。
　図１３は、パノラマ映像合成装置３００が合成するパノラマ画像の例を模式的に示す図である。図１３の一段目は初期パノラマ画像を示す。二段目は左眼カメラＣＬと右眼カメラＣＲの重複領域αを示す。三段目は重複領域αから抽出した被写体の画像に対して第３変換パラメータを基に射影変換を実施した被写体画像を示す。四段目は重複領域αの背景画像ＢＧαを示す。五段目はパノラマ映像画像を示す。
　このように、初期のパノラマ画像に、重複領域αの背景画像を重畳し、その上に被写体のズレを矯正した被写体画像を重畳する。この方法によれば、背景画像ＢＧαの上に被写体画像のズレが適切に矯正された画像が重ねられるのでズレの少ないパノラマ画像を生成することができる。
　以上説明したように本発明の第１実施形態に係るパノラマ映像合成装置１００は、複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像ＢＧと基準となる基準画像ＫＧを取得し、背景画像ＢＧとフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した移動領域を重ねた残像画像ＺＧを生成する残像画像生成部１０と、基準画像ＫＧと残像画像ＺＧのそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部２０と、フレーム画像の前後で特徴点セットの各特徴点を対比させて、特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部３０とを備える。
　これにより、基準画像ＫＧと残像画像ＺＧの両方をバランス良く歪ませることができ、画角間のズレを矯正したズレの少ないパノラマ画像を得ることができる。また、被写体が小さい物体であっても、その移動領域から残像画像を生成することによって、特徴点の検出に十分な面積を確保することができる。その結果、フレーム画像同士を適切に重ねることができる。また、背景と異なる奥行きにおいて重複領域αを横断するような被写体がある場合でも、撮影領域の一部が重複する複数の映像を高精度に結合したパノラマ映像を生成することが可能になる。
　また、本発明の第２実施形態に係るパノラマ映像合成装置２００は、残像画像生成部２１０を備え、残像画像生成部２１０は、異なる画角の映像ごとに該映像を構成するフレーム画像に対して第１変換パラメータを基に射影変換を実施し、射影変換したフレーム画像の画角間の不一致領域を取得し、該不一致領域を元のフレーム画像に戻す射影変換を実施し、フレーム画像の順に元のフレーム画像に戻した不一致領域の重複していない領域と移動していない領域をマスクした画像を重ねた残像画像を生成する。これにより、画角間でズレの大きい部分の画像を重点的に矯正することができる。また、フレーム画像に被写体Ｒが映っていて背景画像ＢＧが取得できない場合でも、背景画像ＢＧから移動領域を抽出しないので残像画像ＺＧを生成することができる。
　また、本発明の第３実施形態に係るパノラマ映像合成装置３００は、変換パラメータ生成部３３０は、基準画像ＫＧに含まれる特徴量が一致する特徴点の座標の差からフレーム画像を歪ませる程度を表す第２変換パラメータを生成し、異なる画角の映像の重複領域αから被写体の座標を抽出し、該座標の差から該被写体を歪ませる程度を表す第３変換パラメータを生成し、第２変換パラメータを基にフレーム画像の射影変換を実施し、第３変換パラメータを基に射影変換を実施した重複領域αから被写体画像を抽出し、重複領域αの背景画像ＢＧαを抽出する射影変換部３５０と、第２変換パラメータで射影変換したフレーム画像を結合した初期のパノラマ画像を生成し、該初期のパノラマ画像に重複領域αの前記背景画像ＢＧαを重畳し、その後に被写体画像を重畳したパノラマ映像画像を生成する画像結合部３６０とを備える。これにより、背景画像ＢＧαの上に被写体画像のズレが適切に矯正された画像が重ねられるのでズレの少ないパノラマ画像を生成することができる。
　本実施形態に係るパノラマ映像合成装置１００，２００，３００の特徴的な機能部は、ＲＯＭ、ＲＡＭ、ＣＰＵ等からなるコンピュータで実現することができる。その場合、各機能部が有すべき機能の処理内容はパノラマ映像合成プログラムによって記述される。そのようなパノラマ映像合成プログラムは、ＣＤ－ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができる。
　本発明はここでは記載していない様々な実施形態等を含むことは勿論である。上記の実施形態は、左眼カメラＣＬと右眼カメラＣＲの2つのカメラ装置で撮影した映像を結合する例で説明したが、本発明はこの例に限定されない。カメラ装置の数は2つ以上の複数であっても良い。
　また、上記の実施形態は、事前処理と事後処理で2回に分けて映像を入力する例で説明したが、1回の映像の入力でパノラマ映像を合成することも可能である。その場合は、本願発明のパノラマ映像合成装置を構成するコンピュータの処理速度を高速にし、フレーム画像が更新される前に、第１変換パラメータを生成するようにすればよい。
　このように本発明は、上記の実施形態に限定されない。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
１０，２１０：残像画像生成部
２０：特徴点計算部
３０，２３０：変換パラメータ生成部
４０：変換パラメータ記憶部
５０，３５０：射影変換部
６０，３６０：画像結合部
７０：制御部
１００，２００，３００：パノラマ映像合成装置

Claims (5)

  1. 　複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、
    　異なる画角の前記映像ごとに該映像を構成するフレーム画像から、前記パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成部と、
    　前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部と、
    　フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部と
    　を備えることを特徴とするパノラマ映像合成装置。
  2. 　前記残像画像生成部は、
    　異なる画角の前記映像ごとに該映像を構成するフレーム画像に対して前記第１変換パラメータを基に射影変換を実施し、射影変換したフレーム画像の前記画角間の不一致領域を取得し、該不一致領域を元のフレーム画像に戻す射影変換を実施し、フレーム画像の順に元のフレーム画像に戻した前記不一致領域の重複していない領域と移動していない領域をマスクした画像を重ねた残像画像を生成する
    　ことを特徴とする請求項１に記載のパノラマ映像合成装置。
  3. 　前記変換パラメータ生成部は、
    　前記基準画像に含まれる前記特徴量が一致する前記特徴点の座標の差からフレーム画像を歪ませる程度を表す第２変換パラメータを生成し、異なる画角の前記映像の重複領域から前記被写体の座標を抽出し、該座標の差から該被写体を歪ませる程度を表す第３変換パラメータを生成し、
    　前記第２変換パラメータを基にフレーム画像の射影変換を実施し、前記第３変換パラメータを基に射影変換を実施した前記重複領域から被写体画像を抽出し、前記重複領域の背景画像を抽出する射影変換部と、
    　前記第２変換パラメータで射影変換したフレーム画像を結合した初期のパノラマ画像を生成し、該初期のパノラマ画像に前記重複領域の前記背景画像を重畳し、その後に前記被写体画像を重畳したパノラマ映像画像を生成する画像結合部と
    　を備える
    　ことを特徴とする請求項１に記載のパノラマ映像合成装置。
  4. 　パノラマ映像合成装置が行うパノラマ映像合成方法であって、
    　異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成ステップと、
    　前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算ステップと、
    　フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成ステップと
    　を含むことを特徴とするパノラマ映像合成方法。
  5. 　請求項１乃至３の何れか一項に記載のパノラマ映像合成装置としてコンピュータを機能させるためのパノラマ映像合成プログラム。
PCT/JP2020/016061 2019-04-24 2020-04-10 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム WO2020218024A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/599,439 US20220180475A1 (en) 2019-04-24 2020-04-10 Panoramic image synthesis device, panoramic image synthesis method and panoramic image synthesis program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-082591 2019-04-24
JP2019082591A JP7093015B2 (ja) 2019-04-24 2019-04-24 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Publications (1)

Publication Number Publication Date
WO2020218024A1 true WO2020218024A1 (ja) 2020-10-29

Family

ID=72941930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016061 WO2020218024A1 (ja) 2019-04-24 2020-04-10 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Country Status (3)

Country Link
US (1) US20220180475A1 (ja)
JP (1) JP7093015B2 (ja)
WO (1) WO2020218024A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393487A (zh) * 2021-05-26 2021-09-14 深圳市宏电技术股份有限公司 运动目标检测方法、装置、电子设备及介质
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
CN115861603A (zh) * 2022-12-29 2023-03-28 宁波星巡智能科技有限公司 兴趣区域锁定方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900021399A1 (it) * 2019-11-18 2021-05-18 Telecom Italia Spa Metodo e sistema per lo stitching video
JP7458089B2 (ja) 2022-03-31 2024-03-29 株式会社ペストビジョンソリューションズ 虫同定用画像データの生成方法及び虫同定システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164258A (ja) * 2005-12-09 2007-06-28 Kurabo Ind Ltd 画像合成処理装置及び方法
WO2018211926A1 (ja) * 2017-05-16 2018-11-22 富士フイルム株式会社 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP2019033344A (ja) * 2017-08-07 2019-02-28 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998054892A1 (en) * 1997-05-28 1998-12-03 Sony Corporation Block distortion reduction method and device and encoding method and device
KR100342481B1 (ko) * 2000-08-22 2002-06-28 윤종용 광섬유의 횡단 측정을 위한 이미지 추적 장치 및 방법
US7127125B2 (en) * 2002-01-04 2006-10-24 Warner Bros. Entertainment Inc. Registration of separations
GB0227566D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
JP4189358B2 (ja) * 2004-06-17 2008-12-03 株式会社東芝 画像符号化装置及び方法
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
JP4544334B2 (ja) * 2008-04-15 2010-09-15 ソニー株式会社 画像処理装置および画像処理方法
JP5921068B2 (ja) * 2010-03-02 2016-05-24 キヤノン株式会社 画像処理装置、制御方法及び光干渉断層撮影システム
FR2969352B1 (fr) * 2010-12-20 2012-12-14 St Ericsson Sa Procede de realisation d'une image panoramique et appareil de mise en oeuvre.
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP5868061B2 (ja) * 2011-08-04 2016-02-24 キヤノン株式会社 撮像装置
JP6108176B2 (ja) * 2012-01-31 2017-04-05 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
CN104685870B (zh) * 2012-07-24 2019-10-18 统一有限责任两合公司 用于测试视频质量的方法、设备和系统
US10321127B2 (en) * 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10311633B2 (en) * 2014-01-17 2019-06-04 Nokia Technologies Oy Method and apparatus for visualization of geo-located media contents in 3D rendering applications
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
GB2547842B (en) * 2014-12-04 2020-09-16 Mitsubishi Electric Corp Image processing device and method, image capturing device, program, and record medium
CN108932697B (zh) * 2017-05-26 2020-01-17 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164258A (ja) * 2005-12-09 2007-06-28 Kurabo Ind Ltd 画像合成処理装置及び方法
WO2018211926A1 (ja) * 2017-05-16 2018-11-22 富士フイルム株式会社 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP2019033344A (ja) * 2017-08-07 2019-02-28 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393487A (zh) * 2021-05-26 2021-09-14 深圳市宏电技术股份有限公司 运动目标检测方法、装置、电子设备及介质
CN113393487B (zh) * 2021-05-26 2023-12-29 深圳市宏电技术股份有限公司 运动目标检测方法、装置、电子设备及介质
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
WO2023005170A1 (zh) * 2021-07-30 2023-02-02 贝壳技术有限公司 全景视频的生成方法和装置
US11812154B2 (en) 2021-07-30 2023-11-07 Realsee (Beijing) Technology Co., Ltd. Method, apparatus and system for video processing
CN115861603A (zh) * 2022-12-29 2023-03-28 宁波星巡智能科技有限公司 兴趣区域锁定方法、装置、设备及存储介质
CN115861603B (zh) * 2022-12-29 2023-09-26 宁波星巡智能科技有限公司 婴幼儿看护场景下兴趣区域锁定方法、装置、设备及介质

Also Published As

Publication number Publication date
JP2020182045A (ja) 2020-11-05
JP7093015B2 (ja) 2022-06-29
US20220180475A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
WO2020218024A1 (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP6157606B2 (ja) 画像融合方法及び装置
KR100929085B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체
US5798791A (en) Multieye imaging apparatus
JPH10178564A (ja) パノラマ画像作成装置及び記録媒体
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
JPH1091765A (ja) 画像合成装置及びその方法
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
JPH1093808A (ja) 画像合成装置および方法
JP2010224607A (ja) 画像合成装置及びプログラム
CN105023260A (zh) 一种全景图像融合方法及融合装置
JP4830380B2 (ja) 車両周辺監視装置及び車両周辺監視方法
JP2009520975A (ja) ステレオビジョンにおいて密な視差場を求める方法
CN110276714B (zh) 快速扫描式全景图图像合成方法及装置
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
JPH10126665A (ja) 画像合成装置
KR101819984B1 (ko) 실시간 영상 합성 방법
JP4128123B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4017578B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP7108855B2 (ja) 画像合成装置、及び、制御方法
JP2821042B2 (ja) 画像合成装置
JP6332982B2 (ja) 画像処理装置およびその方法
Atokari et al. Parallax-tolerant 360 live video stitcher
JP7458281B2 (ja) 色調補正装置及びそのプログラム
JP4286301B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794320

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20794320

Country of ref document: EP

Kind code of ref document: A1