WO2018079490A1 - 画像生成装置、および画像生成プログラム - Google Patents

画像生成装置、および画像生成プログラム Download PDF

Info

Publication number
WO2018079490A1
WO2018079490A1 PCT/JP2017/038196 JP2017038196W WO2018079490A1 WO 2018079490 A1 WO2018079490 A1 WO 2018079490A1 JP 2017038196 W JP2017038196 W JP 2017038196W WO 2018079490 A1 WO2018079490 A1 WO 2018079490A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature point
frame
movement
image generation
Prior art date
Application number
PCT/JP2017/038196
Other languages
English (en)
French (fr)
Inventor
小池　英樹
正和 中澤
一輝 下澤
Original Assignee
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学 filed Critical 国立大学法人東京工業大学
Priority to JP2018547656A priority Critical patent/JP7211621B2/ja
Publication of WO2018079490A1 publication Critical patent/WO2018079490A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image generation device and an image generation program.
  • Non-Patent Document 1 an image generating apparatus that obtains a surrounding image viewed from an object by combining a camera with a rotating object is known (for example, see Non-Patent Document 1).
  • an object of the present invention is to provide an image generation apparatus and an image generation program that can generate an easy-to-view moving image from a stable image with the viewpoint fixed in the same direction.
  • the image generation apparatus captures feature points existing in an image when generating a moving image in the same viewpoint direction based on an imaging unit attached to a moving object and an image acquired by the imaging unit. And a control unit that calculates the amount of movement by matching with the feature points in the image after movement, and repeats returning the image by the amount of movement, thereby continuing the frames of the moving image.
  • FIG. 6 is a schematic conceptual diagram illustrating a state of a frame that has been restored by correction when an error frame occurs.
  • FIG. 1 It is a typical conceptual diagram which shows an example of the image generation program of other embodiment, and shows a mode that a meaningless image flows after an error in the existing method which the left image shows for comparison.
  • the image on the right side shows an improved state, and is a schematic conceptual diagram for explaining the state of a frame that has been restored by correction even if an error frame occurs in the frame.
  • the first line from the top indicates a frame in which captured images are continuous
  • the second line includes a step of collating feature points after the step of extracting feature points.
  • the third line shows a frame after stabilization using a conventional image generation program for comparison
  • the fourth line shows a frame after stabilization using the image generation program of this embodiment. It is shown. It is a perspective view explaining the crane vehicle of the modification 1 of embodiment. It is a perspective view explaining the drone (unmanned aerial vehicle) of the modification 2 of other embodiments. It is a perspective view explaining the fishing rod of the modification 3 of other embodiment.
  • FIG. 1 is a schematic block diagram illustrating the configuration of the image generation apparatus S of the embodiment.
  • the image generation apparatus S of the embodiment includes an imaging unit 1, a PC (personal computer: control unit) 2 that performs control, and a camera 4 that is attached to an object.
  • PC personal computer: control unit
  • the ball 3 as an object is provided with an imaging unit 1 that moves with a rotational motion.
  • Each camera 4 is provided with a lens 5, and each lens 5 is arranged outward.
  • the camera 4 can function as an omnidirectional camera capable of photographing the entire space around the ball 3.
  • the captured moving image is an omnidirectional moving image
  • the omnidirectional moving image shoots information in all directions (360 ° around the ball 3). be able to. Therefore, the omnidirectional video does not cause a visual field break such as the front in the moving direction and the back in the moving direction at any viewpoint.
  • Control unit 12 a display unit 13 including a monitor for outputting and displaying a moving image calculated by the control unit 12, and an input unit 20 such as a keyboard.
  • the communication interface unit 10 is connected to the network 100 and includes communication means that transmits and receives data and that can receive data photographed by the camera 4 of the ball 3.
  • the communication interface unit 10 is configured to receive an image signal sent from the moving ball 3 including rotation by wireless communication such as Bluetooth (registered trademark).
  • wireless communication such as Bluetooth (registered trademark).
  • Bluetooth was mentioned here as an example of radio
  • the storage unit 11 includes a volatile memory and a nonvolatile memory.
  • the volatile memory includes a static random access memory (SRAM) and a dynamic random access memory (DRAM).
  • BIOS, program code, system software, and the like are stored in a nonvolatile memory.
  • Non-volatile memory includes optical disks such as read only memory (ROM), EPROM, EEPROM, flash memory, magnetic storage media, and compact disks.
  • a moving image 11a, a feature point image 11b, a mathematical expression 11c, and an attitude conversion matrix 11d are stored so that they can be called at any time.
  • control unit 12 is mainly configured by a CPU (Central Processing Unit) or the like, and executes a program stored in the storage unit 11 or an application program downloaded from the network 100.
  • control part 12 is comprised so that the information of the image sent from the camera 4 may be calculated and a moving image may be produced
  • the moving image is output and displayed on the display unit 13 (see FIG. 1).
  • the control unit 12 includes an acquisition unit 12 a that acquires moving images from the six cameras 4.
  • the acquisition unit 12a generates one omnidirectional image 41.
  • the control unit 12 selects n images (n is an arbitrary natural number, ⁇ / n, which is 6 images from the one celestial sphere image 41, but is not related to the number of cameras 4). .)),
  • a dividing unit 12b that generates a rotated image, an extracting unit 12c that extracts a feature point of a low-latitude portion, and an integrating unit 12d that integrates n images into one whole image.
  • the control unit 12 includes a calculation unit 12e that calculates the degree of coincidence, a generation unit 12f that estimates the posture, and an output unit 12g that outputs the generated image.
  • the control unit 12 captures a feature point existing in the image and matches it with the feature point in the moved image, thereby calculating the movement amount and correcting the posture.
  • the feature point is, for example, a portion where the change in the pixel value is larger or rarely smaller than the other portion, and indicates a portion where the difference from the other portion is clear.
  • the extraction unit 12c extracts feature points from each frame using SIFT (Scale-Invariant FeatureTransform).
  • SIFT Scale-Invariant FeatureTransform
  • This SIFT generates a DoG (Difference-of-Gaussian) image from the difference between images smoothed with various intensities, and changes the value in the Gaussian direction, that is, when blurs with different intensities are applied to the image.
  • Feature points are extracted based on changes in pixel values.
  • FIG. 5 shows spherical coordinates.
  • FIG. 6 shows omnidirectional image coordinates by equirectangular projection.
  • An image represented by equirectangular projection has the property that a meridian and a latitude line form a right angle, and intersect at equal intervals of longitude and latitude. However, on the spherical surface, they are not arranged at equal intervals. Therefore, when the omnidirectional image is displayed as a two-dimensional image on the display unit 13, information is correctly displayed in the low-latitude region, but in the high-latitude region, the information is stretched in the longitude direction and distortion occurs. For this reason, in high-latitude regions, feature points may not be acquired or feature amounts may not be extracted accurately.
  • the extraction unit 12c performs feature point extraction using only the low latitude portion for all n sheets.
  • SIFT is used to extract feature points.
  • feature points may be extracted using other algorithms such as SURF and AKAZE instead of SIFT.
  • the integration unit 12d creates one image having feature points using the extraction result of the n rotated images. These operations are performed on the frames at each time.
  • the calculation unit 12e performs feature point matching using the feature points of the previous frame and the current frame, and obtains the posture conversion matrix R.
  • the control unit 12 moves the image to a low latitude portion that is a portion with a small distortion at the peripheral edge in the same viewpoint direction, and then matches the feature point.
  • the generation unit 12f returns the current frame image to the image of the previous frame using the posture conversion matrix R.
  • the output unit 12g outputs an image to the display unit 13 such as a monitor.
  • the display unit 13 outputs and displays a moving image in the same viewpoint direction generated by the control unit 12. Then, the three-dimensional omnidirectional image captured by the camera 4 is displayed in real time as a two-dimensional image by the display unit 13.
  • the omnidirectional camera constituted by the camera 4 is assumed to be a three-dimensional spherical surface centered on the camera as a camera model, the latitude and longitude ( ⁇ , ⁇ ) of the three-dimensional spherical surface and the whole sky by the equirectangular projection
  • u w / 2 ⁇ ⁇ ( ⁇ + ⁇ ) ( ⁇ ⁇ ⁇ ⁇ ) (1)
  • v h / ⁇ ⁇ ( ⁇ + ⁇ / 2) ( ⁇ / 2 ⁇ ⁇ ⁇ / 2) (2)
  • w is the width of the image
  • h is the height of the image.
  • step S1 image processing of the image generating apparatus S of the embodiment will be described along the flowchart shown in FIG. 7 with reference to FIGS.
  • image processing is started based on data photographed by the camera 4, an image is acquired by the acquisition unit 12a in step S0.
  • step S1 in order to extract a feature point, the feature point which exists in the image of the moving image imaged by the imaging part 1 is caught (refer FIG. 8).
  • the acquisition unit 12a (see FIG. 4) of the control unit 12 of this embodiment, when a region of interest for which feature points are to be extracted is at a high latitude, rotates the region of interest in the same viewpoint direction ahead of the moving direction by rotating the spherical surface. Move to a low-latitude region with less distortion at the periphery. That is, the control unit 12 captures and generates one omnidirectional image 41 shown in FIG. 8 at each time (original). From this omnidirectional image 41, the dividing unit 12b (see FIG. 4) generates n (from ⁇ / n) rotated images 42 to 47.
  • the rotated images 42a to 47a are rotated by ⁇ / 6 (the value of n is arbitrarily determined), and here, 6 images (6 images since ⁇ / 6) are generated.
  • the extraction unit 12c performs feature point extraction using only the low-latitude part with less image distortion in each of the six rotated images 42a to 47a.
  • the integration unit 12d collectively sets the feature points obtained from these six images as the feature points of the entire image 49. As a result, feature points with less influence of distortion are extracted from the original image.
  • the attention area is moved to the low latitude area by the rotation of the spherical surface. That is, by rotating the camera 4 by an appropriate amount around the X axis of the coordinate system, the high latitude region can be pseudo-moved to the low latitude. For example, as shown in the rotated images 42a to 47a in FIG. 8, the region of interest existing at the high latitude moves to the low latitude region with less distortion at the periphery in the same viewpoint direction as the moving direction, and the low latitude region It is possible to accurately extract feature points and feature amounts as if they existed in.
  • step S2 feature point matching is performed by the calculation unit 12e (see FIG. 4) (see FIG. 9).
  • the image is moved to a portion with a small distortion at the peripheral edge in the same viewpoint direction, and then the feature point in the image before the movement and after the movement
  • the feature points in the image are matched.
  • the feature point of the frame t and the feature point of the frame (t + 1) are collated.
  • a straight line extending over two frames t and (t + 1) connects feature points estimated to be the same. Since the feature points and feature quantities of each frame are accurately extracted from the feature points moved to the low latitude, the reliability of the matching result is improved.
  • step S3 the posture change is estimated by the calculation unit 12e (see FIG. 4) (see FIG. 10).
  • the basic matrix E is decomposed into rotation and translation, and the posture conversion matrix R of the posture change of the camera 4 is obtained. That is, the coordinates of the feature points extracted on the omnidirectional image are converted into normalized image coordinates.
  • the basic matrix E between the cameras at the time of photographing two frames is estimated by the 8-point algorithm using the result of the collation. Note that it is better to use RANSAC or Lmeds for robust estimation.
  • a posture transformation matrix R is obtained in which a rotation matrix and a translation vector between two frames are obtained. For this reason, the posture change of the camera 4 between two frames is obtained by the posture conversion matrix R.
  • step S4 posture correction is performed by the generation unit 12f (see FIG. 4) (see FIG. 11A).
  • the posture conversion matrix R indicating the posture change for each frame is obtained, the posture of an arbitrary frame is corrected as the product of these, and the posture between all the adjacent frames from the frame F1 to the frame Fn is corrected.
  • the posture transformation matrix R is estimated between all adjacent frames starting from the initial frame to the current frame. Then, the sum of those can be regarded as a rotation matrix representing the posture change between the initial frame and the current frame as shown in FIG.
  • the current frame can be made continuous with the viewpoint of the initial frame by applying the posture transformation matrix R (n ⁇ 1) (n is the number of frames) to the current frame.
  • the posture is not estimated directly between the initial frame and the current frame.
  • reasons for this That is, (i) the time difference between adjacent frames is very small. For this reason, the amount of movement of the feature points is limited to a very small amount. Thereby, collation of feature points having a large movement amount on the three-dimensional spherical surface can be filtered.
  • the time difference between adjacent frames is very small. Thus, the scene is static.
  • the time difference between adjacent frames is very small. Therefore, there is no change in the way the feature points appear due to translation.
  • step S5 it is determined whether there is a next frame. If there is a next frame in step S5 (Yes in step S5), the process returns to step S2 and feature point extraction is continued. In step S5, when there is no next frame (No in step S5), the control unit 12 ends the process.
  • the image generation device S of this embodiment when it is determined in the feature point matching step S2 that the feature point is in a portion with a large distortion at the peripheral edge of the image, the image is moved to a portion with a small distortion at the peripheral edge in the same viewpoint direction. Therefore, the feature point in the image before movement is matched with the feature point in the image after movement. For this reason, even if the ball 3 provided with the camera 4 is rotating at high speed, the feature points can be extracted using only the low-latitude portions where the image distortion is small in each of the six rotated images 42a to 47a. it can. Therefore, the accuracy of the extracted feature points and feature amounts can be improved.
  • the generated moving image can provide a stable moving image in which there is no invisible portion obtained by photographing the entire periphery of the ball 3 that rotates and moves. For this reason, it can be used in various fields such as sports, medical care, and disaster sites.
  • a frame break is generated at any viewpoint such as the front in the moving direction and the back in the moving direction. It is possible to generate a moving image with a continuous field of view.
  • FIG. 12 is an exploded perspective view illustrating a configuration of a ball 30 in which an omnidirectional camera 14 serving as an imaging unit is built in the image generation apparatus S according to a modified example of the embodiment. Note that description of the same or equivalent parts as in the above embodiment is omitted.
  • the ball 30 of this modified example is configured such that a pair of dome 31 and 32 made of a transparent hemispherical transparent acrylic resin are engaged to form a spherical shape.
  • a fixing circular plate 15 is provided inside the ball 30. The fixing circular plate 15 is fixed to the inner side surfaces 31a and 32a of the domes 31 and 32 so as not to move.
  • a mounting hole 16 for fixing the omnidirectional camera 14 is opened in a part of the fixing circular plate 15.
  • the omnidirectional camera 14 of this modified example has two lenses 14c each having a field angle of view of 180 degrees or more, preferably about 270 degrees on the front and back side surfaces 14b of the box-shaped housing 14a. 14c is provided.
  • the two lenses 14c and 14c are arranged at substantially the centers of the domes 31 and 32 with the housing 14a fitted in the mounting hole 16 of the fixing circular plate 15. Therefore, the omnidirectional camera 14 can generate an omnidirectional image obtained by photographing the surroundings by 360 degrees by combining the images of the two lenses.
  • the omnidirectional camera 14 of the modified example configured as described above, the surroundings can be photographed 360 degrees by the two lenses 14c provided on the front and back side surfaces 14b. For this reason, in the omnidirectional camera 14 of this modified example, in addition to the effects of the embodiment, the number of cameras is further reduced, the moving image frames are continuous in any direction, and the line of sight is viewed in a certain direction. Can be smoothly generated.
  • ⁇ Other embodiments> 13 to 22 show another embodiment in which the image generation apparatus and the image generation program of the present invention are applied to a medical capsule endoscope 80.
  • FIG. 13 In recent years, in the medical field, as shown in FIG. 13, a capsule endoscope 80 having fish-eye lenses 83 and 83 and incorporating cameras 82 and 82 capable of photographing a wide range at both ends has become widespread. As shown in FIG. 14, the capsule endoscope 80 images surrounding organs from the inside while flowing down the digestive organs by swallowing the subject k. Thereby, the inside of a body can be confirmed easily.
  • the capsule endoscope 80 has some problems. For example, there is a problem in that images obtained from two cameras 82 and 82 cannot be observed simultaneously. In response to this problem, the omnidirectional video is generated from the images obtained from the cameras 82 and 82, so that the practitioner can recognize the positional relationship between the two images at a glance.
  • the capsule endoscope 80 is a capsule endoscope in which small cameras 82 and 82 are incorporated.
  • the capsule endoscope 80 has a type in which a small camera as an imaging unit is attached only on one side or one at each end.
  • this embodiment will be described using a capsule endoscope having small cameras 82 and 82 on both sides.
  • small cameras 82 and 82 are attached to both ends in the axial direction of a cylindrical tube member 84, respectively.
  • a transparent optical dome 86, 86 having a substantially hemispherical shape is mounted so as to close the opening at the end.
  • Each camera 82 is covered with an optical dome 86 attached to each end.
  • Two cameras 82 and 82 provided at each end of the cylindrical member 84 can shoot a celestial sphere image close to 360 degrees. Then, the photographed video is transmitted to the recorder 87 (FIG. 14) attached to the subject k by the wireless transmission device built in the capsule endoscope 80.
  • the recorder 87 is connected to a sensor 88 attached to the body of the subject k.
  • the moving image calculated by the control unit 12 (see FIG. 1) is output to the monitor of the display unit 13 as in the above-described embodiment.
  • the practitioner can view the image sent to the recorder 87 outside the body of the subject through the display unit 13. At this time, the position information by the sensor 88 and the captured moving image may be associated with each other so that the position in the body is specified.
  • the viewpoint is fixed by removing the rotation component from the omnidirectional video captured by the camera attached to the ball.
  • the ball camera of the above embodiment and the capsule endoscope 80 of this embodiment are common in that they move while rotating. Therefore, when the stabilization method of the above embodiment is applied to the capsule endoscope 80, the image of the capsule endoscope 80 that moves while rotating can be stabilized so that the operator can easily see the image.
  • the capsule endoscope 80 has two small cameras 82 and 82 facing the opposite side on the axis L 180 degrees.
  • the omnidirectional image is created by converting fish-eye images taken by these two cameras 82 and 82 using an equirectangular projection method, a cube map method, or the like.
  • the image of the capsule endoscope 80 is not a complete circular fisheye image (circumferential fisheye image) but a diagonal fisheye image. ⁇ D will be cut off.
  • the angle of view ang of each camera is about 172 degrees, and portions of 0 to 4 degrees and 176 degrees to 180 degrees are not photographed. For this reason, a 360-degree captured image cannot be obtained simply by combining the images of the two cameras 82 and 82.
  • the cameras 82 and 82 built in the capsule endoscope 80 are not always shooting in synchronization, but are shooting independently. That is, the time stamps of images taken by the two cameras 82 and 82 do not match. For this reason, an omnidirectional image cannot be easily created.
  • the used capsule endoscope 80 takes images intermittently in consideration of the capacity of the battery, or changes the frame rate according to the moving speed as described above. For example, when the movement of the capsule endoscope 80 in the digestive tract is slow, the number of sheets is adjusted according to the moving speed of the capsule endoscope 80, such as 4 sheets per second when the movement is fast and 35 sheets per second when the movement is fast. Taken. For this reason, some frames may be lost.
  • the capsule endoscope 80 takes a picture in a narrow space called the internal organs while contacting the internal wall surface of the internal organs. For this reason, the image is dark overall and not clear. Therefore, the shot video is not a completely continuous video from the start of shooting to the end of shooting.
  • the viewpoint fixing algorithm feature point matching is performed between frames. For this reason, whether or not a feature point of an image can be obtained when creating an omnidirectional video greatly affects the stabilization of the image.
  • FIG. 16 shows that a halfway frame is missing when the frame rate is not constant.
  • the image generation apparatus determines that the posture estimation has failed when the number of feature point matching between frames is equal to or less than a certain threshold.
  • Rij is the posture change between frame i and frame j, it is expressed by the following formula 1.
  • FIG. 17 is a schematic conceptual diagram showing an example of successful feature point matching.
  • FIG. 18 is a schematic conceptual diagram showing an example in which feature point matching has failed.
  • the intermediate frames are complemented and the number of frames taken by the cameras 82 and 82 on both sides is made the same.
  • a continuous fisheye image (a pseudo-circular fisheye image). That is, the missing frame and the previous frame are replaced. Thereby, the missing frame portions are smoothly connected, and a pseudo continuous fisheye image can be obtained.
  • the control unit 12 determines that the time stamps of the images taken by the respective cameras 82 and 82 do not match each other and it is difficult to match the frames, Processing is performed as if the images were taken at the same time.
  • the angle of view of one camera 82 is smaller than 180 degrees in the image of FIG. 15 ( For example, 172 degrees), it has portions a to d cut out in the vertical and horizontal directions. Therefore, as shown in FIG. 19, the virtual angle can be converted using the equirectangular projection by treating it as a circle having a field angle of 180 degrees virtually.
  • FIG. 19 is a schematic conceptual diagram illustrating a state where a missing frame is complemented.
  • the area from the boundary line of the parts a to d of the photographed image to the outer circle is treated as a black image with a blind spot.
  • the missing upper, lower, left and right portions a to d are complemented with black images.
  • the black band that appears in the surroundings when converted to an omnidirectional image is the converted part.
  • FIG. 20 is a schematic conceptual diagram for explaining how to supplement a missing frame.
  • FIG. 21 is a schematic conceptual diagram illustrating that an incomplete fish-eye image is converted into an omnidirectional image.
  • Specific procedures for creating an omnidirectional image from raw data captured by the camera 82 are as follows: (1) Cut out unnecessary parts such as time information from the raw data. (2) After supplementing the missing portions of the two fisheye images assumed to have been taken at the same time, they are arranged side by side to form one image. (3) Convert to an omnidirectional image by equirectangular projection. The processes (1) to (3) are performed on all frames. And it can convert into a spherical motion video by connecting between frames.
  • FIG. 22 is a schematic conceptual diagram illustrating a state of a frame that has been restored by correction when an error frame has occurred in the frame.
  • the algorithm of the omnidirectional video stabilization method has a problem that if the feature point matching fails, the meaningful video ends there (see the upper right part in FIG. 22) (hereinafter, when the failure occurs) Are called error frames).
  • the cumulative rotation matrix is initialized with a unit matrix, and the process is started again with the next frame as a base point.
  • the ball camera of the above embodiment was improved and applied to the capsule endoscope 80. Since the rotation matrix between the error frame and the previous frame is also initialized with the unit matrix, the viewpoint of the base frame is different from the viewpoint of the frame at the start of the program. That is, every time matching fails, the viewpoint is fixed to the viewpoint of the error frame.
  • the used capsule endoscope 80 is a colon capsule endoscope capable of photographing the colonic mucosa at 4 frames to 35 frames per second, with the angle of view being 172 ⁇ 2 degrees, the frame rate changing according to the moving speed. Using.
  • the problem that the cameras 82 and 82 used in the capsule endoscope 80 are not synchronized or the frame is lost may be solved by making the frame rate constant.
  • the capsule endoscope 80 has a blind spot because the angle of view is 172 ⁇ 2 degrees. It was difficult to understand because it was divided into three parts when converted to a celestial sphere movie, but it was judged that the viewpoint was fixed to some extent. However, it is not completely complete because it is obviously corrected unnaturally due to erroneous estimation. In addition, when feature point matching failed and a rotation matrix could not be obtained, the processing could be re-executed with the next frame as a base point.
  • FIG. 23 shows an image of the comparative example on the left side.
  • a meaningless image flows after an error in the existing method.
  • 23 is a schematic conceptual diagram showing a state in which the image on the right side in FIG. 23 is improved so that rotation can be estimated even after an error in the image generation program of the image generation apparatus using the capsule endoscope 80 of the present embodiment. It is. However, even if the correction is continued, it is determined that the matching has failed only when the rotation matrix is not obtained, and incorrect rotation is performed by the rotation matrix obtained by incorrect estimation. It cannot be detected when it is broken. For this reason, the process may have progressed with incorrect rotation.
  • the upper, lower, left and right portions a to d that are blind spots are complemented with black images. This makes it easier to understand the connection between two fisheye images, even if it is not a complete omnidirectional image.
  • the second point is that the rotation cannot be estimated due to incorrect estimation by feature point matching or the small number of matching.
  • Feature point matching is more likely to succeed as there are more feature points in the image.
  • the image is taken in close contact with the internal organs like the image of the capsule endoscope 80, the image is dark and has few feature points. In such a case, there is a high possibility that the feature point cannot be detected and erroneous estimation or failure occurs.
  • the camera has rotated in an image such as the internal organs in which the surrounding situation is constantly changing, and this may cause erroneous estimation.
  • step S00 to S12 feature points are extracted from the frame (step S10) of the acquired image (step S00) in the same manner as in steps S0 to S2 of the embodiment (step S11). Then, the next frame and the feature point are collated (step S12) (refer to the first and second lines in FIG. 25).
  • step S16 it is determined whether the collation has failed or succeeded. If the collation succeeds in step S16, the process proceeds to the next step S13 (NO in step S16). If the collation fails in step S16, the process returns to step S10 (YES in step S16) to acquire the frame. Do.
  • step S15 the posture change is estimated (see FIG. 10) in the same manner as from step S3 to step S5 in the above embodiment (see FIG. 10), and the posture obtained from the two frames by the 8-point algorithm using the result.
  • step S14 posture correction is performed using the transformation matrix R.
  • step S10 is repeated until the collation is successful.
  • step S15 it is determined whether or not there is a next frame, as in step S5 of the embodiment. If there is a next frame in step S15 (Yes in step S15), the process returns to step S10, and feature point extraction is continued (steps S11 to S12). If there is no next frame in step S15 (No in step S15), the control unit 12 ends the process as in the above embodiment.
  • an image captured by the capsule endoscope 80 is converted into an omnidirectional image, and a viewpoint fixing algorithm is applied.
  • a viewpoint fixing algorithm is applied in the original algorithm.
  • the base frame is not displayed as in the image generation program of the image generation apparatus of this embodiment. Even after failing by updating, it was possible to fix the viewpoint, recover from the error, and continue the image (see the lower right portion in FIG. 22). It is more desirable to estimate the rotation matrix using a Kalman filter or the like in order to prevent the viewpoint from changing each time the failure occurs.
  • the capsule endoscope 80 when the image itself captured by the capsule endoscope 80 is dark, it is used for the capsule endoscope 80 such as using auxiliary light of the LED illumination device or changing the ISO sensitivity to high sensitivity. It is even better to improve the performance of the camera 82.
  • FIG. 26 shows a crane 50 according to the first modification of the embodiment.
  • a hook member 53 is suspended from one end of a wire 52 that extends from the tip of an arm portion 51.
  • the ball 3 or the like of the embodiment is locked to the hook member 53, and the ball 3 can be lowered from the tip of the arm portion 51 extended to a position separated from the driver seat 54.
  • the ball 3 can be caused to enter a space where a person cannot enter due to a disaster site or the like, and an internal state can be captured with a stable image.
  • FIG. 27 illustrates a drone (unmanned aerial vehicle) 60 according to the second modification of the embodiment.
  • a camera 62 equivalent to the ball 3 of the above embodiment or the capsule endoscope 80 of the other embodiment is mounted, and the drone 60 is separated from the operator. It is possible to take a picture of the surrounding area with a stable image. Since the drone 60 can be remotely operated, the operator can take a detailed picture of the situation at the site even if the operator is away from the disaster site, thereby preventing a secondary disaster.
  • FIG. 28 is a fishing rod 70 according to Modification 3 of the embodiment.
  • the reel 72 fixed to the hand of the rod 71 passes through a plurality of guides 73 and the fishing line 74 is fed out.
  • a camera 75 equivalent to the ball 3 of the embodiment or the capsule endoscope 80 of the other embodiments is attached. Then, the camera 75 at the tip of the fishing line 74 is lowered at a position away from the person on the ground holding the rod 71, and the underwater state can be captured with a stable image.
  • six rotated images 42a to 47a rotated by ⁇ / 6 are generated from one imaged celestial sphere 41.
  • the present invention is not limited to this.
  • one or a plurality of images with different rotation angles such as four or eight images rotated by ⁇ / 4 or ⁇ / 8 may be used at any angular interval in the rotation direction. As long as the feature point can be extracted using a low-latitude part with less image distortion.
  • the imaging unit 1 is configured by the six cameras 4 and, in the modified example, by the omnidirectional camera 14 having the two lenses 14c corresponding to the two cameras.
  • the present invention is not limited to this.
  • the imaging unit 1 may be configured using one or a plurality of cameras, and the captured moving image becomes an omnidirectional moving image, and the omnidirectional moving image preferably records information in all directions.
  • the number, shape, and combination of cameras are not particularly limited as long as they can be used.
  • a capsule endoscope 80 having fish-eye lenses 83 and 83 and incorporating cameras 82 and 82 capable of photographing a wide range at both ends is used.
  • the camera 82 is provided on at least one of the one side and the other side and can capture a wide range
  • a wide-angle lens other than the fish-eye lens 83 may be used.
  • the shape, quantity, and material of 82 and the lens are not particularly limited.
  • the balls 3 and 30 are used as an object to which the imaging unit 1 is attached, but the invention is not limited to this.
  • an omnidirectional camera may be mounted on each surface of a cube frame that can be rotated and moved.
  • an elliptical sphere such as a rugby ball may be used.
  • the shape of an object that moves with a rotational motion is not limited to a spherical shape.
  • the present invention is not limited to this, and at least one of the rotation motion and the translation motion is performed. If it is.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

視点を同一方向に固定して、安定した画像が良好な動画を生成できる画像生成装置、および画像生成プログラムである。カメラ（４）で撮像された画像に基づき、同一視点方向の動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、移動量で画像を戻すことを繰り返して動画のフレームを連続させる制御部（１２）を備える。制御部（１２）では、特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、特徴点を一致させる。

Description

画像生成装置、および画像生成プログラム
　本発明は、画像生成装置、および画像生成プログラムに関する。
　従来、回転する物体に、カメラを組み合わせて、物体から見た周囲の映像を得る画像生成装置が知られている（例えば、非特許文献１等参照）。
Jonas Pfeil，Kristain Hildebrand，Carsten Gremzow，Bernd Bickel，and Marc Alexa.Throwable panoramic ball camera. In SIGGRAPH Asia 2011 Emerging Technologies，SA’11，pp.4:1-4:2
　しかしながら、このような従来の画像生成装置では、物体の回転の程度によってカメラの姿勢も変化し、視線が不安定になる。このため、安定した画像を得るため、視点を固定したいが、視点がぶれて生成された動画が見ずらくなってしまう。
　また、静止画を連結する手法では、先の画像へ再生箇所がジャンプしてしまい、一瞬動きが止まったり、ある画像から次の画像に映像が飛んで連続していない不自然な映像になってしまういわゆるコマ落ちが発生する場合もある。
　そこで、本発明は、視点を同一方向に固定して、安定した画像から見やすい動画を生成できる画像生成装置、および画像生成プログラムを提供することを課題としている。
　本発明に係る画像生成装置は、移動する物体に装着される撮像部と、撮像部で取得された画像に基づき、同一視点方向の動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、移動量で画像を戻すことを繰り返して動画のフレームを連続させる制御部とを備えることを特徴としている。
　本発明によれば、視点が同一方向に固定されて安定した画像が良好な動画を生成することができる。
画像生成装置の構成を示す模式的なブロック図である。 画像生成装置のうち、撮像部が設けられたボールの構成を示す斜視図である。 画像生成装置の記憶部に格納される情報を示す模式的なブロック図である。 画像生成装置の制御部の構成を示す模式的なブロック図である。 正距円筒図法を示す図である。 変形例の画像生成装置で、撮像部が設けられたボールの構成を示す分解斜視図である。 画像生成装置に用いられる画像生成プログラムのフローチャートである。 画像生成装置で、特徴点を抽出する様子を示す概念図である。 画像生成装置で、特徴点を照合させる様子を示す概念図である。 画像生成装置で、姿勢変化を推定する様子を示す概念図である。 画像生成装置で、姿勢を修正する様子を示す概念図である。 変形例の画像生成装置で、全天球カメラを内蔵したボールの構成を示す模式的な分解斜視図である。 他の実施形態の画像生成装置に用いるカプセル内視鏡の全体図である。 カプセル内視鏡の使用態様を示す模式的な概念図である。 一般的なカプセル内視鏡で撮像された映像の一例を示す図である。 ２つのカメラによって撮影された画像の一例を示す模式的な概念図である。 特徴点マッチングが成功した一例を示す模式的な概念図である。 特徴点マッチングが失敗した一例を示す模式的な概念図である。 図１５に対応する補完された映像の一例を示す図である。 欠落したフレームを補完する様子を説明する模式的な概念図である。 不完全な魚眼画像から全天球の画像に変換したことを説明する模式的な概念図である。 エラーフレームが発生した場合に、修正により復帰したフレームの様子を説明する模式的な概念図である。 他の実施形態の画像生成プログラムの一実施例を示し、左側の画像が比較のために示す既存手法においてエラー後、意味のない画像が流れる様子を示す模式的な概念図である。右側の画像は、改良された様子を示し、フレームにエラーフレームが発生しても、修正により復帰したフレームの様子を説明する模式的な概念図である。 実施形態の画像生成装置に用いられる画像生成プログラムのフローチャートである。 他の実施形態の画像生成プログラムで、上から１行目は、撮像された映像を連続させたフレームを示し、２行目は、特徴点を抽出する工程の後、特徴点を照合させる工程を示し、３行目は、比較のために従来の画像生成プログラムを用いて安定化させた後のフレームを、４行目は、この実施形態の画像生成プログラムを用いて安定化させた後フレームを示すものである。 実施形態の変形例１のクレーン車を説明する斜視図である。 他の実施形態の変形例２のドローン（無人機）を説明する斜視図である。 他の実施形態の変形例３の釣り竿を説明する斜視図である。
　本発明の実施形態について、図１乃至図１２を参照して詳細に示す。説明において、同一の要素には同一の番号を付し、重複する説明は省略する。
　図１は、実施形態の画像生成装置Ｓの構成を説明する模式的なブロック図である。
　実施形態の画像生成装置Ｓは、撮像部１と、制御を行うＰＣ（パーソナルコンピュータ：制御部）２と、物体に装着されるカメラ４とを備えている。
　このうち、図２に示すように、物体としてのボール３は、回転運動を伴って移動する撮像部１を設けている。撮像部１は、表面の球面に均等または、ほぼ均等に複数台のカメラ４（ここでは、Ｘ＝６台）を有している。
　カメラ４には、それぞれレンズ５が設けられていて、各レンズ５は、それぞれ外方に向けて配置されている。これにより、カメラ４は、ボール３の周囲の全ての空間を撮影可能な全天球型のカメラとして機能することができる。
　すなわち、実施形態のボール３に設けられた６台のカメラ４では、撮影した動画が全天球動画となり、全天球動画は、全方向（ボール３を中心に３６０°）の情報を撮影することができる。
　従って、全天球動画は、どの方向の視点でも、たとえば、移動方向正面や、移動方向の背面など、視界の切れ目を生じさせることがない。ここでは、６台のカメラ４で撮影しているが、１枚の全天球映像が得られれば、Ｘ＝何台のカメラであっても構わない。
　また、図１のＰＣ２は、通信インターフェース部１０と、カメラ４によって撮影された情報およびプログラムなどを記憶する記憶部１１と、通信インターフェース部１０で受信した画像に基づき、同一視点方向の動画を生成する制御部１２と、制御部１２で演算された動画を出力して表示するモニタからなる表示部１３と、キーボード等の入力部２０とを有している。
　この通信インターフェース部１０は、ネットワーク１００に接続されて、送受信を行うとともに、ボール３のカメラ４によって撮影されたデータを受信可能とする通信手段を含む。
　そして、通信インターフェース部１０は、ブルートゥース（登録商標）などの無線通信により、回転を含む移動しているボール３から送られてくる画像の信号を受信可能に構成されている。なお、ここでは、無線通信の一例として、ブルートゥースを挙げたが、特にこれに限らず、ボール３から送られてくる画像を受信可能であれば、他の無線通信規格に基づく通信手段を用いてもよい。
　記憶部１１は、揮発性メモリ、不揮発性メモリを有して構成されている。このうち、揮発性メモリとしては、スタティック・ランダム・アクセス・メモリ（SRAM）とダイナミック・ランダム・アクセス・メモリ（DRAM）を含む。また、BIOS、プログラムコードおよびシステムソフトウェアなどは、不揮発性メモリに格納される。不揮発性メモリは、リードオンリィメモリ（ROM）、EPROM、EEPROM、フラッシュメモリ、磁気記憶媒体、コンパクトディスクなどの光学ディスクを含む。
　そして、この実施形態の記憶部１１には、図３に示すように、動画１１ａ、特徴点画像１１ｂ、数式１１ｃ、姿勢変換行列１１ｄが随時、呼び出し可能に格納されている。
　図４に示すように、制御部１２は、ＣＰＵ（ＣentralＰrocessingＵnit）などにより主に構成されていて、記憶部１１に記憶されたプログラムまたは、ネットワーク１００からダウンロードされたアプリケーションプログラムを実行する。これにより、制御部１２は、カメラ４から送られてくる画像の情報を演算して、動画を生成するように構成されている。動画は、表示部１３に出力されて表示される（図１参照）。
　制御部１２は、６台のカメラ４から動画を取得する取得部１２ａを備えている。この取得部１２ａでは、１枚の全天球の画像４１を生成する。
　さらに、制御部１２は、次にこの１枚の全天球の画像４１から、ｎ枚（ｎは任意の自然数、π／ｎ、ここでは６枚であるがカメラ４の台数とは関連がない。）の回転画像を生成する分割部１２ｂと、低緯度の部分の特徴点を抽出する抽出部１２ｃと、ｎ枚の画像を１枚の全体画像に統合する統合部１２ｄとを備える。さらに、制御部１２は、一致度を算出する算出部１２ｅと、姿勢の推定を行う生成部１２ｆと、生成された画像を出力する出力部１２ｇとを備えている。
　すなわち、制御部１２は、動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、姿勢を修正することにより動画のフレームを連続させる。ここで、特徴点とは、たとえば画素値の変化が他の箇所よりも大きい若しくはまれに小さい箇所で、他の箇所との差異が明確な部分を示す。
　まず、取得部１２ａで動画が取得されると、分割部１２ｂにて１枚の全天球の画像４１から、ｎ枚の回転画像（π／ｎずつ回転）が生成される（図８中の回転画像４２ａ～４７ａ参照）。
　抽出部１２ｃは、ＳＩＦＴ（Scale－ＩnvariantＦeatureＴransform）を用いて各フレームから特徴点を抽出する。ＳＩＦＴは、画像のスケールや回転に対して不変な特徴点を求めるアルゴリズムである。このＳＩＦＴは、様々な強さで平滑化した画像の差分からＤｏＧ（Difference-of-Gaussian）画像を生成して、ガウス方向の値の変化、すなわち画像に強さの異なるぼかしを適用した場合の画素値の変化を基に特徴点を抽出する。
　図５は、球面座標を表している。また、図６は、正距円筒図法による全天球画像座標を表している。正距円筒図法によって表された画像は経線と緯線とが直角を成し、等間隔の経度と緯度とをもって交差するという性質を有する。しかしながら、球面上では、これらは等間隔に配置されていない。よって、表示部１３にて全天球画像を２次元の画像として表示すると、低緯度領域では、情報が正しく表示されるが、高緯度領域では、情報が経度方向に引き伸ばされて歪みが発生する。このため、高緯度領域では、特徴点を取得することができなかったり、特徴量が正確に抽出できない場合がある。
　このため、抽出部１２ｃは、n枚すべてに対し、低緯度の部分だけを使って特徴点抽出を行う。
　なお、この実施形態では、特徴点の抽出にＳＩＦＴを用いたが、ＳＩＦＴに代えてＳＵＲＦやＡＫＡＺＥなどの他のアルゴリズムを用いて特徴点を抽出してもよい。
　そして、統合部１２ｄは、n枚の回転画像の抽出結果を用いて、特徴点をもつ１枚の画像を作る。これらの動作は、各時刻におけるフレームに対して行われる。
　また、算出部１２ｅは、前のフレームと現在のフレームの特徴点を用いて特徴点照合を行い、姿勢変換行列Ｒを求める。
　制御部１２は、特徴点が画像周縁の歪みの多い部分にある場合、同一視点方向の周縁の歪の少ない部分である低緯度の部分に画像を移動させてから、特徴点を一致させる。
　生成部１２ｆは、姿勢変換行列Ｒを用いて現在のフレーム画像を前のフレームの画像に戻す。出力部１２ｇは、画像をモニタ等の表示部１３に出力する。
　表示部１３は、制御部１２で生成された同一視点方向の動画を出力して表示する。
　そして、カメラ４によって撮影された３次元の全方位の画像は、表示部１３によって、２次元の画像としてリアルタイムで表示される。
　この際、カメラ４によって構成される全天球カメラは、カメラモデルとしてカメラを中心とする３次元球面を想定すると、３次元球面の経緯度（θ，φ）と、正距円筒図法による全天球画像座標（ｕ，ｖ）との関係は以下のようになる。
　ｕ＝ｗ／２π・（θ＋π）　（－π≦θ＜π）…（１）
　ｖ＝ｈ／π・（φ＋π／２）　（－π／２≦θ＜π／２）…（２）
　ただし、ｗは画像の幅、ｈは画像の高さである。
　次に、実施形態の画像生成装置Ｓの画像処理について、図７に示すフローチャートに沿って、図８～図１１を参照しつつ、説明する。
　カメラ４によって撮影されたデータに基づいて画像処理が開始されると、ステップＳ０では、取得部１２ａで画像が取得される。ステップＳ１では、特徴点を抽出するため、撮像部１で撮像された動画の画像中に存在する特徴点を捉える（図８参照）。
　ここで、まず全天球画像からの特徴点と特徴量との抽出方法について説明する。前述したように正距円筒図法で示された全天球画像は、低緯度領域のみ情報が正しく表示され、高緯度領域では、画像４１のように情報に歪が生じている。
　そして、情報が正しく表示される低緯度領域内の特徴点を抽出することにより、姿勢修正に用いる特徴点照合（マッチング）に対応させることができる。
　この実施形態の制御部１２の取得部１２ａ（図４参照）は、特徴点を抽出したい注目する領域が高緯度にあるときは、注目する領域を球面の回転によって、移動方向前方の同一視点方向の周縁の歪の少ない低緯度の領域へ移動させる。
　すなわち、制御部１２は、各時刻において図８に示す全天球の画像４１を１枚撮影して生成する(original)。この全天球の画像４１から分割部１２ｂ（図４参照）は、回転画像４２～４７をｎ枚（π／ｎより）、生成する。回転画像４２ａ～４７ａは、π/6(ｎ枚の値は任意に決められる)ずつ回転させて、ここでは、６枚(π/6なので6枚)、生成される。
　そして、抽出部１２ｃは、この6枚の回転画像４２ａ～４７ａのそれぞれにおいて画像の歪みの少ない低緯度の部分だけを使って特徴点抽出を行う。さらに、この実施形態では、統合部１２ｄがこれらの６枚から得られた特徴点をまとめて全体画像４９の特徴点とする。この結果、original画像において歪みの影響の少ない特徴点が抽出される。
　このように、特徴点と特徴量とを抽出する前に、球面の回転によって注目する領域を低緯度の領域へと移動する。すなわち、カメラ４の座標系のＸ軸周りに適切な量だけ回転させることにより、擬似的に高緯度領域を低緯度へ移動させることができる。
　たとえば、図８中、回転画像４２ａ～４７ａに示すように高緯度に存在した注目する領域は、移動方向と同一の視点方向の周縁の歪の少ない低緯度の領域に移動して、低緯度の領域に存在するのと同様に正確に特徴点と特徴量とを抽出することが可能となる。
　特徴点は低緯度領域で抽出するため、抽出した特徴点の座標と元の画像とにおける特徴点のあるべき座標は異なる。このため、生成部１２ｆ（図４参照）で推定された姿勢に基づいて、特徴点と特徴量とを抽出するために行った回転と逆の回転を特徴点の座標に適用する。これにより、元の画像における特徴点の座標に修正することができる。
　ステップＳ２では、算出部１２ｅ（図４参照）にて特徴点照合が行われる（図９参照）。特徴点照合は、特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる。
　ここでは、フレームｔの特徴点とフレーム（ｔ＋１）の特徴点とが照合されているものが示されている。図中２つのフレームｔ，フレーム（ｔ＋１）に跨る直線は、同一であると推定される特徴点同士を結んだものである。
　各フレームの特徴点と特徴量とは、低緯度に移動された特徴点から正確に抽出されているため、照合結果の信頼性が向上している。
　ステップＳ３では、算出部１２ｅ（図４参照）にて姿勢変化の推定が行われる（図１０参照）。ここでは、得られた照合情報から、基本行列Ｅを、回転と並進とに分解して、カメラ４の姿勢変化の姿勢変換行列Ｒを求める。
　すなわち、全天球画像上で抽出した特徴点の座標を正規化画像座標へ変換する。たとえば、照合の結果を用いて８点アルゴリズムによって２つのフレームの撮影時のカメラ間の基本行列Ｅを推定する。なお、ロバストに推定するためにＲＡＮＳＡＣやＬＭｅｄｓを用いるとなおよい。
　このように、基本行列Ｅを、回転と並進とに分解することにより、２つのフレーム間の回転行列と並進ベクトルとが得られる姿勢変換行列Ｒとなる。このため、姿勢変換行列Ｒにより２つのフレーム間のカメラ４の姿勢変化が求められる。
　ステップＳ４では、生成部１２ｆ（図４参照）にて姿勢修正が行われる（図１１（ａ）参照）。ここでは、各フレームごとの姿勢変化を示す姿勢変換行列Ｒが得られたことから、これらの積として任意のフレームの姿勢を修正して、フレームＦ１からフレームＦｎまでの全ての隣接フレーム間の姿勢変化を計算する。
　すなわち、初期フレームから始めて現フレームまでの全ての隣接するフレーム間で、姿勢変換行列Ｒを推定する。
　そして、それらの総乗は、図１１（ｂ）に示すように初期のフレームと現在のフレームとの姿勢変化を表す回転行列であるとみなせる。
　これにより、現在のフレームに対してその姿勢変換行列Ｒ（ｎ－１）（ｎはフレーム数）、を作用させることにより、現在のフレームを初期のフレームの視点に連続させることができる。
　この実施形態では、初期フレームと現在のフレームとの間で直接、姿勢を推定しない。
　これには、以下の理由が存在する。すなわち、（ｉ）隣接するフレーム間の時間差は微小である。このため、特徴点の移動量も微小に限られる。これにより、３次元球面上で移動量の大きい特徴点同士の照合をフィルタリングできる。（ｉｉ）隣接するフレーム間の時間差は微小である。よって、シーンは静的である。（ｉｉｉ）隣接するフレーム間の時間差は微小である。したがって、並進による特徴点の見え方に変化はない。
　ステップＳ５では、次のフレームがあるか否かが判定される。ステップＳ５にて、次のフレームがある場合（ステップＳ５にてＹｅｓ）、ステップＳ２に戻り、特徴点の抽出が継続して行われる。また、ステップＳ５にて、次のフレームがない場合（ステップＳ５にてＮｏ）、制御部１２は、処理を終了する。
　次に、この実施形態の画像生成装置Ｓの作用効果について説明する。
　この実施形態の画像生成装置Ｓでは、特徴点照合ステップＳ２にて、特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる。
　このため、カメラ４を設けたボール３が高速で回転していても、６枚の回転画像４２ａ～４７ａのそれぞれにおいて画像の歪みの少ない低緯度の部分だけを使って特徴点抽出を行うことができる。したがって、抽出された特徴点および特徴量の精度を良好なものとすることができる。
　そして、この精度の良好な特徴点の情報に基づいて正確な移動量を算出して、姿勢修正を行うことにより、隣接するフレーム間を繋げることができる。このため、フレーム間は円滑に連続して、視点が固定されて安定した動画を生成できる。しかも、生成された動画は、回転して移動するボール３の周囲を全て撮影した見えない部分の存在しない、安定した動画を得られる。このため、スポーツや、医療、災害現場等、様々な分野に用いることができる。
　また、この実施形態では、複数のレンズ５を組み合わせた全天球型のカメラ４を用いたので、移動方向正面や、移動方向の背面など、どの方向の視点にもフレームの切れ目を生じさせることなく、視野が連続した動画を生成することができる。
　さらに、この実施形態では、図８に示すように、１枚撮影された全天球の画像４１から、π/6ずつ回転させた６枚の回転画像４２ａ～４７ａを生成して、それぞれにおいて画像の歪みの少ない低緯度の部分だけを使って特徴点抽出が行なわれている。このため、さらに、歪みの影響の少ない多数の特徴点が全体画像４９の特徴点としてまとめられる。従って、隣接フレーム間の姿勢変化を計算する際にも、移動量の推定の精度を向上させることが出来、さらに動画の視点の位置を安定させることができる。
<実施例>
　図１２は、実施形態の変形例の画像生成装置Ｓで、撮像部としての全天球カメラ１４が内蔵されたボール３０の構成を示す分解斜視図である。なお、前記実施形態と同一乃至均等な部分については、説明を省略する。
　この変形例のボール３０は、中空半球形状の透明アクリル樹脂製の一対のドーム３１，３２を係合させて、外形形状が球体となるように構成されている。
　ボール３０の内部には、固定用円形板１５が設けられている。固定用円形板１５は、ドーム３１，３２の内側面３１ａ，３２ａに、移動不能となるように固定されている。そして、固定用円形板１５の一部には、全天球カメラ１４を固定する装着孔１６が開口されている。
　また、この変形例の全天球カメラ１４は、箱型の筺体１４ａの表，裏両側面１４ｂに、それぞれに撮影可能画角が１８０度以上、好ましくは約２７０度程度の２つのレンズ１４ｃ，１４ｃが設けられている。そして、固定用円形板１５の装着孔１６に筺体１４ａを嵌着させた状態で、ドーム３１，３２の略中心に、２つのレンズ１４ｃ，１４ｃが配置されるように構成されている。
　このため、この全天球カメラ１４は、２つのレンズの画像を合成することにより、周囲を３６０度撮影した全天球の画像を生成できる。
　このように構成された変形例の全天球カメラ１４では、表，裏両側面１４ｂに設けられた２つのレンズ１４ｃによって、周囲を３６０度撮影することが可能である。このため、この変形例の全天球カメラ１４では、実施形態の作用効果に加えて、さらに少ないカメラの台数で、どの方向にも切れ目なく、動画のフレームを連続させて、一定の方向に視線を安定させた動画を円滑に生成することができる。
<他の実施形態>
　図１３～図２２は、他の実施形態として、医療用のカプセル内視鏡８０に本発明の画像生成装置および画像生成プログラムを適用したものを示している。
　近年，医療分野では、図１３に示すように、魚眼レンズ８３，８３を有して、広範囲を撮影可能なカメラ８２，８２を両端に内蔵しているカプセル内視鏡８０が普及してきた。カプセル内視鏡８０は、図１４に示すように被験者ｋの嚥下により消化器官内を流下させながら周囲の器官を内側から撮像する。これにより、身体の内部が容易に確認できる。
　一方で、カプセル内視鏡８０はいくつか問題点を抱えている。たとえば、二つのカメラ８２，８２から得られた映像を同時に観察することができない問題点がある。
　この問題点に対して、カメラ８２，８２から得られた映像から全天球動画を生成することにより、施術者は、二つの映像の位置関係を一目で認識できるようになる。
　しかしながら、この際、カプセル内視鏡８０は体内で回転しながら進むため、単純に全天球動画を生成したとしても、カプセル内視鏡８０がどのように進んでいるのかがわかりにくい。
　このため、カプセル内視鏡８０から得られた映像に対して、前記実施形態にて説明した全天球動画を安定化させる手法を応用することで、この課題を解決する。
　そこで、他の実施形態の構成を説明すると、図１３に示すように、カプセル内視鏡８０は、小型のカメラ８２，８２を内蔵したカプセル型の内視鏡のことである。カプセル内視鏡８０は、片側のみ、または両端に一つずつ、撮像部としての小型カメラをつけた形式のものが存在する。
　このうち、この実施形態では、両側に小型のカメラ８２，８２を有するカプセル内視鏡を用いて説明する。この形式のカプセル内視鏡８０は、円筒状の筒部材８４の軸方向両端に、それぞれ小型のカメラ８２，８２が装着されている。
　筒部材８４の軸方向の各端部には、ほぼ半球状を呈して透明のオプティカルドーム８６，８６が端部の開口を塞ぐように装着されている。そして、各カメラ８２は、それぞれ端部に装着されたオプティカルドーム８６により覆われている。
　筒部材８４の各端部に設けられているカメラ８２，８２は、２つ合わせて３６０度に近い全天球映像を撮影することができる。
　そして、この撮影された映像は、カプセル内視鏡８０に内蔵された無線送信装置によって、被験者ｋに取り付けられたレコーダ８７（図１４）に送信される。レコーダ８７は、被験者ｋの身体に取り付けられたセンサ８８に接続されている。レコーダ８７では、前記した実施形態と同様に制御部１２（図１参照）によって演算された動画が表示部１３のモニタに出力される。施術者は、レコーダ８７に送られてくる画像を、表示部１３を通じて被験者の身体の外方で見ることができる。
　この際、センサ８８による位置情報と撮影された動画とが結びつけられていて、体内の位置が特定されるようにしてもよい。
<画像欠落への対処>
　発明者らが提案した前記実施形態の全天球動画安定化手法では、ボールに取り付けられたカメラによって撮影された全天球映像から、回転成分を除去して視点を固定する。
　回転しながら移動するという点で前記実施形態のボールカメラと、この実施形態のカプセル内視鏡８０とは、共通している。
　そこで、このカプセル内視鏡８０に前記実施形態の安定化方法を適用すると、回転しながら移動するカプセル内視鏡８０の映像を施術者が見やすいよう安定化させることができる。
　図１３に示すように、この実施形態のカプセル内視鏡８０は、軸線Ｌ上に１８０度反対側を向く２つの小型のカメラ８２，８２を配置している。全天球画像は、これらの２つのカメラ８２，８２で撮影される魚眼画像を正距円筒図法やキューブマップ法などによって変換することで作られる。
　しかしながら、カプセル内視鏡８０の映像は、図１５に示すように、完全な円形の魚眼映像（円周魚眼の影像）ではなく、対角線魚眼の影像であるため、上下左右の部分ａ～ｄが切取られてしまう。
　また、それぞれのカメラの画角ａｎｇは約１７２度となり、０～４度、１７６度～１８０度の部分は撮影されていない。このため、単に２つのカメラ８２，８２の画像を合せただけでは、３６０度の撮影画像を得ることができない。
　さらに、カプセル内視鏡８０に内蔵されたそれぞれのカメラ８２，８２は、常に同期しながら撮影しているのではなく、それぞれが独立して撮影している。つまり、２つのカメラ８２，８２で撮影された画像のタイムスタンプが一致していない。このため、容易に全天球画像を作ることができない。
　使用したカプセル内視鏡８０は、バッテリの容量を考慮し断続的に撮影していたり、上述したように移動速度によってフレームレートを変化させながら撮影している。たとえば、消化管内でのカプセル内視鏡８０の移動が遅い場合は、毎秒４枚、速い場合には、毎秒３５枚というように、カプセル内視鏡８０の移動速度に合わせて枚数が調整されながら撮影される。
　このため、一部のフレームが欠損する場合がある。
　また、カプセル内視鏡８０は、内臓という狭い空間で、内臓の内壁面に接触しながら撮影している。このため、画像が全体的に暗く鮮明ではない。よって、撮影された映像は、撮影開始から撮影終了まで完全に連続した映像とはならない。
　ところで、視点固定アルゴリズムでは、フレーム間で特徴点マッチングを行う。このため、全天球動画を作る上で画像の特徴点が得られるか否かは、画像を安定させるために大きく影響する。
　たとえば、図１６に示すように、画像番号としては前方のカメラ８２が撮影した映像のフレームがＦ１．Ｆ３．Ｆ５・・・と奇数番号で、後方のカメラ８２が撮影した映像のフレームがＦ２．Ｆ４．Ｆ６・・・のように偶数番号となっている。図１６では、フレームレートが一定ではない場合に、途中のフレームが欠損していることを表している。
　前記実施形態のアルゴリズムを用いた安定化の手法では、フレーム間の特徴点マッチングが行なわれ、姿勢変化が求められた後、回転行列と並進ベクトルとに分解される。
　そして、基準フレームからの累積回転行列を現在のフレームにかけることで画像を修正している。この操作を全てのフレームに対して行うことで全天球動画の視点を固定することが可能となる。
　しかしながら、このアルゴリズムでは、基準フレームからの姿勢変化を累積回転行列で修正しているため、途中のフレーム間での姿勢変化の推定に失敗してしまうとそれ以降の特徴点のマッチングが行えず、画像を修正できなくなってしまう虞があった。
　たとえば、前記実施形態の画像生成装置では、フレーム間の特徴点マッチングのマッチング数がある閾値以下になった場合に姿勢推定が失敗したと判定している。
　Ｒijをframe i とframe j 間の姿勢変化とすると、次の式１にて表される。
式１
Figure JPOXMLDOC01-appb-I000001
　図１７は、特徴点マッチングが成功した一例を示す模式的な概念図である。また、図１８は、特徴点マッチングが失敗した一例を示す模式的な概念図である。
　本実施形態は、フレームの欠損および２つのカメラ８２，８２の非同期といった問題を解決するため、途中のフレームを補完し、両側のカメラ８２，８２で撮影したフレーム数を同じとすることで擬似的に連続した魚眼映像（擬似円周魚眼の画像）としている。すなわち、欠損しているフレームと前のフレームとを入れ替える。これにより、欠落しているフレーム部分が円滑に接続されて、擬似的に連続した魚眼映像を得られる。
　この際、具体的に制御部１２は、それぞれのカメラ８２，８２で撮影された画像同士のタイムスタンプが合っておらず、それを合わせるのは困難であると判断すると、同じ番号のフレームは、同じ時刻で撮影されたものとして処理を行うように構成されている。
　図１５を参照しながら説明すると、このように、不完全な魚眼画像から全天球画像への変換を行うため、図１５の画像では、１つのカメラ８２の画角が１８０度より小さく（たとえば１７２度）、上下左右に切り取られた部分ａ～ｄを有している。
　そこで、図１９に示すように、仮想的に画角が１８０度の円として扱うことにより、正距円筒図法を用いて変換することができる。
　図１９は、欠落したフレームを補完した様子を説明する模式的な概念図である。
　図１９では、撮影画像の部分ａ～ｄの境界線から外側の円までの間は死角の黒い画像として扱う。このため、図１５の画像では、欠落していた上下左右の部分ａ～ｄが黒い画像で補完されている。全天球画像に変換した場合に周囲に現れる黒い帯は、この箇所が変換されたものである。図２０は、欠落したフレームを補完する様子を説明する模式的な概念図である。
　図２１は、不完全な魚眼画像から全天球の画像に変換したことを説明する模式的な概念図である。カメラ８２で撮影された状態の生データから全天球画像を作成する具体的な手順としては、（１）生データから時刻情報など不要な箇所を切り取る。（２）同じ時刻で撮影されたと仮定した２枚の魚眼画像の欠落する部分を補完後、左右に並べて１枚の画像にする。（３）正距円筒図法で全天球画像に変換する。（１）～（３）の処理を全てのフレームに対して行う。そして、フレーム間を連結することで全天球動画に変換することができる。
<特徴点照合処理>
　特徴点を結びつけて連続させる際に、欠落した画像が存在すると、円滑な動画を得にくい。そこで、フレームの欠落する部分を修正により復帰させる。
　図２２は、フレームにエラーフレームが発生した場合に、修正により復帰したフレームの様子を説明する模式的な概念図である。
　全天球動画安定化手法のアルゴリズムでは、特徴点マッチングが失敗すると意味のある映像としては、そこで終了してしまう（図２２中右上部分参照）という問題点があった(以下、失敗した時点でのフレームをエラーフレームと呼ぶ)。
　この実施形態の画像生成装置では、この問題を解決するために、特徴点マッチングが失敗したら、そこで、累積回転行列を単位行列で初期化し、次のフレームを基点として処理を再び開始するように、前記実施形態のボールカメラを改良してカプセル内視鏡８０に適用した。
　なお、エラーフレームと前フレーム間の回転行列も単位行列で初期化するため、基点フレームの視点はプログラムを開始した時点のフレームの視点とは異なる。つまり、マッチングが失敗する度に視点はエラーフレームの視点に固定されてしまう。
　次に、この実施形態のカプセル内視鏡８０を用いた画像生成装置の実施例について説明する。
　使用したカプセル内視鏡８０は、画角は１７２×２度，フレームレートは移動速度に応じて変化し、毎秒４フレームから３５フレームで、大腸粘膜を撮影することができる大腸カプセル内視鏡を用いた。カプセル内視鏡８０に用いるカメラ８２，８２の非同期やフレームが欠損しているという問題点は、フレームレートを一定にすることにより解決してもよい。
　カプセル内視鏡８０は、画角が１７２×２度であるため、死角が存在する。全天球動画に変換した際に３つの部分に別れてしまっているため、わかりにくいが、ある程度視点は固定されていると判断した。
　しかし，明らかに誤った推定により不自然に修正されている箇所もあり完全とは言えない。また、特徴点マッチングが失敗して回転行列が得られなかった場合には，次のフレームを基点として処理を再実行することができた。
　この結果を図２３に示す。図２３は、比較例の画像を左側に示している。この比較例では、既存手法においてエラー後、意味のない画像が流れる様子である。また、図２３中右側の画像が本実施形態のカプセル内視鏡８０を用いた画像生成装置の画像生成プログラムで、エラー後も回転を推定できるように改良された様子を示す模式的な概念図である。
　しかしながら、このように修正により連続させても、マッチングが失敗したと判断されるのは回転行列が得られなかった時のみであり、誤った推定で得られた回転行列によって不正確な回転が行われた際には検知することができない。
　このため、誤った回転をしたまま処理が進んでしまうことがあった。
　このように、視点固定アルゴリズムをカプセル内視鏡８０に適用した結果、いくつかの問題点が見つかった。
　１つ目に、死角が多く動画自体が見にくいという点である。今回は不完全な魚眼画像から全天球画像を作成したため死角が多かった。これは、カプセル内視鏡８０の性能の向上により画角が１８０度以上のものを２つ使用できれば、撮影できる範囲が広がり、死角のない完全な全天球画像を作ることができる。すなわち、完全な全天球画像であれば、２つの魚眼映像のつながりが分かるため、視認しやすい。
　これに対して本実施形態の画像生成装置では、図１５および図１９に示すように、死角となる上下左右の部分ａ～ｄが黒い画像で補完されている。
　これにより、完全な全天球画像でなくとも、２つの魚眼映像のつながりが分かりやすくなった。
　２つ目は、特徴点マッチングによる誤った推定やマッチング数が少ないために回転が推定できないという点である。特徴点マッチングは画像中に特徴点が多いほど成功しやすい。しかしながら、カプセル内視鏡８０の映像の様に内臓に密着した状態で撮影されるものでは、暗く特徴点が少ない画像となる。このような場合は、特徴点が検出できず誤推定や失敗となる可能性が高い。
　また、内臓のように周囲の状況が常に変化する映像ではカメラが回転したものと判断され、誤推定の原因になると考えられる。
　次に、図２４のフローチャートおよび図２５に沿って画像生成装置の処理について説明する。なお、前記実施形態の図７と同一乃至均等な部分については、説明を省略する。
　図２４のフローチャート中、ステップＳ００～ステップＳ１２までは、前記実施形態のステップＳ０～ステップＳ２までと同様に、取得された画像（ステップＳ００）のフレーム（ステップＳ１０）から特徴点を抽出（ステップＳ１１）して、次のフレームと特徴点の照合（ステップＳ１２）を行う（図２５中第１行目および第２行目参照）。
　ステップＳ１６では、照合が失敗したかあるいは成功したかの判定を行う。ステップＳ１６で照合が成功した場合は、次のステップＳ１３に進み（ステップＳ１６にてＮＯ）、ステップＳ１６で照合が失敗した場合は、ステップＳ１０に戻り（ステップＳ１６にてＹＥＳ）、フレームの取得を行う。
　ステップＳ１３～ステップＳ１５までは、前記実施形態のステップＳ３～ステップＳ５までと同様に、姿勢変化の推定が行われ（図１０参照）、結果を用いて８点アルゴリズムによって２つのフレームから得られる姿勢変換行列Ｒを用いて、ステップＳ１４では、姿勢修正が行われる。
　図２５の第３行目に示す従来の安定化手法では、照合の失敗が生じるとフレーム間の結びつけが行えず、そのフレームの集合で無意味な画像Ｅ１，Ｅ２…が、処理が終了するまで継続して生成されてしまう。
　これに対して、図２５の第４行目に示すこの実施形態の安定化終了では、照合の失敗が生じると、取得されている画像の次のフレームの画像Ｇ１を用いて、エラーした画像Ｅ１を補完する。
　取得された次のフレームの画像Ｇ１が照合可能である場合、特徴点を一致させて、姿勢を修正する安定化処理を継続できる。なお、照合が成功しない場合は、照合が成功するまでステップＳ１０を繰り返す。
　このため、取得した画像に不連続点があっても、直ちに次のフレームへ照合が成功するフレームが割り当てられて、エラーから復帰する。したがって、照合が失敗した場合でもフレームの切れ目が目立たない安定した見やすい画像が得られる。
　ステップＳ１５では、前記実施形態のステップＳ５と同様に、次のフレームがあるか否かが判定される。ステップＳ１５にて、次のフレームがある場合（ステップＳ１５にてＹｅｓ）、ステップＳ１０に戻り、特徴点の抽出が継続して行われる（ステップＳ１１～ステップＳ１２）。また、ステップＳ１５にて、次のフレームがない場合（ステップＳ１５にてＮｏ）、前記実施形態と同様に制御部１２は、処理を終了する。
　次に、この実施形態の画像生成装置の作用効果について説明する。この実施形態の画像生成装置では、カプセル内視鏡８０で撮影された映像を全天球映像に変換し、視点固定のアルゴリズムを適用した。
　そして、元のアルゴリズムでは特徴点マッチングに失敗するとそれ以降は修正できないという問題点（図２２中右上部分参照）があったが、この実施形態の画像生成装置の画像生成プログラムのように基点フレームを更新することで失敗した後も視点を固定して、エラーから復帰して、画像を継続すること（図２２中右下部分参照）ができた。
　なお、失敗する度に視点が変わってしまうことを防止するため、カルマンフィルタなどを用いて回転行列を推定するなどを行うとさらに望ましい。
　また、内視鏡映像に死角が存在する場合は、カプセル内視鏡８０の性能の向上により画角が１８０度以上のものを２つ使用することにより、撮影可能な範囲を広げて、死角のない完全な全天球画像を作るようにしてもよい。
　さらに、カプセル内視鏡８０によって撮影される映像自体が暗い場合には、ＬＥＤ照光装置の補助光を使用したり、あるいはＩＳＯ感度を高感度なものに変更する等、カプセル内視鏡８０に用いるカメラ８２の性能を向上させるとなおよい。
<変形例１>
　図２６は、実施形態の変形例１のクレーン車５０を示している。このクレーン車５０は、アーム部５１の先端から延出されるワイヤ５２の一端にフック部材５３が吊り下げられている。そして、このフック部材５３に、前記実施形態のボール３等が係止され、運転席５４から離間した位置まで延伸されたアーム部５１の先端から、ボール３を下降させることができる。
　これにより、災害現場等により人が入れない空間にボール３を侵入させて、内部の様子を安定した画像で撮影することができる。
<変形例２>
　図２７は、実施形態の変形例２のドローン（無人機）６０を示している。ドローン６０の機体中央部下面側６１には、前記実施形態のボール３または、他の実施形態のカプセル内視鏡８０と同等のカメラ６２が装着されていて、操縦者から離間した位置でドローン６０の周囲の様子を安定した画像で撮影することができる。
　ドローン６０は、遠隔操作が可能であるため、オペレータは、災害現場から離れていても現場の様子を詳細に撮影することができ、二次災害を防止できる。
<変形例３>
　図２８は、実施形態の変形例３の釣り竿７０である。ロッド７１の手もとに固定されているリール７２は、複数のガイド７３通して、釣り糸７４が繰り出されている。釣り糸７４の先端には、実施形態のボール３または、他の実施形態のカプセル内視鏡８０と同等のカメラ７５が装着されている。
　そして、ロッド７１を握る地上の者から離間した位置で、釣り糸７４の先端のカメラ７５を降ろして、水中の様子を安定した画像で撮影することができる。
　以上、本実施形態に係る画像生成装置Ｓ、および画像生成プログラムについて詳述してきたが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。
　例えば、本実施形態では、撮影された１枚の全天球の画像４１からπ/６ずつ回転させた６枚の回転画像４２ａ～４７ａを生成している。しかしながら、特にこれに限らない。たとえば、π/４又はπ/８ずつ回転させた４枚又は８枚の画像等、回転角度が相違する１枚または複数の画像をどのような回転方向の角度の間隔で用いてもよく、それぞれにおいて画像の歪みの少ない低緯度の部分を使って特徴点の抽出が行なえるものであればよい。
　さらに、実施形態では、６台のカメラ４によって、また変形例では、２台に相当する２つのレンズ１４ｃを有する全天球カメラ１４によって、撮像部１を構成している。しかしながら特にこれに限らない。たとえば、１又は２台以上の複数のカメラを用いて撮像部１を構成してもよく、撮影した動画が全天球動画となり、全天球動画は、好ましくは全方向の情報を記録することができるものであれば、カメラの数量、形状および組み合わせが特に限定されるものではない。
　たとえば、前記他の実施形態では、図１３に示すように、魚眼レンズ８３，８３を有していて、広範囲を撮影可能なカメラ８２，８２を両端に内蔵しているカプセル内視鏡８０を用いているが、特にこれに限らない。たとえば、一方側または他方側とのうち、少なくとも何れか一方にカメラ８２が設けられていて、広範囲を撮影可能なカメラ８２，８２であれば、魚眼レンズ８３以外の広角レンズであってもよく、カメラ８２やレンズの形状、数量、および材質が特に限定されるものではない。
　また、実施形態および変形例では、撮像部１を装着する物体としてボール３，３０を用いているが、特にこれに限らない。たとえば、回転移動可能な立方体のフレームの各面に全天球カメラを装着してもよい。また、ラグビーボールのような楕円球であってもよい。このように、回転運動を伴い移動する物体の形状は、球形に限定されるものではない。
　そして、実施形態の画像生成装置Ｓでは、ボールが同時に、回転運動する場合および並進運動する場合について説明してきたが特にこれに限らず、回転運動または並進運動のうち、少なくとも何れか一方を行うものであればよい。
　１　　　　　　撮像部
　３，３０　　　ボール
　４　　　　　　カメラ
　５，１４ｃ　　レンズ
　１０　　　　　通信インターフェース部
　１１　　　　　記憶部
　１２　　　　　制御部
　１３　　　　　表示部
　１４　　　　　全天球カメラ（カメラ）
　１４ａ　　　　筺体
　１５　　　　　固定用円形板
　１６　　　　　装着孔
　２０　　　　　入力部
　３１　　　　　ドーム
　８０　　　　　カプセル内視鏡
　８２　　　　　小型のカメラ（撮像部）
　１００　　　　ネットワーク

Claims (11)

  1. 　移動する物体に装着される撮像部と、
    　前記撮像部で取得された画像に基づき、同一視点方向の動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、当該移動量で画像を戻すことを繰り返して動画のフレームを連続させる制御部と、
    　を備えることを特徴とする画像生成装置。
  2. 　前記制御部では、特徴点が画像周縁の歪みの多い部分にある場合、同一視点方向の歪の少ない部分に画像を移動させてから、特徴点を一致させる、ことを特徴とする請求項１に記載の画像生成装置。
  3. 　前記物体は、回転運動を伴い移動することを特徴とする請求項１または２に記載の画像生成装置。
  4. 　前記物体は、並進運動を伴い移動することを特徴とする請求項１～３のうち何れか一項に記載の画像生成装置。
  5. 　前記撮像部は、全天球型カメラに設けられていることを特徴とする請求項１～４のうち何れか一項に記載の画像生成装置。
  6. 　前記撮像部は、カプセル内視鏡の一方側または他方側とのうち、少なくとも何れか一方に設けられていることを特徴とする請求項１～４のうち何れか一項に記載の画像生成装置。
  7. 　前記制御部は、欠落したエラーフレームを、前記エラーフレームの前のフレームと入れ替えて補完することを特徴とする請求項６に記載の画像生成装置。
  8. 　前記制御部は、欠落した周囲の欠落した部分を黒い画像で補完することを特徴とする請求項６または７に記載の画像生成装置。
  9. 　移動する物体の周囲を撮影する撮像部と、
    　前記撮像部で取得された動画から移動量を演算して、動画のフレームを連続させる制御部とを備えた画像生成装置に用いる画像生成プログラムであって、
    　前記撮像部で撮像された動画の画像中に存在する特徴点を捉える特徴点抽出ステップと、
    　特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる特徴点照合ステップと、
    　移動量を演算して、当該移動量で画像を戻すことを繰り返して動画のフレームを連続させるステップと、を備えたことを特徴とする画像生成装置に用いられる画像生成プログラム。
  10. 　移動する物体の周囲を撮影した動画から移動量を演算して、動画のフレームを連続させる画像生成プログラムであって、
    　前記動画の画像中に存在する特徴点を捉える特徴点抽出ステップと、
    　特徴点が画像周縁の歪みの多い部分にある場合、同一視点方向の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる特徴点照合ステップと、
    　移動量を演算して、当該移動量で画像を戻すことを繰り返して動画のフレームを連続させるステップと、を備えたことを特徴とする画像生成プログラム。
  11. 　照合が失敗したかあるいは成功したかの判定を行う照合判定ステップと、
    　照合が失敗した場合に、照合が成功するフレームの取得を行うフレーム取得ステップとを備えることを特徴とする請求項９または１０に記載の画像生成プログラム。
PCT/JP2017/038196 2016-10-24 2017-10-23 画像生成装置、および画像生成プログラム WO2018079490A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018547656A JP7211621B2 (ja) 2016-10-24 2017-10-23 画像生成装置、および画像生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-208049 2016-10-24
JP2016208049 2016-10-24

Publications (1)

Publication Number Publication Date
WO2018079490A1 true WO2018079490A1 (ja) 2018-05-03

Family

ID=62024925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038196 WO2018079490A1 (ja) 2016-10-24 2017-10-23 画像生成装置、および画像生成プログラム

Country Status (2)

Country Link
JP (1) JP7211621B2 (ja)
WO (1) WO2018079490A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018492A (ja) * 2018-07-31 2020-02-06 清一 中島 医療用ドローンシステム
EP3629570A3 (en) * 2018-09-25 2020-06-17 Ricoh Company, Ltd. Image capturing apparatus and image recording method
US20200244879A1 (en) * 2019-01-30 2020-07-30 Ricoh Company, Ltd. Imaging system, developing system, and imaging method
JP2020160126A (ja) * 2019-03-25 2020-10-01 株式会社大林組 孔壁撮影装置
JP2020187227A (ja) * 2019-05-13 2020-11-19 株式会社アーキジオ 全天周画像用撮影装置
JPWO2020235063A1 (ja) * 2019-05-22 2020-11-26
GB2584470A (en) * 2019-06-05 2020-12-09 Schleyer Jonathan Camera systems
KR102313795B1 (ko) * 2020-04-10 2021-10-18 (주)인펙비전 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111934A (ja) * 1999-10-04 2001-04-20 Olympus Optical Co Ltd 電子カメラ装置
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
JP2007104234A (ja) * 2005-10-04 2007-04-19 Canon Inc 撮像装置
JP2008118495A (ja) * 2006-11-07 2008-05-22 Matsushita Electric Ind Co Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111934A (ja) * 1999-10-04 2001-04-20 Olympus Optical Co Ltd 電子カメラ装置
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
JP2007104234A (ja) * 2005-10-04 2007-04-19 Canon Inc 撮像装置
JP2008118495A (ja) * 2006-11-07 2008-05-22 Matsushita Electric Ind Co Ltd 撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018492A (ja) * 2018-07-31 2020-02-06 清一 中島 医療用ドローンシステム
JP7178081B2 (ja) 2018-07-31 2022-11-25 清一 中島 医療用ドローンシステム
EP3629570A3 (en) * 2018-09-25 2020-06-17 Ricoh Company, Ltd. Image capturing apparatus and image recording method
US20200244879A1 (en) * 2019-01-30 2020-07-30 Ricoh Company, Ltd. Imaging system, developing system, and imaging method
JP2020160126A (ja) * 2019-03-25 2020-10-01 株式会社大林組 孔壁撮影装置
JP7211191B2 (ja) 2019-03-25 2023-01-24 株式会社大林組 孔壁撮影装置
JP2020187227A (ja) * 2019-05-13 2020-11-19 株式会社アーキジオ 全天周画像用撮影装置
JPWO2020235063A1 (ja) * 2019-05-22 2020-11-26
WO2020235063A1 (ja) * 2019-05-22 2020-11-26 日本電信電話株式会社 画像処理方法、画像処理装置およびプログラム
JP7185162B2 (ja) 2019-05-22 2022-12-07 日本電信電話株式会社 画像処理方法、画像処理装置およびプログラム
GB2584470A (en) * 2019-06-05 2020-12-09 Schleyer Jonathan Camera systems
KR102313795B1 (ko) * 2020-04-10 2021-10-18 (주)인펙비전 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법

Also Published As

Publication number Publication date
JPWO2018079490A1 (ja) 2019-09-19
JP7211621B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
WO2018079490A1 (ja) 画像生成装置、および画像生成プログラム
EP3007038B1 (en) Interaction with three-dimensional video
US10750153B2 (en) Camera system for three-dimensional video
US20220092729A1 (en) Equatorial Stitching Of Hemispherical Images In A Spherical Image Capture System
EP3143761B1 (en) Imaging system and computer program
US9686539B1 (en) Camera pair calibration using non-standard calibration objects
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
CN107113376A (zh) 一种图像处理方法、装置及摄像机
JP2011209815A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2020053774A (ja) 撮像装置および画像記録方法
CN107967665B (zh) 图像处理方法和图像处理装置
WO2019116942A1 (ja) ３次元モデルの生成装置、生成方法、及びプログラム
EP3991132B1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
JP2019075766A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US20230018560A1 (en) Virtual Reality Systems and Methods
KR20200087816A (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체
JP2018037786A (ja) 撮影装置、方法およびプログラム
CN111263037B (zh) 图像处理装置、拍摄装置、视频播放系统、方法以及程序
JP7487464B2 (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
JP2019009643A (ja) 画像処理装置、画像処理方法およびプログラム
Popovic et al. Design and implementation of real-time multi-sensor vision systems
JP2017227957A (ja) 情報処理装置、および、情報処理システム
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17865183

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018547656

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17865183

Country of ref document: EP

Kind code of ref document: A1