WO2021182154A1 - 撮影補助装置 - Google Patents

撮影補助装置 Download PDF

Info

Publication number
WO2021182154A1
WO2021182154A1 PCT/JP2021/007667 JP2021007667W WO2021182154A1 WO 2021182154 A1 WO2021182154 A1 WO 2021182154A1 JP 2021007667 W JP2021007667 W JP 2021007667W WO 2021182154 A1 WO2021182154 A1 WO 2021182154A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging unit
assisting device
unit
rear camera
Prior art date
Application number
PCT/JP2021/007667
Other languages
English (en)
French (fr)
Inventor
翔 小倉
佐句 石田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021182154A1 publication Critical patent/WO2021182154A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present invention relates to a photographing assisting device.
  • a method called back-to-back is known in which two cameras are arranged back to back to photograph the front and rear surfaces.
  • the image captured by each camera in this way is utilized as a panoramic image by performing a process called stitching.
  • the imaging assisting device of one form according to the present disclosure includes a first imaging unit that captures an image of a first viewing angle and a second visual field that is larger than the first viewing angle.
  • the direction corresponding to at least one of the three orthogonal axes and the rotating unit that rotates at least one of the second imaging units that capture the angle image at a predetermined rotation center. It includes a nodal point of the imaging unit and an adjusting unit that adjusts the gap between the rotation centers.
  • FIG. 1 is a perspective view of a photographing assisting device according to an embodiment.
  • FIG. 2 is a perspective view of the photographing assisting device according to the embodiment.
  • FIG. 3 is a side view of the photographing assisting device according to the embodiment.
  • FIG. 4A is a diagram showing an example of a front image.
  • FIG. 4B is a diagram showing an example of a rear image.
  • FIG. 4C is a diagram showing an example of a panoramic image.
  • FIG. 5 is a diagram showing an example of the rotational operation of the rear camera.
  • FIG. 6 is a diagram showing an example of the rotational operation of the rear camera.
  • FIG. 7 is a diagram showing an example of an exploded perspective view of the photographing assist device.
  • FIG. 8 is a perspective view of the spacer.
  • FIG. 8 is a perspective view of the spacer.
  • FIG. 9 is a diagram showing an example of rotation control of the rear camera.
  • FIG. 10 is a diagram showing an example of rotation control of the rear camera.
  • FIG. 11 is a diagram showing an example of the moving direction of the rear camera.
  • FIG. 12 is a diagram showing an example of movement control in the X-axis direction.
  • FIG. 13 is a diagram showing an example of a panoramic image.
  • FIG. 14 is a diagram showing an example of movement control in the Y-axis direction.
  • FIG. 15 is a diagram showing an example of a panoramic image.
  • FIG. 16 is a diagram showing an example of movement control in the Z-axis direction.
  • FIG. 17 is a diagram showing an example of a panoramic image.
  • FIG. 10 is a diagram showing an example of rotation control of the rear camera.
  • FIG. 11 is a diagram showing an example of the moving direction of the rear camera.
  • FIG. 12 is a diagram showing an example of movement control in the X-axis direction.
  • FIG. 13
  • FIG. 18 is a block diagram showing an example of the functional configuration of the photographing assisting device 1 according to the embodiment.
  • FIG. 19 is a perspective view of the photographing assisting device 5 according to the application example.
  • FIG. 20 is a diagram showing an example of a panoramic image.
  • FIG. 1 and 2 are perspective views of the photographing assisting device 1 according to the embodiment.
  • FIG. 3 is a side view of the photographing assisting device 1 according to the embodiment. 1 to 3 illustrate three axes, the X-axis, the Y-axis, and the Z-axis, which are orthogonal to each other.
  • the X-axis corresponds to the width direction (horizontal direction, longitudinal direction) of the photographing assisting device 1.
  • the Y-axis corresponds to the depth direction (front-back direction, short-side direction) of the photographing assisting device 1.
  • the Z direction corresponds to the thickness direction (vertical direction) of the photographing assisting device 1.
  • the imaging assisting device 1 shown in FIGS. 1 to 3 is a rig that assists 360-degree omnidirectional imaging by a back-to-back method.
  • a plurality of cameras of the front camera 3F and the rear camera 3R can be used for omnidirectional photography.
  • 1 and 3 show a state in which the front camera 3F and the rear camera 3R are not attached to the photographing assisting device 1, while FIG. 2 shows the front camera 3F and the rear camera 3R attached to the photographing assisting device 1. The state of being attached is shown.
  • the bottom surface of the main body 31F of the front camera 3F is placed on the mounting surface (XY plane) of the plate 12 of the imaging assist device 1 with the optical axis of the lens 32F of the front camera 3F facing forward. .. Further, with the optical axis of the lens 32R of the rear camera 3R facing backward, the back surface of the main body 31R of the rear camera 3R passes through the spacer 13 of the imaging assisting device 1 and the joint surface (XZ) of the plate 14 of the imaging assisting device 1. It is connected to the plane).
  • These plates 12 and 14 can be installed in such an arrangement that the optical axis of the lens 32F of the front camera 3F and the optical axis of the lens 32R of the rear camera 3R are on the same straight line.
  • the shooting assist device 1 is configured as a portable rig. As an example, it can be carried to an arbitrary point by gripping the handle 16. For example, at the time of shooting, the shooting assisting device 1 can be placed with the front surface of the shooting assisting device 1 facing the subject to be shot.
  • the "front surface” referred to here can correspond to the optical axis direction of the lens 32F included in the front camera 3F mounted on the photographing assisting device 1.
  • the rear surface of the photographing assisting device 1 can correspond to the optical axis direction of the lens 32R included in the rear camera 3R mounted on the photographing assisting device 1.
  • the front camera 3F mounts an image sensor 33F (not shown) inside the main body 31F in addition to an optical system including a lens 32F.
  • a fisheye lens having a wide viewing angle, for example, 180 degrees, can be used for the lens 32F.
  • an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) can be adopted for the image sensor 33F.
  • the front camera 3F can capture an image by forming an image of light captured through the lens 32F on the image sensor 33F.
  • the rear camera 3R mounts an image sensor 33R (not shown) inside the main body 31R in addition to an optical system including a lens 32R.
  • a lens having a wider viewing angle than the lens 32F can be adopted as the lens 32R.
  • a fisheye lens having an ultra-wide viewing angle for example, 220 degrees or 250 degrees, can be used for the lens 32R.
  • an image sensor such as a CCD or CMOS can be adopted for the image sensor 33R.
  • the rear camera 3R can capture an image by forming an image of light captured through the lens 32R on the image sensor 33R.
  • a lens having a wide viewing angle is used for the lens 32F and a lens having an ultra-wide viewing angle is used for the lens 32R, but this is just an example and is not limited to this.
  • a lens having an ultra-wide viewing angle can be adopted as the lens 32F
  • a lens having a wide viewing angle can be adopted as the lens 32R.
  • the former may be referred to as a "front image” and the latter may be referred to as a “rear image” from the aspect of distinguishing the labels between the image captured by the front camera 3F and the image captured by the rear camera 3R. be.
  • FIG. 4A is a diagram showing an example of a front image.
  • the light receiving portion of the image sensor 33F is shown by a broken line
  • the range in which the light captured through the lens 32F is imaged on the image sensor 33F is shown by a thin solid line.
  • a part of the range in which the light captured through the lens 32F forms an image on the image sensor 33F that is, the upper end portion and the lower end portion protrude from the light receiving portion of the image sensor 33F.
  • an image in which the upper end portion and the lower end portion are missing that is, an image of a portion shown by a thick solid line in FIG. 4A is captured as a front image.
  • the resolution of the image sensor 33F is 6K
  • a front image having a pixel density of about 30 ppd can be obtained.
  • FIG. 4B is a diagram showing an example of a rear image.
  • the light receiving portion of the image sensor 33R is shown by a broken line
  • the range in which the light captured through the lens 32R is imaged on the image sensor 33R is shown by a thick solid line.
  • the entire range in which the light captured through the lens 32R is imaged on the image sensor 33R is included in the light receiving portion of the image sensor 33R.
  • the entire range in which the light captured through the lens 32R is imaged on the image sensor 33R that is, the image of the portion shown by the thick solid line in FIG. 4B is captured as the rear image.
  • the resolution of the image sensor 33R is 6K, it is possible to obtain a rear image having a pixel density of about 10 ppd to 15 ppd.
  • the pixel density of the front image is increased as compared with the pixel density of the rear image.
  • the image quality in front of the photographing assisting device 1 can be improved.
  • the image sensor 33F and the image sensor 33R are arranged so that the ratio of the number of pixels in the horizontal direction and the vertical direction is staggered.
  • the image sensor 33R has the optical center of the image sensor 33F as the center of rotation, and is equivalent to the ratio of the number of pixels in the horizontal direction and the vertical direction when the image sensor 33F is rotated by 90 degrees around the Y axis. Be placed. This makes it possible to obtain vertical overlap in exchange for horizontal overlap, which tends to be excessive between the front and rear images.
  • FIGS. 4A and 4B are merely examples, and the ratio of the number of pixels in the horizontal direction and the number of pixels in the vertical direction may be the same between the image sensor 33F and the image sensor 33R.
  • FIG. 4C is a diagram showing an example of a panoramic image.
  • the boundary portion of the region corresponding to the front image of the panoramic image 40 is shown by a broken line, while the boundary portion of the region corresponding to the rear image is shown by a solid line.
  • the panoramic image 40 having a pixel density of about 21 ppd can be obtained.
  • the camera parameters of the front camera 3F and the rear camera 3R can be used for the above stitching.
  • the "camera parameters" referred to here may include external parameters such as the position and orientation of the camera and internal parameters such as the angle of view of the camera and distortion of the lens.
  • the above stitching may be performed by any subject.
  • the stitching described above connects the front camera 3F, the rear camera 3R, the photographing assisting device 1 connected to each camera via an input / output interface or a communication interface, or a network with each camera or the photographing assisting device 1. It can be run by a processor installed in any of the computers connected via it.
  • the photographing assisting device 1 realizes rotation control for rotating the rear camera 3R in the tilt direction from the side surface for adjusting the amount of overlap in the vertical direction between the front image and the rear image.
  • the photographing assisting device 1 includes a rotation mechanism that rotates the rear camera 3R around the X-axis with a point on the external space of the photographing assisting device 1 as the center of rotation.
  • the rotation mechanism is linked to the operation of sliding the lever 15L along the guide groove 15 formed in a shape that traces the circular arc whose center position coincides with the center of rotation.
  • FIGS. 5 and 6 are diagrams showing an example of the rotational operation of the rear camera 3R.
  • a part of the right side surface of the photographing assisting device 1 is shown as an excerpt, and the rotation center of the rotation mechanism is indicated by a white circle.
  • FIG. 5 shows a state in which the amount of slide of the lever 15L on the guide groove 15 from the initial position is zero, for example, a state before rotation in which the optical axis of the lens 32R of the rear camera 3R is parallel to the horizontal plane (XY plane). It is shown.
  • FIG. 6 shows a state after rotation in which the slide amount of the lever 15L on the guide groove 15 from the initial position is m1. As shown in FIGS.
  • the rotation in the tilt direction is illustrated here, the rotation in the pan direction or the roll direction may be performed. Further, although the example in which the rear camera 3R rotates the X-axis counterclockwise is given here, the rear camera 3R may rotate the X-axis clockwise.
  • the rotation mechanism is operated by lever operation
  • the operation of the rotation mechanism may be another mechanism such as a switch or a dial
  • the tilt angle is determined via the user interface realized by software. It is possible to accept instruction input of rotation amount and rotation angle.
  • the rotation mechanism is not limited to the example of being manually operated, and it goes without saying that power such as electric power can be used by incorporating a known prime mover such as a motor.
  • the amount of overlap in the vertical direction between the front image and the rear image can be adjusted. For example, by increasing the overlap amount when the overlap amount is insufficient, it is possible to increase the degree of freedom in selecting the boundary portion to which the images are bonded at the time of stitching. In addition, the amount of overlap can be increased to a position desired to be designated as a boundary portion for pasting each image at the time of stitching. By adjusting these stitching, the image quality of the panoramic image can also be improved.
  • the photographing assisting device 1 has the rotation center of the rotation mechanism and the lens 32R of the rear camera 3R from the side surface of suppressing the parallax from occurring in the rear image before and after the rotation due to the rotation of the rear camera 3R in the tilt direction. Adjust the positional relationship with the nodal point of.
  • the nodal point can be searched for by checking the rear image displayed on a display unit or the like (not shown) before and after the rotation of the rear camera 3R and searching for a point in which the appearance of the subject included in the rear image does not change.
  • the above adjustment of the positional relationship is performed in the Y-axis direction between the center of rotation and the nodal point between the back surface of the rear camera 3R and the joint surface (XZ plane) of the plate 14 of the imaging assist device 1. This can be realized by arranging the spacer 13 having a thickness corresponding to the gap of.
  • FIG. 7 is a diagram showing an example of an exploded perspective view of the photographing assisting device 1.
  • FIG. 8 is a perspective view of the spacer 13.
  • FIG. 7 shows an excerpt of the rear camera 3R, the spacer 13 and the plate 14 of the photographing assisting device 1 in a disassembled state. Further, FIG. 8 shows the spacer 13 shown in FIG. 7 in an enlarged state.
  • a spacer 13 is attached to the plate 14. Further, bolts 13A to 13D are inserted into the vias provided at the tips of the legs at the four corners of the spacer 13.
  • the rear camera 3R is fixed to the spacer 13 via such bolts 13A to 13D.
  • the legs at the four corners of the spacer 13 are formed with a thickness t1 corresponding to the gap in the Y-axis direction between the center of rotation and the nodal point.
  • the spacer 13 for filling the gap in the Y-axis direction between the center of rotation and the nodal point is illustrated here, the width corresponding to the gap in the X-axis direction or the height corresponding to the gap in the Z-axis direction is filled. Spacers can also be placed.
  • a spacer having a width, thickness, or height corresponding to the combination can also be used.
  • the types of spacers can be limited to the number corresponding to the number of combinations of the types of the rear camera 3R and the lens 32R. Further, when the combination of the types of the rear camera 3R and the lens 32R is the same, the same spacer can be shared.
  • FIGS. 9 and 10 are diagrams showing an example of rotation control of the rear camera 3R.
  • 9 and 10 schematically show a cross-sectional view of the rear camera 3R as viewed from the direction of arrow A shown in FIG.
  • the rotation center T of the rotation mechanism is indicated by a white circle
  • the nodal point NP of the rear camera 3R is indicated by a black circle.
  • FIG. 9 shows a state before rotation in which the amount of slide of the lever 15L on the guide groove 15 from the initial position is zero.
  • FIG. 10 shows a state after rotation in which the slide amount of the lever 15L on the guide groove 15 from the initial position is m1.
  • the optical axis of the rear camera 3R before rotation is shown by a long-dotted line
  • the optical axis of the rear camera 3R after rotation is shown by a two-dot chain line.
  • the above positional relationship adjustment is the rear camera in the direction and amount that fills the gap in the X-axis, Y-axis or Z-axis between the center of rotation of the rotation mechanism and the nodal point of the rear camera 3R. This can be achieved by moving the 3R. According to such movement control of the rear camera 3R, the gap can be reduced even when there are individual differences in the rear camera 3R and the lens 32R.
  • the movement control of the rear camera 3R can be performed in combination with the arrangement of the spacer 13 described above, or can be performed exclusively.
  • FIG. 11 is a diagram showing an example of the moving direction of the rear camera 3R.
  • the rear camera 3R is translated in the X-axis direction corresponding to the left and right directions, parallel movement in the Y-axis direction corresponding to the forward and backward directions, or the Z axis corresponding to the upward and downward directions. It can be translated in the direction.
  • translations can be realized by any known mechanism.
  • it may be operated by operating a lever, a dial, or the like provided for each of the X-axis direction, the Y-axis direction, and the Z-axis direction, or the X-axis direction and the Y via a user interface realized by software. It may be operated by accepting an instruction input of the direction and amount of movement in the axial direction or the Z-axis direction.
  • the parallel movement mechanism is not limited to the example of being manually operated, and it goes without saying that power such as electric power can be used by incorporating a known prime mover such as a motor.
  • FIG. 12 is a diagram showing an example of movement control in the X-axis direction.
  • FIG. 12 shows a top view of the rear camera 3R shown in FIG.
  • the rotation center T of the rotation mechanism is indicated by a white circle
  • the nodal point NP of the rear camera 3R is indicated by a black circle.
  • the movement direction is the left direction and the movement amount is d1 in parallel with the rear camera 3R. You can move.
  • the gap in the X-axis direction in this way, the image quality of the panoramic image is also improved.
  • FIG. 12 an example is given in which the rotation center T is located to the left of the nodal point NP, but when the rotation center T is located to the right of the nodal point NP, the rear camera 3R is moved to the right. It may be moved in parallel in the direction.
  • FIG. 13 is a diagram showing an example of a panoramic image.
  • the region where the image quality of the panoramic image 40 deteriorates is shown by the alternate long and short dash line and the alternate long and short dash line.
  • the subject that should be displayed on the same scale may be displayed on different scales between the area surrounded by the alternate long and short dash line and the area surrounded by the alternate long and short dash line.
  • a panoramic image 40 may be generated. Such deterioration in image quality can be suppressed by the above-mentioned movement control in the X-axis direction.
  • FIG. 14 is a diagram showing an example of movement control in the Y-axis direction.
  • FIG. 14 schematically shows a cross-sectional view of the rear camera 3R as viewed from the direction of arrow A shown in FIG.
  • the rotation center T of the rotation mechanism is indicated by a white circle
  • the nodal point NP of the rear camera 3R is indicated by a black circle.
  • the movement direction is the rear direction and the movement amount is d2 in parallel with the rear camera 3R. You can move.
  • FIG. 14 an example in which the rotation center T is located in the rearward direction from the nodal point NP is given, but when the rotation center T is located in the front direction from the nodal point NP, the rear camera 3R is in front. It may be moved in parallel in the direction.
  • FIG. 15 is a diagram showing an example of a panoramic image.
  • the region where the image quality of the panoramic image 40 deteriorates is shown by the alternate long and short dash line and the alternate long and short dash line.
  • the entire image 40 may be distorted. Such deterioration in image quality can be suppressed by the above-mentioned movement control in the Y-axis direction.
  • FIG. 16 is a diagram showing an example of movement control in the Z-axis direction.
  • FIG. 16 schematically shows a cross-sectional view of the rear camera 3R as viewed from the direction of arrow A shown in FIG.
  • the rotation center T of the rotation mechanism is indicated by a white circle
  • the nodal point NP of the rear camera 3R is indicated by a black circle.
  • the movement direction is upward and the movement amount is d3 in parallel with the rear camera 3R. You can move.
  • FIG. 17 is a diagram showing an example of a panoramic image.
  • the region where the image quality of the panoramic image 40 deteriorates is shown by the alternate long and short dash line and the alternate long and short dash line.
  • the alternate long and short dash line and the alternate long and short dash line For example, if there is a gap in the Z-axis direction, a subject that should be displayed on the same scale may be displayed on different scales between the area surrounded by the alternate long and short dash line and the area surrounded by the alternate long and short dash line.
  • a panoramic image 40 may be generated. Such deterioration in image quality can be suppressed by the above-mentioned movement control in the Z-axis direction.
  • FIG. 18 is a block diagram showing an example of the functional configuration of the photographing assisting device 1 according to the embodiment.
  • the photographing assisting device 1 includes a tilt motor 18 that rotates the front camera 3F, the rear camera 3R, and the rear camera 3R in the tilt direction, and also has a control unit 100.
  • the control unit 100 is a processing unit that performs overall control of the photographing assisting device 1.
  • control unit 15 can be implemented by a hardware processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • a CPU and an MPU are illustrated as an example of a processor, but it can be implemented by any processor regardless of a general-purpose type or a specialized type.
  • control unit 15 may be realized by hard-wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the control unit 100 deploys an image processing program such as a stitch engine that realizes the above stitching function on a work area of a RAM (Random Access Memory) mounted as a main storage device (not shown), thereby performing the following. Realize the processing unit virtually.
  • an image processing program such as a stitch engine that realizes the above stitching function on a work area of a RAM (Random Access Memory) mounted as a main storage device (not shown), thereby performing the following. Realize the processing unit virtually.
  • control unit 100 includes an image analysis unit 120 and a tilt angle control unit 130 in addition to the stitching unit 110.
  • the stitching unit 110 is a processing unit for pasting the front image and the rear image.
  • the stitching unit 110 sets a boundary along the edge so that the boundary to be pasted by stitching is not conspicuous, sets a boundary while avoiding a place where a person or a moving object is present, or displays. Boundary is set while avoiding the display part such as.
  • the image analysis unit 120 is a processing unit that performs image analysis on a panoramic image. As one aspect, the image analysis unit 120 analyzes whether or not the scene is dark based on the panoramic image. For example, the image analysis unit 120 determines whether or not the average of the pixel values of the panoramic image is less than a predetermined threshold value. At this time, if the average of the pixel values of the panoramic image is less than the predetermined threshold value, the panoramic image can be identified as a dark scene, while if the average of the pixel values of the panoramic image is not less than the predetermined threshold value, the panoramic image is displayed. It can be identified as not a dark scene.
  • the image analysis unit 120 analyzes whether or not there are few patterns in a region corresponding to a specific subject such as a ceiling or left and right walls on a panoramic image. For example, the image analysis unit 120 determines whether or not the spatial frequency of the region corresponding to a specific subject on the panoramic image is less than a predetermined threshold value. At this time, when the spatial frequency of the region corresponding to the specific subject on the panoramic image is less than a predetermined threshold value, it can be identified that there are few patterns in the region corresponding to the specific subject, while the specific subject on the panoramic image. When the spatial frequency of the region corresponding to is not less than a predetermined threshold value, it can be identified that there are not a few patterns in the region corresponding to a specific subject.
  • the tilt angle control unit 130 is a processing unit that controls the tilt angle of the rear camera 3R based on the result of image analysis. As one aspect, the tilt angle control unit 130 sets the tilt angle of the rear camera 3R to be smaller than the first tilt angle when the panoramic image is identified as a dark scene from the result of image analysis. To decide. On the other hand, when the tilt angle control unit 130 determines from the result of the image analysis that the panoramic image is not a dark scene, the tilt angle control unit 130 determines the tilt angle of the rear camera 3R as the first tilt angle. After that, the tilt angle control unit 130 outputs a control signal for driving the tilt motor 18 according to the previously determined tilt angle.
  • the tilt angle control unit 130 sets the tilt angle of the rear camera 3R to be smaller than the first tilt angle when it is determined from the result of image analysis that there are few patterns in the region corresponding to a specific subject. Determine the tilt angle of 2.
  • the tilt angle control unit 130 determines the tilt angle of the rear camera 3R as the first tilt angle when it is determined from the result of the image analysis that there are not a few patterns in the region corresponding to the specific subject. After that, the tilt angle control unit 130 outputs a control signal for driving the tilt motor 18 according to the previously determined tilt angle.
  • the tilt angle of the rear camera 3R is controlled to be small, while the overlap between the front image and the rear image is reduced.
  • the tilt angle of the rear camera 3R can be largely controlled.
  • Location information can be used instead.
  • location information such as outdoor or indoor can be set.
  • the area of interest may be constructed on a stage or the like, and may also have a ceiling or the like.
  • the location when the location is indoors, it can be set to the first tilt angle, while when the location is outdoors, it can be set to the second tilt angle.
  • Double front > In the photographing assisting device 1 according to the embodiment of the present disclosure, an example in which the back-to-back method is always adopted has been given, but the back-to-back method may not necessarily be adopted.
  • FIG. 19 is a perspective view of the photographing assisting device 5 according to the application example.
  • the imaging assisting device 5 shown in FIG. 19 is a rig that assists imaging with a wide viewing angle, for example, 180 degrees, in a double front manner.
  • a plurality of cameras, a camera 7F and a rear camera 7R, can be used for 180-degree shooting.
  • the camera 7F and the camera 7R are mounted on the photographing assisting device 5 with both the optical axis of the lens of the camera 7F and the optical axis of the lens of the camera 7R facing forward.
  • the camera 7F is equipped with an image sensor (not shown) inside the main body in addition to an optical system including a lens.
  • an image sensor such as a CCD or CMOS can be adopted as the image sensor.
  • the camera 7F can capture a high-resolution image by forming an image of the light captured through the lens on the image sensor.
  • the camera 7R is equipped with an image sensor (not shown) inside the main body in addition to the optical system including the lens.
  • an image sensor such as a CCD or CMOS can be adopted as the image sensor.
  • the camera 7R can capture a low-resolution image by forming an image of the light captured through the lens on the image sensor.
  • FIG. 20 is a diagram showing an example of a panoramic image.
  • the boundary portion of the region of the panoramic image 80 to which the high-resolution image is pasted is shown by a broken line.
  • the area corresponding to the subject of high interest in the panoramic image 80 for example, an artist appearing in a concert, is allocated to the area corresponding to the high resolution image, while the subject of low interest, for example, a concert hall. Stitching that allocates the corresponding area of the low resolution image to the area corresponding to the stage, the wall, etc. in Further, by adjusting the direction and zoom of the camera 7F so that the subject of high interest is included in the imaging range of the camera 7F and is centered, the subject of high interest can be tracked.
  • Rotation control can be performed on at least one of these cameras 7F and 7R.
  • the rotation control of the camera 7R can be performed by using the guide groove 55 corresponding to the guide groove 15 and the lever 55L corresponding to the lever 15L.
  • a predetermined imaging unit is at least one of a first imaging unit that captures an image of the first viewing angle and a second imaging unit that captures an image of a second viewing angle larger than the first viewing angle.
  • a rotating part that rotates at the center of rotation,
  • An adjusting unit that adjusts the gap between the nodal point of the imaging unit and the center of rotation in a direction corresponding to at least one of the three orthogonal axes.
  • the adjusting unit is a spacer that is arranged between the imaging assisting device and the imaging unit and has a width, thickness, or height corresponding to the gap.
  • the spacer differs depending on the combination of the imaging unit and the type of lens possessed by the imaging unit.
  • the adjusting unit adjusts the gap by translating the imaging unit.
  • the rotating unit rotates the imaging unit in the tilt direction.
  • the tilt angle for rotating the imaging unit in the tilt direction is controlled based on the image analysis result of the panoramic image generated by pasting the image of the first viewing angle and the image of the second viewing angle.
  • the tilt angle for rotating the imaging unit in the tilt direction is controlled based on the location information in which the imaging assist device is located.
  • the imaging assisting device rotates the imaging unit in conjunction with lever operation.
  • the imaging assisting device according to any one of (1) to (7).
  • the rotating unit rotates the first imaging unit.
  • the imaging assisting device according to any one of (1) to (8).
  • the rotating unit rotates the second imaging unit.
  • the imaging assisting device according to any one of (1) to (9).
  • (11) The first imaging unit and the second imaging unit are mounted back to back.
  • Both the first imaging unit and the second imaging unit are mounted with their optical axes oriented in the same direction.
  • the imaging assisting device according to any one of (1) to (10).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

撮影補助装置は、第１の視野角の画像を撮像する第１の撮像部および前記第１の視野角よりも大きい第２の視野角の画像を撮像する第２の撮像部のうち少なくとも一方の撮像部を所定の回転中心で回転させる回転部と、直交する３つの軸のうち少なくともいずれか１つの軸に対応する方向で、前記撮像部のノーダルポイントおよび前記回転中心の間のギャップを調節する調節部と、を備える。

Description

撮影補助装置
　本発明は、撮影補助装置に関する。
　全周囲撮影の１つとして、２つのカメラが背中合わせに配置された状態で前面および後面を撮影するバックツーバック（Back　to　Back)と呼ばれる方式が知られている。このように各カメラにより撮像された画像は、スティッチングと呼ばれる処理が行われることによりパノラマ画像として活用される。
国際公開第２０１９／０３１４６８号公報
　しかしながら、上記のバックツーバック方式では、各カメラの向きが固定であるので、画像間のオーバーラップ量の調節が困難である。
　そこで、本開示では、画像間のオーバーラップ量を調節できる撮影補助装置を提供することを目的とする。
　上記の課題を解決するために、本開示に係る一形態の撮影補助装置は、第１の視野角の画像を撮像する第１の撮像部および前記第１の視野角よりも大きい第２の視野角の画像を撮像する第２の撮像部のうち少なくとも一方の撮像部を所定の回転中心で回転させる回転部と、直交する３つの軸のうち少なくともいずれか１つの軸に対応する方向で、前記撮像部のノーダルポイントおよび前記回転中心の間のギャップを調節する調節部と、を備える。
図１は、一実施形態に係る撮影補助装置の斜視図である。 図２は、一実施形態に係る撮影補助装置の斜視図である。 図３は、一実施形態に係る撮影補助装置の側面図である。 図４Ａは、前面画像の一例を示す図である。 図４Ｂは、後面画像の一例を示す図である。 図４Ｃは、パノラマ画像の一例を示す図である。 図５は、リアカメラの回転動作の一例を示す図である。 図６は、リアカメラの回転動作の一例を示す図である。 図７は、撮影補助装置の分解斜視図の一例を示す図である。 図８は、スペーサの斜視図である。 図９は、リアカメラの回転制御の一例を示す図である。 図１０は、リアカメラの回転制御の一例を示す図である。 図１１は、リアカメラの移動方向の一例を示す図である。 図１２は、Ｘ軸方向の移動制御の一例を示す図である。 図１３は、パノラマ画像の一例を示す図である。 図１４は、Ｙ軸方向の移動制御の一例を示す図である。 図１５は、パノラマ画像の一例を示す図である。 図１６は、Ｚ軸方向の移動制御の一例を示す図である。 図１７は、パノラマ画像の一例を示す図である。 図１８は、一実施形態に係る撮影補助装置１の機能的構成の一例を示すブロック図である。 図１９は、応用例に係る撮影補助装置５の斜視図である。 図２０は、パノラマ画像の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　１．撮影補助装置の外観構成
　２．カメラ
　　２－１．フロントカメラ
　　２－２．リアカメラ
　３．撮像画像
　　３－１．前面画像
　　３－２．後面画像
　　３－３．パノラマ画像
　４．リアカメラ３Ｒの回転制御
　５．回転中心およびノーダルポイントの位置関係の調節
　　５－１．スペーサ
　　５－２．リアカメラ３Ｒの移動制御
　　５－２－１．Ｘ軸方向の移動制御
　　５－２－２．Ｙ軸方向の移動制御
　　５－２－３．Ｚ軸方向の移動制御
　６．効果の一側面
　７．応用例
　　７－１．リアカメラ３Ｒのチルト角制御
　　７－２．ダブルフロント
＜＜１．撮影補助装置の外観構成＞＞
　まず、本開示の実施形態に係る撮影補助装置１の外観構成の一例を挙げる。図１及び図２は、一実施形態に係る撮影補助装置１の斜視図である。図３は、一実施形態に係る撮影補助装置１の側面図である。図１～図３には、互いに直交するＸ軸、Ｙ軸およびＺ軸の３つの軸が例示されている。Ｘ軸は、撮影補助装置１の幅方向（左右方向、長手方向）に対応する。Ｙ軸は、撮影補助装置１の奥行方向（前後方向、短手方向）に対応する。Ｚ方向は、撮影補助装置１の厚さ方向（上下方向）に対応する。
　図１～図３に示す撮影補助装置１は、バックツーバック方式で３６０度の全周囲撮影を補助するリグである。ここで、全周囲撮影には、フロントカメラ３Ｆ及びリアカメラ３Ｒの複数のカメラを用いることができる。図１及び図３には、フロントカメラ３Ｆ及びリアカメラ３Ｒが撮影補助装置１に装着されていない状態が示される一方で、図２には、フロントカメラ３Ｆ及びリアカメラ３Ｒが撮影補助装置１に装着されている状態が示されている。
　あくまで一例として、フロントカメラ３Ｆのレンズ３２Ｆの光軸を前方向に向けた状態でフロントカメラ３Ｆの本体３１Ｆの底面が撮影補助装置１のプレート１２の載置面（ＸＹ平面）に載置される。また、リアカメラ３Ｒのレンズ３２Ｒの光軸を後方向に向けた状態でリアカメラ３Ｒの本体３１Ｒの背面が撮影補助装置１のスペーサ１３を介して撮影補助装置１のプレート１４の結合面（ＸＺ平面）に結合される。これらプレート１２及びプレート１４は、フロントカメラ３Ｆのレンズ３２Ｆの光軸及びリアカメラ３Ｒのレンズ３２Ｒの光軸が同一の直線上となる配置で設置することができる。
　また、撮影補助装置１は、ポータブル型のリグとして構成されている。あくまで一例として、ハンドル１６をグリップすることにより任意の地点へ持ち運びすることが可能である。例えば、撮影時には、撮影の目標とする被写体に撮影補助装置１の前面を向けて撮影補助装置１を載置できる。ここで言う「前面」とは、撮影補助装置１に装着されるフロントカメラ３Ｆが有するレンズ３２Ｆの光軸方向に対応し得る。これに対し、撮影補助装置１の後面は、撮影補助装置１に装着されるリアカメラ３Ｒが有するレンズ３２Ｒの光軸方向に対応し得る。
＜＜２．カメラ＞＞
＜２－１．フロントカメラ＞
　フロントカメラ３Ｆは、レンズ３２Ｆを含む光学系の他、本体３１Ｆの内部に図示しないイメージセンサ３３Ｆを搭載する。あくまで一例として、レンズ３２Ｆには、広視野角、例えば１８０度の魚眼レンズを採用できる。また、イメージセンサ３３Ｆには、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を採用できる。フロントカメラ３Ｆは、レンズ３２Ｆを介して取り込まれる光をイメージセンサ３３Ｆに結像させることにより、画像を撮像することができる。
＜２－２．リアカメラ＞
　リアカメラ３Ｒは、レンズ３２Ｒを含む光学系の他、本体３１Ｒの内部に図示しないイメージセンサ３３Ｒを搭載する。あくまで一例として、レンズ３２Ｒには、レンズ３２Ｆよりも視野角が広角であるレンズを採用できる。具体的には、レンズ３２Ｒには、超広視野角、例えば２２０度や２５０度の魚眼レンズを採用することができる。また、イメージセンサ３３Ｒにも、ＣＣＤやＣＭＯＳなどの撮像素子を採用できる。リアカメラ３Ｒは、レンズ３２Ｒを介して取り込まれる光をイメージセンサ３３Ｒに結像させることにより、画像を撮像することができる。
　なお、ここでは、レンズ３２Ｆには広視野角のレンズが採用されると共にレンズ３２Ｒには超広視野角のレンズが採用される例を挙げたが、あくまで一例であり、これに限定されない。例えば、超広視野角のレンズをレンズ３２Ｆとして採用すると共に広視野角のレンズをレンズ３２Ｒとして採用することもできる。
　以下、フロントカメラ３Ｆが撮像する画像およびリアカメラ３Ｒが撮像する画像の間で両者のラベルを区別する側面から、前者を「前面画像」と記載すると共に後者を「後面画像」と記載することがある。
＜＜３．撮像画像＞＞
＜３－１．前面画像＞
　図４Ａは、前面画像の一例を示す図である。図４Ａには、イメージセンサ３３Ｆの受光部が破線で示されると共に、レンズ３２Ｆを介して取り込まれる光がイメージセンサ３３Ｆに結像する範囲が細い実線で示されている。図４Ａに示すように、レンズ３２Ｆを介して取り込まれる光がイメージセンサ３３Ｆに結像する範囲の一部、すなわち上端部および下端部がイメージセンサ３３Ｆの受光部からはみ出ている。この場合、上端部および下端部が欠けた画像、すなわち図４Ａに太い実線で示す部分の画像が前面画像として撮像される。あくまで一例として、イメージセンサ３３Ｆの解像度が６Ｋであるとしたとき、３０ｐｐｄ程度の画素密度の前面画像を得ることができる。
＜３－２．後面画像＞
　図４Ｂは、後面画像の一例を示す図である。図４Ｂには、イメージセンサ３３Ｒの受光部が破線で示されると共に、レンズ３２Ｒを介して取り込まれる光がイメージセンサ３３Ｒに結像する範囲が太い実線で示されている。図４Ｂに示すように、レンズ３２Ｒを介して取り込まれる光がイメージセンサ３３Ｒに結像する範囲の全てがイメージセンサ３３Ｒの受光部に含まれる。この場合、レンズ３２Ｒを介して取り込まれる光がイメージセンサ３３Ｒに結像する範囲の全て、すなわち図４Ｂに太い実線で示す部分の画像が後面画像として撮像される。あくまで一例として、イメージセンサ３３Ｒの解像度が６Ｋであるとしたとき、１０ｐｐｄ～１５ｐｐｄ程度の画素密度の後面画像を得ることができる。
　このように、イメージセンサ３３Ｆ及びイメージセンサ３３Ｒの解像度を同一とし、レンズ３２Ｆの視野角をレンズ３２Ｒの視野角よりも狭めることで、前面画像の画素密度を後面画像の画素密度に比べて高める。これによって、撮影補助装置１の正面の画質を高めることができる。
　さらに、イメージセンサ３３Ｆ及びイメージセンサ３３Ｒの間で解像度が同一である場合でも、水平方向および垂直方向の画素数の比が互い違いとなるようにイメージセンサ３３Ｆ及びイメージセンサ３３Ｒが配置される。言い換えれば、イメージセンサ３３Ｒは、イメージセンサ３３Ｆの光学中心を回転中心とし、Ｙ軸回りに９０度分の回転が行われた場合の水平方向および垂直方向の画素数の比と等価になるように配置される。これによって、前面画像および後面画像の間で過剰になりがちである左右方向のオーバーラップと引き換えに上下方向のオーバーラップを獲得することができる。
　なお、図４Ａ及び図４Ｂでは、あくまで一例に過ぎず、イメージセンサ３３Ｆ及びイメージセンサ３３Ｒの間で水平方向および垂直方向の画素数の比が同一であってもかまわない。
＜３－３．パノラマ画像＞
　スティッチングと呼ばれる画像処理により、前面画像および後面画像を貼り合わせることで、３６０度のパノラマ画像を生成することができる。図４Ｃは、パノラマ画像の一例を示す図である。図４Ｃには、パノラマ画像４０のうち前面画像に対応する領域の境界部が破線で示される一方で、後面画像に対応する領域の境界部が実線で示されている。例えば、図４Ａで例に挙げる前面画像および図４Ｂで例に挙げる後面画像からアスペクト比が８Ｋであるパノラマ画像が生成される場合、２１ｐｐｄ程度の画素密度を有するパノラマ画像４０を得ることができる。
　例えば、上記のスティッチングには、フロントカメラ３Ｆ及びリアカメラ３Ｒのカメラパラメータを用いることができる。ここで言う「カメラパラメータ」には、カメラの位置や向きなどの外部パラメータ及びカメラの画角やレンズの歪みなどの内部パラメータなどが含まれ得る。この他、上記のスティッチングには、デプスセンサにより取得されたデプスマップ、撮影補助装置１の底面の水平面（ＸＹ平面）からの角度、後述の回転機構によりリアカメラ３Ｒがチルト方向に回転される場合のチルト角などの情報を用いることもできる。
　また、上記のスティッチングは、任意の主体により実行されることとしてかまわない。例えば、上記のスティッチングは、フロントカメラ３Ｆ、リアカメラ３Ｒ、各カメラと入出力インタフェイスあるいは通信インタフェイスを介して接続される撮影補助装置１、又は、各カメラあるいは撮影補助装置１とネットワークを介して接続される任意のコンピュータのいずれかに搭載されるプロセッサにより実行させることができる。
＜＜４．リアカメラ３Ｒの回転制御＞＞
　本開示の実施形態に係る撮影補助装置１は、前面画像および後面画像の間で上下方向のオーバーラップ量を調節する側面から、リアカメラ３Ｒをチルト方向に回転させる回転制御を実現する。あくまで一例として、撮影補助装置１は、撮影補助装置１の外部空間上のポイントを回転中心とし、Ｘ軸回りにリアカメラ３Ｒを回転する回転機構を備える。例えば、回転機構は、上記の回転中心と中心位置が一致する円の円弧をトレースする形状に形成されたガイド溝１５に沿ってレバー１５Ｌをスライドさせる操作に連動する。
　図５及び図６は、リアカメラ３Ｒの回転動作の一例を示す図である。図５及び図６には、撮影補助装置１の右側面の一部が抜粋して示されると共に、回転機構の回転中心が白丸で示されている。図５には、ガイド溝１５上のレバー１５Ｌの初期位置からのスライド量がゼロである状態、例えばリアカメラ３Ｒのレンズ３２Ｒの光軸が水平面（ＸＹ平面）と平行である回転前の状態が示されている。図６には、ガイド溝１５上のレバー１５Ｌの初期位置からのスライド量がｍ１である回転後の状態が示されている。図５及び図６に示すように、ガイド溝１５上のレバー１５Ｌが初期位置からスライド量ｍ１に対応する位置までスライドされた場合、リアカメラ３Ｒが回転中心Ｔを中心にしてＸ軸を反時計回りに回転することにより、リアカメラ３Ｒがチルト方向に回転することになる。このようなチルト方向の回転によって、前面画像および背面画像の上下方向のオーバーラップ量を調節できる。
　なお、ここでは、チルト方向の回転を例示したが、パン方向やロール方向の回転が行われることとしてもよい。また、ここでは、リアカメラ３ＲがＸ軸を反時計回りに回転する例を挙げたが、リアカメラ３ＲがＸ軸を時計回りに回転することとしてもかまわない。
　この他、回転機構がレバー操作によって作動する例を挙げたが、回転機構の操作はスイッチやダイヤル等の他の機構であってもよく、ソフトウェアにより実現されるユーザインタフェイスを介してチルト角の回転量や回転角度の指示入力を受け付けることができる。また、回転機構は、手動により動作される例に限定されず、モータ等の既知の原動機等を組み込むことにより電力をはじめとする動力を用いることができるのは言うまでもない。
　このように、リアカメラ３Ｒをチルト方向に回転させることで、前面画像および後面画像の間における上下方向のオーバーラップ量を調節できる。例えば、オーバーラップ量の不足時にオーバーラップ量を増加させることにより、スティッチング時に各画像が貼り合わせられる境界部を選択できる自由度を高めることができる。また、スティッチング時に各画像の貼り合わせの境界部として指定したい位置までオーバーラップ量を増加させることができる。これらのスティッチングの調節により、パノラマ画像の画質も向上させることができる。
＜＜５．回転中心およびノーダルポイントの位置関係の調節＞＞
　本開示の実施形態に係る撮影補助装置１は、リアカメラ３Ｒのチルト方向の回転によって回転前後の後面画像に視差が生じるのを抑制する側面から、回転機構の回転中心とリアカメラ３Ｒのレンズ３２Ｒのノーダルポイントとの位置関係を調節する。なお、ノーダルポイントは、図示しない表示部等で表示される後面画像をリアカメラ３Ｒの回転前後で確認しながら後面画像に含まれる被写体の映り方が変化しないポイントを探すことで探索できる。
＜５－１．スペーサ＞
　１つの側面として、上記の位置関係の調節は、リアカメラ３Ｒの背面と撮影補助装置１のプレート１４の結合面（ＸＺ平面）との間に、回転中心およびノーダルポイントの間におけるＹ軸方向のギャップに対応する厚みを有するスペーサ１３を配置することにより実現できる。
　図７は、撮影補助装置１の分解斜視図の一例を示す図である。図８は、スペーサ１３の斜視図である。図７には、撮影補助装置１のうちリアカメラ３Ｒ、スペーサ１３およびプレート１４を抜粋してこれらが分解された状態で示されている。さらに、図８には、図７に示されたスペーサ１３が拡大された状態で示されている。
　図７に示すように、プレート１４には、スペーサ１３が取り付けられる。さらに、スペーサ１３の４隅の脚部の先端に設けられたビアには、ボルト１３Ａ～１３Ｄが差し込まれる。このようなボルト１３Ａ～１３Ｄを介してリアカメラ３Ｒがスペーサ１３に固定される。ここで、スペーサ１３の４隅の脚部は、図８に示すように、回転中心およびノーダルポイントの間におけるＹ軸方向のギャップに対応する厚みｔ１で形成される。このようなスペーサ１３が撮影補助装置１及びリアカメラ３Ｒの間に挿入されることにより、回転中心およびノーダルポイントの間におけるＹ軸方向のギャップが埋まる。なお、ここでは、回転中心およびノーダルポイントの間におけるＹ軸方向のギャップを埋めるスペーサ１３を例示したが、Ｘ軸方向のギャップに対応する幅またはＺ軸方向のギャップに対応する高さを埋めるスペーサを配置することもできる。
　ここで、リアカメラ３Ｒおよびレンズ３２Ｒの種類の組合せごとに当該組合せに対応する幅、厚みまたは高さを有するスペーサを用いることもできる。これによって、リアカメラ３Ｒおよびレンズ３２Ｒの種類の組合せ数に対応する個数にスペーサの種類を限定できる。また、リアカメラ３Ｒおよびレンズ３２Ｒの種類の組合せが同一である場合、同一のスペーサを共用できる。
　図９及び図１０は、リアカメラ３Ｒの回転制御の一例を示す図である。図９及び図１０には、図２に示されたＡ矢視の方向から見たリアカメラ３Ｒの断面図が模式的に示されている。図９及び図１０には、回転機構の回転中心Ｔが白丸で示されると共に、リアカメラ３ＲのノーダルポイントＮＰが黒丸で示されている。図９には、ガイド溝１５上のレバー１５Ｌの初期位置からのスライド量がゼロである回転前の状態が示されている。図１０には、ガイド溝１５上のレバー１５Ｌの初期位置からのスライド量がｍ１である回転後の状態が示されている。さらに、図１０には、回転前におけるリアカメラ３Ｒの光軸が一点鎖線で示されると共に、回転後におけるリアカメラ３Ｒの光軸が二点鎖線で示されている。
　図９及び図１０に示すように、ガイド溝１５上のレバー１５Ｌが初期位置からスライド量ｍ１に対応する位置までスライドされた場合、リアカメラ３Ｒは、ノーダルポイントＮＰが回転中心Ｔと一致する状態でＸ軸を反時計回りに回転する。これによって、ガイド溝１５上のレバー１５Ｌの初期位置からスライド量ｍ１の位置までのスライド操作に対応するチルト角θ、例えば１０度にわたってリアカメラ３Ｒがチルト方向に回転することになる。
　このように、リアカメラ３ＲのノーダルポイントＮＰを回転機構の回転中心Ｔに一致させた状態でリアカメラ３Ｒが回転する場合、回転の前後で後面画像に視差が生じない。それ故、リアカメラ３Ｒの回転の前後でスティッチングの貼り合わせの境界部を固定する場合、スティッチング処理の一部、例えば処理コストが高い境界部の決定などをスキップすることができる。さらに、ノーダルポイントでの回転により、後面画像から後面画像に映る三脚等の余分な被写体を消去したり、後面画像に背景用の静止画、例えば背景差分用の画像を含めたりすることができる。
＜５－２．リアカメラ３Ｒの移動制御＞
　他の側面として、上記の位置関係の調節は、回転機構の回転中心およびリアカメラ３Ｒのノーダルポイントの間におけるＸ軸方向、Ｙ軸方向又はＺ軸方向のギャップを埋める向きおよび量でリアカメラ３Ｒを移動させることにより実現できる。このようなリアカメラ３Ｒの移動制御によれば、リアカメラ３Ｒやレンズ３２Ｒに個体差がある場合でもギャップを低減できる。なお、リアカメラ３Ｒの移動制御は、上記のスペーサ１３の配置と組み合わせて実施することもできれば、排他的に実施することもできる。
　図１１は、リアカメラ３Ｒの移動方向の一例を示す図である。図１１に示すように、リアカメラ３Ｒを左向きおよび右向きに対応するＸ軸方向に平行移動したり、前向きおよび後ろ向きに対応するＹ軸方向に平行移動したり、あるいは上向きおよび下向きに対応するＺ軸方向に平行移動したりすることができる。
　これらの平行移動は、既知の任意の機構により実現できる。例えば、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の向き別に設けられたレバーやダイヤル等の操作により作動することとしてもよいし、ソフトウェアにより実現されるユーザインタフェイスを介してＸ軸方向、Ｙ軸方向又はＺ軸方向の移動の向きや量の指示入力を受け付けることにより作動することとしてもよい。また、平行移動の機構は、手動により動作される例に限定されず、モータ等の既知の原動機等を組み込むことにより電力をはじめとする動力を用いることができるのは言うまでもない。
＜５－２－１．Ｘ軸方向の移動制御＞
　図１２は、Ｘ軸方向の移動制御の一例を示す図である。図１２には、図３に示されたリアカメラ３Ｒの上面図が示されている。図１２には、回転機構の回転中心Ｔが白丸で示されると共に、リアカメラ３ＲのノーダルポイントＮＰが黒丸で示されている。図１２に示すように、回転中心ＴがノーダルポイントＮＰよりも左方向に位置し、かつ距離ｄ１のギャップがある場合、移動方向を左方向とし、移動量をｄ１とするリアカメラ３Ｒの平行移動を行うことができる。このようにＸ軸方向のギャップを縮めることで、パノラマ画像の画質も向上する。なお、図１２では、回転中心ＴがノーダルポイントＮＰよりも左方向に位置する例を挙げたが、回転中心ＴがノーダルポイントＮＰよりも右方向に位置する場合にはリアカメラ３Ｒを右方向に平行移動させることとすればよい。
　図１３は、パノラマ画像の一例を示す図である。図１３には、パノラマ画像４０の画質が低下する領域が一点鎖線および二点鎖線で示されている。例えば、Ｘ軸方向にギャップがある場合、同一のスケールで映るはずの被写体が一点鎖線で囲われた領域および二点鎖線で囲まれた領域との間で異なるスケールで映ることがあるので、違和感のあるパノラマ画像４０が生成されてしまう場合がある。このような画質低下を上記のＸ軸方向の移動制御により抑制できる。
＜５－２－２．Ｙ軸方向の移動制御＞
　図１４は、Ｙ軸方向の移動制御の一例を示す図である。図１４には、図２に示されたＡ矢視の方向から見たリアカメラ３Ｒの断面図が模式的に示されている。図１４には、回転機構の回転中心Ｔが白丸で示されると共に、リアカメラ３ＲのノーダルポイントＮＰが黒丸で示されている。図１４に示すように、回転中心ＴがノーダルポイントＮＰよりも後方向に位置し、かつ距離ｄ２のギャップがある場合、移動方向を後方向とし、移動量をｄ２とするリアカメラ３Ｒの平行移動を行うことができる。このようにＹ軸方向のギャップを縮めることで、パノラマ画像の画質も向上する。なお、図１４では、回転中心ＴがノーダルポイントＮＰよりも後方向に位置する例を挙げたが、回転中心ＴがノーダルポイントＮＰよりも前方向に位置する場合にはリアカメラ３Ｒを前方向に平行移動させることとすればよい。
　図１５は、パノラマ画像の一例を示す図である。図１５には、パノラマ画像４０の画質が低下する領域が一点鎖線および二点鎖線で示されている。例えば、Ｙ軸方向にギャップがある場合、同一のスケールで映るはずの被写体が一点鎖線で囲われた領域または二点鎖線で囲まれた領域のいずれかで異なるスケールで映ることがあるので、パノラマ画像４０全体が歪んでしまう場合がある。このような画質低下を上記のＹ軸方向の移動制御により抑制できる。
＜５－２－３．Ｚ軸方向の移動制御＞
　図１６は、Ｚ軸方向の移動制御の一例を示す図である。図１６には、図２に示されたＡ矢視の方向から見たリアカメラ３Ｒの断面図が模式的に示されている。図１６には、回転機構の回転中心Ｔが白丸で示されると共に、リアカメラ３ＲのノーダルポイントＮＰが黒丸で示されている。図１６に示すように、回転中心ＴがノーダルポイントＮＰよりも上方向に位置し、かつ距離ｄ３のギャップがある場合、移動方向を上方向とし、移動量をｄ３とするリアカメラ３Ｒの平行移動を行うことができる。このようにＺ軸方向のギャップを縮めることで、パノラマ画像の画質も向上する。なお、図１６では、回転中心ＴがノーダルポイントＮＰよりも上方向に位置する例を挙げたが、回転中心ＴがノーダルポイントＮＰよりも下方向に位置する場合にはリアカメラ３Ｒを下方向に平行移動させることとすればよい。
　図１７は、パノラマ画像の一例を示す図である。図１７には、パノラマ画像４０の画質が低下する領域が一点鎖線および二点鎖線で示されている。例えば、Ｚ軸方向にギャップがある場合、同一のスケールで映るはずの被写体が一点鎖線で囲われた領域および二点鎖線で囲まれた領域との間で異なるスケールで映ることがあるので、違和感のあるパノラマ画像４０が生成されてしまう場合がある。このような画質低下を上記のＺ軸方向の移動制御により抑制できる。
＜＜６．効果の一側面＞＞
　例えば、上記のリアカメラ３Ｒの回転制御によれば、前面画像および後面画像の間のオーバーラップ量の調節を実現することが可能である。さらに、上記の回転中心およびノーダルポイントの位置関係の調節制御によれば、リアカメラ３ＲのノーダルポイントＮＰを回転機構の回転中心Ｔに一致させた状態でリアカメラ３Ｒを回転させることができるので、回転の前後で後面画像に視差が生じない。それ故、リアカメラ３Ｒの回転の前後でスティッチングの貼り合わせの境界部を固定する場合、スティッチング処理の一部、例えば処理コストが高い境界部の決定などをスキップすることができる。さらに、ノーダルポイントでの回転により、後面画像から後面画像に映る三脚等の余分な被写体を消去したり、後面画像に背景用の静止画、例えば背景差分用の画像を含めたりすることができる。
　なお、ここまでの説明では、リアカメラ３Ｒの回転制御が行われる例を挙げたが、これはあくまで例示であり、リアカメラ３Ｒの回転制御の代わりにフロントカメラ３Ｆの回転制御を行うこともできるし、両方を行うこともできる。
＜＜７．応用例＞＞
＜７－１．リアカメラ３Ｒのチルト角制御＞
　例えば、本開示の実施形態に係る撮影補助装置１は、リアカメラ３Ｒをチルト方向に回転させるチルト角を自動的に決定することもできる。図１８は、一実施形態に係る撮影補助装置１の機能的構成の一例を示すブロック図である。図１８に示すように、撮影補助装置１は、フロントカメラ３Ｆやリアカメラ３Ｒ、リアカメラ３Ｒをチルト方向に回転させるチルトモータ１８を有する他、制御部１００を有する。
　制御部１００は、撮影補助装置１の全体制御を行う処理部である。
　一実施形態として、制御部１５は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
　制御部１００は、図示しない主記憶装置として実装されるＲＡＭ（Random　Access　Memory）のワークエリア上に、上記のスティッチングの機能を実現するスティッチエンジンなどの画像処理プログラムを展開することにより、下記の処理部を仮想的に実現する。
　制御部１００は、図１８に示すように、スティッチング部１１０の他、画像解析部１２０およびチルト角制御部１３０とを有する。
　スティッチング部１１０は、前面画像および後面画像を貼り合わせる処理部である。あくまで一例として、スティッチング部１１０は、スティッチングで貼り合わせる境界が目立たないように、エッジに沿って境界を設定したり、人や動く物がいる場所を避けて境界を設定したり、あるいはディスプレイ等の表示部を避けて境界を設定したりする。
　画像解析部１２０は、パノラマ画像に画像解析を行う処理部である。１つの側面として、画像解析部１２０は、パノラマ画像に基づいて暗いシーンであるか否かを解析する。例えば、画像解析部１２０は、パノラマ画像の画素値の平均が所定の閾値未満であるか否かを判定する。このとき、パノラマ画像の画素値の平均が所定の閾値未満である場合、パノラマ画像が暗いシーンであると識別できる一方で、パノラマ画像の画素値の平均が所定の閾値未満でない場合、パノラマ画像が暗いシーンでないと識別できる。他の側面として、画像解析部１２０は、パノラマ画像上で天井や左右の壁などの特定の被写体に対応する領域の模様が少ないか否かを解析する。例えば、画像解析部１２０は、パノラマ画像上の特定の被写体に対応する領域の空間周波数が所定の閾値未満であるか否かを判定する。このとき、パノラマ画像上の特定の被写体に対応する領域の空間周波数が所定の閾値未満である場合、特定の被写体に対応する領域の模様が少ないと識別できる一方で、パノラマ画像上の特定の被写体に対応する領域の空間周波数が所定の閾値未満でない場合、特定の被写体に対応する領域の模様が少なくないと識別できる。
　チルト角制御部１３０は、画像解析の結果に基づいてリアカメラ３Ｒのチルト角を制御する処理部である。１つの側面として、チルト角制御部１３０は、画像解析の結果からパノラマ画像が暗いシーンであると識別された場合、リアカメラ３Ｒのチルト角を第１のチルト角よりも小さい第２のチルト角に決定する。一方、チルト角制御部１３０は、画像解析の結果からパノラマ画像が暗いシーンでないと識別された場合、リアカメラ３Ｒのチルト角を第１のチルト角に決定する。その後、チルト角制御部１３０は、先に決定されたチルト角にしたがってチルトモータ１８を駆動する制御信号を出力する。他の側面として、チルト角制御部１３０は、画像解析の結果から特定の被写体に対応する領域の模様が少ないと識別された場合、リアカメラ３Ｒのチルト角を第１のチルト角よりも小さい第２のチルト角に決定する。一方、チルト角制御部１３０は、画像解析の結果から特定の被写体に対応する領域の模様が少なくないと識別された場合、リアカメラ３Ｒのチルト角を第１のチルト角に決定する。その後、チルト角制御部１３０は、先に決定されたチルト角にしたがってチルトモータ１８を駆動する制御信号を出力する。
　このようなチルト角制御によれば、前面画像および後面画像の間のオーバーラップ量が少ない方がよい場合にリアカメラ３Ｒのチルト角を小さく制御する一方で、前面画像および後面画像の間のオーバーラップ量が多い方がよい場合にリアカメラ３Ｒのチルト角を大きく制御することができる。
　なお、ここでは、画像解析結果に基づいて特定の被写体に対応する領域の模様が少ないか否か、あるいはパノラマ画像が暗いシーンであるか否かを識別する例を挙げたが、画像解析結果の代わりにロケーション情報を用いることができる。ロケーション情報のあくまで一例として、屋外または屋内などのロケーション情報を設定することができる。例えば、ロケーションが屋内である場合、関心対象の領域が舞台等で構築されており、天井等もある場合がある。このようにロケーションが屋内である場合、第１のチルト角に設定する一方で、ロケーションが屋外である場合、第２のチルト角に設定することができる。
＜７－２．ダブルフロント＞
　本開示の実施形態に係る撮影補助装置１では、必ずしもバックツーバック方式が採用される例を挙げたが、必ずしもバックツーバック方式が採用されずともかまわない。
　図１９は、応用例に係る撮影補助装置５の斜視図である。図１９に示す撮影補助装置５は、ダブルフロント方式で広視野角、例えば１８０度撮影を補助するリグである。１８０度撮影には、カメラ７Ｆ及びリアカメラ７Ｒの複数のカメラを用いることができる。例えば、ダブルフロント方式の場合、カメラ７Ｆのレンズの光軸およびカメラ７Ｒのレンズの光軸の両方が前方向に向けた状態でカメラ７Ｆおよびカメラ７Ｒが撮影補助装置５に装着される。
　例えば、カメラ７Ｆは、レンズを含む光学系の他、本体の内部に図示しないイメージセンサを搭載する。あくまで一例として、レンズには、広視野角、例えば１８０度の魚眼レンズを採用できる。また、イメージセンサには、ＣＣＤやＣＭＯＳなどの撮像素子を採用できる。カメラ７Ｆは、レンズを介して取り込まれる光をイメージセンサに結像させることにより、高解像度画像を撮像することができる。
　カメラ７Ｒは、レンズを含む光学系の他、本体の内部に図示しないイメージセンサを搭載する。あくまで一例として、レンズには、超広視野角、例えば２２０度や２５０度の魚眼レンズを採用することができる。また、イメージセンサにも、ＣＣＤやＣＭＯＳなどの撮像素子を採用できる。カメラ７Ｒは、レンズを介して取り込まれる光をイメージセンサに結像させることにより、低解像度画像を撮像することができる。
　これら高解像度画像および低解像度画像を貼り合わせるスティッチング処理が行われることにより、１８０度のパノラマ画像を生成することができる。図２０は、パノラマ画像の一例を示す図である。図２０には、パノラマ画像８０のうち高解像度画像が貼り付けられた領域の境界部が破線で示されている。図２０に示すように、パノラマ画像８０のうち関心が高い被写体、例えばコンサートに出演するアーティスト等に対応する領域には高解像画像の対応領域を割り当てる一方で、関心が低い被写体、例えばコンサートホールにおけるステージや壁等に対応する領域には低解像度画像の対応領域を割り当てるスティッチングが可能となる。さらに、関心が高い被写体がカメラ７Ｆの撮像範囲に含まれ、かつ中心となるようにカメラ７Ｆの向きやズームを調節することで、関心が高い被写体をトラッキングすることもできる。
　これらカメラ７Ｆ及びカメラ７Ｒのうち少なくともいずれか一方に回転制御を実施することができる。あくまで一例として、図１９に示す例で言えば、ガイド溝１５に対応するガイド溝５５、及び、レバー１５Ｌに対応するレバー５５Ｌを用いることにより、カメラ７Ｒの回転制御を実施することができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の視野角の画像を撮像する第１の撮像部および前記第１の視野角よりも大きい第２の視野角の画像を撮像する第２の撮像部のうち少なくとも一方の撮像部を所定の回転中心で回転させる回転部と、
　直交する３つの軸のうち少なくともいずれか１つの軸に対応する方向で、前記撮像部のノーダルポイントおよび前記回転中心の間のギャップを調節する調節部と、
　を備える撮影補助装置。
（２）
　前記調節部は、前記撮影補助装置および前記撮像部の間に配置され、かつ前記ギャップに対応する幅、厚みまたは高さを有するスペーサである、
　前記（１）に記載の撮影補助装置。
（３）
　前記スペーサは、前記撮像部および前記撮像部が有するレンズの種類の組合せごとに異なる、
　前記（２）に記載の撮影補助装置。
（４）
　前記調節部は、前記撮像部を平行移動することにより前記ギャップを調節する、
　前記（１）乃至前記（３）のいずれか１つに記載の撮影補助装置。
（５）
　前記回転部は、前記撮像部をチルト方向に回転させる、
　前記（１）乃至前記（４）のいずれか１つに記載の撮影補助装置。
（６）
　前記第１の視野角の画像および前記第２の視野角の画像を貼り合わせることにより生成されたパノラマ画像の画像解析結果に基づいて前記撮像部をチルト方向に回転させるチルト角を制御する、
　前記（５）に記載の撮影補助装置。
（７）
　前記撮影補助装置が位置するロケーション情報に基づいて前記撮像部をチルト方向に回転させるチルト角を制御する、
　前記（５）に記載の撮影補助装置。
（８）
　前記回転部は、レバー操作に連動して前記撮像部を回転させる、
　前記（１）乃至前記（７）のいずれか１つに記載の撮影補助装置。
（９）
　前記回転部は、前記第１の撮像部を回転させる、
　前記（１）乃至前記（８）のいずれか１つに記載の撮影補助装置。
（１０）
　前記回転部は、前記第２の撮像部を回転させる、
　前記（１）乃至前記（９）のいずれか１つに記載の撮影補助装置。
（１１）
　前記第１の撮像部および第２の撮像部が背中合わせで装着される、
　前記（１）乃至前記（１０）のいずれか１つに記載の撮影補助装置。
（１２）
　前記第１の撮像部および第２の撮像部の両方の光軸が同一の方向に向けた状態で装着される、
　前記（１）乃至前記（１０）のいずれか１つに記載の撮影補助装置。
　　１　撮影補助装置
　１２　プレート
　１３　スペーサ
　１４　プレート
　１５　ガイド溝
　１５Ａ　レバー
　１６　ハンドル
　　３Ｆ　フロントカメラ
　３１Ｆ　レンズ
　３２Ｆ　本体
　　３Ｒ　リアカメラ
　３１Ｒ　レンズ
　３２Ｒ　本体

Claims (12)

  1. 　第１の視野角の画像を撮像する第１の撮像部および前記第１の視野角よりも大きい第２の視野角の画像を撮像する第２の撮像部のうち少なくとも一方の撮像部を所定の回転中心で回転させる回転部と、
    　直交する３つの軸のうち少なくともいずれか１つの軸に対応する方向で、前記撮像部のノーダルポイントおよび前記回転中心の間のギャップを調節する調節部と、
    　を備える撮影補助装置。
  2. 　前記調節部は、前記撮影補助装置および前記撮像部の間に配置され、かつ前記ギャップに対応する幅、厚みまたは高さを有するスペーサである、
    　請求項１に記載の撮影補助装置。
  3. 　前記スペーサは、前記撮像部および前記撮像部が有するレンズの種類の組合せごとに異なる、
    　請求項２に記載の撮影補助装置。
  4. 　前記調節部は、前記撮像部を平行移動することにより前記ギャップを調節する、
    　請求項１に記載の撮影補助装置。
  5. 　前記回転部は、前記撮像部をチルト方向に回転させる、
    　請求項１に記載の撮影補助装置。
  6. 　前記第１の視野角の画像および前記第２の視野角の画像を貼り合わせることにより生成されたパノラマ画像の画像解析結果に基づいて前記撮像部をチルト方向に回転させるチルト角を制御する、
    　請求項５に記載の撮影補助装置。
  7. 　前記撮影補助装置が位置するロケーション情報に基づいて前記撮像部をチルト方向に回転させるチルト角を制御する、
    　請求項５に記載の撮影補助装置。
  8. 　前記回転部は、レバー操作に連動して前記撮像部を回転させる、
    　請求項１に記載の撮影補助装置。
  9. 　前記回転部は、前記第１の撮像部を回転させる、
    　請求項１に記載の撮影補助装置。
  10. 　前記回転部は、前記第２の撮像部を回転させる、
    　請求項１に記載の撮影補助装置。
  11. 　前記第１の撮像部および第２の撮像部が背中合わせで装着される、
    　請求項１に記載の撮影補助装置。
  12. 　前記第１の撮像部および第２の撮像部の両方の光軸が同一の方向に向けた状態で装着される、
    　請求項１に記載の撮影補助装置。
PCT/JP2021/007667 2020-03-09 2021-03-01 撮影補助装置 WO2021182154A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-040285 2020-03-09
JP2020040285 2020-03-09

Publications (1)

Publication Number Publication Date
WO2021182154A1 true WO2021182154A1 (ja) 2021-09-16

Family

ID=77671806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007667 WO2021182154A1 (ja) 2020-03-09 2021-03-01 撮影補助装置

Country Status (1)

Country Link
WO (1) WO2021182154A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147643A (ja) * 1998-11-17 2000-05-26 Nippon Hoso Kyokai <Nhk> カメラ雲台およびパノラマ画像・全天周画像作成装置
JP2006178097A (ja) * 2004-12-21 2006-07-06 Victor Co Of Japan Ltd パノラマ撮像装置
JP2007025378A (ja) * 2005-07-19 2007-02-01 Canon Inc 雲台装置
JP2009229578A (ja) * 2008-03-19 2009-10-08 Canon Precision Inc 雲台
WO2010125994A1 (ja) * 2009-04-30 2010-11-04 独立行政法人科学技術振興機構 全天周パノラマ映像撮影補助装置
JP2017090788A (ja) * 2015-11-13 2017-05-25 國昭 永山 位置合わせ機構及び顕微鏡装置
JP2019080174A (ja) * 2017-10-25 2019-05-23 株式会社リコー 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム
JP2019117303A (ja) * 2017-12-27 2019-07-18 日本電産コパル株式会社 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147643A (ja) * 1998-11-17 2000-05-26 Nippon Hoso Kyokai <Nhk> カメラ雲台およびパノラマ画像・全天周画像作成装置
JP2006178097A (ja) * 2004-12-21 2006-07-06 Victor Co Of Japan Ltd パノラマ撮像装置
JP2007025378A (ja) * 2005-07-19 2007-02-01 Canon Inc 雲台装置
JP2009229578A (ja) * 2008-03-19 2009-10-08 Canon Precision Inc 雲台
WO2010125994A1 (ja) * 2009-04-30 2010-11-04 独立行政法人科学技術振興機構 全天周パノラマ映像撮影補助装置
JP2017090788A (ja) * 2015-11-13 2017-05-25 國昭 永山 位置合わせ機構及び顕微鏡装置
JP2019080174A (ja) * 2017-10-25 2019-05-23 株式会社リコー 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム
JP2019117303A (ja) * 2017-12-27 2019-07-18 日本電産コパル株式会社 撮像装置

Similar Documents

Publication Publication Date Title
KR101003277B1 (ko) 이음매 없는 합성 이미지를 생성하는 컴퓨터 구현 방법 및 멀티-이미저 시스템
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
EP1813105B1 (en) Methods and systems for producing seamless composite images without requiring overlap of source images
US8345961B2 (en) Image stitching method and apparatus
US9172871B2 (en) Method and device for multi-camera image correction
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
US20020122113A1 (en) Method and system for compensating for parallax in multiple camera systems
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JPH0818857A (ja) 画像合成方法および画像合成装置
JP2007108744A (ja) パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置
US20090021614A1 (en) Position relationships associated with image capturing devices
CN206563985U (zh) 三维成像系统
TWI660328B (zh) 利用非平面投影影像產生深度圖的影像裝置及其相關方法
KR20120072146A (ko) 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법
CN1771740A (zh) 立体全景图像捕捉装置
KR20120121743A (ko) 3차원 영상을 생성하는 감시 시스템
JP2006033476A (ja) 撮影装置、表示装置及び撮影表示装置
US20080101724A1 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
US8149260B2 (en) Methods and systems for producing seamless composite images without requiring overlap of source images
WO2021182154A1 (ja) 撮影補助装置
Kurillo et al. Geometric and color calibration of multiview panoramic cameras for life-size 3D immersive video
JPH10136237A (ja) 撮像装置
Huang et al. Spisy: The stereo panoramic imaging system
Ra et al. Decoupled Hybrid 360° Panoramic Stereo Video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21768033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP