WO2017086348A1 - マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ - Google Patents

マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ Download PDF

Info

Publication number
WO2017086348A1
WO2017086348A1 PCT/JP2016/083970 JP2016083970W WO2017086348A1 WO 2017086348 A1 WO2017086348 A1 WO 2017086348A1 JP 2016083970 W JP2016083970 W JP 2016083970W WO 2017086348 A1 WO2017086348 A1 WO 2017086348A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
cameras
image
image sensor
phase
Prior art date
Application number
PCT/JP2016/083970
Other languages
English (en)
French (fr)
Inventor
哲夫 金子
和弘 内田
盛雄 中塚
真之介 宇佐美
恭弘 飯塚
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680065632.3A priority Critical patent/CN108353122B/zh
Priority to JP2017551902A priority patent/JP6834976B2/ja
Priority to US15/772,743 priority patent/US10645258B2/en
Publication of WO2017086348A1 publication Critical patent/WO2017086348A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present technology relates to a multi-camera system, a control method of the multi-camera system, and a camera, and more particularly to a multi-camera system configured using a camera having an image sensor that outputs a signal by a raster scan method.
  • CMOS imager CMOS image sensor
  • CMOS imager CMOS image sensor
  • Patent Document 1 a plurality of cameras are operated in synchronization with horizontal pulses and vertical pulses having mutually different timings, and the captured image data of each camera is synthesized, so that a plurality of images can be obtained on one image reproduction monitor.
  • a video camera system that can simultaneously monitor images from the cameras is described.
  • Japanese Patent Application Laid-Open No. 2004-228561 describes a technique that enables continuous image viewing by providing an overlap between adjacent camera images when a panoramic image is captured using a plurality of cameras.
  • JP-A-60-259069 Japanese Patent Application Laid-Open No. 11-261884
  • the purpose of the present technology is to prevent focal plane distortion from being noticeable in the vicinity of joints when a plurality of captured images are stitched and combined.
  • a plurality of cameras having an image sensor that outputs a signal by a raster scan method;
  • a multi-camera comprising a plurality of phase control units for shifting each phase of a vertical synchronization signal supplied to the image sensor of the plurality of cameras according to information on a deviation amount from a vertical reference position of a captured image of each camera In the system.
  • Each camera has an image sensor that outputs signals by a raster scan method, for example, an image sensor that sequentially performs exposure by raster scan, such as a CMOS image sensor.
  • a raster scan method for example, an image sensor that sequentially performs exposure by raster scan, such as a CMOS image sensor.
  • Each of the phases of the vertical synchronization signals supplied to the image sensors of the plurality of cameras is shifted by the plurality of phase control units in accordance with information on the amount of shift from the vertical reference position of the captured image of each camera.
  • each of the plurality of phase control units may be provided inside a plurality of cameras.
  • each of the plurality of phase control units may be provided outside the plurality of cameras.
  • a central control unit that supplies information on the amount of deviation from the reference position in the vertical direction of the captured images of the plurality of cameras to the plurality of phase control units may be further provided.
  • the central control unit may process the captured images of the plurality of cameras to obtain information on the amount of deviation from the reference position in the vertical direction of the captured images of the plurality of cameras.
  • the central control unit may be used by any one of the plurality of phase control units.
  • the plurality of cameras may be four cameras, and the four cameras may be arranged in the shape of two rice fields in the horizontal direction and two fields in the vertical direction.
  • an image processing unit that obtains panoramic image data by performing stitch processing on captured image data output from a plurality of cameras may be further provided.
  • each of the phases of the vertical synchronization signals supplied to the image sensors of the plurality of cameras is shifted according to the information on the shift amount from the reference position in the vertical direction of the captured image of each camera. For this reason, when stitching processing is performed on a plurality of captured images, a line with a significantly different capture time does not exist in the vicinity of the joint, and the focal plane distortion is prevented from conspicuous in the vicinity of the joint.
  • the camera includes a phase control unit that shifts each of the phases of the vertical synchronization signals supplied to the plurality of image sensors according to information on a deviation amount from a vertical reference position of a captured image of each image sensor.
  • This technology is equipped with multiple image sensors.
  • Each image sensor outputs a signal by a raster scan method, for example, performs exposure sequentially by a raster scan like a CMOS image sensor.
  • the phases of the vertical synchronization signals supplied to the plurality of image sensors are shifted by the phase control unit according to information on the amount of shift from the reference position in the vertical direction of the captured image of each image sensor.
  • each of the phases of the vertical synchronization signals supplied to the plurality of image sensors is shifted according to the information on the shift amount from the reference position in the vertical direction of the captured image of each image sensor. For this reason, when stitching processing is performed on a plurality of captured images, a line with a significantly different capture time does not exist in the vicinity of the joint, and the focal plane distortion is prevented from conspicuous in the vicinity of the joint.
  • An image sensor that outputs a signal by a raster scan method; A first input unit for inputting a reference vertical synchronization signal; A second input unit for inputting phase shift amount information of the vertical synchronization signal;
  • the camera includes a phase control unit that shifts the phase of the reference vertical synchronization signal based on the phase shift amount information and supplies the reference vertical synchronization signal to the image sensor.
  • an image sensor that outputs a signal by a raster scan method for example, an image sensor that sequentially performs exposure by raster scan, such as a CMOS image sensor, a first input unit that inputs a reference vertical synchronization signal, and a vertical synchronization signal A second input unit for inputting the phase shift amount information.
  • the phase of the reference vertical synchronization signal is shifted by the phase controller based on the phase shift amount information and supplied to the image sensor.
  • the present technology it is possible to prevent the focal plane distortion from being conspicuous in the vicinity of the joint when the stitched processing is performed on the plurality of captured images for synthesis.
  • the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1st Embodiment It is a block diagram which shows the structural example of the multi camera system as 1st Embodiment. It is a figure for demonstrating arrangement
  • FIG. 1 shows a configuration example of a multi-camera system 10A as the first embodiment.
  • This multi-camera system 10A has a plurality of cameras (three video cameras here), that is, a camera (camera 1) 101-1, a camera (camera 2) 101-2, and a camera (camera 3) 101-3. is doing.
  • the multi-camera system 10 ⁇ / b> A includes a central control device 102 and a display device 103.
  • FIG. 2 shows an arrangement state of the cameras 101-1, 101-2, and 101-3.
  • FIG. 2A is a camera layout seen from above
  • FIG. 2B is a camera layout seen from the front. As shown in FIG. 2A, the images are captured by each camera so that the captured images of adjacent cameras overlap.
  • Each of the cameras 101-1, 101-2, and 101-3 has an image sensor (imager) that outputs a signal by a raster scan method, for example, a CMOS image sensor.
  • the cameras 101-1, 101-2, and 101-3 have phase control units 104-1, 104-2, and 104-3, respectively.
  • Each of the phase control units 104-1, 104-2, and 104-3 determines the phase of the vertical synchronization signal supplied to the image sensor according to information on the amount of deviation from the vertical reference position of the captured image of the corresponding camera. Shift. For example, any position of the captured images of the cameras 101-1, 101-2, and 101-3 is set as the reference position.
  • the phase control units 104-1, 104-2, and 104-3 each supply a phase shift process to a reference vertical synchronization signal such as a genlock signal and then supply it to the image sensor.
  • the position of the captured image of each camera is, for example, the position of the first line (first line), and information on the shift amount is given by the number of lines.
  • the central control device 102 gives information on the amount of deviation from the reference position in the vertical direction of the image captured by the corresponding camera to each of the phase control units 104-1, 104-2, and 104-3.
  • the central control apparatus 102 processes an image (captured image) obtained by capturing the same subject such as a checker pattern for calibration with each camera, and uses the vertical reference position of the captured image of each camera. Obtain the amount of deviation.
  • the central control device 102 obtains information on the amount of deviation from the reference position in the vertical direction of the image captured by each camera, based on the user's adjustment operation of the amount of deviation when viewing the panoramic image after stitch processing. It is also possible. In this case, the user adjusts the shift amount so that the focal plane distortion becomes inconspicuous in the vicinity of the joint.
  • the central control device 102 performs a stitch process on the captured image data output from the cameras 101-1, 101-2, and 101-3 to obtain panoramic image data.
  • the display device 103 displays a panoramic image based on the panoramic image data obtained by the central control device 102.
  • the display device 103 is, for example, a head mounted display, a personal computer, or the like.
  • FIG. 3 shows a configuration example of the camera 101 (cameras 101-1, 101-2, and 101-3).
  • the camera 101 includes an input terminal 201, an input terminal 202, a system clock generation unit 203, a phase shift unit 204, a control I / F unit 205, an image sensor 206, a camera signal processing unit 207, and an output interface unit. 208 and a captured image data output terminal 209.
  • the image sensor 206 is an image sensor that outputs a signal by a raster scan method, for example, a CMOS image sensor.
  • the input terminal 201 is a terminal for inputting a reference vertical synchronization signal such as a genlock signal.
  • the system clock generation unit 207 refers to the reference vertical synchronization signal and generates a system clock synchronized with the reference vertical synchronization signal. This system clock is supplied to each block in the camera 102.
  • the input terminal 202 is a terminal for inputting shift amount information (shift amount information) from the vertical reference position of the captured image. As described above, this shift amount information is given by the number of lines, for example.
  • the control I / F unit 205 converts the shift amount information from the number of lines into, for example, a phase shift amount indicated by the number of clocks having a predetermined frequency, for example, 100 MHz, and supplies the phase shift unit 204 with the phase shift amount.
  • the phase shift unit 204 shifts the phase of the reference vertical synchronization signal by the phase shift amount supplied from the control I / F unit 205. Then, the phase shift unit 204 supplies the vertical synchronization signal shifted in phase as described above to the image sensor 206 as a frame exposure start vertical synchronization signal.
  • the phase shifting unit 204 and the control I / F unit 205 constitute a phase control unit 104 (phase control units 104-1, 104-2, 104-3).
  • the camera signal processing unit 207 performs conventionally known camera signal processing on the output signal of the image sensor 206 to obtain captured image data.
  • the captured image data is output to the output terminal 209 via the output I / F unit 208.
  • the output I / F unit 208 is an HDMI interface unit or a USB interface unit.
  • FIG. 4 shows a flow from the installation of the cameras 101-1, 101-2, 101-3 to the start of imaging in the multi-camera system 10A shown in FIG.
  • the user installs the cameras 101-1, 101-2, and 101-3.
  • each of the cameras 101-1, 101-2, and 101-3 images the same subject such as a checker pattern for calibration.
  • the captured image of each camera is supplied to the central controller 102.
  • the central control apparatus 102 processes the captured image of each camera and obtains the amount of deviation from the reference position in the vertical direction of the captured image of each camera.
  • Information on the amount of deviation of the captured image of each camera from the vertical reference position obtained by the central control device 102 is supplied to the corresponding camera.
  • step ST3 the phase shift amount of the vertical synchronization signal corresponding to the shift amount information is set for each camera.
  • the control I / F unit 205 converts the shift amount information into a phase shift amount, which is supplied to the phase shift unit 204 and supplied to the image sensor 206.
  • the phase of the reference vertical synchronizing signal is shifted by the amount of phase shift.
  • step ST4 the central control apparatus 102 sends a command such as imaging start to each camera via a control I / F (not shown) according to, for example, a user imaging start operation.
  • a command such as imaging start to each camera via a control I / F (not shown) according to, for example, a user imaging start operation.
  • Each camera receives this command and starts imaging.
  • the central control device 102 performs stitch processing on the captured image data output from the cameras 101-1, 101-2, and 101-3 to obtain panoramic image data, and supplies the panoramic image data to the display device 103. Thereby, the display device 103 can display an image based on the panoramic image data.
  • the phases of the vertical synchronization signals supplied to the image sensors 206 included in the cameras 101-1, 101-2, and 101-3 are captured images of the cameras. Are shifted according to information on the amount of deviation from the reference position in the vertical direction.
  • FIG. 5A shows an example of images captured by the cameras 101-1, 101-2, and 101-3.
  • “Movie 1” is a captured image of the camera 101-1
  • “Movie 2” is a captured image of the camera 101-2
  • “Movie 3” is a captured image of the camera 101-3. Due to the displacement of the image sensor, the displacement of the position of the image sensor due to the individual variation of the camera body, etc., a displacement has occurred in the vertical direction of the captured image of each camera.
  • V1 indicates the vertical position of the captured image of the camera 101-1
  • V2 indicates the vertical position of the captured image of the camera 101-2
  • V3 indicates the captured image of the camera 101-3.
  • the vertical position is shown.
  • L12 indicates the amount of deviation of the position of the captured image of the camera 101-2 with respect to the position of the captured image of the camera 101-1
  • ⁇ L13 indicates the position of the captured image of the camera 101-1. The amount of deviation of the position of the image captured by the camera 101-3 as the reference position is shown.
  • Each of the phases of the vertical synchronization signals supplied to the image sensors 206 of the cameras 101-1, 101-2, and 101-3 is shifted according to information on the amount of deviation from the reference position in the vertical direction of the captured image of each camera.
  • the lines captured at the same time are lines at the same position or very close to each other in the vertical direction, as shown by the one-dot chain line. For this reason, when the captured images are stitched and combined, it is possible to prevent the focal plane distortion from being noticed near the joint.
  • the right side of FIG. 5A shows an example of a panoramic image after the captured images are stitched and combined.
  • FIG. 6A shows the phase of the vertical synchronization signal Vsync supplied to the image sensor 206 of each camera when there is a deviation in the vertical direction of the captured images of the cameras 101-1, 101-2, and 101-3.
  • Vsync vertical synchronization signal supplied to the image sensor 206 of each camera when there is a deviation in the vertical direction of the captured images of the cameras 101-1, 101-2, and 101-3.
  • lines at the same position or very close to each other in the vertical direction are captured at the same time as illustrated by a one-dot chain line. This means that, as described above, in each captured image, lines captured at the same time are lines at the same position or very close to each other in the vertical direction.
  • FIG. 5 (b) also shows an example of captured images of the cameras 101-1, 101-2, and 101-3, as with the left side of FIG. 5 (a).
  • the phases of the vertical synchronization signals supplied to the image sensors 206 of the cameras 101-1, 101-2, and 101-3 match, the lines captured at the same time in each captured image are one-dot chain lines. As shown in the figure, the lines are separated from each other. For this reason, when the captured images are stitched and combined, the focal plane distortion becomes prominent near the joint.
  • the right side of FIG. 5B shows an example of a panoramic image after the captured images have been stitched and combined.
  • FIG. 6B shows the phase of the vertical synchronization signal Vsync supplied to the image sensor 206 of each camera when there is a deviation in the vertical direction of the captured images of the cameras 101-1, 101-2, and 101-3.
  • 4 shows a frame exposure timing chart of each camera when In this case, in each captured image, a line at the same position in the vertical direction or at a very close position is captured at a distant time, as illustrated by a one-dot chain line. This means that, as described above, in each captured image, the lines captured at the same time are lines at different positions.
  • FIG. 7 shows a configuration example of a multi-camera system 10B as the second embodiment.
  • This multi-camera system 10B includes four cameras (video cameras), that is, a camera (camera 1) 301-1, a camera (camera 2) 301-2, a camera (camera 3) 301-3, and a camera (camera 4) 301. -4. Further, the multi-camera system 10B includes a central control device 302 and a display device 303. Here, each camera is a 4K camera for obtaining 4K image data.
  • FIG. 8 shows an arrangement state of the cameras 301-1, 301-2, 301-3, and 301-4.
  • FIG. 8A is a camera layout seen from above
  • FIG. 8B is a camera layout seen from the front
  • FIG. 8A is a camera layout seen from the side.
  • images are captured by each camera so that the captured images of the adjacent cameras are overlapped.
  • Each of the cameras 301-1, 301-2, 301-3, and 301-4 has an image sensor that outputs a signal by a raster scan method, for example, a CMOS image sensor.
  • the cameras 301-1, 301-2, 301-3, and 301-4 have phase control units 304-1, 304-2, 304-3, and 304-4, respectively.
  • the phase control units 304-1, 304-2, 304-3, and 304-4 each shift the phase of the vertical synchronization signal supplied to the image sensor from the reference position in the vertical direction of the image captured by the corresponding camera. Shift according to the information. For example, any position of the captured images of the cameras 301-1, 301-2, 301-3, and 301-4 is set as the reference position.
  • each of the phase control units 304-1, 304-2, 304-3, and 304-4 performs phase shift processing on a reference vertical synchronization signal such as a genlock signal, and then supplies the image sensor to the image sensor.
  • a reference vertical synchronization signal such as a genlock signal
  • the position of the captured image of each camera is, for example, the position of the first line (first line), and information on the shift amount is given by the number of lines.
  • the cameras 301-1, 301-2, 301-3, and 301-4 have the same configuration as each camera in the multi-camera system 10A described above (see FIG. 3).
  • the central control device 302 gives information on the amount of deviation from the reference position in the vertical direction of the image captured by the corresponding camera to each of the phase control units 304-1, 304-2, 304-3, and 304-4. .
  • the central control unit 302 processes an image (captured image) obtained by imaging the same subject such as a calibration checker pattern with each camera, and the image of each camera from the reference position in the vertical direction. Obtain information on the amount of deviation.
  • the central control unit 302 obtains information on the amount of deviation from the reference position in the vertical direction of the image captured by each camera, based on the user's adjustment operation for the amount of deviation when viewing the 8K image after stitch processing. It is also possible. In this case, the user adjusts the shift amount so that the focal plane distortion becomes inconspicuous in the vicinity of the joint.
  • the central control device 302 performs stitch processing on 4K captured image data output from the cameras 304-1, 304-2, 304-3, and 304-4 to obtain 8K image data.
  • the display device 303 displays an 8K image or a selected partial image based on the 8K image data obtained by the central control device 302.
  • the display device 303 is, for example, a head mounted display, a personal computer, or the like.
  • FIG. 7 In the multi-camera system 10B shown in FIG. 7, detailed description of the flow from the installation of the cameras 304-1 304-2, 304-3, and 304-4 to the start of imaging is omitted, but FIG. This is the same as the flow in the multi-camera system 10A shown (see FIG. 4).
  • each of the phases of the vertical synchronization signals supplied to the image sensor 206 included in the cameras 304-1, 304-2, 304-3, and 304-4 is determined for each camera.
  • the captured image is shifted according to information on the amount of deviation from the reference position in the vertical direction.
  • FIG. 9 shows an example of images captured by the cameras 304-1, 304-2, 304-3, and 304-4.
  • “Movie 1” is a captured image of the camera 301-1
  • “Movie 2” is a captured image of the camera 301-2
  • “Movie 3” is a captured image of the camera 301-3
  • “Movie 4” is the camera 301. -4 image.
  • ⁇ Deviation in the vertical direction of the captured image of each camera is caused by deviations in installation between the cameras in the vertical direction or deviations in the installation position of the image sensor due to individual variations of the camera body.
  • “V1” indicates the vertical position of the image captured by the camera 301-1
  • “V2” indicates the vertical position of the image captured by the camera 301-2
  • “V3” indicates the image captured by the camera 301-3.
  • the position in the vertical direction is indicated
  • “V4” indicates the position in the vertical direction of the image captured by the camera 301-4.
  • “L12” indicates the amount of displacement of the position of the captured image of the camera 301-2 with the position of the captured image of the camera 301-1 as the reference position
  • “L13” indicates the position of the captured image of the camera 301-1 as a reference.
  • the position deviation amount of the captured image of the camera 301-3 as the position is indicated
  • “L14” indicates the deviation amount of the position of the captured image of the camera 301-4 with the position of the captured image of the camera 301-1 as the reference position. ing.
  • Each of the phases of the vertical synchronization signals supplied to the image sensors 206 of the cameras 304-1, 304-2, 304-3, and 304-4 corresponds to information on the amount of deviation from the vertical reference position of the captured image of each camera.
  • the lines captured at the same time in each captured image are lines at the same position or very close to each other in the vertical direction, as shown by the one-dot chain line. For this reason, when the captured images are stitched and combined, it is possible to prevent the focal plane distortion from being noticed near the joint.
  • the right side of FIG. 9 shows an example of an image after each captured image is stitched and combined.
  • FIG. 10 shows the vertical synchronization signal Vsync supplied to the image sensor 206 of each camera when there is a deviation in the vertical direction of the captured images of the cameras 304-1, 304-2, 304-3, 304-4.
  • 6 shows a frame exposure timing chart of each camera when each of the phases is shifted according to information on a shift amount from a vertical reference position of a captured image of each camera.
  • lines at the same position or very close to each other in the vertical direction are captured at the same time as illustrated by a one-dot chain line. This means that, as described above, in each captured image, lines captured at the same time are lines at the same position or very close to each other in the vertical direction.
  • the multi-camera system 10B shown in FIG. 7 shows an example in which an image of 8K (image data) is obtained by imaging with four 4K cameras. Although detailed description is omitted, an example in which a 4K image is obtained by imaging with four HD cameras can be similarly configured. Further, the present technology can be similarly applied to an example of obtaining a high-resolution image by arranging not only four cameras but also a larger number of cameras in a matrix.
  • a phase control unit that shifts the phase of the vertical synchronization signal supplied to the image sensor in each camera according to information on the shift amount from the reference position in the vertical direction of the captured image of the camera is provided.
  • An example is shown.
  • the camera does not include a phase control unit, and it may be possible to provide this phase control unit outside the camera.
  • FIG. 11 shows a configuration example of the multi-camera system 10C in that case.
  • parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
  • each of the cameras 101-1, 101-2, and 101-3 does not include the phase control units 104-1, 104-2, and 104-3.
  • Phase control devices 105-1 and 105-2 having the same functions as those of the phase control units 104-1, 104-2 and 104-3 are provided outside the cameras 101-1, 101-2 and 101-3, respectively. 105-3 is provided.
  • the phase control device 105 includes, for example, a system clock generation unit 203, a phase shift unit 204, and a control included in the configuration of the camera 101 illustrated in FIG. A function unit corresponding to the I / F unit 205 is provided.
  • the multi-camera system 10C shown in FIG. 11 operates in the same manner as the multi-camera system 10A shown in FIG. 1, and the phase of the vertical synchronization signal supplied to the image sensor 206 of the cameras 101-1, 101-2, and 101-3. Are shifted in accordance with information on the amount of deviation from the vertical reference position of the captured image of each camera.
  • the multi-camera system 10C shown in FIG. 11 corresponds to the multi-camera system 10A shown in FIG. 1, but needless to say, the multi-camera system 10C shown in FIG. 7 can be similarly configured.
  • a central control device that supplies information on the amount of deviation from the reference position in the vertical direction of each captured image to the phase control units of a plurality of cameras.
  • a configuration in which any one of a plurality of phase control units (cameras) is not provided with a central control device is also conceivable.
  • FIG. 12 shows a configuration example of the multi-camera system 10D in that case. 12, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted as appropriate.
  • the phase control unit 104-1 of the camera 101-1 also serves as the central control device 102 in the multi-camera system 10A shown in FIG. 1, that is, also has the function of the central control device 102.
  • the vertical direction of each captured image is transferred from the phase control unit 104-1 of the camera 101-1 to the phase control units 104-2 and 104-3 of the cameras 101-2 and 101-3. Information on the amount of deviation from the reference position in the direction is given. Accordingly, the multi-camera system 10D shown in FIG. 12 operates in the same manner as the multi-camera system 10A shown in FIG. 1, and is supplied with the vertical synchronization supplied to the image sensor 206 of the cameras 101-1, 101-2, and 101-3. Each of the signal phases is shifted according to the information of the shift amount from the vertical reference position of the captured image of each camera.
  • the multi-camera system 10D shown in FIG. 12 corresponds to the multi-camera system 10A shown in FIG. 1, but it should be understood that the multi-camera system 10D shown in FIG. Moreover, the thing corresponding to the multi camera system 10C shown in FIG. 11 can be comprised similarly. Although a detailed description is omitted, FIG. 13 shows a configuration example of the multi-camera system 10E in that case.
  • connection between the cameras and the connection with the central control device are shown as wired connection, but may be wireless connection. This also applies to the connection between the camera and the external phase control device.
  • FIG. 14 shows a configuration example of the multi-view camera 10F.
  • This multi-lens camera 10F has a plurality of image sensors (imagers) 402-1 to 402-6 in a housing 401 in this case.
  • the image sensors 402-1 to 402-6 are arranged in the form of matrix information of three in the horizontal direction and two in the vertical direction.
  • Each of the image sensors 402-1 to 402-6 is an image sensor that outputs a signal by a raster scan method, for example, a CMOS image sensor.
  • FIG. 15A is a view of the multi-view camera 10F as viewed from the front
  • FIG. 15B is a view of the multi-view camera 10F as viewed from the side.
  • the image sensors capture images so that the captured images of adjacent image sensors overlap.
  • the multi-lens camera 10F includes a camera signal processing unit 404-1 to 404-6 and an integrated processing unit 405 in the housing 401 corresponding to each of the image sensors 402-1 to 402-6. And an output I / F unit 406.
  • Camera signal processing units 404-1 to 404-6 perform conventionally known camera signal processing on the output signals of the image sensors 402-1 to 402-6, respectively, to obtain captured image data.
  • the integrated processing unit 405 corresponds to each of the image sensors 402-1 to 402-6, similarly to the phase control unit provided in each camera of the multi-camera systems 10A and 10B (see FIGS. 1 and 7).
  • a first functional unit that functions is provided.
  • the integrated processing unit 405 includes a second functional unit that functions in the same manner as the central processing unit in the multi-camera systems 10A and 10B (see FIGS. 1 and 7).
  • the integration processing unit 405 processes an image (captured image) obtained by imaging the same subject such as a checker pattern for calibration by the image sensors 402-1 to 402-6, and processes the captured image of each image sensor. The amount of deviation from the vertical reference position is obtained. Further, based on the information on the shift amount, the integration processing unit 405 causes each image sensor to shift the vertical synchronization signal Vs1 whose phase is shifted according to the shift amount from the vertical reference position of the captured image of each image sensor. Supply ⁇ Vs6. Further, the integration processing unit 405 performs stitch processing on the captured image data output from the image sensors 402-1 to 402-6 to obtain composite image data.
  • the output I / F unit 406 is an interface unit for outputting the composite image data obtained by the integration processing unit 405 to the outside.
  • the output I / F unit 405 is an HDMI interface unit or a USB interface unit.
  • each of the phases of the vertical synchronization signals Vs1 to Vs6 supplied to the image sensors 402-1 to 402-6 is the amount of deviation from the vertical reference position of the image captured by each image sensor. It is shifted according to the information. For this reason, even if the arrangement positions of the image sensors 402-1 to 402-6 in the housing 401 vary, the capture time differs greatly in the vicinity of the joints when the captured images are stitched and combined. There is no line, and the focal plane distortion is prevented from conspicuous in the vicinity of the joint, and a good composite image is obtained.
  • the present technology can be similarly applied to a multi-lens camera including not only six image sensors but also other number of image sensors.
  • the image sensors 402-1 to 402-6 are fixedly arranged in the housing 401 and all the image sensors 402-1 to 402-6 are used is shown. It was. However, a configuration in which the arrangement of the image sensors 402-1 to 402-6 can be arbitrarily changed, and a configuration in which a part of the image sensors 402-1 to 402-6 can be selectively used are also conceivable. Even in such a configuration, it is possible to obtain a good composite image (panoramic image) by applying the present technology.
  • this technique can also take the following structures.
  • a plurality of cameras having an image sensor that outputs a signal by a raster scan method;
  • a multi-camera comprising a plurality of phase control units for shifting each phase of a vertical synchronization signal supplied to the image sensor of the plurality of cameras according to information on a deviation amount from a vertical reference position of a captured image of each camera system.
  • each of the plurality of phase control units is provided outside the plurality of cameras.
  • the system further includes a central control unit that supplies the plurality of phase control units with information on a shift amount from a vertical reference position of the captured images of the plurality of cameras.
  • the multi-camera system described.
  • the central control unit processes captured images of the plurality of cameras, and obtains information on a deviation amount from a vertical reference position of the captured images of the plurality of cameras.
  • Camera system (6)
  • the plurality of cameras are four cameras, The multi-camera system according to any one of (1) to (6), wherein the four cameras are arranged in the shape of two rice fields in the horizontal direction and two in the vertical direction.
  • the multi-camera system according to any one of (1) to (7), further including an image processing unit that performs stitching processing on captured image data output from the plurality of cameras to obtain panoramic image data.
  • a control method of a multi-camera system including a plurality of cameras having an image sensor that outputs a signal by a raster scan method, A control method of a multi-camera system, wherein each phase of a vertical synchronization signal supplied to the image sensor of the plurality of cameras is shifted according to information on a shift amount from a vertical reference position of a captured image of each camera.
  • a camera comprising: a phase control unit that shifts each phase of a vertical synchronization signal supplied to the plurality of image sensors according to information on a deviation amount from a vertical reference position of a captured image of each image sensor.
  • an image sensor that outputs a signal by a raster scan method; A first input unit for inputting a reference vertical synchronization signal; A second input unit for inputting phase shift amount information of the vertical synchronization signal;
  • a camera comprising: a phase control unit that shifts the phase of the reference vertical synchronization signal based on the phase shift amount information and supplies the phase shift signal to the image sensor.
  • 10A, 10B, 10C, 10D, 10E Multi-camera systems 101-1, 101-2, 101-3, 301-1, 301-2, 301-3, 301-4 ... Cameras 102, 302 ..Central control devices 103, 303... Display devices 104-1, 104-2, 104-3, 304-1, 304-2, 304-3, 304-4... Phase control unit 105-1, 105-2, 105-3: Phase control device 201: Input terminal (terminal for inputting a reference vertical synchronizing signal such as a genlock signal) 202... Input terminal (terminal for inputting shift amount information (shift amount information)) 203 ... System clock generation unit 204 ... Phase shift unit 205 ... Control I / F unit 206 ...
  • Image sensor 207 ... Camera signal processing unit 208 ... Output I / F unit 209 Imaged image data output terminal 401: Housing 402-1 to 402-6 Image sensor 403-1 to 403-6 Lens 404-1 to 404-6 Camera signal processing unit 405 ... Integrated processing unit 406 ... Output I / F unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近でフォーカルプレーン歪が目立つことを防止する。　複数のカメラを備える。各カメラは、ラスタースキャン方式で信号を出力するイメージセンサを有する。複数のカメラが有するイメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす。垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等があったとしても、合成画像のつなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止される。

Description

マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
　本技術は、マルチカメラシステム、マルチカメラシステムの制御方法およびカメラに関し、詳しくは、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラを用いて構成されるマルチカメラシステム等に関する。
　従来、ＣＭＯＳイメージセンサ（ＣＭＯＳイメージャ）を使用したカメラ（ビデオカメラ）が知られている。ラスタースキャン方式で信号を出力するＣＭＯＳイメージセンサは、露光を順次ラスタースキャンで行うため、フォーカルプレーンひずみが発生することが知られている。この種のカメラを複数水平方向に並べて撮像を行って各カメラで撮像された画像にスティッチ処理を施してパノラマ画像を生成する際、垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージャ設置位置のずれ等あった場合には、各カメラで撮像された画像どうしのつなぎ目（境界）付近でフォーカルプレーン歪が目立つものとなる。
　特許文献１には、複数のカメラに相互的にタイミングの異なった水平パルスおよび垂直パルスに同期した動作をさせ、各カメラの撮像画像データを合成することで、１台の画像再生用モニタで複数のカメラの画像を同時に監視可能にしたビデオカメラシステムが記載されている。また、特許文献２には、複数のカメラを用いてパノラマ画像を撮像する際に、隣接するカメラの画像に重なりを設けて連続的な画像の視聴を可能にした技術が記載されている。
特開昭６０－２５９０６９号公報 特開平１１－２６１８８４号公報
　本技術の目的は、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近でフォーカルプレーン歪が目立つことを防止することにある。
　本技術の概念は、
　複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラと、
　上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす複数の位相制御部を備える
　マルチカメラシステムにある。
　本技術において、複数のカメラを備えている。各カメラは、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサのような露光を順次ラスタースキャンで行うイメージセンサを有している。複数の位相制御部により、複数のカメラが有するイメージセンサに供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じて、ずらされる。
　例えば、複数の位相制御部のそれぞれは、複数のカメラの内部に設けられる、ようにされてもよい。また、例えば、複数の位相制御部のそれぞれは、複数のカメラの外部に設けられる、ようにされてもよい。また、例えば、複数の位相制御部に複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御部をさらに備える、ようにされてもよい。この場合、例えば、中央制御部は、複数のカメラの撮像画像を処理して、複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を得る、ようにされてもよい。また、この場合、例えば、中央制御部を、複数の位相制御部のいずれかが兼用する、ようにされてもよい。
　また、例えば、複数のカメラは４個のカメラであり、この４個のカメラは水平方向に２個および垂直方向に２個の田の字状に配置される、ようにされてもよい。また、例えば、複数のカメラから出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る画像処理部をさらに備える、ようにされてもよい。
　このように本技術においては、複数のカメラが有するイメージセンサに供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。そのため、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止される。
　また、本技術の他の概念は、
　複数の、ラスタースキャン方式で信号を出力するイメージセンサと、
　上記複数のイメージセンサに供給する垂直同期信号の位相のそれぞれを各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える
　カメラにある。
　本技術において、複数のイメージセンサを備えている。各イメージセンサは、ラスタースキャン方式で信号を出力するもの、例えばＣＭＯＳイメージセンサのような露光を順次ラスタースキャンで行うものである。位相制御部により、複数のイメージセンサに供給する垂直同期信号の位相のそれぞれがこの各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じて、ずらされる。
　このように本技術においては、複数のイメージセンサに供給する垂直同期信号の位相のそれぞれが各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。そのため、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止される。
　また、本技術の他の概念は、
　ラスタースキャン方式で信号を出力するイメージセンサと、
リファレンス垂直同期信号を入力する第１の入力部と、
　上記垂直同期信号の位相ずらし量情報を入力する第２の入力部と、
　上記位相ずらし量情報に基づいて上記リファレンス垂直同期信号の位相をずらして上記イメージセンサに供給する位相制御部を備える
　カメラにある。
　本技術において、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサのような露光を順次ラスタースキャンで行うイメージセンサと、リファレンス垂直同期信号を入力する第１の入力部と、垂直同期信号の位相ずらし量情報を入力する第２の入力部を備えている。位相制御部により、位相ずらし量情報に基づいてリファレンス垂直同期信号の位相がずらされてイメージセンサに供給される。このように本技術においては、イメージセンサに、位相ずらし量情報に基づいてリファレンス垂直同期信号の位相をずらして供給することが可能となる。
　本技術によれば、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近でフォーカルプレーン歪が目立つことを防止できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態としてのマルチカメラシステムの構成例を示すブロック図である。 マルチカメラシステムを構成する各カメラの配置を説明するための図である。 カメラの構成例を示すブロック図である。 マルチカメラシステムにおいて各カメラを設置してから撮像を開始するまでのフローを示す図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 第２の実施の形態としてのマルチカメラシステムの構成例を示すブロック図である。 マルチカメラシステムを構成する各カメラの配置を説明するための図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 マルチカメラシステムの他の構成例を示すブロック図である。 マルチカメラシステムの他の構成例を示すブロック図である。 マルチカメラシステムの他の構成例を示すブロック図である。 多眼カメラの構成例を示すブロック図である。 多眼カメラを正面および側面から見た図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．変形例
　＜１．第１の実施の形態＞
　［マルチカメラシステムの構成例］
　図１は、第１の実施の形態としてのマルチカメラシステム１０Ａの構成例を示している。このマルチカメラシステム１０Ａは、複数個、ここでは３個のカメラ（ビデオカメラ）、つまりカメラ（カメラ１）１０１-1、カメラ（カメラ２）１０１-2、カメラ（カメラ３）１０１-3を有している。また、マルチカメラシステム１０Ａは、中央制御装置１０２と、表示装置１０３を有している。
　カメラ１０１-1，１０１-2，１０１-3は、水平方向に並べて配置される。図２は、カメラ１０１-1，１０１-2，１０１-3の配置状態を示している。図２（ａ）は上から見たカメラ配置図であり、図２（ｂ）は正面から見たカメラ配置図である。図２（ａ）に示すように、隣接するカメラの撮像画像に重なりが発生するように、各カメラにおける撮像が行われる。
　カメラ１０１-1，１０１-2，１０１-3は、それぞれ、ラスタースキャン方式で信号を出力するイメージセンサ（イメージャ）、例えばＣＭＯＳイメージセンサを有している。また、カメラ１０１-1，１０１-2，１０１-3は、それぞれ、位相制御部１０４-1，１０４-2，１０４-3を有している。
　位相制御部１０４-1，１０４-2，１０４-3は、それぞれ、イメージセンサに供給する垂直同期信号の位相を、対応するカメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす。例えば、カメラ１０１-1，１０１-2，１０１-3の撮像画像のいずれかの位置が基準位置とされる。この場合、位相制御部１０４-1，１０４-2，１０４-3は、それぞれ、ゲンロック（Genlock）信号などのリファレンス垂直同期信号に対して位相ずらし処理を行った後にイメージセンサに供給する。ここで、各カメラの撮像画像の位置は例えば最初のライン（第1ライン）の位置とされ、ずれ量の情報はライン数で与えられる。
　中央制御装置１０２は、位相制御部１０４-1，１０４-2，１０４-3のそれぞれに、対応するカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を与える。例えば、中央制御装置１０２は、各カメラでキャリブレーション用のチェッカーパターン等の同一被写体を撮像して得られた画像（撮像画像）を処理して、各カメラの撮像画像の垂直方向の基準位置からのずれ量を求める。
　なお、中央制御装置１０２は、スティッチ処理後のパノラマ画像を見てのユーザのずれ量の調整操作に基づいて、各カメラで撮像される画像の垂直方向の基準位置からのずれ量の情報を得ることも考えられる。この場合、ユーザは、つなぎ目付近でフォーカルプレーン歪が目立たなくなるようにずれ量の調整を行う。
　また、中央制御装置１０２は、カメラ１０１-1，１０１-2，１０１-3から出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る。表示装置１０３は、中央制御装置１０２で得られるパノラマ画像データに基づいてパノラマ画像を表示する。表示装置１０３は、例えば、ヘッドマウントディスプレイ、パーソナルコンピュータ等である。
　図３は、カメラ１０１（カメラ１０１-1，１０１-2，１０１-3）の構成例を示している。カメラ１０１は、入力端子２０１と、入力端子２０２と、システムクロック生成部２０３と、位相ずらし部２０４と、制御Ｉ/Ｆ部２０５と、イメージセンサ２０６と、カメラ信号処理部２０７と、出力インタフェース部２０８と、撮像画像データ出力端子２０９を有している。イメージセンサ２０６は、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサである。
　入力端子２０１は、ゲンロック信号等のリファレンス垂直同期信号を入力する端子である。システムクロック生成部２０７は、リファレンス垂直同期信号を参照して、このリファレンス垂直同期信号に同期したシステムクロックを生成する。このシステムクロックは、カメラ１０２内の各ブロックに供給される。
　入力端子２０２は、撮像画像の垂直方向の基準位置からのずれ量情報（ずらし量情報）を入力する端子である。上述したように、このずれ量情報は例えばライン数で与えられる。制御Ｉ/Ｆ部２０５は、このずれ量情報を、ライン数から、例えば、所定周波数、例えば１００ＭＨｚのクロックの個数で示される位相ずらし量に変換して、位相ずらし部２０４に供給する。
　位相ずらし部２０４は、リファレンス垂直同期信号の位相を、制御Ｉ/Ｆ部２０５から供給される位相ずらし量分だけずらす。そして、位相ずらし部２０４は、このように位相がずらされた垂直同期信号を、フレーム露光開始用垂直同期信号としてイメージセンサ２０６に供給する。ここで、位相ずらし部２０４および制御Ｉ/Ｆ部２０５は、位相制御部１０４（位相制御部１０４-1，１０４-2，１０４-3）を構成している。
　カメラ信号処理部２０７は、イメージセンサ２０６の出力信号に従来周知のカメラ信号処理を施して撮像画像データを得る。この撮像画像データは、出力Ｉ/Ｆ部２０８を介して、出力端子２０９に出力される。例えば、出力Ｉ/Ｆ部２０８は、ＨＤＭＩインタフェース部あるいはＵＳＢインタフェース部などである。
　図４は、図１に示すマルチカメラシステム１０Ａにおいて、カメラ１０１-1，１０１-2，１０１-3を設置してから撮像を開始するまでのフローを示している。ステップＳＴ１で、ユーザは、カメラ１０１-1，１０１-2，１０１-3を設置する。
　次に、ステップＳＴ２で、カメラ１０１-1，１０１-2，１０１-3のそれぞれはキャリブレーション用のチェッカーパターン等の同一被写体を撮像する。各カメラの撮像画像は中央制御装置１０２に供給される。中央制御装置１０２は、各カメラの撮像撮像を処理して、各カメラの撮像画像の垂直方向の基準位置からのずれ量を求める。中央制御装置１０２で求められた各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報は、それぞれ、対応するカメラに供給される。
　次に、ステップＳＴ３で、ずれ量の情報に応じた垂直同期信号の位相ずらし量をカメラ毎に設定する。この場合、各カメラにおいては、制御Ｉ/Ｆ部２０５でずれ量の情報が位相ずらし量に変換され、この位相ずらし量が位相ずらし部２０４に供給され、イメージセンサ２０６に供給される垂直同期信号は、リファレンス垂直同期信号の位相を位相ずらし量分だけずらしたものとされる。
　次に、ステップＳＴ４で、中央制御装置１０２は、例えばユーザ撮像開始操作に応じて、各カメラに撮像開始などの命令を図示しない制御Ｉ/Ｆを介して送る。各カメラは、この命令を受け取り、撮像を開始する。中央制御装置１０２は、カメラ１０１-1，１０１-2，１０１-3から出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得て、表示装置１０３に供給する。これにより、表示装置１０３ではパノラマ画像データに基づいた画像の表示が可能となる。
　上述したように、図１に示すマルチカメラシステム１０Ａにおいては、カメラ１０１-1，１０１-2，１０１-3が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが、各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。
　そのため、垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等があったとしても、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止され、良好なパノラマ画像が得られる。また、カメラ設置の精度が高くなくても良好にスティッチできることから、リグや設置にかかるコストを減らすことができる。
　図５（ａ）の左側は、カメラ１０１-1，１０１-2，１０１-3の撮像画像の一例を示している。“動画１”がカメラ１０１-1の撮像画像であり、“動画２”がカメラ１０１-2の撮像画像であり、動画３”がカメラ１０１-3の撮像画像である。垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等により、各カメラの撮像画像の垂直方向にずれが発生している。
　“Ｖ１”がカメラ１０１-1の撮像画像の垂直方向の位置を示し、“Ｖ２”がカメラ１０１-2の撮像画像の垂直方向の位置を示し、“Ｖ３”がカメラ１０１-3の撮像画像の垂直方向の位置を示している。また、“Ｌ12”はカメラ１０１-1の撮像画像の位置を基準位置としたカメラ１０１-2の撮像画像の位置のずれ量を示し、“－Ｌ13”はカメラ１０１-1の撮像画像の位置を基準位置としたカメラ１０１-3の撮像画像の位置のずれ量を示している。
　カメラ１０１-1，１０１-2，１０１-3のイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされることで、各撮像画像において、同一時刻でキャプチャされるラインは、一点鎖線で図示するように、垂直方向に同一位置、あるいは極めて近い位置のラインとなる。そのため、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近でフォーカルプレーン歪が目立つことが防止される。図５（ａ）の右側は、各撮像画像にスティッチ処理を施して合成した後のパノラマ画像の一例を示している。
　図６（ａ）は、カメラ１０１-1，１０１-2，１０１-3の撮像画像の垂直方向にずれが発生している場合において、各カメラのイメージセンサ２０６に供給する垂直同期信号Ｖsyncの位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされた場合の各カメラのフレーム露光タイミングチャートを示している。この場合、各撮像画像において、垂直方向に同一位置、あるいは極めて近い位置のラインは、一点鎖線で図示するように、同一時刻でキャプチャされる。このことは、上述したように、各撮像画像において、同一時刻でキャプチャされるラインは、垂直方向に同一位置、あるいは極めて近い位置のラインとなることを意味する。
　なお、図５（ｂ）の左側も、図５（ａ）の左側と同様に、カメラ１０１-1，１０１-2，１０１-3の撮像画像の一例を示している。カメラ１０１-1，１０１-2，１０１-3のイメージセンサ２０６に供給する垂直同期信号の位相が一致している場合には、各撮像画像において、同一時刻でキャプチャされるラインは、一点鎖線で図示するように、離れた位置のラインとなる。そのため、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近でフォーカルプレーン歪が目立つものとなる。図５（ｂ）の右側は、各撮像画像にスティッチ処理を施して合成した後のパノラマ画像の一例を示している。
　図６（ｂ）は、カメラ１０１-1，１０１-2，１０１-3の撮像画像の垂直方向にずれが発生している場合において、各カメラのイメージセンサ２０６に供給する垂直同期信号Ｖsyncの位相が合っている場合の各カメラのフレーム露光タイミングチャートを示している。この場合、各撮像画像において、垂直方向に同一位置、あるいは極めて近い位置のラインは、一点鎖線で図示するように、離れた時刻でキャプチャされる。このことは、上述したように、各撮像画像において、同一時刻でキャプチャされるラインは、離れた位置のラインとなることを意味する。
　＜２．第２の実施の形態＞
　［マルチカメラシステムの構成例］
　図７は、第２の実施の形態としてのマルチカメラシステム１０Ｂの構成例を示している。このマルチカメラシステム１０Ｂは、４個のカメラ（ビデオカメラ）、つまりカメラ（カメラ１）３０１-1、カメラ（カメラ２）３０１-2、カメラ（カメラ３）３０１-3、カメラ（カメラ４）３０１-4を有している。また、マルチカメラシステム１０Ｂは、中央制御装置３０２と、表示装置３０３を有している。ここで、各カメラは４Ｋ画像データを得るための４Ｋカメラである。
　カメラ３０１-1，３０１-2，３０１-3，３０１-4は、水平方向に２個および垂直方向に２個の田の字状に配置される。図８は、カメラ３０１-1，３０１-2，３０１-3，３０１-4の配置状態を示している。図８（ａ）は上から見たカメラ配置図であり、図８（ｂ）は正面から見たカメラ配置図であり、図８（ａ）は横から見たカメラ配置図である。図８（ａ），（ｃ）に示すように、隣接するカメラの撮像画像に重なりが発生するように、各カメラにおける撮像が行われる。
　カメラ３０１-1，３０１-2，３０１-3，３０１-4は、それぞれ、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサを有している。また、カメラ３０１-1，３０１-2，３０１-3，３０１-4は、それぞれ、位相制御部３０４-1，３０４-2，３０４-3，３０４-4を有している。
　位相制御部３０４-1，３０４-2，３０４-3，３０４-4は、それぞれ、イメージセンサに供給する垂直同期信号の位相を、対応するカメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす。例えば、カメラ３０１-1，３０１-2，３０１-3，３０１-4の撮像画像のいずれかの位置が基準位置とされる。
　この場合、位相制御部３０４-1，３０４-2，３０４-3，３０４-4は、それぞれ、ゲンロック（Genlock）信号などのリファレンス垂直同期信号に対して位相ずらし処理を行った後にイメージセンサに供給する。ここで、各カメラの撮像画像の位置は例えば最初のライン（第1ライン）の位置とされ、ずれ量の情報はライン数で与えられる。詳細説明は省略するが、カメラ３０１-1，３０１-2，３０１-3，３０１-4は、上述したマルチカメラシステム１０Ａにおける各カメラと同様の構成とされる（図３参照）。
　中央制御装置３０２は、位相制御部３０４-1，３０４-2，３０４-3，３０４-4のそれぞれに、対応するカメラで撮像される画像の垂直方向の基準位置からのずれ量の情報を与える。例えば、中央制御装置３０２は、各カメラでキャリブレーション用のチェッカーパターン等の同一被写体を撮像して得られた画像（撮像画像）を処理して、各カメラの画像の垂直方向の基準位置からのずれ量の情報を求める。
　なお、中央制御装置３０２は、スティッチ処理後の８Ｋ画像を見てのユーザのずれ量の調整操作に基づいて、各カメラで撮像される画像の垂直方向の基準位置からのずれ量の情報を得ることも考えられる。この場合、ユーザは、つなぎ目付近でフォーカルプレーン歪が目立たなくなるようにずれ量の調整を行う。
　また、中央制御装置３０２は、カメラ３０４-1，３０４-2，３０４-3，３０４-4から出力される４Ｋの撮像画像データにスティッチ処理を施して８Ｋ画像データを得る。表示装置３０３は、中央制御装置３０２で得られる８Ｋ画像データに基づいて８Ｋ画像、あるいは選択された一部の画像を表示する。表示装置３０３は、例えば、ヘッドマウントディスプレイ、パーソナルコンピュータ等である。
　図７に示すマルチカメラシステム１０Ｂにおいて、カメラ３０４-1，３０４-2，３０４-3，３０４-4を設置してから撮像を開始するまでのフローは、詳細説明は省略するが、図１に示すマルチカメラシステム１０Ａにおけるフローと同様となる（図４参照）。
　上述したように、図７に示すマルチカメラシステム１０Ｂにおいては、カメラ３０４-1，３０４-2，３０４-3，３０４-4が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。
　そのため、垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等があったとしても、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止され、良好な８Ｋ画像が得られる。また、カメラ設置の精度が高くなくても良好にスティッチできることから、リグや設置にかかるコストを減らすことができる。
　図９の左側は、カメラ３０４-1，３０４-2，３０４-3，３０４-4の撮像画像の一例を示している。“動画１”がカメラ３０１-1の撮像画像であり、“動画２”がカメラ３０１-2の撮像画像であり、動画３”がカメラ３０１-3の撮像画像であり、動画４”がカメラ３０１-4の撮像画像である。
　垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等により、各カメラの撮像画像の垂直方向にずれが発生している。“Ｖ１”がカメラ３０１-1の撮像画像の垂直方向の位置を示し、“Ｖ２”がカメラ３０１-2の撮像画像の垂直方向の位置を示し、“Ｖ３”がカメラ３０１-3の撮像画像の垂直方向の位置を示し、“Ｖ４”がカメラ３０１-4の撮像画像の垂直方向の位置を示している。
　また、“Ｌ12”はカメラ３０１-1の撮像画像の位置を基準位置としたカメラ３０１-2の撮像画像の位置のずれ量を示し、“Ｌ13”はカメラ３０１-1の撮像画像の位置を基準位置としたカメラ３０１-3の撮像画像の位置のずれ量を示し、“Ｌ14”はカメラ３０１-1の撮像画像の位置を基準位置としたカメラ３０１-4の撮像画像の位置のずれ量を示している。
　カメラ３０４-1，３０４-2，３０４-3，３０４-4のイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされることで、各撮像画像において、同一時刻でキャプチャされるラインは、一点鎖線で図示するように、垂直方向に同一位置、あるいは極めて近い位置のラインとなる。そのため、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近でフォーカルプレーン歪が目立つことが防止される。図９の右側は、各撮像画像にスティッチ処理を施して合成した後の画像の一例を示している。
　図１０は、カメラ３０４-1，３０４-2，３０４-3，３０４-4の撮像画像の垂直方向にずれが発生している場合において、各カメラのイメージセンサ２０６に供給する垂直同期信号Ｖsyncの位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされた場合の各カメラのフレーム露光タイミングチャートを示している。この場合、各撮像画像において、垂直方向に同一位置、あるいは極めて近い位置のラインは、一点鎖線で図示するように、同一時刻でキャプチャされる。このことは、上述したように、各撮像画像において、同一時刻でキャプチャされるラインは、垂直方向に同一位置、あるいは極めて近い位置のラインとなることを意味する。
　上述したように図７に示すマルチカメラシステム１０Ｂは４個の４Ｋカメラで撮像して８Ｋの画像（画像データ）を得る例を示した。詳細説明は省略するが、４個のＨＤカメラで撮像して４Ｋの画像を得る例も同様に構成できる。また、４個だけでなくさらに多数のカメラをマトリクス状に配置して高解像度の画像を得る例にも本技術を同様に適用できる。
　＜３．変形例＞
　なお、上述実施の形態においては、各カメラの内部にイメージセンサに供給する垂直同期信号の位相をカメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える例を示した。しかし、カメラは位相制御部を備えておらず、カメラの外部にこの位相制御部を設けることも考えられる。
　図１１は、その場合におけるマルチカメラシステム１０Ｃの構成例を示している。この図１１において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。カメラ１０１-1，１０１-2，１０１-3は、それぞれ、図１に示すマルチカメラシステム１０Ａとは異なって、位相制御部１０４-1，１０４-2，１０４-3を備えてはいない。
　カメラ１０１-1，１０１-2，１０１-3の外部に、それぞれ、位相制御部１０４-1，１０４-2，１０４-3と同様の機能を持つ位相制御用機器１０５-1，１０５-2，１０５-3が設けられる。この位相制御用機器１０５（位相制御用機器１０５-1，１０５-2，１０５-3）は、例えば、図３に示すカメラ１０１の構成に含まれるシステムクロック生成部２０３、位相ずらし部２０４、制御Ｉ/Ｆ部２０５に対応する機能部を備えている。
　図１１に示すマルチカメラシステム１０Ｃにおいても、図１に示すマルチカメラシステム１０Ａと同様に動作し、カメラ１０１-1，１０１-2，１０１-3が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされるものとなる。なお、図１１に示すマルチカメラシステム１０Ｃは、図１に示すマルチカメラシステム１０Ａに対応したものであるが、図７に示すマルチカメラシステム１０Ｂに対応したものも同様に構成できることは勿論である。
　また、上述実施の形態においては、複数のカメラの位相制御部にそれぞれの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御装置を備える例を示した。しかし、中央制御装置を備えておらず、複数の位相制御部（カメラ）のいずれかが兼用する構成も考えられる。
　図１２は、その場合におけるマルチカメラシステム１０Ｄの構成例を示している。この図１２において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。カメラ１０１-1の位相制御部１０４-1は、図１に示すマルチカメラシステム１０Ａにおける中央制御装置１０２を兼用する、つまりこの中央制御装置１０２の機能を併せ持っている。
　図１２に示すマルチカメラシステム１０Ｄにおいては、カメラ１０１-１の位相制御部１０４-1から、カメラ１０１-2，１０１-3の位相制御部１０４-2，１０４－３にそれぞれの撮像画像の垂直方向の基準位置からのずれ量の情報が与えられる。これにより、図１２に示すマルチカメラシステム１０Ｄにおいては、図１に示すマルチカメラシステム１０Ａと同様に動作し、カメラ１０１-1，１０１-2，１０１-3が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされるものとなる。
　なお、図１２に示すマルチカメラシステム１０Ｄは、図１に示すマルチカメラシステム１０Ａに対応したものであるが、図７に示すマルチカメラシステム１０Ｂに対応したものも同様に構成できることは勿論である。また、図１１に示すマルチカメラシステム１０Ｃに対応したものも同様に構成できる。詳細説明は省略するが、図１３は、その場合におけるマルチカメラシステム１０Ｅの構成例を示している。
　また、上述実施の形態においては、カメラ間の接続や中央制御装置との接続が有線接続であるように示しているが、無線接続であってもよい。また、このことはカメラと外付けの位相制御用機器の接続においもて同様である。
　また、上述実施の形態においては、複数のカメラを備えるマルチカメラシステムの例を示したが、本技術を複数のイメージセンサを備える多眼カメラに適用することも可能である。
　図１４は、多眼カメラ１０Ｆの構成例を示している。この多眼カメラ１０Ｆは、筐体４０１内に、複数個、ここでは６個のイメージセンサ（イメージャ）４０２-1～４０２-6を有している。イメージセンサ４０２-1～４０２-6は、水平方向に３個および垂直方向に２個のマトリクス情報状に配置されている。イメージセンサ４０２-1～４０２-6は、それぞれ、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサである。
　筐体４０１には、イメージセンサ４０２-1～４０２-6のそれぞれに対応して、レンズ４０３-1～４０３-6が配設されている。図１５（ａ）は、多眼カメラ１０Ｆの正面から見た図であり、図１５（ｂ）は、多眼カメラ１０Ｆを側面から見た図である。図７に示すマルチカメラシステム１０Ｂと同様に、隣接するイメージセンサの撮像画像に重なりが発生するように、各イメージセンサにおける撮像が行われる。
　図１４に戻って、多眼カメラ１０Ｆは、筐体４０１内に、イメージセンサ４０２-1～４０２-6のそれぞれに対応してカメラ信号処理部４０４-1～４０４-6と、統合処理部４０５と、出力Ｉ/Ｆ部４０６を有している。カメラ信号処理部４０４-1～４０４-6は、それぞれ、イメージセンサ４０２-1～４０２-6の出力信号に従来周知のカメラ信号処理を施して撮像画像データを得る。
　統合処理部４０５は、イメージセンサ４０２-1～４０２-6のそれぞれに対応して、マルチカメラシステム１０Ａ，１０Ｂ（図１、図７参照）の各カメラに備えられている位相制御部と同様に機能する第１の機能部を備えている。また、この統合処理部４０５は、マルチカメラシステム１０Ａ，１０Ｂ（図１、図７参照）における中央処理装置と同様に機能する第２の機能部を備えている。
　統合処理部４０５は、イメージセンサ４０２-1～４０２-6でキャリブレーション用のチェッカーパターン等の同一被写体を撮像して得られた画像（撮像画像）を処理して、各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量を求める。また、統合処理部４０５は、このずれ量の情報に基づいて、各イメージセンサに、各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量に応じて位相がずらされた垂直同期信号Ｖs1～Ｖs6を供給する。また、統合処理部４０５は、イメージセンサ４０２-1～４０２-6から出力される撮像画像データにスティッチ処理を施して合成画像データを得る。
　出力Ｉ/Ｆ部４０６は、統合処理部４０５で得られた合成画像データを、外部に出力するためのインタフェース部である。例えば、出力Ｉ/Ｆ部４０５は、ＨＤＭＩインタフェース部あるいはＵＳＢインタフェース部などである。
　図１４に示す多眼カメラ１０Ｆにおいては、イメージセンサ４０２-1～４０２-6に供給する垂直同期信号Ｖs1～Ｖs6の位相のそれぞれが各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。そのため、イメージセンサ４０２-1～４０２-6の筐体４０１内における配設位置にばらつきがあったとしても、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止され、良好な合成画像が得られる。
　図１４に示す多眼カメラ１０Ｆにおいては、６個のイメージセンサ４０２-1～４０２-6を備える例を示した。詳細説明は省略するが、６個だけでなくその他の個数のイメージセンサを備える多眼カメラにも本技術を同様に適用できる。また、図１４に示す多眼カメラ１０Ｆにおいては、筐体４０１内にイメージセンサ４０２-1～４０２-6が固定配置され、全てのイメージセンサ４０２-1～４０２-6が使用される例を示した。しかし、イメージセンサ４０２-1～４０２-6の配置を任意に変更し得る構成、またイメージセンサ４０２-1～４０２-6の一部を選択的に使用可能とする構成も考えられる。そのような構成にあっても、本技術が適用されることで良好な合成画像（パノラマ画像）を得ることが可能となる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラと、
　上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす複数の位相制御部を備える
　マルチカメラシステム。
　（２）上記複数の位相制御部のそれぞれは、上記複数のカメラの内部に設けられる
　前記（１）に記載のマルチカメラシステム。
　（３）上記複数の位相制御部のそれぞれは、上記複数のカメラの外部に設けられる
　前記（１）に記載のマルチカメラシステム。
　（４）上記複数の位相制御部に上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御部をさらに備える
　前記（１）から（３）のいずれかに記載のマルチカメラシステム。
　（５）上記中央制御部は、上記複数のカメラの撮像画像を処理して、上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を得る
　前記（４）に記載のマルチカメラシステム。
　（６）上記中央制御部を、上記複数の位相制御部のいずれかが兼用する
　前記（４）または（５）に記載のマルチカメラシステム。
　（７）上記複数のカメラは４個のカメラであり、
　上記４個のカメラは水平方向に２個および垂直方向に２個の田の字状に配置される
　前記（１）から（６）のいずれかに記載のマルチカメラシステム。
　（８）上記複数のカメラから出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る画像処理部をさらに備える
　前記（１）から（７）のいずれかに記載のマルチカメラシステム。
　（９）複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラを備えるマルチカメラシステムの制御方法であって、
　上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす
　マルチカメラシステムの制御方法。
　（１０）複数の、ラスタースキャン方式で信号を出力するイメージセンサと、
　上記複数のイメージセンサに供給する垂直同期信号の位相のそれぞれを各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える
　カメラ。
　（１１）ラスタースキャン方式で信号を出力するイメージセンサと、
　リファレンス垂直同期信号を入力する第１の入力部と、
　上記垂直同期信号の位相ずらし量情報を入力する第２の入力部と、
　上記位相ずらし量情報に基づいて上記リファレンス垂直同期信号の位相をずらして上記イメージセンサに供給する位相制御部を備える
　カメラ。
　（１２）上記イメージセンサは、ＣＭＯＳイメージセンサである
　前記（１１）に記載のカメラ。
　１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ・・・マルチカメラシステム
　１０１-1，１０１-2，１０１-3，３０１-1，３０１-2，３０１-3，３０１-4・・・カメラ
　１０２，３０２・・・中央制御装置
　１０３，３０３・・・表示装置
　１０４-1，１０４-2，１０４-3，３０４-1，３０４-2，３０４-3，３０４-4・・・位相制御部
　１０５-1，１０５-2，１０５-3・・・位相制御用機器
　２０１・・・入力端子（ゲンロック信号等のリファレンス垂直同期信号を入力する端子）
　２０２・・・入力端子（ずれ量情報（ずらし量情報）を入力する端子）
　２０３・・・システムクロック生成部
　２０４・・・位相ずらし部
　２０５・・・制御Ｉ/Ｆ部
　２０６・・・イメージセンサ
　２０７・・・カメラ信号処理部
　２０８・・・出力Ｉ/Ｆ部
　２０９・・・撮像画像データ出力端子
　４０１・・・筐体
　４０２-1～４０２-6・・・イメージセンサ
　４０３-1～４０３-6・・・レンズ
　４０４-1～４０４-6・・・カメラ信号処理部
　４０５・・・統合処理部
　４０６・・・出力Ｉ/Ｆ部

Claims (12)

  1. 　複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラと、
    　上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす複数の位相制御部を備える
    　マルチカメラシステム。
  2. 　上記複数の位相制御部のそれぞれは、上記複数のカメラの内部に設けられる
    　請求項１に記載のマルチカメラシステム。
  3. 　上記複数の位相制御部のそれぞれは、上記複数のカメラの外部に設けられる
    　請求項１に記載のマルチカメラシステム。
  4. 　上記複数の位相制御部に上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御部をさらに備える
    　請求項１に記載のマルチカメラシステム。
  5. 　上記中央制御部は、上記複数のカメラの撮像画像を処理して、上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を得る
    　請求項４に記載のマルチカメラシステム。
  6. 　上記中央制御部を、上記複数の位相制御部のいずれかが兼用する
    　請求項４に記載のマルチカメラシステム。
  7. 　上記複数のカメラは４個のカメラであり、
    　上記４個のカメラは水平方向に２個および垂直方向に２個の田の字状に配置される
    　請求項１に記載のマルチカメラシステム。
  8. 　上記複数のカメラから出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る画像処理部をさらに備える
    　請求項１に記載のマルチカメラシステム。
  9. 　複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラを備えるマルチカメラシステムの制御方法であって、
    　上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす
    　マルチカメラシステムの制御方法。
  10. 　複数の、ラスタースキャン方式で信号を出力するイメージセンサと、
    　上記複数のイメージセンサに供給する垂直同期信号の位相のそれぞれを各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える
    　カメラ。
  11. 　ラスタースキャン方式で信号を出力するイメージセンサと、
    　リファレンス垂直同期信号を入力する第１の入力部と、
    　上記垂直同期信号の位相ずらし量情報を入力する第２の入力部と、
    　上記位相ずらし量情報に基づいて上記リファレンス垂直同期信号の位相をずらして上記イメージセンサに供給する位相制御部を備える
    　カメラ。
  12. 　上記イメージセンサは、ＣＭＯＳイメージセンサである
    　請求項１１に記載のカメラ。
PCT/JP2016/083970 2015-11-17 2016-11-16 マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ WO2017086348A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680065632.3A CN108353122B (zh) 2015-11-17 2016-11-16 多相机系统、控制多相机系统的方法和相机
JP2017551902A JP6834976B2 (ja) 2015-11-17 2016-11-16 マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
US15/772,743 US10645258B2 (en) 2015-11-17 2016-11-16 Multi-camera system, method of controlling a multi-camera system, and camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015224498 2015-11-17
JP2015-224498 2015-11-17

Publications (1)

Publication Number Publication Date
WO2017086348A1 true WO2017086348A1 (ja) 2017-05-26

Family

ID=58718904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083970 WO2017086348A1 (ja) 2015-11-17 2016-11-16 マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ

Country Status (4)

Country Link
US (1) US10645258B2 (ja)
JP (1) JP6834976B2 (ja)
CN (1) CN108353122B (ja)
WO (1) WO2017086348A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10673263B2 (en) 2017-11-13 2020-06-02 Next-E Solutions Inc. Control device, control system, electric storage device and computer-readable medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
AU2017245132A1 (en) * 2016-03-29 2018-10-11 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting ltems
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
US11470249B1 (en) * 2017-01-02 2022-10-11 Gn Audio A/S Panoramic camera device
US11774842B2 (en) 2019-08-16 2023-10-03 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
CN118102109A (zh) * 2020-08-07 2024-05-28 北京图森未来科技有限公司 一种图像采集设备的控制方法、装置、设备及存储介质
CN114422813A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种vr直播视频拼接及展示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013048333A (ja) * 2011-08-29 2013-03-07 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP2013214952A (ja) * 2012-03-08 2013-10-17 Ricoh Co Ltd 撮像装置
JP2014011529A (ja) * 2012-06-28 2014-01-20 Casio Comput Co Ltd 撮像装置、撮像システム、撮像方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60259069A (ja) 1984-06-05 1985-12-21 Mitsubishi Electric Corp ビデオ・カメラ・システム
US4860101A (en) * 1987-11-06 1989-08-22 Vicon Industries, Inc. Central station synchronization system
US5243425A (en) * 1991-11-18 1993-09-07 Sensormatic Electronics Corporation Synchronization of vertical phase of the video signals in a video system
JPH11261884A (ja) 1998-03-10 1999-09-24 Hitachi Ltd パノラマ映像放送方法および放送受信装置
TW448686B (en) * 1998-09-14 2001-08-01 Sony Corp External synchronization system using composite synchronization signal, and camera system using the same
CN100576907C (zh) * 2007-12-25 2009-12-30 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
WO2015136798A1 (ja) * 2014-03-13 2015-09-17 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013048333A (ja) * 2011-08-29 2013-03-07 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP2013214952A (ja) * 2012-03-08 2013-10-17 Ricoh Co Ltd 撮像装置
JP2014011529A (ja) * 2012-06-28 2014-01-20 Casio Comput Co Ltd 撮像装置、撮像システム、撮像方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10673263B2 (en) 2017-11-13 2020-06-02 Next-E Solutions Inc. Control device, control system, electric storage device and computer-readable medium

Also Published As

Publication number Publication date
JP6834976B2 (ja) 2021-02-24
US20190215420A1 (en) 2019-07-11
JPWO2017086348A1 (ja) 2018-09-06
CN108353122A (zh) 2018-07-31
US10645258B2 (en) 2020-05-05
CN108353122B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
WO2017086348A1 (ja) マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
JP5559416B2 (ja) 複数の画像センサからのデータの合成
KR101400515B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
US20130235149A1 (en) Image capturing apparatus
JP6181931B2 (ja) 投影装置、制御方法、プログラム、及び投影システム
JP2007189333A (ja) 撮影システム
JP2011035638A (ja) 仮想現実空間映像制作システム
JP2018157335A (ja) 画像処理システム
US20110157153A1 (en) Projection-type image display apparatus provided with an image pickup function
KR101809727B1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
KR101222101B1 (ko) 스테레오스코픽 영상의 생성 장치
JP5554157B2 (ja) 映像同期撮影システム、及び映像同期撮影方法
JP2017188871A (ja) 撮像装置
JP5484020B2 (ja) マルチプロジェクションシステムの制御装置、制御方法、プログラム
JP2018207430A (ja) 撮像装置の設置方法および制御手段
JP2005124010A (ja) 撮像装置
JPH1032842A (ja) 複眼画像処理方法及び装置
TW201414299A (zh) 同步多重視訊感測器的裝置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16866349

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017551902

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16866349

Country of ref document: EP

Kind code of ref document: A1