WO2019182101A1 - 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 - Google Patents

多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 Download PDF

Info

Publication number
WO2019182101A1
WO2019182101A1 PCT/JP2019/012030 JP2019012030W WO2019182101A1 WO 2019182101 A1 WO2019182101 A1 WO 2019182101A1 JP 2019012030 W JP2019012030 W JP 2019012030W WO 2019182101 A1 WO2019182101 A1 WO 2019182101A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
enlarged
camera
unit
entire
Prior art date
Application number
PCT/JP2019/012030
Other languages
English (en)
French (fr)
Inventor
孝 増田
勝治 松浦
Original Assignee
カムイ・イノベーション株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カムイ・イノベーション株式会社 filed Critical カムイ・イノベーション株式会社
Priority to KR1020207027485A priority Critical patent/KR102655093B1/ko
Priority to US16/982,133 priority patent/US11922610B2/en
Priority to CN201980021524.XA priority patent/CN111971948B/zh
Publication of WO2019182101A1 publication Critical patent/WO2019182101A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present invention relates to a multi-lens camera system, a multi-camera camera head, an image processing apparatus, a multi-camera program, and a multi-camera shooting method used for multi-camera shooting.
  • processing for correcting linearity distortion is performed by projecting each image taken by each camera head onto a virtual sphere and matching the center point of each image with the center of the virtual sphere.
  • processing for correcting distortion inherent to the lens provided in each camera head is also performed. Since the distortion of each image is corrected by these correction processes, the joint portion becomes continuous, and an entire image without a sense of incongruity can be obtained.
  • each image output from all the camera heads is once written in the frame memory at the same resolution. For this reason, as the number of camera heads used and the resolution of the camera increase, the memory capacity required for the frame memory increases, which increases the size of the image processing apparatus, leading to increased power consumption and component costs. There's a problem.
  • An object of the present invention is to provide a multi-view camera system, a multi-view camera head, an image processing apparatus, a multi-view shooting program, and a multi-view shooting method.
  • the multi-lens camera system can reduce the processing load of the image processing apparatus, reduce the size, reduce power consumption, and reduce the cost, and solve the problem of easily optimizing the entire system.
  • a multi-lens camera system comprising a multi-camera camera head used for photographing and an image processing apparatus to which a plurality of the multi-camera camera heads are connected.
  • a partial image acquisition unit that acquires a partial image obtained by capturing a predetermined part of the imaging range and a correction parameter that is determined according to the mounting position of the camera head for multi-lens imaging and corrects distortion of the partial image.
  • a parameter storage unit for storing, and an image correction unit that corrects distortion of the partial image using the correction parameter and outputs the data as data for the entire image constituting a part of the entire image;
  • the image processing apparatus includes: an input processing unit that acquires the entire image data after being corrected by the image correcting unit from all the connected multi-camera camera heads; Resizing the entire image data acquired by the processing unit in accordance with the resolution of the entire image display device, and combining the entire image data resized by the resizing processing unit And a whole image memory that outputs the whole image to the whole image display device.
  • the multi-view camera The head further includes a camera control unit that acquires enlargement information for specifying an enlargement area in the entire image from the image processing device in response to a command to enlarge and display a part of the entire image, and the enlargement information And an enlarged area extracting unit that extracts an image area included in the enlarged area from the entire image data and outputs it as enlarged image data constituting a part or all of the enlarged image.
  • the image processing apparatus further includes an enlarged image memory for acquiring the enlarged image data from one or a plurality of the multi-lens imaging camera heads, and the enlarged image memory.
  • the enlarged image synthesizing unit that synthesizes the acquired the expanded image data has been outputted in the enlarged image display device as the enlarged image, may have.
  • the multi-camera camera head can reduce the processing load of the image processing apparatus, reduce the size, save power and reduce the cost, and solve the problem of easily optimizing the entire system.
  • a multi-camera camera head used for multi-lens photography wherein a partial image acquisition unit that obtains a partial image obtained by photographing a predetermined part in a multi-view photography range, and an attachment position of the multi-camera camera head And a parameter storage unit that stores correction parameters for correcting distortion of the partial image, and an entire image that forms a part of the entire image by correcting the distortion of the partial image using the correction parameter. And an image correction unit that outputs the data for use.
  • a camera control unit that acquires enlargement information for specifying an enlargement area in the whole image from an image processing apparatus that combines the data and outputs the whole image, and based on the enlargement information, the enlargement of the whole image data
  • An enlarged region extracting unit that extracts an image region included in the region and outputs the image region as enlarged image data that constitutes a part or all of the enlarged image.
  • An image processing apparatus to which a plurality of eye photographing camera heads are connected, wherein the whole image data after being corrected by the image correcting unit is obtained from all of the connected multi-eye photographing camera heads.
  • An input processing unit, a resize processing unit for resizing all the whole image data acquired by the input processing unit in accordance with a resolution of the whole image display device, and all the whole images resized by the resize processing unit And a whole image memory that synthesizes the data and outputs the whole image to the whole image display device.
  • An enlarged image composition unit that synthesizes the enlarged image data and outputs the synthesized image data to the enlarged image display device as the enlarged image.
  • the entire region acquired from the entire image memory is used to solve the problem of automatically detecting a mutated region and automatically recording the enlarged image.
  • the mutated region detection unit that detects the mutated region in the entire image and outputs the enlarged information for outputting the mutated region as a mutated image to the enlarged region extracting unit;
  • the enlargement area extraction unit outputs the image area included in the mutation area in the whole image data as mutation image data constituting a part or all of the mutation image, and the enlargement
  • the variant image recording unit acquires and records the variant image; and It may have.
  • the multi-view shooting program according to the present invention can reduce the processing load on the image processing apparatus, reduce the size, save power, and reduce the cost, and solve the problem of easily optimizing the entire system.
  • a multi-view shooting program used for eye shooting according to a partial image acquisition unit that acquires a partial image obtained by shooting a predetermined part of a multi-view shooting range, and a mounting position of the multi-view shooting camera head A parameter storage unit that stores correction parameters for correcting distortion of the partial image, and data for the whole image that forms a part of the whole image by correcting the distortion of the partial image using the correction parameter
  • the multi-camera camera head is caused to function as an image correction unit that outputs as follows.
  • a multi-view shooting method using a multi-view shooting camera head used for shooting, a partial image acquisition step of acquiring a partial image obtained by shooting a predetermined part in a multi-view shooting range, and the multi-view shooting camera An image that is determined according to the mounting position of the head and that corrects the distortion of the partial image using a correction parameter for correcting the distortion of the partial image, and is output as data for the entire image constituting a part of the entire image.
  • the present invention it is possible to reduce the processing load of the image processing apparatus, reduce the size, save power and reduce the cost, and easily optimize the entire system.
  • FIG. 1 is an overall block diagram showing an embodiment of a multi-lens camera system including a multi-eye imaging camera head and an image processing device according to the present invention. It is a figure which shows an example of the arrangement pattern of the camera head for multi-view imaging
  • (C) It is a figure which shows the case where it crosses over the image area
  • the multi-view camera system 1 of the present embodiment mainly includes a plurality of multi-view camera heads 2 for capturing a predetermined part in a multi-view shooting range, and the plurality of multi-view shooting.
  • Each configuration will be described below.
  • the multi-view shooting camera head 2 is for shooting a predetermined part of the multi-view shooting range, and covers the entire multi-view shooting range by arranging a plurality of cameras at predetermined positions. For example, as shown in FIG. 2, when four multi-camera camera heads 2 are arranged in each of the vertical direction and the horizontal direction, each of the 16 multi-camera camera heads 2 is photographed. By synthesizing the partial images, as shown in FIG. 3A, an entire image that covers the entire multi-view imaging range is obtained. The number in each partial image indicates that the image is taken by each multi-view imaging camera head 2 corresponding to the array number shown in FIG.
  • the multi-view shooting range is shared by the plurality of multi-view shooting camera heads 2. Therefore, as shown in FIG. 3B, when an enlarged image obtained by enlarging a part of the entire image is displayed, the maximum resolution is the maximum pixel of the partial image captured by each multi-lens camera head 2. Can be raised to a number.
  • the arrangement pattern of the multi-lens imaging camera head 2 is not limited to the above-described configuration, and can be changed as appropriate.
  • an image is a concept including both a still image and a moving image.
  • each multi-view shooting camera head 2 is constituted by a small digital camera or the like, and as shown in FIG. 1, a program storage section 21 for storing a multi-view shooting program 2a, and image processing An image memory 22, a parameter storage unit 23 for storing various parameters, a partial image acquisition unit 24 for acquiring a partial image, an image quality processing unit 25 for image quality processing of the partial image, and correcting distortion of the partial image. It has an image correction unit 26, a camera control unit 27 that controls the multi-lens imaging camera head 2, and an enlarged region extraction unit 28 that extracts an enlarged region.
  • Each multi-camera camera head 2 includes not only a lens and an image pickup device (not shown) but also arithmetic processing means such as a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), flash memory. And other storage means.
  • the multi-view photographing program 2a executed by the arithmetic processing unit causes the storage unit to function as the program storage unit 21, the image memory 22, and the parameter storage unit 23, and the arithmetic processing unit is the partial image acquisition unit 24 described above. It functions as an image quality processing unit 25, an image correction unit 26, a camera control unit 27, and an enlarged region extraction unit 28.
  • each component will be described.
  • the program storage unit 21 is installed with the multi-eye imaging program 2a of the present embodiment.
  • the image memory 22 is a memory that stores images for performing image processing.
  • the image memory 22 is used as a working area when the image quality processing unit 25 executes image quality processing and when the image correction unit 26 executes correction processing. As described above, the memory is effectively used by sharing both the image quality processing and the correction processing.
  • the parameter storage unit 23 stores correction parameters for correcting distortion of partial images captured by each multi-view imaging camera head 2.
  • the correction parameter is determined according to the mounting position of the multi-lens camera head 2, and includes a parameter for correcting the linearity distortion described above, and a distortion inherent to the lens described above.
  • the parameter for correcting is stored in advance.
  • the partial image obtaining unit 24 obtains a partial image obtained by photographing a predetermined part in the multi-view photographing range from the image sensor.
  • the partial image acquisition unit 24 converts a video signal (raw data) output from the image sensor into a desired image format, and outputs it as a partial image.
  • the image quality processing unit 25 stores the partial image acquired by the partial image acquisition unit 24 in the image memory 22 and performs image quality processing for optimizing the image quality.
  • the image correction unit 26 corrects distortion of the partial image processed by the image quality processing unit 25.
  • the image correction unit 26 reads the correction parameters from the parameter storage unit 23 and corrects linearity distortion in the partial image and lens-specific distortion in the image memory 22.
  • the image correction unit 26 outputs the corrected partial image to the input processing unit 31 of the image processing apparatus 3 as whole image data constituting a part of the whole image.
  • the camera control unit 27 controls the operation of the camera head 2 for multi-view photography.
  • the camera control unit 27 acquires a control signal from the input processing unit 31 of the image processing device 3
  • the camera control unit 27 performs the operation of the multi-lens imaging camera head 2 based on the control signal. Control.
  • the camera control unit 27 acquires the enlargement information from the input processing unit 31 of the image processing device 3 in response to a command to enlarge and display a part of the entire image
  • the camera control unit 27 sets the enlargement area based on the enlargement information. Then, it is determined whether or not the image area included in the enlarged area is in the entire image data. As a result of the determination, if there is the image area, the camera control unit 27 controls the enlarged area extracting unit 28 to extract the image area as an enlarged area.
  • the enlargement information is information for specifying an enlargement area in the entire image, and is composed of an enlargement position that designates an enlargement position and an enlargement ratio that designates how much to enlarge. Yes.
  • the enlarged information is not limited to these, and may be information that can specify the enlarged area.
  • the enlarged area extracting unit 28 extracts an enlarged area from the entire image data.
  • the enlargement area extraction unit 28 is included in the enlargement area of the entire image data (corrected partial image) in the image memory 22 based on the enlargement information under the control of the camera control unit 27. It is determined whether there is an image area to be displayed. When there is the image area, the enlarged area extraction unit 28 extracts the image area and outputs it to the enlarged image memory of the image processing apparatus 3 as enlarged image data constituting a part or all of the enlarged image. It is supposed to be.
  • the image correction unit 26 and camera control unit 27 on each multi-lens camera head 2 side and the input processing unit 31 on the image processing device 3 side can transmit image signals and control signals. They are connected via a broadband transmission line.
  • the enlarged region extraction unit 28 on each multi-lens imaging camera head 2 side and the enlarged image memory 34 on the image processing device 3 side are connected via a data bus.
  • the present invention is not limited to this configuration, and any configuration can be used as long as each signal can be transmitted.
  • the enlargement area specified by the enlargement ratio As shown in FIG. 2, 4 ⁇ 4 multi-camera camera heads 2 are arranged. For this reason, when the enlargement ratio is set to 4 times, as shown in FIG. 4A, an enlargement area having the same size as the image area of the multi-camera camera head 2 for one unit is specified. In addition, when the enlargement ratio is set to 16 times, as shown in FIG. 4B, an enlargement area having a size in which the image area of the multi-lens shooting camera head 2 for one unit is 1 ⁇ 4 each in the vertical and horizontal directions. Is identified. As described above, the size of the enlargement area is specified by the arrangement pattern of the camera heads 2 for multi-view photography and the set enlargement ratio.
  • the minimum value of the enlargement ratio is preferably set so that the specified enlargement area matches the image area of the camera head 2 for multi-lens imaging.
  • the transmission amount of the data bus is at most the number of pixels of the multi-lens shooting camera head 2 for one unit, and therefore, the data bus is connected by a data bus having the same frequency band as the broadband transmission path for transmitting the entire image data. It becomes possible.
  • FIG. 5A when the image area included in the enlarged area is within the image area of one multi-view camera head 2, the single multi-view camera head 2 is The image area included in the enlarged area is output.
  • FIG. 5B when the image area included in the enlarged area extends over the image areas of two multi-camera camera heads 2 adjacent vertically and horizontally, the two multi-views Each of the imaging camera heads 2 outputs an image area included in the enlarged area. Further, as shown in FIG.
  • the image processing device 3 processes the whole image data and the enlarged image data acquired from the multi-view photographing camera head 2.
  • the image processing apparatus 3 mainly resizes the entire image data, and the input processing unit 31 that acquires the entire image data from each multi-view imaging camera head 2.
  • the image processing apparatus 3 includes a microcomputer having arithmetic processing means such as a CPU (Central Processing Unit) and storage means such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a flash memory. Yes. Then, the program for the image processing device 3 executed by the arithmetic processing unit causes the storage unit to function as the whole image memory 33 and the enlarged image memory 34, and the arithmetic processing unit is the input processing unit 31 and the resizing processing unit described above. 32, an enlarged image composition unit 35, an image control unit 36, a control unit 37, a mutation region detection unit 38, and a mutation image recording unit 39.
  • arithmetic processing means such as a CPU (Central Processing Unit) and storage means such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a flash memory.
  • the program for the image processing device 3 executed by the arithmetic processing unit causes the storage unit to function as the whole image memory 33 and the enlarged image memory 34
  • the input processing unit 31 acquires data for the entire image from the multi-view photographing camera head 2.
  • the input processing unit 31 receives the entire image after being corrected by the image correcting unit 26 from all the multi-lens shooting camera heads 2 connected to the image processing device 3. Get data. That is, the whole image data is data in a state where linearity distortion and lens-specific distortion, which are problems when joining together as a whole image, have already been corrected.
  • the input processing unit 31 only needs to execute a simple process such as address setting for writing each whole image data to the whole image memory 33, and performs a correction process on the image processing apparatus 3 side. Compared to the conventional apparatus to perform, the circuit is greatly simplified. Further, in the present embodiment, as shown in FIG. 1, the input processing unit 31 sends the enlarged information and control signal acquired via the enlarged image composition unit 35 to the camera control unit 27 of each multi-lens imaging camera head 2. It is supposed to send.
  • the resizing processing unit 32 resizes the entire image data.
  • the resizing processing unit 32 resizes all the whole image data acquired by the input processing unit 31 according to the resolution of the whole image display device 4. Then, each of the whole image data pixel-adjusted to the optimum resolution is written in the whole image memory 33 according to the address designated by the input processing unit 31, and is mapped as the whole image.
  • the whole image memory 33 combines the whole image data and outputs the whole image.
  • the whole image memory 33 synthesizes all the whole image data resized by the resizing processing unit 32 and outputs the whole image to the whole image display device 4 under the control of the image control unit 36. To do.
  • the entire image memory 33 is configured to designate an image format that matches the entire image display device 4 from the image control unit 36 and output the entire image in the image format.
  • the entire image memory 33 is composed of a plurality of frame memories, and the combined entire images are sequentially stored in each frame memory in time series. Then, as shown in FIG. 1, the entire image memory 33 outputs a motion vector signal to the mutated region detection unit 38 based on the difference between the entire images moving back and forth in time.
  • the enlarged image memory 34 is for acquiring enlarged image data from each multi-camera camera head 2.
  • the enlarged image memory 34 has an image area included in the enlarged area among all the multi-view camera heads 2, and an enlarged area extracting unit of one or more multi-view camera heads 2.
  • the enlarged image data is acquired from 28 and written in a predetermined memory area.
  • the enlarged image data is obtained by extracting a part of the whole image data, the linearity distortion and the lens-specific distortion are corrected as in the whole image data. State. For this reason, even when a plurality of pieces of enlarged image data are written in the enlarged image memory 34, they are mapped as one enlarged image in which the joint portions are continuously connected.
  • the capacity of the enlarged image memory 34 is the number of pixels corresponding to the maximum image area that can be set as the enlarged area. It is enough if you have it. Therefore, the memory capacity can be greatly reduced as compared with the conventional memory capacity.
  • the enlarged image synthesis unit 35 combines enlarged image data and outputs an enlarged image.
  • the enlarged image composition unit 35 reads and composes only the image area written in the enlarged image memory 34 based on the enlargement ratio designated via the image control unit 36, and enlarges it as an enlarged image. Output to the image display device 5.
  • the enlarged image memory 34 is configured such that an image format that matches the enlarged image display device 5 is designated by the image control unit 36, and an enlarged image is output in the image format.
  • the image control unit 36 controls the output of the entire image and the enlarged image.
  • the image control unit 36 specifies an image format that matches the whole image display device 4, and the enlarged image composition unit 35 outputs the enlarged image.
  • an image format that matches the enlarged image display device 5 is designated.
  • each of the multi-viewpoints is obtained via the enlarged image synthesis unit 35 and the input processing unit 31. It plays a role of transmitting to the camera control unit 27 of the camera head 2 for photographing.
  • the control unit 37 controls all the multi-camera camera heads 2 connected to the image processing apparatus 3.
  • the control unit 37 constantly monitors the operation state of each multi-camera camera head 2 and, as shown in FIG. 1, a control signal for setting the operation of each multi-camera camera head 2.
  • the enlarged information acquired from the entire image display device 4 is output to the image control unit 36.
  • the mutated region detection unit 38 detects a partial mutated region in the entire image.
  • the mutated region detection unit 38 detects a mutated region in the entire image based on the motion vector signal of the entire image acquired from the entire image memory 33, and outputs enlarged information for specifying the mutated region. It is like that.
  • a threshold value indicating that a mutation state is set in advance in the mutation region detection unit 38, and when a motion vector signal exceeding the threshold value is detected, it is automatically detected that a mutation region has occurred. To detect.
  • the motion vector signal includes the write address position in the entire image memory 33.
  • the mutation region detection unit 38 specifies the expansion position of the mutation region from the write address position included in the motion vector signal and calculates the expansion rate from the size of the mutation region.
  • the enlarged information consisting of is automatically generated and transmitted to the control unit 37.
  • the mutation region detection unit 38 transmits a warning signal to each of the whole image display device 4 and the mutation image recording unit 39 when detecting the mutation region.
  • the whole image display device 4 displays that a mutated region has occurred, and the mutated image recording unit 39 starts recording a mutated image in which the mutated region is enlarged.
  • the mutant image recording unit 39 automatically records a mutant image.
  • the mutated image recording unit 39 is activated upon receiving a warning signal from the mutated region detecting unit 38, and records the mutated image output from the enlarged image combining unit 35 for a predetermined time.
  • the enlarged region extracting unit 28 is based on the enlarged information transmitted from the mutated region detecting unit 38, and the mutated region is included in the entire image data. Are output as variant image data constituting part or all of the variant image.
  • the enlarged image synthesis unit 35 synthesizes the mutant image data output from the enlarged region extraction unit 28 and outputs it to the mutant image recording unit 39 as a mutant image.
  • the whole image display device 4 displays a whole image obtained by photographing the whole multi-view photographing range.
  • the entire image display device 4 is configured by a touch panel or the like having both an input function and a display function, and is output from the entire image output from the entire image memory 33 or the variation region detection unit 38. Display a warning signal.
  • the entire image display device 4 is configured to input enlargement information including an enlargement position and an enlargement ratio input by the user to the control unit 37.
  • the enlarged image display device 5 displays an enlarged image obtained by enlarging a part of the entire image.
  • the enlarged image display device 5 is configured by a liquid crystal display or the like, and displays the enlarged image output from the enlarged image composition unit 35 and the mutant image output from the mutant image recording unit 39.
  • the entire image display device 4 and the enlarged image display device 5 are configured separately, but the present invention is not limited to this configuration, and the picture-in-picture function, the two-screen display function, or the screen switching is not limited to this configuration.
  • the whole image and the enlarged image may be displayed on one display device using a function or the like.
  • the parameter storage unit 23 of each multi-view shooting camera head 2 stores in advance correction parameters determined according to the mounting position. deep.
  • step S1 partial image acquisition step
  • step S2 Image correction step
  • each multi-view imaging camera head 2 outputs whole image data in a state in which linearity distortion and lens-specific distortion are corrected. For this reason, it is not necessary to perform correction on the image processing apparatus 3 side, and the processing load on the image processing apparatus 3 is reduced.
  • step S3 input processing step
  • step S4 resize processing step
  • the frame memory for writing the images from all the camera heads with high resolution becomes unnecessary, so that the image processing apparatus 3 is reduced in size and power consumption. And lower costs. Furthermore, when designing the system, it is not necessary to worry about the number of camera heads 2 for multi-view photography, so the entire multi-view camera system 1 can be easily optimized.
  • the whole image memory 33 synthesizes all the whole image data and outputs them as a whole image to the whole image display device 4 (step S5: whole image output step).
  • step S5 whole image output step.
  • the mutation region detection unit 38 determines whether or not there is a mutation region in the entire image (step S6: mutation region detection step). . If no mutation region is detected as a result of the determination (step S6: NO), the process waits for input of enlargement information from the user (step S7), and unless there is the input (step S7: NO), the process proceeds to step S6. Return.
  • step S6 when the mutated region detection unit 38 detects the mutated region in step S6 (step S6: YES), or when enlargement information is input from the user (step S7: YES), the enlarged information specifying the mutated region or The enlargement information designated by the user is transmitted from the image processing device 3 to each multi-camera camera head 2 (step S8: enlargement information transmission step).
  • step S8 enlargement information transmission step
  • step S9 enlarged information acquisition step
  • step S10 enlarged region determination step
  • step S10 determines whether there is an image area included in the enlarged area [mutated area] (step S10: YES)
  • the enlarged area extracting unit 28 extracts the image area and creates enlarged image data [mutated image].
  • step S11 enlarged image data output step.
  • the capacity of the enlarged image memory 34 is the largest image that can be set as the enlarged area. It is only necessary to have the number of pixels for the region. That is, the capacity required for the enlarged image memory 34 is reduced without reducing the image quality of the enlarged image.
  • step S12 enlarged image data acquisition step
  • these are directly stored in the enlarged image memory. 34 is written.
  • the enlarged image data [mutant image data] has already been subjected to correction processing, as is the case with the entire image data. Therefore, the enlarged image data is simply written to the enlarged image memory 34 and continuously connected without a sense of incongruity.
  • the enlarged image [mutated image] is mapped.
  • the enlarged image composition unit 35 synthesizes the enlarged image data [variant image data] and outputs the enlarged image [variant image] to the enlarged image display device 5 (step 13: enlarged image output step). .
  • the user can easily and quickly display the desired enlarged image on the enlarged image display device 5 while viewing the entire image displayed on the entire image display device 4. For this reason, when performing the monitoring work etc. using the multi-view camera system 1 of this embodiment, there is no blind spot in the monitoring range, and the work burden on the supervisor is reduced.
  • step S14 variant image recording step
  • the multi-camera system 1, the multi-camera camera head 2, the image processing device 3, the multi-camera program 2a, and the multi-camera shooting method according to the present invention as described above the following effects are obtained.
  • the processing load of the image processing apparatus 3 can be reduced, and the size, power saving, and cost can be reduced, and the entire system can be easily optimized.
  • the capacity of the enlarged image memory 34 can be reduced without reducing the image quality of the enlarged image. 3. It is possible to automatically detect a mutated region and automatically record an enlarged image thereof. 4). Since the image processing apparatus 3 can be reduced in size, it can be configured as a single unit including all the multi-lens imaging camera heads 2. 5).
  • the multi-view camera system 1 according to the present invention is not limited to the above-described embodiment, and can be changed as appropriate.
  • a synchronization signal generation circuit that generates a synchronization signal may be provided in the image processing apparatus 3, and all the multi-lens imaging camera heads 2 may be synchronized by the synchronization signal output from the synchronization signal generation circuit.
  • a synchronization signal generation circuit that generates a synchronization signal may be provided in the image processing apparatus 3, and all the multi-lens imaging camera heads 2 may be synchronized by the synchronization signal output from the synchronization signal generation circuit.
  • a time code generation circuit for generating a time code may be provided in the image processing apparatus 3 to supply the time code to each of the entire image memory 33 and the enlarged image composition unit 35. Thereby, time information can be inserted in each of the whole image and the enlarged image. If a GPS receiver is connected to the above-described synchronization signal generation circuit or time code generation circuit, the time code time accuracy can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)

Abstract

【課題】　画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法を提供する。 【解決手段】　多眼撮影に用いられる多眼撮影用カメラヘッド２と、複数の多眼撮影用カメラヘッド２が接続される画像処理装置３とからなる多眼カメラシステム１であって、多眼撮影用カメラヘッド２は、部分画像取得部２４と、パラメータ記憶部２３と、画像補正部２６とを有し、画像処理装置３は、入力処理部３１と、リサイズ処理部３２と、全体画像用メモリ３３とを有する。

Description

多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法
　本発明は、多眼撮影に用いられる多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法に関するものである。
　近年、４Ｋ解像度等を有する高解像度カメラが実用化され、広角で高解像度な画像を必要とする監視カメラや産業用カメラへの応用が期待されている。しかしながら、高額な部品、装置の大型化、処理速度の遅さ等の理由から、広く普及するには至っていない。そこで、従来、単眼のカメラヘッドを複数用いて広範囲な撮影領域を同時に撮影し、画像処理で接合することにより一つの全体画像を生成する多眼カメラシステムが提案されている。
　上記のような多眼カメラシステムとして、例えば、国際公開第２０１４／１９２４８７号には、複数の撮像素子から得られた画像を用いて所望の画像出力を得る多眼撮像システムが開示されている（特許文献１）。
　ただし、上記のような多眼カメラシステムにおいては、複数のカメラヘッドが平面上または円筒曲面上に配列されている場合、通常のレンズを使用する限り、各カメラヘッドで撮影された画像が異なるパースペクティブ（遠近感）を有する。このため、各画像をそのまま接合しても、各画像の両端部における歪みによって接合箇所が連続的にならないという問題がある。
　そこで従来、各カメラヘッドで撮影された各画像を仮想球体に投影し、各画像の中心点を仮想球体の中心に一致させることで、直線性の歪みを補正する処理が行われている。また、当該処理と同時に、各カメラヘッドに設けられたレンズに固有の歪みを補正する処理も行われている。これらの補正処理によって各画像の歪みが補正されるため、接合箇所が連続的となり、違和感のない全体画像が得られるようになっている。
国際公開第２０１４／１９２４８７号
　しかしながら、従来の多眼カメラシステムにおいては、上述した各種の補正処理が、複数のカメラヘッドに接続された画像処理装置側で行われている。このため、使用するカメラヘッドの台数が多くなるほど、画像処理装置にかかる処理負荷が増大し、処理速度が遅延するという問題がある。
　また、従来の画像処理装置においては、全てのカメラヘッドから出力された各画像が一旦、そのままの解像度でフレームメモリに書き込まれるようになっている。このため、使用するカメラヘッドの台数やカメラの解像度が大きくなるほど、フレームメモリに必要とされるメモリ容量が増大するため、画像処理装置が大型化し、消費電力や部品コストの増大を招いてしまうという問題がある。
　さらに、上述したメモリ容量の関係上、多眼カメラシステムの設計に際しては、処理しうる最大のカメラヘッド数を想定しなければならない。このため、従来の多眼カメラシステムでは当該カメラヘッド数に合わせた多眼カメラシステムの最適化が困難であるという問題もある。
　本発明は、このような問題点を解決するためになされたものであって、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法を提供することを目的としている。
　本発明に係る多眼カメラシステムは、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用カメラヘッドと、複数の前記多眼撮影用カメラヘッドが接続される画像処理装置とからなる多眼カメラシステムであって、前記多眼撮影用カメラヘッドは、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、を有しており、前記画像処理装置は、接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、を有する。
　また、本発明に係る多眼カメラシステムの一態様として、拡大画像の画質を低下させることなく、拡大画像用メモリに必要な容量を低減するという課題を解決するために、前記多眼撮影用カメラヘッドは、さらに、前記全体画像中の一部を拡大表示する旨の指令に応じて、前記画像処理装置から前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、を有しており、前記画像処理装置は、さらに、一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、を有していてもよい。
　本発明に係る多眼撮影用カメラヘッドは、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用カメラヘッドであって、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、を有する。
　また、本発明に係る多眼撮影用カメラヘッドの一態様として、拡大画像の画質を低下させることなく、拡大画像用メモリの容量を低減するという課題を解決するために、複数の前記全体画像用データを合成して全体画像を出力する画像処理装置から、前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、を有していてもよい。
　本発明に係る画像処理装置は、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、上記の多眼撮影用カメラヘッドが複数接続される画像処理装置であって、接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、を有する。
　また、本発明に係る画像処理装置の一態様として、拡大画像の画質を低下させることなく、拡大画像用メモリの容量を低減するという課題を解決するために、上記の多眼撮影用カメラヘッドが複数接続される、上記の画像処理装置であって、一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、を有していてもよい。
　さらに、本発明に係る画像処理装置の一態様として、変異領域を自動的に検出し、その拡大画像を自動的に記録するという課題を解決するために、前記全体画像用メモリから取得した前記全体画像のモーションベクトル信号に基づいて、前記全体画像における変異領域を検出し、前記変異領域を拡大した変異画像として出力するための拡大情報を前記拡大領域抽出部へ出力する変異領域検出部と、前記拡大領域抽出部が、前記拡大情報に基づいて、前記全体画像用データのうち前記変異領域に含まれる画像領域を変異画像の一部または全部を構成する変異画像用データとして出力するとともに、前記拡大画像合成部が、前記変異画像用データを合成して前記変異画像として出力したとき、前記変異画像を取得して記録する変異画像記録部と、を有していてもよい。
　本発明に係る多眼撮影用プログラムは、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用プログラムであって、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部として多眼撮影用カメラヘッドを機能させる。
　本発明に係る多眼撮影方法は、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用カメラヘッドを用いた多眼撮影方法であって、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得ステップと、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正ステップと、を有する。
　本発明によれば、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる。
本発明に係る多眼撮影用カメラヘッドおよび画像処理装置を含む多眼カメラシステムの一実施形態を示す全体ブロック図である。 本実施形態における、多眼撮影用カメラヘッドの配列パターンの一例を示す図である。 本実施形態における、（ａ）全体画像、および（ｂ）拡大画像の一例を示す図である。 本実施形態において、（ａ）拡大率が４倍の場合、および（ｂ）拡大率が１６倍の場合の拡大領域を示す図である。 本実施形態において、拡大領域に含まれる画像領域が、（ａ）多眼撮影用カメラヘッド１台分の画像領域内にある場合、（ｂ）隣接する多眼撮影用カメラヘッド２台分の画像領域に渡る場合、（ｃ）互いに隣接する多眼撮影用カメラヘッド４台分の画像領域に渡る場合を示す図である。 本実施形態の多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置および多眼撮影用プログラムによって実行される、多眼撮影方法の主要な処理を示すフローチャートである。
　以下、本発明に係る多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法の一実施形態について図面を用いて説明する。
　本実施形態の多眼カメラシステム１は、図１に示すように、主として、多眼撮影範囲における所定の一部を撮影する複数の多眼撮影用カメラヘッド２と、これら複数の多眼撮影用カメラヘッド２が接続される画像処理装置３と、この画像処理装置３から出力される全体画像および拡大画像をそれぞれ表示する全体画像表示装置４および拡大画像表示装置５とから構成されている。以下、各構成について説明する。
　多眼撮影用カメラヘッド２は、多眼撮影範囲における所定の一部を撮影するものであり、複数台を所定の位置に配列することによって、多眼撮影範囲の全体をカバーするものである。例えば、図２に示すように、多眼撮影用カメラヘッド２が縦方向および横方向のそれぞれに４台分ずつ配列された場合、これら１６台の多眼撮影用カメラヘッド２のそれぞれで撮影された部分画像を合成することにより、図３（ａ）に示すように、多眼撮影範囲の全体をカバーする全体画像が得られる。なお、各部分画像内の番号は、図２に示す配列番号に対応する各多眼撮影用カメラヘッド２によって撮影されたことを示す。
　このように、多眼カメラシステム１においては、多眼撮影範囲が複数の多眼撮影用カメラヘッド２によって分担して撮影される。このため、図３（ｂ）に示すように、全体画像の一部を拡大した拡大画像を表示する際、その最大解像度は、各多眼撮影用カメラヘッド２によって撮影される部分画像の最大ピクセル数まで上げることができる。なお、多眼撮影用カメラヘッド２の配列パターンは、上記構成に限定されるものではなく、適宜変更されうる。また、本発明において、画像とは、静止画像および動画像の双方を含む概念である。
　本実施形態において、各多眼撮影用カメラヘッド２は、小型のデジタルカメラ等によって構成されており、図１に示すように、多眼撮影用プログラム２ａを記憶するプログラム記憶部２１と、画像処理に用いられる画像メモリ２２と、各種パラメータを記憶するパラメータ記憶部２３と、部分画像を取得する部分画像取得部２４と、部分画像を画質処理する画質処理部２５と、部分画像の歪みを補正する画像補正部２６と、多眼撮影用カメラヘッド２を制御するカメラ制御部２７と、拡大領域を抽出する拡大領域抽出部２８とを有している。
　なお、各多眼撮影用カメラヘッド２は、図示しないレンズや撮像素子の他、ＣＰＵ（Central Processing Unit）等の演算処理手段や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶手段を有している。そして、演算処理手段によって実行された多眼撮影用プログラム２ａが、記憶手段をプログラム記憶部２１、画像メモリ２２およびパラメータ記憶部２３として機能させるとともに、演算処理手段を上述した部分画像取得部２４、画質処理部２５、画像補正部２６、カメラ制御部２７および拡大領域抽出部２８として機能させるようになっている。以下、各構成部について説明する。
　プログラム記憶部２１には、本実施形態の多眼撮影用プログラム２ａがインストールされている。画像メモリ２２は、画像処理を行うために画像を記憶するメモリである。本実施形態において、画像メモリ２２は、画質処理部２５による画質処理の実行時、および画像補正部２６による補正処理の実行時のワーキングエリアとして使用される。このように、画質処理および補正処理の双方において共用することにより、メモリが有効活用されるようになっている。
　パラメータ記憶部２３は、各多眼撮影用カメラヘッド２によって撮影された部分画像の歪みを補正するための補正パラメータを記憶するものである。本実施形態において、補正パラメータとしては、多眼撮影用カメラヘッド２の取付位置に応じて定められるものであり、上述した直線性の歪みを補正するためのパラメータや、上述したレンズに固有の歪みを補正するためのパラメータが予め記憶されている。
　部分画像取得部２４は、撮像素子から多眼撮影範囲における所定の一部を撮影した部分画像を取得するものである。本実施形態において、部分画像取得部２４は、撮像素子から出力される映像信号（生データ）を所望の画像フォーマットに変換し、部分画像として出力するようになっている。また、画質処理部２５は、部分画像取得部２４によって取得された部分画像を画像メモリ２２に記憶させ、画質を最適化する画質処理を行うものである。
　画像補正部２６は、画質処理部２５によって画質処理された部分画像の歪みを補正するものである。本実施形態において、画像補正部２６は、パラメータ記憶部２３から補正パラメータを読み出し、画像メモリ２２において部分画像における直線性歪みや、レンズ固有の歪みを補正する。そして、画像補正部２６は、補正後の部分画像を全体画像の一部を構成する全体画像用データとして画像処理装置３の入力処理部３１へ出力するようになっている。
　カメラ制御部２７は、多眼撮影用カメラヘッド２の動作制御を行うものである。本実施形態において、カメラ制御部２７は、図１に示すように、画像処理装置３の入力処理部３１から制御信号を取得すると、当該制御信号に基づいて多眼撮影用カメラヘッド２の動作を制御する。また、カメラ制御部２７は、全体画像中の一部を拡大表示する旨の指令に応じて、画像処理装置３の入力処理部３１から拡大情報を取得すると、当該拡大情報に基づいて拡大領域を特定し、当該拡大領域に含まれる画像領域が全体画像用データにあるか否かを判定する。そして、当該判定の結果、上記画像領域がある場合、カメラ制御部２７は、拡大領域抽出部２８を制御し、当該画像領域を拡大領域として抽出させるようになっている。
　なお、本実施形態において、拡大情報は、全体画像における拡大領域を特定するための情報であり、拡大する位置を指定する拡大位置と、どの程度拡大するかを指定する拡大率とから構成されている。しかしながら、拡大情報は、これらに限定されるものではなく、拡大領域を特定しうる情報であればよい。
　拡大領域抽出部２８は、全体画像用データから拡大領域を抽出するものである。本実施形態において、拡大領域抽出部２８は、カメラ制御部２７による制御のもと、拡大情報に基づいて、画像メモリ２２内の全体画像用データ（補正後の部分画像）のうち拡大領域に含まれる画像領域があるか否かを判定する。そして、当該画像領域がある場合、拡大領域抽出部２８は、当該画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして、画像処理装置３の拡大画像用メモリへ出力するようになっている。
　なお、本実施形態において、各多眼撮影用カメラヘッド２側の画像補正部２６およびカメラ制御部２７と、画像処理装置３側の入力処理部３１とは、画像信号および制御信号を伝送可能な広帯域伝送路を介して接続されている。また、各多眼撮影用カメラヘッド２側の拡大領域抽出部２８と、画像処理装置３側の拡大画像用メモリ３４とは、データバスを介して接続されている。しかしながら、この構成に限定されるものではなく、各信号を伝送しうるものであればよい。
　ここで、拡大率によって特定される拡大領域の具体例について説明する。本実施形態では、図２に示したとおり、４×４台の多眼撮影用カメラヘッド２を配列している。このため、拡大率が４倍に設定された場合、図４（ａ）に示すように、一台分の多眼撮影用カメラヘッド２の画像領域と同じサイズの拡大領域が特定される。また、拡大率が１６倍に設定された場合、図４（ｂ）に示すように、一台分の多眼撮影用カメラヘッド２の画像領域を縦横それぞれ４分の１にしたサイズの拡大領域が特定される。このように、拡大領域のサイズは、多眼撮影用カメラヘッド２の配列パターンと設定された拡大率とによって特定される。
　なお、拡大率の最小値は、特定される拡大領域と一台分の多眼撮影用カメラヘッド２の画像領域とが一致するように設定することが好ましい。これにより、データバスの伝送量が、最大でも一台分の多眼撮影用カメラヘッド２のピクセル数となるため、全体画像用データを伝送する広帯域伝送路と同じ周波数帯域のデータバスで接続することが可能となる。
　つぎに、拡大位置によって指定される拡大領域の具体例について説明する。まず、図５（ａ）に示すように、拡大領域に含まれる画像領域が１台の多眼撮影用カメラヘッド２の画像領域内にある場合、当該１台の多眼撮影用カメラヘッド２が、拡大領域に含まれる画像領域を出力する。また、図５（ｂ）に示すように、拡大領域に含まれる画像領域が、上下又は左右に隣接する２台の多眼撮影用カメラヘッド２の画像領域にまたがる場合、当該２台の多眼撮影用カメラヘッド２のそれぞれが、拡大領域に含まれる画像領域を出力する。さらに、図５（ｃ）に示すように、拡大領域に含まれる画像領域が、上下左右に隣接する４台の多眼撮影用カメラヘッド２の画像領域にまたがる場合、当該４台の多眼撮影用カメラヘッド２のそれぞれが、拡大領域に含まれる画像領域を出力する。以上のように、拡大率が同じ場合であっても、拡大位置に応じて、拡大画像用データを出力する多眼撮影用カメラヘッド２の台数が変化する。
　画像処理装置３は、多眼撮影用カメラヘッド２から取得した全体画像用データや拡大画像用データを処理するものである。本実施形態において、画像処理装置３は、図１に示すように、主として、各多眼撮影用カメラヘッド２から全体画像用データを取得する入力処理部３１と、各全体画像用データをリサイズするリサイズ処理部３２と、全体画像を出力する全体画像用メモリ３３と、各多眼撮影用カメラヘッド２から拡大画像用データを取得する拡大画像用メモリ３４と、拡大画像を出力する拡大画像合成部３５と、全体画像および拡大画像の出力を制御する画像制御部３６と、多眼撮影用カメラヘッド２を制御するコントロール部３７と、変異領域を検出する変異領域検出部３８と、変異画像を記録する変異画像記録部３９とを有している。
　なお、画像処理装置３は、ＣＰＵ（Central Processing Unit）等の演算処理手段や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶手段を備えたマイクロコンピュータによって構成されている。そして、演算処理手段によって実行された画像処理装置３用プログラムが、記憶手段を全体画像用メモリ３３および拡大画像用メモリ３４として機能させるとともに、演算処理手段を上述した入力処理部３１、リサイズ処理部３２、拡大画像合成部３５、画像制御部３６、コントロール部３７、変異領域検出部３８および変異画像記録部３９として機能させるようになっている。以下、各構成部について説明する。
　入力処理部３１は、多眼撮影用カメラヘッド２から全体画像用データを取得するものである。本実施形態において、入力処理部３１は、図１に示すように、画像処理装置３に接続されている全ての多眼撮影用カメラヘッド２から、画像補正部２６によって補正された後の全体画像用データを取得する。すなわち、全体画像用データは、全体画像として繋ぎ合わせる際に問題となる、直線性歪みやレンズ固有の歪みが既に補正された状態のデータである。
　このため、入力処理部３１は、各全体画像用データを全体画像用メモリ３３へ書き込むためのアドレス設定等のように、単純な処理を実行するだけでよく、画像処理装置３側で補正処理を行う従来の装置と比較して、回路が大幅に簡略化される。また、本実施形態において、入力処理部３１は、図１に示すように、拡大画像合成部３５を介して取得した拡大情報や制御信号を各多眼撮影用カメラヘッド２のカメラ制御部２７へ送信するようになっている。
　リサイズ処理部３２は、全体画像用データをリサイズするものである。本実施形態において、リサイズ処理部３２は、入力処理部３１によって取得された全ての全体画像用データを全体画像表示装置４の解像度に合わせてリサイズする。そして、最適な解像度にピクセル調整された全体画像用データのそれぞれは、入力処理部３１によって指定されたアドレスに従って全体画像用メモリ３３に書き込まれ、全体画像としてマッピングされるようになっている。
　全体画像用メモリ３３は、全体画像用データを合成し全体画像を出力するものである。本実施形態において、全体画像用メモリ３３は、画像制御部３６による制御のもと、リサイズ処理部３２によってリサイズされた全ての全体画像用データを合成して全体画像として全体画像表示装置４に出力する。また、本実施形態において、全体画像用メモリ３３は、全体画像表示装置４に合致する画像フォーマットが画像制御部３６から指定され、当該画像フォーマットで全体画像を出力するようになっている。
　さらに、本実施形態において、全体画像用メモリ３３は、複数枚のフレームメモリによって構成されており、各フレームメモリに合成後の全体画像が時系列に沿って順次格納されるようになっている。そして、全体画像用メモリ３３は、図１に示すように、時間的に前後する全体画像の差分に基づいて、モーションベクトル信号を変異領域検出部３８へ出力する。
　拡大画像用メモリ３４は、各多眼撮影用カメラヘッド２から拡大画像用データを取得するものである。本実施形態において、拡大画像用メモリ３４は、全ての多眼撮影用カメラヘッド２のうち、拡大領域に含まれる画像領域を有する、一または複数の多眼撮影用カメラヘッド２の拡大領域抽出部２８から拡大画像用データを取得し、所定のメモリ領域に書き込むようになっている。
　また、本実施形態において、拡大画像用データは、全体画像用データの一部が抽出されたものであるため、全体画像用データと同様、直線性歪みやレンズ固有の歪みが補正された後の状態である。このため、拡大画像用メモリ３４に複数の拡大画像用データが書き込まれた場合でも、接合箇所が連続的に繋ぎ合わされた１枚の拡大画像としてマッピングされる。
　なお、上述したとおり、従来の画像処理装置においては、使用するカメラヘッドの台数やカメラの解像度に応じて、大容量のフレームメモリが必要とされる。しかしながら、本実施形態では、拡大領域に含まれる画像領域のみが拡大画像用データとして出力されるため、拡大画像用メモリ３４の容量は、拡大領域として設定しうる最大の画像領域分のピクセル数を有していれば足りる。よって、従来のメモリ容量に比べて大幅に小さくできる。
　拡大画像合成部３５は、拡大画像用データを合成して拡大画像を出力するものである。本実施形態において、拡大画像合成部３５は、画像制御部３６を介して指定された拡大率に基づいて、拡大画像用メモリ３４に書き込まれた画像領域のみを読み出して合成し、拡大画像として拡大画像表示装置５へ出力する。また、本実施形態において、拡大画像用メモリ３４は、拡大画像表示装置５に合致する画像フォーマットが画像制御部３６から指定され、当該画像フォーマットで拡大画像を出力するようになっている。
　画像制御部３６は、全体画像および拡大画像の出力を制御するものである。本実施形態において、画像制御部３６は、全体画像用メモリ３３が全体画像を出力する際、全体画像表示装置４に合致する画像フォーマットを指定するとともに、拡大画像合成部３５が拡大画像を出力する際、拡大画像表示装置５に合致する画像フォーマットを指定する。
　また、本実施形態において、画像制御部３６は、図１に示すように、コントロール部３７から拡大情報や制御信号を取得すると、拡大画像合成部３５および入力処理部３１を介して、各多眼撮影用カメラヘッド２のカメラ制御部２７へ送信する役割を果たすようになっている。
　コントロール部３７は、画像処理装置３に接続されている全ての多眼撮影用カメラヘッド２を制御するものである。本実施形態において、コントロール部３７は、各多眼撮影用カメラヘッド２の動作状態を常時監視し、図１に示すように、各多眼撮影用カメラヘッド２の動作設定を行うための制御信号や、全体画像表示装置４から取得した拡大情報を画像制御部３６へ出力するようになっている。
　変異領域検出部３８は、全体画像における部分的な変異領域を検出するものである。本実施形態において、変異領域検出部３８は、全体画像用メモリ３３から取得した全体画像のモーションベクトル信号に基づいて、全体画像における変異領域を検出し、当該変異領域を特定する拡大情報を出力するようになっている。具体的には、変異領域検出部３８には、変異状態であることを示す閾値が予め設定されており、当該閾値を超えるモーションベクトル信号が検出されたとき、変異領域が発生したことを自動的に検出する。
　また、本実施形態において、モーションベクトル信号には、全体画像用メモリ３３における書込アドレス位置が含まれている。このため、変異領域検出部３８は、モーションベクトル信号に含まれる書込アドレス位置から、変異領域の拡大位置を特定するとともに、当該変異領域の大きさから拡大率を演算し、拡大位置および拡大率からなる拡大情報を自動的に生成してコントロール部３７へ送信するようになっている。
　さらに、本実施形態において、変異領域検出部３８は、図１に示すように、変異領域を検出したとき、全体画像表示装置４および変異画像記録部３９のそれぞれに警告信号を送信する。これにより、全体画像表示装置４では、変異領域が発生した旨が表示されるとともに、変異画像記録部３９では、変異領域を拡大した変異画像の記録が開始されるようになっている。
　変異画像記録部３９は、変異画像を自動的に記録するものである。本実施形態において、変異画像記録部３９は、変異領域検出部３８から警告信号を受信すると起動し、拡大画像合成部３５から出力された変異画像を所定時間分記録する。このとき、各多眼撮影用カメラヘッド２では、図１に示すように、拡大領域抽出部２８が、変異領域検出部３８から送信された拡大情報に基づいて、全体画像用データのうち変異領域に含まれる画像領域を変異画像の一部または全部を構成する変異画像用データとして出力する。そして、拡大画像合成部３５が、拡大領域抽出部２８から出力された変異画像用データを合成し、変異画像として変異画像記録部３９へ出力するようになっている。
　全体画像表示装置４は、多眼撮影範囲の全体を撮影した全体画像を表示するものである。本実施形態において、全体画像表示装置４は、入力機能と表示機能とを兼ね備えたタッチパネル等によって構成されており、全体画像用メモリ３３から出力された全体画像や変異領域検出部３８から出力された警告信号を表示する。また、全体画像表示装置４は、ユーザによって入力された拡大位置および拡大率からなる拡大情報をコントロール部３７へ入力するようになっている。
　拡大画像表示装置５は、全体画像の一部を拡大した拡大画像を表示するものである。本実施形態において、拡大画像表示装置５は、液晶ディスプレイ等によって構成されており、拡大画像合成部３５から出力された拡大画像や、変異画像記録部３９から出力された変異画像を表示する。なお、本実施形態では、全体画像表示装置４と拡大画像表示装置５とを別々に構成しているが、この構成に限定されるものではなく、ピクチャーインピクチャー機能、二画面表示機能または画面切り替え機能等を用いて、全体画像および拡大画像を一つの表示装置に表示してもよい。
　つぎに、本実施形態の多眼カメラシステム１、多眼撮影用カメラヘッド２、画像処理装置３、多眼撮影用プログラム２ａおよび多眼撮影方法による作用について、図６を参照しつつ説明する。
　まず、本実施形態の多眼カメラシステム１を用いて多眼撮影を行う場合、各多眼撮影用カメラヘッド２のパラメータ記憶部２３に、取付位置に応じて定められる補正パラメータを予め記憶させておく。
　つぎに、部分画像取得部２４が、撮像素子から多眼撮影範囲における所定の一部を撮影した部分画像を取得すると（ステップＳ１：部分画像取得ステップ）、画像補正部２６が部分画像の歪みを補正し、全体画像用データとして画像処理装置３へ出力する（ステップＳ２：画像補正ステップ）。このとき、各多眼撮影用カメラヘッド２からは、直線性歪みやレンズ固有の歪みが補正された状態の全体画像用データが出力される。このため、画像処理装置３側で補正する必要がなく、画像処理装置３の処理負荷が軽減される。
　一方、画像処理装置３では、入力処理部３１が、各多眼撮影用カメラヘッド２から全体画像用データを取得すると（ステップＳ３：入力処理ステップ）、リサイズ処理部３２が、各全体画像用データを全体画像表示装置４の解像度に合わせてリサイズし（ステップＳ４：リサイズ処理ステップ）、全体画像用メモリ３３に書き込む。このとき、各全体画像用データは、既に補正処理が施されているため、指定アドレスに従って全体画像用メモリ３３に書き込むだけで、違和感なく連続的に接合された全体画像がマッピングされる。
　また、本実施形態では、従来の画像処理装置のように、全てのカメラヘッドからの画像を高解像度のまま書き込むためのフレームメモリが不要となるため、画像処理装置３が小型化、省電力化および低コスト化される。さらに、システム設計に際しても、多眼撮影用カメラヘッド２の台数を気にする必要がないため、多眼カメラシステム１全体が容易に最適化される。
　つぎに、全体画像用メモリ３３が、全ての全体画像用データを合成して全体画像として全体画像表示装置４に出力する（ステップＳ５：全体画像出力ステップ）。これにより、全体画像表示装置４に全体画像が表示されるため、当該全体画像を見ながら拡大を希望する部分の拡大位置や拡大率を容易に指定することが可能となる。
　つづいて、本実施形態では、変異状態の自動検出機能を有しているため、変異領域検出部３８が、全体画像に変異領域があるか否かを判定する（ステップＳ６：変異領域検出ステップ）。当該判定の結果、変異領域が検出されなければ（ステップＳ６：ＮＯ）、ユーザからの拡大情報の入力を待機し（ステップＳ７）、当該入力がない限り（ステップＳ７：ＮＯ）、ステップＳ６へと戻る。
　一方、ステップＳ６において、変異領域検出部３８が変異領域を検出した場合（ステップＳ６：ＹＥＳ）、またはユーザから拡大情報が入力された場合（ステップＳ７：ＹＥＳ）、変異領域を特定する拡大情報またはユーザが指定した拡大情報が、画像処理装置３から各多眼撮影用カメラヘッド２へ送信される（ステップＳ８：拡大情報送信ステップ）。以下、ユーザが指定した拡大情報が送信された場合の処理と、変異領域に係る拡大情報が送信された場合の処理は、実質的に同じ処理であるため、後者については角括弧書きにて説明を省略する。
　各多眼撮影用カメラヘッド２では、カメラ制御部２７が拡大情報を取得すると（ステップＳ９：拡大情報取得ステップ）、当該拡大情報に基づいて、拡大領域抽出部２８が全体画像用データのうち拡大領域［変異領域］に含まれる画像領域があるか否かを判定する（ステップＳ１０：拡大領域判定ステップ）。当該判定の結果、拡大領域［変異領域］に含まれる画像領域がなければ（ステップＳ１０：ＮＯ）、拡大領域抽出部２８は拡大画像用データ［変異画像用データ］を出力することなく本処理を終了する。
　一方、ステップＳ１０における判定の結果、拡大領域［変異領域］に含まれる画像領域がある場合（ステップＳ１０：ＹＥＳ）、拡大領域抽出部２８が、当該画像領域を抽出し拡大画像用データ［変異画像用データ］として画像処理装置３へ出力する（ステップＳ１１：拡大画像用データ出力ステップ）。これにより、拡大領域［変異領域］に含まれる画像領域のみが拡大画像用データ［変異画像用データ］として出力されるため、拡大画像用メモリ３４の容量は、拡大領域として設定しうる最大の画像領域分のピクセル数を有していればよい。すなわち、拡大画像の画質を低下させることなく、拡大画像用メモリ３４に必要な容量が低減される。
　画像処理装置３では、一または複数の多眼撮影用カメラヘッド２から拡大画像用データ［変異画像用データ］を取得すると（ステップＳ１２：拡大画像用データ取得ステップ）、これらが直接拡大画像用メモリ３４に書き込まれる。このとき、拡大画像用データ［変異画像用データ］は、全体画像用データと同様、既に補正処理が施されているため、拡大画像用メモリ３４に書き込まれるだけで、違和感なく連続的に繋ぎ合わされた拡大画像［変異画像］がマッピングされる。
　つづいて、拡大画像合成部３５が、各拡大画像用データ［各変異画像用データ］を合成して拡大画像［変異画像］を拡大画像表示装置５に出力する（ステップ１３：拡大画像出力ステップ）。これにより、ユーザは、全体画像表示装置４に表示された全体画像を見ながら、所望の拡大画像を簡単かつ迅速に拡大画像表示装置５に表示させることが可能となる。このため、本実施形態の多眼カメラシステム１を用いて監視作業等を行う場合、監視範囲における死角がなく、監視者の作業負担が軽減する。
　また、本実施形態では、変異状態の自動検出機能を有しているため、変異状態が発生すると、自動的に検出されて変異画像が拡大画像表示装置５に表示されるとともに、当該変異画像が自動的に変異画像記録部３９に記録される（ステップＳ１４：変異画像記録ステップ）。このため、監視作業にかかる負担が一層低減し、変異画像が確実に記録される。
　以上のような本発明に係る多眼カメラシステム１、多眼撮影用カメラヘッド２、画像処理装置３、多眼撮影用プログラム２ａおよび多眼撮影方法によれば、以下のような効果を奏する。
１．画像処理装置３の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる。
２．拡大画像の画質を低下させることなく、拡大画像用メモリ３４の容量を低減することができる。
３．変異領域を自動的に検出し、その拡大画像を自動的に記録することができる。
４．画像処理装置３を小型化できるため、全ての多眼撮影用カメラヘッド２を含めた一つのユニットとして構成することができる。
５．一ユニット化することにより、全ての組立作業や電気的調整を工場で完結でき、現場における、多眼撮影用カメラヘッド２の設置作業や調整作業を簡略化することができる。
６．監視作業に適用した場合、監視作業に係る負担を軽減し、監視精度を向上することができる。
　なお、本発明に係る多眼カメラシステム１は、前述した実施形態に限定されるものではなく、適宜変更することができる。
　例えば、同期信号を発生させる同期信号発生回路を画像処理装置３に設け、当該同期信号発生回路から出力された同期信号によって全ての多眼撮影用カメラヘッド２を同期させてもよい。これにより、全ての多眼撮影用カメラヘッド２が同期された状態で動作するため、全体画像用メモリ３３に書き込まれる各全体画像用データや、拡大画像用メモリ３４に書き込まれる各拡大画像用データに時間的なズレが発生しない。
　また、タイムコードを発生させるタイムコード発生回路を画像処理装置３に設け、全体画像用メモリ３３および拡大画像合成部３５のそれぞれにタイムコードを供給してもよい。これにより、全体画像および拡大画像のそれぞれに時間情報を挿入することができる。なお、上述した同期信号発生回路やタイムコード発生回路にＧＰＳ受信機を接続すれば、タイムコードの時間精度を向上することができる。
　１　多眼カメラシステム
　２　多眼撮影用カメラヘッド
　２ａ　多眼撮影用プログラム
　３　画像処理装置
　４　全体画像表示装置
　５　拡大画像表示装置
　２１　プログラム記憶部
　２２　画像メモリ
　２３　パラメータ記憶部
　２４　部分画像取得部
　２５　画質処理部
　２６　画像補正部
　２７　カメラ制御部
　２８　拡大領域抽出部
　３１　入力処理部
　３２　リサイズ処理部
　３３　全体画像用メモリ
　３４　拡大画像用メモリ
　３５　拡大画像合成部
　３６　画像制御部
　３７　コントロール部
　３８　変異領域検出部
　３９　変異画像記録部

Claims (9)

  1. 　多眼撮影に用いられる多眼撮影用カメラヘッドと、複数の前記多眼撮影用カメラヘッドが接続される画像処理装置とからなる多眼カメラシステムであって、
    　前記多眼撮影用カメラヘッドは、
    　多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、
    　前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、
    　前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、を有しており、
    　前記画像処理装置は、
    　接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、
    　前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、
    　前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、
    　を有する、多眼カメラシステム。
  2. 　前記多眼撮影用カメラヘッドは、さらに、
    　前記全体画像中の一部を拡大表示する旨の指令に応じて、前記画像処理装置から前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、
    　前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、を有しており、
    　前記画像処理装置は、さらに、
    　一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、
    　前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、
    　を有する、請求項１に記載の多眼カメラシステム。
  3. 　多眼撮影に用いられる多眼撮影用カメラヘッドであって、
    　多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、
    　前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、
    　前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、
    　を有する、多眼撮影用カメラヘッド。
  4. 　複数の前記全体画像用データを合成して全体画像を出力する画像処理装置から、前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、
    　前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、
    　を有する、請求項３に記載の多眼撮影用カメラヘッド。
  5. 　請求項３または請求項４に記載の多眼撮影用カメラヘッドが複数接続される画像処理装置であって、
    　接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、
    　前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、
    　前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、
    　を有する、画像処理装置。
  6. 　請求項４に記載の多眼撮影用カメラヘッドが複数接続される、請求項５に記載の画像処理装置であって、
    　一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、
    　前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、
    　を有する、画像処理装置。
  7. 　前記全体画像用メモリから取得した前記全体画像のモーションベクトル信号に基づいて、前記全体画像における変異領域を検出し、前記変異領域を拡大した変異画像として出力するための拡大情報を前記拡大領域抽出部へ出力する変異領域検出部と、
    　前記拡大領域抽出部が、前記拡大情報に基づいて、前記全体画像用データのうち前記変異領域に含まれる画像領域を変異画像の一部または全部を構成する変異画像用データとして出力するとともに、前記拡大画像合成部が、前記変異画像用データを合成して前記変異画像として出力したとき、前記変異画像を取得して記録する変異画像記録部と、
    　を有する、請求項６に記載の画像処理装置。
  8. 　多眼撮影に用いられる多眼撮影用プログラムであって、
    　多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、
    　前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、
    　前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部
    　として多眼撮影用カメラヘッドを機能させる、多眼撮影用プログラム。
  9. 　多眼撮影に用いられる多眼撮影用カメラヘッドを用いた多眼撮影方法であって、
    　多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得ステップと、
    　前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正ステップと、
    　を有する、多眼撮影方法。
PCT/JP2019/012030 2018-03-23 2019-03-22 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 WO2019182101A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020207027485A KR102655093B1 (ko) 2018-03-23 2019-03-22 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법
US16/982,133 US11922610B2 (en) 2018-03-23 2019-03-22 Multi-eye camera system, multi-eye photographing camera head, image processing device, multi-eye photographing program and multi-eye photographing method
CN201980021524.XA CN111971948B (zh) 2018-03-23 2019-03-22 多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018055674A JP7076131B2 (ja) 2018-03-23 2018-03-23 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法
JP2018-055674 2018-03-23

Publications (1)

Publication Number Publication Date
WO2019182101A1 true WO2019182101A1 (ja) 2019-09-26

Family

ID=67986527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012030 WO2019182101A1 (ja) 2018-03-23 2019-03-22 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法

Country Status (5)

Country Link
US (1) US11922610B2 (ja)
JP (1) JP7076131B2 (ja)
KR (1) KR102655093B1 (ja)
CN (1) CN111971948B (ja)
WO (1) WO2019182101A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3829165A1 (en) * 2019-11-29 2021-06-02 Canon Kabushiki Kaisha Imaging apparatus, information processing apparatus, operation method, information processing method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190253618A1 (en) * 2015-12-28 2019-08-15 Nec Corporation Information processing apparatus, control method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130628A (ja) * 2008-12-01 2010-06-10 Sharp Corp 撮像装置、映像合成装置および映像合成方法
JP2015194587A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法
US9286680B1 (en) * 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
WO2016191708A1 (en) * 2015-05-27 2016-12-01 Google Inc. Camera rig and stereoscopic image capture

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
JP2011176716A (ja) * 2010-02-25 2011-09-08 Nikon Corp 電子機器、カメラ、および画像処理プログラム
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
CN102063258B (zh) * 2010-12-31 2012-07-04 山东大学 一种针对不同尺寸显示终端的图像自适应显示方法
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
WO2014192487A1 (ja) 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
CN107734244B (zh) * 2016-08-10 2019-07-05 深圳看到科技有限公司 全景影片播放方法及播放装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130628A (ja) * 2008-12-01 2010-06-10 Sharp Corp 撮像装置、映像合成装置および映像合成方法
JP2015194587A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法
US9286680B1 (en) * 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
WO2016191708A1 (en) * 2015-05-27 2016-12-01 Google Inc. Camera rig and stereoscopic image capture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3829165A1 (en) * 2019-11-29 2021-06-02 Canon Kabushiki Kaisha Imaging apparatus, information processing apparatus, operation method, information processing method, and program
US11375126B2 (en) 2019-11-29 2022-06-28 Canon Kabushiki Kaisha Imaging apparatus, information processing apparatus, operation method, information processing method, and storage medium

Also Published As

Publication number Publication date
US11922610B2 (en) 2024-03-05
KR102655093B1 (ko) 2024-04-04
CN111971948A (zh) 2020-11-20
KR20200128541A (ko) 2020-11-13
US20210097660A1 (en) 2021-04-01
JP2019169830A (ja) 2019-10-03
JP7076131B2 (ja) 2022-05-27
CN111971948B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
US8427538B2 (en) Multiple view and multiple object processing in wide-angle video camera
US20130235149A1 (en) Image capturing apparatus
JP6361931B2 (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
WO2019182101A1 (ja) 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法
JP6948810B2 (ja) 画像処理システム
JP2018186514A (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP4853434B2 (ja) 画像処理装置
US20130343635A1 (en) Image processing apparatus, image processing method, and program
US11032463B2 (en) Image capture apparatus and control method thereof
JP5446955B2 (ja) 撮像装置
JP7118659B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR101528556B1 (ko) Cctv용 파노라마 카메라 장치
KR101825343B1 (ko) 차량의 후방 뷰 영상 처리 장치 및 시스템
JP2013084124A (ja) 撮像システム、撮像装置および画像処理方法
JP2011259107A (ja) 投影装置及びその制御方法
KR100624726B1 (ko) 세로형 카메라 모듈이 장착된 이동통신 단말기 및 그 동작방법
JPH0636020A (ja) 撮像監視装置
JP6917800B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP3221004B2 (ja) ビデオカメラ
JP6889622B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP5110713B2 (ja) 多眼撮影装置、スルー画像表示方法およびプログラム
EP0989746B1 (en) Imaging apparatus having a high-speed imaging function with electronic zoom circuit
JP4687748B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP4694716B2 (ja) 携帯用電子機器における対象画像のオン・スクリーン装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19771470

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207027485

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19771470

Country of ref document: EP

Kind code of ref document: A1