WO2007108081A1 - 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 - Google Patents

撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 Download PDF

Info

Publication number
WO2007108081A1
WO2007108081A1 PCT/JP2006/305489 JP2006305489W WO2007108081A1 WO 2007108081 A1 WO2007108081 A1 WO 2007108081A1 JP 2006305489 W JP2006305489 W JP 2006305489W WO 2007108081 A1 WO2007108081 A1 WO 2007108081A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
pixel
unit
image
distortion
Prior art date
Application number
PCT/JP2006/305489
Other languages
English (en)
French (fr)
Inventor
Osafumi Nakayama
Morito Shiohara
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to JP2008506097A priority Critical patent/JPWO2007108081A1/ja
Priority to PCT/JP2006/305489 priority patent/WO2007108081A1/ja
Publication of WO2007108081A1 publication Critical patent/WO2007108081A1/ja

Links

Classifications

    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • Imaging apparatus imaging method and program, imaging apparatus table creation apparatus and method, video processing apparatus and method
  • the present invention relates to an imaging apparatus that performs imaging using a lens and a pixel array, and in particular, for example, a high-resolution solid-state imaging device (CCD or CMOS) equipped with a wide-angle lens typified by a fisheye lens.
  • the present invention relates to a photographing apparatus using a photographing element, a photographing method and a program, a table creation apparatus and method for the photographing apparatus, and a video processing apparatus and method.
  • Patent Document 1 an entire image distorted by a fish-eye lens is taken out from a photographing device (camera device) to the outside, and this is corrected back to an image without distortion by calculating back from a geometric relational expression representing lens distortion. I have to.
  • Patent Document 2 a conversion formula for performing distortion correction with improved calculation efficiency and memory efficiency for the purpose of realizing a photographing device (camera device) that corrects a distorted image with a wide-angle lens and improves visibility.
  • a photographing device camera device
  • ⁇ barrel type '' the characteristic that the entire image is captured, and the distortion of the image due to the lens increases as it goes to the peripheral part. It is approximated by an analytical expression consisting of In this case, coordinate conversion is performed using a predetermined analytical formula rather than having a conversion table corresponding to each pixel.
  • Patent Document 3 when correcting the distortion of the image by the lens, the coordinates of each pixel in the distorted image and the coordinates of each pixel in the corrected image after correcting the distortion of the image.
  • the left or upward direction is set to a positive direction with respect to the origin.
  • horizontal axis Provide a vertical axis. Then, for example, the coordinate conversion table of only the positive part of the horizontal axis and the vertical axis is held, and the coordinates of the entire image are applied to the remaining part by applying the coordinates obtained by inverting the held coordinate conversion table in line symmetry. A conversion table is unnecessary.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-261868
  • Patent Document 2 JP-A-8-96118
  • Patent Document 3 JP-A-5-176216
  • the wide-angle camera image distortion correction methods proposed in Patent Document 1 and Patent Document 2 are temporarily taken out of the entire image taken by the wide-angle camera from the camera (imaging) device. It is a method that corrects distortion of captured images by applying coordinate transformation to the object.
  • the entire image distorted without being read out is read out, and a part of the image including the distortion is cut out, and the partial image is corrected.
  • a method of correcting distortion can be considered.
  • an ultra-wide-angle lens including a fish-eye lens as shown in Fig. 15, even if the image portion RR is the same object, the magnitude of distortion is different between the central portion and the peripheral portion of the image. Since the size to be cut out varies greatly depending on the location, if it is cut out as a fixed size video (for example, FR), the cut out video will be over and under and the desired video will not be obtained .
  • an object of the present invention is to obtain an imaging device or the like that can improve the frame rate and can cope with the change of the lens attached to the camera.
  • an imaging device includes a pixel array having a plurality of pixels that convert input light into an electrical signal, and a part of the entire image captured by the entire pixel array.
  • a pixel that reads a pixel value from the pixel by generating a pixel address of a pixel corresponding to the image acquisition region of the pixel array with reference to a table corresponding to the image acquisition region from which the image is to be acquired.
  • the pixel array and the pixel address generation unit constitute an imaging unit
  • the correction unit, the readout pixel table storage unit, and the table rewriting unit include an image generation unit.
  • the imaging unit and the video generation unit are provided separately.
  • the distortion of the image corrected by the correction unit is distortion of the image caused by the imaging lens
  • the pixel address of the table corresponds to the image acquisition area. It is set based on the distortion of the image.
  • the pixel address is set based on a distortion of a video corresponding to the video acquisition area, and correction information related to correction by the correction unit is set. It is characterized by being.
  • a pixel address generation unit that generates a pixel address corresponding to the partial region based on the distortion amount and sets the pixel address to be recorded in the table.
  • the imaging apparatus of the present invention includes a video input unit that inputs a video from the correction unit, and a region setting unit that sets a partial region of the video obtained by the video input unit,
  • the pixel address generator selects a table for generating the pixel address corresponding to the partial area set by the area setting unit.
  • a rewrite information generation unit is provided.
  • a pixel value of a pixel corresponding to an image region to be acquired is read from a pixel array that converts input light into an electrical signal with reference to a table in which pixel addresses are recorded.
  • a table creation device for an imaging device which can be applied to an imaging device that acquires an image of the image area, an entire image input unit that captures an entire image from the pixel array, and the entire image input unit
  • a distortion amount calculation unit for calculating the distortion amount of the image for each partial area based on the whole image obtained by the above-described method, and a partial region correspondence based on the distortion amount obtained by the distortion amount calculation unit.
  • a pixel address generation unit that generates a pixel address and sets the pixel address to be recorded in the table.
  • the present invention reads a pixel value of a pixel corresponding to an image area to be acquired from a pixel array that converts input light into an electrical signal with reference to a table in which pixel addresses are recorded.
  • the video processing apparatus can be applied to a photographing apparatus that obtains a video of the video area and corrects and outputs distortion of the video, and inputs the video from the photographing apparatus.
  • a table rewrite information generation unit for generating rewrite information is provided.
  • the present invention is an imaging method of an imaging device that obtains a video signal from a pixel array that converts input light into an electrical signal, and is a partial area of the entire video imaged in the entire pixel array.
  • a pixel address generation step of referring to a table corresponding to a video acquisition area to acquire video, generating a pixel address of a pixel corresponding to the video acquisition area of the pixel array, and reading out a pixel value from the pixel; And a correction step for correcting image distortion using the pixel value read by the pixel address generation unit, and a table rewriting step for rewriting the table stored in the table.
  • the distortion of the image corrected in the correction step is a distortion of the image generated by the imaging lens, and the pixel address of the table corresponds to the image acquisition area. It is set based on the distortion of the image.
  • the pixel address is set in the table based on the distortion of the video corresponding to the video acquisition area, and information regarding correction in the correction step is set. It is characterized by.
  • an entire image input step for capturing an entire image that is not corrected from the pixel array, and an entire image obtained by the entire image input step, for each partial region.
  • a distortion amount calculating step for calculating a distortion amount of the image; and a pixel address generation for generating a pixel address corresponding to the partial area based on the distortion amount obtained by the distortion amount calculating step and using the pixel address as recorded in the table It is characterized by comprising steps and.
  • a video input step for inputting the video obtained by the correction step, and a region setting step for setting a partial region of the video obtained by the video input step;
  • the pixel address generation step selects a table for generating the pixel address corresponding to the partial area set by the area setting unit.
  • the imaging method of the present invention further includes a table rewrite information generation step for generating table rewrite information for rewriting the table corresponding to the partial area set by the area setting step.
  • a table rewrite information generation step for generating table rewrite information for rewriting the table corresponding to the partial area set by the area setting step.
  • the present invention reads a pixel value of a pixel corresponding to an image area to be acquired from a pixel array that converts input light into an electrical signal with reference to a table in which pixel addresses are recorded.
  • a method for creating a table of an imaging apparatus that can be applied to an imaging apparatus that acquires an image of the image area, the entire image input step for capturing an entire image from the pixel array, and the entire image input step
  • a distortion amount calculating step for calculating a distortion amount of the image for each partial region based on the entire image obtained by the step, and a pixel address corresponding to the partial region based on the distortion amount obtained by the distortion amount calculating step.
  • a pixel address generation step for generating a pixel address recorded in the table.
  • a pixel value of a pixel corresponding to an image region to be acquired is read from a pixel array that converts input light into an electrical signal with reference to a table in which pixel addresses are recorded.
  • a video processing method that can be applied to a photographing apparatus that obtains a video of the video region and performs distortion correction on the video and outputs the video, wherein the video from the photographing apparatus is input.
  • a table rewriting information generation step for generating table rewriting information.
  • the present invention is an imaging program for causing a computer to execute an imaging method of an imaging device that obtains a video signal from a pixel array that converts input light into an electrical signal, and is imaged in the entire pixel array.
  • a pixel address of a pixel corresponding to the video acquisition area of the pixel array is generated by referring to a table corresponding to the video acquisition area in which the video is to be acquired.
  • the pixel address generation step for reading the pixel value from the image, the correction step for correcting the distortion of the image using the pixel value read by the pixel address generation unit, and the table stored in the table can be rewritten.
  • a table rewriting step which is executed by a computer.
  • the whole image input step for capturing the whole image without correction from the pixel array and the whole image input step are obtained.
  • a distortion amount calculating step for calculating the distortion amount of the video for each partial area, and generating a pixel address corresponding to the partial area based on the distortion amount obtained by the distortion amount calculating step.
  • a pixel address generation step for setting a pixel address recorded in the table is provided to be executed by a computer.
  • a video input step for inputting the video obtained in the correction step, an area setting step for setting a partial area of the video obtained in the video input step, A table rewriting information generating step for generating table rewriting information for rewriting the table by the table rewriting step corresponding to the partial region set by the region setting step;
  • FIG. 1 is an explanatory diagram for explaining the outline of the present invention.
  • FIG. 2 is a block diagram showing a photographing apparatus according to the first embodiment of the present invention.
  • FIG. 3 is an explanatory diagram illustrating a pixel reading operation.
  • FIG. 4 is a flowchart showing the operation of the first embodiment.
  • FIG. 5 is a diagram showing a pixel readout table.
  • FIG. 6 is an explanatory diagram for explaining a pixel readout operation for thinning.
  • FIG. 7 is an explanatory diagram for explaining selection of a correction method.
  • FIG. 8 is a flowchart showing a distortion correction operation.
  • FIG. 9 is an explanatory diagram showing a distortion correction processing method.
  • FIG. 10 is a block diagram showing a table rewrite information generation device (table creation device).
  • FIG. 11 is a flowchart showing the operation of the table rewrite information generation device (table creation device).
  • FIG. 12 is a block diagram showing a video processing device in Embodiment 2 of the present invention.
  • FIG. 13 is a flowchart showing the operation of the second embodiment of the present invention.
  • FIG. 14 is a block diagram showing a third embodiment of the present invention.
  • FIG. 15 is an explanatory view showing a problem of the conventional technique.
  • the pixel sampling region shape when the image (video) is partially cut out is cut out.
  • the shape should correspond to the image distortion that differs from place to place, and it should be matched to the shape that corresponds to the distortion caused by the wide-angle lens.
  • the sampling area shape is sampled into a shape (SR) that does not cause excess or deficiency of pixels when correcting the shape of the normal rectangular area as shown in FIG.
  • SR shape
  • the processing efficiency for video acquisition is improved by performing distortion correction processing on the video data obtained by this sampling and outputting the video data corrected for lens distortion. Can do.
  • the number of pixels to be sampled (the number of sampling data) can be kept constant, and the time required for clipping (sampling time) can be kept constant regardless of the size of the video image. Therefore, the output rate of partially distorted video data can always maintain the video rate.
  • pixels that read signals in advance in association with the area of the image sensor (video acquisition area).
  • a table read pixel table
  • the process of cutting out a partial image (pixel) from all the pixels in the entire video (image) area reads out a list corresponding to the video acquisition area (read-out area), and refers to the table. This is done by acquiring the position (address) of and reading the value of that pixel.
  • the lens can be changed when the lens is changed.
  • Corresponding readout pixel table can be newly reconstructed, and lens exchange is also possible.
  • the table rewriting function (table rewriting information generating unit and table rewriting unit) can be applied to a request to change the range (size) of the video output as the video after distortion correction. it can. That is, according to this table rewriting function, the position and the number of pixels read from the image sensor can be easily changed by rewriting the coordinate conversion value of the table.
  • FIG. 2 is a block diagram showing the photographing apparatus of the present embodiment.
  • This imaging device 100 includes a high-resolution pixel array 1 such as a CCD or CMOS image sensor that converts input light into an electrical signal, and a “detailed video acquisition position (video acquisition region) indicated by the user from the pixel array 1.
  • a readout pixel address generation unit 2 that sequentially generates coordinate addresses of pixel values that need to be cut out by referring to a table is provided.
  • the photographing apparatus 100 is a table that is referred to by the read pixel address generation unit 2, and includes a read pixel table storage unit 3 that records the actual position and number of read pixels, and a pixel.
  • a distortion correction unit 4 that performs coordinate conversion and image interpolation processing from a “partial segmentation pixel value sequence Da” that includes distortion from the lens read from the array 1 to a partial video without distortion (“partial detailed video Db”), and a user
  • a table rewriting unit 5 for rewriting the stored read pixel table storage unit 3 based on the “read table rewrite information TRJ”.
  • the distortion correction unit 4 includes a correction processing unit 4a and a distortion correction method set storage unit 4b.
  • the partial detailed video Db is obtained from the pixel value sequence Da
  • the read pixel address generation unit 2 The coordinate information J after distortion correction obtained by referring to the table and the distortion correction method selection information K are used. The distortion correction will be described later.
  • an optical image f imaged by a wide-angle lens is projected on the pixel array 1, and each pixel on the pixel array 1 emits light in proportion to the amount of light. Convert to signal.
  • the number of pixels of the pixel array 1 is much higher than that of a general resolution (330,000 pixels) such as a normal VGA (for example, 3 million pixels or 4 million pixels). Pixel).
  • a general resolution 330,000 pixels
  • VGA for example, 3 million pixels or 4 million pixels. Pixel
  • the read pixel address generation unit 2 refers to the read pixel table 3 according to the detailed video acquisition position PP designated from the outside by the user, and is necessary for acquiring the video at the detailed video acquisition position PP. While sequentially acquiring the number of pixel groups and the address value of each pixel, the corresponding pixel address is sent to the pixel array 1 and the corresponding pixel value is read out.
  • the operation of the photographing apparatus 100 when the user designates the detailed image acquisition position PP that is the image acquisition region, the operation of acquiring the image in which the partial distortion at the desired position is corrected. Will be described with reference to the flowchart of FIG.
  • step A1 acquisition of “detailed video acquisition position”
  • the user's intended shot and location recorded in the specific area Is read.
  • step A2 acquisition of coordinate sequences in the "read pixel table"
  • a table of pixels for obtaining a detailed video image at the position with reference to the table corresponding to the designated detailed video image acquisition position is obtained.
  • the array is obtained, and the column of readout pixels corresponding to the acquisition position of the detailed video is determined.
  • FIG. 5 shows an example of the structure of the readout pixel table storage unit 3.
  • the “detailed video acquisition position PP” specified by the user is divided into m pieces and n pieces in the vertical and horizontal directions, respectively, and the distortion is corrected for the desired position (Xi, Yi).
  • the number of pixel values Ni in the image before distortion correction necessary to acquire the image a table in which the coordinates ( X ij, yi-j) of each pixel are written sequentially, and distortion correction is actually performed. It has the method selection number (Fi) and the coordinate values (ui-j, vi-j) of the pixels that make up the image after distortion correction.
  • i represents a serial number in the case of sampling n and m vertically and horizontally
  • j represents a serial number (maximum Ni) of pixel values read at each position.
  • (ui_j, vi_j) in the figure is The coordinate values after distortion correction corresponding to each pixel.
  • a table (Fig. 5 (b)) describing the positions of pixels to be actually read is associated with each element of the array (Fig. 5 (a)). As a result, an array of pixels to be actually obtained can be obtained.
  • step A 3 transmission of the readout pixel column
  • the previously obtained arrangement information of the pixels to be read out is transferred to the pixel array 1.
  • step A4 acquisition of partially cut-out video
  • the pixel array 1 sequentially converts pixel values into electrical signals based on the input pixel array information and outputs them.
  • a partial cutout pixel value sequence Da is generated and sent to the subsequent distortion correction unit 4.
  • a representation of this effect is shown in the enlarged view of Fig. 3 (b).
  • FIG. 3 (b) shows an example relating to a region (SR) before distortion correction corresponding to a rectangular shape after distortion correction at a specific video acquisition position.
  • the area shape that becomes a rectangular area after distortion correction is not a rectangle before distortion correction, but is distorted.
  • FIG. 3 (b) when a pixel array arranged on the pixel array is an intersection of grid lines, a set of pixels necessary to become a rectangular region after correction is indicated by a black circle.
  • a black circle In Fig. 3, for the sake of explanation, it is drawn with a very coarse resolution. For the total number N of pixel groups corresponding to this black circle, the pixel values are sequentially read out in the order of points 1 to N as shown in the figure. Also, in FIG. 3, for convenience of explanation, the original high-resolution CCD or CMOS image sensor pixel is sampled without sampling the bow I. Sampling may be performed.
  • the user reads "Read When the “pixel table” is set, sampling can be performed in a thinned form when viewed from the pixel of the original high-resolution CCD or CMOS image sensor as shown in FIG.
  • the black circles represent pixels that are actually read from the image sensor.
  • FIG. 6 is drawn with a very coarse resolution for convenience of explanation.
  • the shooting range video acquisition area
  • the number of pixels actually read out is the same or increased compared to the number of pixels of the image size to be finally output. Since there is only a small amount and there is no increase corresponding to the shooting range, the image after distortion correction can be read out at high speed.
  • step A5 execution of distortion correction
  • the "partial cutout pixel value sequence Da” read from the pixel array 1 by the distortion correction unit 4 (correction processing unit 4a);
  • the “partial cutout pixel value sequence Da” produces a distortion-free level.
  • the image is generated by correcting the image coordinate-converted to the image.
  • a specific operation for correcting the distortion of the image is performed at one of one or more arbitrary processes registered in the distortion correction unit 4 (distortion correction method set storage unit 4b). It can be selected as appropriate in relation to it.
  • each of the distortion correction methods is Mi
  • the selection number (Fi) of the distortion correction method possessed by the coordinate conversion table described in the previous steps A1 and A2 (Set for each representative position where the entire image is divided into m and n respectively in the vertical and horizontal directions) Represents a number for selecting one distortion correction method from the above-described distortion correction method set M.
  • step B1 the selection number of the distortion correction method is obtained.
  • the read pixel address generation unit 2 selects the correction method selection number Fi from the pixel table near the detailed image read from the read pixel table storage unit 3, and the distortion correction unit 4 It is sent to the correction processing unit 4a.
  • step B2 a distortion correction method is acquired.
  • the correction processing unit 4a selects the method indicated by the method Fi from the distortion correction method set M stored in the distortion correction method set storage unit 4b, and reads the contents of the method. Specifically, the method MFi indicated by the selection number Fi is selected, and information relating to this is read out. Needless to say, the distortion correction method set storage unit 4b may be external to the distortion correction unit 4.
  • step B3 distortion correction is performed.
  • step B3 using the distortion correction method MFi selected by the correction processing unit 4a, an image with appropriate distortion correction is generated from the segmented pixel value sequence Da input to the correction processing unit 4a. Output video with distortion corrected in the latter part.
  • the pixel array after distortion correction is expressed as the position of the intersection of vertical and horizontal grid lines.
  • P be one pixel.
  • the method for determining the pixel value for point P is explained.
  • the readout pixel table 3 has coordinate values after distortion correction ((ui-j, vi-j) in FIG. 5). . Based on this coordinate value, the example shown on the image after distortion correction is the location indicated by the white circle in Fig. 9 (a).
  • the pixel value of point P is defined from the value of the nearest pixel (white circle) around point P.
  • the three points from the point P inside the broken-line circle correspond to “the pixel closest to the point P”. These three points are now expressed as S1, S2, and S3.
  • the pixel values of the pixels at points S1 to S3 are 11, 12, and 13, respectively.
  • the operation here is to generate the pixel value of the point of interest P from the three points S1, S2, and S3 forces that have pixel values 11, 12, and 13, respectively.
  • the desired point P from the pixel value Ir and the pixel value 13 which are the pixel values of the intersection R and the point S3 on the straight line q are calculated as interpolation values.
  • step A6 image output in FIG. 4, the image with the distortion corrected is output to the outside of the photographing apparatus as an analog signal or a digital signal.
  • the table rewriting unit 5 rewrites the contents of the readout pixel table 3 in the apparatus according to an instruction from the outside of the imaging apparatus 100.
  • the readout table rewrite information TR is for generating a readout pixel table suitable for the lens and setting it in the imaging apparatus for the imaging apparatus.
  • the rewriting information generating device may be configured inside the above-described photographing device 100, and it is acceptable.
  • FIG. 10 is a block diagram showing a rewrite information generating device.
  • the table rewrite information generation device 200 is configured as a camera calibration device, and includes an entire video input unit 201, a camera calibration execution unit (a distortion amount calculation unit of the present invention) 202, a read pixel table generation unit (a pixel table generation unit of the present invention). 203, a readout pixel table generation unit 204 for all-pixel imaging, and a switching unit 205 that selects one of the outputs of the readout pixel table generation unit 203 and the readout pixel table generation unit 204 for all-pixel imaging and connects to the imaging apparatus 100.
  • a camera calibration execution unit a distortion amount calculation unit of the present invention
  • a read pixel table generation unit a pixel table generation unit of the present invention
  • 203 a readout pixel table generation unit 204 for all-pixel imaging
  • a switching unit 205 that selects one of the outputs of the readout pixel table generation unit 203 and the readout pixel table generation
  • step C1 setting for capturing an entire image without distortion correction
  • the entire image input unit 201 does not perform distortion correction from the entire image captured by the imaging device (camera).
  • the switching unit 205 selects the all-pixel shooting readout pixel table generation unit 204, and the all-pixel shooting readout pixel table generation unit 204 creates a table in which the entire camera field of view is the video acquisition region.
  • a signal at the video acquisition position PP (A) is generated so that the entire video can be obtained.
  • the distortion correction unit 4 is instructed to output an image without performing distortion correction. This can be specified, for example, with a table correction method selection parameter or a video acquisition position PP (A).
  • the entire image without distortion correction is input to the entire image input unit 201 from the “imaging device”.
  • step C2 capturing the calibration pattern
  • a “calibration pattern” for camera calibration is captured in a state where the entire image can be acquired, and this is then taped by the entire image input unit 201.
  • the rewrite information generation device 200 takes it in.
  • step C3 (calculation of coordinate conversion table value)
  • the camera calibration execution unit 202 performs distortion calibration for removing image distortion caused by the lens, using the captured image of the calibration pattern. Furthermore, it corresponds to the resolution (n, m in Fig. 5) that is given from the outside of the device 200, which indicates the size of the image to be extracted and the position to be extracted as the “detailed video acquisition position”.
  • the read pixel table is appropriately calculated by the read pixel table generation unit 203 in accordance with the “cutout step”.
  • step C4 writing of the coordinate conversion table
  • the generated read pixel table is written to a predetermined memory in the image capturing apparatus 100. Specifically, after the switching unit 205 is switched to the readout pixel table generation unit 203, the calculated readout pixel table is sent to the table rewriting unit 5 of the photographing apparatus, and the readout pixel table storage unit 3 is rewritten and set.
  • the table rewrite information generating device described above constitutes a table creating device of the present invention.
  • This video processing device 300 is a video from the imaging device described in the first embodiment.
  • a video input unit 301 for inputting an image an image processing unit 302 for setting a partial region of the video obtained by the video input unit 301, and a readout corresponding to the partial region set by the image processing unit 302
  • the pixel address generator 2 includes a read pixel table generator (table rewrite information generator) 303 that generates table rewrite information for rewriting the table referenced by the table rewriter 5 and is set by the image processor 302.
  • a partial video acquisition position generation unit 304 that generates a video acquisition position PP from the partial area thus provided is provided.
  • image processing unit 302 and the partial video acquisition position generation unit 304 constitute the region setting unit of the present invention.
  • the video processing device 300 inputs a partial video output from the imaging device 100 via the video input unit 301 (step D1), and this video is output.
  • the image processing unit 302 used to perform image processing (step D2), and the result was output to the outside of the apparatus as an image processing result, and it was necessary to acquire a partial video at a new position during the image processing process.
  • the position is calculated by the partial video acquisition position generation unit 304, a partial video acquisition position is generated so as to shoot the position, and an instruction is issued to the photographing apparatus 100 (step D3).
  • the readout pixel table generation unit 303 performs specific readout pixel.
  • a table value is generated (step D5) and sent to the photographing apparatus 100, so that the partial video acquisition range and contents are changed as appropriate.
  • the rewrite operation of the video acquisition position and readout pixel table can be performed at an arbitrary timing, and for example, different settings can be performed for each frame rate (30 s).
  • an image captured by a video imaging apparatus having a high-resolution solid-state imaging device (CCD or CMOS imaging element) equipped with a wide-angle lens typified by a fisheye lens.
  • Video distortion caused by the lens It is possible to shoot at a video rate (30 fps) or higher frame rate as no video. Since the resolution of the image can be changed efficiently, the lens distortion is corrected and the image converted into an image that can be easily understood by human eyes can be obtained directly from the apparatus.
  • the output video can be output with a resolution of, for example, about 640 pixels wide x 480 pixels long, which is about the same as that of a normal NTSC camera. Can show a good image.
  • a single camera device can capture an entire wide area and can capture an arbitrary portion as a high-resolution image, for example, while monitoring a wide area in a factory site, It can be applied to a surveillance camera that displays a high-definition, distortion-free image as a TV monitor only at certain locations.
  • a physical distribution management system that reads characters written on a small sticker attached to an object flowing on a wide range of conveyors and manages delivery, and generally performs image processing using this image as an input to an image processing apparatus. Can be used.
  • the imaging device 100 described above can be divided into a configuration that is divided into an imaging unit 100a and a video generation unit 100b.
  • the imaging unit 100a includes a pixel array 1 and a readout pixel address generation unit 2.
  • the imaging unit 100a has a function of reading pixel values from the pixel array in the order given from the outside (video generation unit), and outputting a part of the pixel value sequence (partially cut pixel value ⁇ 1J) to the outside as it is. Specialize.
  • the video generation unit 100b includes a readout pixel address generation unit 2, a readout pixel table storage unit 3, a distortion correction unit 4, and a table rewriting unit 5.
  • the video generation unit 100b generates a column of pixel coordinates that needs to be read out from the pixel array 1 in accordance with the detailed video acquisition position PP designated from the outside by the user, and this is generated by the imaging unit ( In addition to sending to the pixel array 1), the partial cut pixel value sequence Da generated in the order of sending out is received, and a video with distortion corrected by the distortion correction unit 4 is generated from the video having this distortion and externally generated. Make output.
  • the image capturing device 100 is divided into the image capturing unit 100a and the image generating unit 100b so that the readout pixel table storage unit 3 and the distortion correction unit 4 are connected to the image capturing unit 10 Oa. You can have it separately.
  • the video generation unit 100b can be configured by a general-purpose PC or the like.
  • the sampling shape of the part cut out on the high-density (high resolution) solid-state imaging device formed through the fisheye lens (wide-angle lens) is obtained.
  • the area of the area to be cut out due to distortion increases. Even so, the number of pixels actually sampled can be made almost constant, the time required for clipping can be kept low regardless of the area, and the output rate of partially distorted video is the video rate. Can always be maintained.
  • a table in which a group of pixels (position and number) for reading signals in advance corresponding to the position of the image sensor is prepared for sampling in accordance with a different distortion shape for each location to be cut out By making this table rewritable from the outside of the device when the imaging device is in operation, for example, even if the lens is changed, a pixel readout table corresponding to this lens can be easily constructed, and the image after distortion correction can be obtained. Even when it is desired to change the range (size) of the output video, it is possible to easily change the position and number of pixels read from the original imaging device by rewriting the values in the coordinate conversion table. it can.
  • the steps shown in the respective flowcharts are stored as a shooting program in a computer-readable recording medium, whereby the shooting method can be executed by the computer.
  • the computer-readable recording medium is a portable storage medium such as a CD-ROM, flexible disk, DVD disk, magneto-optical disk, IC card, database holding a computer program, or It includes other computers and their databases, as well as transmission media on the line.

Abstract

　フレームレートを向上させると共に、カメラに装着するレンズの変更にも対応することができる撮影装置を得るため、入力光を電気信号に変換する画素アレイから、取得しようとする映像領域に対応する画素の画素値を画素アドレスが記録されたテーブルを参照して読み出して補正すると共に、交換レンズの変更に際しては、そのレンズによる映像の歪に対応するようテーブルを書き換えられるようにした。

Description

明 細 書
撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び 方法、映像処理装置及び方法
技術分野
[0001] 本発明は、レンズと画素アレイを用レ、て撮影を行う撮影装置等に関し、特に、例え ば魚眼レンズを代表とする広角レンズを装着した高解像度の固体撮像素子（CCDあ るいは CMOS撮像素素）を用いる撮影装置、撮影方法及びプログラム、撮影装置の テーブル作成装置及び方法、映像処理装置及び方法に関するものである。 背景技術
[0002] 魚眼力メラのように非常に広角なレンズを用いたカメラにおいて映像の歪を補正す るようにした技術については、種々のものが知られる（例えば特許文献 1〜3参照）。
[0003] 特許文献 1では、魚眼レンズで歪んだ映像全体を撮影装置 (カメラ装置)から外部 に取り出し、これをレンズの歪を表す幾何的な関係式から逆算して歪のない映像に 補正するようにしている。
[0004] また特許文献 2では、広角レンズで歪んだ映像を補正し視認性を高める撮影装置（ カメラ装置）の実現を目的として、計算効率とメモリ効率を高めた歪補正を行なうため の変換式について提案している。具体的には、画像全体を取り込み、レンズによる映 像の歪が一般に「たる型」と呼ばれる周辺部に行くほど歪量が大きくなる特性を考慮 し、レンズの中心を座標の中心に取り、多項式からなる解析式で近似するようにして いる。この場合、各画素に対応した変換テーブルを持つのではなぐあらかじめ決め られた解析式で座標変換を行なう。
[0005] また、特許文献 3では、レンズによる映像の歪を補正する際に、歪のある映像にお ける各画素の座標と、映像の歪を補正した後の補正済映像における各画素の座標と をテーブルとして保持し、これを使って座標変換を施すことで、レンズによる映像の歪 を補正する場合におけるテーブルの記述量を削減する方式について提案している。
[0006] 具体的には、レンズによる映像の歪がレンズ中心点を原点として、点対称になって レ、る点に着目し、原点を基準に、例えば左あるいは上方向を正の向きとする水平軸と 垂直軸を設けるようにする。そして、例えば水平軸と垂直軸の正の部分のみの座標 変換テーブルを保持し、残りの部分には、保持された座標変換テーブルを線対称に 反転した座標を適用することで、画像全体の座標変換テーブルを不要とするもので ある。
特許文献 1 :特開平 11一 261868号公報
特許文献 2 :特開平 8— 96118号公報
特許文献 3 :特開平 5— 176216号公報
発明の開示
発明が解決しょうとする課題
[0007] 上述したように、特許文献 1や特許文献 2が提案する広角カメラの映像の歪補正の 方式は、広角カメラで撮影された画像全体をカメラ (撮像)装置から一旦全部取り出し 、これを対象に座標変換を施すことで撮影された映像の歪を補正する方式となって いる。
[0008] このような画像全体を CCDあるいは CMOS撮像装置から読み出すことを前提とする と、例えば高解像度の撮像素子の使用を考えた場合に、全体の高密度な映像を抽 出する際に多大な時間がかかり、本来撮影したい一部分の歪のない高解像度の得ら れるフレームレートが低下するという問題点がある。
[0009] なお、ここで、フレームレートの低下を抑制するために歪んだ画像全体を読み出す ことなく、切り出したい部分であって、ひずみを含む一部分の映像を切り出しておき、 これの部分映像を補正対象として、歪補正を施す方式も考えられる。しかし、魚眼レ ンズを含む超広角なレンズを想定した場合、図 15に示すように、同じ対象物における 映像部分 RRであっても、歪の大きさが画像の中央部と周辺部とでは大きく異なり、場 所によって切り出すべき大きさが大きく異なってくるため、固定した大きさの映像とし て切り出したのでは (例えば FR)、切り出した映像に過不足が生じ、所望の映像が得 られなくなる。
[0010] 一方、これを防止しようと、大きな歪量に合わせて固定切り出しサイズを決定すると 、常時非常に大きな映像範囲を切り出す必要があり、結果として映像の取得時間の 短縮に繋がらず、フレームレートの向上を実現できないこととなる。 [0011] また、特許文献 3における映像の歪補正のために座標変換テーブルを用いる方式 は、レンズによる映像の歪を幾何的な数学式で毎回座標変換することを不要とするた めに、フレームレート向上に非常に有効な手段である。しかし、このテーブルはカメラ 装置に固定的に存在するため、カメラに装着するレンズが変更された場合には、それ までに記録した座標変換テーブルの値自体が使えなくなり、もはやカメラ装置を使用 できなくなるという問題点がある。
[0012] そこで、本発明は、フレームレートを向上させると共に、カメラに装着するレンズの変 更にも対応することができる撮影装置等を得ることを目的としている。
課題を解決するための手段
[0013] 上述した課題を解決するため、本発明に係る撮影装置は、入力光を電気信号に変 換する複数の画素を有する画素アレイと、前記画素アレイ全体において撮像される 全体映像の一部の領域であって、映像を取得しょうとする映像取得領域に対応する テーブルを参照し、前記画素アレイの映像取得領域に対応する画素の画素アドレス を発生して、該画素から画素値を読み出す画素アドレス発生部と、前記画素アドレス 発生部により読み出された画素値を用いて映像の歪を補正する補正部と、前記テー ブルを記憶するテーブル記憶部と、前記テーブル記憶部に記憶されたテーブルを書 き換えることができるテーブル書き換え部とを備えてなる。
[0014] また、本発明の撮影装置において、前記画素アレイと前記画素アドレス発生部とは 撮像部を構成し、前記補正部と前記読み出し画素テーブル記憶部と前記テーブル 書き換え部とは映像生成部を構成し、前記撮像部と前記映像生成部とが個別に設け られることを特徴とする。
[0015] また、本発明の撮影装置において、前記補正部で補正される映像の歪は、撮影レ ンズにより生じる映像の歪であり、前記テーブルの画素アドレスは、前記映像取得領 域に対応する映像の歪に基づいて設定されていることを特徴とする。
[0016] また、本発明の撮影装置において、前記テーブルには、前記画素アドレスが前記 映像取得領域に対応する映像の歪に基づいて設定されると共に、前記補正部での 補正に関する補正情報が設定されていることを特徴とする。
[0017] また、本発明の撮影装置において、前記画素アレイから補正を行わない全体映像 を取り込む全体映像入力部と、前記全体映像入力部により得られた全体映像に基づ いて、その部分領域ごとの映像の歪量を算出する歪量算出部と、前記歪量算出部に より得られた歪量に基づレ、て部分領域対応の画素アドレスを生成し、前記テーブル に記録される画素アドレスとする画素アドレス生成部とを備えている。
[0018] また、本発明の撮影装置において、前記補正部からの映像を入力する映像入力部 と、前記映像入力部で得られた映像の一部領域を設定する領域設定部とを備え、前 記領域設定部により設定された前記一部領域に対応して、前記画素アドレス発生部 は、前記画素アドレスを発生するためのテーブルを選択することを特徴とする。
[0019] また、本発明の撮影装置において、前記領域設定部により設定された前記一部領 域に対応して、前記テーブル書き換え部により前記テーブルを書き換えるためのテ 一ブル書き換え情報を生成するテーブル書き換え情報生成部を備えることを特徴と する。
[0020] また、本発明は、入力光を電気信号に変換する画素アレイから、取得しょうとする映 像領域に対応する画素の画素値を画素アドレスが記録されたテーブルを参照して読 み出すことで、前記映像領域の映像を取得する撮影装置に適用されることができる 撮影装置のテーブル作成装置であって、前記画素アレイから全体映像を取り込む全 体映像入力部と、前記全体映像入力部により得られた全体映像に基づいて、その部 分領域ごとの映像の歪量を算出する歪量算出部と、前記歪量算出部により得られた 歪量に基づレ、て部分領域対応の画素アドレスを生成し、前記テーブルに記録される 画素アドレスとする画素アドレス生成部とを備えていることを特徴とする。
[0021] また、本発明は、入力光を電気信号に変換する画素アレイから、取得しょうとする映 像領域に対応する画素の画素値を画素アドレスが記録されたテーブルを参照して読 み出すことで、前記映像領域の映像を取得すると共に、該映像の歪補正を行って出 力する撮影装置に適用されることができる映像処理装置であって、前記撮影装置か らの映像を入力する映像入力部と、前記映像入力部で得られた映像の一部領域を 設定する領域設定部と、前記領域設定部により設定された前記一部領域に対応して 、前記テーブルを書き換えるためのテーブル書き換え情報を生成するテーブル書き 換え情報生成部を備えてなる。 [0022] また、本発明は、入力光を電気信号に変換する画素アレイから映像信号を得る撮 影装置の撮影方法であって、前記画素アレイ全体において撮像される全体映像の 一部の領域であって、映像を取得しょうとする映像取得領域に対応するテーブルを 参照し、前記画素アレイの映像取得領域に対応する画素の画素アドレスを発生して 、該画素から画素値を読み出す画素アドレス発生ステップと、前記画素アドレス発生 部により読み出された画素値を用いて映像の歪を補正する補正ステップと、前記テ 一ブルに記憶されたテーブルを書き換えることができるテーブル書き換えステップと を備えてなる。
[0023] また、本発明の撮影方法において、前記補正ステップで補正される映像の歪は、撮 影レンズにより生じる映像の歪であり、前記テーブルの画素アドレスは、前記映像取 得領域に対応する映像の歪に基づいて設定されていることを特徴とする。
[0024] また、本発明の撮影方法において、前記テーブルには、前記画素アドレスが前記 映像取得領域に対応する映像の歪に基づいて設定されると共に、前記補正ステップ での補正に関する情報が設定されていることを特徴とする。
[0025] また、本発明の撮影方法において、前記画素アレイから補正を行わない全体映像 を取り込む全体映像入力ステップと、前記全体映像入力ステップにより得られた全体 映像に基づいて、その部分領域ごとの映像の歪量を算出する歪量算出ステップと、 前記歪量算出ステップにより得られた歪量に基づいて部分領域対応の画素アドレス を生成し、前記テーブルに記録される画素アドレスとする画素アドレス生成ステップと を備えてレヽることを特徴とする。
[0026] また、本発明の撮影方法において、前記補正ステップにより得られた映像を入力す る映像入力ステップと、前記映像入力ステップで得られた映像の一部領域を設定す る領域設定ステップとを備え、前記画素アドレス発生ステップは、前記領域設定部に より設定された前記一部領域に対応して、前記画素アドレスを発生するためのテープ ルを選択することを特徴とする
[0027] また、本発明の撮影方法において、前記領域設定ステップにより設定された前記一 部領域に対応して、前記テーブルを書き換えるためのテーブル書き換え情報を生成 するテーブル書き換え情報生成ステップを備えることを特徴とする。 [0028] また、本発明は、入力光を電気信号に変換する画素アレイから、取得しょうとする映 像領域に対応する画素の画素値を画素アドレスが記録されたテーブルを参照して読 み出すことで、前記映像領域の映像を取得する撮影装置に適用されることができる 撮影装置のテーブル作成方法であって、前記画素アレイから全体映像を取り込む全 体映像入力ステップと、前記全体映像入力ステップにより得られた全体映像に基づ いて、その部分領域ごとの映像の歪量を算出する歪量算出ステップと、前記歪量算 出ステップにより得られた歪量に基づいて部分領域対応の画素アドレスを生成し、前 記テーブルに記録される画素アドレスとする画素アドレス生成ステップとを備えている ことを特徴とする。
[0029] また、本発明は、入力光を電気信号に変換する画素アレイから、取得しょうとする映 像領域に対応する画素の画素値を画素アドレスが記録されたテーブルを参照して読 み出すことで、前記映像領域の映像を取得すると共に、該映像の歪補正を行って出 力する撮影装置に適用されることができる映像処理方法であって、前記撮影装置か らの映像を入力する映像入力ステップと、前記映像入力ステップで得られた映像の 一部領域を設定する領域設定ステップと、前記領域設定ステップにより設定された前 記一部領域に対応して、前記テーブルを書き換えるためのテーブル書き換え情報を 生成するテーブル書き換え情報生成ステップとを備えてなる。
[0030] また、本発明は、入力光を電気信号に変換する画素アレイから映像信号を得る撮 影装置の撮影方法をコンピュータに実行させる撮影プログラムであって、前記画素ァ レイ全体において撮像される全体映像の一部の領域であって、映像を取得しようとす る映像取得領域に対応するテーブルを参照し、前記画素アレイの映像取得領域に 対応する画素の画素アドレスを発生して、該画素から画素値を読み出す画素アドレ ス発生ステップと、前記画素アドレス発生部により読み出された画素値を用いて映像 の歪を補正する補正ステップと、前記テーブルに記憶されたテーブルを書き換えるこ とができるテーブル書き換えステップとを備えてコンピュータに実行させることを特徴 とする。
[0031] また、本発明の撮影プログラムにおいて、前記画素アレイから補正を行わない全体 映像を取り込む全体映像入力ステップと、前記全体映像入力ステップにより得られた 全体映像に基づいて、その部分領域ごとの映像の歪量を算出する歪量算出ステップ と、前記歪量算出ステップにより得られた歪量に基づいて部分領域対応の画素アド レスを生成し、前記テーブルに記録される画素アドレスとする画素アドレス生成ステツ プとを備えてコンピュータに実行させることを特徴とする。
[0032] また、本発明の撮影プログラムにおいて、前記補正ステップにより得られた映像を 入力する映像入力ステップと、前記映像入力ステップで得られた映像の一部領域を 設定する領域設定ステップと、前記領域設定ステップにより設定された前記一部領 域に対応して、前記テーブル書き換えステップにより前記テーブルを書き換えるため のテーブル書き換え情報を生成するテーブル書き換え情報生成ステップとを備えて コンピュータに実行させることを特徴とする。
図面の簡単な説明
[0033] [図 1]本発明の概要を説明する説明図である。
[図 2]本発明の実施の形態 1の撮影装置を示すブロック図である。
[図 3]画素の読み出し動作を説明する説明図である。
[図 4]実施の形態 1の動作を示すフローチャートである。
[図 5]画素読み出しテーブルを示す図である。
[図 6]間引きの画素読み出し動作を説明する説明図である。
[図 7]補正方式の選択を説明する説明図である。
[図 8]歪補正の動作を示すフローチャートである。
[図 9]歪補正処理の方法を示す説明図である。
[図 10]テーブル書き換え情報生成装置 (テーブル作成装置）を示すブロック図である
[図 11]テーブル書き換え情報生成装置 (テーブル作成装置）の動作を示すフローチ ヤートである。
[図 12]本発明の実施の形態 2における映像処理装置を示すブロック図である。
[図 13]本発明の実施の形態 2の動作を示すフローチャートである。
[図 14]本発明の実施の形態 3を示すブロック図である。
[図 15]従来の技術の問題点を示す説明図である。 発明を実施するための最良の形態
[0034] まず、本発明の実施の形態の概要について説明する。本実施の形態では、魚眼レ ンズ (広角レンズ)を通して結像した高密度（高解像度）の固体撮像素子上で、画像（ 映像）を部分的に切り出す際における画素のサンプリング領域形状を、切り出す場所 毎に異なる映像歪に対応する形状であって、広角レンズに起因する歪に対応する形 状に合わせるようにする。
[0035] これにより、そのサンプリング領域形状を、図 1に示すように、通常の矩形領域の形 状に補正する場合に画素の過不足が生じないような形状（SR)にしてサンプリングす ること力 Sでき、このサンプリングにより得られる映像データに対して、後段で歪補正処 理を行って、レンズの歪を補正した映像データを出力することにより、映像取得のた めの処理効率を高めることができる。
[0036] また、この画素のサンプリングの際に、出力される映像の解像度に合わせて適切に 間引レ、たサンプリングを行なうようにすることにより、切り出すサンプリング領域自体の 面積が大きくなつても、サンプリングする画素数 (サンプリングデータ数）を一定にとど めることができ、映像画像の大きさによらず、切り出しにかかる時間（サンプリング時間 )を一定に抑えることもできる。このため、部分的な歪補正済み映像データの出カレ ートはビデオレートを常に維持することが可能となる。
[0037] さらにまた、切り出す場所毎に異なる歪に対応する形状に合わせてサンプリングす るために、本実施の形態では、あらかじめ撮像素子の領域（映像取得領域）と対応さ せて信号を読み出す画素群 (位置 ·個数）を定めたテーブル (読み出し画素テーブル )を用意しておく。これによつて、映像（画像)領域全体である全画素から一部分の画 像 (画素）を切り出す処理は、映像取得領域 (読み出す領域)対応のリストを読み出し 、該テーブルを参照することで、画素の位置（アドレス）を取得し、その画素の値を読 み出すことによって行われる。
[0038] また、この読み出し画素テーブルを装置外部より本撮影装置の稼働時に書き換え 可能とするテーブルの書き換え機能（画素アドレス生成部及びテーブル書き換え部） を備えることで、レンズ変更に際しては、このレンズに対応した読み出し画素テープ ルを新たに再構築することができ、レンズ交換にも対応できる。 [0039] さらにこのテーブルの書き換え機能（テーブル書き換え情報生成部及びテーブル 書き換え部）は、歪補正後の映像として出力される映像の範囲（大きさ）を可変とした い要望にも適用することができる。すなわちこのテーブル書き換え機能によれば、テ 一ブルの座標変換値を書き換えることで、撮像素子から読み出す画素の位置や個数 を簡単に変更することができる。
[0040] 実施の形態 1.
以下、本発明の実施の形態について詳述する。図 2は、本実施の形態の撮影装置 を示すブロック図である。この撮影装置 100は、入力光を電気信号に変換する CCD あるいは CMOS撮像素子といった高解像度の画素アレイ 1と、この画素アレイ 1からュ 一ザによって指示される「詳細映像取得位置（映像取得領域) PP」に応じて、切り出 す必要のある画素値の座標アドレスをテーブルを参照して順次生成する読み出し画 素アドレス発生部 2とを備える。
[0041] さらに、この撮影装置 100は、読み出し画素アドレス発生部 2により参照されるテー ブルであって、実際の読み出し画素の位置 ·個数を記録してある読み出し画素テー ブル記憶部 3と、画素アレイ 1より読み出されたレンズによる歪を含む「部分切り出し 画素値列 Da」から歪のない部分映像（「部分詳細映像 Db」 )に座標変換と映像補間 処理を行なう歪補正部 4と、ユーザから与えられる「読み出しテーブル書き換え情報 T RJに基づいて、記憶された読み出し画素テーブル記憶部 3を書き換えるテーブル書 き換え部 5とを備える。
[0042] なお、歪補正部 4は補正処理部 4aと歪補正方式セット記憶部 4bを備えており、画 素値列 Daから部分詳細映像 Dbを得るに際しては、読み出し画素アドレス発生部 2に よりテーブルを参照して得られる歪補正後の座標情報 Jと歪補正方式選択情報 Kとを 用いる。歪補正については後述する。
[0043] 図 3に示すように、画素アレイ 1上には広角レンズによって結像した光学的な映像 f が投射されており、画素アレイ 1上の各画素ではこの光量に比例して光を電気信号 に変換する。なお、本実施の形態において、この画素アレイ 1の持つ画素数は通常 の VGAといった一般的な解像度（33万画素）のものに比べて、非常に解像度の高い もの（例えば 300万画素や 400万画素など）になってレ、る。 [0044] 以下、動作について説明する。画素アレイ 1において、読み出し画素アドレス発生 部 2によって順次生成された画素アドレスに対応した箇所の画素から電気信号が読 み出されて、これが「部分切り出し画素値列 Da」として歪補正部 4に送られる。このとき 、読み出し画素アドレス発生部 2は、ユーザから外部より指定された詳細映像取得位 置 PPに応じて、読み出し画素テーブル 3を参照し、詳細映像取得位置 PPの映像を取 得するために必要となる画素群の個数とそれぞれの画素のアドレス値とを順次取得 しながら、対応する画素のアドレスを画素アレイ 1に送り、対応する画素の値を読み出 す。
[0045] ここで、この撮影装置 100の動作として、ユーザが映像取得領域である詳細映像取 得位置 PPを指定した際に、所望の位置の部分的なひずみを補正した映像を取得す る動作について、図 4のフローチャートを用いて説明する。
[0046] 今、装置外部からユーザによって与えられた詳細映像取得位置 PPは撮影装置内 部の記憶領域に記録されてレ、るものとする。
[0047] まずステップ A1 (「詳細映像取得位置」の取得）において、特定領域内に記録され たユーザの意図する撮影したレ、箇所 (詳細映像取得位置：例えば図 3 (a)の領域 SR) を読み出す。
[0048] 次に、ステップ A2 (「読み出し画素テーブル」における座標列の取得）において、指 定された詳細映像取得位置に対応するテーブルを参照して該位置の詳細映像を得 るための画素の配列を得、詳細映像の取得位置に対応した読み出し画素の列を決 定する。
[0049] 図 5は読み出し画素テーブル記憶部 3の構造の一例を示している。この構造におい ては、ユーザから指定される「詳細映像取得位置 PP」を縦横にそれぞれ m個、 n個に 分割した場合の一つの代表位置 (Xi,Yi)について、歪を補正して所望の映像を取得 するために必要となる、歪補正前の画像での画素値の個数 Niと、各画素の座標 (Xi-j 、 yi-j)が順次書かれたテーブルと、歪補正を実際に行なう方式の選択番号 (Fi)と、歪 補正後の映像を構成する画素の座標値 (ui-j, vi-j)を有する。
[0050] ここで、 iは縦横 n，m個にサンプリングした場合の通し番号を表し、 jは各位置で読み 出される画素値の通し番号 (最大 Ni個）を表すものとする。また、図中の (ui_j、 vi_j)は 、それぞれの画素に対応する歪補正された後の座標値である。
[0051] なお、「詳細映像取得位置 PP」を縦横にそれぞれ n個、 m個に分割する際の刻みを 1 画素とすれば、実際にはすべての画素について、対応する歪補正を適用した結果が 得られることになる。
[0052] ここで、元の画像の縦横それぞれの画像サイズを Px， Pyとし、ユーザが指定した詳 細映像取得位置 PPの画像上での座標を Rx， Ryとすると、必要な読み出し画素のテ 一ブルの代表位置は、 X = RxZ (Px/m)、 Y=Ry/ (Py/n)で与えられる。このテ 一ブル代表位置（X, Y)は、図 5 (a)の配列の座標を表す。
[0053] このテーブルでは、配列（図 5 (a) )の各要素に対して、実際に読み出すべき画素の 位置を記載したテーブル（図 5 (b) )が関連付けられており、これを迪ることにより、実 際に取得すべき画素の配列が得られることとなる。
[0054] 続いて、ステップ A3 (読み出し画素列の送出）において、先に得られた読み出すベ き画素の配列情報が画素アレイ 1に転送される。
[0055] これに引き続いて、ステップ A4 (部分切り出し映像の取得）において、画素アレイ 1 では、入力された画素配列の情報に基づいて順次画素値が電気信号に変換されて 出力され、結果として「部分切り出し画素値列 Da」が生成され、後段の歪補正部 4に 送られる。この作用を表したものを図 3 (b)の拡大図に示す。
[0056] 図 3 (b)では、ある詳細映像の取得位置における歪補正後の矩形形状に対応した、 歪補正前の領域（SR)に関する例を示している。図 3 (b)に示したように歪補正後に矩 形領域となる領域形状は、歪補正前では矩形とはならず歪んだ形状となっている。
[0057] 図 3 (b)では、画素アレイ上に並んでいる画素配列を格子線の交点とするとき、補 正後に矩形領域となるために必要とする画素の集合を黒丸で示している。なお、図 3 では説明上、非常に粗い解像度で描いている。この黒丸に相当する、総数 Nの画素 群について、図に付記した点 1から点 Nの順番で順次画素値が読み出される。また、 図 3では説明の便宜のため、元の高解像度の CCDあるいは CMOS撮像素子の画素 を間弓 Iかずにサンプリングする場合にっレ、て説明してレ、るが、間引レ、たサンプリング を行うようにしてもよい。
[0058] 例えば使用者が全画像中の大きな範囲について歪を補正して取得すべく「読み出 し画素テーブル」を設定した場合には、図 6に示すように元の高解像度の CCDあるい は CMOS撮像素子の画素から見ると、間引いた形にサンプリングすることもできる。図 6では黒丸が実際に撮像素子から読み出される画素を表している。なお、図 3と同様 に図 6では説明の便宜のため、非常に粗い解像度で描かれている。
[0059] これによつて、撮影範囲（映像取得領域)が非常に大きくなつても、実際に読み出す 画素の個数は、最終的に出力される画像サイズの画素数に比べて同じか又は増加 量がわずかで済み、撮影範囲に対応して増加することはないため、歪補正後の映像 を高速に読み出すことができる。
[0060] 次に、ステップ A5 (ひずみ補正の実施）においては、歪補正部 4 (補正処理部 4a) におレ、て画素アレイ 1より読み出された「部分切り出し画素値列 Da」と、ユーザから指 定された「詳細映像取得位置 PP」と、読み出し画素テーブル記憶部 3に保存されてい る補正後の画素の座標列を入力として、「部分切り出し画素値列 Da」から歪のなレ、映 像に座標変換した映像を補正して生成する。
[0061] なお、映像の歪を補正するための具体的操作は、歪補正部 4 (歪補正方式セット記 憶部 4b)に登録された一つあるいはそれ以上の任意の処理から、切り出し位置に関 連させて適宜選択可能なものとする。
[0062] 具体的には、歪補正の方式をそれぞれ Miとし、歪補正部 4には s通りの歪補正方式 セットM= {Mi : ie { l,2，…，s} }が用意されてぃるものとする。ここで、先のステップ A1 , A2で説明した、座標変換テーブルが保有する歪補正方式の選択番号 (Fi) (映像 全体を縦横それぞれ m，n個に分割した代表位置毎に設定されている）は、上述の歪 補正方式セット Mから一つの歪補正方式を選択するための番号を表すものとする。
[0063] すなわち、ある代表位置 (Xi, Yj)の持つ歪補正方式の選択番号を Fiとすると、実 際に歪補正に用いられる方式は MFiとなる。この処理の構造図を図 7に示し、その処 理の流れを図 8のフローチャートに示してレ、る。
[0064] まずステップ B1におレ、て、歪補正方式の選択番号の取得が行われる。このステツ プ B1においては、読み出し画素アドレス発生部 2において、読み出し画素テーブル 記憶部 3から読み出された詳細映像付近の画素テーブルにより、補正方式の選択番 号 Fiが選択されて歪補正部 4の補正処理部 4aに送られる。 [0065] 続いて、ステップ B2において、歪補正方式の取得が行われる。このステップ B2に おいては、補正処理部 4aが歪補正方式セット記憶部 4bに記憶された歪補正方式セ ット Mから、方式 Fiで示される方式を選択し、方式の内容を読み出す。具体的には、 選択番号 Fiで示される方式 MFiが選択され、これに関する情報が読み出される。な お、この歪補正方式セット記憶部 4bは歪補正部 4の外部にあってもよいことはいうま でもない。
[0066] 最後にステップ B3において、歪補正が実施される。このステップ B3においては、補 正処理部 4aが選択された歪補正方式 MFiを用いて、補正処理部 4aに入力される部 分切り出し画素値列 Daから、適宜歪を補正した映像を生成し、後段に歪を補正した 映像を出力する。
[0067] ここで歪を補正する方式について代表的な具体的を説明する。今、図 9 (a)に示す ように、歪補正後の画素の配列を縦横の格子線の交点の位置として表すものとする。 このとき、一つの画素を Pとする。ここで、点 Pについて画素値を決定する方式につい て解説する。
[0068] 画素アレイ 1から順次読み出された画素値列の一つひとつについては、読み出し 画素テーブル 3に歪補正後の座標値（図 5での (ui-j，vi-j))を持っている。この座標値 に基づき、歪補正後の画像上に記載した例が図 9 (a)の白丸で示した箇所である。こ こで、点 Pを中心として最も近傍にある画素の値（白丸）から点 Pの画素値を規定する
[0069] この図では点 Pから破線円の内部にある 3点が「点 Pを中心として最も近傍にある画 素」に相当する。今、これら 3点を S1,S2,S3と表することにする。また、点 S1〜S3の画素 の画素値をそれぞれ 11,12,13とする。ここでの操作は、画素値 11,12,13をそれぞれ有す る 3点 S1,S2，S3力ら、着目する点 Pの画素値を生成することである。
[0070] この操作は、図 9 (b)に示すように、点 S1と点 S2を結ぶ直線を pとし、点 S3と点 Pを結 ぶ直線を qとし、直線 pと qの交点を Rとするとき、まずは交点 Rの画素値 Irを点 S1と点 S2 の画素値（I1J2)の内揷値として定義する。具体的には、点 S1と交点 Rの距離を a、点 S 2と交点 Rの距離を bとするとき、 Ir=(b*Il+a*I2)/(a+b)で与えられる。
[0071] 次に、直線 q上の交点 Rと点 S3の画素値である画素値 Irと画素値 13から所望の点 P の画素値を内挿値として算出する。具体的には、図 9 (c)で示すように、交点 Rと点 P の距離を c、点 S3と点 Pの距離を dとするとき、点 Pの輝度値（画素値） Ipは、 Ip=(d*Ir+c* I3)/(c+d)で与えられる。
[0072] 最後に、図 4のステップ A6 (画像出力）において、歪を補正した映像がアナログ信 号あるいはデジタル信号として撮影装置外部に出力される。
[0073] これら一連の操作を毎フレームについて行なうことで、ビデオレート（1コマ /33ms )の映像として歪を補正した映像を得ることができる。また、ビデオレートの毎フレーム でユーザから与えられる映像取得位置に対応した処理を行うことで、毎フレームで異 なる位置の歪を補正した映像を得ることができる。
[0074] なお、テーブル書き換え部 5は、後述するように、本実施の形態では、撮影装置 10 0外部からの指示により、装置内に有する読み出し画素テーブル 3の内容を書き換え るものである。
[0075] 次に、テーブル書き換え部 5に与える読み出しテーブル書き換え情報 TRの生成を 行う読み出しテーブル書き換え情報生成装置 (以下、単に書き換え情報生成装置と いう）について説明する。なお、読み出しテーブル書き換え情報 TRは、撮影装置に 関して、レンズに合った読み出し画素テーブルを生成し、撮影装置に設定するため のものである。また、この書き換え情報生成装置は上述した撮影装置 100内部に構 成されても良レ、ことはレ、うまでもなレ、。
[0076] 図 10は、書き換え情報生成装置を示すブロック図である。テーブル書き換え情報 生成装置 200は、カメラ校正装置として構成され、全体映像入力部 201、カメラ校正 実施部 (本発明の歪量算出部） 202、読み出し画素テーブル生成部 (本発明の画素 テーブル生成部） 203、全画素撮影用読み出し画素テーブル生成部 204、読み出し 画素テーブル生成部 203と全画素撮影用読み出し画素テーブル生成部 204とのい ずれかの出力を選択して撮影装置 100に接続する切替部 205とを備える。
[0077] 以下、この書き換え情報生成装置の動作を図 10と共に、図 11に示すフローチヤ一 トを用いて説明する。
まずステップ C1 (歪補正なしの全体映像の撮影の設定）において、全体映像入力 部 201が撮影装置 (カメラ）で撮影される全体映像から歪補正を行なわない全体の映 像 (カメラ撮影視野全体の映像）を入力する。
[0078] このとき、切替部 205によって、全画素撮影用読み出し画素テーブル生成部 204が 選択され、この全画素撮影用読み出し画素テーブル生成部 204により、カメラ視野全 体を映像取得領域とするテーブルを読み出し画素アドレス発生部 2に設定する。また 、同時に全体映像が得られるように映像取得位置 PP(A)の信号を発生する。さらに、 歪補正部 4には歪補正を行わずに映像を出力するよう指示が行われる。これは例え ば、テーブルの補正方式選択パラメータや映像取得位置 PP(A)で指示することができ る。これにより、「撮影装置」からは歪補正を行なわない全体映像が全体映像入力部 201に入力される。
[0079] 続レ、て、ステップ C2 (校正パターンの撮影）におレ、て、全体映像を取得できる状態 でカメラ校正用の「校正パターン」を撮影し、これを全体映像入力部 201によりテープ ル書き換え情報生成装置 200に取り込む。
[0080] さらに、ステップ C3 (座標変換テーブル値の算出）において、撮影された校正パタ ーンの映像を使って、カメラ校正実施部 202により、レンズによる映像歪を取り除くた めの歪校正を行い、さらに装置 200外部より与えられる、画像を切り出す大きさを示 す「切り出しサイズ」と、「詳細映像取得位置」として切り出す位置を指定する場合の 分解能（図 5の n,m個）に相当する「切り出しステップ」に応じて、適宜読み出し画素テ 一ブルを、読み出し画素テーブル生成部 203で算出する。
[0081] 最後に、ステップ C4 (座標変換テーブルの書き込み）において、生成された読み出 し画素テーブルを撮影装置 100内の所定のメモリに書き出す。具体的には、切替部 205を読み出し画素テーブル生成部 203に切り替えた後、算出された読み出し画素 テーブルを撮影装置のテーブル書き換え部 5に送り、読み出し画素テーブル記憶部 3を書き換え設定する。
[0082] 上述したテーブル書き換え情報生成装置は、本発明のテーブル作成装置を構成し ている。
[0083] 実施の形態 2.
次に、本発明の実施の形態 2として、図 12を用いて本発明の映像処理装置につい て説明する。この映像処理装置 300は、実施の形態 1で説明した撮影装置からの映 像を入力する映像入力部 301と、映像入力部 301で得られた映像の一部領域を設 定する画像処理部 302と、画像処理部 302により設定された一部領域に対応して、 読み出し画素アドレス発生部 2で参照するテーブルをテーブル書き換え部 5で書き換 えるためのテーブル書き換え情報を生成する読み出し画素テーブル生成部（テープ ル書き換え情報生成部） 303を備えるとともに、画像処理部 302で設定された一部領 域から映像取得位置 PPを生成する部分映像取得位置生成部 304を備えている。
[0084] なお、画像処理部 302と部分映像取得位置生成部 304により本発明の領域設定 部が構成されている。
[0085] 以下、図 13のフローチャートを参照しつつ詳述すると、この映像処理装置 300は、 撮影装置 100より出力される部分映像を映像入力部 301で入力し (ステップ D1)、こ の映像を用いて画像処理部 302で画像処理を行い（ステップ D2)、その結果を画像 処理結果として装置外部に出力すると共に、画像処理の過程で新たな位置での部 分映像を取得する必要が発生した際には、その位置を部分映像取得位置生成部 30 4で算出し、その位置を撮影するよう部分映像取得位置を生成して撮影装置 100に 指示を出す (ステップ D3)。
[0086] また、そのとき、撮影する範囲の変更や歪補正のパラメータの変更などの必要性が 生じた場合には (ステップ D4、 Yes)、読み出し画素テーブル生成部 303によって、 具体的な読み出し画素テーブルの値を生成し (ステップ D 5)、それを撮影装置 100 に送ることで、適宜、部分的な映像の取得範囲や内容を変更する。
[0087] この映像取得位置や読み出し画素テーブルの書き換え操作は、任意のタイミング で行なえ、例えばフレームレート（30 s)毎に異なる設定を施すことも可能である。
[0088] なお、「新たな位置での部分映像を取得する必要が発生した際」につレ、ては、例え ば、映像の中で移動物体が検出された場合に、その移動物体を詳細に撮影するよう する場合が一例としてあげられる。移動物体の認識は、画像処理において、周知の 数多くの処理方法が知られており、ここでの説明は省略する。
[0089] 実施の形態 2によれば、魚眼レンズを代表とする広角レンズを装着した高解像度の 固体撮像素子 (CCDあるいは CMOS撮像素素）を持つ映像撮影装置にぉレ、て、撮影 される映像全体の任意の一部分、あるいは映像全体の映像をレンズによる映像歪の ない映像としてビデオレート（30fps)あるいはそれ以上のフレームレートで撮影するこ とができる。そして、映像の解像度も同時に変更することを効率的に行なえるので、レ ンズ歪を補正して人が目視する際に理解しやすい映像に変換した映像が装置より直 接得られることとなる。
[0090] なお、この出力映像の解像度を例えば通常の NTSCカメラのものと同程度の横 640 画素 X縦 480画素程度に抑えて出力することで、通常の TVモニタを用いて歪のない 高精細な映像を映すことができる。
[0091] 実施の形態 2によれば、単一のカメラ装置によって広範囲全体を撮影しつつ、任意 箇所は高解像度の映像として撮影できるので、例えば工場敷地内の広域を監視しつ つ、関心のある箇所のみ高精細の歪のない映像として TVモニタとして映し出す監視 カメラへ応用できる。
[0092] また、例えば広範囲にあるコンベア上を流れる物体に貼られた小さなシールに書か れた文字を読み取り、配送を管理する物流管理システムなど、この映像を画像処理 装置の入力とする画像処理一般に用いることができる。
[0093] 実施の形態 3.
上述した撮影装置 100は、図 14に示すように、撮像部 100aと映像生成部 100bに 二分した構成に分けることができる。撮像部 100aは、画素アレイ 1と読み出し画素ァ ドレス発生部 2によって構成される。
[0094] 撮像部 100aは外部（映像生成部）より与えられる順序で画素値を画素アレイから読 み出し、その一部分の画素値列（部分切り出し画素値歹 1J)をそのまま外部に出力する 機能に特化する。
[0095] 一方、映像生成部 100bは、読み出し画素アドレス発生部 2、読み出し画素テープ ル記憶部 3、歪補正部 4、およびテーブル書き換え部 5とにより構成される。
[0096] この映像生成部 100bでは、使用者から外部より指定された詳細映像取得位置 PP に応じて、画素アレイ 1から読み出しを必要とする画素座標の列を生成し、これを撮 像部（画素アレイ 1)に送り込むと共に、この送り出した順序で生成された部分切り出 し画素値列 Daを受け取り、この歪を持った映像から歪補正部 4で歪を補正した映像 を生成し、外部に出力するようにする。 [0097] 実施の形態 3によれば、撮影装置 100を撮像部 100aと映像生成部 100bとの二分 した構成とすることにより、読み出し画素テーブル記憶部 3や歪補正部 4を撮像部 10 Oaと別個に持つことができるということである。この構成の一例として、例えば映像生 成部 100bは汎用の PCなどにより構成することができる。
[0098] 上述したように、本発明の実施の形態によれば、魚眼レンズ (広角レンズ)を通して 結像した高密度（高解像度）の固体撮像素子上で、部分的に切り出す部分のサンプ リング形状を、切り出す場所毎に異なる広角レンズに起因の歪形状に合わせてサン プリングすると共に、出力される映像の解像度に合わせて適切に間引いたサンプリン グを行なうことで、歪によって切り出す領域自体の面積が大きくなつても、実際にサン プリングする画素数をほぼ一定とすることができ、切り出しにかかる時間は面積とは無 関係に低く抑えることができ、部分的な歪補正済み映像の出力レートはビデオレート を常に維持することが可能となる。
[0099] また、切り出す場所毎に異なる歪形状に合わせたサンプリングに、あらかじめ撮像 素子の位置と対応させて信号を読み出すための画素群 (位置 ·個数）を定めたテー ブルを用意しておき、このテーブルを装置外部より本撮影装置の稼働時に書き換え 可能とすることで、例えばレンズを変えた場合にもこのレンズに対応した画素読み出 しテーブルを簡単に構築できると共に、歪補正後の映像として出力される映像の範 囲（大きさ）を可変したい場合にも、座標変換テーブルの値を書き換えることで元の撮 像素子から読み出す画素の位置や個数を簡単に変更することを実現することができ る。
[0100] 上述した本発明の実施の形態において、各フローチャートに示したステップを撮影 プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって 、撮影方法をコンピュータに実行させることが可能となる。なお、上記コンピュータによ り読取り可能な記録媒体は、 CD— ROMやフレキシブルディスク、 DVDディスク、光 磁気ディスク、 ICカード等の可搬型記憶媒体や、コンピュータプログラムを保持する データベース、或レ、は、他のコンピュータ並びにそのデータベースや、更に回線上の 伝送媒体をも含むものである。
産業上の利用可能性 本発明によれば、フレームレートを向上させると共に、カメラに装着するレンズの変 更にも容易に対応することができるとレ、う効果を奏する。

Claims

請求の範囲
[1] 入力光を電気信号に変換する複数の画素を有する画素アレイと、
前記画素アレイ全体において撮像される全体映像の一部の領域であって、映像を 取得しょうとする映像取得領域に対応するテーブルを参照し、前記画素アレイの映 像取得領域に対応する画素の画素アドレスを発生して、該画素から画素値を読み出 す画素アドレス発生部と、
前記画素アドレス発生部により読み出された画素値を用いて映像の歪を補正する 補正部と、
前記テーブルを記憶するテーブル記憶部と、
前記テーブル記憶部に記憶されたテーブルを書き換えることができるテーブル書き 換え部と
を備えてなる撮影装置。
[2] 請求項 1に記載の撮影装置において、
前記画素アレイと前記画素アドレス発生部とは撮像部を構成し、前記補正部と前記 読み出し画素テーブル記憶部と前記テーブル書き換え部とは映像生成部を構成し、 前記撮像部と前記映像生成部とが個別に設けられることを特徴とする撮影装置。
[3] 請求項 1に記載の撮影装置にぉレ、て、
前記補正部で補正される映像の歪は、撮影レンズにより生じる映像の歪であり、 前記テーブルの画素アドレスは、前記映像取得領域に対応する映像の歪に基づい て設定されていることを特徴とする撮影装置。
[4] 請求項 1に記載の撮影装置において、
前記テーブルには、前記画素アドレスが前記映像取得領域に対応する映像の歪に 基づいて設定されると共に、前記補正部での補正に関する補正情報が設定されてい ることを特徴とする撮影装置。
[5] 請求項 1に記載の撮影装置において、
前記画素アレイから補正を行わない全体映像を取り込む全体映像入力部と、 前記全体映像入力部により得られた全体映像に基づいて、その部分領域ごとの映 像の歪量を算出する歪量算出部と、 前記歪量算出部により得られた歪量に基づいて部分領域対応の画素アドレスを生 成し、前記テーブルに記録される画素アドレスとする画素アドレス生成部と
を備えてレ、ることを特徴とする撮影装置。
[6] 請求項 1に記載の撮影装置において、
前記補正部からの映像を入力する映像入力部と、
前記映像入力部で得られた映像の一部領域を設定する領域設定部とを備え、 前記領域設定部により設定された前記一部領域に対応して、前記画素アドレス発 生部は、前記画素アドレスを発生するためのテーブルを選択することを特徴とする撮 影装置。
[7] 請求項 6に記載の撮影装置において、
前記領域設定部により設定された前記一部領域に対応して、前記テーブル書き換 え部により前記テーブルを書き換えるためのテーブル書き換え情報を生成するテー ブル書き換え情報生成部を備えることを特徴とする撮影装置。
[8] 入力光を電気信号に変換する画素アレイから、取得しょうとする映像領域に対応す る画素の画素値を画素アドレスが記録されたテーブルを参照して読み出すことで、前 記映像領域の映像を取得する撮影装置に適用されることができる撮影装置のテープ ル作成装置であって、
前記画素アレイから全体映像を取り込む全体映像入力部と、
前記全体映像入力部により得られた全体映像に基づいて、その部分領域ごとの映 像の歪量を算出する歪量算出部と、
前記歪量算出部により得られた歪量に基づいて部分領域対応の画素アドレスを生 成し、前記テーブルに記録される画素アドレスとする画素アドレス生成部と
を備えていることを特徴とする撮影装置のテーブル作成装置。
[9] 入力光を電気信号に変換する画素アレイから、取得しょうとする映像領域に対応す る画素の画素値を画素アドレスが記録されたテーブルを参照して読み出すことで、前 記映像領域の映像を取得すると共に、該映像の歪補正を行って出力する撮影装置 に適用されることができる映像処理装置であって、
前記撮影装置からの映像を入力する映像入力部と、 前記映像入力部で得られた映像の一部領域を設定する領域設定部と、 前記領域設定部により設定された前記一部領域に対応して、前記テーブルを書き 換えるためのテーブル書き換え情報を生成するテーブル書き換え情報生成部を備え てなる映像処理装置。
[10] 入力光を電気信号に変換する画素アレイから映像信号を得る撮影装置の撮影方 法であって、
前記画素アレイ全体において撮像される全体映像の一部の領域であって、映像を 取得しょうとする映像取得領域に対応するテーブルを参照し、前記画素アレイの映 像取得領域に対応する画素の画素アドレスを発生して、該画素から画素値を読み出 す画素アドレス発生ステップと、
前記画素アドレス発生部により読み出された画素値を用いて映像の歪を補正する 補正ステップと、
前記テーブルに記憶されたテーブルを書き換えることができるテーブル書き換えス テツプと
を備えてなる撮影方法。
[11] 請求項 10に記載の撮影方法において、
前記補正ステップで補正される映像の歪は、撮影レンズにより生じる映像の歪であ り、
前記テーブルの画素アドレスは、前記映像取得領域に対応する映像の歪に基づい て設定されていることを特徴とする撮影方法。
[12] 請求項 10に記載の撮影方法において、
前記テーブルには、前記画素アドレスが前記映像取得領域に対応する映像の歪に 基づいて設定されると共に、前記補正ステップでの補正に関する情報が設定されて レ、ることを特徴とする撮影方法。
[13] 請求項 10に記載の撮影方法において、
前記画素アレイから補正を行わない全体映像を取り込む全体映像入力ステップと、 前記全体映像入力ステップにより得られた全体映像に基づいて、その部分領域ご との映像の歪量を算出する歪量算出ステップと、 前記歪量算出ステップにより得られた歪量に基づいて部分領域対応の画素アドレ スを生成し、前記テーブルに記録される画素アドレスとする画素アドレス生成ステップ と
を備えてレ、ることを特徴とする撮影方法。
[14] 請求項 10に記載の撮影方法において、
前記補正ステップにより得られた映像を入力する映像入力ステップと、 前記映像入力ステップで得られた映像の一部領域を設定する領域設定ステップと を備え、
前記画素アドレス発生ステップは、前記領域設定部により設定された前記一部領 域に対応して、前記画素アドレスを発生するためのテーブルを選択することを特徴と する撮影方法。
[15] 請求項 14に記載の撮影方法において、
前記領域設定ステップにより設定された前記一部領域に対応して、前記テーブル を書き換えるためのテーブル書き換え情報を生成するテーブル書き換え情報生成ス テツプを備えることを特徴とする撮影方法。
[16] 入力光を電気信号に変換する画素アレイから、取得しょうとする映像領域に対応す る画素の画素値を画素アドレスが記録されたテーブルを参照して読み出すことで、前 記映像領域の映像を取得する撮影装置に適用されることができる撮影装置のテープ ル作成方法であって、
前記画素アレイから全体映像を取り込む全体映像入力ステップと、
前記全体映像入力ステップにより得られた全体映像に基づいて、その部分領域ご との映像の歪量を算出する歪量算出ステップと、
前記歪量算出ステップにより得られた歪量に基づいて部分領域対応の画素アドレ スを生成し、前記テーブルに記録される画素アドレスとする画素アドレス生成ステップ と
を備えていることを特徴とする撮影装置のテーブル作成方法。
[17] 入力光を電気信号に変換する画素アレイから、取得しょうとする映像領域に対応す る画素の画素値を画素アドレスが記録されたテーブルを参照して読み出すことで、前 記映像領域の映像を取得すると共に、該映像の歪補正を行って出力する撮影装置 に適用されることができる映像処理方法であって、
前記撮影装置からの映像を入力する映像入力ステップと、
前記映像入力ステップで得られた映像の一部領域を設定する領域設定ステップと 前記領域設定ステップにより設定された前記一部領域に対応して、前記テーブル を書き換えるためのテーブル書き換え情報を生成するテーブル書き換え情報生成ス テツプと
を備えてなる映像処理方法。
[18] 入力光を電気信号に変換する画素アレイから映像信号を得る撮影装置の撮影方 法をコンピュータに実行させる撮影プログラムであって、
前記画素アレイ全体において撮像される全体映像の一部の領域であって、映像を 取得しょうとする映像取得領域に対応するテーブルを参照し、前記画素アレイの映 像取得領域に対応する画素の画素アドレスを発生して、該画素から画素値を読み出 す画素アドレス発生ステップと、
前記画素アドレス発生部により読み出された画素値を用いて映像の歪を補正する 補正ステップと、
前記テーブルに記憶されたテーブルを書き換えることができるテーブル書き換えス テツプと
を備えてコンピュータに実行させることを特徴とする撮影プログラム。
[19] 請求項 18に記載の撮影プログラムにおいて、
前記画素アレイから補正を行わない全体映像を取り込む全体映像入力ステップと、 前記全体映像入力ステップにより得られた全体映像に基づいて、その部分領域ご との映像の歪量を算出する歪量算出ステップと、
前記歪量算出ステップにより得られた歪量に基づいて部分領域対応の画素アドレ スを生成し、前記テーブルに記録される画素アドレスとする画素アドレス生成ステップ と
を備えてコンピュータに実行させることを特徴とする撮影プログラム。 請求項 18に記載の撮影プログラムにおいて、
前記補正ステップにより得られた映像を入力する映像入力
前記映像入力ステップで得られた映像の一部領域を設定する領域設定. 前記領域設定ステップにより設定された前記一部領域に対応して、前記テーブル 書き換えステップにより前記テーブルを書き換えるためのテーブル書き換え情報を生 成するテーブル書き換え情報生成ステップと
を備えてコンピュータに実行させることを特徴とする撮影プログラム。
PCT/JP2006/305489 2006-03-20 2006-03-20 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 WO2007108081A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008506097A JPWO2007108081A1 (ja) 2006-03-20 2006-03-20 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法
PCT/JP2006/305489 WO2007108081A1 (ja) 2006-03-20 2006-03-20 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/305489 WO2007108081A1 (ja) 2006-03-20 2006-03-20 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法

Publications (1)

Publication Number Publication Date
WO2007108081A1 true WO2007108081A1 (ja) 2007-09-27

Family

ID=38522121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305489 WO2007108081A1 (ja) 2006-03-20 2006-03-20 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法

Country Status (2)

Country Link
JP (1) JPWO2007108081A1 (ja)
WO (1) WO2007108081A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012077544A1 (ja) * 2010-12-07 2012-06-14 コニカミノルタオプト株式会社 画像処理方法及び撮像装置
WO2012081367A1 (ja) * 2010-12-13 2012-06-21 株式会社ニコン 画像変換装置
JP2016025639A (ja) * 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 撮像装置、画像信号転送制御方法およびプログラム
WO2017086029A1 (ja) * 2015-11-20 2017-05-26 ソニー株式会社 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム
WO2022019026A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09294225A (ja) * 1996-02-27 1997-11-11 Ricoh Co Ltd 画像歪み補正用パラメータ決定方法及び撮像装置
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
JP2003298918A (ja) * 2002-03-29 2003-10-17 Toyota Central Res & Dev Lab Inc 画像変換方法及び画像変換装置
JP2004080545A (ja) * 2002-08-20 2004-03-11 Sony Corp 画像処理装置と画像処理システム及び画像処理方法
JP2004234379A (ja) * 2003-01-30 2004-08-19 Sony Corp 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置
JP2004328096A (ja) * 2003-04-22 2004-11-18 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005184397A (ja) * 2003-12-18 2005-07-07 Sumitomo Electric Ind Ltd 表示方法、表示システム、表示装置および撮影装置
JP2005279054A (ja) * 2004-03-30 2005-10-13 Olympus Corp 変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205273A (ja) * 1993-01-04 1994-07-22 Sony Corp 幾何補正内蔵ビデオカメラ
JP2001076132A (ja) * 1999-07-05 2001-03-23 Sony Corp 画像処理装置およびその方法
JP2001245277A (ja) * 2000-03-02 2001-09-07 Mitsubishi Electric Corp 画像変換装置
JP4513205B2 (ja) * 2000-12-20 2010-07-28 株式会社ニコン 電子カメラ、および画像処理プログラムの記録媒体
JP3991751B2 (ja) * 2002-04-09 2007-10-17 日本ビクター株式会社 固体撮像素子及びその読み出し方法
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09294225A (ja) * 1996-02-27 1997-11-11 Ricoh Co Ltd 画像歪み補正用パラメータ決定方法及び撮像装置
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
JP2003298918A (ja) * 2002-03-29 2003-10-17 Toyota Central Res & Dev Lab Inc 画像変換方法及び画像変換装置
JP2004080545A (ja) * 2002-08-20 2004-03-11 Sony Corp 画像処理装置と画像処理システム及び画像処理方法
JP2004234379A (ja) * 2003-01-30 2004-08-19 Sony Corp 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置
JP2004328096A (ja) * 2003-04-22 2004-11-18 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005184397A (ja) * 2003-12-18 2005-07-07 Sumitomo Electric Ind Ltd 表示方法、表示システム、表示装置および撮影装置
JP2005279054A (ja) * 2004-03-30 2005-10-13 Olympus Corp 変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012077544A1 (ja) * 2010-12-07 2012-06-14 コニカミノルタオプト株式会社 画像処理方法及び撮像装置
WO2012081367A1 (ja) * 2010-12-13 2012-06-21 株式会社ニコン 画像変換装置
JP2016025639A (ja) * 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 撮像装置、画像信号転送制御方法およびプログラム
WO2017086029A1 (ja) * 2015-11-20 2017-05-26 ソニー株式会社 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム
WO2022019026A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2007108081A1 (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP4513906B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2005509961A (ja) 較正を導き出す方法および画像処理の方法
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
US8036482B2 (en) Image processing apparatus and method, program, and recording medium
JP2021533507A (ja) 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体
JP2006295626A (ja) 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JP3817302B2 (ja) 画像生成装置
JP2010081002A (ja) 撮像装置
JPH02127877A (ja) 魚眼レンズを備えた電子スチルカメラ
JP2010193058A (ja) 撮像装置、撮像方法及び撮像プログラム
JP4930277B2 (ja) 撮像装置及びそのコンピュータプログラム
WO2007108081A1 (ja) 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法
JP4919836B2 (ja) 画像の歪曲補正を行う画像処理装置、撮像装置及び画像の歪曲補正方法
US20070216784A1 (en) Imaging apparatus, picked-up image correcting method, and program product
KR20110116387A (ko) 촬상 장치 및 영상 왜곡 보정 방법
CN107274352A (zh) 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统
US20080012964A1 (en) Image processing apparatus, image restoration method and program
JP2005045513A (ja) 画像処理装置及び歪補正方法
CN109791685B (zh) 图像处理装置、摄像系统、图像处理方法和图像处理程序
JPH0896118A (ja) 車両用周囲状況表示装置
JP6762775B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2017085466A (ja) 撮像装置、及びその制御方法
JP5645704B2 (ja) 画像処理装置、及びその制御方法
JP6664240B2 (ja) 撮像システム並びに撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06729457

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008506097

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06729457

Country of ref document: EP

Kind code of ref document: A1