WO2019167363A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019167363A1
WO2019167363A1 PCT/JP2018/043712 JP2018043712W WO2019167363A1 WO 2019167363 A1 WO2019167363 A1 WO 2019167363A1 JP 2018043712 W JP2018043712 W JP 2018043712W WO 2019167363 A1 WO2019167363 A1 WO 2019167363A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
angle
unit
wide
super
Prior art date
Application number
PCT/JP2018/043712
Other languages
English (en)
French (fr)
Inventor
英之 市橋
西　智裕
イーウェン ズー
昌俊 横川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/975,358 priority Critical patent/US20200402206A1/en
Publication of WO2019167363A1 publication Critical patent/WO2019167363A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This technology relates to an image processing apparatus, an image processing method, and a program, and enables a zoom operation to be performed seamlessly without degrading image quality from wide angle to telephoto.
  • an information processing terminal such as a portable electronic device such as a smartphone
  • the image quality of an imaging unit is lower than that of a single-lens reflex camera or the like due to downsizing and thinning.
  • a plurality of imaging units are provided to simultaneously generate a plurality of images with different image quality, for example, a first field angle and a second field angle narrower than the first field angle. Is disclosed.
  • An image processing apparatus includes a signal processing unit that performs super-resolution processing using a plurality of narrow angle images within a field angle range of the wide angle image with a wide angle image as a reference.
  • the signal processing unit uses a lens having a MTF (Modulation Transfer Function) higher than that of the first imaging unit with reference to a wide angle image (for example, a color image) acquired by the first imaging unit.
  • MTF Modulation Transfer Function
  • Super-resolution processing is performed using a plurality of narrow-angle images (for example, black and white images) acquired by the first imaging unit, that is, images having a narrow angle of view within the angle-of-view range of a wide-angle image.
  • the super-resolution processing uses the image of the region of interest set to the wide angle image and the narrow angle image according to the zoom magnification.
  • the control unit controls the signal processing unit so as to select an image having a field angle range corresponding to the zoom magnification indicated by the user operation from the image after super-resolution processing.
  • the signal processing unit extracts an image having a field angle range corresponding to the zoom magnification from the wide field angle image at the time of preview.
  • parallax compensation and motion compensation are performed according to the detection results of parallax from the wide-angle and narrow-angle images acquired at the same time and the motion detection results for each image of multiple narrow-angle images. This is performed for a plurality of narrow angle images.
  • the signal processing unit may use a plurality of wide-angle images in the super-resolution processing.
  • the parallax is detected from the wide-angle image and the narrow-angle image acquired at the same time, and the motions of the multiple wide-angle images are detected.
  • the motion of a corner image in the super-resolution processing, parallax compensation and motion compensation are performed for a plurality of narrow-angle images according to the detection result, and motion compensation is performed for a plurality of wide-angle images according to the detection result. Do it.
  • the second aspect of this technology is The signal processing unit performs super-resolution processing using a plurality of narrow-angle images within the angle-of-view range of the wide-angle image and having a narrower angle of view than the wide-angle image with reference to the wide-angle image.
  • the third aspect of this technology is A program that causes a computer to execute processing of an image acquired by an imaging unit, Using a wide-angle image and a plurality of narrow-angle images within the angle-of-view range of the wide-angle image and having a smaller angle of view than the wide-angle image on the basis of the wide-angle image And a procedure for performing the super-resolution processing in the computer.
  • FIG. 1 exemplifies the appearance of a device to which the image processing apparatus of this technique is applied.
  • FIG. 1 exemplifies the appearance of a device to which the image processing apparatus of this technique is applied.
  • an image processing apparatus is applied to an information processing terminal.
  • FIG. 1A shows the front side of the information processing terminal 10, and a display unit 53, a touch panel 54, and an operation unit 55 are provided on the front side.
  • FIG. 1B shows the back side of the information processing terminal 10, and a plurality of image pickup units, for example, two image pickup units 21-1 and 21-2 are provided on the back side.
  • FIG. 2 illustrates the configuration of the information processing terminal.
  • the information processing terminal 10 includes a plurality of imaging units, for example, two imaging units 21-1 and 21-2, a signal processing unit 30, a sensor unit 51, a communication unit 52, a display unit 53, a touch panel 54, an operation unit 55, and a storage unit 56. And a control unit 60.
  • the signal processing unit 30 constitutes an image processing apparatus of this technology.
  • the imaging units 21-1 and 21-2 are provided on the same surface side of the information processing terminal 10 as shown in FIG.
  • the imaging units 21-1 and 21-2 are configured using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and perform photoelectric conversion of light captured by a lens (not shown) to capture an image. Image data of the image is generated and output to the signal processing unit 30.
  • the imaging units 21-1 and 21-2 have characteristic differences, the imaging unit 21-1 has a wider angle of view than the imaging unit 21-2, and the imaging unit 21-2 has an imaging unit 21-1. Higher quality than.
  • the imaging area of the imaging unit 21-2 is configured to be included in the imaging area of the imaging unit 21-1.
  • the imaging area AR-2 of the imaging unit 21-2 is configured to be located at the center of the imaging area AR-1 of the imaging unit 21-1.
  • the captured image acquired by the imaging unit 21-1 is referred to as a wide angle image
  • the captured image acquired by the imaging unit 21-2 is referred to as a narrow angle image.
  • FIG. 4 illustrates a pixel array of the imaging unit.
  • FIG. 4A shows a pixel array of the imaging unit 21-1.
  • the imaging unit 21-1 is configured using, for example, a color filter in which a red (R) pixel, a blue (B) pixel, and a green (G) pixel are arranged in a Bayer array.
  • the Bayer array in the pixel unit of 2 ⁇ 2 pixels, two pixels at diagonal positions are green (G) pixels, and the remaining pixels are red (R) pixels and blue (B) pixels. That is, the imaging unit 21-1 has a configuration in which the pixel arrangement illustrated in FIG. 4A is repeated, and each pixel outputs an electrical signal based on the amount of incident light of any one of red, blue, and green color components. It is said that. Therefore, the imaging unit 21-1 generates image data of a color captured image in which each pixel indicates one of the three primary color (RGB) components.
  • FIG. 4B shows a pixel arrangement of the imaging unit 21-2.
  • the pixel arrangement shown in FIG. 4B is repeated, and each pixel is configured as a W (white) pixel that outputs an electric signal based on the amount of incident light in the entire wavelength region of visible light. Yes. Therefore, the imaging unit 21-2 generates image data of a monochrome captured image.
  • the imaging unit 21-2 is not limited to generating monochrome image data as image data of a captured image with higher image quality than the imaging unit 21-1, and may generate color image image data. .
  • the signal processing unit 30 uses a wide-angle image acquired by the imaging unit 21-1 as a reference within a plurality of narrow-angle images acquired by the imaging unit 21-2, that is, within an angle-of-view range of the wide-angle image. Super-resolution processing using a plurality of narrow-angle images with a narrow angle of view is performed. Further, the signal processing unit 30 generates a seamless zoom image from the wide angle to the telephoto by using an image in a field angle range corresponding to the zoom magnification from the image after the super-resolution processing, and displays the display unit 53 and the storage unit. To 56. The details of the configuration and operation of the signal processing unit 30 will be described later.
  • the sensor unit 51 is configured by using a gyro sensor or the like, and detects shaking generated in the information processing terminal 10.
  • the sensor unit 51 outputs the detected shake information to the control unit 60.
  • the communication unit 52 communicates with devices on a network such as a LAN (Local Area Network) or the Internet.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the display unit 53 displays a captured image based on the image data supplied from the signal processing unit 30, and displays a menu screen and various application screens based on the information signal from the control unit 60.
  • a touch panel 54 is placed on the display surface side of the display unit 53 so that the GUI function can be used.
  • the operation unit 55 is configured by using an operation switch or the like, and generates an operation signal corresponding to a user operation and outputs the operation signal to the control unit 60.
  • the storage unit 56 stores information generated by the information processing terminal 10, for example, image data supplied from the signal processing unit 30, and various types of information used for executing communication and applications in the information processing terminal 10.
  • the control unit 60 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory) (not shown), and the like.
  • the control unit 60 executes a program stored in the ROM or RAM, and controls the operation of each unit so that the information processing terminal 10 performs an operation according to a user operation on the user interface unit that is the touch panel 54 or the operation unit 55. Control.
  • the control unit 60 generates information related to the user operation, for example, zoom information indicating the zoom magnification set by the user or the like, and outputs the zoom information to the signal processing unit 30.
  • the information processing terminal 10 is not limited to the configuration shown in FIG. 2.
  • an encoding processing unit for encoding image data and storing it in the storage unit 56, a resolution conversion unit for matching the image data with the resolution of the display unit, etc. May be provided.
  • Embodiment of Image Processing Device> ⁇ 2-1. Configuration of First Embodiment>
  • the color image and the multi-frame black and white image acquired by the image capturing unit 21-2 are used for super-resolution. A case where processing is performed to generate a high-resolution color image will be described.
  • FIG. 5 illustrates the configuration of the first embodiment.
  • the signal processing unit 30 includes regions of interest (RIO: Region of interest) determination units 31-1 and 31-2, a parallax / motion vector detection unit 32, and a super-resolution processing unit 36.
  • regions of interest RIO: Region of interest
  • the region of interest (RIO: Region of Interest) determination unit 31-1 is an area necessary for display in a wide-angle color image captured by the imaging unit 21-1 based on the zoom magnification notified from the control unit 60. (Region of interest) is determined.
  • the region-of-interest determination unit 31-1 outputs the color image Ic1t0 of the region of interest to the parallax / motion vector detection unit 32 and the super-resolution processing unit 36.
  • the region of interest (RIO: RegionIOof Interest) determination unit 31-2 is based on the zoom magnification notified from the control unit 60, and is a region necessary for display in a monochrome captured image of a plurality of frames acquired by the imaging unit 21-2 ( Region of interest).
  • the region-of-interest determination unit 31-2 outputs the monochrome images Ic2t0 to Ic2tn of the region of interest to the parallax / motion vector detection unit 32 and the super-resolution processing unit 36.
  • the super-resolution processing can be performed more efficiently than the case where the super-resolution processing described later is performed using the entire image. it can.
  • the parallax / motion vector detection unit 32 captures an image of the imaging unit 21-1 from the image of the region of interest determined by the region of interest determination unit 31-1 and the image of the region of interest determined by the region of interest determination unit 31-2. The parallax of the unit 21-2 is detected. In addition, a motion vector based on the image acquired by the imaging unit 21-1 is detected for a plurality of frames of the region of interest determined by the region of interest determination unit 31-2. The parallax / motion vector detection unit 32 outputs the detected parallax and motion vector to the super-resolution processing unit 36.
  • the super-resolution processing unit 36 uses the wide-angle image acquired by the imaging unit 21-1 having a wider angle of view than the imaging unit 21-2 as a reference within the field-of-view range of the imaging unit 21-1.
  • Super-resolution processing is performed using a plurality of narrow-angle images acquired by the imaging unit 21-2 having a narrower angle of view than 21-1. In the super-resolution processing, a plurality of low resolution images at different times are added and fed back to generate a high resolution image.
  • FIG. 6 illustrates the configuration of the super-resolution processing unit.
  • the super-resolution processing unit 36 includes a compensation unit 361, a spatial filter 362, a downsampling unit 363, a subtraction unit 364, an upsampling unit 365, an inverse spatial filter 366, an addition unit 367, a buffer 368, and an image output unit 369. Yes.
  • the compensation unit 361 outputs the reference color image to the subtraction unit 364. Also, the compensation unit 361 performs parallax compensation and motion compensation on a plurality of black and white captured images based on the detection result of the parallax / motion vector detection unit, and outputs the result to the subtraction unit 364.
  • the spatial filter 362 performs a process of simulating the degradation of the spatial resolution on the image stored in the buffer 368.
  • convolution is performed on the image using a point spread function (Point Spread Function) measured in advance.
  • Point Spread Function Point Spread Function
  • the down-sampling unit 363 performs a down-sampling process on the image supplied from the spatial filter 362 to the same resolution as the monochrome captured image of the region of interest.
  • the subtraction unit 364 subtracts the image from the downsampling unit 363 for each pixel from the image from the compensation unit 361 to generate a difference image.
  • the subtraction unit 364 outputs the generated difference image to the upsampling unit 365.
  • the upsampling unit 365 sets the difference image supplied from the subtraction unit 364 to a resolution higher than that of the color captured image and the black and white captured image of the region of interest, and has the same resolution as that before the downsampling unit 363 performs the downsampling. Output to the inverse spatial filter 366.
  • the inverse spatial filter 366 performs a filtering process having a characteristic opposite to that of the spatial filter 362 on the difference image supplied from the upsampling unit 365, and outputs the filtered difference image to the addition unit 367.
  • the addition unit 367 adds the image stored in the buffer 368 and the difference image output from the inverse spatial filter 366, and outputs the result to the buffer 368 and the image output unit 369.
  • the buffer 368 stores the image supplied from the adding unit 367. Further, the buffer 368 outputs the stored image to the spatial filter 362 and the addition unit 367.
  • the image output unit 369 displays, from the super-resolved image, an image with a field angle range corresponding to the zoom magnification set by the user or the like, the display unit 53, the storage unit 56, and the like. To zoom in seamlessly from wide-angle to telephoto.
  • FIG. 7 is a flowchart showing the operation of the signal processing unit according to the first embodiment.
  • the signal processing unit acquires zoom information.
  • the signal processing unit acquires zoom information from the control unit 60 and proceeds to step ST2.
  • the signal processing unit sets a region of interest.
  • the region-of-interest determination unit 31-1 of the signal processing unit 30 is a region necessary for outputting an image with the zoom magnification indicated by the zoom information in the wide-angle color image captured by the image capturing unit 21-1. Determine the region of interest.
  • the region-of-interest determination unit 31-2 is a region of interest that is necessary for outputting an image with the zoom magnification indicated by the zoom information in the black and white captured image with the narrow angle of view acquired by the imaging unit 21-2. Determine the area.
  • the region-of-interest determination units 31-1 and 31-2 determine the region of interest and proceed to step ST3.
  • step ST3 the signal processing unit detects a parallax / motion vector.
  • the parallax / motion vector detection unit 32 of the signal processing unit 30 captures images based on the region of interest image determined by the region of interest determination unit 31-1 and the region of interest image determined by the region of interest determination unit 31-2.
  • the parallax of the imaging unit 21-2 with respect to the unit 21-1 is detected.
  • a motion vector is detected for each of a plurality of frame images of the region of interest determined by the region of interest determination unit 31-2, and the process proceeds to step ST4.
  • step ST4 the signal processing unit performs super-resolution processing.
  • the super-resolution processing unit 36 of the signal processing unit 30 performs a super-resolution process using the color captured image and the black and white captured image of a plurality of frames on the basis of the color image, and the imaging area of the imaging unit 21-2 is high. A color image having a resolution is generated, and the process proceeds to step ST5.
  • step ST5 the signal processing unit performs image output processing.
  • the super-resolution processing unit 36 of the signal processing unit 30 displays, from the image generated in step ST4, an image having a field angle range corresponding to the zoom magnification set by the user or the like.
  • the data is output to the unit 53, the storage unit 56, etc.
  • FIG. 8 shows an operation example of the first embodiment.
  • the region of interest is the entire image.
  • the signal processing unit 30 uses, for example, six monochrome images Ic2t0 to 6c acquired by the imaging unit 21-2 based on the color image Ic1t0 acquired by the imaging unit 21-1.
  • Super-resolution processing is performed using Ic2t5.
  • position correction and addition feedback processing of the black and white images Ic2t0 to Ic2t5 acquired by the imaging unit 21-2 based on the parallax and the motion vectors Wc1t0, c2t0 to Wc1t0, c2t5 are performed. Therefore, the imaging area AR-2 of the imaging unit 21-2 has high resolution.
  • the zoom operation can be performed seamlessly without degrading the image quality from the wide angle to the telephoto.
  • Second Embodiment> a case will be described in which a high-resolution color image is generated by super-resolution using a plurality of frames of color images and a plurality of frames of monochrome images having different viewpoints.
  • FIG. 9 illustrates the configuration of the second embodiment.
  • the signal processing unit 30 includes a region of interest (RIO) determination unit 31-1, 31-2, a motion detection unit 33, a parallax detection unit 34, a registration vector calculation unit 35, and super-resolution processing units 37, 38. have.
  • RIO region of interest
  • the region of interest (RIO: RegionIOofRegInterest) determination unit 31-1 displays a color image of a plurality of frames having a wide angle of view acquired by the imaging unit 21-1, based on the zoom magnification notified from the control unit 60. A necessary region (region of interest) is determined.
  • the region of interest determination unit 31-1 outputs the color images Ic1t0 to Ic1tn of the region of interest to the motion detection unit 33, the parallax detection unit 34, and the super-resolution processing unit 37.
  • the region of interest (RIO: RegionIOof Interest) determination unit 31-2 is based on the zoom magnification notified from the control unit 60, and is a region necessary for display in a monochrome captured image of a plurality of frames acquired by the imaging unit 21-2 ( Region of interest).
  • the region-of-interest determination unit 31-2 outputs the monochrome images Ic2t0 to Ic2tn of the region of interest to the parallax detection unit 34 and the super-resolution processing unit 38.
  • the motion detection unit 33 detects a motion vector for the color image Ic1t0 for each frame from a plurality of frames of the region of interest determined by the region of interest determination unit 31-1.
  • the motion detection unit 33 outputs the detected motion vector to the registration vector calculation unit 35 and the super-resolution processing unit 37.
  • the parallax detection unit 34 uses the image capturing unit 21-1 for the image capturing unit 21-1 based on the image of the region of interest determined by the region of interest determination unit 31-1 and the image of the region of interest determined by the region of interest determination unit 31-2. 2 parallax is detected.
  • the parallax detection unit 34 detects the parallax based on the color image Ic1t0 and the monochrome image Ic2t0 of the region of interest, for example, and outputs the detected parallax to the registration vector calculation unit 35.
  • the registration vector calculator 35 calculates a motion vector in the spatio-temporal direction that aligns the positions of the black and white images Ic2t0 to Ic2tn with respect to the reference color image Ic1t0.
  • the registration vector calculation unit 35 uses the motion vector detected by the motion detection unit 33 and the parallax detected by the parallax detection unit 34, and uses the black and white images Ic2t0 to Ic2tn as the viewpoint of the imaging unit 21-1, for each frame.
  • the vector is calculated and output to the super-resolution processing unit 38.
  • the calculation cost increases.
  • the motions of the black and white images Ic2t1 to Ic2tn are considered to be equal to the motions of the color images Ic1t1 to Ic2tn, and motion vectors Wc1t0, c2t0 to Wc1t0, c2tn are calculated and output to the super-resolution processing unit 38.
  • the super-resolution processing units 37 and 38 are configured similarly to the super-resolution processing unit 36 described above. In order to simplify the description, the super-resolution processing units 37 and 38 use the codes of the super-resolution processing unit 36.
  • the super-resolution processing unit 37 stores the high-resolution color image calculated by performing upsampling and inverse spatial filter processing on the color image Ic1t0 in the buffer 368 as the stored image Ic1s. Next, the accumulated image Ic1s in the buffer 368 is subjected to spatial filtering and downsampling, and is supplied to the subtraction unit 364 as an image Ic1sa.
  • the color image Ic1t1 is subjected to motion compensation by the compensation unit 361 based on the motion vector Wc1t0t1 detected by the motion detection unit 33, and is supplied to the subtraction unit 364.
  • the subtraction unit 364 calculates a difference image between the motion-compensated image Ic1t1a and the image Ic1sa subjected to spatial filtering and downsampling. This difference image is added to the accumulated image Ic1s in the buffer 368 after upsampling and inverse spatial filtering, and the added image is accumulated in the buffer 368 as a new accumulated image Ic1s.
  • the super-resolution processing unit 38 takes an image with a narrower angle of view than the imaging unit 21-1 within the field-of-view range of the imaging unit 21-1, with the super-resolution image SRc1t0 supplied from the super-resolution processing unit 37 as a reference.
  • Super-resolution processing is performed using a plurality of narrow-angle images (black and white images) Ic2t0 to Ic2tn acquired by the unit 21-2 and motion vectors Wc1t0, c2t0 to Wc1t0, c2tn calculated by the registration vector calculation unit 35. Do.
  • FIG. 10 is a flowchart illustrating the operation of the signal processing unit according to the second embodiment.
  • the signal processing unit acquires zoom information.
  • the signal processing unit acquires zoom information from the control unit 60 and proceeds to step ST12.
  • step ST12 the signal processing unit sets a region of interest.
  • the region-of-interest determination unit 31-1 of the signal processing unit 30 is an area necessary for display in a wide-angle color captured image acquired by the imaging unit 21-1 based on the zoom magnification notified from the control unit 60. Determine the area of interest.
  • the region-of-interest determination unit 31-2 determines a region of interest, which is a region necessary for display in a plurality of frames of black and white captured images acquired by the imaging unit 21-2, based on the zoom magnification notified from the control unit 60. Then, the process proceeds to step ST13.
  • step ST13 the signal processing unit performs motion detection.
  • the motion detection unit 33 of the signal processing unit 30 detects the motion for each frame from the color images of a plurality of frames of the region of interest determined by the region of interest determination unit 31-1, and proceeds to step ST14.
  • step ST14 the signal processing unit performs super-resolution processing.
  • the super-resolution processing unit 37 of the signal processing unit 30 performs addition feedback of a plurality of frames of color images, generates a color image having a higher resolution than the color image acquired by the imaging unit 21-1, and performs step ST15. Proceed to
  • step ST15 the signal processing unit performs parallax detection.
  • the parallax detection unit 34 of the signal processing unit 30 uses the imaging unit 21-1 based on the image of the region of interest determined by the region of interest determination unit 31-1 and the image of the region of interest determined by the region of interest determination unit 31-2.
  • the parallax of the imaging unit 21-2 is detected.
  • the parallax detection unit 34 detects the parallax based on the color image Ic1t0 and the black and white image Ic2t0 of the region of interest, for example, and proceeds to step ST15.
  • step ST16 the signal processing unit calculates a registration vector.
  • the registration vector calculation unit 35 of the signal processing unit 30 uses the black and white images Ic2t0 to Ic2tn as the viewpoint of the imaging unit 21-1 based on the motion vector detected in step ST13 and the parallax detected in step ST15, and the motion vector of each frame. Is calculated and output to the super-resolution processing unit 38.
  • step ST17 the signal processing unit performs super-resolution processing.
  • the super-resolution processing unit 38 of the signal processing unit 30 performs addition feedback of a plurality of frames of black-and-white images on the color image generated by the super-resolution processing of step ST14, and more than the color image generated in step ST14. Further, a high-resolution color image is generated, and the process proceeds to step ST18.
  • step ST18 the signal processing unit performs image output processing.
  • the super-resolution processing unit 36 of the signal processing unit 30 displays, from the image generated in step ST17, an image having a field angle range corresponding to the zoom magnification set by the user or the like.
  • the data is output to the unit 53, the storage unit 56, etc.
  • step ST15 and step ST16 may be performed after the processing of step ST15 and step ST16.
  • FIG. 11 shows an operation example of the second embodiment.
  • the region of interest is the entire image.
  • the signal processing unit 30 uses, for example, the five color images acquired by the imaging unit 21-1 with reference to the color image Ic1t0 acquired by the imaging unit 21-1.
  • Super-resolution processing is performed using Ic1t1 to Ic1t5.
  • position correction of the color images Ic1t1 to Ic1t5 are performed based on the motion vectors Wc1t0, c1t1 to Wc1t0, c1t5 detected by the motion detection unit 33.
  • the signal processing unit 30 performs super-resolution processing using, for example, the six monochrome images Ic2t0 to Ic2t5 acquired by the imaging unit 21-2 with reference to the color image Ic1t0 acquired by the imaging unit 21-1. Do.
  • position correction of the black and white images Ic2t0 to Ic2t5 are performed based on the motion vectors Wc1t0, c2t0 to Wc1t0, and c2t5 calculated by the registration vector calculation unit 35.
  • the imaging area AR-1 of the imaging unit 21-1 and the imaging area AR-2 of the imaging unit 21-2 are high resolution. Accordingly, as shown in FIG. 11B, a high-resolution color image can be output regardless of the zoom magnification, and a zoom operation can be performed seamlessly without degrading the image quality from wide angle to telephoto. It becomes like this.
  • the zoom operation can be performed seamlessly without degrading the image quality from the wide angle to the telephoto.
  • the registration vector calculation unit 35 calculates the registration vector on the assumption that the movements of the imaging unit 21-2 and the imaging unit 21-1 are the same, the registration unit calculation unit 35 uses each of the imaging unit 21-2 and the imaging unit 21-1. Compared to the case where motion is detected, the calculation cost can be reduced.
  • an imaging unit that does not acquire a plurality of images used for super-resolution processing uses an MTF (Modulation Transfer Function) lens that is less affected by aliasing distortion.
  • the imaging unit that acquires a plurality of images used for the super-resolution processing uses a lens having a higher MTF than the imaging unit that does not acquire the plurality of images, and performs a super-resolution processing on a high-resolution image that is not affected by aliasing distortion Generate by.
  • MTF Modulation Transfer Function
  • the imaging unit 21-2 that generates the monochrome images Ic2t0 to Ic2tn.
  • the imaging unit 21-1 that generates the color image Ic1t0 uses a lens having a lower MTF than the imaging unit 21-2 so that the influence of aliasing distortion is small.
  • FIG. 12 illustrates the spectral distribution.
  • the imaging unit 21-1 uses a lens having a low MTF so that the influence of aliasing distortion is small. Therefore, the image acquired by the imaging unit 21-1 is an image in which the aliasing distortion is not conspicuous as illustrated in FIG.
  • FIG. 12B illustrates the spectral distribution of the lens used in the imaging unit 21-1, and does not have a frequency component higher than the Nyquist frequency.
  • the Nyquist frequency is determined by the pixel size of the image sensor used in the imaging unit.
  • the imaging unit 21-2 uses a lens having a higher MTF than the imaging unit 21-1. Therefore, the image acquired by the imaging unit 21-2 is an image with aliasing distortion, as shown in FIG.
  • FIG. 12D illustrates the spectral distribution of the lens used in the imaging unit 21-2, and has a frequency component higher than the Nyquist frequency.
  • FIG. 12F illustrates the spectral distribution after the super-resolution processing.
  • a lens having a high MTF may be used not only for the imaging unit 21-2 but also for the imaging unit 21-1.
  • a lens having a high MTF is used in an imaging unit that acquires a plurality of images used for super-resolution processing, a high-resolution color image can be obtained as compared with a case where a lens having a low MTF is used. Be able to.
  • a comparison result with a threshold set for the MTF may be used.
  • the threshold value is a predetermined multiple of the Nyquist frequency (for example, a value larger than 1 and smaller than 2 times, preferably about 1.3 to 1.5 times).
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is not limited to an information processing terminal, but is an automobile, an electric car, a hybrid electric car, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may be realized as an apparatus mounted on any kind of moving body.
  • FIG. 13 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a sound image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 14 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 14 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the imaging units 12031, 12101, 12102, 12103, 12104, and 12105 use a plurality of imaging units, for example, the imaging units 21-1 and 21-2 shown in FIG. To do.
  • the signal processing unit 30 is provided in the integrated control unit 12010 of the application example shown in FIG. With such a configuration, even if the imaging units 12031, 12101, 12102, 12103, 12104, and 12105 are reduced in size and thickness, it is possible to acquire high-quality and wide-angle captured images and zoom images. It can be used for driving support and driving control.
  • the signal processing unit 30 may be realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 12010 illustrated in FIG.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • An image processing apparatus including a signal processing unit that performs super-resolution processing using a plurality of narrow angle images within a field angle range of the wide angle image with a wide angle image as a reference.
  • the image processing device according to (1), wherein the signal processing unit extracts an image in an angle range corresponding to a zoom magnification from the image after the super-resolution processing.
  • the signal processing unit sets a region of interest in the wide-angle image and the narrow-angle image according to the zoom magnification, and performs the super-resolution processing using the image of the region of interest ( The image processing apparatus according to 2).
  • the signal processing unit performs detection of parallax from the wide-angle image and the narrow-angle image acquired at the same time, and motion detection of the plurality of wide-angle images.
  • the motion of the corner image is the motion of the wide-angle image at the same time.
  • parallax compensation and motion compensation are performed on the plurality of narrow-angle images according to the detection result.
  • the image processing apparatus according to (6), wherein motion compensation is performed on the plurality of wide-angle images.
  • MTF Modulation Transfer Function
  • the wide-angle image image uses an MTF lens lower than the threshold value.
  • a first imaging unit that acquires the wide-angle image and a second imaging unit that acquires the narrow-angle image using a lens having an MTF higher than that of the first imaging unit ( The image processing apparatus according to any one of 1) to (9).
  • the image processing apparatus further includes a control unit that controls the signal processing unit so as to select an image having a field angle range corresponding to a zoom magnification indicated by a user operation from the image after the super-resolution processing.
  • the image processing apparatus according to any one of (10).
  • DESCRIPTION OF SYMBOLS 10 ... Information processing terminal 21-1, 21-2 ... Imaging part 30 ... Signal processing part 31-1, 31-2 ... Region-of-interest determination part 32 ... Parallax / motion vector detection part 33 ... Motion detection unit 34 ... Parallax detection unit 35 ... Registration vector calculation unit 36, 37, 38 ... Super-resolution processing unit 51 ... Sensor unit 52 ... Communication unit 53 -Display unit 54 ... Touch panel 55 ... Operation unit 56 ... Storage unit 60 ... Control unit 361 ... Compensation unit 362 ... Spatial filter 363 ... Downsampling unit 364 ... Subtraction unit 365 ... Upsampling unit 366 ... Inverse spatial filter 367 ... Addition unit 368 ... Buffer 369 ... Image output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

信号処理部３０は、撮像部２１-1で取得された広画角画像を基準として、撮像部２１-1よりもＭＴＦ（Modulation Transfer Function）の高いレンズを用いた撮像部２１-2で取得された複数の狭画角画像用いて超解像処理を行う。制御部６０は、超解像処理後の画像から、ユーザ操作によって示されたズーム倍率に応じた画角範囲の画像を選択するように信号処理部３０を制御する。超解像処理では、同時刻に取得された広画角画像と狭画角画像から視差の検出結果と、複数の狭画角画像の画像毎の動き検出結果に応じて視差補償および動き補償を複数の狭画角画像に対して行う。撮像部の性能を超えた撮像画を取得できるようになる。

Description

画像処理装置と画像処理方法およびプログラム
　この技術は、画像処理装置と画像処理方法およびプログラムに関し、広角から望遠まで画質を低下させることなくシームレスにズーム動作を行うことができるようにする。
　従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の画質が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。
特開２０１３－２１９５２５号公報
　ところで、特許文献１のように複数の撮像部を設けただけでは、撮像部の性能を超えた撮像画を取得できない。
　そこで、この技術では撮像部の性能を超えた撮像画を取得できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　広画角画像を基準として、前記広画角画像の画角範囲内で画角の狭い複数の狭画角画像を用いた超解像処理を行う信号処理部
を備える画像処理装置にある。
　この技術において、信号処理部は、第１の撮像部で取得された広画角画像（例えばカラー画像）を基準として、第１の撮像部よりもＭＴＦ（Modulation Transfer Function）の高いレンズを用いた第１の撮像部で取得された複数の狭画角画像（例えば白黒画像）、すなわち広画角画像の画角範囲内で画角の狭い画像を用いて超解像処理を行う。超解像処理は、ズーム倍率に応じて広画角画像と狭画角画像に設定された関心領域の画像を用いる。
　制御部は、超解像処理後の画像から、ユーザ操作によって示されたズーム倍率に応じた画角範囲の画像を選択するように信号処理部を制御する。また、信号処理部は、プレビュー時に、広画角画像からズーム倍率に応じた画角範囲の画像を取り出す。
　超解像処理では、同時刻に取得された広画角画像と狭画角画像から視差の検出結果と、複数の狭画角画像の画像毎の動き検出結果に応じて視差補償および動き補償を複数の狭画角画像に対して行う。
　また、信号処理部は、超解像処理において、広画角画像を複数用いてもよい。この場合、同時刻に取得された広画角画像と狭画角画像から視差の検出と、複数の広画角画像の動き検出を行い、複数の狭画角画像の動きは同時刻の広画角画像の動きとして、超解像処理では、検出結果に応じて視差補償および動き補償を複数の狭画角画像に対して行い、検出結果に応じて動き補償を複数の広画角画像に対して行う。
　この技術の第２の側面は、
　広画角画像を基準として、前記広画角画像の画角範囲内であって前記広画角画像よりも画角の狭い複数の狭画角画像を用いた超解像処理を信号処理部で行うこと
を含む画像処理方法にある。
　この技術の第３の側面は、
　撮像部で取得された画像の処理をコンピュータで実行させるプログラムであって、
　広画角画像を取得する手順と
　前記広画角画像を基準として、前記広画角画像の画角範囲内であって前記広画角画像よりも画角の狭い複数の狭画角画像を用いて超解像処理を行う手順と
を前記コンピュータで実行させるプログラムにある。
　この技術によれば、広画角画像を基準として、広画角画像の画角範囲内で画角の狭い複数の狭画角画像を用いた超解像処理が行われる。したがって、撮像部の性能を超えた撮像画を取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 撮像領域を例示した図である。 撮像部の画素配列を例示した図である。 第１の実施の形態の構成を例示した図である。 超解像処理部の構成を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 第１の実施の形態の動作例を示した図である。 第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を示すフローチャートである。 第２の実施の形態の動作例を示した図である。 スペクトル分布を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像処理装置を適用した機器の構成
　２．画像処理装置の実施の形態
　　２－１．第１の実施の形態の構成
　　２－２．第１の実施の形態の動作
　　２－３．第２の実施の形態の構成
　　２－４．第２の実施の形態の動作
　　２－５．第３の実施の形態
　　２－６．他の実施の形態
　３．応用例
　＜１．画像処理装置を適用した機器の構成＞
　図１は、この技術の画像処理装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に画像処理装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部５３やタッチパネル５４および操作部５５が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-1，２１-2が裏側に設けられている。
　図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-1，２１-2、信号処理部３０、センサ部５１、通信部５２、表示部５３、タッチパネル５４、操作部５５、記憶部５６、および制御部６０を有している。信号処理部３０はこの技術の画像処理装置を構成する。
　撮像部２１-1，２１-2は、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-1，２１-2は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して信号処理部３０へ出力する。また、撮像部２１-1，２１-2は特性差を有しており、撮像部２１-1は撮像部２１-2よりも広画角であり、撮像部２１-2は撮像部２１-1よりも高画質である。また、撮像部２１-2の撮像領域は、撮像部２１-1の撮像領域に含まれるように構成されている。図３は、撮像領域を例示しており、撮像部２１-2の撮像領域ＡＲ-2は、撮像部２１-1の撮像領域ＡＲ-1の中央に位置するように構成されている。なお、以下の説明では、撮像部２１-1で取得された撮像画を広画角画像、撮像部２１-2で取得された撮像画を狭画角画像とよぶ。
　図４は、撮像部の画素配列を例示している。図４の（ａ）は、撮像部２１-1の画素配列を示している。撮像部２１-1は、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、撮像部２１-1は、図４の（ａ）に示す画素配列が繰り返されて、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する構成とされている。したがって、撮像部２１-1は、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー撮像画の画像データを生成する。
　図４の（ｂ）は、撮像部２１-2の画素配列を示している。撮像部２１-2は、図４の（ｂ）に示す画素配列が繰り返されて、各画素は可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素として構成されている。したがって、撮像部２１-2は、白黒撮像画の画像データを生成する。なお、撮像部２１-2は、撮像部２１-1よりも高画質である撮像画の画像データとして白黒画像の画像データを生成する場合に限らず、カラー画像の画像データを生成してもよい。
　信号処理部３０は、撮像部２１-1で取得された広画角画像を基準として、撮像部２１-2で取得された複数の狭画角画像、すなわち広画角画像の画角範囲内で画角の狭い複数の狭画角画像を用いた超解像処理を行う。さらに、信号処理部３０は、超解像処理後の画像からズーム倍率に応じた画角範囲の画像を用いることで、広角から望遠までシームレスなズーム画像を生成して、表示部５３や記憶部５６へ出力する。なお、信号処理部３０の構成および動作の詳細については後述する。
　センサ部５１はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部５１は、検出した揺れの情報を制御部６０へ出力する。
　通信部５２は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。
　表示部５３は、信号処理部３０から供給された画像データに基づき撮像画の表示、制御部６０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部５３の表示面側にはタッチパネル５４が載置されており、ＧＵＩ機能利用できるように構成されている。
　操作部５５は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部６０へ出力する。
　記憶部５６は、情報処理端末１０で生成された情報例えば信号処理部３０から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。
　制御部６０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部６０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル５４や操作部５５であるユーザインタフェース部に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。また、制御部６０は、ユーザ操作に関する情報、例えばユーザ等によって設定されたズーム倍率を示すズーム情報を生成して信号処理部３０へ出力する。
　なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部５６に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。
　＜２．画像処理装置の実施の形態＞
　＜２－１．第１の実施の形態の構成＞
　第１の実施の形態では、撮像部２１-1で取得されたカラー撮像画を基準として、このカラー撮像画と撮像部２１-2で取得された複数フレームの白黒撮像画を用いて超解像処理を行い、高解像度のカラー画像を生成する場合について説明する。
　図５は、第１の実施の形態の構成を例示している。信号処理部３０は、関心領域（ＲＩＯ:Region of Interest）決定部３１-1，３１-2、視差・動きベクトル検出部３２、超解像処理部３６を有している。
　関心領域（ＲＩＯ:Region of Interest）決定部３１-1は、制御部６０から通知されたズーム倍率に基づき、撮像部２１-1で取得された広画角のカラー撮像画における表示に必要な領域（関心領域）を決定する。関心領域決定部３１-1は、関心領域のカラー画像Ｉc1t0を視差・動きベクトル検出部３２と超解像処理部３６へ出力する。
　関心領域（ＲＩＯ:Region of Interest）決定部３１-2は、制御部６０から通知されたズーム倍率に基づき、撮像部２１-2で取得された複数フレームの白黒撮像画における表示に必要な領域（関心領域）を決定する。関心領域決定部３１-2は、関心領域の白黒画像Ｉc2t0～Ｉc2tnを視差・動きベクトル検出部３２と超解像処理部３６へ出力する。
　このように関心領域決定部３１-1，３１-2で関心領域を設定すれば、画像全体を用いて後述する超解像処理を行う場合に比べて、効率よく超解像処理を行うことができる。
　視差・動きベクトル検出部３２は、関心領域決定部３１-1で決定された関心領域の画像と、関心領域決定部３１-2で決定された関心領域の画像から、撮像部２１-1に対する撮像部２１-2の視差を検出する。また、関心領域決定部３１-2で決定された関心領域の複数フレームの画像について、撮像部２１-1で取得された画像を基準とした動きベクトルを検出する。視差・動きベクトル検出部３２は、検出した視差と動きベクトルを超解像処理部３６へ出力する。
　超解像処理部３６は、撮像部２１-2よりも広画角である撮像部２１-1で取得された広画角画像を基準として、撮像部２１-1の画角範囲内で撮像部２１-1よりも画角の狭い撮像部２１-2で取得された複数の狭画角画像を用いて超解像処理を行う。超解像処理では、異なる時刻の複数枚の低解像度画像を加算フィードバックすることで、高解像度画像を生成する。
　図６は、超解像処理部の構成を例示している。超解像処理部３６は、補償部３６１、空間フィルタ３６２、ダウンサンプリング部３６３、減算部３６４、アップサンプリング部３６５、逆空間フィルタ３６６、加算部３６７、バッファ３６８、画像出力部３６９を有している。
　補償部３６１は、基準とするカラー撮像画を減算部３６４へ出力する。また、補償部３６１は、複数フレームの白黒撮像画に対して視差・動きベクトル検出部の検出結果に基づき視差補償および動き補償を行い減算部３６４へ出力する。
　空間フィルタ３６２は、バッファ３６８に記憶されている画像に対して、空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Point Spread Function）をフィルタとして画像へ畳み込みを行う。
　ダウンサンプリング部３６３は、空間フィルタ３６２から供給された画像を関心領域の白黒撮像画と同じ解像度までダウンサンプリング処理を行う。
　減算部３６４は、補償部３６１からの画像から、ダウンサンプリング部３６３からの画像を画素毎に減算して差分画像を生成する。減算部３６４は、生成した差分画像をアップサンプリング部３６５へ出力する。
　アップサンプリング部３６５は、減算部３６４から供給された差分画像を、関心領域のカラー撮像画や白黒撮像画より高解像であり、ダウンサンプリング部３６３でダウンサンプリングが行われる前と等しい解像度として、逆空間フィルタ３６６へ出力する。
　逆空間フィルタ３６６は、アップサンプリング部３６５から供給された差分画像に対して、空間フィルタ３６２とは逆特性のフィルタ処理を行い、フィルタ後の差分画像を加算部３６７へ出力する。
　加算部３６７は、バッファ３６８に記憶されている画像と、逆空間フィルタ３６６から出力された差分画像を加算して、バッファ３６８と画像出力部３６９へ出力する。
　バッファ３６８は、加算部３６７から供給された画像を記憶する。また、バッファ３６８は、記憶している画像を空間フィルタ３６２や加算部３６７へ出力する。
　画像出力部３６９は、制御部６０からのズーム情報に基づき、超解像処理後の画像からユーザ等によって設定されたズーム倍率に応じた画角範囲の画像を、表示部５３や記憶部５６等へ出力することで、広角から望遠までシームレスなズーム動作を行う。
　＜２－２．第１の実施の形態の動作＞
　図７は、信号処理部の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で信号処理部はズーム情報を取得する。信号処理部は、制御部６０からズーム情報を取得してステップＳＴ２に進む。
　ステップＳＴ２で信号処理部は関心領域を設定する。信号処理部３０の関心領域決定部３１-1は、撮像部２１-1で取得された広画角のカラー撮像画において、ズーム情報で示されたズーム倍率の画像を出力するために必要な領域である関心領域を決定する。また、関心領域決定部３１-2は、撮像部２１-2で取得された狭画角の白黒撮像画において、ズーム情報で示されたズーム倍率の画像を出力するために必要な領域である関心領域を決定する。関心領域決定部３１-1，３１-2は、関心領域を決定してステップＳＴ３に進む。
　ステップＳＴ３で信号処理部は視差・動きベクトルを検出する。信号処理部３０の視差・動きベクトル検出部３２は、関心領域決定部３１-1で決定された関心領域の画像と、関心領域決定部３１-2で決定された関心領域の画像に基づき、撮像部２１-1に対する撮像部２１-2の視差を検出する。また、関心領域決定部３１-2で決定された関心領域の複数フレーム画像毎に動きベクトルを検出してステップＳＴ４に進む。
　ステップＳＴ４で信号処理部は超解像処理を行う。信号処理部３０の超解像処理部３６は、カラー画像を基準として、このカラー撮像画と複数フレームの白黒撮像画を用いて超解像処理を行い、撮像部２１-2の撮像領域が高解像度とされたカラー画像を生成してステップＳＴ５に進む。
　ステップＳＴ５で信号処理部は画像出力処理を行う。信号処理部３０の超解像処理部３６は、制御部６０からのズーム情報に基づき、ステップＳＴ４で生成した画像から、ユーザ等によって設定されたズーム倍率に応じた画角範囲の画像を、表示部５３や記憶部５６等へ出力する。
　図８は、第１の実施の形態の動作例を示している。なお、説明を簡単とするため、関心領域は画像全体としている。信号処理部３０は、図８の（ａ）に示すように、例えば撮像部２１-1で取得されたカラー画像Ｉc1t0を基準として、撮像部２１-2で取得された６枚の白黒画像Ｉc2t0～Ｉc2t5を用いて超解像処理を行う。なお、超解像処理では、視差と動きベクトルＷc1t0,c2t0～Ｗc1t0,c2t5に基づき撮像部２１-2で取得された白黒画像Ｉc2t0～Ｉc2t5の位置補正や加算フィードバック処理等を行う。したがって、撮像部２１-2の撮像領域ＡＲ-2は高解像となる。すなわち、図８の（ｂ）に示すように、ズーム倍率が１倍であるときは、撮像部２１-2の撮像領域ＡＲ-2の画像が高解像度とされた広画角のカラー画像が出力される。また、ズーム倍率が高くなりズーム範囲が撮像部２１-2の撮像領域ＡＲ-2と一致するＺａ倍であるときは、高解像度のカラー画像が出力される。さらに、ズーム倍率がＺａ倍よりも高いＺｂ倍となると、撮像部２１-1の撮像領域ＡＲ-1および撮像部２１-2の撮像領域ＡＲ-2が重複する領域からズーム倍率に応じた領域の画像が出力される。すなわち、撮像部２１-1の撮像領域と撮像部２１-2の撮像領域との重複領域の画像は、超解像処理によって生成された画像であることから、従来よりも高解像度のカラー画像を出力することができる。
　したがって、第１の実施の形態によれば、広角から望遠まで画質を低下させることなくシームレスにズーム動作を行うことができるようになる。
　＜２－３．第２の実施の形態の構成＞
　第２の実施の形態では、複数フレームのカラー画像と、視点の異なる複数フレームの白黒画像を用いて超解像により高解像度のカラー画像を生成する場合について説明する。
　図９は、第２の実施の形態の構成を例示している。信号処理部３０は、関心領域（ＲＩＯ:Region of Interest）決定部３１-1，３１-2、動き検出部３３、視差検出部３４、レジストレーションベクトル算出部３５、超解像処理部３７，３８を有している。
　関心領域（ＲＩＯ:Region of Interest）決定部３１-1は、制御部６０から通知されたズーム倍率に基づき、撮像部２１-1で取得された広画角である複数フレームのカラー撮像画における表示に必要な領域（関心領域）を決定する。関心領域決定部３１-1は、関心領域のカラー画像Ｉc1t0～Ｉc1tnを動き検出部３３と視差検出部３４および超解像処理部３７へ出力する。
　関心領域（ＲＩＯ:Region of Interest）決定部３１-2は、制御部６０から通知されたズーム倍率に基づき、撮像部２１-2で取得された複数フレームの白黒撮像画における表示に必要な領域（関心領域）を決定する。関心領域決定部３１-2は、関心領域の白黒画像Ｉc2t0～Ｉc2tnを視差検出部３４と超解像処理部３８へ出力する。
　動き検出部３３は、関心領域決定部３１-1で決定された関心領域の複数フレームの画像からフレーム毎にカラー画像Ｉc1t0に対する動きベクトルを検出する。動き検出部３３は、検出した動きベクトルを、レジストレーションベクトル算出部３５と超解像処理部３７へ出力する。
　視差検出部３４は、関心領域決定部３１-1で決定された関心領域の画像と、関心領域決定部３１-2で決定された関心領域の画像から、撮像部２１-1に対する撮像部２１-2の視差を検出する。視差検出部３４は、例えば関心領域のカラー画像Ｉc1t0と白黒画像Ｉc2t0に基づき視差を検出して、検出した視差をレジストレーションベクトル算出部３５へ出力する。
　レジストレーションベクトル算出部３５は、基準とするカラー画像Ｉc1t0に対して白黒画像Ｉc2t0～Ｉc2tnの位置をあわせる時空間方向の動きベクトルを算出する。レジストレーションベクトル算出部３５は、動き検出部３３で検出された動きベクトルと視差検出部３４で検出された視差を用いて、白黒画像Ｉc2t0～Ｉc2tnを撮像部２１-1の視点としてフレーム毎の動きベクトルを算出して超解像処理部３８へ出力する。ここで、複数フレームの白黒画像Ｉc2t0～Ｉc2tnについて、基準とするカラー画像Ｉc1t0に対する動きベクトルを検出すると演算コストが高くなる。したがって、白黒画像Ｉc2t1～Ｉc2tnの動きは、カラー画像Ｉc1t1～Ｉc2tnの動きと等しいと見なして、動きベクトルＷc1t0,c2t0～Ｗc1t0,c2tnを算出して超解像処理部３８へ出力する。
　超解像処理部３７，３８は、上述の超解像処理部３６と同様に構成されている。なお、説明を簡単とするため、超解像処理部３７，３８では超解像処理部３６の符号を用いる。
　超解像処理部３７は、カラー画像Ｉc1t0についてアップサンプリングや逆空間フィルタ処理を行うことにより算出された高解像のカラー画像をバッファ３６８に蓄積画像Ｉc1sとして蓄積する。次に、バッファ３６８の蓄積画像Ｉc1sは、空間フィルタ処理やダウンサンプリングが行われて画像Ｉc1saとして減算部３６４に供給される。
　カラー画像Ｉc1t1は、動き検出部３３で検出された動きベクトルＷc1t0t1に基づき補償部３６１で動き補償が行われて、減算部３６４に供給される。
　減算部３６４は、動き補償後の画像Ｉc1t1aと空間フィルタ処理やダウンサンプリングが行われた画像Ｉc1saとの差分画像を算出する。この差分画像は、アップサンプリングや逆空間フィルタ処理が行われたのちバッファ３６８の蓄積画像Ｉc1sと加算されて、加算後の画像がバッファ３６８に新たな蓄積画像Ｉc1sとして蓄積される。
　その後、同様な処理が複数フレーム分の最後のカラー画像Ｉc1tnまで繰り返し行われて、動き補償後の画像Ｉc1tnaと、空間フィルタ処理やダウンサンプリングが行われた画像Ｉc1saとの差分画像が算出されて、この差分画像についてアップサンプリングや逆空間フィルタ処理を行うことにより算出された画像に、バッファ３６８の蓄積画像Ｉc1sが加算されて、加算後の画像が超解像処理部３７から超解像画像ＳＲc1t0として超解像処理部３８へ出力される。
　超解像処理部３８は、超解像処理部３７から供給された超解像画像ＳＲc1t0を基準として、撮像部２１-1の画角範囲内で撮像部２１-1よりも画角の狭い撮像部２１-2で取得された複数の狭画角画像（白黒画像）Ｉc2t0～Ｉc2tnと、レジストレーションベクトル算出部３５で算出された動きベクトルＷc1t0,c2t0～Ｗc1t0,c2tnを用いて超解像処理を行う。
　＜２－４．第２の実施の形態の動作＞
　図１０は、信号処理部の第２の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で信号処理部はズーム情報を取得する。信号処理部は、制御部６０からズーム情報を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で信号処理部は関心領域を設定する。信号処理部３０の関心領域決定部３１-1は、制御部６０から通知されたズーム倍率に基づき、撮像部２１-1で取得された広画角のカラー撮像画における表示に必要な領域である関心領域を決定する。また、関心領域決定部３１-2は、制御部６０から通知されたズーム倍率に基づき、撮像部２１-2で取得された複数フレームの白黒撮像画における表示に必要な領域である関心領域を決定してステップＳＴ１３に進む。
　ステップＳＴ１３で信号処理部は動き検出を行う。信号処理部３０の動き検出部３３は、関心領域決定部３１-1で決定された関心領域の複数フレームのカラー画像から、フレーム毎に動きを検出してステップＳＴ１４へ進む。
　ステップＳＴ１４で信号処理部は超解像処理を行う。信号処理部３０の超解像処理部３７は、複数フレームのカラー画像の加算フィードバック等を行い、撮像部２１-1で取得されたカラー画像よりも高解像のカラー画像を生成してステップＳＴ１５に進む。
　ステップＳＴ１５で信号処理部は視差検出を行う。信号処理部３０の視差検出部３４は、関心領域決定部３１-1で決定された関心領域の画像と、関心領域決定部３１-2で決定された関心領域の画像から、撮像部２１-1に対する撮像部２１-2の視差を検出する。視差検出部３４は、例えば関心領域のカラー画像Ｉc1t0と白黒画像Ｉc2t0に基づき視差を検出してステップＳＴ１５に進む。
　ステップＳＴ１６で信号処理部はレジストレーションベクトルを算出する。信号処理部３０のレジストレーションベクトル算出部３５は、ステップＳＴ１３で検出された動きベクトルとステップＳＴ１５で検出した視差に基づき、白黒画像Ｉc2t0～Ｉc2tnを撮像部２１-1の視点として各フレームの動きベクトルを算出して超解像処理部３８へ出力する。
　ステップＳＴ１７で信号処理部は超解像処理を行う。信号処理部３０の超解像処理部３８は、ステップＳＴ１４の超解像処理で生成されたカラー画像に、複数フレームの白黒画像の加算フィードバック等を行い、ステップＳＴ１４で生成されたカラー画像よりもさらに高解像のカラー画像を生成してステップＳＴ１８に進む。
　ステップＳＴ１８で信号処理部は画像出力処理を行う。信号処理部３０の超解像処理部３６は、制御部６０からのズーム情報に基づき、ステップＳＴ１７で生成した画像から、ユーザ等によって設定されたズーム倍率に応じた画角範囲の画像を、表示部５３や記憶部５６等へ出力する。
　なお、第２の実施の形態の動作は、図１０に示すステップ順に限らず、例えばステップＳＴ１５とステップＳＴ１６の処理を行ってからステップＳＴ１４の処理とステップＳＴ１７の処理を行ってもよい。
　図１１は、第２の実施の形態の動作例を示している。なお、説明を簡単とするため、関心領域は画像全体としている。信号処理部３０は、図１１の（ａ）に示すように、例えば撮像部２１-1で取得されたカラー画像Ｉc1t0を基準として、その後に撮像部２１-1で取得された５枚のカラー画像Ｉc1t1～Ｉc1t5を用いて超解像処理を行う。なお、超解像処理では、動き検出部３３で検出した動きベクトルＷc1t0,c1t1～Ｗc1t0,c1t5に基づきカラー画像Ｉc1t1～Ｉc1t5の位置補正や加算フィードバック処理等を行う。
　その後、信号処理部３０は、例えば撮像部２１-1で取得されたカラー画像Ｉc1t0を基準として、撮像部２１-2で取得された６枚の白黒画像Ｉc2t0～Ｉc2t5を用いて超解像処理を行う。なお、超解像処理では、レジストレーションベクトル算出部３５で算出された動きベクトルＷc1t0,c2t0～Ｗc1t0,c2t5に基づき白黒画像Ｉc2t0～Ｉc2t5の位置補正や加算フィードバック処理等を行う。
　したがって、撮像部２１-1の撮像領域ＡＲ-1と撮像部２１-2の撮像領域ＡＲ-2は高解像となる。したがって、図１１の（ｂ）に示すように、ズーム倍率に係らず高解像度のカラー画像を出力することが可能となり、広角から望遠まで画質を低下させることなくシームレスにズーム動作を行うことができるようになる。
　したがって、第２の実施の形態によれば、第１の実施の形態と同様に、広角から望遠まで画質を低下させることなくシームレスにズーム動作を行うことができるようになる。
　また、レジストレーションベクトル算出部３５は、撮像部２１-2と撮像部２１-1の動きが等しいとして、レジストレーションベクトルの算出を行うことから、撮像部２１-2と撮像部２１-1で個々に動きを検出する場合に比べて計算コストを削減できる。
　また、第２の実施の形態では、複数フレームのカラー画像を用いて超解像処理を行ったのち複数フレームの白黒画像を用いて超解像処理を行った場合を例示したが、超解像処理は上述の順序に限られない。例えばフレーム順にカラー画像と白黒画像を用いて超解像処理を行ってもよい。
　＜２－５．第３の実施の形態＞
　次に第３の実施の形態について説明する。第３の実施の形態では、超解像処理に用いられる複数画像を取得しない撮像部では、折り返し歪みの影響が少ないＭＴＦ（Modulation Transfer Function）のレンズを用いるようにする。また、超解像処理に用いられる複数画像を取得する撮像部では、複数画像を取得しない撮像部よりもＭＴＦの高いレンズを用いて、折り返し歪みの影響のない高解像度の画像を超解像処理によって生成する。
　例えば、第１の実施の形態では、複数フレーム分の白黒画像Ｉc2t0～Ｉc2tnを用いて超解像処理が行われることから算されることから、白黒画像Ｉc2t0～Ｉc2tnを生成する撮像部２１-2は、ＭＴＦの高いレンズを用いる。また、カラー画像Ｉc1t0を生成する撮像部２１-1は、折り返し歪みの影響が少ないように、撮像部２１-2よりもＭＴＦの低いレンズを用いる。
　図１２はスペクトル分布を例示している。撮像部２１-1では、折り返し歪みの影響が少ないようにＭＴＦの低いレンズを用いる。したがって、撮像部２１-1で取得された画像は、図１２の（ａ）に示すように、折り返し歪みが目立たない画像となる。なお、図１２の（ｂ）は、撮像部２１-1で用いられるレンズのスペクトル分布を例示しており、ナイキスト周波数よりも高い周波数の成分は有していない。なお、ナイキスト周波数は、撮像部で用いられるイメージセンサの画素サイズによって決定される。
　撮像部２１-2では、撮像部２１-1よりもＭＴＦの高いレンズを用いる。したがって、撮像部２１-2で取得された画像は、図１２の（ｃ）に示すように、折り返し歪みを生じた画像となる。なお、図１２の（ｄ）は、撮像部２１-2で用いられるレンズのスペクトル分布を例示しており、ナイキスト周波数よりも高い周波数の成分を有している。ここで、超解像処理によって、画素単位と異なる動きを生じた複数の画像を、位置合わせして加算すれば、図１２の（ｅ）に示すように、折り返し歪みが除去された画像となる。なお、図１２の（ｆ）は、超解像処理後のスペクトル分布を例示している。
　また、第２の実施の形態では、撮像部２１-2だけでなく撮像部２１-1にもＭＴＦの高いレンズを用いてもよい。
　このように、超解像処理に用いられる複数画像を取得する撮像部にＭＴＦの高いレンズを用いるようにすれば、ＭＴＦの低いレンズを用いた場合に比べて、高解像のカラー画像を得られるようになる。
　また、折り返し歪みの影響が少ないレンズと、超解像処理に用いる複数画像を生成するためのレンズの区分は、例えばＭＴＦについて設定した閾値との比較結果を用いればよい。ここで、閾値は、ナイキスト周波数の所定倍（例えば１倍よりも大きく２倍よりも小さい値で、好ましくは１．３乃至１．５倍程度）とする。
　＜２－６．他の実施の形態＞
　ところで、複数画像を用いて超解像処理を行い、複数画像よりも高解像の画像を生成する場合、処理コストが大きくなる。そこで、プレビュー時には広画角のカラー画像からズーム倍率に応じた画角範囲の画像を取り出す。また、画像の記録時あるいは外部機器等への出力時に、超解像処理を行い高解像度の画像を生成して、高解像度の画像からズーム倍率に応じた画角範囲の画像を取り出すようする。このようにすれば、プレビュー時における処理コストを低減できる。
　＜３．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１４は、撮像部１２０３１の設置位置の例を示す図である。
　図１４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上説明した車両制御システム１２０００において、撮像部１２０３１，１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、必要に応じて複数の撮像部例えば図２に示す撮像部２１-1，２１-2を用いる構成とする。また、図１３に示した応用例の統合制御ユニット１２０１０に信号処理部３０を設ける。このような構成とすれば、撮像部１２０３１，１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を小型・薄型化しても高画質で広画角の撮像画やズーム画像を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、信号処理部３０は、図１３に示した統合制御ユニット１２０１０のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　広画角画像を基準として、前記広画角画像の画角範囲内で画角の狭い複数の狭画角画像を用いた超解像処理を行う信号処理部
を備える画像処理装置。
　（２）　前記信号処理部は、前記超解像処理後の画像からズーム倍率に応じた画角範囲の画像を取り出す（１）に記載の画像処理装置。
　（３）　前記信号処理部は、前記ズーム倍率に応じて前記広画角画像と前記狭画角画像に関心領域を設定して、前記関心領域の画像を用いて前記超解像処理を行う（２）に記載の画像処理装置。
　（４）　前記信号処理部は、プレビュー時に、前記広画角画像から前記ズーム倍率に応じた画角範囲の画像を取り出す（２）または（３）に記載の画像処理装置。
　（５）　前記信号処理部は、同時刻に取得された前記広画角画像と前記狭画角画像から視差の検出と、前記複数の狭画角画像の動き検出を行い、前記超解像処理では、前記視差と前記動き検出結果に応じて視差補償および動き補償を前記複数の狭画角画像に対して行う（１）または（４）の何れかに記載の画像処理装置。
　（６）　前記信号処理部は、前記超解像処理において、前記広画角画像を複数用いる（１）乃至（５）の何れかに記載の画像処理装置。
　（７）　前記信号処理部は、同時刻に取得された前記広画角画像と前記狭画角画像から視差の検出と、前記複数の広画角画像の動き検出を行い、前記複数の狭画角画像の動きは同時刻の前記広画角画像の動きとして、前記超解像処理では、検出結果に応じて視差補償および動き補償を前記複数の狭画角画像に対して行い、検出結果に応じて動き補償を前記複数の広画角画像に対して行う（６）に記載の画像処理装置。
　（８）　前記複数の狭画角画像は、前記広画角画像よりもＭＴＦ（Modulation Transfer Function）の高いレンズを用いて取得されている（１）乃至（７）の何れかに記載の画像処理装置。
　（９）　前記狭画角画像を取得する撮像部と前記広画角画像を取得する撮像部のナイキスト周波数に対する所定倍を閾値として、前記広画角画像は閾値よりも低いＭＴＦのレンズを用いて取得されて、前記狭画角画像は閾値以上であるＭＴＦのレンズを用いて取得されている（８）に記載の画像処理装置。
　（１０）　前記広画角画像を取得する第１の撮像部と、前記第１の撮像部よりもＭＴＦの高いレンズを用いて前記狭画角画像を取得する第２の撮像部とを備える（１）乃至（９）の何れかに記載の画像処理装置。
　（１１）　前記超解像処理後の画像から、ユーザ操作によって示されたズーム倍率に応じた画角範囲の画像を選択するように前記信号処理部を制御する制御部をさらに備える（１）乃至（１０）の何れかに記載の画像処理装置。
　（１２）　前記広画角画像はカラー画像であり、前記狭画角画像は白黒画像である（１）乃至（１１）の何れかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法およびプログラムでは、広画角画像を基準として、広画角画像の画角範囲内で画角の狭い複数の狭画角画像を用いた超解像処理が行われる。このため、撮像部の性能を超えた撮像画を取得できる。したがって、撮像部を用いる機器であって、撮像部の小型化や薄型化が必要とされる機器等に適している。
　１０・・・情報処理端末
　２１-1，２１-2・・・撮像部
　３０・・・信号処理部
　３１-1，３１-2・・・関心領域決定部
　３２・・・視差・動きベクトル検出部
　３３・・・動き検出部
　３４・・・視差検出部
　３５・・・レジストレーションベクトル算出部
　３６，３７，３８・・・超解像処理部
　５１・・・センサ部
　５２・・・通信部
　５３・・・表示部
　５４・・・タッチパネル
　５５・・・操作部
　５６・・・記憶部
　６０・・・制御部
　３６１・・・補償部
　３６２・・・空間フィルタ
　３６３・・・ダウンサンプリング部
　３６４・・・減算部
　３６５・・・アップサンプリング部
　３６６・・・逆空間フィルタ
　３６７・・・加算部
　３６８・・・バッファ
　３６９・・・画像出力部

Claims (14)

  1. 　広画角画像を基準として、前記広画角画像の画角範囲内で画角の狭い複数の狭画角画像を用いた超解像処理を行う信号処理部
    を備える画像処理装置。
  2. 　前記信号処理部は、前記超解像処理後の画像からズーム倍率に応じた画角範囲の画像を取り出す
    請求項１に記載の画像処理装置。
  3. 　前記信号処理部は、前記ズーム倍率に応じて前記広画角画像と前記狭画角画像に関心領域を設定して、前記関心領域の画像を用いて前記超解像処理を行う
    請求項２に記載の画像処理装置。
  4. 　前記信号処理部は、プレビュー時に、前記広画角画像から前記ズーム倍率に応じた画角範囲の画像を取り出す
    請求項２に記載の画像処理装置。
  5. 　前記信号処理部は、同時刻に取得された前記広画角画像と前記狭画角画像から視差の検出と、前記複数の狭画角画像の動き検出を行い、前記超解像処理では、前記視差と前記動き検出結果に応じて視差補償および動き補償を前記複数の狭画角画像に対して行う
    請求項１に記載の画像処理装置。
  6. 　前記信号処理部は、前記超解像処理において、前記広画角画像を複数用いる
    請求項１に記載の画像処理装置。
  7. 　前記信号処理部は、同時刻に取得された前記広画角画像と前記狭画角画像から視差の検出と、前記複数の広画角画像の動き検出を行い、前記複数の狭画角画像の動きは同時刻の前記広画角画像の動きとして、前記超解像処理では、検出結果に応じて視差補償および動き補償を前記複数の狭画角画像に対して行い、検出結果に応じて動き補償を前記複数の広画角画像に対して行う
    請求項６に記載の画像処理装置。
  8. 　前記複数の狭画角画像は、前記広画角画像よりもＭＴＦ（Modulation Transfer Function）の高いレンズを用いて取得されている
    請求項１に記載の画像処理装置。
  9. 　前記狭画角画像を取得する撮像部と前記広画角画像を取得する撮像部のナイキスト周波数に対する所定倍を閾値として、前記広画角画像は閾値よりも低いＭＴＦのレンズを用いて取得されて、前記狭画角画像は閾値以上であるＭＴＦのレンズを用いて取得されている
    請求項８に記載の画像処理装置。
  10. 　前記広画角画像を取得する第１の撮像部と、前記第１の撮像部よりもＭＴＦ（Modulation Transfer Function）の高いレンズを用いて前記狭画角画像を取得する第２の撮像部とを備える
    請求項１に記載の画像処理装置。
  11. 　前記超解像処理後の画像から、ユーザ操作によって示されたズーム倍率に応じた画角範囲の画像を選択するように前記信号処理部を制御する制御部をさらに備える
    請求項１に記載の画像処理装置。
  12. 　前記広画角画像はカラー画像であり、前記狭画角画像は白黒画像である
    請求項１に記載の画像処理装置。
  13. 　広画角画像を基準として、前記広画角画像の画角範囲内であって前記広画角画像よりも画角の狭い複数の狭画角画像を用いた超解像処理を信号処理部で行うこと
    を含む画像処理方法。
  14. 　撮像部で生成された画像の処理をコンピュータで実行させるプログラムであって、
    　広画角画像を取得する手順と
    　前記広画角画像を基準として、前記広画角画像の画角範囲内であって前記広画角画像よりも画角の狭い複数の狭画角画像を用いて超解像処理を行う手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2018/043712 2018-03-01 2018-11-28 画像処理装置と画像処理方法およびプログラム WO2019167363A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/975,358 US20200402206A1 (en) 2018-03-01 2018-11-28 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-036248 2018-03-01
JP2018036248 2018-03-01

Publications (1)

Publication Number Publication Date
WO2019167363A1 true WO2019167363A1 (ja) 2019-09-06

Family

ID=67804977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043712 WO2019167363A1 (ja) 2018-03-01 2018-11-28 画像処理装置と画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20200402206A1 (ja)
WO (1) WO2019167363A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115837994A (zh) * 2023-02-16 2023-03-24 国网山西省电力公司电力科学研究院 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097049A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像読取装置および画像読取方法
JP2012129614A (ja) * 2010-12-13 2012-07-05 Panasonic Corp 撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラム
WO2013069564A1 (ja) * 2011-11-08 2013-05-16 富士フイルム株式会社 撮像装置およびその制御方法
JP2015029865A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法
US20170150067A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097049A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像読取装置および画像読取方法
JP2012129614A (ja) * 2010-12-13 2012-07-05 Panasonic Corp 撮像システム並びにこれに用いる画像処理装置、画像処理方法および画像処理プログラム
WO2013069564A1 (ja) * 2011-11-08 2013-05-16 富士フイルム株式会社 撮像装置およびその制御方法
JP2015029865A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法
US20170150067A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115837994A (zh) * 2023-02-16 2023-03-24 国网山西省电力公司电力科学研究院 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法

Also Published As

Publication number Publication date
US20200402206A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
KR102649782B1 (ko) 신호 처리 장치 및 촬상 장치
CN109937568B (zh) 图像处理装置和图像处理方法
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6743889B2 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US20190170586A1 (en) Imaging device and imaging method
CN110073652B (zh) 成像装置以及控制成像装置的方法
JP6816769B2 (ja) 画像処理装置と画像処理方法
CN109479093B (zh) 图像处理装置和图像处理方法
JPWO2019003675A1 (ja) 撮像装置とフリッカー補正方法およびプログラム
KR20220068996A (ko) 촬상 장치
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
WO2018179623A1 (ja) 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2017212722A1 (ja) 制御装置及び制御方法
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
TWI842952B (zh) 攝像裝置
TW201838405A (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
WO2020137503A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908002

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18908002

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP