WO2019026619A1 - 画像処理装置、画像処理方法、並びにプログラム - Google Patents

画像処理装置、画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2019026619A1
WO2019026619A1 PCT/JP2018/026826 JP2018026826W WO2019026619A1 WO 2019026619 A1 WO2019026619 A1 WO 2019026619A1 JP 2018026826 W JP2018026826 W JP 2018026826W WO 2019026619 A1 WO2019026619 A1 WO 2019026619A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
reference image
reduced
wavelength
Prior art date
Application number
PCT/JP2018/026826
Other languages
English (en)
French (fr)
Inventor
秀宇 宮牧
高嶋　昌利
悠 喜多村
浩史 森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019534026A priority Critical patent/JP7160037B2/ja
Priority to BR112020001562-8A priority patent/BR112020001562A2/pt
Priority to AU2018309905A priority patent/AU2018309905A1/en
Priority to EP18841076.5A priority patent/EP3664029B1/en
Priority to US16/633,661 priority patent/US11328388B2/en
Priority to CN201880049241.1A priority patent/CN110998657B/zh
Publication of WO2019026619A1 publication Critical patent/WO2019026619A1/ja
Priority to US17/694,429 priority patent/US11769225B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • the present technology relates to an image processing apparatus, an image processing method, and a program, and, for example, to an image processing apparatus, an image processing method, and a program that can easily perform stitch processing.
  • the present technology has been made in view of such a situation, and makes it easy to extract feature quantities and facilitates stitching and mapping.
  • An image processing apparatus generates a first reference image regarding the first imaging area based on a plurality of first images regarding the first imaging area, and generates at least the first imaging area
  • An image generation unit configured to generate a second reference image related to the second imaging region based on a plurality of second images related to a second imaging region partially overlapping; a first reference image and the second image
  • a processing unit that generates positioning information indicating a correspondence between the first imaging region and the second imaging region based on the reference image.
  • An image processing method generates a first reference image regarding the first imaging area based on a plurality of first images regarding the first imaging area, and generates at least the first imaging area
  • a second reference image for the second imaging region is generated based on a plurality of second images for a partially overlapping second imaging region, and the first reference image and the second reference image Generating positioning information indicating a correspondence between the first imaging area and the second imaging area based on
  • a program causes a computer to generate a first reference image regarding the first imaging area based on a plurality of first images regarding the first imaging area, and A second reference image of the second imaging region is generated based on a plurality of second images of the second imaging region that at least partially overlap, and the first reference image and the second reference image are generated. And performing processing including the step of generating positioning information indicating a correspondence between the first imaging region and the second imaging region.
  • a first reference image regarding a first imaging region is generated based on a plurality of first images regarding the first imaging region
  • a second reference image for the second imaging area is generated based on the plurality of second images for the second imaging area that at least partially overlaps with one imaging area
  • the first reference image and the second reference image are generated.
  • Positioning information indicating the correspondence between the first imaging region and the second imaging region is generated based on the reference image.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the program can be provided by transmitting via a transmission medium or recording on a recording medium.
  • feature quantities can be easily extracted, and stitching and mapping can be easily performed.
  • FIG. 1 is a diagram showing the configuration of an embodiment of an image processing system to which the present technology is applied. It is a figure which shows the structure of other embodiment of the image processing system to which this technique is applied. It is a figure showing an example of composition of an image processing system. It is a figure showing an example of composition of an image processing system. It is a figure for demonstrating a unit pixel. It is a figure for demonstrating the characteristic of a filter. It is a figure for demonstrating the characteristic of a filter. It is a figure for demonstrating the structure of an example of a multi camera. It is a figure for demonstrating the structure of an example of a multi camera. It is a figure for demonstrating the characteristic of a filter.
  • FIG. 1 is a diagram showing a configuration of an embodiment of an image processing system including an image processing apparatus to which the present technology is applied.
  • the image processing system 10 is a system that captures an object, performs stitch processing, and creates a desired image. For example, in the image processing system 10, a plant (vegetation) is targeted as a subject, and a map (image) representing the growth state of the plant is created.
  • the image processing system 10 includes an imaging device 11, an illuminance sensor 12, a hub 13, and an arithmetic device 14.
  • the imaging device 11, the illuminance sensor 12, and the arithmetic device 14 are mutually connected via the hub 13.
  • the imaging device 11 images an object to be measured.
  • the illuminance sensor 12 is a device that measures the illuminance of a light source, for example, sunlight, and supplies the measured illuminance information (illuminance value) to the imaging device 11.
  • the imaging device 11 is mounted on the lower side (ground side) of a remotely operated or autonomous unmanned aerial vehicle called a drone or the like, and the illuminance sensor 12 is mounted on the upper side (empty side) of the unmanned aerial vehicle.
  • a remotely operated or autonomous unmanned aerial vehicle called a drone or the like
  • the illuminance sensor 12 is mounted on the upper side (empty side) of the unmanned aerial vehicle.
  • imaging device 11 and the illumination intensity sensor 12 continue description as a separate body here, you may be provided in the same housing
  • imaging device 11 and the illumination sensor 12 may be configured to be included in an unmanned aerial vehicle.
  • the imaging device 11 captures an image of an object, and outputs data obtained by the imaging to the arithmetic device 14 via the hub 13.
  • the illuminance sensor 12 is a sensor for measuring the illuminance, and outputs the illuminance value as the measurement result to the arithmetic device 14 via the hub 13.
  • the arithmetic device 14 is a device having an arithmetic function by a circuit such as a central processing unit (CPU) or a field programmable gate array (FPGA).
  • the arithmetic device 14 is configured as a personal computer, a dedicated terminal device, or the like.
  • the arithmetic device 14 such as a personal computer performs image processing in a local environment via the hub 13.
  • image processing is performed in a cloud environment via a network. It may be made to be known.
  • FIG. 2 shows a configuration example of an image processing system 30 compatible with a cloud environment as another configuration example of the image processing system.
  • the imaging device 11 and the illuminance sensor 12 output the image data and the illuminance value to the client device 31 via the hub 13, similarly to the imaging device 11 and the illuminance sensor 12 of FIG. 1. .
  • the client device 31 includes a personal computer or the like, and outputs the image data and the illuminance value input from the imaging device 11 and the illuminance sensor 12 to the router 32 through the hub 13. That is, the client device 31 corresponds to the arithmetic device 14 of FIG. 1, but is provided as a device that does not perform image processing or performs only a part of it.
  • the router 32 is, for example, a mobile router, and can be connected to a network 34 such as the Internet via the base station 33.
  • the router 32 transmits the image data and the illuminance value input from the client device 31 to the server 35 via the network 34.
  • the server 35 receives the image data and the illuminance value transmitted from the client device 31 via the network 34.
  • the server 35 has a function equivalent to or at least a part of the function of the computing device 14 shown in FIG. 1.
  • a storage 36 is connected to the server 35, and the image data and the illuminance value supplied to the server 35 are stored in the storage 36 as needed, and data required when performing a stitching process, etc. It is read appropriately.
  • the image processing system 10 (or the image processing system 30) has a configuration (including functions) as shown in FIG.
  • the image processing system shown in FIG. 3 is described as an image processing system 50.
  • the image processing system 50 includes a lens 101, an exposure unit 102, an MS sensor 103, a designated wavelength calculation processing unit 104, a reference image generation processing unit 105, an inspection wavelength image extraction unit 106, a reference image stitch processing unit 107, and an inspection image stitch processing A section 108 is included.
  • the upper diagram of FIG. 4 shows the image processing system 50 shown in FIG. 3, and the lower diagram shows a configuration example, and here shows configuration examples A to G.
  • the image processing system 50 is divided into four.
  • the lens 101, the exposure unit 102, and the MS sensor 103 are assumed to be an imaging unit 61 that performs imaging of an object.
  • the designated wavelength calculation processing unit 104, the reference image generation processing unit 105, and the inspection wavelength image extraction unit 106 are the image generation unit 62 that generates an image such as a reference image or an inspection wavelength image.
  • the reference image stitch processing unit 107 is a first stitch processing unit 63 that performs stitch processing.
  • the inspection image stitch processing unit 108 is a second stitch processing unit 64 that performs stitch processing.
  • the configuration example A is a case where the image processing system 50 is configured to be completed in the imaging device 11, and the imaging unit 61, the image generation unit 62, the first stitch processing unit 63, and the second stitch processing unit All of the components 64 are included in the imaging device 11. Although not shown in FIG. 1 and FIG. 2, only the imaging device 11 can perform a configuration up to the stitch processing.
  • the imaging unit 61 and the image generation unit 62 are provided in the imaging device 11, and the first stitch processing unit 63 and the second stitch processing unit 64 are arithmetic devices 14 (FIG. Or the server 35 (FIG. 2).
  • the imaging unit 61 is provided in the imaging device 11, and the image generation unit 62, the first stitch processing unit 63, and the second stitch processing unit 64 are arithmetic devices 14 (see FIG. 1) or a configuration example provided in the server 35 (FIG. 2).
  • the imaging unit 61 is provided in the imaging device 11
  • the image generation unit 62 is provided in the client device 31 (FIG. 2)
  • the first stitch processing unit 63 and the second stitch processing unit 63 are provided.
  • the stitch processing unit 64 is provided in the server 35 (FIG. 2).
  • the imaging unit 61 is provided in the imaging device 11, and the image generation unit 62, the first stitch processing unit 63, and the second stitch processing unit 64 are servers 35 (FIG. Configuration example).
  • the imaging unit 61 is provided in the imaging device 11, and the image generation unit 62 and the first stitch processing unit 63 are provided in the client device 31 (FIG. 2). It is a structural example which provides the process part 64 in the server 35 (FIG. 2).
  • the imaging unit 61 is provided in the imaging device 11
  • the image generation unit 62 is provided in the client device 31 (FIG. 2)
  • the first stitch processing unit 63 is a server 35.
  • This configuration example is provided in FIG. 2 and the second stitch processing unit 64 is provided in the client device 31 (FIG. 2).
  • the image processing system 50 may have any one of the configuration examples A to G, may be configured as a single device, or may be configured from a plurality of devices. According to the present technology, as described below, regardless of the configuration, processing can be reduced, and processing time and processing load can be reduced.
  • the lens 101, the exposure unit 102, and the MS sensor 103 are included in the imaging device 11 in any of the configurations A to G described with reference to FIG.
  • the imaging device 11 In the imaging device 11, light (reflected light) from an object such as a measurement object is incident on the MS sensor 103 via the lens 101 and the exposure unit 102.
  • the MS of the MS sensor 103 means multispectral.
  • the imaging device 11 is configured to be able to obtain signals of a plurality of different wavelengths from one unit pixel.
  • the exposure unit 102 uses an optical system such as the lens 101 or an aperture amount by an iris (aperture) so that sensing is performed in a state where the signal charge is not saturated but is within the dynamic range in the MS sensor 103. Exposure control is performed by adjusting the exposure time of 103, the shutter speed, and the like.
  • the MS sensor 103 is composed of an MS filter 103-1 and a sensor 103-2 as shown in FIG.
  • the MS filter 103-1 can be an optical filter corresponding to an index to be measured, and is a filter that transmits a plurality of different wavelengths.
  • the MS filter 103-1 transmits light incident through the lens 101 to the sensor 103-2 of the MS sensor 103.
  • the sensor 103-2 is an image sensor composed of sensing elements in which a plurality of pixels are two-dimensionally arrayed in a repeating pattern on the sensor surface.
  • the MS sensor 103 detects the light that has passed through the MS filter 103-1 with the sensing element (sensor 103-2), and thereby the measurement signal (measurement data) corresponding to the light amount of the light is processed by the designated wavelength calculation processing unit 104. Output to
  • photosynthetically available photon flux density may be sensed.
  • the photosynthesis of plants depends on the number of photons (photons) that are particles of light, and the number of photons incident at a wavelength of 400 nm to 700 nm, which is the absorption wavelength of chlorophyll (chlorophyll), per unit area in unit time
  • the PPFD value is shown in.
  • RGB signals are required, and MS filter 103-1 transmits wavelengths such as R (red), G (green), B (blue), and IR (infrared light). It is assumed that filters are combined.
  • the MS filter 103-1 is a filter that transmits light of wavelengths A to H, and the pixel of the MS sensor 103 is a sensor that receives the transmitted light.
  • one unit pixel is configured by eight pixels as shown in FIG. 5, and description will be continued assuming that each pixel is a pixel that receives light of different wavelengths. Further, in the following description, when simply described as a pixel, it represents one pixel in one unit pixel, and when described as a unit pixel, it is described as a pixel (group) composed of eight pixels. Continue.
  • One unit pixel is a sensor that receives light of wavelengths A to H.
  • a sensor that receives light of 400 nm to 750 nm may be a wavelength of 400 nm, a wavelength of 450 nm, a wavelength of 500 nm, and a wavelength of D Can be set to 550 nm, wavelength E to 600 nm, wavelength F to 650 nm, wavelength G to 700 nm, and wavelength H to 750 nm.
  • the number of pixels included in one unit pixel here is an example, and is not a description showing limitation. For example, it may be configured by 4 pixels of 2 ⁇ 2 or 16 pixels of 4 ⁇ 4. good.
  • the range of the wavelength of light received by one unit pixel and the wavelength of light received by each pixel are not limited to the above-described example, and a wavelength capable of appropriately sensing the measurement object to be sensed Can be set.
  • the wavelength is not limited to visible light, and may be infrared light, ultraviolet light, or the like.
  • the MS filter 103-1 transmitting light of a plurality of wavelengths is an optical filter transmitting narrow band light of a predetermined narrow wavelength band (narrow band).
  • a camera using such a narrow band filter or the like may be referred to as a multispectral camera or the like, and the multispectral camera can also be used in the present technology.
  • the description of the multispectral camera is added.
  • narrow band filters can be provided independently of each other.
  • the sensor output can be predicted without solving the inverse matrix.
  • an optical filter in the case where the wavelengths of light passed through the MS filter 103-1 overlap, it is a kind of metal thin film filter using a thin film made of metal such as aluminum, and What applied the principle can be applied.
  • a thin film is formed on the sensor surface and the one utilizing the principle of Fabry-Perot resonance is applied as an optical filter in the case where the overlapping range of the wavelengths of light passing through the MS filter 103-1 is reduced. be able to.
  • the multi filter 151 is a filter that transmits different light not for each pixel but for each pixel group.
  • the areas A to H have the size of a ⁇ b pixel groups respectively, and the corresponding area of the multi camera 152 is configured to have the same size as the size of the corresponding areas A to H (a ⁇ b pixel groups are arranged).
  • convex lenses are two-dimensionally arranged, and a light beam incident on the multi lens array 161 forms a light source image in two dimensions on the multi filter 162 (each lens constituting the multi lens array 161) Form a light source image).
  • the multi filter 162 is a filter divided into a plurality of areas, and in this case, it is a filter divided into areas corresponding to one lens of the multi lens array 161. There is. Alternatively, the multi filter 162 is a filter that transmits a predetermined wavelength for each pixel as in the MS filter 103-1 of FIG.
  • the characteristic of the multi filter 151 (162) may be a filter having the characteristic as shown in FIG. 6, or the characteristic as shown in FIG. It can also be a filter having Furthermore, an ultra narrow band multi filter 151 (162) having the characteristics as shown in FIG. 10 may be used.
  • a filter having characteristics as shown in FIG. 10 is called a dichroic filter or the like, and can be constituted by a multilayer film of dielectrics having different refractive indexes.
  • the present technology can be applied to (used with) any of these multi-cameras.
  • a filter having the characteristics as shown in FIG. 6 is used is taken as an example, and as shown in FIG. 5, a multi-camera comprising the MS filter 103-1 and the MS sensor 103-2 is used. The explanation will be continued by taking the case where it was
  • the signal (image signal) from the MS sensor 103 is supplied to the designated wavelength calculation processing unit 104.
  • the designated wavelength calculation processing unit 104 executes processing for generating an image of a desired light wavelength using the supplied image signal.
  • the MS sensor 103 is a sensor that receives light of a plurality of different wavelengths, and an image obtained from each sensor is supplied to the designated wavelength calculation processing unit 104.
  • the output from the pixel that receives light of the wavelength A is configured Image (referred to as image A), an image composed of outputs from pixels that receive light of wavelength B (referred to as image B), an image composed of outputs from pixels that receive light of wavelength C (Image C), an image composed of outputs from pixels that receive light of wavelength D (image D), and an image composed of outputs from pixels that receive light of wavelength E (image E) ),
  • Image A an image composed of outputs from pixels that receive light of wavelength B
  • Image C an image composed of outputs from pixels that receive light of wavelength C
  • image D image D
  • image E image E
  • An image composed of an output from a pixel that receives light of wavelength F referred to as an image F
  • an image composed of an output from a pixel that receives light of wavelength G referred to as an image G
  • a wavelength H Image composed of the output from the pixel that receives the That is supplied to the specified wavelength processor 104.
  • a plurality of images can be obtained at one time by receiving a plurality of different wavelengths.
  • the image obtained at one time is appropriately described as a multispectral image.
  • the multispectral image is a plurality of spectral images extracted according to the characteristics of the multispectral filter (MS filter 103-1 described above).
  • the designated wavelength calculation processing unit 104 extracts (generates) an image of an arbitrary wavelength by performing inverse matrix calculation using a multispectral image, using the multispectral image supplied from the MS sensor 103 as it is, Alternatively, a multispectral image and an image of an arbitrary wavelength generated by calculation are used.
  • the image used by the designated wavelength calculation processing unit 104 is supplied to the reference image generation processing unit 105 or the inspection wavelength image extraction unit 106.
  • the reference image generation processing unit 105 generates a reference image.
  • the reference image is an image used when generating information (stitch reference information 303 to be described later) which is a source when performing the stitch processing. Also, the reference image is the most characteristic image that is matched to the features of the subject. The generation of the reference image and the stitch processing which is the processing after this will be described later.
  • the reference image generated by the reference image generation processing unit 105 is supplied to the reference image stitch processing unit 107.
  • the inspection wavelength image extraction unit 106 generates an inspection image. For example, when it is desired to generate an image for examining the growth condition of a plant, an image of a wavelength (inspection wavelength) suitable for sensing vegetation is generated (extracted). The inspection image extracted by the inspection wavelength image extraction unit 106 is supplied to the inspection image stitch processing unit 108.
  • the reference image stitch processing unit 107 performs stitch processing on the reference image.
  • An image generated by the reference image being stitched (information of such an image) is used when the inspection image is stitched.
  • an image (information) generated by the reference image being stitched is described as a stitching reference map or stitch reference information.
  • the generated stitch reference information is supplied to the inspection image stitch processing unit 108.
  • the inspection image stitch processing unit 108 is also supplied with the inspection image from the inspection wavelength image extraction unit 106.
  • the inspection image stitch processing unit 108 stitches the inspection image based on the stitch reference information, and generates an inspection image after stitching.
  • a flight plan is made. For example, by moving the movement measurement device 201 on a predetermined field 211, when a plant or the like in the field 211 is imaged as a measurement target, a flight plan as shown at time T1 in FIG. 11 is established.
  • the movement measurement device 201 is, for example, an unmanned aerial vehicle (UAV: Unmanned Aerial Vehicle), and flies by rotating a propeller-like rotary wing 202, and senses an object to be measured such as a plant of the field 211 from the sky Take a picture.
  • An illuminance sensor 12 (FIG. 1) is attached to the surface of the movement measuring device 201 capable of receiving sunlight at the time of aerial photographing, and is configured to be able to sense an illuminance value. Further, at the time of aerial photographing, the imaging device 11 is attached to the surface of the movement measuring device 201 facing the field 211 side.
  • the mobile measurement device 201 performs aerial shooting by radio piloting based on a flight plan, stores the flight plan in advance as coordinate data, and autonomously flies by using position information such as GPS (Global Positioning System). Take a picture.
  • GPS Global Positioning System
  • an actual aerial view of the farm field 211 is performed based on the flight plan.
  • This aerial image is captured such that there is an overlap in the captured image.
  • an aerial imaging result is obtained.
  • an overlapping portion exists in the captured image. This overlapping portion is trimmed or stitched, leaving one end and deleting the other, combining, and the like.
  • an image is generated in which a plurality of images are arranged such that there is no overlapping portion.
  • the imaging device 11 to which the present technology is applied includes the MS sensor 103, receives light of wavelengths A to H, and generates images A to H.
  • the MS sensor 103 receives light of wavelengths A to H, and generates images A to H.
  • 500 images are captured by the MS sensor 103 as described above will be described with reference to FIG.
  • the pixels that receive the light of wavelength A of the MS sensor 103 (hereinafter referred to as the pixel A, the same applies to the other pixels) by performing aerial imaging, the images 301A-1 to 301A-500. 500 images of are obtained as an aerial result.
  • 500 images are obtained from each of the pixels A to H.
  • an aerial image result at time T3 for example, an image of field 211 formed of images 301A-1 to image 301A-500, an image of field 211 formed of images 301B-1 to image 301B-500, etc. are generated Be done. If the image to be finally obtained is an image based on the wavelength A, trimming and stitching are performed using the images 301A-1 to 301A-500.
  • the image to be finally obtained is an image based on each of the wavelengths A to H
  • trimming and stitching are performed using the images 301A-1 to 301A-500
  • the image 301B-1 is obtained.
  • Processing using each of the images 301A to 301H is performed such that trimming and stitching are performed using the images 301B to 500.
  • the image processing system 10 as shown in FIG. 1 is constructed by a configuration other than the image processing system 50 as shown in FIG. 3, the amount of data transferred from the imaging device 11 to the arithmetic device 14 will be large. The time for this transfer may be long. In addition, the amount of computation by the computing device 14 may be increased, and the processing time of the computing device 14 may be increased. In other words, according to the configuration other than the image processing system 50 as shown in FIG. 3, there is a high possibility that data transfer and processing time will be long.
  • the images captured at the same time become the images captured by the MS sensor 103 at the same time, the images capture the same part. That is, for example, the images 301A-1 to 301H-1 captured at time t1 are images obtained by capturing the same part, and become images with different wavelengths. As described above, the reference image 302 is generated from a plurality of images 301 obtained by imaging the same part.
  • the reference image 302-2 is generated from the images 301A-2 to 301H-2 captured at time t2, and the reference image 302-3 is generated from the images 301A-3 to 301H-3 captured at time t3. .
  • the same process is repeated to generate reference images 302-500. That is, reference images 302-1 to 302-500 are generated.
  • the reference image 302 is an image that is the most characteristic image that is matched to the characteristics of the subject.
  • the building is a characteristic image, for example, an image in which a portion of the building is extracted as an edge. Therefore, stitching can be performed by superimposing images in which the characteristic portions coincide with each other.
  • a characteristic portion for example, an area in which an edge is detected, hereinafter referred to as a characteristic area as appropriate, for example, overlapping a part where a building is present.
  • FIG. 15 illustrates the same state as the aerial imaging result shown at time T3 in FIG.
  • a reference image 302-100 is disposed on the right of the reference image 302-1 with an overlap.
  • the reference images 302-150 are arranged on the right of the reference images 302-100 with an overlap.
  • the reference images 302-200 are arranged on the right of the reference images 302-150 with an overlap.
  • the reference image 302-300 is disposed below the reference image 302-1 with an overlap.
  • the reference images 302-400 are arranged on the right of the reference images 302-300 with an overlap.
  • the reference images 302-450 are arranged on the right of the reference images 302-400 with an overlap.
  • a part of the reference image 302-1 is disposed at the upper right of the stitching reference map 303, and a part of the reference image 302-100 is adjacent to the right of the reference image 302-1. Be placed.
  • a part of the reference image 302-150 is disposed to the right of the reference image 302-100, and a part of the reference image 302-200 is disposed to the right of the reference image 302-150.
  • a part of the reference image 302-300 is disposed below the reference image 302-100, and a part of the reference image 302-400 is disposed next to the right of the reference image 302-300.
  • a part of the reference image 302-450 is arranged on the right of the reference image 301-400.
  • stitching reference map 303 is generated.
  • the stitching reference map 303 is information on positioning of the reference images 302.
  • the reference image 302 is an image generated from the plurality of images 301, for example, as described with reference to FIG.
  • the reference image 302-1 is generated from the images 301A-1 to 301H-1
  • the reference image 302-2 is generated from the images 301A-2 to 301H-2. .
  • the images 301A-1 to 301H-1 are, for example, images obtained by imaging a predetermined imaging area A
  • the images 301A-2 to 301H-2 are images obtained by imaging a predetermined imaging area B, for example.
  • the imaging area A and the imaging area B are at least partially overlapping areas.
  • the reference image 302-1 related to the imaging area A is generated based on the plurality of images 301A-1 to 301H-1 related to the imaging area A, and at least a part thereof overlaps with the imaging area A
  • reference images 302-2 related to the imaging area B are generated.
  • a stitching reference map 303 (stitch reference information 303), which is positioning information indicating the correspondence between the imaging area A and the imaging area B, is generated. .
  • the positioning information is information indicating a relative positional deviation when the reference image 302-1 and the reference image 302-2 are superimposed. It may be
  • stitching reference map 303 (stitch reference information 303) is generated, an inspection image of a desired wavelength is mapped based on the stitching reference map 303.
  • the inspection image of wavelength A is mapped based on the stitching reference map 303
  • the image of the wavelength A as described with reference to FIG. 13, the images 301A-1 to 301A-500 are acquired.
  • the reference image 302-1 is a reference image 302 generated from the images 301A-1 to 301H-1 captured at time t1 at which the image 301A-1 is captured.
  • the image 301 used when generating the reference image 302 is mapped.
  • the image 301 has the same shape as the reference image 302 in the stitching reference map 303, and the corresponding region is cut out and arranged.
  • the stitching reference map 303 (stitch reference information 303) has written therein information indicating where to place the image 301 captured at what time and in what shape (size) to cut out.
  • a part of the image 301A-100 is arranged in a portion of the stitching reference map 303 in which the reference image 302-100 is arranged.
  • a part of the image 301A-150 is arranged in a portion where the reference image 302-150 is arranged in the stitching reference map 303, and a portion where the reference image 302-200 is arranged in the stitching reference map 303.
  • Parts of the images 301A-200 are arranged.
  • a part of the image 301A-300 is arranged in a portion where the reference image 302-300 is arranged in the stitching reference map 303, and a portion where the reference image 302-300 in the stitching reference map 303 is arranged.
  • a portion of the image 301A-400 is disposed, and a portion of the image 301A-450 is disposed in a portion of the stitching reference map 303 in which the reference image 302-450 is disposed.
  • the stitch reference map 303 (stitch reference information 303) is created, and based on that, the inspection image of the desired wavelength is mapped, whereby the inspection image of the final desired wavelength (the final inspection image Can be generated.
  • the case where the final inspection image of wavelength A is generated is taken as an example, but, for example, also when the final inspection image of wavelength B is generated, the same stitching reference map 303 (stitch reference information 303) is used , As described above. Furthermore, also in the case of generating the final inspection image of the wavelengths C to H, it can be performed as described above using the same stitching reference map 303 (stitch reference information 303).
  • the stitching reference map 303 (stitch reference information 303) is generated, the final inspection image of the desired wavelength can be generated using the stitching reference map 303 (stitch reference information 303).
  • an inspection image other than an image acquired as a multispectral image, and to generate a final inspection image from the inspection image.
  • images A to B images 301A to 301H
  • images A to B images corresponding to the wavelengths A to H are acquired using the MS sensor 103 having pixels that respectively receive the wavelengths A to H.
  • image X an image X of a wavelength (referred to as wavelength X) which is not directly generated from the MS sensor 103, and to use the image X as an inspection image to generate a final inspection image.
  • the sunlight 402 from the sun 401 is irradiated to the plant 403 and the road 404 and is also irradiated to the illuminance sensor 12.
  • the illuminance sensor 12 measures the illuminance of the emitted sunlight 402.
  • the illuminance sensor 12 measures the illuminance of the emitted sunlight 402 and acquires the illuminance value.
  • the acquired illuminance value is, for example, a spectral characteristic of the sunlight 402 as shown in FIG.
  • the graph shown in FIG. 19 shows the spectral characteristics of the sunlight 402, the horizontal axis shows the wavelength of light, and the vertical axis shows the intensity of light.
  • a part of the sunlight 402 irradiated to the plant 403 is reflected by the plant 403, and the reflected light 405 is received by the imaging device 11. Further, part of the sunlight 402 irradiated to the road 404 is reflected by the road 404, and the reflected light 406 is received by the imaging device 11.
  • FIG. 20 shows a graph showing the relationship between wavelength and reflectance when vegetation and concrete are to be measured, respectively.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the reflectance.
  • the graph shown by the solid line represents the result obtained when the object to be measured is vegetation
  • the graph shown by the dotted line is concrete (the road 404 etc. is a structure here). Represents the result obtained when
  • the reflectance when light of the same wavelength is irradiated differs between the plant 403 and the road 404 (concrete).
  • the reflectance of the concrete shown by the dotted line in FIG. 20 is higher than the reflectance of the vegetation shown by the solid line.
  • the reflectance of concrete shown by the dotted line in FIG. 20 has a substantially constant reflectance regardless of the wavelength of light
  • the reflectance of the vegetation shown by the solid line becomes steep at a specific wavelength of light Change. It can be read from FIG. 20 that, when a plant is to be measured, the reflectance is high if the light is a wavelength of 700 nm or more.
  • the reflected light 405 from the plant 403 and the reflected light 406 from the road 404 are different, and when the reflectance is measured, the result is obtained.
  • the wavelength of light with the highest reflectance differs depending on the growth condition.
  • an image obtained when imaging at the wavelength X suitable for the object to be measured is generated.
  • an image of the desired wavelength X is generated by performing inverse matrix operation using the multispectral image obtained from the MS sensor 103.
  • the image of the desired wavelength X can be represented by the reflection spectral characteristics of the object to be measured.
  • the following relational expression (1) is established with ( ⁇ ).
  • (Spectral characteristic L ( ⁇ ) of light source) ⁇ (Spectral characteristic P ( ⁇ ) of subject) ⁇ (Spectral characteristic S ( ⁇ ) of imaging system) (image (O ( ⁇ ))) (1)
  • the spectral characteristics of the light source are the spectral characteristics obtained from the illuminance sensor 12, for example, the spectral characteristics of the sunlight 402 as shown in FIG.
  • the spectral characteristic of the light source may use any value. In other words, not the spectral characteristics obtained from the illuminance sensor 12 but the spectral characteristics set in advance may be used.
  • the spectral characteristics of the subject are the spectral characteristics obtained from the reflected light from the subject. For example, the spectral characteristics of the reflected light when sunlight is irradiated to the plant or concrete as shown in FIG. 20 and reflected. It is.
  • the spectral characteristics of the imaging system are the spectral characteristics of the MS sensor 103, for example, the spectral characteristics as shown in FIG.
  • the MS sensor 103 is, for example, a sensor that receives signals of eight different wavelengths in one unit pixel.
  • the MS sensor 103 is a sensor composed of a combination of the MS filter 103-1 and the sensor 103-2, the spectral characteristics of the MS sensor 103 are affected by the transmittance of the MS filter 103-1 and the sensitivity of the sensor 103-2. Become the received characteristic. Specifically, it is a value obtained by multiplying the transmittance of the MS filter 103-1 and the sensitivity of the sensor 103-2. Further, the sensitivity of the sensor 103-2 is the sensitivity to the sensitivity set as a reference, and the normalized sensitivity is used.
  • the spectral characteristics of the MS sensor 103 are spectral characteristics for each of the wavelengths A to H as shown in FIG.
  • Equation (2) for obtaining the spectral characteristics of the subject can be obtained.
  • the reflectance spectral characteristic of the subject can be obtained by the equation (2), that is, the inverse matrix operation.
  • the equation (2) that is, the inverse matrix operation.
  • an image of a desired wavelength can be generated, and the image can be used as an inspection image and mapped based on the stitching reference map 303 to generate a final inspection image.
  • step S11 the reference image generation processing unit 105 executes feature amount calculation processing.
  • the reference image generation processing unit 105 is supplied with a multispectral image from the designated wavelength calculation processing unit 104.
  • processing using the multispectral image (image 301) acquired by the MS sensor 103 as it is performed is performed.
  • the designated wavelength calculation processing unit 104 causes the reference image generation processing unit 105 to generate the multispectral image from the MS sensor 103, for example, FIG. To provide the image 301 described with reference to FIG.
  • the multispectral image may be supplied directly to the reference image generation processing unit 105 from the MS sensor 103 instead of the designated wavelength calculation processing unit 104.
  • step S11 The feature amount computing process (first feature amount computing process) in step S11 will be described with reference to the flowchart in FIG.
  • step S31 the reference image generation processing unit 105 extracts feature amounts of the multispectral image.
  • the feature amount is an index that represents the size of a feature of an image, as described later.
  • the feature amount is an index indicating the degree to which a feature area (as described above, a feature of the image) is present in the image.
  • the feature amount is used to select a reference image, and the feature region is used at the time of stitching processing described later.
  • a spatial change amount of a pixel value can be used as a feature amount (an index indicating the size of a feature of an image).
  • the spatial variation of the pixel value can be the difference between the pixel values of adjacent pixels.
  • an edge area can be extracted by extracting an area where the difference value of the pixel value between the pixels is equal to or more than the threshold value.
  • the spatial variation of the pixel value may be used as an index indicating the size of the feature of the image, and the variation may be calculated as the feature in step S31.
  • a method of extracting an edge region from an image there is a method of using differential operation, a method of using a high pass filter, or the like.
  • the edge area can be defined as an area in which the change in color or the like is sharp, and in other words, in the edge area, it can be said that the slope of the graph is steep.
  • step S51 When a reference image is generated in the subsequent processing (for example, step S51 in FIG. 24), comparison of feature amounts for each image is performed.
  • the feature value used in step S51 is, for example, the pixel value between adjacent pixels calculated from within one image. It can be a sum of differences.
  • the size (ratio) of the area extracted as an edge in one image is a feature Calculated as a quantity.
  • a feature point may be extracted and the feature point may be used.
  • the feature point divides the image into a plurality of regions, and calculates the difference between the average value of the pixel values in the region and the pixel value in the region using, for example, an arithmetic method called mean square error, etc.
  • the difference (DIF) can also be determined by setting the pixels to be significantly different from the pixel values of the surrounding pixels.
  • a feature point is used as an index indicating the size of a feature of an image
  • the total number and ratio of feature points extracted from one image can be used as a feature amount.
  • a statistical value (for example, a variance value) may be used as an index indicating the size of the feature of the image.
  • a representative statistical value for each area can be calculated by dividing the image into a plurality of areas and the variance within the area can be obtained, and the value (statistical value) can be used.
  • the variance in the area When the variance in the area is calculated, the variance indicates the complexity of the pixel distribution in the area, and the variance becomes larger in an area including an image such as an edge where the pixel value changes rapidly. Therefore, the variance in the area can be obtained as an index indicating the size of the feature of the image, and the variance can be used as the feature amount.
  • a statistical value is used as an index indicating the size of a feature of an image, for example, the sum of statistical values calculated from within one image, an average value, or the like can be used.
  • the feature amount extracts an edge from within the image, and a case where the extracted edge area occupies in one image will be described as an example. Further, the extraction of the edge will be described by taking the case of extracting the high frequency component as an example.
  • step S31 extraction of high frequency components (that is, extraction of an edge) is performed for each multispectral image in order to calculate a feature amount.
  • images 301A-1 to 301A-500, images 301B-1 to 301B-500, and images 301C-1 to 301C-500 as multispectral images from the MS sensor 103.
  • images 301E-1 to 301E-500, images 301F-1 to 301F-500, images 301G-1 to 301G-500, and images 301H-1 to 301H-500 is performed.
  • the ratio within one image of the extracted high frequency component is used, and such ratio is calculated in step S31. Also, as described later, when the stitching process is performed on the reference image, the feature regions are compared, so while the feature amount is calculated, the information on the feature regions extracted as the edge region is appropriately stored. Ru.
  • step S31 high-frequency components are extracted from each of the images 301 to perform feature amount calculation processing, and then the process proceeds to step S12 (FIG. 22).
  • step S12 reference image generation processing is performed.
  • the reference image generation process (first reference image generation process) executed in step S12 will be described with reference to the flowchart in FIG.
  • step S51 the reference image generation processing unit 105 compares the feature amounts of the respective images 301 calculated in the process in step S11.
  • the reference image is generated in step S52 using the comparison result.
  • step S51 The comparison of the feature amounts in step S51 is performed between the images captured at the same time (the images obtained by capturing the same portion) as described with reference to FIG. Then, the image 301 having the largest feature amount (the feature of the subject captured in the image is the largest) is preferentially selected and used as a reference image.
  • the feature quantities (proportions of regions extracted as edges) of the image 301H-1 are compared, and the image 301 having the largest feature quantity is set as the reference image 302-1.
  • the image 301A-1 is set as the reference image 302-1.
  • step S13 processing of comparing the feature amounts and setting the image 301 having the largest feature amount as the reference image 302 as a result of the comparison is performed.
  • the processing proceeds to step S13 (FIG. 22).
  • the image 301 having a large feature is similarly referred to The image 302 is set.
  • step S13 stitch processing of the reference image is performed.
  • the reference images 302-1 to 302-500 generated by the reference image generation processing unit 105 are supplied to the reference image stitch processing unit 107.
  • the reference image stitching processing unit 107 performs stitching processing using the supplied reference images 302-1 to 302-500, and generates a stitching reference map 303 (stitch reference information 303).
  • the stitch processing using the reference images 302-1 to 302-500 is performed as described with reference to FIGS. That is, by detecting portions where the characteristic regions of the reference images 302-1 to 302-500 match (similar) and performing superposition or trimming, an image (stitching reference map 303) having no overlapping portion is generated.
  • the process corresponding to the feature region to be used is performed. It will be.
  • the stitching process is performed such that the extracted edge areas are combined.
  • the process of matching the feature point is a stitching process. It is executed as a process.
  • the variance values are combined (the arrangement of the areas having the variance value is the same or approximate Stitching process) is performed.
  • an inspection image is generated.
  • the inspection image is, for example, an image (an image generated by inverse matrix calculation from the imaged image) captured at a wavelength suitable for sensing the vegetation when the vegetation is inspected (sensed).
  • An inspection image is generated by the designated wavelength calculation processing unit 104 and the inspection wavelength image extraction unit 106.
  • the designated wavelength calculation processing unit 104 supplies the multispectral image (each of a plurality of wavelengths) to the inspection wavelength image extraction unit 106
  • the inspection wavelength image extraction unit 106 supplies the multispectral image
  • An inspection image is generated by extracting an image corresponding to the wavelength designated as the inspection wavelength from the plurality of images.
  • the designated wavelength calculation processing unit 104 uses a multispectral image to generate an image of a predetermined wavelength based on Expression (2) (see FIGS. 18 to 21).
  • the inspection wavelength image extraction unit 106 generates an image corresponding to the wavelength designated as the inspection wavelength from the plurality of supplied images. By extracting, an inspection image is generated.
  • the inspection wavelength image extraction unit 106 is generated by the designated wavelength calculation processing unit 104 and supplied.
  • An inspection image is generated by extracting an image corresponding to the wavelength designated as the inspection wavelength from the plurality of images.
  • the designated wavelength calculation processing unit 104 can be configured to generate an image of the wavelength extracted by the inspection wavelength image extraction unit 106.
  • the inspection wavelength image extraction unit 106 is supplied.
  • the processed image is treated as an image corresponding to the wavelength designated as the inspection wavelength (the processing such as extraction and generation is not performed, and the supplied image is used as it is).
  • an image of the designated wavelength may be generated by the inspection wavelength image extracting unit 106 instead of the designated wavelength calculation processing unit 104.
  • a multispectral image is supplied from the designated wavelength calculation processing unit 104 to the inspection wavelength image extraction unit 106, and the inspection wavelength image extraction unit 106 performs an operation based on Equation (2) using the supplied multispectral image.
  • the inspection image of the designated wavelength may be generated by performing.
  • step S14 When an inspection image is generated in step S14, the process proceeds to step S15.
  • the inspection image extracted by the inspection wavelength image extraction unit 106 is supplied to the inspection image stitch processing unit 108.
  • the inspection image stitch processing unit 108 is also supplied with a stitching reference map 303 (stitch reference information 303) from the reference image stitch processing unit 107.
  • the inspection image stitch processing unit 108 stitch-processes the inspection image using the stitch reference information 303 as described with reference to FIG. 17 to generate a final inspection image.
  • the stitch reference information 303 is information such as which position of which image is cut out and how it is pasted together.
  • the stitch reference information 303 is information including at least information indicating a positional relationship between an image obtained by capturing a predetermined area and an image obtained by capturing an area overlapping the area, and the stitching process is performed. It is information that can be used as metadata attached to an image.
  • the inspection image stitch processing unit 108 refers to the stitch reference information 303 to determine which inspection image of the plurality of inspection images is used and which position (which region) of the inspection image to be used is cut out Then, it is determined how to combine the determined area with the area similarly cut out from other inspection images, and by repeating such processing, stitch processing of the inspection image is performed, and the final inspection image is obtained.
  • the final inspection image is used by being mapped onto a map that has already been generated.
  • stitch reference processing 303 is generated using stitch reference information 303, and stitch processing is performed on the inspection image of a plurality of wavelengths by stitch processing of the inspection image. It is possible to shorten the time involved and reduce the processing load.
  • the image processing system 50 performs processing based on the flowchart shown in FIG.
  • step S11 when the feature amount computing process is performed, the process is performed based on the flowchart of the second feature amount computing process illustrated in FIG. 25 except that the process is performed similarly to the flowchart illustrated in FIG. Then, the explanation about the different processing is added, and the explanation about the processing performed similarly is omitted.
  • step S101 a reduced image is generated.
  • the reduced image 301ab is generated by using the image 301 as a reference image, multiplying the height of the image 301 by 1 / A and multiplying the width by 1 / B.
  • the reduced image 301mn is generated by multiplying the height of the image 301 by 1 / M and multiplying the width by 1 / N.
  • a reduced image 301ab is generated, in which the height of the image 301 is halved and the width is halved.
  • a reduced image 301 mn is generated in which the height of the image 301 is multiplied by 1 ⁇ 5 and the width is multiplied by 1 ⁇ 5.
  • step S101 When a reduced image is generated in step S101, the process proceeds to step S102.
  • step S102 high frequency components are extracted (edges are extracted) (a feature amount is calculated). This process can be performed in the same manner as the process of step S31 of the flowchart shown in FIG.
  • the image 301 for which high frequency components are to be extracted is the original image and the reduced image, and for example, each of the image 301, the image 301ab, and the image 301mn as shown in FIG. A high frequency component is extracted from each of them, and a feature amount (such as a ratio of an edge area) is calculated based on the extraction result.
  • processing such as multiplying a predetermined coefficient with the feature amounts of the reduced image may be appropriately performed so as to be the same condition as the original image.
  • the feature amount when the sum of feature points or the sum of statistical values is used as the feature amount, the number of target pixels (number of areas) differs between the original image and the reduced image, so When the feature amount and the feature amount of the reduced image are compared, an erroneous comparison result may be obtained.
  • the calculated feature amount is multiplied by a predetermined coefficient such as a reduction ratio to calculate the same condition as the original image (pixel same as the desired image)
  • a predetermined coefficient such as a reduction ratio to calculate the same condition as the original image (pixel same as the desired image)
  • a process of converting into a feature quantity that can be handled as calculated by the number and the number of areas) may be included.
  • step S102 the process of calculating the feature amount by extracting high frequency components
  • the feature amount calculated from such an original image and the feature amount calculated from the reduced image are The description will be continued on the assumption that the process for handling the feature quantity calculated under the same condition is included.
  • step S11 when the feature amount calculation process (step S11 in FIG. 22) is completed, the process proceeds to step S12.
  • step S12 reference image generation processing is performed.
  • step S12 The reference image generation process performed in step S12 is performed based on the flowchart of the first reference image generation process shown in FIG. 24, and since the description thereof has already been made, the description thereof is omitted here.
  • step S51 feature amounts are compared, but the image with which the feature amounts are compared is different from the first generation process (the first reference image generation process) described above, so this is a diagram for this point. Add description with reference to 27.
  • the reference image 302-1 is generated from the image 301-1 captured at time t1, as shown in FIG. 27, first, the image 301A-1 of wavelength A, its reduced image 301Aab-1, and its reduced image 301Amn A feature amount is calculated from each of -1.
  • the feature amount is calculated from the image 301B-1 of the wavelength B, the reduced image 301Bab-1 and the reduced image 301Bmn-1, respectively. Further, the feature amount is calculated from each of the image 301C-1 of the wavelength C, the reduced image 301Cab-1 thereof, and the reduced image 301Cmn-1.
  • the feature amount is calculated from each of the image 301D-1 of the wavelength D, the reduced image 301Dab-1 thereof, and the reduced image 301Dmn-1. Further, the feature amount is calculated from each of the image 301E-1 of the wavelength E, the reduced image 301Eab-1 and the reduced image 301Emn-1.
  • the feature amount is calculated from each of the image 301F-1 of the wavelength F, the reduced image 301Fab-1 thereof, and the reduced image 301Fmn-1. Further, the feature amount is calculated from each of the image 301G-1 of the wavelength G, the reduced image 301Gab-1 thereof, and the reduced image 301Gmn-1.
  • the feature amount is calculated from each of the image 301H-1 of the wavelength H, the reduced image 301Hab-1 and the reduced image 301Hmn-1.
  • an image having the largest feature amount is detected. That is, in the second generation process, the reduced image is also processed and processed.
  • the original image of the image detected as having the largest feature amount is set as the reference image 302-1.
  • the image 301A-1 which is the original image of the reduced image 301Amn-1, is set as the reference image 302-1.
  • the image 301A-1 is set as the reference image 302-1.
  • an image with more features can be extracted and used as a reference image.
  • step S13 (FIG. 22). Since the process after step S13 has already been described, the description thereof is omitted.
  • the image processing system 50 performs processing based on the flowchart shown in FIG.
  • step S201 a reduced image is generated.
  • This process can be performed in the same manner as the process of step S101 of the flowchart shown in FIG. 25 in the second generation process.
  • the reduced image is generated, that is, the case where the third generation process is performed in combination with the second generation process is described as an example, it may be combined with the first generation process.
  • the multispectral image (original image) supplied from the MS sensor 103 may be used as it is without generating the reduced image in step S201.
  • step S202 a process of dividing into blocks is performed.
  • the process of dividing into blocks will be described with reference to FIG.
  • the left view is the same as the view shown in FIG. 26, and is a view for explaining how to generate a reduced image.
  • the reduced image 301ab is generated by multiplying the length of the original image 301 by 1 / A and multiplying the width by 1 / B.
  • the reduced image 301 mn is generated by multiplying the length of the original image 301 by 1 / m and the width by 1 / n.
  • the process of dividing into blocks is performed on both the original image and the reduced image.
  • the original image 301 is divided into C ⁇ D blocks by dividing the height into C and dividing the width into D.
  • the reduced image 301ab is divided into (C / A) ⁇ (D / B) blocks by dividing the height into C / A and dividing the width into D / B.
  • the reduced image 301 mn is divided into (C / M) ⁇ (D / N) blocks by dividing the height into C / M and dividing the width into D / N.
  • the number of pixels in each block becomes the same in the number of vertical and horizontal pixels, so that extraction and comparison of feature quantities can be easily performed in the subsequent processing.
  • the number of pixels of one block of the original image 301 is 100 ⁇ 100 pixels.
  • the number of pixels of one block after dividing the original image 301 is 100 ⁇ 100 pixels. Further, the number of pixels in one block after dividing the reduced image 301ab is also 100 ⁇ 100 pixels. That is, the number of pixels of one block of the original image 301 and that of the reduced image 301ab are the same. Therefore, as described above, when the number of pixels in each block is the same, extraction and comparison of feature amounts in the subsequent processing can be easily performed.
  • step S202 such division processing is performed for each multispectral image.
  • division processing is performed on an image of every eight wavelengths of wavelengths A to H.
  • the division processing is performed only on the original image 301 (images 301A to 301H) of the multispectral image.
  • step S203 high frequency components are extracted for each block.
  • This process can be basically performed in the same manner as step S31 (first generation process) of the flowchart shown in FIG. 23 or step S102 (second generation process) of the flowchart shown in FIG. 25. However, there is a difference in that each block performs.
  • the reference image 302-1 is generated from the image 301-1 captured at time t1, as shown in FIG. 30, first, the image 301A-1 of wavelength A, the reduced image 301Aab-1, the reduced image 301Amn- A feature amount is calculated from each block of 1.
  • the feature amount is calculated for each of C ⁇ D blocks of the image 301A-1 of the wavelength A, and (C / A) ⁇ of the reduced image 301Aab-1
  • a feature amount is calculated for each of (D / B) blocks, and a feature amount is calculated for each of (C / M) ⁇ (D / N) blocks of the reduced image 301Amn-1.
  • X feature quantities are calculated from each block of the image 301B-1 of wavelength B, the reduced image 301Bab-1, and the reduced image 301Bmn-1, and the image 301C-1 of wavelength C, the reduced image 301Cab-1, X feature quantities are calculated from the respective blocks of the reduced image 301Cmn-1 and X images from the respective blocks of the image 301D-1 of the wavelength D, the reduced image 301Dab-1, and the reduced image 301Dmn-1.
  • a feature amount is calculated.
  • X feature quantities are calculated from respective blocks of the image 301E-1 of wavelength E, the reduced image 301Eab-1, and the reduced image 301Emn-1, and the image 301F-1 of wavelength F, the reduced image 301Fab-1 And X feature quantities are calculated from each block of the reduced image 301Fmn-1, and X features from each block of the image 301G-1 of the wavelength G, the reduced image 301Gab-1, and the reduced image 301Gmn-1 are calculated.
  • X feature amounts are calculated from each block of the image 301H-1, the reduced image 301Hab-1, and the reduced image 301Hmn-1 of the wavelength H.
  • X feature quantities are calculated from images of eight wavelengths of wavelengths A to H, so (8 ⁇ X) feature quantities are calculated.
  • the processing relating to the calculation of the feature amount is performed on all of the multispectral images supplied from the MS sensor 103.
  • the feature amount is calculated for each block.
  • the size of each block (the number of pixels included in one block) is the same as described above. Therefore, the feature quantities calculated from each block can be compared as they are.
  • step S12 reference image generation processing is performed.
  • the reference image generation process (third reference image generation process performed in the third generation process) performed in step S12 will be described with reference to the flowchart in FIG.
  • step S231 feature amounts of all blocks are compared. Then, in step S232, the features are sorted in descending order. For example, as described with reference to FIG. 30, X feature quantities are calculated from images of eight wavelengths A to H, and a total of (8 ⁇ X) feature quantities are calculated. . The (8 ⁇ X) feature quantities are compared and sorted in descending order of feature quantity.
  • step S233 the feature image is reconstructed and a reference image is generated.
  • the reconstruction of the feature image generation of the reference image
  • FIG. 32 is a diagram for describing reconstruction of a feature image in a case where the block with the highest feature amount is the reduced image 301Hmn-1 when the blocks are sorted in descending order of the feature amount.
  • the reduced image 301Hmn-1 is the smallest reduced image among the reduced images generated from the original image 301H-1. If the feature amount of the reduced image 301Hmn-1 is the largest among the (8 ⁇ X) feature amounts, the reduced image 301Hmn-1 is set as the reference image 302-1.
  • the reduced image 301Hmn-1 is reduced, when it is set to the reference image 302-1, the original size is restored, that is, in this case, the original image 301H-1 is returned, and the returned image is returned. , And the reference image 302-1.
  • the vertical size of the reduced image 301Hmn-1 is multiplied by M and the horizontal size is multiplied by N to restore the original size, and the image is set as the reference image 302-1 .
  • the original image of the reduced image 301Hmn-1 that is, the original image 301H-1 in this case may be set as the reference image 302-1.
  • FIG. 32 is an example in which the original image 301 to be the reference image 302 can be generated in one block.
  • a case where the original image 301 to be the reference image 302 is reconstructed with a plurality of blocks will be described with reference to FIG.
  • the feature quantities extracted from the image of wavelength A and the image of wavelength B are high, and the regions with high feature quantities are cut out from the image of wavelength A and the image of wavelength B, respectively.
  • An image (reference image) having a high feature amount is generated by positioning and combining these regions in the corresponding region.
  • Each of 12 blocks located at a substantially central portion of the image 301A-1 of the wavelength A is cut out of the image 301A-1 as a block having a high feature amount.
  • description will be continued assuming that twelve blocks form the region 501. This area 501 is cut out of the image 301A-1.
  • the area 501 is cut out as it is.
  • the area 501 is set as an area of the position of the reference image 302-1 corresponding to the position where the area 501 was located in the image 301A-1.
  • Each of two blocks located at the lower left of the reduced image 301Aab-1 obtained by reducing the image 301A-1 of the wavelength A is cut out from the reduced image 301Aab-1 as a block having a high feature amount.
  • description will be continued assuming that two blocks form the region 502. This area 502 is cut out from the reduced image 301Aab-1.
  • the area 502 is not cut out from the reduced image 301Aab-1 as it is, but an image corresponding to the position where the area 502 is located in the reduced image 301Aab-1.
  • An area at the position of 301A-1 original image 301A-1 is cut out.
  • the area 502 is located at the lower left in the reduced image 301Aab-1, and the size (this size, eight blocks) corresponding to the area 502 is cut out.
  • the area 502 may be A-fold in the vertical direction and converted to a B-fold in the horizontal direction, and the converted area 502 may be cut out (used).
  • the original sized area 502 is set as an area of the position of the reference image 302-1 corresponding to the position where the area 502 was located in the image 301A-1. In this case, an area 502 is set in the lower left area of the reference image 302-1.
  • each of two blocks located approximately right to the center of the reduced image 301Aab-1 obtained by reducing the image 301A-1 of the wavelength A is cut out from the reduced image 301Aab-1 as a block having a high feature amount.
  • the description will be continued assuming that two blocks form the region 503.
  • This area 503 is cut out from the reduced image 301Aab-1 to be an area at a corresponding position of the reference image 302-1.
  • the area 503 is also converted to the original size as in the above-described area 502, and then made part of the reference image 302-1.
  • Each of the four blocks located at the upper right of the image 301B-1 of the wavelength B is cut out from the image 301B-1 as a block having a high feature amount.
  • the description will be continued assuming that four blocks form the region 504. This area 504 is cut out from the image 301B-1.
  • the area 504 is set as an area (in this case, upper right) of the reference image 302-1 corresponding to the position (in this case, upper right) where the area 504 was located in the image 301B-1.
  • Each of two blocks located at the upper left of the reduced image 301Bab-1 obtained by reducing the image 301B-1 of the wavelength B is cut out from the reduced image 301Bab-1 as a block having a high feature amount.
  • description will be continued assuming that two blocks form the region 505.
  • This area 505 is cut out from the reduced image 301Bab-1 to be an area at the corresponding position of the reference image 302-1.
  • the reduced image 301Bab-1 is an image which has been reduced
  • the area 505 is converted to the original size as in the above-described area 502 and the like, and is made part of the reference image 302-1.
  • each of two blocks located at the lower right of the reduced image 301Bab-1 obtained by reducing the image 301B-1 of the wavelength B is cut out from the reduced image 301Bab-1 as a block having a high feature amount.
  • description will be continued on the assumption that two blocks form the region 506.
  • This area 506 is cut out from the reduced image 301Bab-1 to be an area at the corresponding position of the reference image 302-1.
  • the reduced image 301Bab-1 is an image which has been reduced
  • the area 506 is converted to the original size as in the above-described area 502 and the like, and is made part of the reference image 302-1.
  • a block having a high feature amount is preferentially selected, and a reference image 302-1 configured of blocks having a high feature amount is generated.
  • a reference image 302-1 configured of blocks having a high feature amount is generated.
  • an image with more features can be extracted and used as a reference image.
  • step S13 (FIG. 22).
  • the process of shifting to step S13 has already been described, and thus the description thereof is omitted.
  • images of other wavelengths are also generated using the multispectral image acquired by the MS sensor 103 and generated A process using a plurality of images including an image will be described.
  • FIG. 34 is a flowchart for describing a fourth generation process of the final inspection image.
  • the wavelength to be extracted is designated.
  • the designated wavelength calculation processing unit 104 designates the wavelength of the image to be generated.
  • the designated wavelength may be a wavelength set in advance, or may be a wavelength set with reference to the illuminance value or the mode. In the case of being preset, for example, wavelengths (400 nm, 450 nm, 500 nm,..., 900 nm) for every 50 nm between 400 nm and 900 nm can be sequentially designated.
  • a wavelength of light suitable for vegetation sensing for example, a wavelength of 650 nm to 850 nm may be specified finely.
  • step S301 when the designated wavelength calculation processing unit 104 designates (sets) a predetermined wavelength, in step S302, an image of the designated wavelength is generated.
  • the designated wavelength is a multispectral image obtained from the MS sensor 103
  • the image 301 corresponding to the designated wavelength is extracted and supplied to the reference image generation processing unit 105.
  • an operation in which the image 301 corresponding to the designated wavelength is the data of the multispectral image substituted in the equation (2) Is generated and supplied to the reference image generation processing unit 105.
  • step S303 the feature amount calculation process is executed by the reference image generation processing unit 105. Similar to the first to third generation processes, the feature quantity calculation process performed in step S303 can be performed in the same manner as the feature quantity calculation process performed in step S11 of the flowchart shown in FIG.
  • the feature quantity computing process in the first generation process may be applied, and the feature quantity may be calculated based on the flowchart of the first feature quantity computing process shown in FIG.
  • the feature amount may be calculated based on the flowchart of the second feature amount calculation process shown in FIG. 25 by applying the feature amount calculation process in the second generation process.
  • the feature quantity computing process in the third generation process may be applied, and the feature quantity may be calculated based on the flowchart of the third feature quantity computing process shown in FIG.
  • the image for which the feature amount is calculated is an image supplied from the designated wavelength calculation processing unit 104 to the reference image generation processing unit 105, and the image is a multispectral image or a multispectral image.
  • the generated image of the predetermined wavelength is included.
  • step S304 it is determined whether the designation of the wavelength is completed. For example, when the designated wavelength is set in advance, the designated wavelength calculation processing unit 104 performs the determination process in step S304 by determining whether all the set wavelengths have been designated.
  • step S304 If it is determined in step S304 that the wavelength instruction has not ended, the process returns to step S301, and the subsequent processes are repeated. That is, all the wavelengths to be designated are designated, all the images to be designated are extracted or generated, and the processing of steps S301 to S304 is repeated until the feature quantities are extracted from all the images to be designated.
  • step S304 when it is determined in step S304 that the wavelength instruction has ended, the process proceeds to step S305.
  • step S305 the reference image generation processing unit 105 executes reference image generation processing.
  • the reference image generation process performed in step S305 can be performed in the same manner as the reference image generation process performed in step S12 of the flowchart illustrated in FIG. 22 as in the first to third generation processes.
  • the reference image generation processing in the first generation processing may be applied, and the reference image may be generated based on the flowchart of the reference image generation processing shown in FIG.
  • the reference image generation processing in the second generation processing is applied, and the reference image generation processing corresponding to the case where the feature amount is calculated based on the flowchart of the second feature amount calculation processing shown in FIG. You may
  • the reference image generation processing in the third generation processing may be applied, and the reference image may be generated based on the flowchart of the third reference image generation processing shown in FIG.
  • the reference image is obtained from the multispectral image supplied from the designated wavelength calculation processing unit 104 to the reference image generation processing unit 105 or an image group including an image of a predetermined wavelength generated from the multispectral image. It is a generated image.
  • steps S306 to S308 can be performed in the same manner as the processes of steps S13 to S15 of the flowchart (first to third generation processes) illustrated in FIG. That is, since the process after the reference image is generated can be performed in the same manner as the first to third generation processes, the description thereof is omitted here.
  • an image whose feature amount is to be calculated is generated by designating a wavelength.
  • the reflectance of the reflected light from the subject differs depending on the wavelength of the light to be irradiated.
  • the image may be an image in which the subject is clearly imaged or an image in which the object is imaged in a blurred manner.
  • the subject is extracted as a feature area from the image captured in a blurry manner. It is difficult to calculate feature quantities.
  • an image of a wavelength suitable for the subject is generated, an image in which the subject can be easily detected, that is, an image in which the feature region can be easily extracted can be obtained.
  • the fourth generation process by specifying a plurality of wavelengths and generating a plurality of images, it is possible to generate an image of a wavelength suitable for the subject to be detected.
  • the fourth generation processing it is possible to more appropriately extract the feature region and to easily calculate the feature amount. Also, a reference image can be generated from the feature amount calculated by extracting such an appropriate feature region. In addition, since a reference image having a large feature amount can be generated, the stitch processing of the reference image can be performed more accurately, for example, for detecting a region where the feature regions match or arranging reference images based on the detection. It will be possible to do.
  • the fifth generation process is a process combining any one of the first to fourth generation processes and the orthographic process.
  • the aerial shot image Because it is a projection, it may be photographed as a distorted shape due to the influence of the elevation of the terrain, and the positional relationship may not coincide with the actual topography.
  • ortho processing also referred to as ortho correction
  • the image after the ortho processing is an image in which the unevenness of the terrain or the inclination of the photograph is corrected, and for example, the image can be handled in the same manner as the topographic map.
  • an image is captured in a state where the images are superimposed.
  • the overlapping area may be, for example, a high overlap rate of 80% to 90%.
  • a process of recognizing a plurality of parallax images as a 3D image and converting it into an image viewed from directly above using this matter is an orthodontic process.
  • Position information obtained from a GPS (Global Positioning System), attitude information from an IMU (Inertial Measurement Unit: inertial measurement device), and the like are used to perform the orthogonalization process.
  • GPS Global Positioning System
  • IMU Inertial Measurement Unit: inertial measurement device
  • FIG. 35 is a flowchart for explaining the fifth generation process of the final inspection image.
  • the process based on the flowchart shown in FIG. 35 shows the case where the fourth generation process includes the ortho processing, and here, the case where the fourth generation process includes the ortho processing is described as an example. I do.
  • the ortho processing may be included in any of the first to third generation processing, and which generation processing is to be combined with is appropriately set according to the situation where the image processing system 50 is used. can do.
  • step S401 position information and posture information are extracted.
  • GPS or IMU is mounted on the mobile measuring device 201 to which the imaging device 11 or the imaging device 11 is attached, and position information and posture information are recorded each time imaging is performed by the imaging device 11 .
  • the captured image (multispectral image) and position information and posture information acquired when the image is captured are associated with each other, and managed so that the other information can be read out from one of the information.
  • multispectral images, position information, and posture information are stored in association with each other in a storage (not shown).
  • the storage can be provided in the imaging device 11 or in the movement measuring device 201.
  • step S401 for example, position information and posture information associated with the multispectral image to be processed are read out from the storage.
  • step S402 the wavelength to be extracted is designated.
  • steps S402 to S406 are performed in the same manner as steps S301 to S305 (fourth generation process) of the flowchart shown in FIG. 34, and thus the description thereof is omitted here.
  • steps S402 to S406 is the flowchart shown in FIG. The process is performed in the same manner as the process of steps S11 and S12.
  • step S406 when the reference image generation processing ends and a reference image is generated, the processing proceeds to step S407.
  • the reference image is subjected to an orthodontic process.
  • the orthodontic process can be performed by a process that is generally performed, for example, by performing an orthographic conversion on an aerial image.
  • the image (ortho image) subjected to the ortho processing is displayed in the correct size and position with no tilt as seen from above as in the case of a map, with the position shift of the object on the image eliminated and the aerial image taken
  • the image has been converted to the
  • step S407 the reference image is subjected to ortho processing to generate an ortho image of the reference image.
  • the position information and the attitude information are read out in step S401 and are used at the ortho processing .
  • step S408 the ortho image of the reference image is used, and the process in step S408 in which the stitching process is performed is performed in the same manner as the process of step S306 in FIG. 34 (step S13 in FIG. 22).
  • the difference is that the stitch processing is performed on the orthonormalized reference image.
  • step S408 when the stitched reference image, that is, the stitching reference map 303 (stitch reference information 303) is generated, the process proceeds to step S409.
  • step S409 The process of generating the inspection image in step S409 is performed in the same manner as the process of step S307 in FIG. 34 (step S14 in FIG. 22), and thus the description thereof is omitted here.
  • step S410 ortho processing is performed on the generated inspection image.
  • the orthographic processing on the inspection image can be performed in the same manner as the above-described orthographic processing on the reference image.
  • orthorectifying processing on the inspection image it is possible to use orthodization information when the reference image is orthodized.
  • step S411 stitch processing is performed on the inspection image.
  • the stitch processing on the inspection image in step S411 is performed in the same manner as the processing of step S308 in FIG. 34 (step S15 in FIG. 22) except that the inspection image is an orthoimage, and thus the description thereof is omitted here.
  • the generated final inspection image can also be the orthographic inspection image.
  • the orthodization information used when the process (step S407) of performing the process of orthogonalizing the reference image can be used. Therefore, it is possible to easily perform the process related to the ortho formation.
  • the final inspection image generated can be mapped to a map. Since the final inspection image is an orthoimage, the shape of the subject being imaged is correct and the position is also correctly arranged, so it is easy to use it superimposed on other maps. .
  • the operation of the image processing system 50 including the process of referring to the illuminance value from the illuminance sensor 12 will be described as the sixth generation process.
  • the image processing system 51 shown in FIG. 36 has the same basic configuration as the image processing system 50 shown in FIG. 3, but an illuminance meter 601, a reflectance image generation unit 602, and a reflectance image stitch processing unit 603. And the specific index image calculation unit 604.
  • the illuminance meter 601 is configured to be included in the image processing system 51 in FIG. 36, the illuminance meter 601 corresponds to the illuminance sensor 12 (FIG. 1), calculates the illuminance value, and the inspection wavelength image extraction unit 106 It is supposed to be supplied.
  • the illuminance meter 601 acquires the spectral characteristics of the light source as shown in FIG. 19, for example, as the illuminance sensor 12 described above.
  • the inspection wavelength image extraction unit 106 generates an inspection image as in the above-described embodiment.
  • the inspection image from the inspection wavelength image extraction unit 106 is supplied to the reflectance image generation unit 602.
  • the reflectance image generation unit 602 generates a reflectance image by converting the supplied inspection image into an image based on the reflectance, and supplies the reflectance image to the reflectance image stitch processing unit 603.
  • the reflectance image stitch processing unit 603 is a processing unit corresponding to the inspection image stitch processing unit 108 of FIG. 3, and the image to be subjected to the stitch processing is the reflectance image from the reflectance image generation unit 602, Stitching is performed on the reflectance image.
  • the image generated by the reflectance image stitch processing unit 603 is described as a final reflectance image here.
  • the specific index image calculation unit 604 calculates an image related to a specific index, for example, a vegetation index (NDVI: Normalized Difference Vegetation Index), using the final reflectance image.
  • NDVI Normalized Difference Vegetation Index
  • the image processing system 51 is a system for inspecting the vegetation
  • NDVI Vegetation Index
  • an image of red (wavelength) and an image of infrared (wavelength) are used as inspection images.
  • NDVI is an index showing the distribution status and activity of vegetation, and the explanation will be continued by taking NDVI as an example here, but the present technology can be applied even when other indices are used. .
  • NDVI value (Dp (IR)-Dp (R)) / (Dp (IR) + Dp (R)) ... (3)
  • Dp (IR) represents the reflectance of an infrared region
  • Dp (R) represents the reflectance of red (R) of a visible region.
  • the reflectance can be obtained by (inspection image / light source information).
  • the reflectance is generated by the reflectance image generation unit 602 dividing the inspection image from the inspection wavelength image extraction unit 106 by the light source information from the illumination meter 601. Find and generate a reflectance image.
  • the illuminance value from the illuminance meter 601 may be directly supplied to the reflectance image generation unit 602.
  • the reflectance image generated by the reflectance image generation unit 602 is supplied to the reflectance image stitch processing unit 603.
  • the reflectance image stitch processing unit 603 performs a stitch process on the reflectance image, generates a final reflectance image, and supplies the final reflectance image to the specific index image calculation unit 604.
  • the specific index image calculation unit 604 uses the final reflectance image in the infrared region after the stitch processing and the red reflectance image in the visible region to generate the above-described equation (3 The image based on the NDVI value is generated by performing the operation based on the).
  • step S501 light source information is extracted.
  • the light source information the illuminance value when the multispectral image to be processed is captured is extracted.
  • step S502 the wavelength to be extracted is designated.
  • the processes of steps S502 to S508 are performed in the same manner as the processes of steps S301 to S307 of the flowchart illustrated in FIG. 34, and thus the description thereof is omitted here.
  • step S509 a reflectance image is calculated.
  • the reflectance image generation unit 602 calculates reflectance by calculating (inspection image / light source information), and generates a reflectance image using the reflectance.
  • step S510 the reflectance image stitch processing unit 603 performs stitch processing using the reflectance image generated by the reflectance image generation unit 602.
  • the stitch process in step S510 can be performed, for example, in the same manner as the stitch process in step S15 of FIG. 22, and thus the description thereof is omitted here.
  • step S511 the specific index image calculation unit 604 generates a specific index image, for example, a vegetation index image.
  • the specific index image calculation unit 604 when the specific index image calculation unit 604 generates the vegetation index image, the reflectance image in the infrared region and the red reflection in the visible region are calculated in order to perform the calculation based on the equation (3) described above. Get rate image. Then, the specific index image calculation unit 604 generates a vegetation index image by substituting the acquired reflectance image of the infrared region and the red reflectance image of the visible region into Expression (3).
  • the present technology can also be applied to the case of generating an image of a specific index, such as a vegetation index image.
  • a stitching reference map 303 (stitch reference information 303) for stitch is generated, and a specific index image is generated based on the stitching reference map 303 (stitch reference information 303). Therefore, even when, for example, an image of a different specific index is generated, the specific index image can be easily generated based on the stitching reference map 303 (stitch reference information 303).
  • the reference image and the reference image are stitch-processed to generate the stitching reference map 303 (stitch reference information 303).
  • stitch reference information 303 stitch reference information
  • the MS sensor 103 can acquire images (multispectral images) of a plurality of wavelengths.
  • multispectral images can be used to acquire images of yet other wavelengths.
  • the image generation unit 62 can generate an image of an arbitrary wavelength.
  • the amount of data supplied from the imaging unit 61 to the image generation unit 62 can be reduced.
  • processing in the image generation unit 62, the first stitch processing unit 63, and the second stitch processing unit 64 can be reduced.
  • the stitching reference map 303 (stitch reference information 303) is generated, and based on the stitching reference map 303 (stitch reference information 303), the image of the desired wavelength is subjected to stitching processing. For example, even when images of a plurality of wavelengths (a plurality of specific index images) are generated, there is no need to perform the stitch processing from the beginning for each of a plurality of specific index images. Since the processing can be performed based on the reference information 303), the processing can be significantly reduced.
  • the amount of data handled in the image processing system 50 (51) can be reduced, and the processing load can be reduced, so the processing time in the image processing system 50 (51) can also be reduced.
  • the above-described series of processes may be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 38 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 1001, a read only memory (ROM) 1002, and a random access memory (RAM) 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives removable media 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. Processing is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on, for example, a removable medium 1011 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • system represents the entire apparatus configured by a plurality of apparatuses.
  • the present technology can also have the following configurations.
  • (1) Regarding a second imaging area that generates a first reference image regarding the first imaging area based on a plurality of first images regarding the first imaging area, and at least a part of which overlaps the first imaging area
  • An image generation unit that generates a second reference image related to the second imaging region based on a plurality of second images;
  • a processing unit that generates positioning information indicating a correspondence between the first imaging region and the second imaging region based on the first reference image and the second reference image;
  • An image processing apparatus comprising: (2) The processing unit stitch-processes the first reference image and the second reference image to generate a reference composite image including the positioning information.
  • the image processing apparatus according to (1).
  • the processing unit acquires a composite image by performing a stitching process on one of the plurality of first images and one of the plurality of second images based on the positioning information.
  • the processing unit sets an area corresponding to the first imaging area as an image based on the plurality of first images based on the positioning information, and the plurality of areas corresponding to the second imaging area. Acquiring the composite image by setting the image based on the second image of The image processing apparatus according to (1) or (2).
  • the plurality of first images are images based on different wavelengths, or the plurality of second images are images based on different wavelengths.
  • the image processing apparatus according to any one of the above (1) to (4).
  • the image generation unit preferentially acquires an image having a large feature amount from the plurality of first images as the first reference image, and prioritizes an image having a large feature amount from the plurality of second images.
  • the image processing apparatus according to any one of the above (1) to (5).
  • the image generation unit acquires an image with the largest feature amount among the plurality of first images as the first reference image, and selects an image with the largest feature amount among the plurality of second images. Get as 2 reference images, The image processing apparatus according to any one of the above (1) to (5).
  • the image generation unit generates a first reduced image by reducing the first image, generates the first reference image with the first reduced image as a target, and reduces the second image.
  • the image processing apparatus according to any one of (1) to (7), wherein a second reduced image is generated, and the second reduced image is also generated to generate the second reference image.
  • a second reduced image is generated, and the second reduced image is also generated to generate the second reference image.
  • the image processing apparatus When the first reduced image is set to the first image, an original first image of the first reduced image is set to the first reference image, and the second reduced image Is set to the second image, the original second image of the second reduced image is set to the second reference image.
  • the image processing apparatus according to (8).
  • the image generation unit divides the first image into blocks, calculates a feature amount for each block, generates the first reference image from the block having the large feature amount, and generates the second image.
  • the image processing apparatus according to any one of (1) to (7), wherein the image processing apparatus is divided into blocks, a feature amount is calculated for each block, and the second reference image is generated from the block having the large feature amount.
  • the image generation unit generates a first reduced image obtained by reducing the first image, divides the first reduced image into blocks, and targets the blocks of the first reduced image.
  • a second reduced image generated by reducing the second image, the second reduced image is also divided into blocks, and the second reduced image block is also targeted.
  • the image processing apparatus according to (10), which generates the second reference image.
  • the corresponding block of the original first image of the first reduced image is set as a part of the first reference image
  • the corresponding block of the original second image of the second reduced image is a part of the second reference image
  • the first reference image and the second reference image are respectively subjected to an orthodontic process,
  • the image processing apparatus according to any one of (1) to (13), wherein the processing unit generates the positioning information on the basis of the first reference image and the second reference image that are converted into the ortho pattern. .
  • a second imaging area that generates a first reference image regarding the first imaging area based on a plurality of first images regarding the first imaging area, and at least a part of which overlaps the first imaging area Generating a second reference image on the second imaging area based on the plurality of second images;
  • Positioning information indicating a correspondence between the first imaging region and the second imaging region is generated based on the first reference image and the second reference image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、スティッチ処理を容易に行うことができるようにする画像処理装置、画像処理方法、並びにプログラムに関する。 第１の撮像領域に関する複数の第１の画像に基づいて第１の撮像領域に関する第１のリファレンス画像を生成し、第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、第１のリファレンス画像と第２のリファレンス画像とに基づいて、第１の撮像領域と第２の撮像領域との対応関係を示す位置決め情報を生成する処理部とを備える。本技術は、例えば複数の画像をスティッチ処理する画像処理装置に適用できる。

Description

画像処理装置、画像処理方法、並びにプログラム
　本技術は画像処理装置、画像処理方法、並びにプログラムに関し、例えば、スティッチ処理を簡便に行えるようにした画像処理装置、画像処理方法、並びにプログラムに関する。
　セスナやドローンなどを用いて空撮された画像をスティッチングしたり、マッピングしたりすることが行われている。
　また、植物の生育具合をセンシングすることも提案されている。植物の光合成は、光のエネルギーではなく、光の粒子である光量子の数に影響を受けることが知られている。植物の光合成に有効な光量子束密度を測定することで、その植物の生育具合をセンシングすることが提案されている（例えば、特許文献１参照）。
特開２０１２－１６３４８２号公報
　市街地など建造物が多い場所を空撮した画像は、特徴量を抽出しやすく、比較的容易にスティッチングしたり、マッピングしたりすることができる。しかしながら、建造物の少ない田畑、森林などでは、画像の特徴量を抽出しづらく、スティッチングしたり、マッピングしたりすることが困難となる。
　例えば、植物の生育をセンシングするために、圃場を空撮し、空撮した画像をスティッチングしたり、マッピングしたりする場合、空撮された画像からは特徴量を抽出しづらく、スティッチングやマッピングを行うことが困難であった。
　本技術は、このような状況に鑑みてなされたものであり、特徴量を抽出しやすくし、スティッチングやマッピングを容易に行えるようにするものである。
　本技術の一側面の画像処理装置は、第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する処理部とを備える。
　本技術の一側面の画像処理方法は、第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、ステップを含む。
　本技術の一側面のプログラムは、コンピュータに、第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、ステップを含む処理を実行させる。
　本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、第１の撮像領域に関する複数の第１の画像に基づいて第１の撮像領域に関する第１のリファレンス画像が生成され、第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて第２の撮像領域に関する第２のリファレンス画像が生成され、第１のリファレンス画像と第２のリファレンス画像とに基づいて、第１の撮像領域と第２の撮像領域との対応関係を示す位置決め情報が生成される。
　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
　本技術の一側面によれば、特徴量を抽出しやすくし、スティッチングやマッピングを容易に行える。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術が適用される画像処理システムの一実施の形態の構成を示す図である。 本技術が適用される画像処理システムの他の実施の形態の構成を示す図である。 画像処理システムの構成例を示す図である。 画像処理システムの構成例を示す図である。 単位画素について説明するための図である。 フィルタの特性について説明するための図である。 フィルタの特性について説明するための図である。 マルチカメラの一例の構成について説明するための図である。 マルチカメラの一例の構成について説明するための図である。 フィルタの特性について説明するための図である。 空撮時の処理について説明するための図である。 空撮により得られる画像について説明するための図である。 マルチスペクトル画像について説明するための図である。 リファレンス画像の生成について説明するための図である。 リファレンス画像のスティッチ処理について説明するための図である。 リファレンス画像のスティッチ処理について説明するための図である。 検査画像のスティッチ処理について説明するための図である。 画像処理システムの動作について説明するための図である。 光源情報について説明するための図である。 物体により反射率が異なることについて説明するための図である。 ＭＳセンサの分光特性について説明するための図である。 第１の生成処理について説明するためのフローチャートである。 第１の特徴量演算処理について説明するためのフローチャートである。 リファレンス画像生成処理について説明するためのフローチャートである。 第２の特徴量演算処理について説明するためのフローチャートである。 縮小画像の作成について説明するための図である。 リファレンス画像の生成について説明するための図である。 第３の特徴量演算処理について説明するためのフローチャートである。 ブロックへの分割処理について説明するための図である。 リファレンス画像の生成について説明するための図である。 第３のリファレンス画像生成処理について説明するためのフローチャートである。 特徴画像の再構成について説明するための図である。 特徴画像の再構成について説明するための図である。 第４の生成処理について説明するためのフローチャートである。 第５の生成処理について説明するためのフローチャートである。 画像処理システムの他の構成について説明するための図である。 第６の生成処理について説明するためのフローチャートである。 記録媒体について説明するための図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜画像処理システム＞
　図１は、本技術を適用した画像処理装置を含む画像処理システムの一実施の形態の構成を示す図である。
　画像処理システム１０は、被写体を撮像し、スティッチ処理を行い、所望とされる画像を作成するシステムである。例えば、画像処理システム１０においては、被写体として植物（植生）を対象とし、その植物の生育状態を表すマップ（画像）が作成される。
　図１において、画像処理システム１０は、撮像装置１１、照度センサ１２、ハブ１３、および演算装置１４から構成される。撮像装置１１、照度センサ１２、および演算装置１４は、ハブ１３を介して相互に接続されている。
　撮像装置１１は、測定対象とされる物体を撮像する。照度センサ１２は、光源、例えば太陽光の照度を測定する装置であり、測定した照度情報（照度値）を、撮像装置１１に供給する。
　例えば、撮像装置１１は、ドローンなどと称される遠隔操縦または自律式の無人航空機の下側（地面側）に装着され、照度センサ１２は、無人航空機の上側（空側）に装着される。
　なおここでは、撮像装置１１と照度センサ１２は、別体であるとして説明を続けるが、同一の筐体に設けられていても良い。また、撮像装置１１と照度センサ１２は、無人航空機に含まれている構成とすることも可能である。
　なお、ここでは、無人航空機を用いた空撮による得られる画像を処理する場合を例に挙げて説明を続けるが、パノラマ撮影により得られる画像など、空撮以外の撮影により得られる画像を処理する場合にも、本技術を適用することはできる。
　撮像装置１１は、被写体を撮像し、その撮像により得られるデータを、ハブ１３を介して演算装置１４に出力する。照度センサ１２は、照度を計測するためのセンサであり、測定結果である照度値を、ハブ１３を介して演算装置１４に出力する。
　演算装置１４は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等の回路による演算機能を有する装置である。例えば、演算装置１４は、パーソナルコンピュータや専用の端末装置などとして構成される。
　図１に示した画像処理システム１０では、パーソナルコンピュータ等の演算装置１４が、ハブ１３を介したローカルな環境で、画像処理を行っていたが、ネットワークを介したクラウド環境で、画像処理が行われるようにしてもよい。
　図２には、画像処理システムの他の構成例として、クラウド環境に対応した画像処理システム３０の構成例を示している。
　図２の画像処理システム３０において、撮像装置１１と照度センサ１２は、図１の撮像装置１１と照度センサ１２と同様に、画像データと照度値を、ハブ１３を介してクライアント装置３１に出力する。
　クライアント装置３１は、パーソナルコンピュータ等から構成され、ハブ１３を介して、撮像装置１１と照度センサ１２から入力される画像データと照度値を、ルータ３２に出力する。すなわち、クライアント装置３１は、図１の演算装置１４に対応しているが、画像処理は行わない、または一部しか行わない装置として設けられている。
　ルータ３２は、例えばモバイル用のルータであり、基地局３３を介して、インターネット等のネットワーク３４に接続することができる。ルータ３２は、クライアント装置３１から入力される画像データと照度値を、ネットワーク３４を介して、サーバ３５に送信する。
　サーバ３５は、ネットワーク３４を介して、クライアント装置３１から送信されてくる画像データと照度値を受信する。ここで、サーバ３５は、図１に示した演算装置１４が有する機能と同等の機能または少なくとも一部の機能を有している。
　サーバ３５には、ストレージ３６が接続されており、サーバ３５に供給された画像データや照度値は、必要に応じてストレージ３６に記憶されたり、スティッチ処理などを行うときに必要とされるデータが適宜読み出されたりする。
　画像処理システム１０（または画像処理システム３０）は、図３に示すような構成を有する（機能を含む）。ここでは、画像処理システム１０、画像処理システム３０と区別を付けるため、図３に示した画像処理システムは、画像処理システム５０と記述する。
　画像処理システム５０は、レンズ１０１、露光部１０２、ＭＳセンサ１０３、指定波長演算処理部１０４、リファレンス画像生成処理部１０５、検査波長画像抽出部１０６、リファレンス画像スティッチ処理部１０７、および検査画像スティッチ処理部１０８を含む構成とされている。
　図３に示した画像処理システム５０を、図１に示した画像処理システム１０で構成した場合、または、画像処理システム３０で構成した場合について、図４を参照して説明する。
　図４の上図は、図３に示した画像処理システム５０であり、下図は、構成例を示し、ここでは構成例Ａ乃至Ｇを示す。まず図４の上図に示すように、画像処理システム５０を、４つに分ける。レンズ１０１、露光部１０２、ＭＳセンサ１０３は、被写体の撮像を行う撮像部６１とする。
　指定波長演算処理部１０４、リファレンス画像生成処理部１０５、検査波長画像抽出部１０６は、リファレンス画像や、検査波長画像などの画像を生成する画像生成部６２とする。リファレンス画像スティッチ処理部１０７は、スティッチ処理を行う第１のスティッチ処理部６３とする。検査画像スティッチ処理部１０８は、スティッチ処理を行う第２のスティッチ処理部６４とする。
　構成例Ａは、画像処理システム５０を、撮像装置１１内で完結するように構成した場合であり、撮像部６１、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４が、全て撮像装置１１に含まれる構成例である。図１や図２には示していないが、撮像装置１１だけで、スティッチ処理まで行える構成とすることができる。
　構成例Ｂは、画像処理システム５０のうち、撮像部６１、画像生成部６２を撮像装置１１内に設け、第１のスティッチ処理部６３と第２のスティッチ処理部６４を演算装置１４（図１）またはサーバ３５（図２）に設ける構成例である。
　構成例Ｃは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４を演算装置１４（図１）またはサーバ３５（図２）に設ける構成例である。
　構成例Ｄは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２を、クライアント装置３１（図２）内に設け、第１のスティッチ処理部６３と第２のスティッチ処理部６４をサーバ３５（図２）に設ける構成例である。
　構成例Ｅは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４をサーバ３５（図２）に設ける構成例である。
　構成例Ｆは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２と第１のスティッチ処理部６３をクライアント装置３１（図２）に設け、第２のスティッチ処理部６４をサーバ３５（図２）に設ける構成例である。
　構成例Ｇは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２を、クライアント装置３１（図２）内に設け、第１のスティッチ処理部６３をサーバ３５（図２）に設け、第２のスティッチ処理部６４をクライアント装置３１（図２）に設ける構成例である。
　画像処理システム５０は、構成例Ａ乃至Ｇのいずれの構成でも良く、単独の装置として構成されていても良いし、複数の装置から構成されていても良い。本技術によれば、以下に明らかにするように、どのような構成を有しても、処理を軽減させることができ、処理に係る時間の短縮化や、処理負担を軽減することができる。
　図３に示した画像処理システム５０の説明に戻る。レンズ１０１、露光部１０２、ＭＳセンサ１０３は、図４を参照して説明した構成例Ａ乃至Ｇのいずれの構成においても、撮像装置１１に含まれる構成とされる。
　撮像装置１１において、測定対象物等の対象物からの光（反射光）は、レンズ１０１と露光部１０２を介してＭＳセンサ１０３に入射される。ＭＳセンサ１０３のＭＳとは、マルチスペクトルを意味する。後述するように、撮像装置１１は、１単位画素から、複数の異なる波長の信号を得ることができるように構成されている。
　露光部１０２は、ＭＳセンサ１０３において、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ１０１等の光学系やアイリス（絞り）による開口量、ＭＳセンサ１０３の露光時間、シャッタスピードなどを調整することで、露光制御を行う。
　ＭＳセンサ１０３は、図５に示すようにＭＳフィルタ１０３－１とセンサ１０３－２とから構成されている。ＭＳフィルタ１０３－１は、測定対象の指標に応じた光学フィルタとすることができ、複数の異なる波長を、それぞれ透過させるフィルタとされている。ＭＳフィルタ１０３－１は、レンズ１０１を介して入射された光を、ＭＳセンサ１０３のセンサ１０３－２に透過させる。
　センサ１０３－２は、そのセンサ面に、複数の画素が繰り返しパターンで２次元配列されたセンシング素子から構成されるイメージセンサである。ＭＳセンサ１０３は、ＭＳフィルタ１０３－１を通過した光を、センシング素子（センサ１０３－２）により検出することで、光の光量に応じた測定信号（測定データ）を、指定波長演算処理部１０４に出力する。
　ここで、例えば、画像処理システム５０が植生をセンシングする装置として用いられる場合、光合成有効光量子束密度（PPFD：Photosynthetic Photon Flux Density）がセンシングされることがある。植物の光合成は、光の粒子である光量子（光子）の数によって左右され、葉緑素（クロロフィル）の吸収波長である４００ｎｍ～７００ｎｍの波長での光量子が、単位時間で、単位面積当たりに入射する個数で示したのが、PPFD値となる。
　このPPFD値を算出する場合、RGB信号が必要になり、ＭＳフィルタ１０３－１として、R（赤）、G（緑）、Ｂ（青）、IR（赤外光）などの波長をそれぞれ透過するフィルタが組み合わされたものとされる。例えば、図３に示すように、１単位画素は、縦×横＝２×４＝８画素で構成され、各画素は、波長Ａ乃至Ｈの光を受光する。ＭＳフィルタ１０３－１は、波長Ａ乃至Ｈの光をそれぞれ透過させるフィルタとされ、ＭＳセンサ１０３の画素は、透過された光を受光するセンサとされる。
　以下の説明において、１単位画素は、図５に示したように８画素で構成され、それぞれの画素は、それぞれ異なる波長の光を受光する画素であるとして説明を続ける。また、以下の説明において、単に画素との記載をした場合、１単位画素内の１画素を表すとし、単位画素との記載をした場合、８画素から構成される画素（群）であるとして説明を続ける。
　また１単位画素は、波長Ａ乃至Ｈの光を受光するセンサとなるが、例えば、４００ｎｍ～７５０ｎｍの光を受光するセンサとし、波長Ａを４００ｎｍ、波長Ｂを４５０ｎｍ、波長Ｃを５００ｎｍ、波長Ｄを５５０ｎｍ、波長Ｅを６００ｎｍ、波長Ｆを６５０ｎｍ、波長Ｇを７００ｎｍ、波長Ｈを７５０ｎｍとすることができる。
　なお、ここでの１単位画素に含まれる画素数は、一例であり、限定を示す記載ではなく、例えば、２×２の４画素や、４×４の１６画素で構成されるようにしても良い。また、１単位画素で受光される光の波長の範囲や、各画素で受光される波長は、上記した例に限定されるわけではなく、センシング対象とされている測定物体を適切にセンシングできる波長を設定することができる。また、その波長は、可視光に限らず、赤外光や紫外光などであっても良い。
　このように複数の波長の光を透過させるＭＳフィルタ１０３－１は、所定の狭い波長帯域（狭帯域）の狭帯域光を透過する光学フィルタである。
　このような、狭帯域のフィルタなどを用いたカメラは、マルチスペクトルカメラなどと称されることがあり、本技術においても、マルチスペクトルカメラを用いルことができる。ここで、マルチスペクトルカメラについて説明を加える。
　図６に示すように、ＭＳフィルタ１０３－１を通過した光の波長が重なりあう場合、後述する逆マトリクスを解くことで、被写体の任意の波長の情報を取り出すことができる。
　図７に示すように、ＭＳフィルタ１０３－１を通過した光の波長が重なる範囲を少なくした場合、それぞれ独立する狭帯域のフィルタとすることができる。この場合、被写体の任意の波長の情報を取り出すことは難しい（特定の波長から内挿、外挿により予測することは可能）が、逆マトリクスを解くことなく、センサ出力を予測できるメリットがある。
　図６に示すように、ＭＳフィルタ１０３－１を通過した光の波長が重なりあう場合の光学フィルタとしては、アルミニウム等の金属製の薄膜を用いた金属薄膜フィルタの一種であり、表面プラズモン共鳴の原理を利用したものを適用することができる。
　図７に示すように、ＭＳフィルタ１０３－１を通過した光の波長が重なる範囲を少なくした場合の光学フィルタとしては、センサ表面に薄膜を形成しファブリーペロー共振の原理を利用したものを適用することができる。
　また、ＭＳセンサ１０３－２の画素単位でマルチスペクトルセンサを構成することも可能である。
　また、図８に示すように 、マルチフィルタ１５１とマルチカメラ１５２を組み合わせることで、マルチスペクトルカメラを構成することも可能である。
　マルチフィルタ１５１は、画素単位ではなく、画素群毎に、異なる光を透過させるフィルタとされている。例えば、領域Ａ乃至Ｈは、それぞれａ×ｂ個の画素群の大きさとされ、マルチカメラ１５２の対応する領域は、対応する領域Ａ乃至Ｈの大きさと同一の大きさで構成されている（ａ×ｂ個の画素群が配置されている）。
　さらに、図９に示すように、マルチレンズアレイ１６１（図３におけるレンズ１０１に該当する）、マルチフィルタ１６２を組み合わせることで、マルチスペクトルカメラを構成することも可能である。
　マルチレンズアレイ１６１には、凸レンズが二次元状に配置されており、マルチレンズアレイ１６１に入射した光束は、マルチフィルタ１６２に光源像を二次元状に形成（マルチレンズアレイ１６１を構成するレンズ毎に光源像を形成）する。
　マルチフィルタ１６２は、図８のマルチフィルタ１５１と同じく、複数の領域に分割されたフィルタであり、この場合、マルチレンズアレイ１６１の１つのレンズに対応した領域毎に分割されているフィルタとされている。または、マルチフィルタ１６２は、図５のＭＳフィルタ１０３－１と同じく、画素毎に所定の波長を透過するフィルタとされている。
　図８または図９に示したマルチカメラの場合、マルチフィルタ１５１（１６２）の特性としては、図６に示したような特性を有するフィルタとすることもできるし、図７に示したような特性を有するフィルタとすることもできる。さらに、図１０に示すような特性を有する超狭帯域のマルチフィルタ１５１（１６２）でも良い。
　図１０に示すような特性を有するフィルタは、ダイクロイック・フィルタなどと呼ばれ、屈折率の異なる誘電体の多層膜により構成することができる。
　本技術は、これらのマルチカメラのいずれにも適用する（用いる）ことができる。ここでは、図６に示したような特性を有するフィルタを用いた場合を例に挙げ、図５に示したように、ＭＳフィルタ１０３－１とＭＳセンサ１０３－２から構成されるマルチカメラを用いた場合を例に挙げて説明を続ける。
　図３に示した画像処理システム５０の構成の説明に戻り、ＭＳセンサ１０３からの信号（画像信号）は、指定波長演算処理部１０４に供給される。指定波長演算処理部１０４は、供給された画像信号を用いて、所望とされる光の波長の画像を生成する処理を実行する。ＭＳセンサ１０３は、上記したように、複数の異なる波長の光をそれぞれ受光するセンサであり、それぞれのセンサから得られる画像が、指定波長演算処理部１０４には供給される。
　例えば、図５を参照して説明したように、波長Ａ乃至Ｈをそれぞれ受光するセンサから、ＭＳセンサ１０３の単位画素が構成されている場合、波長Ａの光を受光する画素からの出力で構成される画像（画像Ａとする）、波長Ｂの光を受光する画素からの出力で構成される画像（画像Ｂとする）、波長Ｃの光を受光する画素からの出力で構成される画像（画像Ｃとする）、波長Ｄの光を受光する画素からの出力で構成される画像（画像Ｄとする）、波長Ｅの光を受光する画素からの出力で構成される画像（画像Ｅとする）、波長Ｆの光を受光する画素からの出力で構成される画像（画像Ｆとする）、波長Ｇの光を受光する画素からの出力で構成される画像（画像Ｇとする）、波長Ｈの光を受光する画素からの出力で構成される画像（画像Ｈとする）が、指定波長演算処理部１０４に供給される。
　このように、本技術による撮像装置１１によると、複数の異なる波長を受光したことにより複数の画像が、一時に得られる。この一時に得られる画像を、マルチスペクトル画像と適宜記載する。マルチスペクトル画像は、マルチスペクトルフィルタ（上記したＭＳフィルタ１０３－１）の特性に応じて取り出された複数のスペクトル画像である。
　指定波長演算処理部１０４は、ＭＳセンサ１０３から供給されるマルチスペクトル画像をそのまま用いる、マルチスペクトル画像を用いた逆マトリクス演算を行うことで、任意の波長の画像を取り出し（生成し）、用いる、または、マルチスペクトル画像と演算により生成された任意の波長の画像を用いる。指定波長演算処理部１０４で用いられた画像は、リファレンス画像生成処理部１０５または検査波長画像抽出部１０６に供給される。
　リファレンス画像生成処理部１０５は、リファレンス画像を生成する。リファレンス画像とは、スティッチ処理を行うときの元となる情報（後述するスティッチリファレンス情報３０３）を生成するときに用いられる画像である。また、リファレンス画像は、被写体の特徴に合わせられた最も特徴的な画像となる。このリファレンス画像の生成や、この後の処理であるスティッチ処理に関しては、後述する。リファレンス画像生成処理部１０５で生成されたリファレンス画像は、リファレンス画像スティッチ処理部１０７に供給される。
　検査波長画像抽出部１０６は、検査画像を生成する。例えば、植物の生育具合を調べる画像を生成したい場合、植生をセンシングするのに適した波長（検査波長）の画像が生成（抽出）される。検査波長画像抽出部１０６で抽出された検査画像は、検査画像スティッチ処理部１０８に供給される。
　リファレンス画像スティッチ処理部１０７は、リファレンス画像に対してスティッチ処理を施す。リファレンス画像がスティッチ処理されることにより生成された画像（そのような画像の情報）は、検査画像をスティッチ処理するときに用いられる。ここでは、リファレンス画像がスティッチ処理されることにより生成された画像（情報）を、スティッチング参照マップ、またはスティッチリファレンス情報と記述する。
　生成されたスティッチリファレンス情報は、検査画像スティッチ処理部１０８に供給される。検査画像スティッチ処理部１０８には、検査波長画像抽出部１０６から検査画像も供給される。検査画像スティッチ処理部１０８は、スティッチリファレンス情報に基づき、検査画像をスティッチングし、スティッチング後の検査画像を生成する。
　＜画像処理システムの動作について＞
　図１１、図１２を参照し、図１乃至図３に示した画像処理システムの動作について説明する。
　時刻Ｔ１（図１１）において、フライトプランが立てられる。例えば、所定の圃場２１１上を移動測定装置２０１で移動することで、圃場２１１の植物等を測定対象として撮像する場合、図１１の時刻Ｔ１のところに示したようなフライトプランが立てられる。
　移動測定装置２０１は、例えば無人航空機（UAV：Unmanned Aerial Vehicle）であって、プロペラ状の回転翼２０２が回転することで飛行し、上空から、圃場２１１の植物等の測定対象物をセンシング（空撮）する。空撮時に、移動測定装置２０１の太陽光を受光することができる面には、照度センサ１２（図１）が取り付けられており、照度値をセンシングできるように構成されている。また、空撮時に、移動測定装置２０１の圃場２１１側に向く面には、撮像装置１１が取り付けられている。
　移動測定装置２０１は、フライトプランに基づく無線操縦で空撮したり、フライトプランを座標データとしてあらかじめ記憶しておき、GPS(Global Positioning System)などの位置情報を用いて自律飛行することで、空撮したりする。なおここでは、移動測定装置２０１が、回転翼２０２を有する回転翼機であるとして説明したが、移動測定装置２０１は、固定翼機であってもよい。
　時刻Ｔ２において、フライトプランに基づき実際の圃場２１１の空撮が行われる。この空撮は、撮像された画像に重なりがあるように撮像される。時刻Ｔ３（図１２）において、空撮結果が得られる。図１２に示したように、撮像された画像には、重なる部分が存在する。この重なる部分は、一方を残し他方を削除する、合成するなどのトリミングやスティッチングが行われる。その結果、時刻Ｔ４（図１２）に示したように、複数の画像が、重なる部分が無いように配置された画像が生成される。
　例えば、時刻Ｔ２により、５００枚の画像が撮像された場合、５００枚の画像を用いて、トリミングや、スティッチングが行われ、最終的に地図へのマッピングが行われる。
　本技術を適用した撮像装置１１は、図５を参照して説明したように、ＭＳセンサ１０３を有し、波長Ａ乃至Ｈの光をそれぞれ受光し、画像Ａ乃至画像Ｈを生成する。このＭＳセンサ１０３で、上記したようにして、５００枚の画像が撮像された場合について、図１３を参照して説明する。
　空撮が行われることにより、ＭＳセンサ１０３の波長Ａの光を受光する画素（画素Ａとする、以下、他の画素も同様の記載を行う）からは、画像３０１Ａ－１乃至画像３０１Ａ―５００の５００枚の画像が空撮結果として得られる。
　同様に、ＭＳセンサ１０３の波長Ｂの光を受光する画素Ｂからは、画像３０１Ｂ－１乃至画像３０１Ｂ―５００の５００枚の画像が空撮結果として得られ、波長Ｃの光を受光する画素Ｃからは、画像３０１Ｃ－１乃至画像３０１Ｃ―５００の５００枚の画像が空撮結果として得られ、波長Ｄの光を受光する画素Ｄからは、画像３０１Ｄ－１乃至画像３０１Ｄ―５００の５００枚の画像が空撮結果として得られる。
　さらに同様に、波長Ｅの光を受光する画素Ｅからは、画像３０１Ｅ－１乃至画像３０１Ｅ―５００の５００枚の画像が空撮結果として得られ、波長Ｆの光を受光する画素Ｆからは、画像３０１Ｆ－１乃至画像３０１Ｆ―５００の５００枚の画像が空撮結果として得られ、波長Ｇの光を受光する画素Ｇからは、画像３０１Ｇ－１乃至画像３０１Ｇ―５００の５００枚の画像が空撮結果として得られ、波長Ｈの光を受光する画素Ｈからは、画像３０１Ｈ－１乃至画像３０１Ｈ―５００の５００枚の画像が空撮結果として得られる。
　この場合、画素Ａ乃至Ｈのそれぞれから、５００枚の画像が得られる。時刻Ｔ３（図１２）において空撮結果としては、例えば、画像３０１Ａ－１乃至画像３０１Ａ―５００からなる圃場２１１の画像や、画像３０１Ｂ－１乃至画像３０１Ｂ―５００からなる圃場２１１の画像などが生成される。仮に、最終的に得たい画像が、波長Ａに基づく画像である場合、画像３０１Ａ－１乃至画像３０１Ａ―５００を用いて、トリミングやスティッチングが行われる。
　よって、仮に、最終的に得たい画像が、波長Ａ乃至Ｈのそれぞれに基づく画像である場合、画像３０１Ａ－１乃至画像３０１Ａ―５００を用いて、トリミングやスティッチングが行われ、画像３０１Ｂ－１乃至画像３０１Ｂ―５００を用いて、トリミングやスティッチングが行われといったように、画像３０１Ａ乃至画像３０１Ｈのそれぞれを用いた処理が行われる。
　このような処理は膨大な処理となり、扱われるデータ量も多くなる。仮に、図３に示したような画像処理システム５０ではない構成により、図１に示したような画像処理システム１０を構築した場合、撮像装置１１から演算装置１４に転送されるデータ量が多くなり、この転送に係る時間が長くなってしまう可能性がある。また、演算装置１４による演算量が多くなり、演算装置１４の処理時間が長くなってしまう可能性がある。換言すれば、図３に示したような画像処理システム５０ではない構成によると、データの転送や処理時間が長くなってしまう可能性が高かった。
　しかしながら、本実施の形態においては、図３に示したような画像処理システム５０の構成を有するため、データの転送や処理時間を短くすることが可能である。
　詳細については順次説明するが、概略を説明する。図１４に示すように、画素Ａ乃至Ｈから得られた４０００（＝８×５００）枚の画像３０１が用いられてリファレンス画像３０２が生成される。まず、同時刻（時刻ｔ１とする）に撮像された画像３０１Ａ－１乃至３０１Ｈ－１から、リファレンス画像３０２－１が生成される。
　なおこの場合、同時刻に撮像された画像は、同時刻にＭＳセンサ１０３で撮像された画像となるため、同一箇所を撮像した画像となる。すなわち例えば時刻ｔ１に撮像された画像３０１Ａ－１乃至３０１Ｈ－１は、同一箇所を撮像した画像であり、波長が異なる画像となる。このように、同一箇所を撮像した複数の画像３０１から、リファレンス画像３０２が生成される。
　時刻ｔ２に撮像された画像３０１Ａ－２乃至３０１Ｈ－２から、リファレンス画像３０２－２が生成され、時刻ｔ３に撮像された画像３０１Ａ－３乃至３０１Ｈ－３から、リファレンス画像３０２－３が生成される。同様の処理が繰り返されることで、リファレンス画像３０２－５００までが生成される。すなわち、リファレンス画像３０２－１乃至３０２－５００が生成される。
　リファレンス画像３０２は、被写体の特徴に合わせられた、最も特徴的な画像となっている画像である。例えば、被写体として建物が撮像されている画像においては、その建物が特徴的な画像となっている、例えば、建物の部分がエッジとして抽出されているなどの画像となっている。よって、この特徴的な部分が一致する画像を重ね合わせることでスティッチングを行うことができる。
　例えば、図１２を再度参照するに、時刻Ｔ３の所に示したように、画像同士に重なりがあるが、この画像が、リファレンス画像３０２である場合、例えば、隣り合うリファレンス画像３０２間で一致する特徴的な部分（例えばエッジが検出されている領域、以下、特徴領域と適宜記載する）を重ねる、例えば建物がある部分を重ねることで、スティッチングを行う。
　例えば、図１５に示すようにリファレンス画像３０２がスティッチング（重なりがある状態で）されたとする。図１５は、図１２の時刻Ｔ３に示した空撮結果と同じ状態を図示している。
　図１５を参照するに、リファレンス画像３０２－１の右隣に、重なりがある状態で、リファレンス画像３０２－１００が配置されている。リファレンス画像３０２－１００の右隣に、重なりがある状態で、リファレンス画像３０２－１５０が配置されている。リファレンス画像３０２－１５０の右隣に、重なりがある状態で、リファレンス画像３０２－２００が配置されている。
　リファレンス画像３０２－１の下側に、重なりがある状態で、リファレンス画像３０２－３００が配置されている。リファレンス画像３０２－３００の右隣に、重なりがある状態で、リファレンス画像３０２－４００が配置されている。リファレンス画像３０２－４００の右隣に、重なりがある状態で、リファレンス画像３０２－４５０が配置されている。
　隣り合うリファレンス画像３０２間で一致する特徴領域を重ね合わせて配置したときに、図１５に示したような状態の画像が得られた場合、重なり部分を削除することで、図１６に示すようなスティッチング参照マップ３０３が得られる。
　図１６を参照するに、スティッチング参照マップ３０３の右上には、リファレンス画像３０２－１の一部が配置され、このリファレンス画像３０２－１の右隣には、リファレンス画像３０２－１００の一部が配置される。同様に、リファレンス画像３０２－１００の右隣には、リファレンス画像３０２－１５０の一部が配置され、リファレンス画像３０２－１５０の右隣には、リファレンス画像３０２－２００の一部が配置される。
　さらに同様に、リファレンス画像３０２－１００の下側には、リファレンス画像３０２－３００の一部が配置され、リファレンス画像３０２－３００の右隣には、リファレンス画像３０２－４００の一部が配置され、リファレンス画像３０１－４００の右隣には、リファレンス画像３０２－４５０の一部が配置される。
　このようなスティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成される。スティッチング参照マップ３０３（スティッチリファレンス情報３０３）は、リファレンス画像３０２同士の位置決めの情報である。また、リファレンス画像３０２は、例えば、図１４を参照して説明したように、複数の画像３０１から生成された画像である。
　例えば、図１４では、画像３０１Ａ－１乃至３０１Ｈ－１から、リファレンス画像３０２－１が生成され、画像３０１Ａ－２乃至３０１Ｈ－２から、リファレンス画像３０２－２が生成される例を挙げて説明した。
　また画像３０１Ａ－１乃至３０１Ｈ－１は、例えば、所定の撮像領域Ａを撮像した画像であり、画像３０１Ａ－２乃至３０１Ｈ－２は、例えば、所定の撮像領域Ｂを撮像した画像である。ここで、撮像領域Ａと撮像領域Ｂは、少なくとも一部が重複する領域とされている。
　すなわち、ここまでの処理をまとめると、撮像領域Ａに関する複数の画像３０１Ａ－１乃至３０１Ｈ－１に基づいて撮像領域Ａに関するリファレンス画像３０２－１が生成され、撮像領域Ａと少なくとも一部が重複する撮像領域Ｂに関する複数の画像３０１Ａ－２乃至３０１Ｈ－２に基づいて撮像領域Ｂに関するリファレンス画像３０２－２がそれぞれ生成される。
　その後、リファレンス画像３０２－１とリファレンス画像３０２－２とに基づいて、撮像領域Ａと撮像領域Ｂとの対応関係を示す位置決め情報であるスティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成される。
　なお、ここでは位置決め情報としてスティッチング参照マップを生成する例を説明しているが、位置決め情報は、リファレンス画像３０２－１とリファレンス画像３０２－２を重ね合わせる際の相対的な位置ずれを示す情報であっても良い。
　このようなスティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成された後、このスティッチング参照マップ３０３に基づき、所望とされる波長の検査画像が、マッピングされる。
　例えば、波長Ａの検査画像が、スティッチング参照マップ３０３に基づき、マッピングされる場合について、図１７を参照して説明する。波長Ａの画像としては、図１３を参照して説明したように、画像３０１Ａ－１乃至３０１Ａ－５００が取得されている。
　スティッチング参照マップ３０３におけるリファレンス画像３０２－１が配置されている部分には、画像３０１Ａ－１の一部が配置される。リファレンス画像３０２－１は、画像３０１Ａ－１が撮像された時刻ｔ１において撮像された画像３０１Ａ－１乃至３０１Ｈ－１から生成されたリファレンス画像３０２である。
　このように、リファレンス画像３０２を生成するときに用いられた画像３０１が、マッピングされる。またマッピングされるとき、画像３０１は、スティッチング参照マップ３０３におけるリファレンス画像３０２と同一形状で、該当する領域が切り出されて配置される。
　スティッチング参照マップ３０３（スティッチリファレンス情報３０３）には、どの時刻に撮像された画像３０１を、どこに配置するか、またどのような形状（大きさ）で切り出すかがわかる情報が書き込まれている。
　図１７を参照するに、スティッチング参照マップ３０３におけるリファレンス画像３０２－１００が配置されている部分には、画像３０１Ａ－１００の一部が配置される。スティッチング参照マップ３０３におけるリファレンス画像３０２－１５０が配置されている部分には、画像３０１Ａ－１５０の一部が配置され、スティッチング参照マップ３０３におけるリファレンス画像３０２－２００が配置されている部分には、画像３０１Ａ－２００の一部が配置される。
　また、スティッチング参照マップ３０３におけるリファレンス画像３０２－３００が配置されている部分には、画像３０１Ａ－３００の一部が配置され、スティッチング参照マップ３０３におけるリファレンス画像３０２－３００が配置されている部分には、画像３０１Ａ－４００の一部が配置され、スティッチング参照マップ３０３におけるリファレンス画像３０２－４５０が配置されている部分には、画像３０１Ａ－４５０の一部が配置される。
　このように、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を作成し、それに基づいて、所望の波長の検査画像をマッピングすることで、最終的な所望の波長の検査画像（最終検査画像と適宜記載する）を生成することができる。
　ここでは、波長Ａの最終検査画像を生成する場合を例に挙げたが、例えば、波長Ｂの最終検査画像を生成する場合も、同一のスティッチング参照マップ３０３（スティッチリファレンス情報３０３）を用いて、上記したようにして行える。さらには、波長Ｃ乃至Ｈの最終検査画像を生成する場合も、同一のスティッチング参照マップ３０３（スティッチリファレンス情報３０３）を用いて、上記したようにして行える。
　すなわち、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成すれば、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を用いて、所望の波長の最終検査画像を生成することができる。
　また、マルチスペクトル画像として取得された画像以外を、検査画像として生成し、その検査画像から、最終検査画像を生成することもできる。換言すれば、ここでは、波長Ａ乃至Ｈをそれぞれ受光する画素を有するＭＳセンサ１０３を用い、波長Ａ乃至Ｈに対応する画像Ａ乃至Ｂ（画像３０１Ａ乃至３０１Ｈ）が取得されるとして説明をしているが、ＭＳセンサ１０３からは直接的には生成されない波長（波長Ｘとする）の画像Ｘを生成し、その画像Ｘを検査画像とし、最終検査画像を生成することもできる。
　＜逆マトリクス演算による画像の生成について＞
　ここで、ＭＳセンサ１０３からの信号から生成されるマルチスペクトル画像以外の波長（波長Ｘとする）の画像Ｘの生成について説明を加える。所望とされる波長Ｘの画像は、ＭＳセンサ１０３から得られるマルチスペクトル画像を用いた逆マトリクス演算を行うことで生成することができる。このことについて説明するために、まず図１８を参照し、撮像装置１１の動作の概略について再度説明する。
　太陽４０１からの太陽光４０２は、植物４０３、道路４０４に照射されるとともに、照度センサ１２にも照射される。照度センサ１２は、照射された太陽光４０２の照度を計測する。
　照度センサ１２は、照射された太陽光４０２の照度を計測し、照度値を取得する。取得される照度値は、例えば、図１９に示したような太陽光４０２の分光特性である。図１９に示したグラフは、太陽光４０２の分光特性を示し、横軸は光の波長を示し、縦軸は光の強度を示す。
　なおここでは、照度センサ１２を用いた例を挙げて説明を続けるが、後述するマルチスペクトル画像を用いた逆マトリクス演算においては、必ずしも照度センサ１２から得られる照度値を用いなくても演算できるため、照度センサ１２がない構成においても、本技術を適用することはできる。
　植物４０３に照射された太陽光４０２の一部は、植物４０３により反射され、その反射光４０５は、撮像装置１１に受光される。また、道路４０４に照射された太陽光４０２の一部は、道路４０４により反射され、その反射光４０６は、撮像装置１１に受光される。
　ここで、図２０を参照する。図２０は、植生とコンクリートを、それぞれ測定対象としたときの、波長と反射率の関係を示すグラフを示す。図２０中、横軸が波長を示し、縦軸が反射率を示す。また、図２０中、実線で示したグラフは、測定対象を植生としたときに得られた結果を表し、点線で示したグラフは、測定対象をコンクリート（ここでは、道路４０４などを構造物とする）としたときに得られた結果を表す。
　図２０に示したように、植物４０３と道路４０４（コンクリート）とでは、同一の波長の光が照射されたときの反射率は異なる。例えば、図２０中、点線で示したコンクリートの反射率は、実線で示した植生の反射率よりも高い。
　また、図２０中、点線で示したコンクリートの反射率は、光の波長にかかわらず、略一定の反射率を有するが、実線で示した植生の反射率は、特定の光の波長で急峻に変化する。図２０から、植物を測定対象とした場合、７００ｎｍ以上の波長の光であると、反射率が高くなることが読み取れる。
　このように、同一の太陽光４０２を照射したときであっても、植物４０３からの反射光４０５と、道路４０４からの反射光４０６では異なり、その反射率を測定した場合、結果が得られる。
　また、同じ植物を測定対象とした場合であっても、生育具合により、最も反射率が高い光の波長は異なる。
　例えば、測定対象とした物体に適した波長Ｘが、ＭＳセンサ１０３に設定されている波長Ａ乃至Ｈにない場合、測定対象とした物体に適した波長Ｘで撮像したときに得られる画像を生成したい場合がある。このようなとき、所望とされる波長Ｘの画像は、ＭＳセンサ１０３から得られるマルチスペクトル画像を用いた逆マトリクス演算を行うことで生成される。
　所望とされる波長Ｘの画像とは、測定対象とされた被写体の反射分光特性で表すことができる。一般的に、光源の分光特性（Ｌ（λ）とする）、被写体の分光特性（Ｐ（λ）とする）、撮像系の分光特性（Ｓ（λ）とする）、撮像された画像（Ｏ（λ）とする）との間には、以下の関係式（１）が成り立つ。
　（光源の分光特性Ｌ（λ））×（被写体の分光特性Ｐ（λ））×（撮像系の分光特性Ｓ（λ））＝（画像（Ｏ（λ））　　・・・（１）
　光源の分光特性は、照度センサ１２から得られる分光特性であり、例えば、図１９に示したような太陽光４０２の分光特性である。なお、光源の分光特性は任意の値を用いても良い。換言すれば、照度センサ１２から得られる分光特性ではなく、予め設定されている分光特性が用いられるようにしても良い。
　被写体の分光特性は、被写体からの反射光から得られる分光特性であり、例えば、図２０に示したような植物やコンクリートに太陽光が照射され、反射されたときの、その反射光の分光特性である。
　撮像系の分光特性とは、ＭＳセンサ１０３の分光特性であり、例えば、図２１に示したような分光特性である。ＭＳセンサ１０３は、上記したように、例えば、１単位画素において、８種類の波長の信号を受光するセンサである。
　ＭＳセンサ１０３は、ＭＳフィルタ１０３－１とセンサ１０３－２の組み合わせからなるセンサであるため、ＭＳセンサ１０３の分光特性は、ＭＳフィルタ１０３－１の透過率と、センサ１０３－２の感度の影響を受けた特性となる。具体的には、ＭＳフィルタ１０３－１の透過率とセンサ１０３－２の感度を乗算した値である。また、センサ１０３－２の感度は、基準として設定された感度に対する感度であり、正規化された感度が用いられる。
　ＭＳセンサ１０３の分光特性は、図２１に示すような、波長Ａ乃至Ｈの波長毎の分光特性となる。
　式（１）を変形することで、被写体の分光特性を求める式（２）が得られる。
Figure JPOXMLDOC01-appb-M000001
　このように式（２）、すなわち、逆マトリクス演算により、被写体の反射率分光特性を求めることができる。換言すれば、λを波長Ｘとし、式（２）に基づく逆マトリクス演算を行うことで、ＭＳセンサ１０３から得られるマルチスペクトル画像を用いて、所望とされる波長Ｘの画像を生成することができる。
　このように、所望の波長の画像を生成し、その画像を、検査画像とし、スティッチング参照マップ３０３に基づきマッピングすることで、最終検査画像を生成することができる。
　＜最終検査画像の第１の生成処理＞
　図２２のフローチャートを参照し、画像処理システム５０（図３）の動作について説明する。なお、以下に、第１乃至第６の生成処理について順次説明を加えるが、各生成処理においては、撮像部６１（レンズ１０１、露光部１０２、およびＭＳセンサ１０３）により、マルチスペクトル画像が取得されている（波長Ａ乃至Ｈの各画像３０１が取得されている）ことを前提とし、空撮時における処理については説明を省略する。
　また、以下の説明においては、図１３乃至図２１を参照して説明したように、マルチスペクトル画像として、８波長の画像３０１が、波長毎に５００枚撮像される例を挙げて説明を続ける。また、既に説明した部分に関しては、適宜説明を省略する。
　ステップＳ１１において、リファレンス画像生成処理部１０５は、特徴量演算処理を実行する。リファレンス画像生成処理部１０５には、指定波長演算処理部１０４から、マルチスペクトル画像が供給されている。第１の生成処理においては、ＭＳセンサ１０３で取得されたマルチスペクトル画像（画像３０１）を、そのまま用いた処理が行われる。
　画像処理システム５０が、第１の生成処理で、最終検査画像を生成する場合、指定波長演算処理部１０４は、リファレンス画像生成処理部１０５に、ＭＳセンサ１０３からのマルチスペクトル画像、例えば、図１３を参照して説明した画像３０１を供給する。
　この場合、指定波長演算処理部１０４を介してではなく、ＭＳセンサ１０３から直接的に、リファレンス画像生成処理部１０５にマルチスペクトル画像が供給される構成とすることもできる。
　ステップＳ１１における特徴量演算処理（第１の特徴量演算処理）について、図２３のフローチャートを参照して説明する。ステップＳ３１において、リファレンス画像生成処理部１０５は、マルチスペクトル画像の特徴量を抽出する。
　特徴量は、後述するように、画像の特徴の大きさを表す指標である。例えば、特徴量は、画像において特徴領域（上記したように、画像の特徴的な部分）が存在する程度を示す指標である。特徴量は、リファレンス画像の選択に用いられ、特徴領域は、後述するスティッチング処理時に用いられるものである。
　例えば、特徴量（画像の特徴の大きさを表す指標）としては、画素値の空間的な変化量とすることができる。画素値の空間的な変化量としては、近接する画素間の画素値の差分とすることができる。この場合、画素間の画素値の差分値が閾値以上の領域を抽出することで、例えば、エッジ領域を抽出することができる。
　画像の特徴の大きさを表す指標として画素値の空間的な変化量を用い、その変化量を特徴量として、ステップＳ３１において算出されるようにすることができる。
　また、画像内からエッジ領域を抽出する方法としては、微分演算を用いる方法や、ハイパスフィルタを用いる方法などがある。エッジ領域は、色等の変化が急である領域と定義することができ、このことを言い換えればエッジ領域は、グラフの傾きが急であるといえる。このことを利用して微分により傾きを求め、その傾きが、所定の閾値より大きい場合、エッジと見なすことで、エッジ領域を抽出する方法がある。
　また、エッジがある領域は高周波成分を含んでいるため、ハイパスフィルタを用いて、高周波成分を抽出することで、エッジがある領域を抽出する方法がある。
　後段の処理（例えば、図２４のステップＳ５１）にて、リファレンス画像を生成するとき、画像毎の特徴量の比較が行われる。ステップＳ３１において、画素値の空間的な変化量が特徴量として算出されるようにした場合、ステップＳ５１において用いられる特徴量は、例えば、１画像内から算出された近接する画素間の画素値の差分の総和とすることができる。
　また、ステップＳ３１において、高周波成分を抽出することで、エッジがある領域（＝特徴領域）を抽出するようにした場合、１画像内のエッジとして抽出された領域の大きさ（割合）が、特徴量として算出される。
　また例えば、画像の特徴の大きさを表す指標としては、特徴点を抽出し、その特徴点を用いるようにしても良い。特徴点は、画像を複数の領域に分け、領域内の画素値の平均値と領域内の画素値との差分を、例えば、平均二乗誤差などと称される演算方法で演算し、その値（差分）を、周囲の画素の画素値と比べて大きく異なる画素とするようにしても求めることができる。
　画像の特徴の大きさを表す指標として、特徴点を用いるようにした場合、特徴量としては、例えば、１画像内から抽出された特徴点の総数、割合などを用いることができる。
　また例えば、画像の特徴の大きさを表す指標としては、統計値（例えば分散値）を用いるようにしてもよい。分散値は、画像を複数の領域に分け、領域内の分散を求めることで、領域毎の代表的な統計値を算出し、その値（統計値）を用いることもできる。
　領域内の分散を算出したときの、その分散値は、領域の画素分布の複雑さを表しており、エッジなど画素値が急激に変化する画像を含む領域では分散値が大きくなる。よって、画像の特徴の大きさを表す指標として領域内の分散を求め、その分散値を特徴量として用いることもできる。
　画像の特徴の大きさを表す指標として、統計値を用いるようにした場合、特徴量としては、例えば、１画像内から算出された統計値の総和、平均値などを用いることができる。
　ここでは、特徴量は、画像内からエッジを抽出し、その抽出されたエッジ領域が、１画像内で占める割合である場合を例に挙げて説明する。また、エッジの抽出は、高周波成分を抽出することで行われる場合を例に挙げて説明を続ける。
　図２３に示したフローチャートの説明に戻り、ステップＳ３１において、特徴量を算出するために、高周波成分の抽出（すなわちエッジの抽出）が、マルチスペクトル画像毎に行われる。例えば、図１３を参照して説明したように、ＭＳセンサ１０３から、マルチスペクトル画像として、画像３０１Ａ－１乃至３０１Ａ－５００、画像３０１Ｂ－１乃至３０１Ｂ－５００、画像３０１Ｃ－１乃至３０１Ｃ－５００、画像３０１Ｄ－１乃至３０１Ｄ－５００、画像３０１Ｅ－１乃至３０１Ｅ－５００、画像３０１Ｆ－１乃至３０１Ｆ－５００、画像３０１Ｇ－１乃至３０１Ｇ－５００、画像３０１Ｈ－１乃至３０１Ｈ－５００の各画像３０１に対して、高周波成分の抽出という処理が行われる。
　特徴量としては、抽出された高周波成分（エッジ領域）の１画像内の割合が用いられるため、そのような割合が、ステップＳ３１において算出される。また、後述するようにリファレンス画像に対するスティッチング処理が実行されるときには、特徴領域の比較が行われるため、特徴量を算出する一方で、エッジ領域として抽出された特徴領域に関する情報は、適宜記憶される。
　ステップＳ３１において、各画像３０１から高周波成分が抽出されることにより、特徴量の演算処理が行われると、処理は、ステップＳ１２（図２２）に進められる。
　ステップＳ１２において、リファレンス画像生成処理が実行される。ステップＳ１２において実行されるリファレンス画像生成処理（第１のリファレンス画像生成処理）について、図２４のフローチャートを参照して説明する。
　ステップＳ５１において、リファレンス画像生成処理部１０５は、ステップＳ１１における処理で算出した各画像３０１の特徴量を比較する。比較の結果を用いて、ステップＳ５２において、リファレンス画像が生成される。
　ステップＳ５１における特徴量の比較は、図１４を参照して説明したように、同時刻に撮像された画像同士（同一箇所を撮像した画像同士）で行われる。そして、特徴量が最も大きい（画像に撮像されている被写体の特徴が最も出ている）画像３０１が、優先的に選択され、リファレンス画像とされる。
　例えば、図１４を再度参照するに、時刻ｔ１において撮像された画像３０１Ａ－１、画像３０１Ｂ－１、画像３０１Ｃ－１、画像３０１Ｄ－１、画像３０１Ｅ－１、画像３０１Ｆ－１、画像３０１Ｇ－１、画像３０１Ｈ－１のそれぞれの特徴量（エッジとして抽出された領域の割合）が比較され、最も特徴量が大きい画像３０１が、リファレンス画像３０２－１とされる。例えば、画像３０１Ａ－１の特徴量が、他の画像３０１Ｂ－１乃至３０１Ｈ－１のそれぞれの特徴量よりも大きかった場合、画像３０１Ａ－１が、リファレンス画像３０２－１とされる。
　同様に、画像３０１－２乃至３０１－５００に対しても、特徴量の比較と、その比較の結果、最も特徴量が大きい画像３０１をリファレンス画像３０２に設定するという処理が行われる。このような処理が行われることで、リファレンス画像３０２－１乃至３０２－５００が生成されると、ステップＳ１３（図２２）に処理は進められる。
　なお、１画像内のエッジ領域の割合以外の特徴量が用いられた場合、例えば、特徴点の総数や、統計値の総和が用いられる場合も、同様に、特徴量が大きい画像３０１が、リファレンス画像３０２に設定される。
　ステップＳ１３において、リファレンス画像のスティッチ処理が実行される。リファレンス画像生成処理部１０５で生成されたリファレンス画像３０２－１乃至３０２－５００は、リファレンス画像スティッチ処理部１０７に供給される。
　リファレンス画像スティッチ処理部１０７は、供給されたリファレンス画像３０２－１乃至３０２－５００を用いたスティッチ処理を行い、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成する。
　リファレンス画像３０２－１乃至３０２－５００を用いたスティッチ処理については、図１５、図１６を参照して説明したように行われる。すなわちリファレンス画像３０２－１乃至３０２－５００の特徴領域が一致（類似）する部分を検出し、重ね合わせやトリミングを行うことで、重なり部分が無い画像（スティッチング参照マップ３０３）が生成される。
　なお、上記したように、スティッチング処理には、特徴量、すなわち画像の特徴の大きさを示す指標を算出するときに抽出した特徴領域が用いられるため、用いられる特徴領域にあった処理が行われる。
　例えば、エッジ領域の抽出した結果を特徴量の算出に用いた場合、スティッチング処理は、抽出されたエッジ領域を合わせるような処理が行われる。
　また、周囲の画素に比べて異なる画素を特徴点として抽出して特徴量を算出した場合、その特徴点を合わせる（特徴点の並びが一致、類似する箇所を合わせる）ような処理が、スティッチング処理として実行される。
　また例えば、画像の特徴の大きさを示す指標として領域内の分散値を算出することで特徴量を算出するようにした場合、分散値を合わせる（分散値を有する領域の並びが同一または近似している箇所を合わせる）ようなスティッチング処理が行われる。
　ステップＳ１４において、検査画像が生成される。検査画像は、例えば、植生を検査する（センシングする）場合、植生をセンシングするのに適した波長で撮像された画像（撮像された画像から逆マトリクス演算により生成された画像）である。
　指定波長演算処理部１０４と検査波長画像抽出部１０６により検査画像が生成される。生成の仕方として、例えば、指定波長演算処理部１０４は、マルチスペクトル画像（複数の波長のそれぞれの画像）を、検査波長画像抽出部１０６に供給し、検査波長画像抽出部１０６は、供給された複数の画像から、検査波長として指定されている波長に対応する画像を抽出することで、検査画像を生成する。
　また、検査画像の他の生成の仕方として、例えば、指定波長演算処理部１０４は、マルチスペクトル画像を用いて、所定の波長の画像を、式（２）に基づき（図１８乃至図２１を参照して説明したようにして）生成し、検査波長画像抽出部１０６に供給し、検査波長画像抽出部１０６は、供給された複数の画像から、検査波長として指定されている波長に対応する画像を抽出することで、検査画像を生成する。
　指定波長演算処理部１０４が、予め設定されている複数の波長に対応する画像を生成するように構成した場合、検査波長画像抽出部１０６は、指定波長演算処理部１０４で生成され、供給された複数の画像から、検査波長として指定されている波長に対応する画像を抽出することで、検査画像を生成する。
　また指定波長演算処理部１０４が、検査波長画像抽出部１０６で抽出される波長の画像を生成するように構成することもでき、このように構成した場合、検査波長画像抽出部１０６は、供給された画像を、検査波長として指定されている波長に対応する画像として扱う（抽出や生成といった処理を行わず、そのまま供給される画像を用いる）。
　また、検査画像の他の生成の仕方として、指定波長演算処理部１０４ではなく、検査波長画像抽出部１０６で、指定された波長の画像が生成されるようにしても良い。例えば、指定波長演算処理部１０４から、検査波長画像抽出部１０６に、マルチスペクトル画像が供給され、検査波長画像抽出部１０６は、供給されたマルチスペクトル画像を用いて、式（２）に基づく演算を行うことで、指定された波長（所望される波長）の検査画像が生成されるようにしても良い。
　ステップＳ１４において、検査画像が生成されると、ステップＳ１５に処理は進められる。検査波長画像抽出部１０６により抽出された検査画像は、検査画像スティッチ処理部１０８に供給される。検査画像スティッチ処理部１０８には、リファレンス画像スティッチ処理部１０７から、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）も供給されている。
　検査画像スティッチ処理部１０８は、図１７を参照して説明したように、スティッチリファレンス情報３０３を用いて、検査画像を、スティッチ処理し、最終検査画像を生成する。
　スティッチリファレンス情報３０３は、どの画像のどの位置を切り出し、どのように貼り合わせたかといった情報である。換言すれば、スティッチリファレンス情報３０３は、所定の領域を撮像した画像とその領域と重なりがある領域を撮像した画像との位置関係を示す情報を少なくとも含む情報であり、スティッチング処理を行うときの画像に付随するメタデータとして用いることができる情報である。
　検査画像スティッチ処理部１０８は、スティッチリファレンス情報３０３を参照して、複数の検査画像のうちの、どの検査画像を用い、その用いるとした検査画像のどの位置（どの領域）を切り出すかを決定し、その決定された領域を、同じく他の検査画像から切り出された領域と、どのように貼り合わせるかを決定し、このような処理を繰り返すことで、検査画像のスティッチ処理を行い、最終検査画像を生成する。
　最終検査画像は、既に生成されている地図上にマッピングされるなどして用いられる。
　このように、スティッチリファレンス情報３０３を生成し、そのスティッチリファレンス情報３０３を用いて、検査画像をスティッチ処理することで、複数の波長の検査画像を、それぞれスティッチ処理するようなときでも、スティッチ処理に係る時間を短くし、処理負担を軽減させることができる。
　＜最終検査画像の第２の生成処理＞
　画像処理システム５０（図３）の他の動作について説明する。最終検査画像を生成するまでの処理として、上記した第１の生成処理においては、ステップＳ１１において、特徴量演算処理を行うとき、ＭＳセンサ１０３で取得されるマルチスペクトル画像を、そのまま用いて特徴量を演算する例を示した。
　最終検査画像を生成するまでの第２の生成処理として、特徴量を算出するとき、マルチスペクトル画像を加工して算出する場合を例に挙げて説明する。
　第２の生成処理は、第１の生成処理と同じく、画像処理システム５０は、図２２に示したフローチャートに基づいて処理を行う。
　ステップＳ１１において、特徴量演算処理が行われるとき、図２５に示した第２の特徴量演算処理のフローチャートに基づき処理が行われる点以外は図２２に示したフローチャートと同様に行われるため、ここでは、異なる処理についての説明を加え、同様に行われる処理については説明を省略する。
　図２５に示したフローチャートを参照するに、特徴量が演算されるとき、まずステップＳ１０１において、縮小画像が生成される。図２６に示したように、画像３０１を基準の画像とし、その画像３０１の縦を１／Ａ倍し、横を１／Ｂ倍することで、縮小画像３０１ａｂが生成される。また、画像３０１の縦を１／Ｍ倍し、横を１／Ｎ倍することで、縮小画像３０１ｍｎが生成される。
　例えば、Ａ＝Ｂ＝２とした場合、画像３０１の縦を１／２倍し、横を１／２倍した縮小画像３０１ａｂが生成される。同じく、例えば、Ｍ＝Ｎ＝５とした場合、画像３０１の縦を１／５倍し、横を１／５倍した縮小画像３０１ｍｎが生成される。
　ここでは、基準となる画像３０１（原画像）から、２枚の縮小画像が生成される場合を例に挙げて説明したが、１枚の縮小画像が生成される場合や、２枚以上の縮小画像が生成される場合も、本技術の適用範囲である。なお、以下の説明においては、１枚の原画像と、２枚の縮小画像の合計３枚の画像を用いて処理が行われる場合を例に挙げて説明を続ける。
　また、ここでは、Ａ＝Ｂ＝２とした場合とＭ＝Ｎ＝５とした場合を一例として挙げたが、ＡとＢは、同一の値でなくても良く、また、ＭとＮも同一の値でなくても良い。
　ステップＳ１０１において、縮小画像が生成されると、ステップＳ１０２に処理が進められる。ステップＳ１０２において、高周波成分が抽出（エッジが抽出）される（特徴量の算出が行われる）。この処理は、図２３に示したフローチャートのステップＳ３１の処理と同様に行うことができるため、その説明は省略する。
　ただし、ステップＳ１０２において、高周波成分が抽出される対象とされる画像３０１は、原画像と縮小画像であり、例えば、図２６に示したような画像３０１、画像３０１ａｂ、および画像３０１ｍｎのそれぞれが処理対象とされ、それぞれから、高周波成分が抽出され、その抽出結果に基づき、特徴量（エッジ領域の割合など）が算出される。
　なお、特徴量を比較するとき、縮小画像の特徴量に対して、原画像と同じ条件となるように、所定の係数を乗算するなどの処理が適宜行われるようにしても良い。
　例えば、特徴量として、特徴点の総和や、統計値の総和を用いるようにした場合、原画像と縮小画像とでは、対象とされた画素数（領域数）が異なるため、単純に原画像の特徴量と縮小画像の特徴量を比較すると、誤った比較結果が出される可能性がある。
　そこで例えば、縮小画像の特徴量を算出した後、その算出した特徴量に、縮小率などの所定の係数を乗算することで、原画像と同一の条件で算出された（願画像と同一の画素数、領域数で算出された）として扱える特徴量に変換する処理が含まれるようにしても良い。
　ここでは、ステップＳ１０２における特徴量の算出処理（高周波成分を抽出することで特徴量を算出する処理）には、そのような原画像から算出された特徴量と縮小画像から算出された特徴量は、同一条件で算出された特徴量として扱えるようにするための処理も含まれているとして説明を続ける。
　このようにして、特徴量演算処理（図２２のステップＳ１１）が終了されると、ステップＳ１２に処理が進められる。ステップＳ１２において、リファレンス画像生成処理が実行される。
　ステップＳ１２において実行されるリファレンス画像生成処理は、図２４に示した第１のリファレンス画像生成処理のフローチャートに基づき実行され、その説明は既にしたので、ここでは、その説明を省略する。ただし、ステップＳ５１において、特徴量の比較が行われるが、その特徴量が比較される画像が、上述した第１の生成処理（第１のリファレンス画像生成処理）とは異なるため、この点について図２７を参照して説明を加える。
　例えば、時刻ｔ１において撮像された画像３０１－１からリファレンス画像３０２－１が生成される場合、図２７に示すように、まず波長Ａの画像３０１Ａ－１、その縮小画像３０１Ａａｂ－１と縮小画像３０１Ａｍｎ－１のそれぞれから特徴量が算出される。
　同じく、波長Ｂの画像３０１Ｂ－１、その縮小画像３０１Ｂａｂ－１と縮小画像３０１Ｂｍｎ－１のそれぞれから特徴量が算出される。また波長Ｃの画像３０１Ｃ－１、その縮小画像３０１Ｃａｂ－１と縮小画像３０１Ｃｍｎ－１のそれぞれから特徴量が算出される。
　また、波長Ｄの画像３０１Ｄ－１、その縮小画像３０１Ｄａｂ－１と縮小画像３０１Ｄｍｎ－１のそれぞれから特徴量が算出される。また、波長Ｅの画像３０１Ｅ－１、その縮小画像３０１Ｅａｂ－１と縮小画像３０１Ｅｍｎ－１のそれぞれから特徴量が算出される。
　また、波長Ｆの画像３０１Ｆ－１、その縮小画像３０１Ｆａｂ－１と縮小画像３０１Ｆｍｎ－１のそれぞれから特徴量が算出される。また波長Ｇの画像３０１Ｇ－１、その縮小画像３０１Ｇａｂ－１と縮小画像３０１Ｇｍｎ－１のそれぞれから特徴量が算出される。
　また、波長Ｈの画像３０１Ｈ－１、その縮小画像３０１Ｈａｂ－１と縮小画像３０１Ｈｍｎ－１のそれぞれから特徴量が算出される。
　これらの画像の特徴量のうち、特徴量が最も大きい画像が検出される。すなわち第２の生成処理においては、縮小画像も処理対象とされて、処理が行われる。特徴量が最も大きいとして検出された画像の原画像が、リファレンス画像３０２－１に設定される。
　例えば、特徴量が最も大きい画像が、縮小画像３０１Ａｍｎ－１であった場合、この縮小画像３０１Ａｍｎ－１の原画像である画像３０１Ａ－１が、リファレンス画像３０２－１として設定される。
　また例えば、特徴量が最も大きい画像が、縮小画像３０１Ａ－１であった場合、画像３０１Ａ－１が、リファレンス画像３０２－１として設定される。
　このように、縮小画像を生成し、縮小画像も含めて処理することで、より特徴のある画像を抽出し、リファレンス画像とすることができる。
　このようにしてリファレンス画像が生成されると、処理は、ステップＳ１３（図２２）に進められる。ステップＳ１３以降の処理については、既に説明したので、その説明は省略する。
　＜最終検査画像の第３の生成処理＞
　画像処理システム５０（図３）のさらに他の動作について説明する。最終検査画像を生成するまでの処理として、上記した第１の生成処理、第２の生成処理においては、ステップＳ１１において、特徴量演算処理を行うとき、ＭＳセンサ１０３で取得されるマルチスペクトル画像を、そのまま、または縮小画像を生成して特徴量を演算する例を示した。
　最終検査画像を生成するまでの第３の生成処理として、さらに原画像や縮小画像をブロックに分割して、特徴量を算出し、リファレンス画像を生成する場合を例に挙げて説明する。
　第３の生成処理においても、第１の生成処理または第２の生成処理と同じく、画像処理システム５０は、図２２に示したフローチャートに基づいて処理を行う。
　ステップＳ１１において、特徴量演算処理が行われるとき、図２８に示した第３の特徴量演算処理のフローチャートに基づき処理が行われる点が、第１または第２の生成処理と異なるため、説明を加える。
　ステップＳ２０１において、縮小画像が生成される。この処理は、第２の生成処理における図２５に示したフローチャートのステップＳ１０１の処理と同様に行うようにすることができる。ここでは、縮小画像が生成される場合、すなわち、第２の生成処理と組み合わせて第３の生成処理が行われる場合を例に挙げて説明するが、第１の生成処理と組み合わせても良い。
　第１の生成処理と組み合わせ、ステップＳ２０１における縮小画像の生成を行わず、ＭＳセンサ１０３から供給されるマルチスペクトル画像（原画像）を、そのまま用いても良い。
　ステップＳ２０２において、ブロックに分割する処理が実行される。ブロックに分割する処理について、図２９を参照して説明する。図２９において、左図は、図２６に示した図と同様であり、縮小画像の生成の仕方について説明している図である。原画像３０１を基準とし、その原画像３０１の縦を１／Ａ倍、横を１／Ｂ倍することで、縮小画像３０１ａｂが生成される。また、原画像３０１を基準とし、その原画像３０１の縦を１／ｍ倍、横を１／ｎ倍することで、縮小画像３０１ｍｎが生成される。
　ブロックに分割する処理は、原画像と縮小画像の両方に対して行われる。原画像３０１は、縦がＣ分割され、横がＤ分割されることで、Ｃ×Ｄ個のブロックに分割される。
　縮小画像３０１ａｂは、縦がＣ／Ａ分割され、横がＤ／Ｂ分割されることで、（Ｃ／Ａ）×（Ｄ／Ｂ）個のブロックに分割される。縮小画像３０１ｍｎは、縦がＣ／Ｍ分割され、横がＤ／Ｎ分割されることで、（Ｃ／Ｍ）×（Ｄ／Ｎ）個のブロックに分割される。
　このように分割することで、ブロック毎の画素数は、縦、横の画素数が同じになり、後段の処理における特徴量の抽出や比較が容易に行えるようになる。
　例えば、Ａ＝Ｂ＝２、Ｃ＝５、Ｄ＝１０とし、原画像３０１の画素数は、縦×横＝５００×１０００とする。この場合、まず原画像３０１は、縦がＣ分割されるため、画素数は、１００（＝５００／５）画素となり、横がＤ分割されるため、画素数は、１００（＝１０００／１０）画素となる。この場合、原画像３０１の１ブロックの画素数は、１００×１００画素となる。
　縮小画像３０１ａｂは、縮小されたことにより、画素数は、縦×横＝２５０×５００画素となっている。このような画素数の縮小画像３０１ａｂを分割するとき、縦は（Ｃ／Ａ）＝（５／２）＝２．５分割（説明のため、２．５分割とするが、実施するときには、自然数で分割されるようにＣの値は設定されている）されるため、画素数は、１００（＝２５０／２．５）画素となり、横は（Ｄ／Ｂ）＝（１０／２）＝５分割されるため、画素数は、１００（＝５００／５）画素となる。この場合、縮小画像３０１ａｂの１ブロックの画素数は、１００×１００画素となる。
　このように、原画像３０１を分割した後の１ブロックの画素数は、１００×１００画素となる。また、縮小画像３０１ａｂを分割した後の１ブロックの画素数も、１００×１００画素となる。すなわち、原画像３０１と縮小画像３０１ａｂの１ブロックの画素数は同数となる。よって、上記したように、ブロック毎の画素数が同じとなることで、後段の処理における特徴量の抽出や比較が容易に行えるようになる。
　ステップＳ２０２（図２８）においては、このような分割処理が、マルチスペクトル画像毎に行われる。この場合、波長Ａ乃至Ｈの８波長毎の画像に対して、分割処理が実行される。
　なお、第１の生成処理と組み合わせ、縮小画像を生成しない場合、マルチスペクトル画像の原画像３０１（画像３０１Ａ乃至３０１Ｈ）に対してのみ、分割処理が実行される。
　ステップＳ２０２における分割処理が終了すると、ステップＳ２０３に処理が進められる。ステップＳ２０３において、ブロック毎に高周波成分が抽出される。この処理は、基本的に、図２３に示したフローチャートのステップＳ３１（第１の生成処理）、または図２５に示したフローチャートのステップＳ１０２（第２の生成処理）と、同様に行うことができるが、ブロック毎に行う点が異なる。
　ステップＳ２０３において実行されるブロック毎に高周波成分を抽出する処理について、図３０を参照して説明する。
　例えば、時刻ｔ１において撮像された画像３０１－１からリファレンス画像３０２－１が生成される場合、図３０に示すように、まず波長Ａの画像３０１Ａ－１、縮小画像３０１Ａａｂ－１、縮小画像３０１Ａｍｎ－１のそれぞれのブロックから、特徴量が算出される。
　例えば、図２９に示したような分割が行われた場合、波長Ａの画像３０１Ａ－１のＣ×Ｄ個のブロック毎に特徴量が算出され、縮小画像３０１Ａａｂ－１の（Ｃ／Ａ）×（Ｄ／Ｂ）個のブロック毎に特徴量が算出され、縮小画像３０１Ａｍｎ－１の（Ｃ／Ｍ）×（Ｄ／Ｎ）個のブロック毎に特徴量が算出される。
　波長Ａの画像から、（Ｃ×Ｄ）＋（（Ｃ／Ａ）×（Ｄ／Ｂ））＋（（Ｃ／Ｍ）×（Ｄ／Ｎ））＝Ｘ個の特徴量が算出される。
　同じく、波長Ｂの画像３０１Ｂ－１、縮小画像３０１Ｂａｂ－１、および縮小画像３０１Ｂｍｎ－１のそれぞれブロックから、Ｘ個の特徴量が算出され、波長Ｃの画像３０１Ｃ－１、縮小画像３０１Ｃａｂ－１、および縮小画像３０１Ｃｍｎ－１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｄの画像３０１Ｄ－１、縮小画像３０１Ｄａｂ－１、および縮小画像３０１Ｄｍｎ－１のそれぞれのブロックから、Ｘ個の特徴量が算出される。
　また同じく波長Ｅの画像３０１Ｅ－１、縮小画像３０１Ｅａｂ－１、および縮小画像３０１Ｅｍｎ－１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｆの画像３０１Ｆ－１、縮小画像３０１Ｆａｂ－１、および縮小画像３０１Ｆｍｎ－１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｇの画像３０１Ｇ－１、縮小画像３０１Ｇａｂ－１、および縮小画像３０１Ｇｍｎ－１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｈの画像３０１Ｈ－１、縮小画像３０１Ｈａｂ－１、および縮小画像３０１Ｈｍｎ－１のそれぞれのブロックから、Ｘ個の特徴量が算出される。
　この場合、波長Ａ乃至Ｈの８波長のそれぞれの画像から、Ｘ個の特徴量が算出されるため、（８×Ｘ）個の特徴量が算出されることになる。
　このような特徴量の算出に係わる処理が、ＭＳセンサ１０３から供給されるマルチスペクトル画像の全てに対して行われる。
　このように特徴量は、ブロック毎に算出される。各ブロックの大きさ（１ブロックに含まれる画素数）は、上記したように、同じである。よって、各ブロックから算出された特徴量は、そのまま比較することができる。
　図２８に示したフローチャートの処理が実行されることで、特徴量が算出されると、処理は、ステップＳ１２（図２２）に進められる。ステップＳ１２において、リファレンス画像生成処理が実行される。ステップＳ１２において実行されるリファレンス画像生成処理（第３の生成処理において実行される第３のリファレンス画像生成処理）について、図３１のフローチャートを参照して説明する。
　ステップＳ２３１において、全ブロックの特徴量の比較が行われる。そして、ステップＳ２３２において、特徴量が高い順にソートされる。例えば、図３０を参照して説明したように、波長Ａ乃至Ｈの８波長のそれぞれの画像から、Ｘ個の特徴量が算出され、総計で（８×Ｘ）個の特徴量が算出される。この（８×Ｘ）個の特徴量が比較され、特徴量が高い順にソートされる。
　ソート後、ステップＳ２３３において、特徴画像が再構成され、リファレンス画像が生成される。この特徴画像の再構成（リファレンス画像の生成）について、図３２を参照して説明する。
　図３２は、特徴量が高い順にブロックがソートされたとき、最も特徴量が高いブロックが、縮小画像３０１Ｈｍｎ－１であった場合の特徴画像の再構成について説明するための図である。
　縮小画像３０１Ｈｍｎ－１は、原画像３０１Ｈ－１から生成された縮小画像のうち、最も小さい縮小画像である。この縮小画像３０１Ｈｍｎ－１の特徴量が、（８×Ｘ）個の特徴量の中で、最も大きかった場合、この縮小画像３０１Ｈｍｎ－１が、リファレンス画像３０２－１とされる。
　縮小画像３０１Ｈｍｎ－１は、縮小されているため、リファレンス画像３０２－１に設定された場合には、元の大きさ、すなわちこの場合、原画像３０１Ｈ－１に戻され、その戻された画像が、リファレンス画像３０２－１に設定される。
　元の大きさに戻されるとき、縮小画像３０１Ｈｍｎ－１の縦方向をＭ倍し、横方向をＮ倍することで、元の大きさに戻し、その画像がリファレンス画像３０２－１に設定される。または、縮小画像３０１Ｈｍｎ－１の元の画像、すなわちこの場合、原画像３０１Ｈ－１が、リファレンス画像３０２－１に設定されるようにしても良い。
　図３２に示した例では、１ブロックで、リファレンス画像３０２となる原画像３０１を生成できる例である。図３３に、複数ブロックで、リファレンス画像３０２となる原画像３０１を再構成する場合について説明する。
　図３３に示した例では、波長Ａの画像と波長Ｂの画像からそれぞれ抽出された特徴量が高く、波長Ａの画像と波長Ｂの画像からそれぞれ、特徴量が高かった領域を切り出し、切り出された領域を該当する領域に位置させて貼り合わせることで、特徴量が高い画像（リファレンス画像）が生成される。
　波長Ａの画像３０１Ａ－１の略中央部分に位置する１２個のブロックのそれぞれが、特徴量の高いブロックとして、画像３０１Ａ－１から切り出される。ここでは、図３３に示すように、１２個のブロックは、領域５０１を形成しているとして説明を続ける。この領域５０１が、画像３０１Ａ－１から切り出される。
　画像３０１Ａ－１は、縮小されていない画像のため、領域５０１がそのまま切り出される。領域５０１は、画像３０１Ａ－１において領域５０１が位置していた位置に対応するリファレンス画像３０２－１の位置の領域として設定される。
　波長Ａの画像３０１Ａ－１を縮小した縮小画像３０１Ａａｂ－１の左下に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ａａｂ－１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０２を形成しているとして説明を続ける。この領域５０２が、縮小画像３０１Ａａｂ－１から切り出される。
　縮小画像３０１Ａａｂ－１は、縮小されている画像のため、領域５０２は、そのまま縮小画像３０１Ａａｂ－１から切り出されるのではなく、領域５０２が、縮小画像３０１Ａａｂ－１内で位置する位置に対応する画像３０１Ａ－１（原画像３０１Ａ－１）の位置にある領域が切り出される。この場合、領域５０２は、縮小画像３０１Ａａｂ－１内の左下に位置するため、画像３０１Ａ－１の左下に位置し、領域５０２に該当する大きさ（この倍、８ブロック）が切り出される。
　または、領域５０２を、縦方向にＡ倍し、横方向にＢ倍した領域に変換し、その変換後の領域５０２が、切り出される（用いられる）ようにしても良い。
　元の大きさにされた領域５０２は、その領域５０２が画像３０１Ａ－１において位置していた位置に対応するリファレンス画像３０２－１の位置の領域として設定される。この場合、リファレンス画像３０２－１の左下の領域に、領域５０２が設定される。
　同様に、波長Ａの画像３０１Ａ－１を縮小した縮小画像３０１Ａａｂ－１の略中央右側に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ａａｂ－１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０３を形成しているとして説明を続ける。この領域５０３が、縮小画像３０１Ａａｂ－１から切り出され、リファレンス画像３０２－１の対応する位置にある領域とされる。
　縮小画像３０１Ａａｂ－１は、縮小されている画像のため、領域５０３も、上記した領域５０２と同じく、元の大きさに変換された後、リファレンス画像３０２－１の一部とされる。
　波長Ｂの画像３０１Ｂ－１の右上に位置する４個のブロックのそれぞれが、特徴量の高いブロックとして、画像３０１Ｂ－１から切り出される。ここでは、図３３に示すように、４個のブロックは、領域５０４を形成しているとして説明を続ける。この領域５０４が、画像３０１Ｂ－１から切り出される。
　画像３０１Ｂ－１は、縮小されていない画像のため、領域５０４は、そのまま切り出される。領域５０４は、画像３０１Ｂ－１において領域５０４が位置していた位置（この場合、右上）に対応するリファレンス画像３０２－１の位置（この場合、右上）の領域として設定される。
　波長Ｂの画像３０１Ｂ－１を縮小した縮小画像３０１Ｂａｂ－１の左上に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ｂａｂ－１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０５を形成しているとして説明を続ける。この領域５０５が、縮小画像３０１Ｂａｂ－１から切り出され、リファレンス画像３０２－１の対応する位置にある領域とされる。
　縮小画像３０１Ｂａｂ－１は、縮小されている画像のため、領域５０５は、上記した領域５０２などと同じく、元の大きさに変換された後、リファレンス画像３０２－１の一部とされる。
　同様に波長Ｂの画像３０１Ｂ－１を縮小した縮小画像３０１Ｂａｂ－１の右下に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ｂａｂ－１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０６を形成しているとして説明を続ける。この領域５０６が、縮小画像３０１Ｂａｂ－１から切り出され、リファレンス画像３０２－１の対応する位置にある領域とされる。
　縮小画像３０１Ｂａｂ－１は、縮小されている画像のため、領域５０６は、上記した領域５０２などと同じく、元の大きさに変換された後、リファレンス画像３０２－１の一部とされる。
　このように、特徴量が高いブロックが優先的に選択され、特徴量の高いブロックから構成されるリファレンス画像３０２－１が生成される。このようにリファレンス画像３０２が生成されることで、第１の生成処理や第２の生成処理において生成されるリファレンス画像３０２よりも、被写体の特徴がより捕らえられた画像とすることができる。
　また、縮小画像を生成し、縮小画像も含めて処理することで、より特徴のある画像を抽出し、リファレンス画像とすることができる。
　このようにしてリファレンス画像が生成されると、処理は、ステップＳ１３（図２２）に進められる。ステップＳ１３移行の処理については、既に説明したので、その説明は省略する。
　＜最終検査画像の第４の生成処理＞
　画像処理システム５０（図３）のさらに他の動作について説明する。最終検査画像を生成するまでの処理として、上記した第１乃至第３の生成処理においては、ステップＳ１１において、特徴量演算処理を行うとき、ＭＳセンサ１０３で取得されるマルチスペクトル画像をそのまま用いたり、縮小画像を生成したり、ブロックに分割したりして、特徴量を演算する例を示した。
　最終検査画像を生成するまでの第４の生成処理として、特徴量を算出するとき、ＭＳセンサ１０３で取得されたマルチスペクトル画像を用いて、さらに他の波長の画像も生成し、それら生成された画像も含めた複数の画像を用いた処理について説明する。
　図３４は、最終検査画像の第４の生成処理について説明するためのフローチャートである。
　ステップＳ３０１において、抽出する波長が指定される。指定波長演算処理部１０４は、生成する画像の波長を指定する。指定される波長は、予め設定されている波長であっても良いし、照度値やモードなどを参照して設定される波長であっても良い。予め設定されている場合、例えば、４００ｎｍから９００ｎｍの間の５０ｎｍ毎の波長（４００ｎｍ，４５０ｎｍ，５００ｎｍ，・・・，９００ｎｍ）が順次指定されるようにすることができる。
　また例えば、植生をセンシングするモードのときに撮像された画像を処理するときには、植生のセンシングに適した光の波長、例えば、６５０ｎｍから８５０ｎｍの波長が細かく指定されるようにしても良い。
　ステップＳ３０１において、指定波長演算処理部１０４は、所定の波長を指定（設定）すると、ステップＳ３０２において、その指定した波長の画像を生成する。指定された波長が、ＭＳセンサ１０３から得られるマルチスペクトル画像である場合、指定された波長に対応する画像３０１が抽出され、リファレンス画像生成処理部１０５に供給される。
　また、指定された波長が、ＭＳセンサ１０３から得られるマルチスペクトル画像以外の波長である場合、指定された波長に対応する画像３０１が、式（２）にマルチスペクトル画像のデータが代入された演算が行われることで生成され、リファレンス画像生成処理部１０５に供給される。
　ステップＳ３０３において、特徴量演算処理が、リファレンス画像生成処理部１０５により実行される。ステップＳ３０３において実行される特徴量演算処理は、第１乃至第３の生成処理と同じく、図２２に示したフローチャートのステップＳ１１において実行される特徴量演算処理と同様に行うことができる。
　第１の生成処理における特徴量演算処理を適用し、図２３に示した第１の特徴量演算処理のフローチャートに基づき、特徴量が算出されるようにしても良い。または、第２の生成処理における特徴量演算処理を適用し、図２５に示した第２の特徴量演算処理のフローチャートに基づき、特徴量が算出されるようにしても良い。
　さらには、第３の生成処理における特徴量演算処理を適用し、図２８に示した第３の特徴量演算処理のフローチャートに基づき、特徴量が算出されるようにしても良い。
　いずれの場合においても、特徴量が算出される画像は、指定波長演算処理部１０４からリファレンス画像生成処理部１０５に供給された画像であり、その画像には、マルチスペクトル画像や、マルチスペクトル画像から生成された所定の波長の画像が含まれる。
　ステップＳ３０３において、特徴量が算出されると、ステップＳ３０４に処理が進められる。ステップＳ３０４において、波長の指定は終了したか否かが判定される。例えば、指定波長演算処理部１０４は、予め指定する波長が設定されている場合、設定されている波長を全て指示したか否かを判定することで、ステップＳ３０４における判定処理を行う。
　ステップＳ３０４において、波長の指示は終了してないと判定された場合、ステップＳ３０１に処理が戻され、それ以降の処理が繰り返される。すなわち、指定すべき波長の全てが指定され、指定すべき全ての画像が抽出または生成され、指定すべき全ての画像から特徴量が抽出されるまで、ステップＳ３０１乃至Ｓ３０４の処理が繰り返し行われる。
　一方、ステップＳ３０４において、波長の指示は終了したと判定された場合、ステップＳ３０５に処理は進められる。ステップＳ３０５において、リファレンス画像生成処理部１０５により、リファレンス画像生成処理が実行される。
　ステップＳ３０５において実行されるリファレンス画像生成処理は、第１乃至第３の生成処理と同じく、図２２に示したフローチャートのステップＳ１２において実行されるリファレンス画像生成処理と同様に行うことができる。
　第１の生成処理におけるリファレンス画像生成処理を適用し、図２４に示したリファレンス画像生成処理のフローチャートに基づき、リファレンス画像が生成されるようにしても良い。または、第２の生成処理におけるリファレンス画像生成処理を適用し、図２５に示した第２の特徴量演算処理のフローチャートに基づき、特徴量が算出された場合に対応するリファレンス画像生成処理が実行されるようにしても良い。
　さらには、第３の生成処理におけるリファレンス画像生成処理を適用し、図３１に示した第３のリファレンス画像生成処理のフローチャートに基づき、リファレンス画像が生成されるようにしても良い。
　いずれの場合においても、リファレンス画像は、指定波長演算処理部１０４からリファレンス画像生成処理部１０５に供給されたマルチスペクトル画像や、マルチスペクトル画像から生成された所定の波長の画像が含まれる画像群から生成された画像である。
　ステップＳ３０５において、リファレンス画像が生成されると、ステップＳ３０６に処理は進められる。ステップＳ３０６乃至Ｓ３０８の処理は、図２２に示したフローチャート（第１乃至第３の生成処理）のステップＳ１３乃至Ｓ１５の処理と同様に行うことが可能である。すなわち、リファレンス画像が生成された後の処理は、第１乃至第３の生成処理と同様に行うことが可能であるため、ここではその説明は省略する。
　第４の生成処理においては、特徴量を算出する画像、換言すれば、リファレンス画像を生成する元の画像は、波長を指定して、生成される。例えば、図２０を参照して説明したように、被写体からの反射光の反射率は、照射される光の波長により異なる。例えば、同一の被写体を撮像した画像であっても、波長が異なれば、被写体がはっきりと撮像されている画像となったり、ぼやけて撮像されている画像となったりする。
　被写体がはっきりと撮像されている画像からは、その被写体を特徴領域として抽出し特徴量を算出することは容易であるが、ぼやけて撮像されている画像からは、その被写体を特徴領域として抽出し、特徴量を算出することは困難である。
　このことは、被写体に適した波長の画像を生成すれば、その被写体を検出しやすい画像、すなわち、特徴領域を抽出しやすい画像とすることができること意味する。第４の生成処理においては、複数の波長を指定して、複数の画像を生成することで、検出される被写体に適した波長の画像を生成することができる。
　第４の生成処理によれば、特徴領域をより適切に抽出し、特徴量を算出しやすくすることができる。また、そのような適切な特徴領域を抽出することで算出された特徴量から、リファレンス画像を生成することができる。また、特徴量が大きいリファレンス画像を生成できるため、リファレンス画像のスティッチ処理も、例えば、特徴領域が一致する領域を検出したり、その検出に基づき、リファレンス画像を並べたりする処理を、より精度良く行うことが可能となる。
　＜最終検査画像の第５の生成処理＞
　画像処理システム５０（図３）のさらに他の動作について説明する。
　最終検査画像を生成するまでの第５の生成処理として、オルソ化処理を含む処理について説明する。第５の生成処理は、第１乃至第４の生成処理のいずれかの処理と、オルソ化処理を組み合わせた処理である。
　例えば、図１１を参照して説明したように、フライトプランに従って空撮が行われ、その空撮から得られた画像を用いて上記した処理を実行する場合、例えば空撮された画像は、中心投影であるため、地形の標高の影響により、歪んだ形状で撮影され、位置関係が実際の地形と重ね合わせて一致していない可能性がある。
　そこで、得られた画像に対してオルソ化処理（オルソ補正などとも称される）を施す。オルソ化処理後の画像は、地形の凸凹や写真の傾きが補正された画像となり、例えば、地形図と同様に扱うことができる画像となる。
　オルソ化は、例えば、図１１の時刻Ｔ２や図１２の時刻Ｔ３のところで説明したように、画像が重畳する状態で画像は撮像される。その重畳している領域は、例えば、８０％から９０％という高いオーバーラップ率であることがある。このことを利用し、複数の視差画像から３Ｄ画像として認識し、真上から見た画像に変換される処理がオルソ化処理である。
　オルソ化処理を行うために、ＧＰＳ（Global Positioning System）から得られる位置情報、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）からの姿勢情報等が用いられる。オルソ化処理を行うようにした場合、どの画像をどのように演算し、オルソ化を行ったかという「オルソ化情報」を生成し、記録しておくことも必要であり、撮像された画像と関連付けられて、ストレージに格納される。
　図３５は、最終検査画像の第５の生成処理について説明するためのフローチャートである。図３５に示したフローチャートに基づく処理は、第４の生成処理にオルソ化処理を含ませる場合を示し、ここでは、第４の生成処理にオルソ化処理を含ませた場合を例に挙げて説明を行う。
　第１乃至第３の生成処理のいずれに対してもオルソ化処理を含ませることはでき、どの生成処理と組み合わせるかは、画像処理システム５０の用いる状況などに応じて、適宜設定されるようにすることができる。
　ステップＳ４０１において、位置情報と姿勢情報が抽出される。例えば、撮像装置１１または撮像装置１１が装着されていた移動測定装置２０１にＧＰＳやＩＭＵを搭載し、撮像装置１１で撮像が行われる毎に、位置情報と姿勢情報を記録しておくようにする。また撮像された画像（マルチスペクトル画像）と、その画像が撮像されたときに取得された位置情報と姿勢情報は、関連付けられ、一方の情報から他方の情報が読み出せるように管理される。
　例えば、図示していないストレージにマルチスペクトル画像、位置情報、姿勢情報は、関連付けられて記憶される。そのストレージは、撮像装置１１内や、移動測定装置２０１に設けられているようにすることができる。
　ステップＳ４０１においては、例えば、処理対象とされたマルチスペクトル画像に関連付けられている位置情報と姿勢情報が、ストレージから読み出される。
　ステップＳ４０２において、抽出する波長が指定される。ステップＳ４０２乃至Ｓ４０６の処理は、図３４に示したフローチャートのステップＳ３０１乃至Ｓ３０５（第４の生成処理）と同様に行われるため、ここでは、その説明は省略する。
　なお、上記したように、第１乃至第３の生成処理と組み合わせることも可能であり、第１乃至第３の生成処理と組み合わせた場合、ステップＳ４０２乃至Ｓ４０６の処理は、図２２に示したフローチャートのステップＳ１１，Ｓ１２の処理と同様に行われる処理とされる。
　ステップＳ４０６において、リファレンス画像生成処理が終了され、リファレンス画像が生成されると、ステップＳ４０７に処理が進められる。ステップＳ４０７において、リファレンス画像にオルソ化処理が施される。オルソ化処理は、一般的に行われている処理、例えば、空撮された画像を正射変換することで行うことができる。
　正射変換は、地表の３次元形状を表した数値標高モデル（標高データ）を用い、画像上の被写体の位置ズレをなくし、空撮された画像を地図と同じく、真上から見たような傾きのない、正しい大きさと位置に表示される画像に変換する処理、すなわちオルソ化処理の一例である。
　オルソ化処理が施された画像（オルソ画像）は、画像上の被写体の位置ズレをなくし空撮された画像を地図と同じく、真上から見たような傾きのない、正しい大きさと位置に表示される画像に変換された画像となっている。
　ステップＳ４０７において、リファレンス画像に対してオルソ化処理が施されることにより、リファレンス画像のオルソ画像が生成される。このとき、リファレンス画像の元画像が、撮像された位置や、撮像装置１１の姿勢などの情報が必要となるため、ステップＳ４０１において、位置情報や姿勢情報が読み出され、オルソ化処理時に用いられる。
　リファレンス画像をオルソ化したときのオルソ化情報を記憶しておき、検査画像のオルソ化時に用いられるようにすることができる。
　ステップＳ４０８において、リファレンス画像のオルソ画像が用いられて、スティッチ処理が行われるステップＳ４０８における処理は、図３４のステップＳ３０６（図２２のステップＳ１３）の処理と同様に行われる。ただしこの場合、オルソ化されたリファレンス画像に対するスティッチ処理である点は異なる。
　ステップＳ４０８において、スティッチ後のリファレンス画像、すなわち、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成されると、ステップＳ４０９に処理が進められる。
　ステップＳ４０９における検査画像を生成する処理は、図３４のステップＳ３０７（図２２のステップＳ１４）の処理と同様に行われるため、ここではその説明は省略する。
　ステップＳ４１０において、生成された検査画像に対するオルソ化処理が実行される。検査画像に対するオルソ化処理は、上記したリファレンス画像に対するオルソ化処理と同様に行うことができる。また、検査画像に対するオルソ化処理時に、リファレンス画像をオルソ化したときのオルソ化情報を用いることができる。
　オルソ化された検査画像が用いられ、ステップＳ４１１において、検査画像に対するスティッチ処理が実行される。ステップＳ４１１における検査画像に対するスティッチ処理は、検査画像がオルソ画像である点以外は、図３４のステップＳ３０８（図２２のステップＳ１５）の処理と同様に行われるため、ここではその説明は省略する。
　このようにして、最終検査画像が生成される。また第５の生成処理においては、最終検査画像を生成するとき、オルソ化された検査画像を用いるため、生成された最終検査画像も、オルソ化されている検査画像とすることができる。
　また、検査画像をオルソ化する処理（ステップＳ４１０における処理）が行われるとき、リファレンス画像をオルソ化する処理（ステップＳ４０７における処理）が行われたときに用いられたオルソ化情報を用いることができるため、オルソ化に係る処理を容易に行うことが可能となる。
　生成された最終検査画像は、地図にマッピングすることができる。最終検査画像は、オルソ化されているため、撮像されている被写体の形状が正しく、位置も正しく配置されている画像となっているため、他の地図と重ね合わせて利用することも容易となる。
　＜最終検査画像の第６の生成処理＞
　画像処理システム５０（図３）のさらに他の構成と動作について説明する。
　第１乃至第５の生成処理のいずれかを実行する画像処理システム５０（図３）においては、照度センサ１２からの照度値を参照せずに処理する場合を例に挙げて説明した。
　第６の生成処理として、照度センサ１２からの照度値を参照した処理も含む、画像処理システム５０の動作について説明する。まず図３６を参照し、第６の生成処理を行う画像処理システム５１の構成例について説明する。
　図３６に示した画像処理システム５１は、図３に示した画像処理システム５０と、基本的な構成は同様であるが、照度計６０１、反射率画像生成部６０２、反射率画像スティッチ処理部６０３、および特定指数画像算出部６０４を備えている点が異なる。
　照度計６０１は、図３６では、画像処理システム５１に含まれる構成としたが、照度計６０１は、照度センサ１２（図１）に該当し、照度値を算出し、検査波長画像抽出部１０６に供給する構成とされている。照度計６０１は、上記した照度センサ１２と同じく、例えば、図１９に示したような光源の分光特性を取得する。
　検査波長画像抽出部１０６は、上記した実施の形態と同じく、検査画像を生成する。検査波長画像抽出部１０６からの検査画像は、反射率画像生成部６０２に供給される。反射率画像生成部６０２は、供給された検査画像を、反射率に基づく画像に変換した反射率画像を生成し、反射率画像スティッチ処理部６０３に供給する。
　反射率画像スティッチ処理部６０３は、図３の検査画像スティッチ処理部１０８に該当する処理部であり、スティッチ処理の対象とする画像が、反射率画像生成部６０２からの反射率画像であり、その反射率画像に対して、スティッチ処理を実行する。反射率画像スティッチ処理部６０３により生成された画像は、ここでは、最終反射率画像と記述する。
　特定指数画像算出部６０４は、最終反射率画像を用いて、特定指数、例えば、植生指数（NDVI：Normalized Difference Vegetation Index）に関する画像を算出する。
　ここで、画像処理システム５１が、植生検査を行うシステムである場合を例に挙げて説明を続ける。植生検査における植生指数（NDVI）に基づく画像を生成する場合、検査画像として、赤色（の波長）の画像と、赤外線（の波長）の画像が用いられる。
　なお、NDVIは、植生の分布状況や活性度を示す指標であり、ここでは、NDVIを例に挙げて説明を続けるが、他の指標が用いられる場合にも、本技術を適用することはできる。
　NDVIの値（NDVI値）は、以下の式（３）に基づき算出することができる。
　NDVI値＝（Ｄp(ＩＲ)－Ｄp(Ｒ)）／（Ｄp（ＩＲ)＋Ｄp(Ｒ)）
　・・・（３）
　式（３）において、Ｄｐ（ＩＲ）は、赤外領域の反射率を表し、Ｄｐ（Ｒ）は、可視領域の赤（Ｒ）の反射率を表す。反射率は、（検査画像／光源情報）で求めることができる。
　すなわち、図３６に示した画像処理システム５１においては、反射率画像生成部６０２により、検査波長画像抽出部１０６からの検査画像を、照度計６０１からの光源情報で除算することで、反射率を求め、反射率画像を生成する。なお、照度計６０１からの照度値は、反射率画像生成部６０２に直接供給される構成としても良い。
　反射率画像生成部６０２で生成された反射率画像は、反射率画像スティッチ処理部６０３に供給される。反射率画像スティッチ処理部６０３は、反射率画像のスティッチ処理を行い、最終反射率画像を生成し、特定指数画像算出部６０４に供給する。
　特定指数画像算出部６０４は、例えば、植生指数に関する画像を生成する場合、スティッチ処理後の赤外領域の最終反射率画像と、可視領域の赤の反射率画像を用いて、上記した式（３）に基づく演算を行うことで、NDVI値による画像を生成する。
　このような処理を行う画像処理システム５１の動作について、図３７のフローチャートを参照して説明する。
　ステップＳ５０１において、光源情報が抽出される。光源情報は、処理対象とされているマルチスペクトル画像が撮像されたときの照度値が抽出される。
　ステップＳ５０２において、抽出する波長が指定される。ステップＳ５０２乃至Ｓ５０８の処理は、図３４に示したフローチャートのステップＳ３０１乃至Ｓ３０７の処理と同様に行われるため、ここではその説明を省略する。
　ステップＳ５０９において、反射率画像が算出される。反射率画像生成部６０２は、上記したように、（検査画像／光源情報）を演算することで、反射率を算出し、その反射率を用いて反射率画像を生成する。
　ステップＳ５１０において、反射率画像スティッチ処理部６０３は、反射率画像生成部６０２により生成された反射率画像を用いて、スティッチ処理を行う。このステップＳ５１０におけるスティッチ処理は、例えば、図２２のステップＳ１５におけるスティッチ処理と同様に行うことができるため、ここではその説明を省略する。
　ステップＳ５１１において、特定指数画像算出部６０４は、特定指数画像、例えば植生指数画像を生成する。
　上記したように、特定指数画像算出部６０４は、植生指数画像を生成する場合、上記した式（３）に基づく演算を行うために、赤外領域の反射率画像と、可視領域の赤の反射率画像を取得する。そして、特定指数画像算出部６０４は、取得された赤外領域の反射率画像と、可視領域の赤の反射率画像を式（３）に代入することで、植生指数画像を生成する。
　このように、植生指数画像など、特定指数の画像を生成する場合にも本技術を適用できる。
　また、本技術によれば、スティッチ用のスティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成し、そのスティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づいて、特定指数画像が生成されるようにしたため、例えば、異なる特定指数の画像を生成するような場合でも、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づき、容易に特定指数画像を生成することができる。
　なお、図３６、図３７を参照して説明した第６の生成処理においては、リファレンス画像や、リファレンス画像をスティッチ処理し、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成する処理において、照度値を参照しないで処理する場合を例に挙げて説明したが、照度値が参照されて、これらの処理が行われるようにしても良い。
　本技術によれば、ＭＳセンサ１０３により、複数の波長の画像（マルチスペクトル画像）を取得できる。さらに、マルチスペクトル画像を用いて、さらに他の波長の画像を取得することができる。
　例えば、撮像部６１（図４）から、画像生成部６２に供給されるマルチスペクトル画像の枚数が数種類であっても、画像生成部６２では、任意の波長の画像を生成することができる。よって、撮像部６１から画像生成部６２に供給されるデータ量を低減させることが可能となる。
　また、本技術によれば、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４における処理を低減させることもできる。
　上述したように、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成し、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づいて、所望とされる波長の画像をスティッチ処理するようにしたため、例えば、複数の波長の画像（複数の特定指数画像）を生成するような場合であっても、複数の特定指数画像毎に、スティッチ処理をはじめから行う必要が無く、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づいて行えるため、処理を大幅に軽減することが可能となる。
　また、本技術によれば、画像処理システム５０（５１）において扱うデータ量を低減させ、処理負担を低減させることができるため、画像処理システム５０（５１）における処理時間を低減させることもできる。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、
　前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する処理部と、
　を備える画像処理装置。
（２）
　前記処理部は、前記第１のリファレンス画像と前記第２のリファレンス画像とをスティッチ処理することで、前記位置決め情報を含むリファレンス合成画像を生成する、
　前記（１）に記載の画像処理装置。
（３）
　前記処理部は、前記位置決め情報に基づいて、前記複数の第１の画像のいずれかの画像と、前記複数の第２の画像のいずれかの画像とをスティッチ処理することで合成画像を取得する、
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記処理部は、前記位置決め情報に基づいて、前記第１の撮像領域に対応する領域を前記複数の第１の画像に基づく画像に設定し、前記第２の撮像領域に対応する領域を前記複数の第２の画像に基づく画像に設定することで前記合成画像を取得する、
　前記（１）または（２）に記載の画像処理装置。
（５）
　前記複数の第１の画像はそれぞれ異なる波長に基づく画像、または前記複数の第２の画像はそれぞれ異なる波長に基づく画像である、
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 
　前記画像生成部は、前記複数の第１の画像から、特徴量の大きい画像を優先して前記第１のリファレンス画像として取得し、前記複数の第２の画像から、特徴量の大きい画像を優先して前記第２のリファレンス画像として取得する、
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記画像生成部は、前記複数の第１の画像のうち最も特徴量の大きい画像を前記第１のリファレンス画像として取得し、前記複数の第２の画像のうち最も特徴量の大きい画像を前記第２のリファレンス画像として取得する、
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（８）
　前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像も対象として前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像も対象として前記第２のリファレンス画像を生成する
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記第１の縮小画像が、前記第１の画像に設定された場合、前記第１の縮小画像の元の第１の画像が、前記第１のリファレンス画像に設定され、前記第２の縮小画像が、前記第２の画像に設定された場合、前記第２の縮小画像の元の第２の画像が、前記第２のリファレンス画像に設定される
　前記（８）に記載の画像処理装置。
（１０）
　前記画像生成部は、前記第１の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第１のリファレンス画像を生成し、前記第２の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第２のリファレンス画像を生成する
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１１）
　前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像もブロックに分割し、前記第１の縮小画像のブロックも対象として、前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像もブロックに分割し、前記第２の縮小画像のブロックも対象として、前記第２のリファレンス画像を生成する
　前記（１０）に記載の画像処理装置。
（１２）
　前記第１の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第１の縮小画像の元の第１の画像の対応するブロックが、前記第１のリファレンス画像の一部に設定され、前記第２の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第２の縮小画像の元の第２の画像の対応するブロックが、前記第２のリファレンス画像の一部に設定される
　前記（１１）に記載の画像処理装置。
（１３）
　前記複数の第１の画像を用いて、所定の波長の第３の画像を生成し、
　前記画像生成部は、前記第３の画像から前記第１のリファレンス画像を生成し、
　前記複数の第２の画像を用いて、所定の波長の第４の画像を生成し、
　前記画像生成部は、前記第４の画像から前記第２のリファレンス画像を生成する
　前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
　前記第１のリファレンス画像と前記第２のリファレンス画像をそれぞれオルソ化処理し、
　前記処理部は、前記オルソ化された前記第１のリファレンス画像と前記第２のリファレンス画像に基づいて、前記位置決め情報を生成する
　前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
　第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
　前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
　ステップを含む画像処理方法。
（１６）
　コンピュータに、
　第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
　前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
　ステップを含む処理を実行させるためのプログラム。
　１０　画像処理システム，　１１　撮像装置，　１２　照度センサ，　１３　ハブ，　１４　演算装置，　３０　画像処理システム，　３１　クライアント装置，　３２　ルータ，　３３　基地局，　３４　ネットワーク，　３５　サーバ，　３６　ストレージ，　１０１　レンズ，　１０２　露光部，　１０３　ＭＳセンサ，　１０４　指定波長演算処理部，　１０５　リファレンス画像生成処理部，　１０６　検査波長画像抽出部，　１０７　リファレンス画像スティッチ処理部，　１０８　検査画像スティッチ処理部，　６０１　照度計，　６０２　反射率画像抽出部，　６０３　反射率画像スティッチ処理部，　６０４　特定指数画像算出部

Claims (16)

  1. 　第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、
    　前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する処理部と、
    　を備える画像処理装置。
  2. 　前記処理部は、前記第１のリファレンス画像と前記第２のリファレンス画像とをスティッチ処理することで、前記位置決め情報を含むリファレンス合成画像を生成する、
    　請求項１に記載の画像処理装置。
  3. 　前記処理部は、前記位置決め情報に基づいて、前記複数の第１の画像のいずれかの画像と、前記複数の第２の画像のいずれかの画像とをスティッチ処理することで合成画像を取得する、
    　請求項１に記載の画像処理装置。
  4. 　前記処理部は、前記位置決め情報に基づいて、前記第１の撮像領域に対応する領域を前記複数の第１の画像に基づく画像に設定し、前記第２の撮像領域に対応する領域を前記複数の第２の画像に基づく画像に設定することで前記合成画像を取得する、
    　請求項１に記載の画像処理装置。
  5. 　前記複数の第１の画像はそれぞれ異なる波長に基づく画像、または前記複数の第２の画像はそれぞれ異なる波長に基づく画像である、
    　請求項１に記載の画像処理装置。
  6. 　前記画像生成部は、前記複数の第１の画像から、特徴量の大きい画像を優先して前記第１のリファレンス画像として取得し、前記複数の第２の画像から、特徴量の大きい画像を優先して前記第２のリファレンス画像として取得する、
    　請求項１に記載の画像処理装置。
  7. 　前記画像生成部は、前記複数の第１の画像のうち最も特徴量の大きい画像を前記第１のリファレンス画像として取得し、前記複数の第２の画像のうち最も特徴量の大きい画像を前記第２のリファレンス画像として取得する、
    　請求項１に記載の画像処理装置。
  8. 　前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像も対象として前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像も対象として前記第２のリファレンス画像を生成する
    　請求項１に記載の画像処理装置。
  9. 　前記第１の縮小画像が、前記第１の画像に設定された場合、前記第１の縮小画像の元の第１の画像が、前記第１のリファレンス画像に設定され、前記第２の縮小画像が、前記第２の画像に設定された場合、前記第２の縮小画像の元の第２の画像が、前記第２のリファレンス画像に設定される
    　請求項８に記載の画像処理装置。
  10. 　前記画像生成部は、前記第１の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第１のリファレンス画像を生成し、前記第２の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第２のリファレンス画像を生成する
    　請求項１に記載の画像処理装置。
  11. 　前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像もブロックに分割し、前記第１の縮小画像のブロックも対象として、前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像もブロックに分割し、前記第２の縮小画像のブロックも対象として、前記第２のリファレンス画像を生成する
    　請求項１０に記載の画像処理装置。
  12. 　前記第１の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第１の縮小画像の元の第１の画像の対応するブロックが、前記第１のリファレンス画像の一部に設定され、前記第２の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第２の縮小画像の元の第２の画像の対応するブロックが、前記第２のリファレンス画像の一部に設定される
    　請求項１１に記載の画像処理装置。
  13. 　前記複数の第１の画像を用いて、所定の波長の第３の画像を生成し、
    　前記画像生成部は、前記第３の画像から前記第１のリファレンス画像を生成し、
    　前記複数の第２の画像を用いて、所定の波長の第４の画像を生成し、
    　前記画像生成部は、前記第４の画像から前記第２のリファレンス画像を生成する
    　請求項１に記載の画像処理装置。
  14. 　前記第１のリファレンス画像と前記第２のリファレンス画像をそれぞれオルソ化処理し、
    　前記処理部は、前記オルソ化された前記第１のリファレンス画像と前記第２のリファレンス画像に基づいて、前記位置決め情報を生成する
    　請求項１に記載の画像処理装置。
  15. 　第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
    　前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
    　ステップを含む画像処理方法。
  16. 　コンピュータに、
    　第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
    　前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
    　ステップを含む処理を実行させるためのプログラム。
PCT/JP2018/026826 2017-08-01 2018-07-18 画像処理装置、画像処理方法、並びにプログラム WO2019026619A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019534026A JP7160037B2 (ja) 2017-08-01 2018-07-18 画像処理装置、画像処理方法、並びにプログラム
BR112020001562-8A BR112020001562A2 (pt) 2017-08-01 2018-07-18 aparelho e método de processamento de imagem, e, programa
AU2018309905A AU2018309905A1 (en) 2017-08-01 2018-07-18 Image processing device, image processing method, and program
EP18841076.5A EP3664029B1 (en) 2017-08-01 2018-07-18 Image processing device, image processing method, and program
US16/633,661 US11328388B2 (en) 2017-08-01 2018-07-18 Image processing apparatus, image processing method, and program
CN201880049241.1A CN110998657B (zh) 2017-08-01 2018-07-18 图像处理设备、图像处理方法和程序
US17/694,429 US11769225B2 (en) 2017-08-01 2022-03-14 Image processing apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017148858 2017-08-01
JP2017-148858 2017-08-01

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/633,661 A-371-Of-International US11328388B2 (en) 2017-08-01 2018-07-18 Image processing apparatus, image processing method, and program
US17/694,429 Continuation US11769225B2 (en) 2017-08-01 2022-03-14 Image processing apparatus, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2019026619A1 true WO2019026619A1 (ja) 2019-02-07

Family

ID=65232810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026826 WO2019026619A1 (ja) 2017-08-01 2018-07-18 画像処理装置、画像処理方法、並びにプログラム

Country Status (7)

Country Link
US (2) US11328388B2 (ja)
EP (1) EP3664029B1 (ja)
JP (1) JP7160037B2 (ja)
CN (1) CN110998657B (ja)
AU (1) AU2018309905A1 (ja)
BR (1) BR112020001562A2 (ja)
WO (1) WO2019026619A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179276A1 (ja) * 2019-03-01 2020-09-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2022102295A1 (ja) * 2020-11-10 2022-05-19 ソニーグループ株式会社 撮像装置
WO2022190826A1 (ja) * 2021-03-09 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171505B2 (ja) 2019-04-24 2022-11-15 キヤノン株式会社 トナー
IT202200006677A1 (it) * 2022-04-05 2023-10-05 Turf Europe Srl Dispositivo di acquisizione, elaborazione e trasmissione di immagini digitali ad almeno 5 bande multispettrali coassiali ad ampio campo visivo, per l’agromonitoraggio delle superfici agricole ed a verde.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163482A (ja) 2011-02-08 2012-08-30 System Instruments Kk 光量子計
JP2015532714A (ja) * 2012-08-21 2015-11-12 ビジュアル インテリジェンス, エルピーVisual Intelligence, Lp インフラストラクチャマッピングシステム及び方法
JP2016208306A (ja) * 2015-04-23 2016-12-08 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589446B2 (ja) * 2009-09-18 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US8811764B1 (en) * 2012-10-25 2014-08-19 Google Inc. System and method for scene dependent multi-band blending
US9813601B2 (en) * 2014-05-06 2017-11-07 Urugus S.A. Imaging device for scenes in apparent motion
GB201412061D0 (en) * 2014-07-07 2014-08-20 Vito Nv Method and system for geometric referencing of multi-spectral data
CN106464811B (zh) * 2015-03-10 2021-03-26 深圳市大疆创新科技有限公司 用于自适应全景图像生成的系统及方法
KR20160115466A (ko) * 2015-03-27 2016-10-06 한국전자통신연구원 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법
JP6453694B2 (ja) * 2015-03-31 2019-01-16 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163482A (ja) 2011-02-08 2012-08-30 System Instruments Kk 光量子計
JP2015532714A (ja) * 2012-08-21 2015-11-12 ビジュアル インテリジェンス, エルピーVisual Intelligence, Lp インフラストラクチャマッピングシステム及び方法
JP2016208306A (ja) * 2015-04-23 2016-12-08 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179276A1 (ja) * 2019-03-01 2020-09-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2022102295A1 (ja) * 2020-11-10 2022-05-19 ソニーグループ株式会社 撮像装置
WO2022190826A1 (ja) * 2021-03-09 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器

Also Published As

Publication number Publication date
JP7160037B2 (ja) 2022-10-25
CN110998657B (zh) 2023-12-12
US11769225B2 (en) 2023-09-26
CN110998657A (zh) 2020-04-10
AU2018309905A1 (en) 2020-01-23
BR112020001562A2 (pt) 2020-07-21
US20220277419A1 (en) 2022-09-01
US20200211158A1 (en) 2020-07-02
EP3664029B1 (en) 2023-12-13
EP3664029A1 (en) 2020-06-10
US11328388B2 (en) 2022-05-10
EP3664029A4 (en) 2020-08-12
JPWO2019026619A1 (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
O’Connor et al. Cameras and settings for aerial surveys in the geosciences: Optimising image data
JP7160037B2 (ja) 画像処理装置、画像処理方法、並びにプログラム
Torres-Sánchez et al. Assessing UAV-collected image overlap influence on computation time and digital surface model accuracy in olive orchards
Roth et al. PhenoFly Planning Tool: flight planning for high-resolution optical remote sensing with unmanned areal systems
JP6192853B2 (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
Kedzierski et al. Radiometric quality assessment of images acquired by UAV’s in various lighting and weather conditions
US20150022656A1 (en) System for collecting & processing aerial imagery with enhanced 3d & nir imaging capability
Rijsdijk et al. Unmanned aerial systems in the process of juridical verification of cadastral border
CN108414454A (zh) 一种植物三维结构及光谱信息的同步测量系统及测量方法
Kedzierski et al. Methodology of improvement of radiometric quality of images acquired from low altitudes
JP2019503484A (ja) マルチスペクトルデータの幾何学的リファレンシング方法およびシステム
Wierzbicki et al. Method of radiometric quality assessment of NIR images acquired with a custom sensor mounted on an unmanned aerial vehicle
Ahamed et al. Tower remote-sensing system for monitoring energy crops; image acquisition and geometric corrections
Ramirez‐Paredes et al. Low‐altitude Terrestrial Spectroscopy from a Pushbroom Sensor
Szabó et al. Zooming on aerial survey
Ribas Costa et al. Uncrewed aircraft system spherical photography for the vertical characterization of canopy structural traits
O'Connor Impact of image quality on SfM Photogrammetry: colour, compression and noise
CN112154484A (zh) 正射影像生成方法、系统和存储介质
Domozi et al. Surveying private pools in suburban areas with neural network based on drone photos
Altena et al. Assessing UAV platform types and optical sensor specifications
Jonassen et al. Bundle Adjustment of Aerial Linear Pushbroom Hyperspectral Images with Sub-Pixel Accuracy
Miraki et al. Using canopy height model derived from UAV imagery as an auxiliary for spectral data to estimate the canopy cover of mixed broadleaf forests
Haavardsholm et al. Multimodal Multispectral Imaging System for Small UAVs
Doumit The effect of Neutral Density Filters on drones orthomosaics classifications for land-use mapping
Gonçalves Using structure-from-motion workflows for 3D mapping and remote sensing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18841076

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019534026

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018309905

Country of ref document: AU

Date of ref document: 20180718

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020001562

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2018841076

Country of ref document: EP

Effective date: 20200302

ENP Entry into the national phase

Ref document number: 112020001562

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20200124