WO2017195858A1 - マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム - Google Patents

マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム Download PDF

Info

Publication number
WO2017195858A1
WO2017195858A1 PCT/JP2017/017804 JP2017017804W WO2017195858A1 WO 2017195858 A1 WO2017195858 A1 WO 2017195858A1 JP 2017017804 W JP2017017804 W JP 2017017804W WO 2017195858 A1 WO2017195858 A1 WO 2017195858A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
line
color
line sensor
sensor
Prior art date
Application number
PCT/JP2017/017804
Other languages
English (en)
French (fr)
Inventor
宗煥 金
森　一夫
Original Assignee
アジア航測株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017089997A external-priority patent/JP6959029B2/ja
Application filed by アジア航測株式会社 filed Critical アジア航測株式会社
Publication of WO2017195858A1 publication Critical patent/WO2017195858A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to a multi-line image sensor device for detecting a moving object from an image (single image) for one scene, an imaging device, a moving object detection device, and a moving object detection program.
  • moving objects can be extracted by performing differential processing between images using images for two scenes with a minute time difference, but pair images captured at about the same time (for example, stereo There is a problem that a pair shooting) is necessary, and a complicated process is included in the analysis processing.
  • the focal plane array sensor camera causes a slight difference in the imaging and signal processing time of each band (for each color type).
  • the object to be photographed is a moving object that moves faster than the exposure time of the sensor, registration between bands is not correctly performed, causing a phenomenon of color shift.
  • the focal plane array sensor camera is a frame sensor (also referred to as an area image sensor) capable of two-dimensional imaging, the light receiving surface is wide and the entire subject can be photographed relatively easily, but the resolution is low. . Also, when photographing a spherical surface like the earth, post-processing of the image becomes more complicated.
  • a line sensor capable of one-dimensional imaging (also referred to as a linear image sensor) can obtain high-resolution images.
  • a plurality of light receiving elements photoelectric conversion elements
  • it is also suitable for photographing a spherical surface.
  • techniques for miniaturizing the optical system are also being studied.
  • a multi-line sensor capable of capturing, in particular, a color (composite) image is often mounted not only on the earth observation satellite but also on a printer or the like.
  • a multi-spectral camera also referred to as a multi-band one-dimensional line sensor camera
  • a multi-spectral camera capable of obtaining color images of a plurality of bands simultaneously
  • Patent Document 2 an imaging apparatus capable of suppressing variation in the sharpness of an image due to a difference in light receiving direction has also been proposed (see, for example, Patent Document 2).
  • the exposure time of the CCD line sensor camera mounted on the earth observation satellite is the time when the satellite travels one line scan. For example, if the satellite has a spatial resolution (or image resolution) of 1 meter, its exposure time will be the time it takes for the satellite to travel a distance of 1 meter.
  • a CCD line sensor camera capable of acquiring a color (composite) image, in particular in an interline type structure, a fixed number of photodiodes (PD) are arranged in a horizontal row, and the same number of VCCDs (parallel It comprises a line sensor for R image, a line sensor for G image, and a line sensor for B image, in which the vertical transfer section is disposed.
  • these three lines of line sensors are arranged in parallel with a predetermined interval (physical separation distance).
  • each line sensor for example, the light from the optical system is exposed by the photodiode according to the drive pulse sent at intervals of time when the sensor moves a distance of one pixel from the sensor drive unit.
  • the photodiode for example, after signal charges photoelectrically converted by the photodiodes of each line sensor are simultaneously read out to the VCCDs corresponding to the respective photodiodes and sequentially vertically transferred, It is output through the horizontal transfer unit (HCCD).
  • HCCD horizontal transfer unit
  • the drive pulse for the next exposure is applied to the R image line sensor, the G image line sensor, and the B image line sensor.
  • the CCD line sensor camera with the interline structure has a slight physical separation distance between the R image line sensor, the G image line sensor, and the B image line sensor. Therefore, in the case of a moving object moving faster than the exposure time, readout of the signal charge can not be made in time, resulting in a large color shift.
  • the present invention has been made in view of the above problems, and it is possible to clearly distinguish a moving object from a stationary object, and to efficiently detect a moving object, a multi-line image sensor device, an imaging device, and a moving object
  • An object of the present invention is to obtain a detection device and a mobile object detection program.
  • the multi-line image sensor device is A three-primary-color image line sensor including an R-image line sensor, a G-image line sensor, and a B-image line sensor, which are arranged in parallel with a space between them;
  • the first color line sensor is disposed in parallel with the image line sensor with any one of the three primary color image line sensors, and detects the wavelength of light of the same color as the image line sensor with any one of the three primary color image line sensors.
  • a line sensor for the same wavelength component image is A three-primary-color image line sensor including an R-image line sensor, a G-image line sensor, and a B-image line sensor, which are arranged in parallel with a space between them;
  • the first color line sensor is disposed in parallel with the image line sensor with any one of the three primary color image line sensors, and detects the wavelength of light of the same color as the image line sensor with any one of the three primary color image line sensors.
  • a line sensor for the same wavelength component image is A three-primary-color image line sensor
  • the imaging device is It is provided in an aircraft having a predetermined height with respect to a photographing area and moving in one direction at a predetermined speed, and as the aircraft moves, a color image of three primary colors and a color image of the three primary colors
  • the multi-line image sensor device is A three-primary-color image line sensor including an R-image line sensor, a G-image line sensor, and a B-image line sensor, which are arranged in parallel with a space between them;
  • the mobile object detection device is The flying object has a predetermined height with respect to the shooting area, and it is a color image acquired while moving in one direction at a predetermined speed and an image of the wavelength of light of the same color as any image of this color image.
  • a mobile object detection apparatus which receives a transmission signal including a line-by-line photographed image composed of a certain wavelength component image and detects movement of a moving body in the photographing area based on the received line-by-line photographed image.
  • a mobile object detection program is The flying object has a predetermined height with respect to the shooting area, and it is a color image acquired while moving in one direction at a predetermined speed and an image of the wavelength of light of the same color as any image of this color image.
  • a mobile object detection program for receiving a transmission signal including a line-by-line photographed image composed of a certain identical wavelength component image, and detecting movement of a moving body in the photographing area based on the received line-by-line photographed image.
  • the color image and the same wavelength component image included in the line-by-line photographed image included in the transmission signal are set as color types for receiving the photographed image Means for storing in the storage unit; Means for determining whether or not the photographed image for each line has reached a predetermined number every time the photographed image for each line of the color type is stored in the photographed image reception storage unit; Means for generating a color composite image obtained by combining the first image, the second image and the third image of the color image each time the predetermined number is reached, and storing the color composite image in the color composite image storage unit; Means for combining the first image and the same wavelength component image to generate a monochrome composite image and storing the composite image in the storage unit for monochrome composite image each time the predetermined number is reached; Means for generating a pan-sharpened image in which the color composite image and the black-and-white composite image are superimposed and storing this in a pan-sharpened image storage unit; The
  • the multi-line image sensor device of the present invention it is possible to simultaneously obtain a three-primary-color image and an identical wavelength component image which is a wavelength of light of one and the same color of the three-primary-color image line sensor.
  • a multi-line image device for simultaneously obtaining a three-primary-color image and an identical wavelength component image which is a wavelength of light of one and the same color of the three-primary-color image line sensor Is provided at a predetermined height, and is provided to an aircraft moving in one direction at a predetermined speed, and the image is transmitted. For this reason, on the receiving side, it becomes possible to immediately detect the change of the mobile.
  • the mobile object detection device since it is possible to immediately superimpose the color image from the flight object on the same wavelength component image, it is possible to immediately detect the change of the mobile object in color.
  • moving object information such as the moving speed, moving direction, and number can be calculated with high accuracy.
  • FIG. 1 is a schematic configuration diagram of a mobile object detection system using a multispectral sensor device (multiline image sensor device) according to the present embodiment.
  • FIG. 2 is a schematic configuration block diagram of an earth observation satellite equipped with a satellite camera to which the multispectral sensor device according to the present embodiment is applied.
  • FIG. 3 is a schematic configuration diagram of an artificial satellite camera to which the multispectral sensor device according to the first embodiment is applied.
  • FIG. 4 is a schematic cross-sectional view of the multispectral sensor device, taken along line II of FIG.
  • FIG. 5 is a timing chart explaining the basic operation of the artificial satellite camera.
  • FIG. 6 is a schematic configuration diagram of a mobile detection device in a mobile detection system using the multispectral sensor device according to the first embodiment.
  • FIG. 7 is a schematic configuration diagram of an operation unit in the mobile object detection device.
  • FIG. 8 is a schematic view (image image) for explaining a display example of a moving object detection image.
  • FIG. 9 is a flowchart for explaining the flow of processing in the area extraction unit of the mobile object detection device.
  • FIG. 10 is a flowchart for explaining the flow of processing in the mobile object detection device.
  • FIGS. 11 (a) and 11 (b) are operation explanatory diagrams for explaining the mobile object detection process, and FIG. 11 (a) shows an example of accumulation of the photographed image eGi for each line in the photographed image database.
  • FIG. 11B shows an example of creation of the mesh Mi in the color-emphasized image memory.
  • FIG. 12 (a) is a schematic view (image image) showing a display example of a moving object detection image (before color emphasis), and FIG. 12 (b) shows a display example of a mobile object detection image (after color emphasis) It is the schematic (image image) shown.
  • 13 (a) and 13 (b) show display characteristics in a moving object detection image, and FIG. 13 (a) is a characteristic chart showing an example of a traveling vehicle, and FIG. 13 (b) shows It is a characteristic view which shows the vehicle under stop as an example.
  • FIG. 14 is a schematic view illustrating an arrangement example of the multispectral sensor device according to the first embodiment.
  • FIG.15 (a) is a schematic diagram which shows the vehicle in process of stop to an example
  • FIG.15 (b) is the schematic explaining the example of a display.
  • Fig. 16 (a) is a schematic view showing a vehicle traveling at a low speed as an example
  • Fig. 16 (b) is a schematic view explaining a display example thereof.
  • FIG. 17 (a) is a schematic view showing a vehicle traveling at high speed as an example
  • FIG. 17 (b) is a schematic view explaining a display example thereof.
  • 18 (a) and 18 (b) show moving object detection images in comparison
  • FIG. 18 (a) is a schematic view (image image) showing a moving object detection image before color enhancement.
  • FIG. 18 (a) is a schematic view (image image) showing a moving object detection image before color enhancement.
  • FIG. 18B is a schematic view (image image) showing a moving object detection image after color emphasis.
  • FIG. 19 is a schematic view showing another configuration example of the multispectral sensor device according to the present embodiment.
  • FIG. 20 is a schematic view showing still another configuration example of the multispectral sensor device according to the present embodiment.
  • FIG. 21 is a schematic configuration diagram of a multispectral sensor device according to a first modified example of the first embodiment.
  • FIG. 22 is a schematic configuration diagram of a multispectral sensor device according to a second modified example of the first embodiment.
  • FIG. 23 is a schematic configuration diagram of a multispectral sensor device according to a third modified example of the first embodiment.
  • FIG. 24 is a schematic view (image image) for explaining an example in which the moving object detection image is a cloud of the moving object.
  • FIG. 25 (a) ⁇ FIG 25 (d) is a case where the moving entity and the wave shows an example
  • FIG. 25 (a) is a schematic diagram of the R 1 image (image picture)
  • FIG. 25 (b) is a schematic view of a B image (image image)
  • FIG. 25D is a schematic view of a moving object detection image (image image).
  • FIG. 26 is a schematic configuration diagram of a satellite camera to which the multispectral sensor device (multiline image sensor device) according to the second embodiment is applied.
  • FIG. 27 is a schematic cross-sectional view of the multispectral sensor device, taken along line II-II of FIG.
  • FIG. 28 is a schematic diagram for explaining an arrangement example of the multispectral sensor device according to the second embodiment.
  • FIG. 29 is a schematic view illustrating a method of specifying a specific area in the mobile object detection device.
  • FIG. 30 is a timing chart in the case of line scanning of a moving object, showing a vehicle at rest as an example.
  • FIG. 31 is a timing chart in the case of line scanning a moving body, showing a vehicle traveling at low speed as an example.
  • FIG. 32 is a timing chart in the case of line scanning of a moving body, showing a vehicle traveling at high speed as an example.
  • FIGS. 33 (a) and 33 (b) show display characteristics in a moving object detection image, and FIG. 33 (a) is a characteristic diagram showing a vehicle traveling at high speed as an example, and FIG. 33 (b) is FIG.
  • FIG. 6 is a characteristic diagram showing an example of a vehicle traveling at a low speed.
  • 34 (a) to 34 (e) are for illustrating display examples of a mobile object
  • FIG. 34 (a) is a schematic view illustrating the relationship between a vehicle and a multispectral sensor device
  • 34 (b) is a display example when the traveling direction of the vehicle is the east direction
  • FIG. 34 (c) is a display example when the traveling direction of the vehicle is the west direction
  • FIG. 34 (d) is a vehicle 34 (e) is a display example in the case where the traveling direction of the vehicle is in the south direction.
  • 35 (a) to 35 (c) show an example of processing for obtaining a moving object detection image
  • 35 (a) is a schematic view (image image) of an extracted image.
  • (B) is a schematic view (image image) of a designated image
  • FIG. 35 (c) is a schematic view (image image) of a moving object detection image.
  • 36 (a) to 36 (c) show other examples of processing for obtaining a moving object detection image
  • FIG. 36 (a) is a schematic diagram (image image) of an extracted image
  • 36 (b) is a schematic view (image image) of the designated image
  • FIG. 36 (c) is a schematic view (image image) of the moving object detection image.
  • FIG. 37 is an enlarged view (image image) of the moving object detection image shown in FIG. FIG.
  • FIG. 38 is a schematic configuration diagram of a multispectral sensor device according to a first modified example of the second embodiment.
  • FIG. 39 is a schematic configuration diagram of a multispectral sensor device according to a second modified example of the second embodiment.
  • FIG. 40 is a schematic configuration diagram of a multispectral sensor device according to a third modified example of the second embodiment.
  • FIG. 41 is a schematic configuration diagram of a multispectral sensor device according to a fourth modified example of the second embodiment.
  • FIG. 42 is a schematic configuration diagram of a mobile detection device in a mobile detection system using the multispectral sensor device according to the third embodiment.
  • FIG. 43 is a schematic view showing an example of processing in the mobile object detection device.
  • FIG. 44 is a schematic view showing another example of processing in the mobile object detection apparatus.
  • the multi-line image sensor device of the present embodiment will be described as being built in, for example, an imaging device (also referred to as a satellite camera) mounted on a very small artificial satellite.
  • an imaging device also referred to as a satellite camera
  • the multi-line image sensor device can clearly distinguish a moving object (including a vehicle, a ship, an aircraft, a cloud, a fluid such as a tsunami, etc.) which is an imaging target (subject) from a stationary object at the time of image processing. It is considered to be a line array.
  • a ground center for obtaining a moving object detection image in which color display of a moving object is emphasized by overlapping spectrums of color images of a plurality of color types (each band) acquired by this multiline image sensor device.
  • a mobile detection system further including a mobile detection device (also referred to as a ground station) of
  • the medium (earth, paper, sky, sea, river, mountain, ...) where the moving body exists is taken as the earth, and the case where it is assumed that the moving body is a moving vehicle (including bikes and motorcycles) or a tsunami .
  • FIG. 1 is a schematic configuration diagram of a mobile object detection system using a multispectral sensor device (MSS) to which the multiline image sensor device according to the first embodiment is applied.
  • MSS multispectral sensor device
  • the flying object is a flying object such as an airplane (including a helicopter), a drone, an airship, or an artificial satellite, it will be described as an artificial satellite in the embodiment.
  • this mobile object detection system is an artificial satellite (hereinafter referred to as an earth observation satellite 12) that observes the earth 10 while moving in one direction (hereinafter referred to as an SD direction) on the orbit of the earth 10.
  • the mobile object detection apparatus 16 exchanges various data, signals, information and the like between the earth observation satellite 12 and the ground center via the antenna facility 14.
  • the mobile object detection device 16 is a server system provided at a ground center.
  • the earth observation satellite 12 is a so-called platform on which an artificial satellite camera 21 (also referred to as an imaging device) is mounted, and orbits on a trajectory of a predetermined height while moving in the direction of the arrow SD at a predetermined speed. Is configured as.
  • the earth observation satellite 12 is, for example, a very small artificial satellite that flies above the altitude of about 400 km (km) to about 700 km of the earth 10 at a substantially constant speed according to the altitude.
  • the image of the surface portion of the earth 10 is continuously photographed with a width of about 2.5 m (meter) ⁇ 50 km by the on-board satellite camera 21 mounted.
  • a multispectral sensor device 214 for scanning a line in an arbitrary imaging area TEG by, for example, a push bloom method is incorporated.
  • the movement (attitudes ⁇ , ⁇ , ⁇ ) of the earth observation satellite 12 is controlled so that the angle of the imaging plane (horizontal direction) of the artificial satellite camera 21 to the ground surface direction (vertical direction) is always 90 degrees. Ru.
  • the artificial satellite camera 21 is adjusted so that the angle of the multi-spectral sensor device 214 incorporated therein with the SD direction in which the satellite 12 flies is approximately 90 degrees (approximately right angle). That is, the multispectral sensor device 214 is arranged such that the horizontal direction (line arrangement) of line sensors described later is substantially orthogonal to the SD direction.
  • the earth observation satellite 12 transmits a transmission signal SGi including the line-by-line photographed image eGi photographed using the multispectral sensor device 214 toward the antenna facility 14 connected to the mobile object detection device 16 at the ground center.
  • the above-mentioned transmission signal SGi mainly includes, for example, the line-by-line photographed image eGi and header information EHi.
  • the line-by-line photographed image eGi is a frame signal including the gradation (corresponding to the pixel value) of each band constituting the pixel, and for example, at the time of photographing, the multispectral sensor device 214 periodically or continuously every line. Sensor output (signal charge for one line scan) accompanied by pixel data.
  • the header information EHi is, for example, meta data at the time of shooting which is added to the shot image eGi for each line by a C & DH (Command and Data Handling) system or the like.
  • the header information EHi includes, for example, information (ID) for identifying the earth observation satellite 12, information such as latitude, longitude, altitude and attitude at the time of photographing of the earth observation satellite 12, spatial resolution, photographing date and photographing time, Information on shooting start time (Collection Start Time) and end time (Collection End Time), information on band type (color type), pixel coordinates Pzai (i, j) indicating pixel position, transmission destination information, etc. are included. .
  • header information EHi it is desirable that the header information EHi be added in units of line-by-line captured images eGi in a transmission unit (27) described later.
  • the earth observation satellite 12 may have other various functions including basic functions as a satellite (for example, C & DH system, propulsion system, etc.), and the detailed description here is omitted. Do.
  • FIG. 2 is a schematic block diagram of the vicinity of the artificial satellite camera 21 in the earth observation satellite 12.
  • the earth observation satellite 12 controls the artificial satellite camera 21, the receiving unit 23 that receives a shooting command and the like sent from the mobile object detection device 16 via the antenna facility 14, and the artificial satellite camera 21. It comprises at least a sensor control unit 25 and a transmission unit 27 for transmitting a transmission signal SGi including the photographed image eGi for each line to the mobile object detection device 16.
  • At least one of the sensor control unit 25 and the transmission unit 27 may be provided in the artificial satellite camera 21.
  • the satellite camera 21 has, for example, a multispectral sensor device 214, a sensor drive unit 210 that drives the multispectral sensor device 214 based on the control of the sensor control unit 25, and an optical system unit System) 212 and a transfer unit (HCCD) 218.
  • a multispectral sensor device 214 for example, a sensor drive unit 210 that drives the multispectral sensor device 214 based on the control of the sensor control unit 25, and an optical system unit System) 212 and a transfer unit (HCCD) 218.
  • HCCD transfer unit
  • the sensor drive unit 210 generates drive pulses (exposure timing signal) at intervals of time in which the earth observation satellite 12 moves a distance for one line scanning to four image line sensors described later in the multispectral sensor device 214. ) And expose the light from the optical system unit 212.
  • the optical system unit 212 is configured to include a condensing lens (not shown) or the like that condenses light on the multispectral sensor device 214.
  • the transfer unit 218 is, for example, signal charges for one line scan acquired by the photoelectric conversion action of each photodiode (photoelectric conversion element) PD group in four types of image line sensors in the multispectral sensor device 214. Is obtained as a first image for each line (R 1 ), a second image for each line (G), and a third image for each line (B) and transferred, and a line sensor for a first identical wavelength component image Obtain sensor output from a line sensor for the same wavelength component image (for example, 214R 2 ) as an image (for example, R 2 (hereinafter, referred to as the same wavelength component image Ri (R 2 ) for each line)) Transfer to the transmission unit 27.
  • FIG. 3 is a schematic block diagram of a multispectral sensor device 214.
  • the multispectral sensor device 214 built in the satellite camera 21 is any of three primary color image line sensors (line sensor 214R 1 for R 1 image, line sensor 214 G for G image, line sensor 214 B for B image). and a same wavelength component image line sensor 214R 2 for detecting the wavelength of the line sensor and the same color of light. And the three primary colors image line sensor having the same wavelength component image line sensor 214R 2 collectively, referred to as an image line sensor.
  • the multi-spectral sensor system 214 of the present embodiment in addition to further four image line sensor of having the same wavelength component image line sensor 214R 2 of the three primary image line sensor (214R 1, 214G, 214B) Is a so-called four-line multi-line image sensor.
  • each of the image line sensors (214R 1 , 214G, 214B, 214R 2 ) of the multispectral sensor device 214 has a predetermined interval (physical separation distance BD: for example 10 ⁇ m (micrometer)) BD. It is arranged in parallel.
  • the same wavelength component image line sensor 214R 2 is, R 1 image line sensor 214R 1 constituting the three primary colors image line sensor, G image line sensor 214G, provided for one of the B image line sensor 214B Although it may be, in this embodiment, it is an example in which provided for R 1 image line sensor 214R 1.
  • unit cells (UC 1, UC 1, UC 2, UC 1, UC 2, UC 4) by pixels of the same position in the line direction of the image line sensors (214R 2 , 214R 1 , 214G, 214B). UC2) is to be configured.
  • the multispectral sensor device 214 having such a configuration has a function as a multiline image sensor for mobile object detection.
  • the multispectral sensor device 214 includes a fixed number of unit cells UC1 and UC2 arranged in a line.
  • Each unit cell UC1 is composed of three pixels, for example, three primary color image line sensors (214R 1 , 214G, 214B), and each unit cell UC2 has two pixels, for example, line sensors for the same wavelength component image 214R 2 , R 1 It is constituted by an image line sensor 214R 1.
  • the same wavelength component image line sensor 214R 2 the three primary colors image line sensor (214R 1, 214G, 214B), respectively, the photodiode PD group 214R 2 p, 214R 1 p, 214Gp, and 214 bp, CCD group 214R 2 f, 214R 1 f, 214 Gf, 214 Bf.
  • Photodiode PD group 214R 2 p, 214R 1 p, 214Gp, 214Bp consists photodiode PD predetermined number which are arranged in series, CCD group 214R 2 f, 214R 1 f, 214Gf, 214Bf , each photodiode PD And a fixed number of vertical CCDs (VCCDs) arranged in parallel.
  • VCCDs vertical CCDs
  • each vertical CCD 214Bf functions as an analog frame memory.
  • a fixed number of unit cells UC1 and UC2 are configured by a set of pixels of each of the image line sensors of the same wavelength component image line sensor 214R 2 and the three primary color image line sensors (214R 1 , 214G, 214B). .
  • each unit cell UC1 is configured three primary image line sensor (214R 1, 214G, 214B) of the photodiode PD group 214R 1 p, 214Gp, 214Bp a CCD group 214R 1 f, 214Gf, by the 214Bf Be done.
  • Each unit cell UC2 the configuration of the same wavelength component image line sensor 214R 2, R 1 image line sensor 214R 1, the photodiode PD group 214R 2 p, 214R 1 p and the CCD group 214R 2 f, by the 214R 1 f Be done.
  • Each unit cell UC1 is a cell for acquiring pixel data for forming a line-by-line color composite image aGEi in one line
  • each unit cell UC2 is a pixel for forming a line-by-line monochrome composite image gEAi in one line. It is a cell for data acquisition.
  • an image for the transfer unit 218R 2 in the above-mentioned CCD group 214R 2 f, an image for transfer portion 218R 1 to CCD group 214R 1 f is an image for the transfer unit 218G in CCD group 214Gf, the CCD group 214Bf
  • the image transfer unit 218 B is connected to each other, and sensor outputs from the CCD groups 214 R 2 f, 214 R 1 f, 214 G f, and 214 B f are transferred to the transmission unit 27.
  • the transfer unit 218 shown in FIG. 2 is configured by the image transfer units 218R 2 , 218R 1 , 218G, and 218B.
  • each photodiode PD group 214R 2 p, 214R 1 p, 214 Gp, and 214 Bp perform photoelectric conversion by one exposure.
  • the converted signal charges are simultaneously read out to the CCD groups 214 R 2 f, 214 R 1 f, 214 G f, 214 B f via the transfer gate (read gate) TG, the image transfer units of the transfer unit 218
  • the signals are swept to the transmission unit 27 through 218R 2 , 218R 1 , 218G, and 218B.
  • the signal charge per one line scan becomes a line-by-line shot image eGi for each line, and pixel coordinates etc. according to the position of the corresponding photodiode PD are added as header information EHi
  • the transmission signal SGi is obtained.
  • the first image for each line (R 1 ), the second image for each line (G), the third image for each line (B), and the same wavelength component image Ri (R 2 ) for each line Are transmitted as the line-by-line photographed image eGi.
  • the transfer unit 218 may have a function of converting / amplifying a voltage when transferring the signal charge. Also, the transfer unit 218 may be configured as a horizontal CCD (HCCD) that sequentially transfers the signal charges from the CCD groups 214R 2 f, 214 R 1 f, 214 Gf, and 214 B f horizontally (so-called progressive readout method) .
  • HCCD horizontal CCD
  • the multi-spectral sensor device 214 having such a configuration, for example, while acting as an existing three-primary-color image line sensor capable of capturing an RGB color (composite) image, only the change of the moving object is made immediately. It is possible to easily create a moving object detection image CP in which color display is performed and the other stationary objects are displayed in monochrome (monotone or gray scale).
  • a monochrome line sensor (not shown) in which sensors of the same sensitivity are arranged for two or more lines is added, and the post process image synthesis is static While displaying the object in monochrome, it is possible to display the change of the moving object in color.
  • the same wavelength component image line sensor 214R 2 and the three-primary-color image line sensors (214R 1 , 214G, and 214B) all have the sensor length SL and the sensor width SW, respectively, and the physical separation distance BD It has arranged in parallel.
  • the sensor length SL, sensor width SW, physical separation distance BD, etc. of the line sensor 214R 2 for the same wavelength component image and the three primary color image line sensors (214R 1 , 214G, 214B) are the earth on which the artificial satellite camera 21 is mounted. It differs depending on the observation satellite 12 and is appropriately designed according to the altitude, velocity, resolution, spatial resolution, imaging object (moving object), etc. of the earth observation satellite 12. For example, several ⁇ m to several tens of ⁇ m or so become.
  • this multispectral sensor device 214 in one exposure, due to the same wavelength component image line sensor 214R 2, the three primary colors image line sensor (214R 1, 214G, 214B) physical separation BD between Therefore, an image at the same point (on the same line) is photographed with a slight time shift (exposure timing difference).
  • the exposure timing difference due to the physical separation distance BD between the same wavelength component image line sensor 214R 2 and the three primary color image line sensors (214R 1 , 214G, 214B) at the time of photographing is a color shift on the moving object detection image CP. It will appear as In particular, the color shift of the change of the moving object on the moving object detection image CP corresponds to the moving speed and the moving direction of the moving object, and becomes larger as the moving object moves faster.
  • the moving object detection device 16 can display the change of the moving object as a colored image using the color shift in the moving object detection image CP, and can further emphasize and express only the colored image. I have to.
  • the moving object can be easily detected visually from the moving object detection image CP for one scene, and it is possible to automatically extract the change of the moving object efficiently even in computer processing.
  • FIG. 4 schematically shows the cross-sectional structure of the multispectral sensor device 214.
  • the cross section of the B image line sensor 214B along the line II of FIG. 3 is illustrated and described.
  • n + -type layer n + -type layer
  • the B image line sensor 214 B includes the poly Si electrode 238 and the poly Si electrode 238 provided on the p-type Si substrate 230 or the p-type well 232 via the insulating film 236 except for the light receiving region 234. And a light shielding film 240 having an opening in a part of the light receiving region 234.
  • the B image line sensor 214 B is provided with a transparent resin layer 242 provided on the entire surface, and a B image color filter (primary color filter provided on the upper surface of the resin layer 242 corresponding to the light receiving region 234). And a microlens 246 provided on a chip on the resin layer 242 corresponding to the B image color filter 244).
  • the B image line sensor 214 B is configured to include, for example, a B image color filter 244 that transmits light in a wavelength band of 450 to 495 nm.
  • the same wavelength component image line sensor 214R 2, R 1 image line sensor 214R 1, and G image line sensor 214G are both for the line sensor 214B and the basic configuration for the B image are the same, wherein Detailed description of will be omitted.
  • a color for R image filter primary filter which transmits light of a band of wavelengths 620 ⁇ 750 nm It is configured to be equipped.
  • the G image line sensor 214 G is configured to include, for example, a G image color filter (primary color filter) that transmits light in a wavelength band of 495 to 590 nm.
  • a G image color filter primary color filter
  • the above-mentioned wavelength band is an example, and the half wavelength width may be different for each of the same wavelength component image line sensor 214R 2 and the three primary color image line sensors (214R 1 , 214G, and 214B).
  • the color filter is not necessary.
  • FIG. 5 shows a timing chart at the time of photographing as a basic operation of the artificial satellite camera 21 mounted on the earth observation satellite 12.
  • the timing chart (a) shows a drive pulse of the photodiode PD.
  • the timing chart (b) shows control pulses of the transfer gate TG from the sensor drive unit 210.
  • the timing chart (c) shows the control pulse BP from the sensor drive unit 210.
  • the timing chart (d) shows the control pulse GP from the sensor drive unit 210.
  • the timing chart (e) shows the control pulse R 1 P from the sensor drive unit 210.
  • the timing chart (f) shows the control pulse R 2 P from the sensor drive unit 210.
  • the earth observation satellite 12 equipped with the artificial satellite camera 21 incorporating the multispectral sensor device 214 as described above is moved by the artificial satellite camera 21 while moving on the orbit in the SD direction. Take a line of image in the shooting area TEG.
  • the exposure time generally, the time for which the earth observation satellite 12 travels one line scan (for example, the time required for the satellite to fly a distance of 1 meter for a satellite with a spatial resolution of 1 meter)
  • the drive pulse (PD) for the next exposure from the sensor drive unit 210 is the line sensor 214R 2 for the same wavelength component image, It is output to the three primary color image line sensors (214R 1 , 214G, 214B).
  • the signal charge transferred to the transfer unit 218 is, for example, regenerated as a transmission signal SGi including the photographed image eGi for each line by the transmission unit 27 and then moved toward the antenna facility 14 It is sent to the body detection device 16.
  • the timing chart of FIG. 5 illustrates an example of the operation, and in an actual operation, the same wavelength component image line sensor 214R 2 and the three primary color image line sensor (214R 1 , 214G, 214B) are physically connected.
  • the exposure start timing and the like may be defined in consideration of the exposure timing difference associated with the separation distance BD.
  • the mobile detection device 16 is a computer system (server system). Although details will be described later, the mobile object detection device 16 stores the line-by-line captured images eGi (R 1, G, B, Ri (R 2 )) included in the transmission signal SGi transmitted from the earth observation satellite 12 And let the extraction area currently input be the specific area EWi.
  • eGi line-by-line captured images
  • a line-by-line first image (R 1 ), a line-by-line second image (G) and a line-by-line third image (B) of the extracted line-by-line photographed image eGi are displayed as color composite images of the specific area EWi (multispectral image Also referred to as) GWi.
  • a black and white composite image (also referred to as a panchromatic image) GEAi corresponding to the specific area EWi is generated.
  • a moving object detection image for example, pan sharpening
  • a color composite image GWi is superimposed on the black and white composite image GEAi and a change amount (change amount) according to the moving speed of the moving object can be immediately recognized as a color shift.
  • Image It is comprised so that creation of CP etc. may be performed.
  • the multispectral image is a so-called full color composite image in which color images (R 1 , G, B) of respective bands obtained for each wavelength band are superimposed.
  • a panchromatic image is a so-called monochrome image (panchromatic image) in which only a color image (for example, R 1 , Ri (R 2 )) of one specific wavelength band is observed as a designated image type (for example, black and white image) It is also called).
  • a color image for example, R 1 , Ri (R 2 )
  • a designated image type for example, black and white image
  • a pan-sharpened image is an image obtained by combining (pan-sharpening) a multispectral image and a panchromatic image.
  • the color composite image GWi of the above-mentioned specific area EWi is, for example, a color image (R 1 , R 1 ,...) Of each band obtained by aligning (for example, mosaic processing) to geometrically overlap the area corresponding to the imaging area TEG. G, B) are formed by overlapping in the same size.
  • the black-and-white composite image GEAi of the above-mentioned specific area EWi is, for example, at least of the same color band obtained by aligning (for example, mosaic processing) to geometrically overlap the area corresponding to the imaging area TEG. It is formed by superimposing color images (eg, R 1 , Ri (R 2 )) in the same size.
  • the mobile object detection device 16 detects a mobile object from the mobile object detection image CP for one scene subjected to color enhancement processing to be described later, and its movement amount, movement direction, movement speed, number, or when the mobile object is a vehicle. Calculation of mobile object information such as inter-vehicle distance, and the like.
  • the mobile object detection device 16 is determined as a mobile object, for example, when a color shift of R 1 , G, and B is detected over a predetermined number of continuous pixels (for example, several pixels to ten pixels). . Further, the moving speed of the moving body is calculated according to the degree of the color shift, and the moving direction of the moving body is calculated from the direction of the color shift.
  • FIG. 6 shows a schematic configuration (functional block) of the mobile object detection device 16.
  • the mobile detection device 16 is mainly configured of, for example, a general-purpose computer system. More specifically, the acquisition unit 161, the photographed image database (also referred to as a photographed image reception storage unit) 163, the area extraction unit 165, the operation unit 167, the extracted image memory 169, the superposition unit 171, and a color emphasis image Memory (also referred to as storage unit for monochrome composite image or storage unit for pan-sharpened image) 173, color emphasis unit 175, pixel moving body determination unit 177, display control unit 181 having image memory 181M, display unit 183, and movement
  • the physical information calculation unit 185 is configured.
  • the above-mentioned extracted image memory 169 comprises a color image memory 169a and a panchromatic image generation memory (same component image memory) 169b. Further, the photographed image database 163 is composed of an acquired image database (color composite image storage unit) 163a and a header information database 163b.
  • the acquisition unit 161 takes in the transmission signal SGi received from the earth observation satellite 12 at the antenna facility 14. Then, for example, line delay correction, planar rectangular coordinate conversion, ortho correction, etc. are performed on the line-by-line photographed image eGi (R 1, G, B, Ri (R 2 )) included in the captured transmission signal SGi. After performing the processing of (1), mosaic processing is performed and sequentially stored in the acquired image database 163a. Note that, for example, only the component of the predetermined level or more of the line-by-line captured image eGi may be taken into the acquired image database 163a.
  • the same wavelength component image Ri (R 2 ) for each line, the first image for each line (R 1 ) , the second image for each line (G), and the third image for each line (B) are classified into color types.
  • the line-by-line first image (R 1 ) , line-by-line second image (G), and line-by-line third image (B) are stored in a color composite image area (not shown) in the acquired image database 163a.
  • the same wavelength component image Ri (R 2 ) for each line is stored in the same wavelength component image area (not shown) in the acquired image database 163a.
  • the header information EHi included in the transmission signal SGi is stored in the header information database 163b in association with the line-by-line captured image eGi.
  • the area extraction unit 165 may use the same wavelength component image Ri (R 2 ) for each line, the first image for each line (R 1 ) , the second image for each line (G), the third image for each line (line After B) is stored, the first image per line (R 1 ) , the second image per line (G), the third per line, for the number corresponding to the specific area EWi specified by the operation unit 167
  • the image (B) is read from the acquired image database 163a.
  • the above-mentioned specific area EWi may be the same as the imaging area TEG, but if detecting in real time, the specific area EWi can be set to, for example, 10 m, 30 m or 100 m .. Is preferred.
  • the line-by-line first image (R 1 ) , the line-by-line second image (G) and the line-by-line third image (B) for the number corresponding to the specific area EWi are combined into color composite images GWi (R 1, G, B) While storing in the color image memory 169a as multispectral image), the corresponding header information EHi in the header information database 163b is read, and is stored in the color image memory 169a in association with the color composite image GWi.
  • the area extraction unit 165 reads the same wavelength component image Ri (R 2 ) for each line for the number corresponding to the above-mentioned specific area EWi from the acquired image database 163a and stores it in the panchromatic image generation memory 169b. At this time, the corresponding header information EHi is also stored.
  • the area extraction unit 165 reads, for example, the color composite image GWi of the specific area EWi from the color image memory 169a, and displays this via the color emphasis image memory (pan-sharpen image storage unit) 173. It may be stored in the image memory 181 M of the control unit 181 and displayed on the screen of the display unit 183.
  • the operation unit 167 has an operation panel 167a and a display panel 167b.
  • the operation unit 167 causes the operator to operate the operation panel 167a in a state where, for example, a color composite image GWi (R1 , G, B: multispectral image) or a map across the imaging area TEG is displayed in advance on the screen of the display unit 183. Is operated to specify a specific area EWi. Further, various types of information may be displayed on the screen of the display panel 167b to allow the operator to select or input.
  • GWi RGB , G, B: multispectral image
  • the information for specifying the specific area EWi includes, for example, plane rectangular coordinates, latitude, longitude, area name or address (area name) of the shooting target, shooting date, shooting time (shooting start time and end time), etc.
  • the display panel 167 b of the operation unit 167 can also be used as the display unit 183. That is, the operation unit 167 may be configured to operate the operation panel 167a while viewing the screen display of the display unit 183.
  • the superposition unit 171 reads the same wavelength component image Ri (R 2 ) of the number of lines corresponding to the specific area EWi from the operation unit 167 from the panchromatic image generation memory 169b and A corresponding number of line-by-line first images (R 1 ) are read out from the image memory 169a and superimposed.
  • the superimposed image is stored as a panchromatic image (also referred to as a black and white composite image GEAi) in the color emphasis image memory 173.
  • a panchromatic image also referred to as a black and white composite image GEAi
  • the black and white composite image GEAi and the color composite image GWi of the color image memory 169a are superimposed, and this is used as a moving object detection image before color enhancement (hereinafter referred to as a pan-sharpened image CP1 before color enhancement).
  • the display control unit 181 is activated while being stored in a pan-sharpened image storage unit (not shown) of the enhanced image memory 173.
  • the display control unit 181 uses, for example, a pan-sharpened image CP1 before color emphasis stored in the memory 173 for color-emphasized image or a pan-sharpened image CP2 after color emphasis described later as a moving object detection image CP. It is read out to the memory 181 M and displayed on the screen of the display unit 183.
  • the color emphasizing unit 175 changes the amount according to the speed of the mobile with respect to the pan-sharpened image CP1 before color emphasis. As this, it is intended to emphasize the color expression more.
  • any pixel value indicating the gradation of the color type of each pixel is “0”. If not, the non-zero pixel value on the coordinate Mi (i, j) of the mesh Mi in the color-weighted image memory 173 is changed to the maximum value.
  • the pan-sharpened image (hereinafter also referred to as a color-emphasized image) CP2 after color emphasis in which the pixel value is changed to the maximum value is stored in the image memory 181M of the display control unit 181 as a moving object detection image CP. It is displayed on the screen of the display unit 183.
  • the moving object detection image CP is a color image (R 1 , G, B or only with a color shift) only the amount of change (change amount) of the moving vehicle (moving object) Tm.
  • B, G, R 1 is highlighted, and the background (stationary object) including the stopped vehicle Ts, the road, the building, etc. is displayed as a monochrome image.
  • FIG. 8 exemplifies the moving object detection image CP when the vicinity of the interchange (IC) of the expressway is photographed, and highlights the vehicle Tm which is actually traveling.
  • the pixel mobile object determination unit 177 determines, for example, whether or not each pixel of the pan-sharpened image CP1 before color enhancement is of the mobile object based on the pixel value (pixel value). Although details will be described later, for example, when one of the pixel values indicating the gradation of the color type of each pixel is not “0”, it is determined that the pixel is a moving object. Conversely, when all the pixel values indicating the gradation of the color type of each pixel are “0 (or the maximum value)”, it is determined that the pixel is a stationary object.
  • the mobile object information calculation unit 185 detects the mobile object in the mobile object detection image CP and the mobile object based on the mobile object detection image CP stored in the color emphasis image memory 173 or the image memory 181M, for example. It is to calculate information.
  • the moving object information calculation unit 185 determines, for example, the moving speed, the moving direction, and the like of the traveling vehicle Tm from the degree of the difference in the arrangement of R 1 , G, and B of color images in the moving object detection image CP and the color shift. Calculations of the inter-vehicle distance, the number, etc. are performed as necessary.
  • the calculation result of the moving body information calculation unit 185 is, for example, displayed on the moving body detection image CP as a figure such as numerical values, characters, colors, arrows having different lengths and thicknesses on the screen of the display unit 183. It is good.
  • the color-emphasized image (CP2) may be displayed as the mobile object detection image CP as it is, for example, it may be combined with an actual map or existing road network data (R value).
  • the moving distance ds of the moving body can be calculated from the amount of displacement of the moving body (number of pixels x spatial resolution). For example, it is assumed that the time lag dt between the image line sensors 214R 2 , 214R 1 , 214G, and 214B is 0.1 second, and the spatial resolution is 1 m. Then, when the moving body is shifted by one pixel (moving by about 10 m in one second), the velocity v (t) of the moving body is about 36 km / h from the equation (1) below.
  • v (t) ds / dt (1)
  • v is the speed of the moving body
  • s is the position of the moving body
  • t is time (the shooting time of the shot image eGi for each line).
  • the shooting time of the line-by-line shot image eGi for example, a shooting start time and an end time recorded in a metadata file (not shown) or the like are used.
  • the velocity of the artificial satellite (Vkm / sec) differs depending on the altitude from the ground surface, and the velocity V of the artificial satellite moving in a circular orbit above Hkm from the ground surface is obtained from the following equation (2).
  • V (398600 / (6378 + H)) 1/2 (2) However, 398600 (km 3 / s 2 ) is the definition of the gravity of the earth, and 6378 (km) is the equatorial radius of the earth.
  • the velocity V of an artificial satellite moving in a circular orbit over the sky 600 km from the ground surface is about 7.56 km / sec.
  • the moving body information calculation unit 185 may estimate not only the speed of the moving body, but also, for example, the amount of CO 2 emission (transport weight ⁇ traveling distance ⁇ CO 2 emission base unit).
  • the process of the area extraction unit 165 will be described using the flowchart of FIG.
  • the photographed image database 163 it is assumed that the line-by-line photographed images eGi corresponding to the photographing area TEG photographed by the satellite camera 21 of the earth observation satellite 12 are sequentially stored.
  • the same wavelength component image Ri (R 2 ) for each line with an X width of 2.5 m ⁇ Y width of 50 km as one line, the first for each line
  • a specific area EWi associated with at least header information EHi such as shooting date / time of the line-by-line photographed image eGi consisting of the image (R 1 ), the second image per line (G), and the third image per line (B)
  • EHi such as shooting date / time of the line-by-line photographed image eGi consisting of the image (R 1 ), the second image per line (G), and the third image per line (B)
  • the area extraction unit 165 reads the latitude, longitude or time corresponding to the specific area EWi specified by the operation unit 167 (S1).
  • the area extraction unit 165 secures, for example, a planar (two-dimensional) area WRi corresponding to the specific area EWi in the color emphasized image memory 173 (S2).
  • a planar (two-dimensional) area WRi corresponding to the specific area EWi in the color emphasized image memory 173 (S2).
  • the area WRi for example, as shown in FIG. 11B, one mesh has a size that can define a mesh Mi having a 2.5 m interval.
  • the same wavelength component image Ri (R 2 ) for each line of the specified image type and the extracted color composite image GWi in the specific area EWi are read from the photographed image database 163 and stored in the extracted image memory 169 ( S3).
  • the above-mentioned extracted image memory 169 is composed of a color image memory 169a and a panchromatic image generation memory 169b, and the extracted color composite image GWi is stored in the color image memory 169a.
  • R 2 is stored in the panchromatic image generation memory 169 b .
  • the line-by-line first image (R 1 ) and the line-by-line identical wavelength component image Ri (R 2 ) of the corresponding number of color composite images GWi stored in the extracted image memory 169 are synthesized by the superposition unit 171. Further, by being superimposed on the color composite image GWi, the color-sharpened image memory 173 is stored as a pan-sharpened image CP1 before color emphasis.
  • the pan sharpened image CP1 before color emphasis may be written to the image memory 181M in the display control unit 181 and displayed on the screen of the display unit 183.
  • the image type is designated as a black and white image, and black and white obtained by superposing the same number of the same wavelength component images Ri (R 2 ) corresponding to the specific area EWi with the first images for every line (R 1 )
  • the pan-sharpened image CP1 before color enhancement is a color, in which the composite image GEAi is stored in the color-weighted image memory 173 and the black-and-white composite image GEAi and the color composite image GWi of the color image memory 169a are superimposed. Description will be made assuming that it is stored in the storage unit for pan-sharpened image of the emphasized image memory 173.
  • the mobile object detection process is a process performed by the color emphasizing unit 175 and the pixel mobile object determination unit 177 of the mobile object detection device 16 and the like.
  • the color emphasizing unit 175 designates, for example, pixel coordinates Pzai (i, j) of the pan-sharpened image CP1 before color emphasis stored in the memory 173 for color emphasized image ( S05).
  • step S07 when the respective pixel values are not all the same (R 1 ⁇ G ⁇ B), it is determined that the image data is a color composite image GWi. That is, if all pixel values are not equal, the pixel is determined to be that of a mobile (eg, Tm2).
  • a mobile eg, Tm2
  • step S07 If it is determined in step S07 that the data is pixel data of the color composite image GWi (NO), the color type of the pixel corresponding to the specified pixel coordinate Pzai (i, j) is determined (S08).
  • step S08 the color type determined in step S08 is read, and this color type is emphasized (S10).
  • only the pixel value of R is maximized to emphasize red (PR 1 ).
  • only the pixel value of G is maximized to emphasize green (PG).
  • only the pixel value of B is maximized to emphasize blue (PB).
  • the maximum value includes, for example, the range of 240 to 255 (in the case of 256 gradations).
  • each pixel value other than the pixel value to be the maximum value may be set to “0”, and the color type can be further emphasized.
  • the pan-sharpened image CP1 before color enhancement is made the pan-sharpened image CP2 after color enhancement.
  • a moving object moving at a speed equal to or higher than a predetermined speed will be highlighted as a color image accompanied by a color shift of R 1 , G, B.
  • the color emphasizing unit 175 determines whether or not there is another pixel coordinate Pzai (i, j) (S12).
  • step S12 If it is determined in step S12 that there are other pixel coordinates Pzai (i, j) (YES), the pixel coordinates Pzai (i, j) are updated, and the process returns to step S06 (S13).
  • each pixel indicates, for example, "blue”, “green”, or “red”, it is determined that the image is a color image showing a moving object (see FIG. 11B).
  • the pan-sharpened image CP2 after this color enhancement is written as the moving object detection image CP in the image memory 181M of the display control unit 181 (S16) ), Displayed on the screen of the display unit 183 (S17).
  • the moving object information calculation unit 185 calculates the moving speed and the like as necessary.
  • FIG. 12 shows an example of a moving object detection image CP, taking a moving vehicle as an example.
  • 12 (a) is a pan-sharpened image CP1 before color emphasis processing is performed
  • FIG. 12 (b) is a pan-sharpened image CP2 after color emphasis processing.
  • the background including a stopped vehicle, a road, a building, etc. While being displayed as a color image like Tm1 (B, G, R 1 ) or Tm 2 (R 1 , G, B), in comparison with the pan-sharpened image CP1 before color enhancement in FIG.
  • the color image of the display is more emphasized.
  • the difference in the order (R 1 , G, B or B, G, R 1 ) of the color types in the color image is due to the difference in the moving direction of the vehicles Tm 1, Tm 2 during traveling.
  • an arrow indicating the traveling direction may be displayed in the vicinity of the traveling vehicles Tm1 and Tm2, or a numerical value (hourly speed) indicating the traveling speed may be displayed.
  • FIGS. 13A and 13B show display characteristics of the moving object in the moving object detection image CP.
  • the stopped vehicle Ts for example, as shown in FIG. 13B, since the color images of the respective bands almost overlap with each other by simple line delay correction or the like, R 1 in the moving object detection image CP , G, B, the color shift becomes smaller. That is, the stopped vehicle Ts is displayed as a monochrome image as in the case of a background (stationary object) including a road or a building.
  • FIG. 14 schematically shows an arrangement example (line arrangement) of the image line sensors 214R 2 , 214R 1 , 214G, and 214B in the multispectral sensor device 214.
  • the R 1 image line sensor 214R 1 and G image line sensor 214G and the B image line sensor 214B for generating the RGB color composite image for example, R 1 image line sensor 214R 1 so as to be adjacent to employ a multi-spectral sensor system 214 of the same wavelength component image line sensor 214R 2 are arranged in parallel. That is, in the case of the multispectral sensor device 214, the R 1 image line sensor 214R 1 and the same wavelength component image line sensor 214R 2 are monochrome image line sensors for acquiring a panchromatic image.
  • multispectral sensor in device 214 R 1 image line sensor 214R 1 and without adjacent the same wavelength component image line sensor 214R 2, R 1 image line sensor 214R 1 and the line sensor for the same wavelength component image between the 214R 2, it may be arranged between the line sensor 214B line sensor 214G and the B-image G image (e.g., R 1, G, B, R 2).
  • FIGS. 15 (a) and 15 (b) show a stopped vehicle Ts and a display example thereof.
  • the color shift of R 1 , G, B is hardly displayed in color display. It hardly happens.
  • 16 (a) and 16 (b) show a vehicle Tma traveling at a low speed and a display example thereof, in which the vehicle Tma traveling at a low speed moves from the position shown by the solid line to the position shown by the broken line. Along with this, a slight color shift occurs in R 1 , G, B of the color display.
  • FIGS. 17A and 17B show a vehicle Tmb traveling at high speed and a display example thereof, in which the vehicle Tmb traveling at high speed moves from the position of the solid line to the position of the broken line.
  • R 1 , G, and B occur in color display.
  • the mobile object detection image CP it is possible to more easily identify the traveling vehicle Tm (Tma, Tmb) by emphasizing color display, and while traveling according to the degree of color shift of color display. It is possible to easily determine whether the vehicle Tm is a vehicle Tmb traveling at high speed or a vehicle Tma traveling at low speed.
  • R 1 , G and B in color display depends on the moving direction of the traveling vehicle Tm and the line arrangement of the multi-spectral sensor device 214, which of the traveling vehicles Tm (Tma, Tmb) is You can automatically recognize whether you are moving in the direction of.
  • the traveling vehicle can be detected more efficiently, and the detected speed and direction of the traveling vehicle can be accurately and automatically grasped.
  • the stationary object can be displayed on the moving body detection image by gray scale, and the moving body can be displayed as a colored image on the moving body detection image, so that only the running vehicle can be displayed in color on the moving body detection image It becomes.
  • An apparatus, an imaging device, a mobile detection system, a mobile detection apparatus, and a mobile detection program can be provided.
  • the artificial satellite camera 21 incorporating the multispectral sensor device 214 is mounted on an artificial satellite such as the earth observation satellite 12 to capture the line-by-line captured image eGi.
  • the platform is not limited to a satellite, and may be, for example, an aircraft, an unmanned aerial vehicle, a closed circuit circuit (CCTV), a printer, or a microscope.
  • the artificial satellite is not limited to the earth observation satellite 12.
  • the multispectral sensor device 214 may be configured as shown in FIG. 19 or FIG.
  • FIG. 19 shows another exemplary configuration of the multi-spectral sensor device according to this embodiment, the multi-spectral as the sensor device 214 1,
  • R 1 image line sensor 214R 1 line for the same wavelength component image
  • the sensor 214R 2 , the G image line sensor 214 G, and the B image line sensor 214 B may each be configured to include a line sensor divided into three.
  • R 1 image line sensor 214R 1 the line sensor 214R 1a, 214R 1b, is formed by the 214R 1c
  • the same wavelength component image line sensor 214R 2 are line sensors 214R 2a, 214R 2b, formed by 214R 2c
  • the line sensor 214G for G image the line sensor 214G a, 214G b, is formed by 214G c
  • B image line sensor 214B, the line sensor 214B a, 214B b, are formed by 214B c.
  • Figure 20 shows still another configuration example of the multi-spectral sensor device according to this embodiment
  • the multispectral sensor device 214 2 is formed, for example, a line sensor 214R 1a, 214R 1b, the 214R 1c Line sensor for R 1 image, line sensor for same wavelength component image formed by line sensors 214R 2a , 214R 2b , 214R 2c , and line sensor for G image formed by line sensors 214G a , 214G b , 214G c And the B image line sensor formed by the line sensors 214B a , 214B b , and 214B c .
  • a G image line sensor or a B image line sensor may be used instead of the same wavelength component image line sensor 214R 2 , and two or more lines of the same type are added (For example, R 1 , R 2 , R 3 ).
  • FIG. 21 shows a first modified example in which the multispectral sensor device 214a is configured. That is, in the case of the multi-spectral sensor device 214a, for example, B 1 image line sensor 214B 1 and B 2 the image line sensor (line sensor for the same wavelength component image) 214B 2 and is, for obtaining the panchromatic image This is a line sensor for monochrome images.
  • FIG. 22 shows a second modification in which the multispectral sensor device 214b is configured. That is, the multispectral sensor device case 214b, the example, R 1 image line sensor 214R 1 and R 2 image line sensor (first line sensor for the same wavelength component image) 214R 2 and R 3 image line sensor and (a line sensor 2 of the same wavelength component image) 214R 3 has a monochrome image line sensor for acquiring the panchromatic image.
  • FIG. 23 shows a third modification in the case where the multispectral sensor device 214c is configured to include the line sensor 214W for infrared (IR) or near infrared (NIR). That is, in the case of the multi-spectral sensor device 214c, for example, a R 1 image line sensor 214R 1 and R 2 image line sensor (second line sensor for the same wavelength component image) 214R 2 is a panchromatic image It is a line sensor for monochrome images for acquisition.
  • IR infrared
  • NIR near infrared
  • the multispectral sensor devices 214, 214a, 214b, and 214c may be any of R, G, and B in addition to the existing CCD line sensor capable of acquiring a color image for one line scan at one time at the same time.
  • the moving object moving during reading of the image with the generation of the moving object detection image CP in the moving object detection device 16 Color shift can be expressed more clearly.
  • the moving object is not limited to the vehicle, and the exposure time in the multispectral sensor device can be arbitrarily controlled by, for example, the moving object detection device 16 to include a ship and an aircraft (Unmanned Aerial Vehicle; UAV). ), Clouds, people, wild animals, or waves, etc., for detecting moving objects moving at any speed.
  • UAV Unmanned Aerial Vehicle
  • FIG. 24 shows an example in which the cloud Ta as a moving object is detected from the moving object detection image (image image) CPa.
  • the present invention can be applied to the case where warning areas such as thunderstorms or torrential rains (guerrilla heavy rains) associated with the occurrence of cumulonimbus clouds are specified.
  • FIGS. 25 (a) to 25 (d) show an example of detecting the wave Tb as a moving object from the moving object detection image (image image) CPb.
  • the present invention can be applied to observation of a water level or flow velocity of a tsunami or sea level, monitoring of the wave phase, and the like.
  • a specific example of a detection system for detecting a wave (tsunami) as a moving body will be described later as a third embodiment.
  • the second embodiment is an example of the case where the line arrangement of the multispectral sensor device is made to have a smaller influence on the resolution.
  • the same parts as those in the first embodiment described above are denoted by the same or similar reference numerals, and detailed descriptions thereof will be omitted.
  • the three primary colors image line sensor (R 1 image line sensor 214R 1, G image line sensor 214G, B image line sensor 214B) in addition to, the line for the same wavelength component image
  • this multispectral sensor device 214II is, for example, an existing 3-line multispectral multispectral system in which the R 1 image line sensor 214R 1 , the G image line sensor 214G, and the B image line sensor 214B are arranged in this order sensors, so as to be adjacent to the outside of the B image line sensor 214B, the same wavelength component image line sensor 214R 2 are arranged in parallel with a predetermined gap (physical separation) BD.
  • the multi-spectral sensor device 214II according to the second embodiment as shown in FIG. 26, the same wavelength component image line sensor 214R 2 at one end of the R 1 image line sensor 214R 1 and the other end
  • the configuration is different from that of the multispectral sensor device 214 according to the first embodiment in that the G image line sensor 214G and the B image line sensor 214B are disposed between them.
  • the multispectral sensor device 214II having such a configuration, by providing the function as a multiline image sensor for moving object detection, for example, existing three primary colors capable of capturing an RGB color composite image while maintaining the resolution as it is. While playing a role as an image line sensor, it becomes possible to easily obtain a moving object detection image CP in which only the moving object is highlighted by a color image and the other stationary objects are displayed in monochrome.
  • FIG. 27 schematically shows the cross-sectional structure of the multispectral sensor device 214, and will be described by exemplifying the cross section along the line II-II in FIG.
  • the R 1 image line sensor 214R 1 is, for example, a photodiode serving as a photodiode PD group 214R 1 p formed on the surface of the p-type Si substrate 230 or the surface of the p-type well 232.
  • a register unit (n + -type layer) 214R 1 t a register unit (n + -type layer) 214R 1 t.
  • the G image line sensor 214G is disposed adjacent to one end side of the R 1 image line sensor 214R 1 with a physical separation distance BD, for example, and the surface portion of the p-type Si substrate 230 or the p-type A light receiving area (n-type layer) 234 of the photodiode PD to be formed on the surface of the well 232 and a photodiode PD group 214Gp, and a surface area of the p-type Si substrate 230 or a p-type well And a register portion (n + -type layer) 214Gt of the vertical CCD which is formed on the surface portion 232 and becomes a CCD group 214Gf.
  • BD physical separation distance
  • the B image line sensor 214 B is disposed adjacent to one end of the G image line sensor 214 G with a physical separation distance BD, for example, and the surface of the p-type Si substrate 230 or the p-well 232
  • a register portion (n + -type layer) 214Bt of a vertical CCD which is a CCD group 214Bf formed on the surface portion.
  • the same wavelength component image line sensor 214R 2 for example at one end of the B image line sensor 214B have a physical separation BD are arranged adjacently, p-type Si surface portion or p substrate 230
  • Each of the image line sensors 214R 1 , 214G, 214B, 214R 2 is a poly-Si electrode provided on the p-type Si substrate 230 or the p-type well 232 via the insulating film 236 excluding the light receiving region 234.
  • G 238 and a light shielding film 240 provided on the poly Si electrode 238 via the insulating film 236 and having an opening in a part of the light receiving region 234 and a transparent resin layer 242 provided on the entire surface.
  • R 1 image line sensor 214R 1 corresponds to the light receiving region 234 is provided on-chip on the upper surface of the resin layer 242, for example, for color R 1 image which transmits light in a band of wavelengths 620 ⁇ 750 nm further comprising a filter 244R 1, a microlens 246 is provided on-chip on the resin layer 242 corresponding to R 1 image for the color filter 244R 1, a.
  • the G image line sensor 214G is provided on the upper surface of the resin layer 242 corresponding to the light receiving area 234 on-chip, and for example, a G image color filter 244G transmitting light in a wavelength band of 495 to 590 nm. And a microlens 246 provided on a chip on the resin layer 242 corresponding to the G image color filter 244G.
  • the B image line sensor 214B is provided on the upper surface of the resin layer 242 corresponding to the light receiving area 234 on-chip, and for example, a B image color filter 244B transmitting light in a wavelength band of 450 to 495 nm.
  • the microlens 246 provided on the chip on the resin layer 242 corresponding to the B image color filter 244B.
  • the same wavelength component image line sensor 214R 2 corresponds to the light receiving region 234 is provided on-chip on the upper surface of the resin layer 242, the same as R 1 image for the color filter 244R 1 described above, for example, wavelength further comprising an R 2 image for a color filter 244R 2 that transmits light of a band of 620 ⁇ 750 nm, a microlens 246 is provided on-chip on the resin layer 242 corresponding to the color filters 244R 2 for R 2 image, the .
  • the band of each wavelength is an example, and the half value width may be different for each of the image line sensors 214R 1 , 214G, 214B, 214R 2 .
  • FIG. 28 schematically shows an arrangement example (line arrangement) of the image line sensors 214R 1 , 214G, 214B, 214R 2 in the multispectral sensor device 214II according to the second embodiment.
  • the R 1 image line sensor 214R 1 and G image line sensor 214G and the B image line sensor 214B for generating the RGB color composite image for example, so as to be adjacent to B image line sensor 214B, it employs a multispectral sensor device 214II for the same wavelength component image line sensor 214R 2 are arranged in parallel. That is, this is also the case of multispectral sensor device 214II, and R 1 image line sensor 214R 1 having the same wavelength component image line sensor 214R 2 has become a monochrome image line sensor for synthesizing the panchromatic image .
  • the G image line sensor 214G or B is disposed between the R 1 image line sensor 214R 1 and the same wavelength component image line sensor 214R 2.
  • One of the image line sensors 214B is disposed.
  • each image line sensor 214R 1, 214G, 214B, 214R 2 can be freely arranged.
  • the specific area EWi may be designated by an area name such as, for example, Tokyo (JMa), Minato ward (MM), and Daiba area (DM).
  • JMa Tokyo
  • MM Minato ward
  • DM Daiba area
  • FIG. 30 shows an example of a case where the moving object is stopped while taking the vehicle Ts as an example, and is a timing chart in the case of line scanning the moving object.
  • (a) of FIG. 30 is a schematic diagram showing the relationship between the multispectral sensor device 214II and the vehicle Ts
  • (b) of FIG. 30 is a schematic waveform diagram of an imaging command
  • (d) in FIG. 30 is a schematic diagram showing an example of transfer of the CCD group 214R 1 f
  • (e) in FIG. 30, waveform shaping the output of the time of transfer For example, FIG.
  • FIG. 30 (f) is a schematic view showing an exposure example of the photodiode PD group 214Gp
  • FIG. 30 (g) is a schematic view showing a transfer example of the CCD group 214Gf
  • FIG. 30 (i) is a schematic view showing an example of exposure of the photodiode PD group 214Bp
  • FIG. 30 (j) is a schematic view showing an example of transfer of the CCD group 214Bf
  • FIG. (K) shows an example of waveform shaping output at the time of transfer
  • m) is a schematic view showing an exposure example of the photodiode PD group 214R 2 p
  • FIG. 30 is a schematic view showing a transfer example of the CCD group 214R 2 f, and (p) in FIG. Is an example of waveform shaping output.
  • the multispectral sensor device 214II moves in the SD direction at a constant speed in the order of (A), (B), (C), (D) in the figure. It shall scan the line.
  • the stopped vehicle Ts is, for example, as shown in (c) of FIG. It is exposed by the photodiode PD group 214R 1 p of R 1 image line sensor 214R 1. Then, the signal charge of the photodiode PD group 214R 1 p is, as shown in (d) in FIG. 30 and (e) in FIG. It is transferred to the R 1 of the image line sensor 214R 1 CCD group 214R 1 f.
  • the stopped vehicle Ts is exposed by the photodiode PD group 214Gp of the G image line sensor 214G as shown in (f) of FIG.
  • the signal charge of the photodiode PD group 214Gp is transferred to the CCD group 214Gf of the G image line sensor 214G as shown in (g) of FIG. 30 and (h) of FIG. To be transferred.
  • the stopped vehicle Ts is exposed by the photodiode PD group 214Bp of the B image line sensor 214B as shown in (i) of FIG. 30 at the timing shown in FIG. Then, the signal charge of the photodiode PD group 214Bp is transferred to the CCD group 214Bf of the B image line sensor 214B as shown in (j) of FIG. 30 and (k) of FIG. To be transferred.
  • the vehicle Ts suspended at the timing shown (D), as shown in (m) in FIG. 30, are exposed by the photodiode PD group 214R 2 p of the same wavelength component image line sensor 214R 2.
  • FIG. 31 shows by way of example a case where the moving object is the vehicle Tma traveling at a low speed, and is a timing chart in the case of line scanning the moving object.
  • (a) of FIG. 31 is a schematic diagram showing the relationship between the multispectral sensor device 214II and the vehicle Tma
  • (b) of FIG. 31 is a schematic waveform diagram of an imaging command
  • (d) in FIG. 31 is a schematic diagram showing an example of transfer of the CCD group 214R 1 f
  • waveform shaping the output of the time of transfer For example, FIG.
  • FIG. 31 (f) is a schematic view showing an exposure example of the photodiode PD group 214Gp
  • FIG. 31 (g) is a schematic view showing a transfer example of the CCD group 214Gf
  • FIG. 31 (i) is a schematic view showing an exposure example of the photodiode PD group 214Bp
  • FIG. 31 (j) is a schematic view showing a transfer example of the CCD group 214Bf
  • FIG. (K) shows an example of waveform shaping output at the time of transfer
  • FIG. (M) is a schematic view showing an exposure example of the photodiode PD group 214R 2 p
  • FIG. 31 is a schematic view showing a transfer example of the CCD group 214R 2 f, (p) in FIG. 31 is a transfer It is an example of waveform shaping output at the time.
  • the multispectral sensor device 214II moves in the SD direction at a constant speed in the order of (A), (B), (C) and (D) in the figure. It shall scan the line.
  • the vehicle Tma traveling at a low speed is, for example, as shown in (c) of FIG. 31 at the timing shown in FIG. , And is exposed by the photodiode PD group 214R 1 p of the R 1 image line sensor 214R 1 . Then, as the signal charge of the photodiode PD group 214R 1 p is shown at (d) in FIG. 31 and (e) in FIG. 31 with the end of exposure, it takes a time L1 ′ corresponding to the waveform shaping output. It is transferred to the CCD group R 1 an image line sensor 214R 1 214R 1 f.
  • the vehicle Tma traveling at a low speed is exposed by the photodiode PD group 214Gp of the G image line sensor 214G, as shown in (f) of FIG.
  • the signal charge of the photodiode PD group 214Gp is transferred to the CCD group 214Gf of the G image line sensor 214G as shown in (g) of FIG. 31 and (h) of FIG. 31 with the end of exposure. To be transferred.
  • the vehicle Tma traveling at a low speed is exposed by the photodiode PD group 214Bp of the B image line sensor 214B as shown in (i) of FIG. 31 at the timing shown in (C).
  • the signal charge of the photodiode PD group 214Bp is transferred to the CCD group 214Bf of the B image line sensor 214B as shown in (j) of FIG. 31 and (k) of FIG. 31 with the end of exposure. To be transferred.
  • the vehicle Tma traveling at a low speed is exposed by the photodiode PD group 214R 2 p of the line sensor 214R 2 for the same wavelength component image as shown in (m) of FIG. .
  • the signal charge of the photodiode PD group 214R 2 p is shown at (n) in FIG. 31 and (p) in FIG. 31 with the end of the exposure, the signal charge of the same wavelength component image line sensor 214R 2 . It is transferred to the CCD group 214R 2 f.
  • FIG. 32 shows an example in which the moving object is a vehicle Tmb traveling at high speed, and is a timing chart in the case of line scanning the moving object.
  • (a) of FIG. 32 is a schematic diagram showing the relationship between the multispectral sensor device 214II and the vehicle Tmb
  • (b) of FIG. 32 is a schematic waveform diagram of a photographing command
  • (d) in FIG. 32 is a schematic diagram showing an example of transfer of the CCD group 214R 1 f
  • (e) in FIG. 32 waveform shaping the output of the time of transfer
  • FIG. 32 shows an example in which the moving object is a vehicle Tmb traveling at high speed, and is a timing chart in the case of line scanning the moving object.
  • (a) of FIG. 32 is a schematic diagram showing the relationship between the multispectral sensor device 214II and the vehicle Tmb
  • FIG. 32 (f) is a schematic view showing an exposure example of the photodiode PD group 214Gp
  • FIG. 32 (g) is a schematic view showing a transfer example of the CCD group 214Gf
  • FIG. 32 (i) is a schematic view showing an exposure example of the photodiode PD group 214Bp
  • FIG. 32 (j) is a schematic view showing a transfer example of the CCD group 214Bf
  • FIG. (K) is an example of waveform shaping output at the time of transfer
  • FIG. (M) is a schematic view showing an exposure example of the photodiode PD group 214R 2 p
  • FIG. 32 is a schematic view showing a transfer example of the CCD group 214R 2 f, (p) in FIG. It is an example of waveform shaping output at the time.
  • the multispectral sensor device 214II moves in the SD direction at a constant speed in the order of (A), (B), (C), (D) in the figure. It shall scan the line.
  • the vehicle Tmb traveling at high speed is, for example, as shown in (c) of FIG. , And is exposed by the photodiode PD group 214R 1 p of the R 1 image line sensor 214R 1 . Then, the signal charge of the photodiode PD group 214R 1 p is, as shown in (d) in FIG. 32 and (e) in FIG. in, it is transferred to the CCD group R 1 an image line sensor 214R 1 214R 1 f.
  • the vehicle Tmb traveling at high speed is exposed by the photodiode PD group 214Gp of the G image line sensor 214G, as shown in (f) of FIG. 32, at the timing shown in FIG.
  • the signal charge of the photodiode PD group 214Gp is transferred to the CCD group 214Gf of the G image line sensor 214G as shown in (g) of FIG. 32 and (h) of FIG. To be transferred.
  • the vehicle Tmb traveling at high speed is exposed by the photodiode PD group 214Bp of the B image line sensor 214B as shown in (i) of FIG. 32 at the timing shown in (C).
  • the signal charge of the photodiode PD group 214Bp is transferred to the CCD group 214Bf of the B image line sensor 214B as shown in (j) of FIG. 32 and (k) of FIG. To be transferred.
  • the vehicle Tmb traveling at high speed is exposed by the photodiode PD group 214R 2 p of the line sensor 214R 2 for the same wavelength component image as shown in (m) of FIG. 32 at the timing of FIG. .
  • the signal charge of the photodiode PD group 214R 2 p is shown in (n) of FIG. 32 and (p) of FIG. 32 with the end of exposure, the signal charge of the same wavelength component image line sensor 214R 2 . It is transferred to the CCD group 214R 2 f.
  • FIG. 34 (a) illustrates the relationship between the moving direction (MD) of the vehicle Tm in motion and the moving direction (SD) of the earth observation satellite 12, and corresponds to, for example, FIGS. 31 and 32. .
  • FIG. 34 (b) the moving direction of the vehicle Tm on the ground surface is the east direction
  • FIG. 34 (c) the moving direction of the vehicle Tm on the ground surface is the west direction
  • FIG. The movement direction of the vehicle Tm on the ground surface is the north direction
  • FIG. 34 (e) is an example in the case where the movement direction of the vehicle Tm on the ground surface is the south direction.
  • the color display in the moving direction is always in the order of B, G, R 1 as shown in FIG. 34 (b) to FIG. 34 (e). since the color display R 2 is not particularly relevant, not shown).
  • the order of B, G, R 1 depends on the order of arrangement of the image line sensors 214R 1 , 214G, 214B with respect to the moving direction (SD) of the earth observation satellite 12. Color shift occurs. Therefore, by detecting this color shift on the moving object detection image CP of the single scene, it is possible to specify not only the traveling vehicle Tm but also the moving direction (MD) of the vehicle Tm.
  • the speed of the traveling vehicle Tm can be easily estimated (calculated) from the displacement amount.
  • FIGS. 35 (a) to 35 (c) illustrate a case where the vicinity of the IC on a freeway is actually photographed and the amount of change in the moving object is displayed in color by the moving object detection device 16.
  • a multispectral image color composite image GWi of the specific area EWi
  • a panchromatic image black and white composite of the specific area EWi as shown in FIG. 35 (b)
  • a moving object detection image before color enhancement
  • FIG. 35 (c) is obtained which becomes a pan-sharpened image CP1 before color enhancement.
  • FIGS. 36A to 36C illustrate the case where the vicinity of the connecting road connecting the IC of the expressway and the general road is actually photographed.
  • FIG. 36 (a) is a multispectral image in the vicinity of the connection road (color composite image GWi of the specific area EWi)
  • FIG. 36 (b) is a panchromatic image in the vicinity of the connection road (black and white composition of the specific area EWi
  • FIG. 36 (c) is a pan-sharpened image CP1 before color emphasis as a mobile object detection image (before color emphasis) in the vicinity of a connecting road.
  • FIG. 37 is an enlarged view of the pan-sharpened image CP1 before color emphasis in the vicinity of the connecting road shown in FIG. 36 (c).
  • the plurality of vehicles Tmo traveling on the connecting road DO gradually become closer to stop at the red light as they approach the intersection direction than the IC direction. It decelerates and changes from color display with large color shift to monochrome display with small color shift accordingly.
  • the pan-sharpened image CP1 is subjected to the above-described color enhancement processing on the running vehicles Tmo and Tmi before color enhancement, so that the display of the running vehicles Tmo and Tmi becomes clearer. Become.
  • each pixel of the pan-sharpened image CP1 before the color enhancement is of the vehicle Tm on which the vehicle is traveling. For example, if one of the pixel values indicating the gradation of the color type of each pixel is not “0”, that pixel is determined to be that of the running vehicle Tm, and conversely, the gradation of the color type of each pixel is If all of the indicated pixel values are "0", then the pixel is determined to be of a stationary object.
  • the pixel value indicating the gradation of the color type of each pixel determined to be that of the traveling vehicle Tm is changed to the maximum value (for example, 240 to 255).
  • the moving body can be detected more efficiently, and the speed and direction of the detected moving body can be accurately and automatically grasped.
  • the traveling vehicle Tm By enabling automatic detection of the traveling vehicle Tm, for example, it is possible to grasp the specification and slope of a straight area, a curve area, a mountain area, and the like on the road from the speed.
  • the present invention can also be applied to the case where a road map is updated by newly establishing a road not on the map.
  • multispectral sensor device 214II according to the second embodiment, and multispectral sensor device 214 1 of the configuration shown in FIG. 19, can be applied to such multispectral sensor device 214 2 having the configuration shown in FIG. 20 is there.
  • FIG. 38 shows that multi-spectral sensor device 214II according to the second embodiment further includes line sensor 214W for infrared (IR) or near-infrared (NIR) to constitute multi-spectral sensor device 214d. It is a 1st modification in the case of having carried out.
  • IR infrared
  • NIR near-infrared
  • Figure 39 does not depend on the same wavelength component image line sensor 214R 2, as an additional line sensor comprises a G 2 image line sensor (line sensor for the same wavelength component image) 214G 2, the multispectral sensor device 214e It is a 2nd modification at the time of making it constitute. That is, the multi-spectral sensor device case of 214e, G 1 image line sensor 214G 1 and the G 2 image line sensor 214G 2 is disposed in between the line sensor 214B for B image, acquires a panchromatic image It is a line sensor for monochrome images to
  • Figure 40 does not depend on the same wavelength component image line sensor 214R 2, as an additional line sensor comprises a B 2 image line sensor (line sensor for the same wavelength component image) 214B 2, the multispectral sensor device 214f It is a 3rd modification at the time of making it constitute. That is, in the case of multispectral sensor device 214f, B 1 image line sensor 214B 1 and the B 2 image line sensor 214B 2 is sandwiched between the line sensor 214G for R image line sensor 214R and the G image It is arranged, and it becomes a line sensor for monochrome images for acquiring a panchromatic image.
  • B 1 image line sensor 214B 1 and the B 2 image line sensor 214B 2 is sandwiched between the line sensor 214G for R image line sensor 214R and the G image It is arranged, and it becomes a line sensor for monochrome images for acquiring a panchromatic image.
  • FIG. 41 shows a fourth modification in which two or more lines of the same type of line sensor are added, and illustrates the case where a multispectral sensor device 214g is configured. That is, the multi-spectral sensor device case of 214 g, R 1 image line sensor 214R 1 and R 2 image line sensor (first line sensor for the same wavelength component image) 214R 2 and R 3 image line sensor (second Line sensor for the same wavelength component image) 214 R 3 is disposed with the G image line sensor 214 G or the B image line sensor 214 B interposed therebetween, and a monochrome image line sensor for acquiring a panchromatic image. It has become.
  • the multispectral sensor devices 214II, 214d, 214e, 214f, and 214g have the same band as one of "R", "G", and "B” with at least one line of a new sensor.
  • the color shift of the moving object (the one moved during the reading of the image) can be more reliably distinguished and expressed. It will be.
  • Embodiment 3 Next, a specific configuration of the mobile detection device 16 of the mobile detection system to which the multispectral sensor device (multiline image sensor device) according to the third embodiment is applied will be described with reference to FIG.
  • the mobile object detection device 16 at the ground center may be, for example, the one in the first embodiment, but in the third embodiment, the case where it has another configuration will be described as an example.
  • the line-by-line first image (R 1 ) is stored in the first R image memory 163 a 1
  • the line-by-line second image (G) is stored in the first G image memory 163 a 2
  • line by line third image (B) is stored in the first B image memory 163a 3.
  • each line the same wavelength component image Ri (R 2) is to be stored in the first same wavelength component image memory 163a 4.
  • the header information EHi included in the transmission signal SGi is associated with the line-by-line captured image eGi and stored in the header information database 163b, which is not shown in FIG.
  • R 1 for the synthesis portion 370a included in the acquisition section 161 every time the first R image memory 163a 1 line by line the first image (R 1) is stored, the line delay compensation , and are stored after being subjected to processing such plane rectangular coordinate transformation, or orthorectified, the second R image memory 163a 11 subjected to mosaic processing.
  • the G combining unit 370 b included in the obtaining unit 161 performs line delay correction and planar rectangular coordinate conversion each time the second image (G) for each line is stored in the first G image memory 163 a 2. Or, after performing processing such as ortho correction, it is assumed that mosaic processing is performed and stored in the second G image memory 163a 22 .
  • B for combining section 370c included in the acquisition section 161 every time the first B image memory 163a 3 line by line third image (B) are stored, the line delay correction, plane rectangular coordinate transformation It is assumed that after processing such as ortho correction or the like is performed, mosaic processing is performed and stored in the second B image memory 163a 33 .
  • the same component image combining unit 370 d included in the obtaining unit 161 stores a line each time the same wavelength component image Ri (R 2 ) is stored in the first same wavelength component image memory 163 a 4. After processing such as delay correction, planar rectangular coordinate conversion, or ortho correction, mosaic processing is performed and stored in the second same wavelength component image memory 163a 44 . That is, the acquiring unit 161 includes the R 1 combining unit 370 a, the G combining unit 370 b, the B combining unit 370 c, and the same component image combining unit 370 d.
  • the image database 163a acquisition, the first R image memory 163a 1 and the first G image memory 163a 2 and the first B image memory 163a 3 and the first of the same wavelength component image memory 163a 4 A second acquired image database, a second R image memory 163a 11 , a second G image memory 163a 22 , a second B image memory 163a 33, and a second same wavelength component image And a second acquired image database consisting of a memory 163a 44 .
  • Color image memory 169a as shown in FIG. 42, and R 1 image area memory 169a 1, and G image area memory 169a 2, is composed of a B picture area memory 169a 3.
  • the panchromatic image generation memory 169 b is also referred to as a memory for the same component image area.
  • Area extracting unit 165 as shown in FIG. 42, and R 1 for image area extracting unit 365a, and an area for extracting section 365b G image, and for the area extraction section 365c B picture, the same component image for the area extraction section 365d Is equipped.
  • the R 1 image area extraction unit 365 a reads the resolution (2.5 m or 10 m per dot on the screen,..., 200 m or 1 km,...) Fi input by the operation unit (not shown). Then, the mesh Mi having the size of the resolution fi is defined in the R 1 image area memory 169 a 1 . Also, the size of the region corresponding to any particular area (coordinate XaYa ⁇ XfYf) coordinate system EWI, as defined in the second R image memory 163a 11.
  • the first image E (R 1 ) for each specific area Define the mesh Mi in order. Then, the pixel data included in the mesh Mi is stored in the corresponding pixel of the R 1 image area memory 169 a 1 .
  • the G image area extraction unit 365b reads the resolution fi input by the operation unit. Then, the mesh Mi magnitude of the resolution fi, defined in the memory 169a 2 for G image area. Further, an area having a size according to the coordinate system of an arbitrary specific area EWi is defined in the second G image memory 163a 22 .
  • the mesh Mi is generated for the second image E (G) for each specific area. Define in order. Then, the pixel data contained in the mesh Mi, is stored in the corresponding pixel of the G image area memory 169a 2.
  • the B image area extraction unit 365c reads the resolution fi input by the operation unit. Then, the mesh Mi magnitude of the resolution fi, defined B image area memory 169a 3. Further, an area having a size according to the coordinate system of an arbitrary specific area EWi is defined in the second B image area memory 163a 33 .
  • the mesh Mi is generated for the third image E (B) for each specific area. Define in order. Then, the pixel data contained in the mesh Mi, is stored in the corresponding pixel of the B image area memory 169a 3.
  • the same component image area extraction unit 365d reads the resolution fi input by the operation unit. Then, the mesh Mi having the size of the resolution fi is defined in the panchromatic image generation memory 169 b. Further, an area having a size according to the coordinate system of an arbitrary specific area EWi is defined in the second same wavelength component image memory 163a 44 .
  • the same wavelength component image ERi (R 2 ) Define mesh Mi sequentially. Then, the pixel data included in the mesh Mi is stored in the corresponding pixel of the panchromatic image generation memory 169 b.
  • the superposing unit 171 sequentially designates each pixel of the R 1 image area memory 169 a 1 , the G image area memory 169 a 2 , the B image area memory 169 a 3, and the panchromatic image generation memory 169 b. Then, the first image E (R 1 ) for each specific area of these designated pixels, the second image E (G) for each specific area, the third image E (B) for each specific area, the same wavelength component image for each specific area ERi (R 2 ) is sequentially stored in the color-weighted image memory 173 to obtain a moving object detection image CP (more precisely, a pan-sharpened image CP1 before color emphasis).
  • a moving object detection image CP more precisely, a pan-sharpened image CP1 before color emphasis
  • the line-by-line photographed image eGi includes satellite ID, photographing date / time, color type (R 1 , G, B, R 2 ), resolution (2.5 m), latitude (for each line photographed image eGi Header information EHi such as X), longitude (Y), attitude, etc. is associated.
  • a tsunami corresponding to the coordinates of four corners corresponding to a 200 km ⁇ 200 km tsunami detection area (XY to XY) TEi and a resolution (100 m ⁇ 100 m)
  • a change detection range (WA) information (Ei) on the epicenter SC, and the like.
  • a mesh Mi in which one mesh (vertical length ⁇ horizontal width) is an interval (for example, 100 m ⁇ 100 m) of the tsunami change detection range (WA) is set for the tsunami detection area TEi.
  • the moving body detection image CP it is preferable to carry out smoothing processing, or to remove clouds, ships, etc., as the approximate shape is known.
  • FIG. 43 virtually shows the case where information (Ei) on the epicenter SC is provided from the Japan Meteorological Agency or the like in response to the occurrence of an earthquake on the display screen of the mobile object detection image CP.
  • the mobile object detection image CP includes, for example, the epicenter SC of the earthquake that occurred in the Pacific PO off Sanriku of Japan Islands JM and the tsunami parameter that seems to have occurred near the epicenter SC.
  • the wave Tb is included. Accordingly, as shown in FIG. 43, the color image of the wave Tb (B image, G image, R 1 image), and by storing the mesh Mi is set to the tsunami detection area TEi, it can be detected as a tsunami.
  • processing is started in response to the information (Ei) related to the epicenter SC being supplied as a detection parameter to the area extraction unit 165 (365a, 365b, 365c, 365d). It is good.
  • the area extraction unit 165 (365a, 365b, 365c, 365d) generates the color image memory 169a (169a 1 , 169a 2 , 169a 3 ) and panchromatic image based on the information (Ei) on the epicenter SC. It is possible to cause the memory 169b to define the epicenter SC.
  • FIG. 44 virtually shows the case where information (Ei) on the hypocenter SC is not provided from the Japan Meteorological Agency or the like in response to the occurrence of an earthquake on the display screen of the mobile object detection image CP.
  • the mobile detection device 16 it is necessary to continuously monitor the mobile detection image CP, but the color image of the wave Tb exceeding the tsunami parameter is set in the tsunami detection area TEi. By storing in, it becomes detectable as a tsunami.
  • the present invention can also be applied to the detection of a mobile such as a tsunami.
  • management of rivers such as monitoring of water level and velocity of rivers by flash flood etc. and monitoring of large-scale natural disasters such as landslides and avalanches (such as calculation of energy) are not limited to the sea. Available.
  • the present invention can be applied to checking the capacity in the tank, checking the loading and unloading of a truck or container at night, and the like.
  • the line sensor is not limited to a sensor such as a 3-line system, but may be, for example, a sensor such as a 3-CCD system using a dichroic prism. Further, it may be a two-dimensional sensor such as an FPA method.
  • the present invention can be applied not only to a CCD line sensor but also to a line sensor of a CMOS structure.
  • Processing circuitry may include programmed processors, electrical circuitry, etc., as well as devices such as application specific integrated circuits (ASICs) and circuit components arranged to perform the functions described. Etc. are also included.
  • ASICs application specific integrated circuits
  • the program of the present invention may be recorded on a non-transitory computer readable medium (a recording medium for recording information by an electrical or magnetic method).
  • the processor may execute the procedures described in the embodiments by executing instructions or a program stored in a non-transitory computer readable medium.
  • the present invention it is possible to simultaneously obtain a three-primary-color image and a same-wavelength component image which is a wavelength of light of one and the same color of the three-primary-color image line sensor.
  • a multi-line image device that simultaneously obtains a three-primary-color image and an identical-wavelength component image that is the wavelength of light of one and the same color of the three-primary-color image line sensor
  • the device is provided on a flying object moving in one direction at a predetermined speed, photographed, and transmitted. For this reason, on the receiving side, it becomes possible to immediately detect the change of the mobile.
  • moving object information such as the moving speed, moving direction, and number can be calculated with high accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

マルチスペクトルセンサ装置（２１４）は、地表面を撮影する人工衛星カメラ（２１）内に設けられ、三原色の、Ｒ１画像用ラインセンサ（２１４Ｒ１）、Ｇ画像用ラインセンサ（２１４Ｇ）、及びＢ画像用ラインセンサ（２１４Ｂ）の他に、いずれかの画像用ラインセンサと同一色の光の波長を検出する同一波長成分画像用ラインセンサ（２１４Ｒ２）を備えて構成されている。

Description

マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
　本発明は、１シーン分の画像（単一画像）から移動体を検出するためのマルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラムに関する。
　従来から、定点観測などの交通量調査が行われてきたが、これらの調査はコストが高く、調査や解析に時間を要する。
　また、画像解析の分野では、微小な時間差のある２シーン分の画像を用いて画像間の差分処理を行うことによって移動体を抽出できるが、ほぼ同時期に撮影されたペア画像（例えば、ステレオペア撮影）が必要で、解析処理においても複雑な工程が含まれるという課題があった。
　一方、近年の地球観測衛星（人工衛星）の多くは、焦点面アレイ（ＦＰＡ：Focal Plane Array or Focal Plane Assembly）センサカメラを搭載しており、例えば、プッシュブルーム（push broom）掃引方式により、軌道上を移動しながら地球を観測するためのカラー（合成）画像を撮影するようになっている。
　しかしながら、焦点面アレイセンサカメラは、センサの配置の性質上、各バンド（色種毎）の撮影や信号処理時間にわずかな差を生じる。特に、撮影対象がセンサの露光時間よりも早く移動する移動体の場合には、バンド間のレジストレーションが正しく行われず、色ずれという現象を引き起こす。
　すなわち、焦点面アレイセンサカメラは、二次元的な撮像が可能なフレームセンサ（エリアイメージセンサともいう）であるため、受光面が広く、被写体の全体を比較的簡単に撮影できるが、解像度が低い。また、地球のような球面を撮影する場合には、画像の後処理がより複雑になる。
　これに対し、一次元的な撮像が可能なラインセンサ（リニアイメージセンサともいう）は、高解像度の画像を得ることができる。また、複数の受光素子（光電変換素子）を横一列に配列しているので、球面の撮影にも適している。さらには、光学系を小型化する技術も研究されている。
　そのため、特にカラー（合成）画像を撮影可能なマルチラインセンサは、地球観測衛星に限らず、プリンタなどに搭載されることも多い。
　このようなマルチラインセンサとしては、同時に複数のバンドのカラー画像を得ることができるマルチスペクトルカメラ（マルチバンド１次元ラインセンサカメラともいう）が知られている（例えば、特許文献１参照）。
　また、受光方向の違いによる画像の鮮鋭度のばらつきを抑えることができる撮像装置も提案されている（例えば、特許文献２参照）。
特開２０１２－６０４１１号公報 国際公開（Ｗ０）第２０１１／０１０６４１（ＰＣＴ／ＪＰ２０１０／０６２１８４）号
　ここで、特許文献１に開示されたようなマルチスペクトルカメラを搭載した地球観測衛星が軌道上を移動しながら撮影する場合を例に、本発明が解決しようとする課題について、さらに詳しく説明する。ただし、ここでは、ＣＣＤラインセンサカメラを一例として説明する。
　地球観測衛星に搭載されるＣＣＤラインセンサカメラの露光時間は、一般的に、衛星が１ライン走査分を移動する時間となる。例えば、空間分解能（または、画像分解能）が１メートルの衛星であれば、その露光時間は、衛星が１メートルの距離を移動するのに要する時間となる。
　したがって、Ｒ、Ｇ、Ｂの３ライン分のＣＣＤラインセンサを有するカメラを搭載した衛星が軌道上を移動しながら移動体を撮影する場合、露光時間よりも早く動く移動体は、ラインセンサ間のわずかな物理的離隔距離のため、信号電荷の読出しが移動体の速度に追いつかず、結果的にカラー（合成）画像上に色ずれとなって現れる。
　例えば、同一日時に同一地点で撮影され、幾何学的に重なり合うように補正された各バンドのカラー画像を同一サイズで重ね合わせると、カラー合成画像上において、停止中の車両や道路・ビルなどの静止物体は概ね重なり合うが、移動中の車両、船舶、または航空機などの移動体は、数画素（ピクセルともいう）から十数画素におよぶ位置的なずれを伴う。
　すなわち、カラー（合成）画像の取得が可能なＣＣＤラインセンサカメラの場合、特にインターライン型構造においては、一定個数のフォトダイオード（ＰＤ）が横一列に並べられ、これと並列に同数のＶＣＣＤ（垂直転送部）が配置された、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとを備える。また、これら３ライン分のラインセンサが、それぞれ、所定の間隔（物理的離隔距離）を有して並行に配置されてなる構成となっている。
　そして、各ラインセンサにおいては、例えば、センサ駆動部から当該センサが１画素分の距離を移動する時間の間隔で送出される駆動パルスに応じて、光学系からの光がフォトダイオードによって露光される。また、１回の露光（ライン走査）において、各ラインセンサのフォトダイオードによって光電変換された信号電荷は、例えば、各フォトダイオードに対応するＶＣＣＤに一斉に読出され、順次、垂直転送された後、水平転送部（ＨＣＣＤ）を介して出力される。
　なお、１回の露光における全画素の信号電荷をＶＣＣＤに出力し終わると、次の露光のための駆動パルスが、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとに与えられる。
　このように、インターライン型構造のＣＣＤラインセンサカメラは、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとの間に、それぞれ、わずかな物理的離隔距離を有する。そのため、露光時間よりも早く動く移動体の場合には、信号電荷の読出しが間に合わなくなり、結果的に大きな色ずれを生じる。
　静止物体の場合であっても、同一日時に同一地点で撮影された各バンドのカラー画像には、ラインセンサ間の物理的離隔距離によって多少の色ずれが生じるため、カラー合成画像を得る過程において、ラインディレイ補正などの処理により位置合わせを行う必要がある。
　しかしながら、１回の露光における信号電荷の転送中に別の画素に移動してしまうような移動体の場合には、ラインディレイ補正などの処理を実施したとしても、各バンドのカラー画像を十分に位置合わせすることが困難となる。
　すなわち、幾何学的に重なり合うように位置合わせして得た各バンドのカラー画像を同一サイズで重ね合わせると、道路やビルなどの静止物体（背景）は殆んどずれることなく重なり合うが、移動中の車両、船舶、または航空機などは、画素間の移動量が移動速度に応じて数画素から十数画素におよぶため、ラインディレイ補正だけでは色ずれを解消できない。
　また、この色ずれを利用して移動体を検出する方法も研究されているが、従来の方法では、各バンドのカラー画像を合成した際に、移動体と移動体以外の静止物体とが同じような色付きの画像として表現されるために、カラー合成画像上から移動体のみを抽出するには複雑な画像処理技術が必要であった。
　本発明は、上記の課題を鑑みてなされたものであって、移動体を静止物体と明確に区別でき、移動体を効率良く検出することが可能なマルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラムを得ることを目的とする。
　本発明に係るマルチラインイメージセンサ装置は、
　互いに間隔を有して並列に配置された、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとを備える三原色画像ラインセンサと、
　前記三原色画像ラインセンサのいずれかの画像用ラインセンサと前記間隔を有して並列に配置され、前記三原色画像ラインセンサのいずれかの画像用ラインセンサと同一色の光の波長を検出する第１の同一波長成分画像用ラインセンサとを有して構成されていることを要旨とする。
　本発明に係る撮影装置は、
　撮影エリアに対して、所定の高さを有し、所定の速度により一方向に移動する飛行体に設けられ、前記飛行体の移動に伴って、三原色のカラー画像と、前記三原色のカラー画像のいずれかのカラー画像と同一色の光の波長のカラー画像である同一波長成分画像とを得る撮影装置であって、
　マルチラインイメージセンサ装置を備え、
　前記マルチラインイメージセンサ装置は、
　互いに間隔を有して並列に配置された、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとを備える三原色画像ラインセンサと、
　前記三原色画像ラインセンサのいずれかの画像用ラインセンサと前記間隔を有して並列に配置され、前記三原色画像ラインセンサのいずれかの画像用ラインセンサと同一色の光の波長を検出する同一波長成分画像用ラインセンサとを備え、
　さらに、
　前記三原色画像ラインセンサ及び前記同一波長成分画像用ラインセンサに、前記撮影エリアからの光を結像させる光学系と、
　前記三原色画像ラインセンサ及び前記同一波長成分画像用ラインセンサを駆動するセンサ駆動部と、
　前記センサ駆動部の駆動に伴って出力された前記三原色画像ラインセンサからの各々の出力を第１画像、第２画像、第３画像として得て水平転送するとともに、前記同一波長成分画像用ラインセンサからの出力を前記同一波長成分画像として得て水平転送する水平転送部と
　を有して構成されていることを要旨とする。
　本発明に係る移動体検出装置は、
　飛行体が撮影エリアに対して、所定の高さを有し、所定の速度により一方向に移動しながら取得したカラー画像とこのカラー画像のいずれかの画像と同一色の光の波長の画像である同一波長成分画像とで構成されたライン毎撮影画像を含む送信信号を受信し、この受信したライン毎撮影画像に基づいて前記撮影エリアの移動体の移動を検出する移動体検出装置であって、
　撮影画像受信用記憶部と、カラー合成画像用記憶部と、白黒合成画像用記憶部と、パンシャープン画像用記憶部とを備え、
　さらに、
　前記飛行体からの前記送信信号を受信する毎に、この送信信号に含まれている前記ライン毎撮影画像に含まれている前記カラー画像と前記同一波長成分画像とを色種別に前記撮影画像受信用記憶部に記憶する手段と、
　前記撮影画像受信用記憶部に前記色種別のライン毎撮影画像が記憶される毎に、前記ライン毎撮影画像が所定数に達したか否かを判定する判定手段と、
　前記所定数に達する毎に、前記カラー画像の第１画像と第２画像と第３画像とを重ね合わせてカラー合成画像を生成し、これを前記カラー合成画像用記憶部に記憶する手段と、
　前記所定数に達する毎に、前記第１画像と前記同一波長成分画像とを合成して白黒合成画像を生成し、これを前記白黒合成画像用記憶部に記憶する手段と、
　前記カラー合成画像と前記白黒合成画像とを重ねたパンシャープン画像を生成し、これを前記パンシャープン画像用記憶部に記憶する重ね合わせ手段と、
　少なくとも前記パンシャープン画像を出力する手段と、
　を有して構成されていることを要旨とする。
　本発明に係る移動体検出プログラムは、
　飛行体が撮影エリアに対して、所定の高さを有し、所定の速度により一方向に移動しながら取得したカラー画像とこのカラー画像のいずれかの画像と同一色の光の波長の画像である同一波長成分画像とで構成されたライン毎撮影画像を含む送信信号を受信し、この受信したライン毎撮影画像に基づいて前記撮影エリアの移動体の移動を検出する移動体検出プログラムであって、
　コンピュータを、
　前記飛行体からの前記送信信号を受信する毎に、この送信信号に含まれている前記ライン毎撮影画像に含まれている前記カラー画像と前記同一波長成分画像とを色種別に撮影画像受信用記憶部に記憶する手段、
　前記撮影画像受信用記憶部に前記色種別のライン毎撮影画像が記憶される毎に、前記ライン毎撮影画像が所定数に達したか否かを判定する手段、
　前記所定数に達する毎に、前記カラー画像の第１画像と第２画像と第３画像とを合成したカラー合成画像を生成し、これをカラー合成画像用記憶部に記憶する手段、
　前記所定数に達する毎に、前記第１画像と前記同一波長成分画像とを合成して白黒合成画像を生成し、これを白黒合成画像用記憶部に記憶する手段、
　前記カラー合成画像と前記白黒合成画像とを重ねたパンシャープン画像を生成し、これをパンシャープン画像用記憶部に記憶する手段、
　少なくとも前記パンシャープン画像を出力する手段
として機能させることを要旨とする。
　本発明のマルチラインイメージセンサ装置によれば、三原色画像と、三原色画像ラインセンサのいずれかの同一色の光の波長である同一波長成分画像とを同時に得ることができる。
　また、本発明の撮影装置によれば、三原色画像と、三原色画像ラインセンサのいずれかの同一色の光の波長である同一波長成分画像とを同時に得るマルチラインイメージ装置を内蔵して、撮影エリアを所定の高さを有し、所定の速度により一方向に移動する飛行体に設けて撮影して、これを送信する。このため、受信側では移動体の変化を直ぐに検出することが可能となる。
　さらに、移動体検出装置によれば、飛行体からのカラー画像と同一波長成分画像と直ちに重ね合わせることが可能であるので、移動体の変化を色で直ちに検出できる。
　また、移動体の色が強調されているので、移動速度、移動方向、個数などの移動体情報をも高精度に算出できる。
図１は、本実施の形態に係るマルチスペクトルセンサ装置（マルチラインイメージセンサ装置）を用いた移動体検出システムの概略構成図である。 図２は、本実施の形態に係るマルチスペクトルセンサ装置が適用される人工衛星カメラが搭載された地球観測衛星の概略構成ブロック図である。 図３は、本実施の形態１に係るマルチスペクトルセンサ装置が適用される人工衛星カメラの概略構成図である。 図４は、図３のＩ－Ｉ線に沿う、マルチスペクトルセンサ装置の概略断面図である。 図５は、人工衛星カメラの基本動作を説明するタイミングチャートである。 図６は、本実施の形態１に係るマルチスペクトルセンサ装置を用いた移動体検出システムにおける移動体検出装置の概略構成図である。 図７は、移動体検出装置におけるオペレーション部の概略構成図である。 図８は、移動体検出画像の表示例を説明する概略図（イメージ画像）である。 図９は、移動体検出装置のエリア抽出部での処理の流れを説明するフローチャートである。 図１０は、移動体検出装置での処理の流れを説明するフローチャートである。 図１１（ａ）及び図１１（ｂ）は、移動体検出処理を説明するための動作説明図であって、図１１（ａ）は、撮影画像用データベースにおけるライン毎撮影画像ｅＧｉの蓄積例を示す図、図１１（ｂ）は、色強調画像用メモリでのメッシュＭｉの作成例を示す図である。 図１２（ａ）は、移動体検出画像（色強調前）の表示例を示す概略図（イメージ画像）であり、図１２（ｂ）は、移動体検出画像（色強調後）の表示例を示す概略図（イメージ画像）である。 図１３（ａ）及び図１３（ｂ）は、移動体検出画像における表示特性を示すもので、図１３（ａ）は、走行中の車両を例に示す特性図、図１３（ｂ）は、停止中の車両を例に示す特性図である。 図１４は、本実施の形態１に係るマルチスペクトルセンサ装置の配置例を説明する概略図である。 図１５（ａ）は、停止中の車両を例に示す概略図であり、図１５（ｂ）は、その表示例を説明する概略図である。 図１６（ａ）は、低速走行中の車両を例に示す概略図であり、図１６（ｂ）は、その表示例を説明する概略図である。 図１７（ａ）は、高速走行中の車両を例に示す概略図であり、図１７（ｂ）は、その表示例を説明する概略図である。 図１８（ａ）及び図１８（ｂ）は、移動体検出画像を対比して示すもので、図１８（ａ）は、色強調前の移動体検出画像を示す概略図（イメージ画像）であり、図１８（ｂ）は、色強調後の移動体検出画像を示す概略図（イメージ画像）である。 図１９は、本実施の形態に係るマルチスペクトルセンサ装置の他の構成例を示す概略図である。 図２０は、本実施の形態に係るマルチスペクトルセンサ装置のさらに別の構成例を示す概略図である。 図２１は、本実施の形態１の第１変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図２２は、本実施の形態１の第２変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図２３は、本実施の形態１の第３変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図２４は、移動体検出画像を、移動体を雲とした場合を例に説明する概略図（イメージ画像）である。 図２５（ａ）～図２５（ｄ）は、移動体を波とした場合を例に示すもので、図２５（ａ）は、Ｒ１画像の概略図（イメージ画像）、図２５（ｂ）は、Ｇ画像の概略図（イメージ画像）、図２５（ｃ）は、Ｂ画像の概略図（イメージ画像）、図２５（ｄ）は、移動体検出画像の概略図（イメージ画像）である。 図２６は、本実施の形態２に係るマルチスペクトルセンサ装置（マルチラインイメージセンサ装置）が適用される人工衛星カメラの概略構成図である。 図２７は、図２６のＩＩ－ＩＩ線に沿う、マルチスペクトルセンサ装置の概略断面図である。 図２８は、本実施の形態２に係るマルチスペクトルセンサ装置の配置例を説明する概略図である。 図２９は、移動体検出装置での特定エリアの指定方法について説明する概略図である。 図３０は、停止中の車両を例に示す、移動体をライン走査する場合のタイミングチャートである。 図３１は、低速走行中の車両を例に示す、移動体をライン走査する場合のタイミングチャートである。 図３２は、高速走行中の車両を例に示す、移動体をライン走査する場合のタイミングチャートである。 図３３（ａ）及び図３３（ｂ）は、移動体検出画像における表示特性を示すもので、図３３（ａ）は、高速走行中の車両を例に示す特性図、図３３（ｂ）は、低速走行中の車両を例に示す特性図である。 図３４（ａ）～図３４（ｅ）は、移動体の表示例を説明するためのものであって、図３４（ａ）は、車両とマルチスペクトルセンサ装置との関係を例示する概略図、図３４（ｂ）は、車両の走行方向を東側方向とした場合の表示例、図３４（ｃ）は、車両の走行方向を西側方向とした場合の表示例、図３４（ｄ）は、車両の走行方向を北側方向とした場合の表示例、図３４（ｅ）は、車両の走行方向を南側方向とした場合の表示例である。 図３５（ａ）～図３５（ｃ）は、移動体検出画像を得るための処理の一例を示すものであって、図３５（ａ）は、抽出画像の概略図（イメージ画像）、図３５（ｂ）は、指定画像の概略図（イメージ画像）、図３５（ｃ）は、移動体検出画像の概略図（イメージ画像）である。 図３６（ａ）～図３６（ｃ）は、移動体検出画像を得るための処理の他例を示すものであって、図３６（ａ）は、抽出画像の概略図（イメージ画像）、図３６（ｂ）は、指定画像の概略図（イメージ画像）、図３６（ｃ）は、移動体検出画像の概略図（イメージ画像）である。 図３７は、図３６（ｃ）に示した移動体検出画像の拡大図（イメージ画像）である。 図３８は、本実施の形態２の第１変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図３９は、本実施の形態２の第２変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図４０は、本実施の形態２の第３変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図４１は、本実施の形態２の第４変形例に係るマルチスペクトルセンサ装置の概略構成図である。 図４２は、本実施の形態３に係るマルチスペクトルセンサ装置を用いた移動体検出システムにおける移動体検出装置の概略構成図である。 図４３は、移動体検出装置での処理の一例を示す概略図である。 図４４は、移動体検出装置での処理の他例を示す概略図である。
　以下に示す本実施の形態は、発明の技術的思想（構造、配置）を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記のものに特定されるものではない。本発明の技術的思想は、特許請求の範囲に記載された事項の範囲内において、種々の変更を加えることができる。また、図面は模式的なものであり、装置やシステムの構成などは現実のものとは異なることに留意すべきである。
　本実施の形態のマルチラインイメージセンサ装置は、例えば、超小型の人工衛星に搭載される撮影装置（人工衛星カメラともいう）に内蔵されているとして説明する。
　そして、このマルチラインイメージセンサ装置は、画像処理時において、撮影対象（被写体）である移動体（車両、船舶、航空機、雲、津波のような流体などを含む）を静止物体と明確に区別できるライン配列とされている。
　また、以下の説明においては、このマルチラインイメージセンサ装置で取得した複数の色種（各バンド）のカラー画像のスペクトラムを重ねて、移動体のカラー表示を強調した移動体検出画像を得る地上センタの移動体検出装置（地上局ともいう）をさらに備えた移動体検出システムを例示して説明する。
　なお、移動体が存在する媒体（地球、紙、空、海、川、山、…）は地球とし、移動体を走行中の車両（バイクやオートバイなどを含む）または津波とした場合について説明する。
　＜実施の形態１＞
　図１は、本実施の形態１に係るマルチラインイメージセンサ装置が適用されるマルチスペクトルセンサ装置（ＭＳＳ）を用いた移動体検出システムの概略構成図である。ここでは、移動体検出システムにおいて、地球観測衛星（飛行体）１２に搭載された人工衛星カメラ２１によって撮影されたライン毎撮影画像ｅＧｉに基づいて作成される１回の撮影時（１シーン分）の移動体検出画像（単一画像）ＣＰから、例えば、走行中の車両Ｔｍを検出する場合を例に説明する。また、飛行体は、飛行機（ヘリコプター含む）、ドローン、飛行船、人工衛星などの飛行体であるが、実施の形態では人工衛星として説明する。
　図１に示すように、この移動体検出システムは、地球１０の軌道上を一方向（以下、ＳＤ方向という）に移動しながら地球１０を観測する人工衛星（以下、地球観測衛星１２という）と、この地球観測衛星１２と地上センタとの間で、アンテナ施設１４を介して、各種のデータや信号、情報などのやり取りを行う移動体検出装置１６と、から構成されている。この移動体検出装置１６は、地上センタに設けられたサーバシステムである。
　地球観測衛星１２は、人工衛星カメラ２１（撮影装置ともいう）が搭載される、いわゆるプラットフォームであって、所定の速度により図示矢印ＳＤ方向に移動しながら、所定の高さの軌道上を周回するように構成されている。
　すなわち、地球観測衛星１２は、例えば、地球１０の約４００ｋｍ（キロメートル）～約７００ｋｍの高度の上空を、高度に応じたほぼ一定の速度で飛行する超小型の人工衛星であるのが好ましい。
　そして、図示矢印ＳＤ方向への移動に伴って、搭載する人工衛星カメラ２１により地球１０の地表部分の画像を約２．５ｍ（メートル）×５０ｋｍの幅で連続撮影する。
　前述の人工衛星カメラ２１内には、任意の撮影エリアＴＥＧ内を、例えばプッシュブルーム方式により、ライン走査するためのマルチスペクトルセンサ装置２１４が内蔵されている。
　ここで、地球観測衛星１２は、地表面方向（垂直方向）に対する人工衛星カメラ２１の撮影面（水平方向）の角度が常に９０度となるように移動（姿勢ω、κ、θ）が制御される。また、地球観測衛星１２において、人工衛星カメラ２１は、内蔵するマルチスペクトルセンサ装置２１４の、衛星１２の飛行するＳＤ方向との角度がほぼ９０度（ほぼ直角）となるように調整される。すなわち、マルチスペクトルセンサ装置２１４は、後述するラインセンサの水平方向の向き（ライン配列）が、ＳＤ方向に対して実質的に直交するように配置されている。
　そして、地球観測衛星１２は、マルチスペクトルセンサ装置２１４を用いて撮影したライン毎撮影画像ｅＧｉを含む送信信号ＳＧｉを、地上センタの移動体検出装置１６につながるアンテナ施設１４に向けて送信する。ここで、前述の送信信号ＳＧｉは、例えば、ライン毎撮影画像ｅＧｉとヘッダ情報ＥＨｉとから主に構成されている。
　ライン毎撮影画像ｅＧｉとは、画素を構成する各バンドの階調度（ピクセル値に相当）を含むフレーム信号であって、例えば、撮影時にマルチスペクトルセンサ装置２１４から１ライン毎に定期的または連続的に出力される、画素データを伴ったセンサ出力（１ライン走査分の信号電荷）である。
　ヘッダ情報ＥＨｉとは、例えば、Ｃ＆ＤＨ（Command and Data Handling）系などによりライン毎撮影画像ｅＧｉに付加される撮影時のメタ（meta）データである。ヘッダ情報ＥＨｉには、例えば、地球観測衛星１２を識別するための情報（ＩＤ）、地球観測衛星１２の撮影時の緯度、経度、高度、姿勢などの情報、空間分解能、撮影日や撮影時刻、撮影開始時刻（Collection Start Time）及び終了時刻（Collection End Time）に関する情報、バンドの種別（色種）に関する情報、画素の位置を示すピクセル座標Ｐｚａｉ（ｉ，ｊ）、送信先情報などが含まれる。
　また、ヘッダ情報ＥＨｉとしては、後述する送信部（２７）において、ライン毎撮影画像ｅＧｉ単位で付加されるのが望ましい。
　地球観測衛星１２としては、人工衛星としての基本的な機能（例えば、Ｃ＆ＤＨ系や推進系など）を含む、その他の各種の機能を備えるものであっても良く、ここでの詳細な説明は省略する。
　図２は、地球観測衛星１２内部の人工衛星カメラ２１の付近の概略構成図である。
　図２に示すように、地球観測衛星１２は、人工衛星カメラ２１と、移動体検出装置１６からアンテナ施設１４を介して送られる撮影命令などを受信する受信部２３と、人工衛星カメラ２１を制御するセンサ制御部２５と、ライン毎撮影画像ｅＧｉを含む送信信号ＳＧｉを移動体検出装置１６に送信する送信部２７と、を少なくとも有して構成されている。
　なお、センサ制御部２５及び送信部２７の少なくとも一方を、人工衛星カメラ２１内に備える構成としても良い。
　人工衛星カメラ２１は、図２に示すように、例えば、マルチスペクトルセンサ装置２１４と、マルチスペクトルセンサ装置２１４をセンサ制御部２５の制御に基づいて駆動するセンサ駆動部２１０と、光学系部（光学系）２１２と、転送部（ＨＣＣＤ）２１８と、を備えている。
　センサ駆動部２１０は、例えば、マルチスペクトルセンサ装置２１４内の後述する４種の画像用ラインセンサに、地球観測衛星１２が１ライン走査分の距離を移動する時間の間隔で駆動パルス（露光タイミング信号）を送出し、光学系部２１２からの光を露光させる。
　光学系部２１２は、マルチスペクトルセンサ装置２１４に光を集光させる集光レンズ（図示せず）などを有して構成されている。
　転送部２１８は、例えば、マルチスペクトルセンサ装置２１４内の４種の画像用ラインセンサにおける各フォトダイオード（光電変換素子）ＰＤ群での光電変換作用により、取得した各々の１ライン走査分の信号電荷を、ライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）として得て転送するとともに、後述する第１の同一波長成分画像用ラインセンサ（以下、同一波長成分画像用ラインセンサ（例えば、２１４Ｒ２）という）からのセンサ出力を画像（例えば、Ｒ２（以下、ライン毎同一波長成分画像Ｒｉ（Ｒ２）という））として得て、逐次、送信部２７へと転送する。
　このライン毎第１画像（Ｒ１）とライン毎第２画像（Ｇ）とライン毎第３画像（Ｂ）とライン毎同一波長成分画像Ｒｉ（Ｒ２）とを総称して、ライン毎撮影画像ｅＧｉと称する。
　（マルチスペクトルセンサ装置２１４の構成）
　図３は、マルチスペクトルセンサ装置２１４の概略構成図である。人工衛星カメラ２１に内蔵されたマルチスペクトルセンサ装置２１４は、三原色画像ラインセンサ（Ｒ１画像用ラインセンサ２１４Ｒ１、Ｇ画像用ラインセンサ２１４Ｇ、Ｂ画像用ラインセンサ２１４Ｂ）の他に、いずれかのラインセンサと同一色の光の波長を検出する同一波長成分画像用ラインセンサ２１４Ｒ２を備えている。この三原色画像ラインセンサと同一波長成分画像用ラインセンサ２１４Ｒ２とを総称して、画像用ラインセンサと称する。
　つまり、本実施の形態のマルチスペクトルセンサ装置２１４は、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）の他に、同一波長成分画像用ラインセンサ２１４Ｒ２をさらに備えた４種の画像用ラインセンサを有してなる、いわゆる４ライン方式のマルチラインイメージセンサである。
　また、マルチスペクトルセンサ装置２１４の各画像用ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２）は、それぞれ、所定の間隔（物理的離隔距離ＢＤ：例えば１０μｍ（マイクロメートル））ＢＤを有して並列に配置されている。
　また、同一波長成分画像用ラインセンサ２１４Ｒ２は、三原色画像ラインセンサを構成するＲ１画像用ラインセンサ２１４Ｒ１、Ｇ画像用ラインセンサ２１４Ｇ、Ｂ画像用ラインセンサ２１４Ｂのいずれかに対して設けても構わないが、本実施の形態においては、Ｒ１画像用ラインセンサ２１４Ｒ１に対して設けた例としている。
　ただし、インターライン型構造のマルチスペクトルセンサ装置２１４においては、各々の画像用ラインセンサ（２１４Ｒ２、２１４Ｒ１、２１４Ｇ、２１４Ｂ）の、ライン方向の同じ位置における各組のピクセルによってユニットセル（ＵＣ１、ＵＣ２）が構成されるようになっている。
　このような構成のマルチスペクトルセンサ装置２１４は、移動体検出用のマルチラインイメージセンサとしての機能を備える。
　図３において、マルチスペクトルセンサ装置２１４は、ライン状に並べられた一定個数のユニットセルＵＣ１、ＵＣ２を備える。各ユニットセルＵＣ１は、３画素、例えば、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）によって構成され、各ユニットセルＵＣ２は、２画素、例えば、同一波長成分画像用ラインセンサ２１４Ｒ２、Ｒ１画像用ラインセンサ２１４Ｒ１によって構成されている。
　ここで、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）は、それぞれ、フォトダイオードＰＤ群２１４Ｒ２ｐ、２１４Ｒ１ｐ、２１４Ｇｐ、２１４Ｂｐと、ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆと、を有する。
　フォトダイオードＰＤ群２１４Ｒ２ｐ、２１４Ｒ１ｐ、２１４Ｇｐ、２１４Ｂｐは、直列に配列された一定個数のフォトダイオードＰＤからなり、ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆは、各フォトダイオードＰＤに並列に配置された一定個数の垂直ＣＣＤ（ＶＣＣＤ）からなる。
　ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆの各垂直ＣＣＤは、アナログフレームメモリとして機能する。
　すなわち、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）のそれぞれの画像ラインセンサの各々のピクセルの組によって、一定個数のユニットセルＵＣ１、ＵＣ２が構成される。
　より具体的には、各ユニットセルＵＣ１は、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）の、フォトダイオードＰＤ群２１４Ｒ１ｐ、２１４Ｇｐ、２１４ＢｐとＣＣＤ群２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆとによって構成される。各ユニットセルＵＣ２は、同一波長成分画像用ラインセンサ２１４Ｒ２、Ｒ１画像用ラインセンサ２１４Ｒ１の、フォトダイオードＰＤ群２１４Ｒ２ｐ、２１４Ｒ１ｐとＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆとによって構成される。
　各ユニットセルＵＣ１は、１ラインにおけるライン毎カラー合成画像ａＧＥｉを形成するための画素データ取得用のセルであり、各ユニットセルＵＣ２は、１ラインにおけるライン毎白黒合成画像ｇＥＡｉを形成するための画素データ取得用のセルである。
　一方、前述のＣＣＤ群２１４Ｒ２ｆには画像用転送部２１８Ｒ２が、ＣＣＤ群２１４Ｒ１ｆには画像用転送部２１８Ｒ１が、ＣＣＤ群２１４Ｇｆには画像用転送部２１８Ｇが、ＣＣＤ群２１４Ｂｆには画像用転送部２１８Ｂが、それぞれ接続されて、ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆからのセンサ出力が送信部２７へと転送されるようになっている。
　実施の形態１においては、画像用転送部２１８Ｒ２、２１８Ｒ１、２１８Ｇ、２１８Ｂによって、図２に示した転送部２１８が構成されている。
　すなわち、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）においては、各フォトダイオードＰＤ群２１４Ｒ２ｐ、２１４Ｒ１ｐ、２１４Ｇｐ、２１４Ｂｐによって１回の露光により光電変換された信号電荷が、トランスファゲート（読出しゲート）ＴＧを介して、ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆに一斉に読出された後、それぞれ、転送部２１８の各画像用転送部２１８Ｒ２、２１８Ｒ１、２１８Ｇ、２１８Ｂを介して、送信部２７へと掃引されるようになっている。
　この掃引時において、例えば、１ライン走査当たりの信号電荷は、１ライン相当分のライン毎撮影画像ｅＧｉとなり、対応するフォトダイオードＰＤの位置に応じたピクセル座標などがヘッダ情報ＥＨｉとして付加されることにより、送信信号ＳＧｉとなる。
　つまり、１ライン毎に、ライン毎第１画像（Ｒ１）と、ライン毎第２画像（Ｇ）と、ライン毎第３画像（Ｂ）と、ライン毎同一波長成分画像Ｒｉ（Ｒ２）と、がライン毎撮影画像ｅＧｉとして送信されることになる。
　なお、転送部２１８としては、信号電荷を転送させる際に、電圧に変換・増幅する機能を備えるようにしても良い。また、転送部２１８としては、各ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆからの信号電荷を、順次、水平転送させる水平ＣＣＤ（ＨＣＣＤ）の構成としても良い（いわゆる、プログレッシブ読出し方式）。
　このような構成のマルチスペクトルセンサ装置２１４を用いることによって、例えば、ＲＧＢカラー（合成）画像の撮影が可能な既存の三原色画像ラインセンサとしての役割を果たしながら、移動体の変化分だけを即時にカラー表示させ、それ以外の静止物体をモノクロ（モノトーンまたはグレースケール）表示させた移動体検出画像ＣＰを容易に作成できるようになる。
　ただし、単純に移動体の変化分だけをカラー表示させることに限定すれば、同じ感度のセンサを２ライン分以上配置したモノクロラインセンサ（図示省略）を追加し、後処理の画像合成によって、静止物体をモノクロにより表示させるとともに、移動体の変化分をカラーにより表示させることは可能である。
　ここで、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）は、いずれも、センサ長ＳＬとセンサ幅ＳＷとを有するとともに、それぞれ、物理的離隔距離ＢＤを有して並列に配置されている。
　なお、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）のセンサ長ＳＬ、センサ幅ＳＷ、物理的離隔距離ＢＤなどは、人工衛星カメラ２１が搭載される地球観測衛星１２毎に異なり、地球観測衛星１２の高度、速度、解像度、空間分解能、撮影対象（移動体）などに応じて適宜設計されるものであって、例えば、数μｍ～十数μｍ程度となる。
　そのため、このマルチスペクトルセンサ装置２１４の場合、１回の露光においては、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）間の物理的離隔距離ＢＤに起因して、同一地点（同一ライン上）の画像を若干の時間的ずれ（露光タイミング差）をもって撮影することになる。
　撮影時の同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）間の物理的離隔距離ＢＤに起因する露光タイミング差は、移動体検出画像ＣＰ上において、色ずれとなって現れる。特に、移動体検出画像ＣＰ上における移動体の変化分の色ずれは、移動体の移動速度や移動方向などに対応し、動きの速い移動体ほど大きくなる。
　そこで、移動体検出装置１６では、移動体検出画像ＣＰにおいて、この色ずれを利用して移動体の変化分を色付きの画像として表示するとともに、その色付きの画像だけをさらに強調して表現できるようにしている。これにより、移動体検出画像ＣＰ上において、より一層、移動体の変化分を目立たせることが可能となる。したがって、１シーン分の移動体検出画像ＣＰから目視によって移動体を簡単に検出できるようになるとともに、コンピュータ処理においても、移動体の変化分を効率良く自動抽出することが可能となる。
　図４は、マルチスペクトルセンサ装置２１４の断面構造を概略的に示すもので、ここでは、図３のＩ－Ｉ線に沿うＢ画像用ラインセンサ２１４Ｂの断面を例示して説明する。
　Ｂ画像用ラインセンサ２１４Ｂにおいては、例えば、ｐ型シリコン（Ｓｉ）基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたフォトダイオードＰＤ群２１４ＢｐとなるフォトダイオードＰＤの受光領域（ｎ型層）２３４と、受光領域２３４から離間して、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたＣＣＤ群２１４Ｂｆとなる垂直ＣＣＤのレジスタ部（ｎ＋型層）２１４Ｂｔと、を備える。
　また、Ｂ画像用ラインセンサ２１４Ｂは、受光領域２３４を除く、ｐ型Ｓｉ基板２３０上またはｐ型ウェル２３２上に、絶縁膜２３６を介して設けられたポリＳｉ電極２３８と、ポリＳｉ電極２３８上に絶縁膜２３６を介して設けられ、受光領域２３４の一部に開口を有する遮光膜２４０と、を備える。
　さらに、Ｂ画像用ラインセンサ２１４Ｂは、全面に設けられた透明な樹脂層２４２と、受光領域２３４に対応する、樹脂層２４２の上面上にオンチップで設けられたＢ画像用カラーフィルタ（原色フィルタ）２４４と、Ｂ画像用カラーフィルタ２４４に対応する樹脂層２４２上にオンチップで設けられたマイクロレンズ２４６と、を備える。
　すなわち、Ｂ画像用ラインセンサ２１４Ｂは、例えば、波長４５０～４９５ｎｍの帯域の光を透過するＢ画像用カラーフィルタ２４４を備えて構成されている。
　なお、同一波長成分画像用ラインセンサ２１４Ｒ２、Ｒ１画像用ラインセンサ２１４Ｒ１、及びＧ画像用ラインセンサ２１４Ｇは、いずれも、Ｂ画像用ラインセンサ２１４Ｂと基本構成が同じであるため、ここでの詳細な説明は省略する。
　要するに、同一波長成分画像用ラインセンサ２１４Ｒ２及びＲ１画像用ラインセンサ２１４Ｒ１は、後述するように、例えば、波長６２０～７５０ｎｍの帯域の光を透過するＲ画像用カラーフィルタ（原色フィルタ）を備えて構成されている。
　また、Ｇ画像用ラインセンサ２１４Ｇは、後述するように、例えば、波長４９５～５９０ｎｍの帯域の光を透過するＧ画像用カラーフィルタ（原色フィルタ）を備えて構成されている。
　なお、上記した波長の帯域は一例であり、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）毎に半値幅などが異なるものであっても良い。また、単独でモノクロ画像を取得するラインセンサ（図示せず）の場合、カラーフィルタは不要となる。
　図５は、地球観測衛星１２に搭載された人工衛星カメラ２１の基本動作として、撮影時のタイミングチャートを示すものである。ここで、タイミングチャート（ａ）は、フォトダイオードＰＤの駆動パルスを示す。タイミングチャート（ｂ）は、センサ駆動部２１０からのトランスファゲートＴＧの制御パルスを示す。タイミングチャート（ｃ）は、センサ駆動部２１０からの制御パルスＢＰを示す。タイミングチャート（ｄ）は、センサ駆動部２１０からの制御パルスＧＰを示す。タイミングチャート（ｅ）は、センサ駆動部２１０からの制御パルスＲ１Ｐを示す。タイミングチャート（ｆ）は、センサ駆動部２１０からの制御パルスＲ２Ｐを示す。
　すなわち、上記のようなマルチスペクトルセンサ装置２１４を内蔵した人工衛星カメラ２１を搭載した地球観測衛星１２は、軌道上をＳＤ方向に移動しながら、人工衛星カメラ２１によって、地球１０の地表部分における任意の撮影エリアＴＥＧ内をライン状に撮影する。
　人工衛星カメラ２１において、例えば、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）では、センサ駆動部２１０からのフォトダイオードＰＤの駆動パルス（図５に示すタイミングチャート（ａ）を参照）がハイレベルの間、フォトダイオードＰＤ群２１４Ｒ２ｐ、２１４Ｒ１ｐ、２１４Ｇｐ、２１４Ｂｐによる露光が行われる。
　露光時間としては、一般的に、地球観測衛星１２が１ライン走査分を移動する時間（例えば、空間分解能が１メートルの衛星であれば、衛星が１メートルの距離を飛行するのに要する時間）に設定される。
　一定期間の露光が終了する（フォトダイオードＰＤの駆動パルスがロウレベルになる）と、センサ駆動部２１０からのトランスファゲートＴＧの制御パルス（図５に示すタイミングチャート（ｂ）を参照）がハイレベルになることに伴って、フォトダイオードＰＤ群２１４Ｒ２ｐ、２１４Ｒ１ｐ、２１４Ｇｐ、２１４Ｂｐにそれぞれ蓄積された信号電荷が、ほぼ同時に、ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆへと転送される。
　ＣＣＤ群２１４Ｒ２ｆ、２１４Ｒ１ｆ、２１４Ｇｆ、２１４Ｂｆへと転送された信号電荷は、それぞれ、センサ駆動部２１０からの制御パルスＢＰ（図５に示すタイミングチャート（ｃ）を参照）、ＧＰ（図５に示すタイミングチャート（ｄ）を参照）、Ｒ１Ｐ（図５に示すタイミングチャート（ｅ）を参照）、Ｒ２Ｐ（図５に示すタイミングチャート（ｆ）を参照）がハイレベルの間、転送部２１８の各々の画像用転送部２１８Ｒ２、２１８Ｒ１、２１８Ｇ、２１８Ｂへと転送される。
　なお、１回の露光における全画素の信号電荷を転送部２１８に出力し終わると、センサ駆動部２１０から次の露光のための駆動パルス（ＰＤ）が、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）に出力される。
　こうして、１回の露光において、転送部２１８に転送された信号電荷は、例えば、送信部２７によってライン毎撮影画像ｅＧｉを含む送信信号ＳＧｉとして生成し直された後、アンテナ施設１４に向けて移動体検出装置１６へと送信される。
　なお、図５のタイミングチャートは動作の一例を例示したものであって、実際の動作では、同一波長成分画像用ラインセンサ２１４Ｒ２、三原色画像ラインセンサ（２１４Ｒ１、２１４Ｇ、２１４Ｂ）間の物理的離隔距離ＢＤに伴う露光タイミング差を考慮して、露光の開始のタイミングなどを規定するようにしても良い。
　一方、移動体検出装置１６は、コンピュータシステム（サーバシステム）である。詳細については後述するが、移動体検出装置１６は、地球観測衛星１２から送信されてくる送信信号ＳＧｉに含まれるライン毎撮影画像ｅＧｉ（Ｒ１、Ｇ、Ｂ、Ｒｉ（Ｒ２））を蓄積し、入力されている抽出領域を特定エリアＥＷｉとする。
　そして、この特定エリアＥＷｉに対応する個数のライン毎撮影画像ｅＧｉを抽出する。この抽出されたライン毎撮影画像ｅＧｉのライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）及びライン毎第３画像（Ｂ）を、特定エリアＥＷｉのカラー合成画像（マルチスペクトル画像とも称する）ＧＷｉとする。また、抽出されたライン毎撮影画像ｅＧｉのライン毎同一波長成分画像Ｒｉ（Ｒ２）と、特定エリアＥＷｉのカラー合成画像ＧＷｉを構成するライン毎第１画像（Ｒ１）とを重ね合わせて、その特定エリアＥＷｉに対応する白黒合成画像（パンクロマチック画像ともいう）ＧＥＡｉを生成する。そして、この白黒合成画像ＧＥＡｉの上にカラー合成画像ＧＷｉを重ね合わせて、移動体の移動速度に応じた変化量（変化分）を直ちに色ずれとして認識できる移動体検出画像（例えば、パンシャープン画像）ＣＰの作成などを行うように構成されている。
　ここで、マルチスペクトル画像とは、波長帯毎に得られる各バンドのカラー画像（Ｒ１、Ｇ、Ｂ）を重ね合わせた、いわゆるフルのカラー合成画像である。
　パンクロマチック画像とは、指定の画像種（例えば、白黒画像）として、特定の１つの波長帯のカラー画像（例えば、Ｒ１、Ｒｉ（Ｒ２））のみを観測した、いわゆるモノクロ画像（パンクロ画像ともいう）である。
　パンシャープン画像とは、マルチスペクトル画像とパンクロマチック画像とを合成処理（パンシャープン処理）した画像である。
　前述の特定エリアＥＷｉのカラー合成画像ＧＷｉは、例えば撮影エリアＴＥＧに対応する領域について、幾何学的に重なり合うように位置合わせ（例えば、モザイク処理）して得た各バンドのカラー画像（Ｒ１、Ｇ、Ｂ）を、同一サイズで重ね合わせることによって形成される。
　同様に、前述の特定エリアＥＷｉの白黒合成画像ＧＥＡｉは、例えば撮影エリアＴＥＧに対応する領域について、幾何学的に重なり合うように位置合わせ（例えば、モザイク処理）して得た少なくとも同一色のバンドのカラー画像（例えば、Ｒ１、Ｒｉ（Ｒ２））を、同一サイズで重ね合わせることによって形成される。
　また、移動体検出装置１６は、後述する色強調処理した１シーン分の移動体検出画像ＣＰから移動体の検出と、その移動量、移動方向、移動速度、個数、または移動体が車両の場合には車間距離などの移動体情報の算出と、を行うようになっている。移動体検出装置１６においては、例えば、連続した所定数の画素（例えば、数画素～十数画素）におよぶＲ１、Ｇ、Ｂの色ずれが検出された場合に、移動体として判断される。また、その色ずれの程度により移動体の移動速度が、その色ずれの方向から移動体の移動方向が、それぞれ算出される。
　以下に、上記の移動体検出装置１６における処理について説明する。
　図６は、移動体検出装置１６の概略構成（機能ブロック）を示すものである。
　移動体検出装置１６は、例えば、汎用のコンピュータシステムを主体に構成されるものである。より具体的には、取得部１６１、撮影画像用データベース（撮影画像受信用記憶部ともいう）１６３、エリア抽出部１６５、オペレーション部１６７、抽出画像用メモリ１６９、重ね合わせ部１７１、色強調画像用メモリ（白黒合成画像用記憶部またはパンシャープン画像用記憶部ともいう）１７３、色強調部１７５、画素移動体判定部１７７、画像メモリ１８１Ｍを有した表示制御部１８１、表示部１８３、及び移動体情報算出部１８５を備えて構成されている。
　前述の抽出画像用メモリ１６９は、カラー画像用メモリ１６９ａとパンクロ画像生成用メモリ（同一成分画像用メモリ）１６９ｂとからなる。また、撮影画像用データベース１６３は、取得画像用データベース（カラー合成画像用記憶部）１６３ａとヘッダ情報用データベース１６３ｂとからなる。
　取得部１６１は、アンテナ施設１４で受信した地球観測衛星１２からの送信信号ＳＧｉを取込むものである。そして、取込んだ送信信号ＳＧｉに含まれているライン毎撮影画像ｅＧｉ（Ｒ１、Ｇ、Ｂ、Ｒｉ（Ｒ２））に対し、例えば、ラインディレイ補正、平面直角座標変換、またはオルソ補正などの処理を施した後、モザイク処理を施して取得画像用データベース１６３ａに順次記憶する。なお、取得画像用データベース１６３ａには、例えば、ライン毎撮影画像ｅＧｉの所定のレベル以上の成分のみを取り込むようにしても良い。
　このとき、ライン毎同一波長成分画像Ｒｉ（Ｒ２）、ライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）の各々を色種別に区分けして順次記憶している。例えば、ライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）は、取得画像用データベース１６３ａ内のカラー合成画像用領域（図示省略）に記憶する。また、ライン毎同一波長成分画像Ｒｉ（Ｒ２）は、取得画像用データベース１６３ａ内の同一波長成分画像用領域（図示省略）に記憶する。
　また、送信信号ＳＧｉに含まれているヘッダ情報ＥＨｉを、ライン毎撮影画像ｅＧｉに関連付けて、ヘッダ情報用データベース１６３ｂに記憶する。
　エリア抽出部１６５は、例えば、撮影エリアＴＥＧに渡るライン毎同一波長成分画像Ｒｉ（Ｒ２）、ライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）が記憶された後において、オペレーション部１６７によって指定された任意の特定エリアＥＷｉに対応する個数分のライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）を取得画像用データベース１６３ａから読込む。前述の特定エリアＥＷｉは、撮影エリアＴＥＧと同じであっても構わないが、リアルタイム的に検出していくのであれば、特定エリアＥＷｉを、例えば１０ｍ、３０ｍまたは１００ｍ・・と設定できるようにするのが好ましい。
　そして、特定エリアＥＷｉに対応する個数分のライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）をカラー合成画像ＧＷｉ（Ｒ１、Ｇ、Ｂ：マルチスペクトル画像）としてカラー画像用メモリ１６９ａに記憶するとともに、ヘッダ情報用データベース１６３ｂ内の対応するヘッダ情報ＥＨｉを読込み、カラー合成画像ＧＷｉに関連付けてカラー画像用メモリ１６９ａに記憶する。
　また、エリア抽出部１６５は、前述の特定エリアＥＷｉに対応する個数分のライン毎同一波長成分画像Ｒｉ（Ｒ２）を取得画像用データベース１６３ａから読込み、パンクロ画像生成用メモリ１６９ｂに記憶する。このとき、対応するヘッダ情報ＥＨｉも記憶する。
　さらに、エリア抽出部１６５は、例えば、特定エリアＥＷｉのカラー合成画像ＧＷｉをカラー画像用メモリ１６９ａから読込んで、これを色強調画像用メモリ（パンシャープン画像用記憶部）１７３を介して、表示制御部１８１の画像メモリ１８１Ｍに記憶して、表示部１８３の画面に表示させても良い。
　オペレーション部１６７は、例えば図７に示すように、操作パネル１６７ａと表示パネル１６７ｂとを有している。
　オペレーション部１６７は、例えば、撮影エリアＴＥＧに渡るカラー合成画像ＧＷｉ（Ｒ１、Ｇ、Ｂ：マルチスペクトル画像）または地図を表示部１８３の画面上に予め表示させた状態において、オペレータに操作パネル１６７ａを操作させて特定エリアＥＷｉの指定を行わせる。また、各種の情報を表示パネル１６７ｂの画面上に表示させて、オペレータに選択または入力させるようにしても良い。
　特定エリアＥＷｉを指定するための情報としては、例えば、平面直角座標、緯度、経度、撮影対象の地域名や住所（エリア名）、撮影日、撮影時刻（撮影開始時刻及び終了時刻）などがあげられる。
　なお、オペレーション部１６７の表示パネル１６７ｂは、表示部１８３と兼用させることも可能である。つまり、オペレーション部１６７としては、表示部１８３の画面表示を見ながら操作パネル１６７ａを操作する構成とすることもできる。
　重ね合わせ部１７１は、例えば図６に示すように、オペレーション部１６７からの特定エリアＥＷｉに対応する個数のライン毎同一波長成分画像Ｒｉ（Ｒ２）をパンクロ画像生成用メモリ１６９ｂから読込み、かつカラー画像用メモリ１６９ａから対応する個数のライン毎第１画像（Ｒ１）を読出して重ね合わせる。
　そして、この重ね合わせられた画像をパンクロマチック画像（白黒合成画像ＧＥＡｉともいう）として、色強調画像用メモリ１７３に記憶する。
　そして、白黒合成画像ＧＥＡｉとカラー画像用メモリ１６９ａのカラー合成画像ＧＷｉとを重ね合わせて、これを色強調前の移動体検出画像（以下、色強調前のパンシャープン画像ＣＰ１という）として、色強調画像用メモリ１７３のパンシャープン画像用記憶部（図示省略）に記憶するとともに、表示制御部１８１を起動させる。
　表示制御部１８１は、例えば、色強調画像用メモリ１７３に記憶されている色強調前のパンシャープン画像ＣＰ１、または後述する色強調後のパンシャープン画像ＣＰ２を移動体検出画像ＣＰとして、画像メモリ１８１Ｍに読出して表示部１８３の画面上に表示する。
　色強調部１７５は、例えば、色強調後のパンシャープン画像ＣＰ２を移動体検出画像ＣＰとして表示させる際に、色強調前のパンシャープン画像ＣＰ１に対し、移動体の速度に応じた変化量として、より色表現性を強調させるためのものである。
　詳細については後述するが、例えば、色強調前のパンシャープン画像ＣＰ１において、画素移動体判定部１７７による判定の結果、各画素の色種別の階調度を示すピクセル値のいずれかが「０」でない場合、色強調画像用メモリ１７３内のメッシュＭｉの座標Ｍｉ（ｉ，ｊ）上における、その「０」でないピクセル値を最大値に変更するようになっている。
　そして、そのピクセル値が最大値に変更された色強調後のパンシャープン画像（以下、色強調画像ともいう）ＣＰ２を、移動体検出画像ＣＰとして表示制御部１８１の画像メモリ１８１Ｍに記憶し、表示部１８３の画面に表示させる。
　ここで、移動体検出画像ＣＰは、例えば図８に示すように、走行中の車両（移動体）Ｔｍの変化量（変化分）のみが色ずれを伴うカラー画像（Ｒ１、Ｇ、ＢまたはＢ、Ｇ、Ｒ１）により強調表示され、それ以外の、停止中の車両Ｔｓや道路または建物などを含む背景（静止物体）がモノクロ画像として表示されたものとなる。
　つまり、撮影時において、取得したＲ１画像用ラインセンサ２１４Ｒ１、Ｇ画像用ラインセンサ２１４Ｇ、Ｂ画像用ラインセンサ２１４Ｂの検出成分のうち、移動体のみが速度に応じた変化分に相当した色ずれを伴うカラー画像として表示されることになる。ただし、図８においては、そのカラー画像を強調して車両Ｔｍの上に示している。
　なお、図８は、高速道路のインターチェンジ（ＩＣ）付近を撮影した際の移動体検出画像ＣＰを例示したものであって、実際に走行中の車両Ｔｍを強調表示したものである。
　図６において、画素移動体判定部１７７は、例えば、色強調前のパンシャープン画像ＣＰ１の各画素が移動体のものか否かを、そのピクセル値（画素値）に基づいて判定する。詳細については後述するが、例えば、各画素の色種別の階調度を示すピクセル値のいずれかが「０」でない場合、その画素は移動体のものと判定する。逆に、各画素の色種別の階調度を示すピクセル値の全てが「０（または、最大値）」の場合、その画素は静止物体のものと判定するようになっている。
　移動体情報算出部１８５は、例えば、色強調画像用メモリ１７３または画像メモリ１８１Ｍ内に格納された移動体検出画像ＣＰに基づいて、移動体検出画像ＣＰ中における移動体の検出と、その移動体情報の算出とを行うものである。
　すなわち、移動体情報算出部１８５によって、移動体検出画像ＣＰにおけるカラー画像のＲ１、Ｇ、Ｂの配列の異なりや色ずれの程度から、例えば、走行中の車両Ｔｍの移動速度、移動方向、車間距離、または個数などの算出が必要に応じて行われる。移動体情報算出部１８５の算出結果は、例えば表示部１８３の画面において、数値や文字、色、太さや長さの異なる矢印などの図形として、移動体検出画像ＣＰ上に重ねて表示させるようにしても良い。
　なお、色強調画像（ＣＰ２）を移動体検出画像ＣＰとしてそのまま表示させる場合に限らず、例えば、実際の地図や既存の道路ネットワークデータ（Ｒ値）と組み合わせるようにしても良い。
　ここで、移動体の移動速度ｖ（ｔ）の算出方法の一例について説明する。
　移動体の移動距離ｄｓは、移動体のずれ量（ピクセル数×空間分解能）から計算できる。例えば、各画像用ラインセンサ２１４Ｒ２、２１４Ｒ１、２１４Ｇ、２１４Ｂ間のタイムラグｄｔが０．１秒であり、空間分解能が１ｍであったとする。そして、移動体が１ピクセル分ずれた場合（１秒間に約１０ｍ移動）、以下の式（１）より、移動体の速度ｖ（ｔ）は時速約３６ｋｍ／ｈとなる。
　　ｖ（ｔ）＝ｄｓ／ｄｔ　　…（１）
　ただし、ｖは移動体の速度、ｓは移動体の位置、ｔは時間（ライン毎撮影画像ｅＧｉの撮影時刻）である。
　なお、ライン毎撮影画像ｅＧｉの撮影時刻としては、例えば、メタデータファイル（図示省略）などに記録される撮影開始時刻及び終了時刻が利用される。
　因みに、人工衛星の速度（Ｖｋｍ／秒）は地表からの高度によって異なり、地表からＨｋｍの上空を円軌道で移動する人工衛星の速度Ｖは、以下の式（２）から求められる。
　　Ｖ＝（３９８６００／（６３７８＋Ｈ））1/2　　…（２）
　ただし、３９８６００（ｋｍ３／秒２）は地球の重力についての定義、６３７８（ｋｍ）は地球の赤道半径である。
　したがって、例えば、地表から６００ｋｍの上空を円軌道で移動する人工衛星の速度Ｖは、約７．５６ｋｍ／秒となる。
　また、移動体情報算出部１８５においては、移動体の速度などに限らず、例えば、ＣＯ２排出量（輸送重量×走行距離×ＣＯ２排出原単位）などを推定するようにしても良い。
　（動作説明）
　次に、上記した構成の移動体検出システムの移動体検出装置１６の動作について説明する。
　初めに、エリア抽出部１６５の処理を図９のフローチャートを用いて説明する。撮影画像用データベース１６３には、地球観測衛星１２の人工衛星カメラ２１によって撮影された、撮影エリアＴＥＧに対応する、１ライン走査毎のライン毎撮影画像ｅＧｉが順に蓄積されているとして説明する。
　撮影画像用データベース１６３には、例えば図１１（ａ）に示すように、Ｘ幅２．５ｍ×Ｙ幅５０ｋｍを１ラインとした、ライン毎同一波長成分画像Ｒｉ（Ｒ２）、ライン毎第１画像（Ｒ１）、ライン毎第２画像（Ｇ）、ライン毎第３画像（Ｂ）からなるライン毎撮影画像ｅＧｉの、少なくとも撮影日・時刻などのヘッダ情報ＥＨｉに対応付けられて特定エリアＥＷｉに渡る個数が記憶されているとして説明する。
　エリア抽出部１６５は、オペレーション部１６７により指定された特定エリアＥＷｉに相当する緯度、経度または時刻を読込む（Ｓ１）。
　次に、エリア抽出部１６５は、例えば、色強調画像用メモリ１７３内に特定エリアＥＷｉに対応する平面状（二次元状）のエリアＷＲｉを確保する（Ｓ２）。エリアＷＲｉとしては、例えば図１１（ｂ）に示すように、１メッシュが２．５ｍ間隔のメッシュＭｉを定義可能なサイズとする。
　そして、特定エリアＥＷｉにおける、指定された画像種のライン毎同一波長成分画像Ｒｉ（Ｒ２）と抽出したカラー合成画像ＧＷｉとを撮影画像用データベース１６３から読込み、抽出画像用メモリ１６９に記憶する（Ｓ３）。
　前述の抽出画像用メモリ１６９は、カラー画像用メモリ１６９ａとパンクロ画像生成用メモリ１６９ｂとからなり、抽出したカラー合成画像ＧＷｉは、カラー画像用メモリ１６９ａに記憶され、ライン毎同一波長成分画像Ｒｉ（Ｒ２）は、パンクロ画像生成用メモリ１６９ｂに記憶される。
　抽出画像用メモリ１６９に記憶されたカラー合成画像ＧＷｉの対応する個数のライン毎第１画像（Ｒ１）及びライン毎同一波長成分画像Ｒｉ（Ｒ２）は、重ね合わせ部１７１によって合成された後、さらに、カラー合成画像ＧＷｉと重ね合わされることにより、色強調前のパンシャープン画像ＣＰ１として、色強調画像用メモリ１７３内に記憶される。
　または、色強調前のパンシャープン画像ＣＰ１を表示制御部１８１内の画像メモリ１８１Ｍに書込んで、表示部１８３の画面上に表示させるようにしても良い。
　以下の説明では、画像種が白黒画像と指定され、特定エリアＥＷｉに対応する個数の同一波長成分画像Ｒｉ（Ｒ２）と同じ個数のライン毎第１画像（Ｒ１）とを重ね合わせた白黒合成画像ＧＥＡｉが、色強調画像用メモリ１７３内に記憶され、かつ、白黒合成画像ＧＥＡｉとカラー画像用メモリ１６９ａのカラー合成画像ＧＷｉとを重ね合わせた色強調前のパンシャープン画像ＣＰ１が、色強調画像用メモリ１７３のパンシャープン画像用記憶部に記憶されているとして説明する。
　次に、移動体検出処理を、図１０のフローチャートを用いて説明する。移動体検出処理は、移動体検出装置１６の色強調部１７５及び画素移動体判定部１７７などが行う処理である。
　図１０に示すように、まず、色強調部１７５は、例えば、色強調画像用メモリ１７３に記憶された色強調前のパンシャープン画像ＣＰ１の、ピクセル座標Ｐｚａｉ（ｉ，ｊ）を指定する（Ｓ０５）。
　そして、指定したピクセル座標Ｐｚａｉ（ｉ，ｊ）の画素データ（１ピクセル内のＲ２、Ｒ１、Ｇ、Ｂの成分：各ピクセル値）を読込む（Ｓ０６）。そして、読込んだ画素データの各ピクセル値が全て同じかどうかを判断する（Ｓ０７）。
　ステップＳ０７では、各々のピクセル値が全て同じでない場合（Ｒ１≠Ｇ≠Ｂ）、カラー合成画像ＧＷｉの画像データと判定する。つまり、全てのピクセル値が等しくない場合に、その画素は、移動体（例えば、Ｔｍ２）のものであると判定される。
　また、例えば図１８（ａ）に示すように、全てのピクセル値が等しい場合に、その画素は、背景の白黒画像（一例として、Ｒ＝Ｇ＝Ｂ＝１０８ならば黒ＰＫ、Ｒ＝Ｇ＝Ｂ＝２００ならば白ＰＷ）のものであると判定される（ただし、２５６階調の場合）。
　ステップＳ０７で、カラー合成画像ＧＷｉの画素データと判定した場合（ＮＯ）は、指定したピクセル座標Ｐｚａｉ（ｉ，ｊ）に対応する画素の色種を決定する（Ｓ０８）。
　例えば、各ピクセル値がＲ１＝Ｒ２＝Ｇ≠Ｂ（ただし、Ｂ＞Ｒ１＝Ｒ２＝Ｇ）の場合は、「青」と判断する。また、各ピクセル値がＲ１＝Ｒ２＝Ｂ≠Ｇ（ただし、Ｇ＞Ｒ１＝Ｒ２＝Ｂ）の場合は、「緑」と判断する。さらに、各ピクセル値がＢ＝Ｇ≠（Ｒ１＝Ｒ２）（ただし、Ｒ１＝Ｒ２＞Ｇ＝Ｂ）の場合は、「赤」と判断する。一例として、２５６階調の場合において、例えば図１８（ａ）に示すように、Ｒ＝１７８で、Ｇ＝Ｂ＝１２９ならば赤（ＰＲ１）、Ｇ＝１７８で、Ｒ＝Ｂ＝１００ならば緑（ＰＧ）、Ｂ＝１７８で、Ｒ＝Ｇ＝１０２ならば青（ＰＢ）と判断される。
　そして、ステップＳ０８で決定した色種を読込み、この色種を強調する（Ｓ１０）。
　例えば、各ピクセル値がＢ＝Ｇ＜Ｒの場合は、Ｒのピクセル値だけを最大値にし、赤（ＰＲ１）を強調させる。また、各ピクセル値がＲ＝Ｂ＜Ｇの場合は、Ｇのピクセル値だけを最大値にし、緑（ＰＧ）を強調させる。さらに、各ピクセル値がＲ＝Ｇ＜Ｂの場合は、Ｂのピクセル値だけを最大値にし、青（ＰＢ）を強調させる。最大値というのは、例えば、２４０～２５５の範囲を含むとする（２５６階調の場合）。また、例えば図１８（ｂ）に示すように、最大値にするピクセル値以外の各ピクセル値は「０」にするようにしても良く、その色種をより強調させることができる。
　すなわち、色強調部１７５においては、例えば図１８（ｂ）に示すように、最高の階調度が赤（ＰＲ１）ならば、Ｒ＝２５５（Ｇ＝Ｂ＝０）、緑（ＰＧ）ならば、Ｇ＝２５５（Ｒ＝Ｂ＝０）、青（ＰＢ）ならば、Ｂ＝２５５（Ｒ＝Ｇ＝０）となるように、ステップＳ０８で決定された色種のみが最大値に近似して補正（強調）される。
　以上のような色強調処理によって、色強調前のパンシャープン画像ＣＰ１が色強調後のパンシャープン画像ＣＰ２とされることになる。例えば、所定の速度以上の速度で移動する移動体は、Ｒ１、Ｇ、Ｂの色ずれを伴うカラー画像として強調表示されることになる。
　次いで、色強調部１７５は、ピクセル座標Ｐｚａｉ（ｉ，ｊ）が他にあるかどうかを判断する（Ｓ１２）。
　ステップＳ１２で、ピクセル座標Ｐｚａｉ（ｉ，ｊ）が他にあると判断した場合（ＹＥＳ）は、ピクセル座標Ｐｚａｉ（ｉ，ｊ）を更新して、処理をステップＳ０６に戻す（Ｓ１３）。
　一方、ステップＳ０７で、各ピクセル値がほぼ同じ（Ｒ１＝Ｇ＝Ｂ）と判定した場合（ＹＥＳ）は、モノクロ画像の画素と判定し、処理をステップＳ１２に移す。
　また、画素移動体判定部１７７は、ステップＳ１２で、ピクセル座標Ｐｚａｉ（ｉ，ｊ）が他にないと判断した場合（ＮＯ）、ピクセル座標Ｐｚａｉ（ｉ，ｊ）を順次指定し（Ｓ１４、Ｓ１５）、「ｊ」の値がマックス値（例えば、ｍａｘ＝７６８）になるまで、ステップＳ０６以降を繰り返す。
　こうして、各画素が、例えば、「青」、「緑」、または「赤」を示している場合は、移動体を示すカラー画像と判断する（図１１（ｂ）参照）。
　「ｊ」の値が最大値の場合（Ｓ１４：ＹＥＳ）には、この色強調後のパンシャープン画像ＣＰ２を移動体検出画像ＣＰとして、表示制御部１８１の画像メモリ１８１Ｍに書込んで（Ｓ１６）、表示部１８３の画面上に表示させる（Ｓ１７）。
　この後、表示部１８３の画面上に移動体検出画像ＣＰが表示された状態において、例えば、移動体情報算出部１８５によって移動速度などの算出が必要に応じて行われる。
　図１２は、走行中の車両（移動体）を例に、移動体検出画像ＣＰの一例を示すものである。なお、図１２（ａ）は、色強調処理を施す前のパンシャープン画像ＣＰ１であり、図１２（ｂ）は、色強調処理を施した後のパンシャープン画像ＣＰ２である。
　色強調後のパンシャープン画像ＣＰ２においては、例えば図１２（ｂ）に示すように、停止中の車両や道路または建物などを含む背景（静止物体）はモノクロ画像として、走行中の車両のみがＴｍ１（Ｂ、Ｇ、Ｒ１）またはＴｍ２（Ｒ１、Ｇ、Ｂ）のようにカラー画像として表示されるとともに、図１２（ａ）の色強調前のパンシャープン画像ＣＰ１の場合よりも、表示のカラー画像がより強調される。
　なお、カラー画像における色種の順番（Ｒ１、Ｇ、ＢまたはＢ、Ｇ、Ｒ１）の異なりは、走行中の車両Ｔｍ１、Ｔｍ２の移動方向の違いによる。
　また、走行中の車両Ｔｍ１、Ｔｍ２の近傍に進行方向（移動方向）を示す矢印を表示させたり、移動速度を示す数値（時速）などを表示させたりするようにしても良い。
　なお、画像合成処理については、重ね合わせ部１７１において、ラインディレイ補正などの処理を実施した後に、幾何学的に重なり合うように位置合わせして得た各バンドのカラー画像を同一サイズで重ね合わせることにより作成できるので、ここでの詳細な説明は省略する。
　図１３（ａ）及び図１３（ｂ）は、移動体検出画像ＣＰにおける移動体の表示特性を示すものである。
　すなわち、一定速度以上のスピードで走行中の車両Ｔｍの場合、例えば図１３（ａ）に示すように、幾何学的に重なり合うように位置合わせして得た各バンドのカラー画像を同一サイズで重ね合わせたとしても、車両Ｔｍの画素間の移動が、その移動速度に応じて数ピクセルから十数ピクセルにおよぶため、移動体検出画像ＣＰにおけるＲ１、Ｇ、Ｂの色ずれが大きくなる。
　これに対し、停止中の車両Ｔｓの場合は、例えば図１３（ｂ）に示すように、簡単なラインディレイ補正などにより、各バンドのカラー画像がほぼ重なり合うので、移動体検出画像ＣＰにおけるＲ１、Ｇ、Ｂの色ずれは小さくなる。つまり、停止中の車両Ｔｓは、道路または建物などを含む背景（静止物体）と同様にモノクロ画像として表示される。
　図１４は、マルチスペクトルセンサ装置２１４における各画像用ラインセンサ２１４Ｒ２、２１４Ｒ１、２１４Ｇ、２１４Ｂの配置例（ライン配列）を模式的に示すものである。
　本実施の形態１においては、ＲＧＢカラー合成画像を生成するためのＲ１画像用ラインセンサ２１４Ｒ１とＧ画像用ラインセンサ２１４ＧとＢ画像用ラインセンサ２１４Ｂの、例えば、Ｒ１画像用ラインセンサ２１４Ｒ１に隣接するようにして、同一波長成分画像用ラインセンサ２１４Ｒ２が並列に配置されたマルチスペクトルセンサ装置２１４を採用している。すなわち、マルチスペクトルセンサ装置２１４の場合は、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２とが、パンクロマチック画像を取得するためのモノクロ画像用ラインセンサとなっている。
　なお、マルチスペクトルセンサ装置２１４においては、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２とを隣接させず、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２との間に、Ｇ画像用ラインセンサ２１４ＧとＢ画像用ラインセンサ２１４Ｂとを配置するようにしても良い（例えば、Ｒ１、Ｇ、Ｂ、Ｒ２）。
　また、いずれの場合においても、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２とを入れ替えることも可能である。
　Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２との間に、Ｇ画像用ラインセンサ２１４ＧとＢ画像用ラインセンサ２１４Ｂとを配置するようにしたマルチスペクトルセンサ装置２１４ＩＩについては、本実施の形態２として後述する。
　ここで、上記した構成のマルチスペクトルセンサ装置２１４を用いて、移動体をカラー表示させる場合の表示例について、さらに説明する。
　図１５（ａ）及び図１５（ｂ）は、停止中の車両Ｔｓとその表示例とを示すもので、停止中の車両Ｔｓの場合、カラー表示にＲ１、Ｇ、Ｂの色ずれは殆んど発生しない。
　図１６（ａ）及び図１６（ｂ）は、低速走行中の車両Ｔｍａとその表示例とを示すもので、低速走行中の車両Ｔｍａが図示実線の位置から図示破線の位置まで移動するのに伴って、カラー表示のＲ１、Ｇ、Ｂに若干の色ずれが発生する。
　図１７（ａ）及び図１７（ｂ）は、高速走行中の車両Ｔｍｂとその表示例とを示すもので、高速走行中の車両Ｔｍｂが図示実線の位置から図示破線の位置まで移動するのに伴って、カラー表示にＲ１、Ｇ、Ｂの大きな色ずれが発生する。
　したがって、移動体検出画像ＣＰにおいては、カラー表示が強調されることによって走行中の車両Ｔｍ（Ｔｍａ、Ｔｍｂ）を、より容易に識別できるとともに、カラー表示の色ずれの程度に応じて、走行中の車両Ｔｍが高速走行中の車両Ｔｍｂか、低速走行中の車両Ｔｍａかを簡単に判別することが可能である。
　また、カラー表示のＲ１、Ｇ、Ｂの並びは、走行中の車両Ｔｍの移動方向とマルチスペクトルセンサ装置２１４のライン配列とに依存するため、走行中の車両Ｔｍ（Ｔｍａ、Ｔｍｂ）がどちらの方向に移動しているかを自動的に認識できる。
　上記したように、本実施の形態１によれば、より効率的に走行中の車両を検出できるとともに、検出された走行中の車両の速度や方向を正確かつ自動的に把握できるようになる。
　すなわち、インターライン型構造のマルチスペクトルセンサ装置を用いて、ライン毎撮影画像ｅＧｉを取得する際に、同じバンドのラインセンサを２つ以上配置し、ライン間における信号電荷の読出し時間のわずかな差を利用して、１シーン分の移動体検出画像を取得するようにしている。
　これにより、静止物体はグレースケールによって、移動体は色付きの画像として、移動体検出画像上にそれぞれ表示できるようになるため、移動体検出画像上に走行中の車両だけをカラー表示させることが可能となる。
　しかも、走行中の車両をより強調させて表示させることが可能となるため、走行中の車両を確実に検出できるようになるとともに、検出された走行中の車両の速度や移動方向または個数などをも容易に算出できるようになる。
　したがって、従来のように前方視画像や直下視画像などのペア画像を用意せずとも、走行中の車両を静止物体と明確に区別でき、走行中の車両のみを効率良く検出できるマルチラインイメージセンサ装置、撮影装置、移動体検出システム、移動体検出装置、及び移動体検出プログラムを提供できる。
　なお、上記した実施の形態１においては、地球観測衛星１２などの人工衛星に、マルチスペクトルセンサ装置２１４を内蔵する人工衛星カメラ２１を搭載し、ライン毎撮影画像ｅＧｉを撮影するようにした場合を例に説明したが、プラットフォームとしては人工衛星に限らず、例えば、航空機、無人航空機、ＣＣＴＶ（Closed-Circuit television）、プリンタ、または顕微鏡などであっても良い。
　また、人工衛星としては、地球観測衛星１２に限定されないことは勿論である。
　また、マルチスペクトルセンサ装置２１４は、図１９または図２０に示すような構成としても良い。
　図１９は、本実施の形態に係るマルチスペクトルセンサ装置の他の構成例を示すもので、マルチスペクトルセンサ装置２１４１としては、例えば、Ｒ１画像用ラインセンサ２１４Ｒ１、同一波長成分画像用ラインセンサ２１４Ｒ２、Ｇ画像用ラインセンサ２１４Ｇ、及びＢ画像用ラインセンサ２１４Ｂが、それぞれ、３分割されたラインセンサを備えて構成されるものであっても良い。
　すなわち、Ｒ１画像用ラインセンサ２１４Ｒ１は、ラインセンサ２１４Ｒ１ａ、２１４Ｒ１ｂ、２１４Ｒ１ｃにより形成され、同一波長成分画像用ラインセンサ２１４Ｒ２は、ラインセンサ２１４Ｒ２ａ、２１４Ｒ２ｂ、２１４Ｒ２ｃにより形成され、Ｇ画像用ラインセンサ２１４Ｇは、ラインセンサ２１４Ｇａ、２１４Ｇｂ、２１４Ｇｃにより形成され、Ｂ画像用ラインセンサ２１４Ｂは、ラインセンサ２１４Ｂａ、２１４Ｂｂ、２１４Ｂｃにより形成されている。
　図２０は、本実施の形態に係るマルチスペクトルセンサ装置のさらに別の構成例を示すもので、マルチスペクトルセンサ装置２１４２としては、例えば、ラインセンサ２１４Ｒ１ａ、２１４Ｒ１ｂ、２１４Ｒ１ｃにより形成されるＲ１画像用ラインセンサと、ラインセンサ２１４Ｒ２ａ、２１４Ｒ２ｂ、２１４Ｒ２ｃにより形成される同一波長成分画像用ラインセンサと、ラインセンサ２１４Ｇａ、２１４Ｇｂ、２１４Ｇｃにより形成されるＧ画像用ラインセンサと、ラインセンサ２１４Ｂａ、２１４Ｂｂ、２１４Ｂｃにより形成されるＢ画像用ラインセンサと、を備えた構成としても良い。
　また、追加のラインセンサとしては、同一波長成分画像用ラインセンサ２１４Ｒ２によらず、Ｇ画像用ラインセンサまたはＢ画像用ラインセンサであっても良いし、同種のラインセンサを２ライン分以上追加するようにしても良い（例えば、Ｒ１、Ｒ２、Ｒ３）。
　図２１は、マルチスペクトルセンサ装置２１４ａを構成するようにした場合の第１変形例である。すなわち、このマルチスペクトルセンサ装置２１４ａの場合は、例えば、Ｂ１画像用ラインセンサ２１４Ｂ１とＢ２画像用ラインセンサ（同一波長成分画像用ラインセンサ）２１４Ｂ２とが、パンクロマチック画像を取得するためのモノクロ画像用ラインセンサとなっている。
　図２２は、マルチスペクトルセンサ装置２１４ｂを構成するようにした場合の第２変形例である。すなわち、このマルチスペクトルセンサ装置２１４ｂの場合は、例えば、Ｒ１画像用ラインセンサ２１４Ｒ１とＲ２画像用ラインセンサ（第１の同一波長成分画像用ラインセンサ）２１４Ｒ２とＲ３画像用ラインセンサ（第２の同一波長成分画像用ラインセンサ）２１４Ｒ３とが、パンクロマチック画像を取得するためのモノクロ画像用ラインセンサとなっている。
　図２３は、赤外（ＩＲ）または近赤外（ＮＩＲ）用のラインセンサ２１４Ｗを備えて、マルチスペクトルセンサ装置２１４ｃを構成するようにした場合の第３変形例である。すなわち、このマルチスペクトルセンサ装置２１４ｃの場合は、例えば、Ｒ１画像用ラインセンサ２１４Ｒ１とＲ２画像用ラインセンサ（第２の同一波長成分画像用ラインセンサ）２１４Ｒ２とが、パンクロマチック画像を取得するためのモノクロ画像用ラインセンサとなっている。
　このように、マルチスペクトルセンサ装置２１４、２１４ａ、２１４ｂ、２１４ｃは、１ライン走査分のカラー画像を同一時刻にて一度に取得できる既存のＣＣＤラインセンサに、さらに、Ｒ、Ｇ、Ｂのいずれかと同じバンドのセンサが少なくとも１ライン分以上新たに追加された構成とすることにより、移動体検出装置１６での移動体検出画像ＣＰの作成に伴って、移動体（画像の読込みの間に動いたもの）の色ずれをより明確に区別して表現できるようになる。
　また、移動体としては車両に限らず、マルチスペクトルセンサ装置での露光時間を、例えば、移動体検出装置１６から任意にコントロールできるようにすることで、船舶、航空機（Unmanned Aerial vehicle；ＵＡＶを含む）、雲、人、野生動物、または波など、あらゆる速度で移動する移動体の検出に対応できる。
　図２４は、移動体検出画像（イメージ画像）ＣＰａから、移動体としての雲Ｔａを検出する場合を例に示すものである。
　雲Ｔａを検出する場合においては、例えば、影の大きさなどから、雲Ｔａの高度や移動速度、成長の速度または大きさなどの算出が可能となる。特に、雲Ｔａの成長する速度や大きさなどを算出できるようにすることで、積乱雲の発生に伴う雷雨や集中豪雨（ゲリラ豪雨）などの警戒域を特定するような場合にも適用できる。
　図２５（ａ）～図２５（ｄ）は、移動体検出画像（イメージ画像）ＣＰｂから、移動体としての波Ｔｂを検出する場合を例に示すものである。
　波Ｔｂを検出する場合においては、例えば、波Ｔｂの速度や大きさなどの算出が可能となる。特に、波Ｔｂの速度や大きさなどを算出できるようにすることで、津波や海面の水位や流速の観測、または、波の位相の監視などにも適用できる。
　移動体としての波（津波）を検出する検出システムの具体例については、本実施の形態３として後述する。
　＜実施の形態２＞
　次に、本実施の形態２に係るマルチスペクトルセンサ装置（マルチラインイメージセンサ装置）が適用される移動体検出システムの構成について説明する。この実施の形態２は、マルチスペクトルセンサ装置のライン配列を、解像度に対する影響がより小さくなるようにした場合の例である。なお、上述した実施の形態１と同一部分には同一または類似の符号を付し、詳しい説明は省略する。
　図２６は、マルチスペクトルセンサ装置（ＭＳＳ）２１４ＩＩを備えた人工衛星カメラ２１の構成を概略的に示すものであって、図１及び図２に示した移動体検出システムにおける地球観測衛星１２に搭載されるものとして説明する。
　本実施の形態２の人工衛星カメラ２１は、三原色画像ラインセンサ（Ｒ１画像用ラインセンサ２１４Ｒ１、Ｇ画像用ラインセンサ２１４Ｇ、Ｂ画像用ラインセンサ２１４Ｂ）の他に、同一波長成分画像用ラインセンサ（例えば、Ｒ２画像用ラインセンサ２１４Ｒ２）をさらに備えてなる、いわゆる４ライン方式のマルチスペクトルセンサ装置２１４ＩＩを備える。
　ただし、このマルチスペクトルセンサ装置２１４ＩＩは、例えば平面視において、Ｒ１画像用ラインセンサ２１４Ｒ１、Ｇ画像用ラインセンサ２１４Ｇ、Ｂ画像用ラインセンサ２１４Ｂの順に配置された既存の３ライン方式のマルチスペクトルセンサの、そのＢ画像用ラインセンサ２１４Ｂの外側に隣接するようにして、同一波長成分画像用ラインセンサ２１４Ｒ２が所定の間隔（物理的離隔距離）ＢＤを有して並列に配置されている。
　すなわち、本実施の形態２に係るマルチスペクトルセンサ装置２１４ＩＩは、例えば図２６に示すように、一端側のＲ１画像用ラインセンサ２１４Ｒ１と他端側の同一波長成分画像用ラインセンサ２１４Ｒ２との間に、Ｇ画像用ラインセンサ２１４ＧとＢ画像用ラインセンサ２１４Ｂとが配置されている点で、実施の形態１に係るマルチスペクトルセンサ装置２１４とは構成が異なる。
　このような構成のマルチスペクトルセンサ装置２１４ＩＩによれば、移動体検出用のマルチラインイメージセンサとしての機能を備えたことによって、例えば解像度はそのままに、ＲＧＢカラー合成画像の撮影が可能な既存の三原色画像ラインセンサとしての役割を果たしながら、移動体だけをカラー画像により強調表示させ、それ以外の静止物体をモノクロ表示させた移動体検出画像ＣＰを容易に取得できるようになる。
　これにより、移動体検出画像ＣＰ上において、より一層、移動体だけを目立たせることが可能となる。したがって、１シーン分の移動体検出画像ＣＰから目視によって移動体（変化分）を簡単に検出できるようになるとともに、コンピュータ処理においても、移動体を効率良く自動抽出することが可能となる。
　図２７は、マルチスペクトルセンサ装置２１４の断面構造を概略的に示すものであって、ここでは、図２６のＩＩ－ＩＩ線に沿う断面を例示して説明する。
　マルチスペクトルセンサ装置２１４ＩＩにおいて、Ｒ１画像用ラインセンサ２１４Ｒ１は、例えば、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたフォトダイオードＰＤ群２１４Ｒ１ｐとなるフォトダイオードＰＤの受光領域（ｎ型層）２３４と、受光領域２３４から離間して、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたＣＣＤ群２１４Ｒ１ｆとなる垂直ＣＣＤのレジスタ部（ｎ＋型層）２１４Ｒ１ｔと、を備える。
　同様に、Ｇ画像用ラインセンサ２１４Ｇは、例えばＲ１画像用ラインセンサ２１４Ｒ１の一端側に物理的離隔距離ＢＤを有して隣接配置されており、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたフォトダイオードＰＤ群２１４ＧｐとなるフォトダイオードＰＤの受光領域（ｎ型層）２３４と、受光領域２３４から離間して、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたＣＣＤ群２１４Ｇｆとなる垂直ＣＣＤのレジスタ部（ｎ＋型層）２１４Ｇｔと、を備える。
　同様に、Ｂ画像用ラインセンサ２１４Ｂは、例えばＧ画像用ラインセンサ２１４Ｇの一端側に物理的離隔距離ＢＤを有して隣接配置されており、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたフォトダイオードＰＤ群２１４ＢｐとなるフォトダイオードＰＤの受光領域（ｎ型層）２３４と、受光領域２３４から離間して、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたＣＣＤ群２１４Ｂｆとなる垂直ＣＣＤのレジスタ部（ｎ＋型層）２１４Ｂｔと、を備える。
　同様に、同一波長成分画像用ラインセンサ２１４Ｒ２は、例えばＢ画像用ラインセンサ２１４Ｂの一端側に物理的離隔距離ＢＤを有して隣接配置されており、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたフォトダイオードＰＤ群２１４Ｒ２ｐとなるフォトダイオードＰＤの受光領域（ｎ型層）２３４と、受光領域２３４から離間して、ｐ型Ｓｉ基板２３０の表面部またはｐ型ウェル２３２の表面部に形成されたＣＣＤ群２１４Ｒ２ｆとなる垂直ＣＣＤのレジスタ部（ｎ＋型層）２１４Ｒ２ｔと、を備える。
　また、各画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２は、受光領域２３４を除く、ｐ型Ｓｉ基板２３０上またはｐ型ウェル２３２上に、絶縁膜２３６を介して設けられたポリＳｉ電極Ｇ２３８と、ポリＳｉ電極２３８上に絶縁膜２３６を介して設けられ、受光領域２３４の一部に開口を有する遮光膜２４０と、全面に設けられた透明な樹脂層２４２と、をそれぞれ備える。
　そして、Ｒ１画像用ラインセンサ２１４Ｒ１は、受光領域２３４に対応する、樹脂層２４２の上面部にオンチップで設けられ、例えば、波長６２０～７５０ｎｍの帯域の光を透過するＲ１画像用カラーフィルタ２４４Ｒ１と、Ｒ１画像用カラーフィルタ２４４Ｒ１に対応する樹脂層２４２上にオンチップで設けられたマイクロレンズ２４６と、をさらに備える。
　また、Ｇ画像用ラインセンサ２１４Ｇは、受光領域２３４に対応する、樹脂層２４２の上面部にオンチップで設けられ、例えば、波長４９５～５９０ｎｍの帯域の光を透過するＧ画像用カラーフィルタ２４４Ｇと、Ｇ画像用カラーフィルタ２４４Ｇに対応する樹脂層２４２上にオンチップで設けられたマイクロレンズ２４６と、をさらに備える。
　また、Ｂ画像用ラインセンサ２１４Ｂは、受光領域２３４に対応する、樹脂層２４２の上面部にオンチップで設けられ、例えば、波長４５０～４９５ｎｍの帯域の光を透過するＢ画像用カラーフィルタ２４４Ｂと、Ｂ画像用カラーフィルタ２４４Ｂに対応する樹脂層２４２上にオンチップで設けられたマイクロレンズ２４６と、をさらに備える。
　また、同一波長成分画像用ラインセンサ２１４Ｒ２は、受光領域２３４に対応する、樹脂層２４２の上面部にオンチップで設けられ、上述のＲ１画像用カラーフィルタ２４４Ｒ１と同一の、例えば、波長６２０～７５０ｎｍの帯域の光を透過するＲ２画像用カラーフィルタ２４４Ｒ２と、Ｒ２画像用カラーフィルタ２４４Ｒ２に対応する樹脂層２４２上にオンチップで設けられたマイクロレンズ２４６と、をさらに備える。
　上記した構成のマルチスペクトルセンサ装置２１４ＩＩの場合も、各波長の帯域は一例であり、画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２毎に半値幅などが異なるものであっても良い。
　図２８は、本実施の形態２に係るマルチスペクトルセンサ装置２１４ＩＩにおける各画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２の配置例（ライン配列）を模式的に示すものである。
　本実施の形態２においては、図２８に示すように、ＲＧＢカラー合成画像を生成するためのＲ１画像用ラインセンサ２１４Ｒ１とＧ画像用ラインセンサ２１４ＧとＢ画像用ラインセンサ２１４Ｂの、例えば、Ｂ画像用ラインセンサ２１４Ｂに隣接するようにして、同一波長成分画像用ラインセンサ２１４Ｒ２が並列に配置されたマルチスペクトルセンサ装置２１４ＩＩを採用している。すなわち、このマルチスペクトルセンサ装置２１４ＩＩの場合も、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２とが、パンクロマチック画像を合成するためのモノクロ画像用ラインセンサとなっている。
　ここで、本実施の形態２に係るマルチスペクトルセンサ装置２１４ＩＩにおいては、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２との間に、少なくともＧ画像用ラインセンサ２１４ＧまたはＢ画像用ラインセンサ２１４Ｂのいずれか一方を配置するようにしている。Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２とを隣接させないことで、解像度が変化する（例えば、２倍になる）のを防止できる。
　なお、Ｒ１画像用ラインセンサ２１４Ｒ１と同一波長成分画像用ラインセンサ２１４Ｒ２とを隣接配置しないことを除けば、ＳＤ方向とほぼ直交するライン方向に対して、各画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２は自由に配置できる。
　また、特定エリアＥＷｉを指定するための情報としては、平面直角座標、緯度、経度、撮影対象の地域名や住所、撮影日、撮影時刻（撮影開始時刻及び終了時刻）、または、全カラー合成画像ＡＥＧｉ上の座標（例えば、ＸａＹａ～ＸｆＹｆ）などがあげられる。
　さらには、図２９に示すように、例えば東京都（ＪＭａ）、港区（ＭＭ）、台場付近（ＤＭ）といったエリア名によって、特定エリアＥＷｉを指定できるようにしても良い。
　次に、マルチスペクトルセンサ装置２１４ＩＩによるライン走査のタイミングについて図３０、図３１、図３２を用いて説明を補充する。
　図３０は、移動体を停止中の車両Ｔｓとした場合を例に示すもので、移動体をライン走査する場合のタイミングチャートである。ここで、図３０の（ａ）は、マルチスペクトルセンサ装置２１４ＩＩと車両Ｔｓとの関係を示す概略図、図３０の（ｂ）は、撮影命令の概略波形図、図３０の（ｃ）は、フォトダイオードＰＤ群２１４Ｒ１ｐの露光例を示す概略図、図３０の（ｄ）は、ＣＣＤ群２１４Ｒ１ｆの転送例を示す概略図、図３０の（ｅ）は、転送時の波形成型出力例、図３０の（ｆ）は、フォトダイオードＰＤ群２１４Ｇｐの露光例を示す概略図、図３０の（ｇ）は、ＣＣＤ群２１４Ｇｆの転送例を示す概略図、図３０の（ｈ）は、転送時の波形成型出力例、図３０の（ｉ）は、フォトダイオードＰＤ群２１４Ｂｐの露光例を示す概略図、図３０の（ｊ）は、ＣＣＤ群２１４Ｂｆの転送例を示す概略図、図３０の（ｋ）は、転送時の波形成型出力例、図３０の（ｍ）は、フォトダイオードＰＤ群２１４Ｒ２ｐの露光例を示す概略図、図３０の（ｎ）は、ＣＣＤ群２１４Ｒ２ｆの転送例を示す概略図、図３０の（ｐ）は、転送時の波形成型出力例である。ここでは、図３０の（ａ）に示すように、マルチスペクトルセンサ装置２１４ＩＩは、図示（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に、ＳＤ方向に一定の速度で移動しながらライン走査するものとする。
　また、停止中の車両Ｔｓの場合、Ｒ１画像用ラインセンサ２１４Ｒ１による露光の終了からＧ画像用ラインセンサ２１４Ｇによる露光の開始までの間、Ｇ画像用ラインセンサ２１４Ｇによる露光の終了からＢ画像用ラインセンサ２１４Ｂによる露光の開始までの間、Ｂ画像用ラインセンサ２１４Ｂによる露光の終了から同一波長成分画像用ラインセンサ２１４Ｒ２による露光の開始までの間には、それぞれ、時間ｔ１、時間ｔ２、時間ｔ３が存在するものとする（ｔ１＝ｔ２＝ｔ３）。
　停止中の車両Ｔｓは、図３０の（ｂ）に示すように、例えば移動体検出装置１６からの撮影命令にしたがって、まずは図示（Ａ）のタイミングにおいて、図３０の（ｃ）に示すように、Ｒ１画像用ラインセンサ２１４Ｒ１のフォトダイオードＰＤ群２１４Ｒ１ｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｒ１ｐの信号電荷は、露光の終了に伴って、図３０の（ｄ）及び図３０の（ｅ）に示すように、波形成型出力に応じた時間Ｌ１で、Ｒ１画像用ラインセンサ２１４Ｒ１のＣＣＤ群２１４Ｒ１ｆへと転送される。
　次いで、停止中の車両Ｔｓは、図示（Ｂ）のタイミングにおいて、図３０の（ｆ）に示すように、Ｇ画像用ラインセンサ２１４ＧのフォトダイオードＰＤ群２１４Ｇｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｇｐの信号電荷は、露光の終了に伴って、図３０の（ｇ）及び図３０の（ｈ）に示すように、Ｇ画像用ラインセンサ２１４ＧのＣＣＤ群２１４Ｇｆへと転送される。
　次いで、停止中の車両Ｔｓは、図示（Ｃ）のタイミングにおいて、図３０の（ｉ）に示すように、Ｂ画像用ラインセンサ２１４ＢのフォトダイオードＰＤ群２１４Ｂｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｂｐの信号電荷は、露光の終了に伴って、図３０の（ｊ）及び図３０の（ｋ）に示すように、Ｂ画像用ラインセンサ２１４ＢのＣＣＤ群２１４Ｂｆへと転送される。
　次いで、停止中の車両Ｔｓは、図示（Ｄ）のタイミングにおいて、図３０の（ｍ）に示すように、同一波長成分画像用ラインセンサ２１４Ｒ２のフォトダイオードＰＤ群２１４Ｒ２ｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｒ２ｐの信号電荷は、露光の終了に伴って、図３０の（ｎ）及び図３０の（ｐ）に示すように、同一波長成分画像用ラインセンサ２１４Ｒ２のＣＣＤ群２１４Ｒ２ｆへと転送される。
　図３１は、移動体を低速走行中の車両Ｔｍａとした場合を例に示すもので、移動体をライン走査する場合のタイミングチャートである。ここで、図３１の（ａ）は、マルチスペクトルセンサ装置２１４ＩＩと車両Ｔｍａとの関係を示す概略図、図３１の（ｂ）は、撮影命令の概略波形図、図３１の（ｃ）は、フォトダイオードＰＤ群２１４Ｒ１ｐの露光例を示す概略図、図３１の（ｄ）は、ＣＣＤ群２１４Ｒ１ｆの転送例を示す概略図、図３１の（ｅ）は、転送時の波形成型出力例、図３１の（ｆ）は、フォトダイオードＰＤ群２１４Ｇｐの露光例を示す概略図、図３１の（ｇ）は、ＣＣＤ群２１４Ｇｆの転送例を示す概略図、図３１の（ｈ）は、転送時の波形成型出力例、図３１の（ｉ）は、フォトダイオードＰＤ群２１４Ｂｐの露光例を示す概略図、図３１の（ｊ）は、ＣＣＤ群２１４Ｂｆの転送例を示す概略図、図３１の（ｋ）は、転送時の波形成型出力例、図３１の（ｍ）は、フォトダイオードＰＤ群２１４Ｒ２ｐの露光例を示す概略図、図３１の（ｎ）は、ＣＣＤ群２１４Ｒ２ｆの転送例を示す概略図、図３１の（ｐ）は、転送時の波形成型出力例である。ここでは、図３１の（ａ）に示すように、マルチスペクトルセンサ装置２１４ＩＩは、図示（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に、ＳＤ方向に一定の速度で移動しながらライン走査するものとする。
　また、低速走行中の車両Ｔｍａの場合、車両Ｔｍａが所定の速度により図示矢印ＭＤ方向に移動しているものとすると、Ｒ１画像用ラインセンサ２１４Ｒ１による露光の終了からＧ画像用ラインセンサ２１４Ｇによる露光の開始までの間、Ｇ画像用ラインセンサ２１４Ｇによる露光の終了からＢ画像用ラインセンサ２１４Ｂによる露光の開始までの間、Ｂ画像用ラインセンサ２１４Ｂによる露光の終了から同一波長成分画像用ラインセンサ２１４Ｒ２による露光の開始までの間には、それぞれ速度に応じて、時間ｔ１’（ｔ１’＜ｔ１）、時間ｔ２’（ｔ２’＜ｔ２）、時間ｔ３’（ｔ３’＜ｔ３）が存在するものとする（ｔ１’＝ｔ２’＝ｔ３’）。
　低速走行中の車両Ｔｍａは、図３１の（ｂ）に示すように、例えば移動体検出装置１６からの撮影命令にしたがって、まずは図示（Ａ）のタイミングにおいて、図３１の（ｃ）に示すように、Ｒ１画像用ラインセンサ２１４Ｒ１のフォトダイオードＰＤ群２１４Ｒ１ｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｒ１ｐの信号電荷は、露光の終了に伴って、図３１の（ｄ）及び図３１の（ｅ）に示すように、波形成型出力に応じた時間Ｌ１’で、Ｒ１画像用ラインセンサ２１４Ｒ１のＣＣＤ群２１４Ｒ１ｆへと転送される。
　次いで、低速走行中の車両Ｔｍａは、図示（Ｂ）のタイミングにおいて、図３１の（ｆ）に示すように、Ｇ画像用ラインセンサ２１４ＧのフォトダイオードＰＤ群２１４Ｇｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｇｐの信号電荷は、露光の終了に伴って、図３１の（ｇ）及び図３１の（ｈ）に示すように、Ｇ画像用ラインセンサ２１４ＧのＣＣＤ群２１４Ｇｆへと転送される。
　次いで、低速走行中の車両Ｔｍａは、図示（Ｃ）のタイミングにおいて、図３１の（ｉ）に示すように、Ｂ画像用ラインセンサ２１４ＢのフォトダイオードＰＤ群２１４Ｂｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｂｐの信号電荷は、露光の終了に伴って、図３１の（ｊ）及び図３１の（ｋ）に示すように、Ｂ画像用ラインセンサ２１４ＢのＣＣＤ群２１４Ｂｆへと転送される。
　次いで、低速走行中の車両Ｔｍａは、図示（Ｄ）のタイミングにおいて、図３１の（ｍ）に示すように、同一波長成分画像用ラインセンサ２１４Ｒ２のフォトダイオードＰＤ群２１４Ｒ２ｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｒ２ｐの信号電荷は、露光の終了に伴って、図３１の（ｎ）及び図３１の（ｐ）に示すように、同一波長成分画像用ラインセンサ２１４Ｒ２のＣＣＤ群２１４Ｒ２ｆへと転送される。
　図３２は、移動体を高速走行中の車両Ｔｍｂとした場合を例に示すもので、移動体をライン走査する場合のタイミングチャートである。ここで、図３２の（ａ）は、マルチスペクトルセンサ装置２１４ＩＩと車両Ｔｍｂとの関係を示す概略図、図３２の（ｂ）は、撮影命令の概略波形図、図３２の（ｃ）は、フォトダイオードＰＤ群２１４Ｒ１ｐの露光例を示す概略図、図３２の（ｄ）は、ＣＣＤ群２１４Ｒ１ｆの転送例を示す概略図、図３２の（ｅ）は、転送時の波形成型出力例、図３２の（ｆ）は、フォトダイオードＰＤ群２１４Ｇｐの露光例を示す概略図、図３２の（ｇ）は、ＣＣＤ群２１４Ｇｆの転送例を示す概略図、図３２の（ｈ）は、転送時の波形成型出力例、図３２の（ｉ）は、フォトダイオードＰＤ群２１４Ｂｐの露光例を示す概略図、図３２の（ｊ）は、ＣＣＤ群２１４Ｂｆの転送例を示す概略図、図３２の（ｋ）は、転送時の波形成型出力例、図３２の（ｍ）は、フォトダイオードＰＤ群２１４Ｒ２ｐの露光例を示す概略図、図３２の（ｎ）は、ＣＣＤ群２１４Ｒ２ｆの転送例を示す概略図、図３２の（ｐ）は、転送時の波形成型出力例である。ここでは、図３２の（ａ）に示すように、マルチスペクトルセンサ装置２１４ＩＩは、図示（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に、ＳＤ方向に一定の速度で移動しながらライン走査するものとする。
　また、高速走行中の車両Ｔｍｂの場合、車両Ｔｍｂが所定の速度以上の速度により図示矢印ＭＤ方向に移動しているものとすると、Ｒ１画像用ラインセンサ２１４Ｒ１による露光の終了からＧ画像用ラインセンサ２１４Ｇによる露光の開始までの間、Ｇ画像用ラインセンサ２１４Ｇによる露光の終了からＢ画像用ラインセンサ２１４Ｂによる露光の開始までの間、Ｂ画像用ラインセンサ２１４Ｂによる露光の終了から同一波長成分画像用ラインセンサ２１４Ｒ２による露光の開始までの間には、それぞれ速度に応じて、時間ｔ１’’（ｔ１’’＜ｔ１’）、時間ｔ２’’（ｔ２’’＜ｔ２’）、時間ｔ３’’（ｔ３’’＜ｔ３’）が存在するものとする（ｔ１’’＝ｔ２’’＝ｔ３’’）。
　高速走行中の車両Ｔｍｂは、図３２の（ｂ）に示すように、例えば移動体検出装置１６からの撮影命令にしたがって、まずは図示（Ａ）のタイミングにおいて、図３２の（ｃ）に示すように、Ｒ１画像用ラインセンサ２１４Ｒ１のフォトダイオードＰＤ群２１４Ｒ１ｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｒ１ｐの信号電荷は、露光の終了に伴って、図３２の（ｄ）及び図３２の（ｅ）に示すように、波形成型出力に応じた時間Ｌ１’’で、Ｒ１画像用ラインセンサ２１４Ｒ１のＣＣＤ群２１４Ｒ１ｆへと転送される。
　次いで、高速走行中の車両Ｔｍｂは、図示（Ｂ）のタイミングにおいて、図３２の（ｆ）に示すように、Ｇ画像用ラインセンサ２１４ＧのフォトダイオードＰＤ群２１４Ｇｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｇｐの信号電荷は、露光の終了に伴って、図３２の（ｇ）及び図３２の（ｈ）に示すように、Ｇ画像用ラインセンサ２１４ＧのＣＣＤ群２１４Ｇｆへと転送される。
　次いで、高速走行中の車両Ｔｍｂは、図示（Ｃ）のタイミングにおいて、図３２の（ｉ）に示すように、Ｂ画像用ラインセンサ２１４ＢのフォトダイオードＰＤ群２１４Ｂｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｂｐの信号電荷は、露光の終了に伴って、図３２の（ｊ）及び図３２の（ｋ）に示すように、Ｂ画像用ラインセンサ２１４ＢのＣＣＤ群２１４Ｂｆへと転送される。
　次いで、高速走行中の車両Ｔｍｂは、図示（Ｄ）のタイミングにおいて、図３２の（ｍ）に示すように、同一波長成分画像用ラインセンサ２１４Ｒ２のフォトダイオードＰＤ群２１４Ｒ２ｐによって露光される。そして、そのフォトダイオードＰＤ群２１４Ｒ２ｐの信号電荷は、露光の終了に伴って、図３２の（ｎ）及び図３２の（ｐ）に示すように、同一波長成分画像用ラインセンサ２１４Ｒ２のＣＣＤ群２１４Ｒ２ｆへと転送される。
　マルチスペクトルセンサ装置２１４ＩＩは、各画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２の物理的長さ（センサ長ＳＬ）や露光時間が固定されているものの、走行中の車両Ｔｍａ、Ｔｍｂの速度に応じて、各画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂ、２１４Ｒ２における露光のタイミングが変化する。
　すなわち、一定速度以上のスピードで走行中の車両Ｔｍｂの場合は、例えば図３３（ａ）に示すように、幾何学的に重なり合うように位置合わせして得た各バンドのカラー画像を同一サイズで重ね合わせたとしても、車両Ｔｍｂの画素間の移動が、その移動速度に応じて十数ピクセルにおよぶため、カラー表示のＲ１、Ｇ、Ｂに大きな色ずれが発生する。
　一方、一定速度以下のスピードで走行中の車両Ｔｍａの場合は、例えば図３３（ｂ）に示すように、幾何学的に重なり合うように位置合わせして得た各バンドのカラー画像を同一サイズで重ね合わせたとしても、車両Ｔｍａの画素間の移動が、その移動速度に応じて数ピクセルにおよぶため、カラー表示にＲ１、Ｇ、Ｂの小さな色ずれが発生する。
　ここで、移動体の移動方向とそのカラー表示（色ずれ）との関係について説明する。
　図３４（ａ）は、走行中の車両Ｔｍの移動方向（ＭＤ）と地球観測衛星１２の移動方向（ＳＤ）との関係を例示するもので、例えば図３１及び図３２に相当したものである。
　また、図３４（ｂ）は、地表面上における車両Ｔｍの移動方向を東側方向とし、図３４（ｃ）は、地表面上における車両Ｔｍの移動方向を西側方向とし、図３４（ｄ）は、地表面上における車両Ｔｍの移動方向を北側方向とし、図３４（ｅ）は、地表面上における車両Ｔｍの移動方向を南側方向とした場合の例である。
　走行中の車両Ｔｍは、図３４（ｂ）～図３４（ｅ）に示すように、その移動の方向にかかわらず、常に、移動方向に対するカラー表示がＢ、Ｇ、Ｒ１の順番となる（カラー表示にＲ２は特に関係しないので、図示省略）。
　すなわち、走行中の車両Ｔｍの場合、地球観測衛星１２の移動方向（ＳＤ）に対する、各画像用ラインセンサ２１４Ｒ１、２１４Ｇ、２１４Ｂの配列の順番に依存して、Ｂ、Ｇ、Ｒ１順の色ずれを生じる。したがって、その単一シーンの移動体検出画像ＣＰ上において、この色ずれを検出することにより、走行中の車両Ｔｍは勿論のこと、車両Ｔｍの移動の方向（ＭＤ）をも特定可能である。
　また、色ずれは、走行中の車両Ｔｍの速度にほぼ比例するため、そのずれ量から、走行中の車両Ｔｍの速度も容易に推定（算出）可能である。
　次に、上記した構成の移動体検出装置１６において取得可能な移動体検出画像ＣＰについて説明する。
　図３５（ａ）～図３５（ｃ）は、高速道路のＩＣ付近を実際に撮影して移動体検出装置１６によって移動体の変化量をカラー表示した場合を例示したものである。これにより、例えば図３５（ａ）に示すようなマルチスペクトル画像（特定エリアＥＷｉのカラー合成画像ＧＷｉ）と、また、例えば図３５（ｂ）に示すようなパンクロマチック画像（特定エリアＥＷｉの白黒合成画像ＧＥＡｉ）とを、幾何学的に重なり合うように位置合わせして、色強調前のパンシャープン画像ＣＰ１となる、図３５（ｃ）に示すような移動体検出画像（色強調前）が得られる。
　また、図３６（ａ）～図３６（ｃ）は、高速道路のＩＣと一般道とをつなぐ接続道路付近を実際に撮影した場合を例示したものである。なお、図３６（ａ）は、接続道路付近のマルチスペクトル画像（特定エリアＥＷｉのカラー合成画像ＧＷｉ）であり、図３６（ｂ）は、接続道路付近のパンクロマチック画像（特定エリアＥＷｉの白黒合成画像ＧＥＡｉ）であり、図３６（ｃ）は、接続道路付近の移動体検出画像（色強調前）としての色強調前のパンシャープン画像ＣＰ１である。
　図３７は、図３６（ｃ）に示した接続道路付近の色強調前のパンシャープン画像ＣＰ１を拡大して示すものある。
　この色強調前のパンシャープン画像ＣＰ１からも明らかなように、接続道路ＤＯ上を走行中の複数の車両Ｔｍｏは、いずれもＩＣ方向より交差点方向に近づくにつれて、赤信号により停止すべく徐々に減速し、それに伴って色ずれの大きいカラー表示から色ずれの小さいモノクロ表示へと変化する。
　逆に、ＩＣ方向に向かう車両Ｔｍｉは徐々に加速し、速度が増加するにつれて、色ずれの大きいカラー表示へと変化する。
　なお、このパンシャープン画像ＣＰ１は色強調前であって、走行中の車両Ｔｍｏ、Ｔｍｉに対して、上述の色強調処理を施すことにより、走行中の車両Ｔｍｏ、Ｔｍｉの表示がより鮮明となる。
　すなわち、例えば、当該色強調前のパンシャープン画像ＣＰ１の各画素が走行中の車両Ｔｍのものか否かが、そのピクセル値に基づいて判定される。例えば、各画素の色種別の階調度を示すピクセル値のいずれかが「０」でない場合、その画素は走行中の車両Ｔｍのものと判定され、逆に、各画素の色種別の階調度を示すピクセル値の全てが「０」の場合、その画素は静止物体のものと判定される。
　そして、走行中の車両Ｔｍのものと判定された各画素の色種別の階調度を示すピクセル値が、最大値（例えば、２４０～２５５）に変更される。
　こうして、色種別の階調度を示すピクセル値の全てが「０」でない画素の階調度がそれぞれ最大値に変更された色強調後のパンシャープン画像ＣＰ２が、移動体検出画像ＣＰとして表示されることとなる（図示省略）。
　上記したように、本実施の形態２によっても、より効率的に移動体を検出できるとともに、検出された移動体の速度や方向を正確かつ自動的に把握できるようになる。
　走行中の車両Ｔｍを自動的に検出できるようにすることで、例えば、その速度から、道路上の直線エリア、カーブエリア、山岳エリアの特定や勾配なども把握可能となる。
　特に、途上国などにおいて、走行中の車両Ｔｍを自動的に検出することで、地図上にない道路の新設により道路マップを更新する場合などにも適用できる。
　なお、本実施の形態２に係るマルチスペクトルセンサ装置２１４ＩＩは、図１９に示した構成のマルチスペクトルセンサ装置２１４１や、図２０に示した構成のマルチスペクトルセンサ装置２１４２などにも適用可能である。
　図３８は、本実施の形態２に係るマルチスペクトルセンサ装置２１４ＩＩにおいて、赤外（ＩＲ）または近赤外（ＮＩＲ）用のラインセンサ２１４Ｗをさらに備えて、マルチスペクトルセンサ装置２１４ｄとして構成するようにした場合の第１変形例である。
　図３９は、同一波長成分画像用ラインセンサ２１４Ｒ２によらず、追加のラインセンサとして、Ｇ２画像用ラインセンサ（同一波長成分画像用ラインセンサ）２１４Ｇ２を備えて、マルチスペクトルセンサ装置２１４ｅを構成するようにした場合の第２変形例である。すなわち、マルチスペクトルセンサ装置２１４ｅの場合は、Ｇ１画像用ラインセンサ２１４Ｇ１とＧ２画像用ラインセンサ２１４Ｇ２とが、Ｂ画像用ラインセンサ２１４Ｂを間に挟んで配置されて、パンクロ画像を取得するためのモノクロ画像用ラインセンサとなっている。
　図４０は、同一波長成分画像用ラインセンサ２１４Ｒ２によらず、追加のラインセンサとして、Ｂ２画像用ラインセンサ（同一波長成分画像用ラインセンサ）２１４Ｂ２を備えて、マルチスペクトルセンサ装置２１４ｆを構成するようにした場合の第３変形例である。すなわち、マルチスペクトルセンサ装置２１４ｆの場合は、Ｂ１画像用ラインセンサ２１４Ｂ１とＢ２画像用ラインセンサ２１４Ｂ２とが、Ｒ画像用ラインセンサ２１４ＲとＧ画像用ラインセンサ２１４Ｇとを間に挟んで配置されて、パンクロ画像を取得するためのモノクロ画像用ラインセンサとなっている。
　図４１は、同種のラインセンサを２ライン分以上追加するようにした場合の第４変形例であって、マルチスペクトルセンサ装置２１４ｇを構成した場合を例示している。すなわち、マルチスペクトルセンサ装置２１４ｇの場合は、Ｒ１画像用ラインセンサ２１４Ｒ１とＲ２画像用ラインセンサ（第１の同一波長成分画像用ラインセンサ）２１４Ｒ２とＲ３画像用ラインセンサ（第２の同一波長成分画像用ラインセンサ）２１４Ｒ３とが、それぞれ、Ｇ画像用ラインセンサ２１４ＧまたはＢ画像用ラインセンサ２１４Ｂを間に挟んで配置されて、パンクロ画像を取得するためのモノクロ画像用ラインセンサとなっている。
　このように、マルチスペクトルセンサ装置２１４ＩＩ、２１４ｄ、２１４ｅ、２１４ｆ、２１４ｇは、「Ｒ」、「Ｇ」、「Ｂ」のいずれかと同じバンドのセンサが少なくとも１ライン分以上の間隔を有して新たに追加された構成としたことにより、移動体検出装置１６での移動体検出画像ＣＰの作成において、移動体（画像の読込みの間に動いたもの）の色ずれをより確実に区別して表現できるようになる。
　＜実施の形態３＞
　次に、本実施の形態３に係るマルチスペクトルセンサ装置（マルチラインイメージセンサ装置）が適用される移動体検出システムの移動体検出装置１６の具体的な構成を、図４２を用いて説明する。
　ここでは、マルチスペクトルセンサ装置（ＭＳＳ）２１４、２１４ＩＩを内蔵する人工衛星カメラ２１を搭載した地球観測衛星１２によって、例えば、日本列島ＪＭの三陸沖の太平洋ＰＯ上をリアルタイムでセンシングする場合を例に説明する。
　また、三陸沖には雲がなく、衛星１２による観測時の解像度を２．５ｍ×３００ｋｍとした場合について説明する。
　地上センタの移動体検出装置１６は、例えば、実施の形態１のものであってもよいが、実施の形態３では別構成とした場合を例に説明する。
　取得部１６１は、アンテナ施設（図示せず）で受信した送信信号ＳＧｉに含まれているライン毎撮影画像ｅＧｉを、各画像用メモリ１６３ａ１～１６３ａ４に順次記憶する。
　このとき、ライン毎第１画像（Ｒ１）は第１のＲ画像用メモリ１６３ａ１に記憶し、ライン毎第２画像（Ｇ）は第１のＧ画像用メモリ１６３ａ２に記憶し、ライン毎第３画像（Ｂ）は第１のＢ画像用メモリ１６３ａ３に記憶している。
　一方、ライン毎同一波長成分画像Ｒｉ（Ｒ２）は、第１の同一波長成分画像用メモリ１６３ａ４に記憶しているとする。
　また、送信信号ＳＧｉに含まれているヘッダ情報ＥＨｉを、ライン毎撮影画像ｅＧｉに関連付けて、ヘッダ情報用データベース１６３ｂに記憶しているが、図４２においては図示しない。
　また、このとき、取得部１６１に含まれているＲ１用合成部３７０ａが、第１のＲ画像用メモリ１６３ａ１にライン毎第１画像（Ｒ１）が記憶される毎に、ラインディレイ補正、平面直角座標変換、またはオルソ補正などの処理を施した後、モザイク処理を施して第２のＲ画像用メモリ１６３ａ１１に記憶しているとする。
　また、取得部１６１に含まれているＧ用合成部３７０ｂが、第１のＧ画像用メモリ１６３ａ２にライン毎第２画像（Ｇ）が記憶される毎に、ラインディレイ補正、平面直角座標変換、またはオルソ補正などの処理を施した後、モザイク処理を施して第２のＧ画像用メモリ１６３ａ２２に記憶しているとする。
　また、取得部１６１に含まれているＢ用合成部３７０ｃが、第１のＢ画像用メモリ１６３ａ３にライン毎第３画像（Ｂ）が記憶される毎に、ラインディレイ補正、平面直角座標変換、またはオルソ補正などの処理を施した後、モザイク処理を施して第２のＢ画像用メモリ１６３ａ３３に記憶しているとする。
　さらに、取得部１６１に含まれている同一成分画像用合成部３７０ｄが、第１の同一波長成分画像用メモリ１６３ａ４にライン毎同一波長成分画像Ｒｉ（Ｒ２）が記憶される毎に、ラインディレイ補正、平面直角座標変換、またはオルソ補正などの処理を施した後、モザイク処理を施して第２の同一波長成分画像用メモリ１６３ａ４４に記憶しているとする。つまり、取得部１６１は、Ｒ１用合成部３７０ａと、Ｇ用合成部３７０ｂと、Ｂ用合成部３７０ｃと、同一成分画像用合成部３７０ｄとを備えている。
　すなわち、取得画像用データベース１６３ａは、第１のＲ画像用メモリ１６３ａ１と第１のＧ画像用メモリ１６３ａ２と第１のＢ画像用メモリ１６３ａ３と第１の同一波長成分画像用メモリ１６３ａ４とからなる第１の取得画像用データベースと、第２のＲ画像用メモリ１６３ａ１１と第２のＧ画像用メモリ１６３ａ２２と第２のＢ画像用メモリ１６３ａ３３と第２の同一波長成分画像用メモリ１６３ａ４４とからなる第２の取得画像用データベースとで構成されている。
　なお、取得画像用データベース１６３ａには、例えば、ライン毎撮影画像ｅＧｉの所定のレベル以上の成分のみを取り込むようにしても良い。
　カラー画像用メモリ１６９ａは、図４２に示すように、Ｒ１画像エリア用メモリ１６９ａ１と、Ｇ画像エリア用メモリ１６９ａ２と、Ｂ画像エリア用メモリ１６９ａ３とで構成されている。また、パンクロ画像生成用メモリ１６９ｂは、同一成分画像エリア用メモリともいう。
　エリア抽出部１６５は、図４２に示すように、Ｒ１画像用エリア抽出部３６５ａと、Ｇ画像用エリア抽出部３６５ｂと、Ｂ画像用エリア抽出部３６５ｃと、同一成分画像用エリア抽出部３６５ｄとを備えている。
　（エリア抽出部１６５の説明）
　Ｒ１画像用エリア抽出部３６５ａは、オペレーション部（図示せず）によって入力された解像度（画面の１ドット当たり２．５ｍまたは１０ｍ、・・２００ｍまたは１ｋｍ、・・）ｆｉを読込む。そして、この解像度ｆｉの大きさのメッシュＭｉを、Ｒ１画像エリア用メモリ１６９ａ１に定義する。また、任意の特定エリア（座標ＸａＹａ～ＸｆＹｆ）ＥＷｉの座標系に応じた大きさの領域を、第２のＲ画像用メモリ１６３ａ１１に定義する。
　そして、この特定エリアＥＷｉのライン毎第１画像（Ｒ１）が、オペレーション部によって指定された特定エリアＥＷｉに対応する個数分に到達する毎に、その特定エリア毎第１画像Ｅ（Ｒ１）にメッシュＭｉを順次定義する。そして、このメッシュＭｉに含まれている画素データを、Ｒ１画像エリア用メモリ１６９ａ１の該当のピクセルに格納する。
　また、Ｇ画像用エリア抽出部３６５ｂは、オペレーション部によって入力された解像度ｆｉを読込む。そして、この解像度ｆｉの大きさのメッシュＭｉを、Ｇ画像エリア用メモリ１６９ａ２に定義する。また、任意の特定エリアＥＷｉの座標系に応じた大きさの領域を、第２のＧ画像用メモリ１６３ａ２２に定義する。
　そして、この特定エリアＥＷｉのライン毎第２画像（Ｇ）がオペレーション部によって指定された特定エリアＥＷｉに対応する個数分に到達する毎に、その特定エリア毎第２画像Ｅ（Ｇ）にメッシュＭｉを順次定義する。そして、このメッシュＭｉに含まれている画素データを、Ｇ画像エリア用メモリ１６９ａ２の該当のピクセルに格納する。
　また、Ｂ画像用エリア抽出部３６５ｃは、オペレーション部によって入力された解像度ｆｉを読込む。そして、この解像度ｆｉの大きさのメッシュＭｉを、Ｂ画像エリア用メモリ１６９ａ３に定義する。また、任意の特定エリアＥＷｉの座標系に応じた大きさの領域を、第２のＢ画像エリア用メモリ１６３ａ３３に定義する。
　そして、この特定エリアＥＷｉのライン毎第３画像（Ｂ）がオペレーション部によって指定された特定エリアＥＷｉに対応する個数分に到達する毎に、その特定エリア毎第３画像Ｅ（Ｂ）にメッシュＭｉを順次定義する。そして、このメッシュＭｉに含まれている画素データを、Ｂ画像エリア用メモリ１６９ａ３の該当のピクセルに格納する。
　さらに、同一成分画像用エリア抽出部３６５ｄは、オペレーション部によって入力された解像度ｆｉを読込む。そして、この解像度ｆｉの大きさのメッシュＭｉを、パンクロ画像生成用メモリ１６９ｂに定義する。また、任意の特定エリアＥＷｉの座標系に応じた大きさの領域を、第２の同一波長成分画像用メモリ１６３ａ４４に定義する。
　そして、この特定エリアＥＷｉのライン毎同一波長成分画像Ｒｉ（Ｒ２）がオペレーション部によって指定された特定エリアＥＷｉに対応する個数分に到達する毎に、その特定エリア毎同一波長成分画像ＥＲｉ（Ｒ２）にメッシュＭｉを順次定義する。そして、このメッシュＭｉに含まれている画素データを、パンクロ画像生成用メモリ１６９ｂの該当のピクセルに格納する。
　重ね合わせ部１７１は、Ｒ１画像エリア用メモリ１６９ａ１、Ｇ画像エリア用メモリ１６９ａ２、Ｂ画像エリア用メモリ１６９ａ３及びパンクロ画像生成用メモリ１６９ｂの各々のピクセルを順に指定する。そして、指定されたこれらのピクセルの特定エリア毎第１画像Ｅ（Ｒ１）、特定エリア毎第２画像Ｅ（Ｇ）、特定エリア毎第３画像Ｅ（Ｂ）、特定エリア毎同一波長成分画像ＥＲｉ（Ｒ２）を、色強調画像用メモリ１７３に順次記憶して移動体検出画像ＣＰ（より正確には、色強調前のパンシャープン画像ＣＰ１）を得る。
　なお、ライン毎撮影画像ｅＧｉには、ライン毎撮影画像ｅＧｉ毎に、衛星ＩＤ、撮影年月日時刻、色種（Ｒ１、Ｇ、Ｂ、Ｒ２）、解像度（２．５ｍ）、緯度（Ｘ）、経度（Ｙ）、姿勢などのヘッダ情報ＥＨｉが関連付けられる。
　ここで、オペレータによる検出パラメータの設定としては、例えば津波検出時において、２００ｋｍ×２００ｋｍの津波検出エリア（ＸＹ～ＸＹ）ＴＥｉに対応する４隅の座標と、解像度（１００ｍ×１００ｍ）に応じた津波変化検出用範囲（ＷＡ）や、震源地ＳＣに関する情報（Ｅｉ）などがあげられる。
　すなわち、津波検出エリアＴＥｉに対して、１メッシュ（縦長×横幅）が津波変化検出用範囲（ＷＡ）の間隔（例えば１００ｍ×１００ｍ）とされたメッシュＭｉを設定する。
　なお、移動体検出画像ＣＰにおいては、平滑化処理したり、雲や船舶などは大体の形が分かっているので、適宜、除去したりするのが好ましい。
　図４３は、移動体検出画像ＣＰの表示画面において、地震の発生に伴って気象庁などから震源地ＳＣに関する情報（Ｅｉ）が提供された場合を仮想的に示したものである。
　この例の場合、移動体検出画像ＣＰには、例えば、日本列島ＪＭの三陸沖の太平洋ＰＯで発生した地震の震源地ＳＣと、その震源地ＳＣの近傍で発生したと思われる、津波パラメータを超える波Ｔｂと、が含まれる。したがって、図４３に示すように、波Ｔｂのカラー画像（Ｂ画像、Ｇ画像、Ｒ１画像）を、津波検出エリアＴＥｉに設定されるメッシュＭｉに格納させることによって、津波として検出可能となる。
　移動体検出装置１６においては、例えば、震源地ＳＣに関する情報（Ｅｉ）が検出パラメータとしてエリア抽出部１６５（３６５ａ、３６５ｂ、３６５ｃ、３６５ｄ）に供給されたことをきっかけに、処理を開始するようにしても良い。この場合、エリア抽出部１６５（３６５ａ、３６５ｂ、３６５ｃ、３６５ｄ）は、震源地ＳＣに関する情報（Ｅｉ）に基づいて、カラー画像用メモリ１６９ａ（１６９ａ１、１６９ａ２、１６９ａ３）とパンクロ画像生成用メモリ１６９ｂとに震源地ＳＣを定義させることが可能である。
　図４４は、移動体検出画像ＣＰの表示画面において、地震の発生に伴って気象庁などから震源地ＳＣに関する情報（Ｅｉ）が提供されない場合を仮想的に示したものである。
　この例の場合、移動体検出装置１６においては、常時、移動体検出画像ＣＰをモニタリングし続ける必要があるが、津波パラメータを超える波Ｔｂのカラー画像を、津波検出エリアＴＥｉに設定されるメッシュＭｉに格納させることによって、津波として検出可能となる。
　上記したように、実施の形態３によれば、津波のような移動体の検出にも適用できる。
　また、海に限らず、鉄砲水などによる河川の水位や流速の監視などといった河川の管理や、崖崩れ（地すべり）や雪崩などのような、大規模な自然災害のモニタリング（エネルギー試算など）にも利用できる。
　また、赤外線センサやＸ線センサなどを用いることによって、タンク内の容量をチェックしたり、夜間におけるトラックやコンテナなどの搬入や搬出をチェックしたりすることなどにも応用可能である。
　また、ラインセンサとしては、３ライン方式のようなセンサに限らず、例えば、ダイクロイックプリズムを用いた３ＣＣＤ方式のようなセンサとしても良い。また、ＦＰＡ方式など２次元センサとしても良い。
　さらには、ＣＣＤラインセンサに限らず、ＣＭＯＳ構造のラインセンサにも適用可能なことは勿論である。
　記載された機能や処理の各々は、一つ以上の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。
　また、本発明のプログラムは、非一時性のコンピュータ可読媒体（電気的、磁気的な方法によって情報を記録する記録媒体）に記録されているものであってもよい。プロセッサは、非一時性のコンピュータ可読媒体に格納された命令あるいはプログラムを実行するとによって、実施例に記載の手順を実行するものであってもよい。
　上記のように、本発明を上記の実施形態によって記載したが、この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。
　本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
　本出願は、２０１６年５月１３日に出願された日本国特許願第特願２０１６－０９６７３２号に基づく優先権、及び２０１７年４月２８日に出願された日本国特許願第２０１７－８９９９７号に基づく優先権を主張しており、この２つの出願の全内容が参照により本明細書に組み込まれる。
　本発明によれば、三原色画像と、三原色画像ラインセンサのいずれかの同一色の光の波長である同一波長成分画像とを同時に得ることができる。また、三原色画像と、三原色画像ラインセンサのいずれかの同一色の光の波長である同一波長成分画像とを同時に得るマルチラインイメージ装置を内蔵することで、撮影エリアを所定の高さを有し、所定の速度により一方向に移動する飛行体に設けて撮影して、これを送信する。このため、受信側では移動体の変化を直ぐに検出することが可能となる。さらに、飛行体からのカラー画像と同一波長成分画像と直ちに重ね合わせることが可能であるので、移動体の変化を色で直ちに検出できる。また、移動体の色が強調されているので、移動速度、移動方向、個数などの移動体情報をも高精度に算出できる。
　１０　地球
　１２　地球観測衛星（人工衛星／飛行体）
　１４　アンテナ施設
　１６　移動体検出装置（地上局）
　２１　人工衛星カメラ
　２３　受信部
　２５　センサ制御部
　２７　送信部
　１６１　取得部
　１７５　色強調部
　２１４、２１４ＩＩ　マルチスペクトルセンサ装置

Claims (20)

  1. 　互いに間隔を有して並列に配置された、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとを備える三原色画像ラインセンサと、
    　前記三原色画像ラインセンサのいずれかの画像用ラインセンサと前記間隔を有して並列に配置され、前記三原色画像ラインセンサのいずれかの画像用ラインセンサと同一色の光の波長を検出する第１の同一波長成分画像用ラインセンサとを有することを特徴とするマルチラインイメージセンサ装置。
  2. 　前記第１の同一波長成分画像用ラインセンサは、前記三原色画像ラインセンサのいずれかの画像用ラインセンサに隣接配置されていることを特徴とする請求項１に記載のマルチラインイメージセンサ装置。
  3. 　前記第１の同一波長成分画像用ラインセンサは、前記三原色画像ラインセンサのいずれかの画像用ラインセンサとは異なる画像用ラインセンサに隣接配置されていることを特徴とする請求項１に記載のマルチラインイメージセンサ装置。
  4. 　前記第１の同一波長成分画像用ラインセンサは、前記三原色画像ラインセンサを介して最も後段に配置されていることを特徴とする請求項１に記載のマルチラインイメージセンサ装置。
  5. 　前記Ｒ画像用ラインセンサは、
    　一定個数のＲ画像用フィルタを直列に配列したＲ画像用フィルタ群と、
    　前記Ｒ画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列したＲ画像用光電変換素子群と、を有し、
    　前記Ｇ画像用ラインセンサは、
    　前記Ｒ画像用フィルタ群に対して一定の前記間隔を有して並列に配置され、一定個数のＧ画像用フィルタを直列に配列したＧ画像用フィルタ群と、
    　前記Ｇ画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列したＧ画像用光電変換素子群と、を有し、
    　前記Ｂ画像用ラインセンサは、
    　前記Ｇ画像用フィルタ群に対して一定の前記間隔を有して並列に配置され、一定個数のＢ画像用フィルタを直列に配列したＢ画像用フィルタ群と、
    　前記Ｂ画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列したＢ画像用光電変換素子群と、を有して構成されており、
    　前記第１の同一波長成分画像用ラインセンサは、
    　前記Ｒ画像用フィルタ、前記Ｇ画像用フィルタ、または前記Ｂ画像用フィルタのいずれかと同一の一定個数の画像用フィルタが、前記Ｒ画像用フィルタ群、前記Ｇ画像用フィルタ群、または前記Ｂ画像用フィルタ群に対して一定の前記間隔を有して並列に配置された第１の同一波長成分画像用フィルタ群と、
    　前記第１の同一波長成分画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列した第１の同一波長成分画像用光電変換素子群と、
    　を有することを特徴とする請求項１乃至４のいずれか１項に記載のマルチラインイメージセンサ装置。
  6. 　さらに、
    　前記第１の同一波長成分画像用フィルタ群と同一の一定個数の画像用フィルタが、前記Ｒ画像用フィルタ群、前記Ｇ画像用フィルタ群、または前記Ｂ画像用フィルタ群、若しくは前記第１の同一波長成分画像用フィルタ群に対して、一定の前記間隔を有して並列に配置された第２の同一波長成分画像用フィルタ群と、
    　前記第２の同一波長成分画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列した第２の同一波長成分画像用光電変換素子群と、
    　を有する第２の同一波長成分画像用ラインセンサを備えて構成されていることを特徴とする請求項５に記載のマルチラインイメージセンサ装置。
  7. 　さらに、
    　一定個数の赤外画像用フィルタまたは近赤外画像用フィルタが、前記Ｒ画像用フィルタ群、前記Ｇ画像用フィルタ群、または前記Ｂ画像用フィルタ群、若しくは前記第１の同一波長成分画像用フィルタ群に対して、一定の前記間隔を有して並列に配置された赤外画像用フィルタ群と、
    　前記赤外画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列した赤外画像用光電変換素子群と、
    　を有する赤外画像用ラインセンサを備えて構成されていることを特徴とする請求項５または６に記載のマルチラインイメージセンサ装置。
  8. 　さらに、
    　前記Ｒ画像用光電変換素子群と、前記Ｇ画像用光電変換素子群と、前記Ｂ画像用光電変換素子群と、前記第１の同一波長成分画像用光電変換素子群とにそれぞれ並列に配列された垂直転送部を有して構成されていることを特徴とする請求項５乃至７のいずれか１項に記載のマルチラインイメージセンサ装置。
  9. 　撮影エリアに対して、所定の高さを有し、所定の速度により一方向に移動する飛行体に設けられ、前記飛行体の移動に伴って、三原色のカラー画像と、前記三原色のカラー画像のいずれかのカラー画像と同一色の光の波長のカラー画像である同一波長成分画像とを得る撮影装置であって、
    　マルチラインイメージセンサ装置を備え、
    　前記マルチラインイメージセンサ装置は、
    　互いに間隔を有して並列に配置された、Ｒ画像用ラインセンサとＧ画像用ラインセンサとＢ画像用ラインセンサとを備える三原色画像ラインセンサと、
    　前記三原色画像ラインセンサのいずれかの画像用ラインセンサと前記間隔を有して並列に配置され、前記三原色画像ラインセンサのいずれかの画像用ラインセンサと同一色の光の波長を検出する同一波長成分画像用ラインセンサとを備え、
    　さらに、
    　前記三原色画像ラインセンサ及び前記同一波長成分画像用ラインセンサに、前記撮影エリアからの光を結像させる光学系と、
    　前記三原色画像ラインセンサ及び前記同一波長成分画像用ラインセンサを駆動するセンサ駆動部と、
    　前記センサ駆動部の駆動に伴って出力された前記三原色画像ラインセンサからの各々の出力を第１画像、第２画像、第３画像として得て水平転送するとともに、前記同一波長成分画像用ラインセンサからの出力を前記同一波長成分画像として得て水平転送する水平転送部と
    　を有することを特徴とする撮影装置。
  10. 　前記Ｒ画像用ラインセンサは、
    　一定個数のＲ画像用フィルタを直列に配列したＲ画像用フィルタ群と、
    　前記Ｒ画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列したＲ画像用光電変換素子群と、
    　前記Ｒ画像用光電変換素子群に並列に配置された垂直転送部と、を有し、
    　前記Ｇ画像用ラインセンサは、
    　前記Ｒ画像用フィルタ群に対して一定間隔を有して並列に配置され、一定個数のＧ画像用フィルタを直列に配列したＧ画像用フィルタ群と、
    　前記Ｇ画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列したＧ画像用光電変換素子群と、
    　前記Ｇ画像用光電変換素子群に並列に配置された垂直転送部と、を有し、
    　前記Ｂ画像用ラインセンサは、
    　前記Ｇ画像用フィルタ群に対して一定間隔を有して並列に配置され、一定個数のＢ画像用フィルタを直列に配列したＢ画像用フィルタ群と、
    　前記Ｂ画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列したＢ画像用光電変換素子群と、
    　前記Ｂ画像用光電変換素子群に並列に配置された垂直転送部と、を有し、
    　前記同一波長成分画像用ラインセンサは、
    　前記Ｒ画像用フィルタ、前記Ｇ画像用フィルタ、または前記Ｂ画像用フィルタのいずれかと同一の一定個数の画像用フィルタが、前記Ｒ画像用フィルタ群、前記Ｇ画像用フィルタ群、または前記Ｂ画像用フィルタ群に対して、一定間隔を有して並列に配置された同一波長成分画像用フィルタ群と、
    　前記同一波長成分画像用フィルタ群の下層に設けられ、一定個数の光電変換素子を直列に配列した同一波長成分画像用光電変換素子群と、
    　前記同一波長成分画像用光電変換素子群に並列に配置された垂直転送部と、を有し、
    　前記Ｒ画像用ラインセンサの前記垂直転送部、前記Ｇ画像用ラインセンサの前記垂直転送部、前記Ｂ画像用ラインセンサの前記垂直転送部、及び前記同一波長成分画像用ラインセンサの前記垂直転送部が、前記水平転送部に接続されていることを特徴とする請求項９に記載の撮影装置。
  11. 　前記同一波長成分画像用ラインセンサは、
    　前記三原色画像ラインセンサのいずれかの画像用ラインセンサに隣接配置されていることを特徴とする請求項９または１０に記載の撮影装置。
  12. 　前記飛行体は、送信部を備え、
    　前記送信部は、
    　前記水平転送部を介して水平転送される前記第１画像と、前記第２画像と、前記第３画像と、前記同一波長成分画像とを撮影タイミング毎のライン毎撮影画像とし、このライン毎撮影画像に、前記飛行体の識別情報と、撮影の年月日と、時刻と、撮影時点の緯度及び経度と、色種と、送信先情報とを付加した送信信号を生成して送信する手段を有して構成されていることを特徴とする請求項９に記載の撮影装置。
  13. 　前記飛行体は、人工衛星であることを特徴とする請求項９または１２に記載の撮影装置。
  14. 　飛行体が撮影エリアに対して、所定の高さを有し、所定の速度により一方向に移動しながら取得したカラー画像とこのカラー画像のいずれかの画像と同一色の光の波長の画像である同一波長成分画像とで構成されたライン毎撮影画像を含む送信信号を受信し、この受信したライン毎撮影画像に基づいて前記撮影エリアの移動体の移動を検出する移動体検出装置であって、
    　撮影画像受信用記憶部と、カラー合成画像用記憶部と、白黒合成画像用記憶部と、パンシャープン画像用記憶部とを備え、
    　さらに、
    　前記飛行体からの前記送信信号を受信する毎に、この送信信号に含まれている前記ライン毎撮影画像に含まれている前記カラー画像と前記同一波長成分画像とを色種別に前記撮影画像受信用記憶部に記憶する手段と、
    　前記撮影画像受信用記憶部に前記色種別のライン毎撮影画像が記憶される毎に、前記ライン毎撮影画像が所定数に達したか否かを判定する判定手段と、
    　前記所定数に達する毎に、前記カラー画像の第１画像と第２画像と第３画像とを重ね合わせてカラー合成画像を生成し、これを前記カラー合成画像用記憶部に記憶する手段と、
    　前記所定数に達する毎に、前記第１画像と前記同一波長成分画像とを合成して白黒合成画像を生成し、これを前記白黒合成画像用記憶部に記憶する手段と、
    　前記カラー合成画像と前記白黒合成画像とを重ねたパンシャープン画像を生成し、これを前記パンシャープン画像用記憶部に記憶する重ね合わせ手段と、
    　少なくとも前記パンシャープン画像を出力する手段と、
    　を有することを特徴とする移動体検出装置。
  15. 　さらに、
    　前記パンシャープン画像における前記カラー合成画像の、前記色種別の階調度を補正して色表現性を強調し、移動体検出画像を生成する色強調部を備えることを特徴とする請求項１４に記載の移動体検出装置。
  16. 　さらに、同一成分画像用メモリを備え、
    　前記判定手段は、
    　前記パンシャープン画像が生成される毎に、前記同一成分画像用メモリに、前記パンシャープン画像と同じ解像度となる幅のメッシュを定義する手段と、
    　前記メッシュの座標を順に指定する手段と、を有し、
    　前記色強調部は、
    　前記メッシュの各座標が指定される毎に、当該座標の色種別の階調度を読込み、前記色種別の階調度の中で最高の階調度を最大値に変更することにより、前記補正を行って前記移動体検出画像を得ることを特徴とする請求項１５に記載の移動体検出装置。
  17. 　さらに、
    　前記移動体検出画像に基づいて、前記移動体の速度、方向を算出する算出部を有して構成されることを特徴とする請求項１５に記載の移動体検出装置。
  18. 　前記所定数は、前記撮影エリアに相当するライン数であり、
    　前記判定手段は、
    　前記第１画像、前記第２画像、前記第３画像、前記同一波長成分画像が、前記ライン数に到達したときに、前記重ね合わせ手段を起動させる手段をさらに有することを特徴とする請求項１４に記載の移動体検出装置。
  19. 　飛行体が撮影エリアに対して、所定の高さを有し、所定の速度により一方向に移動しながら取得したカラー画像とこのカラー画像のいずれかの画像と同一色の光の波長の画像である同一波長成分画像とで構成されたライン毎撮影画像を含む送信信号を受信し、この受信したライン毎撮影画像に基づいて前記撮影エリアの移動体の移動を検出する移動体検出プログラムであって、
    　コンピュータを、
    　前記飛行体からの前記送信信号を受信する毎に、この送信信号に含まれている前記ライン毎撮影画像に含まれている前記カラー画像と前記同一波長成分画像とを色種別に撮影画像受信用記憶部に記憶する手段、
    　前記撮影画像受信用記憶部に前記色種別のライン毎撮影画像が記憶される毎に、前記ライン毎撮影画像が所定数に達したか否かを判定する手段、
    　前記所定数に達する毎に、前記カラー画像の第１画像と第２画像と第３画像とを合成したカラー合成画像を生成し、これをカラー合成画像用記憶部に記憶する手段、
    　前記所定数に達する毎に、前記第１画像と前記同一波長成分画像とを合成して白黒合成画像を生成し、これを白黒合成画像用記憶部に記憶する手段、
    　前記カラー合成画像と前記白黒合成画像とを重ねたパンシャープン画像を生成し、これをパンシャープン画像用記憶部に記憶する手段、
    　少なくとも前記パンシャープン画像を出力する手段として機能させる移動体検出プログラム。
  20. 　前記コンピュータを、
    　前記パンシャープン画像における前記カラー合成画像の、前記色種別の階調度を補正して色表現性を強調し、移動体検出画像を生成する手段
    　として機能させる請求項１９に記載の移動体検出プログラム。
PCT/JP2017/017804 2016-05-13 2017-05-11 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム WO2017195858A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-096732 2016-05-13
JP2016096732 2016-05-13
JP2017089997A JP6959029B2 (ja) 2016-05-13 2017-04-28 マルチラインイメージセンサ装置及び撮影装置
JP2017-089997 2017-04-28

Publications (1)

Publication Number Publication Date
WO2017195858A1 true WO2017195858A1 (ja) 2017-11-16

Family

ID=60267256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017804 WO2017195858A1 (ja) 2016-05-13 2017-05-11 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム

Country Status (1)

Country Link
WO (1) WO2017195858A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250706A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 画像処理方法、および、メタデータのデータ構造
CN112313472A (zh) * 2018-10-29 2021-02-02 松下知识产权经营株式会社 信息提示方法、信息提示装置、以及信息提示系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060842A (ja) * 2001-08-16 2003-02-28 Sony Corp カラーリニアセンサ
WO2011010641A1 (ja) * 2009-07-21 2011-01-27 Ｎｅｃ東芝スペースシステム株式会社 撮像装置、撮像方法、撮像回路及びプログラム
JP2012104931A (ja) * 2010-11-08 2012-05-31 Fuji Xerox Co Ltd 画像読み取り装置および画像形成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060842A (ja) * 2001-08-16 2003-02-28 Sony Corp カラーリニアセンサ
WO2011010641A1 (ja) * 2009-07-21 2011-01-27 Ｎｅｃ東芝スペースシステム株式会社 撮像装置、撮像方法、撮像回路及びプログラム
JP2012104931A (ja) * 2010-11-08 2012-05-31 Fuji Xerox Co Ltd 画像読み取り装置および画像形成装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112313472A (zh) * 2018-10-29 2021-02-02 松下知识产权经营株式会社 信息提示方法、信息提示装置、以及信息提示系统
CN112313472B (zh) * 2018-10-29 2023-12-26 松下知识产权经营株式会社 信息提示方法、信息提示装置、以及信息提示系统
WO2020250706A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 画像処理方法、および、メタデータのデータ構造

Similar Documents

Publication Publication Date Title
JP6291624B1 (ja) 移動体検出装置及び移動体検出プログラム
US11514564B2 (en) System for detecting image abnormalities
EP2247094B1 (en) Orthophotographic image creating method and imaging device
US8385672B2 (en) System for detecting image abnormalities
EP1384046B1 (en) Digital camera for and method of obtaining overlapping images
KR101800905B1 (ko) 복수의 검출기 어레이를 구비한 다해상도 디지털 대형 카메라
KR20120095936A (ko) 복수의 광학 시스템 및 검출기 어레이들을 구비한 대형 디지털 카메라
WO2017195858A1 (ja) マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
WO2007094765A3 (en) Method and apparatus for performing wide area terrain mapping
Bostater Jr et al. Image analysis for water surface and subsurface feature detection in shallow waters
JP3772016B2 (ja) 波長選択型カメラ装置
Hinz et al. The Z/I imaging digital camera system
CN205679316U (zh) 一种基于自适应微透镜阵列传感器的数字变焦光谱成像仪
Bostater et al. Integration, testing, and calibration of imaging systems for land and water remote sensing
WO2020044628A1 (ja) 圃場撮影システムおよび圃場撮影方法
JP2022107601A (ja) 作物栽培支援装置
Jusoff et al. Mapping of power transmission lines on Malaysian highways using UPM-APSB’s AISA airborne hyperspectral imaging system
Peralta-Fabi et al. Development of a digital videogrammetric airborne system
Gordon Using orthorectification for cross-platform image fusion
Granshaw Photogrammetry and remote sensing
Dąbrowski et al. Evaluation of the possibility of using the miniMCAmultispectral camera in Imagery Intelligence
CN116665078A (zh) 一种基于无人机遥感的松材线虫病疫木影像识别方法
McGrath et al. AIRBORNE REMOTE SENSING OF GROUNDWATER EXPRESSION: AN INTEGRATED SENSOR PLATFORM
Hassan et al. Performances of frequency-based contextual classifier for land use/land cover using Cropcam UAV data
Sun et al. Gimbaled, high resolution, city-level, thermal Infrared mapping from an Airship platform

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17796216

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17796216

Country of ref document: EP

Kind code of ref document: A1