WO2019230443A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2019230443A1
WO2019230443A1 PCT/JP2019/019642 JP2019019642W WO2019230443A1 WO 2019230443 A1 WO2019230443 A1 WO 2019230443A1 JP 2019019642 W JP2019019642 W JP 2019019642W WO 2019230443 A1 WO2019230443 A1 WO 2019230443A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
data
unit
encoding
image
Prior art date
Application number
PCT/JP2019/019642
Other languages
English (en)
French (fr)
Inventor
武文 名雲
利昇 井原
北村　卓也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/058,084 priority Critical patent/US11758298B2/en
Publication of WO2019230443A1 publication Critical patent/WO2019230443A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of suppressing an increase in processing load of multi-wavelength data.
  • multi-wavelength data has a large amount of data, which may increase the processing load. As a result, the cost may increase.
  • the present disclosure has been made in view of such a situation, and is capable of suppressing an increase in the processing load of multi-wavelength data.
  • An image processing apparatus captures an object and generates multi-wavelength data that is image data including four or more wavelength components, and encodes the multi-wavelength data generated by the imaging unit.
  • the image processing apparatus includes: an encoding unit that generates encoded data of the multi-wavelength data; and a transmission unit that transmits the encoded data generated by the encoding unit.
  • An image processing method images a subject, generates multi-wavelength data that is image data including four or more wavelength components, encodes the generated multi-wavelength data, It is an image processing method for generating encoded data and transmitting the generated encoded data.
  • An image processing device images an object, generates an image data including a plurality of wavelength components, and quantizes the image data generated by the imaging unit for each wavelength component It is an image processing apparatus provided with the encoding part which quantizes and codes using a value.
  • An image processing method images a subject, generates image data including a plurality of wavelength components, quantizes the generated image data using a quantization value for each wavelength component, This is an image processing method for encoding.
  • An image processing device includes an imaging unit that captures an image of a subject and generates multi-wavelength data that is image data including four or more wavelength components, and the multi-wavelength data generated by the imaging unit.
  • a quantization unit that quantizes so that only a predetermined wavelength component is quantized with a smaller quantization value than other wavelength components, and encodes the multi-wavelength data quantized by the quantization unit,
  • An image processing apparatus includes an encoding unit that generates encoded data of multi-wavelength data.
  • an image processing method picks up a subject, generates multi-wavelength data that is image data including four or more wavelength components, and the generated multi-wavelength data includes only predetermined wavelength components. It is an image processing method for generating the encoded data of the multi-wavelength data by encoding the multi-wavelength data quantized and quantized so as to be quantized with a quantized value smaller than other wavelength components.
  • a subject is imaged, multi-wavelength data that is image data including four or more wavelength components is generated, and the generated multi-wavelength data is encoded. Encoded data of multi-wavelength data is generated, and the generated encoded data is transmitted.
  • a subject is imaged, image data including a plurality of wavelength components is generated, and the generated image data is generated using a quantization value for each wavelength component. Quantized and encoded.
  • a subject is imaged, multi-wavelength data, which is image data including four or more wavelength components, is generated, and the generated multi-wavelength data is a predetermined value. Only the wavelength component is quantized so as to be quantized with a smaller quantization value than the other wavelength components, the quantized multi-wavelength data is encoded, and encoded data of the multi-wavelength data is generated.
  • an image can be processed.
  • an increase in the processing load of multiwavelength data can be suppressed.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • Patent Document 1 (mentioned above) Patent Document 2: (described above)
  • Non-patent document 1 http://www.secure-drone.org/precision-agriculture/
  • Non-Patent Document 2 https://www.optim.co.jp/it-industry/agriculture/case-study/tpa/
  • Non-Patent Document 3 https://en.wikipedia.org/wiki/NDVI
  • Non-Patent Document 4 https://www.sci.osaka-cu.ac.jp/ ⁇ masumoto/vuniv2000/gis09.html
  • Non-Patent Document 5 http://www.ebajapan.jp/spectral.html
  • Non-Patent Document 6 https://www.argocorp.com/cam/special/HeadWall/how_it_works.html
  • Non-Patent Document 7 https://www.klv.co.jp/product/easy_hyperspectral3.html
  • multi-wavelength data necessary for grasping the growth status of plants is taken with an artificial satellite, aerial helicopter, drone, etc.
  • Multi-wavelength data of captured images obtained by these devices is transmitted to an analysis system constituted by a server (cloud) or the like and analyzed. Based on the analysis result, when the growing condition is bad, information such as topdressing is provided.
  • this multi-wavelength data is stored by a server (cloud) or the like and used at an arbitrary timing.
  • the stored multi-wavelength data is used for grasping the growth status of a plant, etc., which is performed at a later timing such as several days or months later.
  • NDVI Normalized Difference Difference Index
  • an imaging device capable of generating image data including four or more wavelength components is used.
  • An example of such an imaging apparatus is a hyperspectral camera.
  • a hyperspectrum is a spectrum that is split into several tens of bands (types). By acquiring hyperspectral information, it is possible to capture target characteristics and information that cannot be captured by the human eye or existing RGB cameras.
  • a hyperspectral camera is a camera that can acquire such hyperspectral information for each pixel of an image and simultaneously acquire two-dimensional spatial information and hyperspectral information.
  • a hyperspectral camera divides a wavelength of 350 nm (near ultraviolet) to 1100 nm (near infrared) at a predetermined wavelength interval to generate hyperspectral information.
  • the hyperspectral camera spectrally separates one horizontal line of the measurement visual field in the vertical direction by the line spectroscopic method, and detects horizontal spatial information and its spectral information by a two-dimensional detector.
  • the light reflected from the measurement target passes through the optical lens, passes through the entrance slit, goes to the spectroscopic engine (grating) through the collimation mirror, and the light for one horizontal line is split there.
  • the split light is directed to a two-dimensional detector via a focusing mirror, and is detected using the horizontal axis as spatial information and the vertical axis as wavelength information.
  • a two-dimensional image can be generated by moving a measurement target or camera and measuring a plurality of horizontal lines.
  • Such information is used in various fields such as industry, agriculture, analysis, biotechnology, and remote sensing. For example, it is used for sorting recycling and measuring the distribution range of alien species.
  • Multiwavelength data processing load since the multi-wavelength data has a large amount of data, the processing load may increase. As a result, the cost may increase. For example, in precision agriculture as described above, multi-wavelength data generated in an imaging device of a terminal is transmitted to a server (cloud) or the like for use. However, since the multi-wavelength data has a large amount of data, there is a risk that costs such as power consumption and line usage fee during transmission will increase. Further, when a sufficient communication line cannot be secured, there is a possibility that the time required for transmission becomes long.
  • Multi-wavelength data encoding and transmission> Therefore, the multi-wavelength data is encoded (compressed) and the encoded data is transmitted. For example, an object is imaged, multi-wavelength data that is image data including four or more wavelength components is generated, the generated multi-wavelength data is encoded, and encoded data of the multi-wavelength data is generated and generated. The encoded data is transmitted.
  • an imaging unit that captures an object and generates multi-wavelength data that is image data including four or more wavelength components, and encodes the multi-wavelength data generated by the imaging unit.
  • An encoding unit that generates encoded data of data and a transmission unit that transmits the encoded data generated by the encoding unit are provided.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an image processing system to which the present technology is applied.
  • An image processing system 100 illustrated in FIG. 1 includes an imaging device 101 and an information processing device 102. Multi-wavelength data generated in the imaging apparatus 101 is transmitted to the information processing apparatus 102 and processed.
  • the image processing system 100 is a schematic diagram of a system used for precision agriculture, for example.
  • the imaging device 101 represents a terminal device having an imaging function such as the above-described artificial satellite, aerial imaging helicopter, or drone
  • the information processing device 102 represents a computer (image processing device) such as a server (cloud). ing.
  • the imaging apparatus 101 includes a multi-wavelength sensor 111, a multi-wavelength data encoding unit 112, and a transmission unit 113.
  • the multi-wavelength sensor 111 captures a subject and generates multi-wavelength data.
  • the multi-wavelength sensor 111 may be any device as long as it can capture a subject and generate multi-wavelength data.
  • the described hyperspectral camera may be used.
  • the multi-wavelength data encoding unit 112 encodes the multi-wavelength data and generates encoded data of the multi-wavelength data. This encoding method is arbitrary.
  • the transmission unit 113 transmits the encoded data to the information processing apparatus 102.
  • a communication method for transmitting multi-wavelength data between the imaging apparatus 101 and the information processing apparatus 102 is arbitrary. For example, wired communication or wireless communication may be used.
  • the information processing apparatus 102 includes a reception unit 121, a storage unit 122, a multi-wavelength data decoding unit 123, and a data analysis unit 124.
  • the receiving unit 121 receives encoded data of multi-wavelength data transmitted from the imaging device 101 (transmitting unit 113).
  • the receiving unit 121 can supply the received encoded data to the storage unit 122 for storage.
  • the storage unit 122 includes an arbitrary storage medium such as a hard disk or a semiconductor memory, and stores encoded data.
  • the receiving unit 121 can also supply the received encoded data to the multi-wavelength data decoding unit 123.
  • the multi-wavelength data decoding unit 123 acquires the encoded data from the receiving unit 121 or the storage unit 122, decodes it, and restores the multi-wavelength data. This decoding method is arbitrary as long as it corresponds to the encoding method of the multi-wavelength data encoding unit 112.
  • the data analysis unit 124 analyzes the restored multi-wavelength data and outputs the analysis result.
  • the multiwavelength sensor 111 captures an object and generates multiwavelength data in step S101.
  • the multi-wavelength data encoding unit 112 encodes the multi-wavelength data to generate encoded data (multi-wavelength compressed stream).
  • the transmission unit 113 transmits the multi-wavelength compressed stream.
  • the multi-wavelength compressed stream transmitted from the imaging apparatus 101 is transmitted to the information processing apparatus 102.
  • the reception unit 121 receives the multi-wavelength compressed stream transmitted from the imaging device 101 in step S111.
  • the reception unit 121 determines whether to store the received multi-wavelength compressed stream in the storage unit 122. If it is determined to be stored, in step S113, the storage unit 122 stores the multi-wavelength compressed stream. If it is determined not to store, this process is omitted.
  • step S114 the multi-wavelength data decoding unit 123 acquires and decodes the multi-wavelength compressed stream received by the receiving unit 121 or the multi-wavelength compressed stream stored in the storage unit 122, and restores the multi-wavelength data.
  • step S115 the data analysis unit 124 analyzes the restored multi-wavelength data to create a report, and in step S116, outputs the report.
  • the multi-wavelength data is transmitted from the imaging apparatus 101 to the information processing apparatus 102
  • the multi-wavelength data is encoded (encoded data) and transmitted.
  • an increase in the amount of data to be transmitted can be suppressed. That is, an increase in the processing load of multiwavelength data can be suppressed.
  • FIG. 4 is a block diagram illustrating a main configuration example of the multi-wavelength data encoding unit 112 in this case.
  • the multi-wavelength data encoding unit 112 includes a wavelength demultiplexing unit 131, single wavelength data encoding unit 132-1 to single wavelength data encoding unit 132-N (N is an arbitrary natural number), and A stream synthesis unit 133 is included.
  • the single wavelength data encoding unit 132-1 to the single wavelength data encoding unit 132 -N are referred to as a single wavelength data encoding unit 132 when it is not necessary to distinguish them from each other for explanation.
  • the wavelength separation unit 131 separates the multi-wavelength data into data for each wavelength component (single wavelength data).
  • a single wavelength data encoding unit 132 is prepared for each wavelength component. That is, the single wavelength data encoding unit 132-1 to the single wavelength data encoding unit 132-N encode the single wavelength data of the corresponding wavelength component, and generate the encoded data (single wavelength compressed stream). .
  • This encoding method is arbitrary.
  • the stream synthesizing unit 133 synthesizes these single wavelength compressed streams, generates a multi-wavelength compressed stream, and outputs (for example, supplies to the transmitting unit 113). This synthesis method is arbitrary.
  • step S121 the wavelength separation unit 131 separates the multi-wavelength data into single wavelength data for each wavelength component.
  • step S122 the single wavelength data encoding unit 132 encodes the single wavelength data of each wavelength component, and generates a single wavelength compressed stream.
  • step S123 the stream combining unit 133 combines the single wavelength compressed streams of the respective wavelength components, and generates a multi-wavelength compressed stream.
  • step S123 When the process of step S123 is completed, the multi-wavelength data encoding process is completed, and the process returns to FIG.
  • the single wavelength data may be encoded using, for example, quantization and encoding of the difference between the single wavelength data. That is, each wavelength component (single wavelength data) may be quantized, a difference between the quantized single wavelength data may be calculated, and the difference may be variable length encoded.
  • FIG. 6 is a block diagram illustrating a main configuration example of the single wavelength data encoding unit 132 in this case.
  • the single wavelength data encoding unit 132 includes a quantization unit 141, a delay buffer 142, a calculation unit 143, and a VLC (VariableariLength Code) encoder 144.
  • VLC Very-Length Code
  • the quantization unit 141 quantizes the single wavelength data.
  • the delay buffer 142 has an arbitrary storage medium, stores (holds) the single wavelength data quantized by the quantization unit 141, delays it by one cycle, and supplies it to the calculation unit 143.
  • the calculation unit 143 calculates a difference between the single wavelength data quantized by the quantization unit 141 and the single wavelength data one cycle before supplied from the delay buffer 142.
  • the VLC encoder 144 performs variable-length coding on the difference calculated by the calculation unit 143 to generate and output a single wavelength compressed stream (for example, supply the stream to the stream synthesis unit 133). This variable length coding method is arbitrary.
  • step S131 the quantization unit 141 quantizes the single wavelength data.
  • step S132 the delay buffer 142 stores the quantized single wavelength data and delays it.
  • step S133 the calculation unit 143 calculates a difference between the quantized single wavelength data and the single wavelength data of the previous cycle (difference data of the single wavelength data).
  • step S134 the VLC encoder 144 performs variable-length coding on the difference data to generate a single wavelength compressed stream.
  • step S134 When the process of step S134 is completed, the single wavelength data encoding process is completed, and the process returns to FIG.
  • each wavelength component (single wavelength data) can be encoded more easily.
  • FIG. 8 is a block diagram illustrating a main configuration example of the multi-wavelength data decoding unit 123 in this case.
  • the multi-wavelength data decoding unit 123 includes a stream separation unit 151, a single wavelength data decoding unit 152-1 to a single wavelength data decoding unit 152-N (N is an arbitrary natural number), and a wavelength synthesis unit. 153.
  • the single wavelength data decoding unit 152-1 to the single wavelength data decoding unit 152 -N are referred to as a single wavelength data decoding unit 152 when it is not necessary to distinguish them from each other.
  • the stream separation unit 151 separates the multi-wavelength compressed stream into a stream for each wavelength component (single wavelength compressed stream).
  • a single wavelength data decoding unit 152 is prepared for each wavelength component. That is, the single wavelength data decoding unit 152-1 through the single wavelength data decoding unit 152-N decode the single wavelength compressed stream of the corresponding wavelength component, and restore the single wavelength data.
  • This decoding method is arbitrary as long as it corresponds to the single wavelength data encoding method by the single wavelength data encoding unit 132.
  • the wavelength synthesis unit 153 synthesizes the single wavelength data of each wavelength component restored as described above, restores the multi-wavelength data, and outputs (for example, supplies the data analysis unit 124).
  • step S141 the stream separation unit 151 separates the multi-wavelength compressed stream into single-wavelength compressed streams for each wavelength component.
  • step S142 the single wavelength data decoding unit 152 decodes the single wavelength compressed stream of each wavelength component, and restores the single wavelength data of each wavelength component.
  • step S143 the wavelength synthesizer 153 synthesizes the restored single wavelength data of each wavelength component to restore multi-wavelength data.
  • step S143 the multi-wavelength data decoding process is completed, and the process returns to FIG.
  • the decoding of the single wavelength compressed stream may be performed using, for example, variable length decoding, addition of single wavelength data, and inverse quantization. That is, the single-wavelength compressed stream is variable-length decoded to restore differential data between the single-wavelength data, and the single-wavelength data quantized by adding the single-wavelength data one cycle before to the differential data is restored, The single wavelength data may be restored by dequantizing the quantized single wavelength data.
  • FIG. 10 is a block diagram showing a main configuration example of the single wavelength data decoding unit 152 in this case.
  • the single wavelength data decoding unit 152 includes a VLC decoder 161, a calculation unit 162, a delay buffer 163, and an inverse quantization unit 164.
  • the VLC decoder 161 variable-length decodes the single wavelength compressed stream and restores the difference data.
  • the variable length decoding method is arbitrary as long as it corresponds to the variable length encoding method performed by the VLC encoder 144.
  • the arithmetic unit 162 adds the quantized single wavelength data one cycle before supplied from the delay buffer 163 to the difference data, and restores the quantized single wavelength data.
  • the delay buffer 163 stores (holds) the quantized single wavelength data, delays it by one cycle, and supplies the delayed data to the arithmetic unit 162.
  • the inverse quantization unit 164 inversely quantizes the quantized single wavelength data restored by the calculation unit 162, restores the single wavelength data, and outputs (for example, supplies the wavelength synthesis unit 153).
  • step S151 the VLC decoder 161 performs variable length decoding on the single wavelength compressed stream and restores the difference data.
  • step S152 the arithmetic unit 162 adds the single wavelength data of the previous cycle to the restored difference data, and restores the quantized single wavelength data.
  • step S153 the delay buffer 163 stores the restored quantized single wavelength data and delays it.
  • step S154 the inverse quantization unit 164 performs inverse quantization on the quantized single wavelength data to restore the single wavelength data.
  • step S154 the single wavelength compressed stream decoding process is terminated, and the process returns to FIG.
  • each wavelength component (single wavelength compressed stream) can be decoded more easily.
  • Whether to encode multi-wavelength data may be controlled according to a transmission rate (target transmission rate) set by a transmission unit that transmits multi-wavelength data (multi-wavelength compressed stream).
  • the image processing apparatus further includes an encoding control unit that controls whether or not to encode multi-wavelength data according to the transmission rate of the transmission unit, and is controlled so as to perform encoding by the encoding control unit.
  • the encoding unit encodes the multi-wavelength data
  • the transmission unit transmits the encoded data generated by the encoding unit
  • the encoding control unit controls not to perform the encoding.
  • the transmission unit may transmit the multiwavelength data generated by the imaging unit.
  • FIG. 12 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • the imaging apparatus 101 further includes a format selection unit 171 as compared to the case of FIG.
  • the transmission unit 113 sets a transmission rate (data transmission rate) according to the communication path usage status and the like, and supplies the set transmission rate to the format selection unit 171.
  • the format selection unit 171 selects whether to encode multi-wavelength data according to the transmission rate. For example, when the transmission rate is sufficiently large (the available bandwidth is sufficiently wide), the format selection unit 171 selects to transmit multi-wavelength data without encoding, and is generated by the multi-wavelength sensor 111.
  • the multi-wavelength data is supplied to the transmission unit 113.
  • the format selection unit 171 selects to transmit multi-wavelength data by encoding, and is generated by the multi-wavelength sensor 111.
  • the multi-wavelength data is supplied to the multi-wavelength data encoding unit 112 and encoded.
  • the transmission unit 113 transmits the multiwavelength data supplied from the format selection unit 171 or the multiwavelength data supplied from the multiwavelength data encoding unit 112.
  • the information processing apparatus 102 includes a format determination unit 181 instead of the storage unit 122, as compared with the case of FIG.
  • the format determination unit 181 determines the format of data transmitted from the imaging apparatus 101 (whether it is encoded). When it is determined that multi-wavelength data has been transmitted (that is, not encoded), the format determination unit 181 supplies the multi-wavelength data to the data analysis unit 124. If it is determined that the multi-wavelength compressed stream has been transmitted (that is, encoded), the format determining unit 181 supplies the multi-wavelength compressed stream to the multi-wavelength data decoding unit 123.
  • the data analysis unit 124 analyzes the multiwavelength data supplied from the format determination unit 181 or the multiwavelength data decoding unit 123.
  • the imaging process is executed according to the flow shown in the flowchart of FIG. That is, when the imaging process is started, the multi-wavelength sensor 111 captures the subject and generates multi-wavelength data in step S161.
  • the transmission unit 113 sets a transmission rate.
  • the format selection unit 171 selects a format based on the transmission rate (that is, selects whether or not to encode).
  • the multiwavelength data encoding unit 112 determines whether to encode multiwavelength data based on the format selection result in step S163. If it is determined to be encoded, the multi-wavelength data encoding unit 112 encodes the multi-wavelength data in step S165. If it is determined not to be encoded, the process of step S165 is omitted.
  • the transmission unit 113 transmits the multi-wavelength compressed stream or the multi-wavelength data.
  • the multi-wavelength compressed stream or multi-wavelength data transmitted from the imaging apparatus 101 is transmitted to the information processing apparatus 102.
  • the reception unit 121 receives data (multi-wavelength compressed stream or multi-wavelength data) transmitted from the imaging apparatus 101 in step S171.
  • the format determination unit 181 determines whether the received data is a multi-wavelength compressed stream (that is, whether it is encoded). If it is determined that the stream is a multi-wavelength compressed stream (encoded), in step S173, the multi-wavelength data decoding unit 123 decodes the multi-wavelength compressed stream and restores the multi-wavelength data.
  • step S174 the data analysis unit 124 analyzes the multi-wavelength data and creates a report.
  • step S175 the data analysis unit 124 outputs the report.
  • the imaging apparatus 101 controls whether or not to encode multi-wavelength data according to the transmission rate. If there is a margin in the transmission rate, the imaging device 101 transmits the multi-wavelength data without compression. By doing so, it is possible to encode multi-wavelength data only when necessary, so that deterioration of multi-wavelength data due to encoding can be suppressed. Further, the information processing apparatus 102 determines the format of the transmitted data and performs a decoding process as necessary. Therefore, the information processing apparatus 102 can appropriately process the data transmitted from the imaging apparatus 101 in this case and perform data analysis.
  • the image processing apparatus further includes an encoding control unit that controls the compression rate of the multi-wavelength data encoding in accordance with the transmission rate of the transmission unit, and the encoding unit is controlled by the encoding control unit.
  • Multi-wavelength data may be encoded with a compression rate.
  • FIG. 15 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • the imaging apparatus 101 further includes a quantization value setting unit 191 as compared with the case of FIG. 1.
  • the transmission unit 113 sets a transmission rate (data transmission rate) according to the usage status of the communication path and supplies the set transmission rate to the quantization value setting unit 191.
  • the quantization value setting unit 191 sets a quantization value according to the transmission rate and supplies it to the multi-wavelength data encoding unit 112.
  • the multi-wavelength data encoding unit 112 encodes the multi-wavelength data by an encoding method with quantization, and generates a multi-wavelength compressed stream.
  • the multi-wavelength data encoding unit 112 performs the quantization using the quantization value set by the quantization value setting unit 191. That is, the quantization value setting unit 191 controls the compression rate of multi-wavelength data encoding by the multi-wavelength data encoding unit 112.
  • the quantization value setting unit 191 reduces the compression value by decreasing the quantization value. For example, when the transmission rate is not sufficiently high (the available bandwidth is narrow), the quantized value setting unit 191 increases the quantized value to increase the compression rate.
  • the storage unit 122 is omitted from the information processing apparatus 102 as compared with the case of FIG.
  • the imaging process is executed in a flow as shown in the flowchart of FIG. That is, when the imaging process is started, the processes in steps S181 and S182 are executed in the same manner as the processes in steps S161 and S182 in FIG.
  • step S183 the quantization value setting unit 191 sets a quantization value based on the transmission rate set in step S182.
  • the multi-wavelength data encoding unit 112 encodes multi-wavelength data using the quantization value set in step S183.
  • the transmission unit 113 transmits the multi-wavelength compressed stream.
  • the multi-wavelength compressed stream transmitted from the imaging apparatus 101 is transmitted to the information processing apparatus 102.
  • the reception unit 121 receives the multi-wavelength compressed stream transmitted from the imaging device 101 in step S191.
  • the multi-wavelength data decoding unit 123 decodes the received multi-wavelength compressed stream and restores the multi-wavelength data.
  • the data analysis unit 124 analyzes the multi-wavelength data and creates a report, and in step S194, outputs the report.
  • the imaging apparatus 101 controls the compression rate of multi-wavelength data according to the transmission rate, and transmits the multi-wavelength data at a low compression rate when there is a margin in the transmission rate. By doing in this way, since it can suppress that a compression rate increases unnecessarily, degradation of the multiwavelength data by encoding can be suppressed.
  • Multi-wavelength data may be encoded with a plurality of compression rates, and each multi-wavelength compressed stream may be transmitted.
  • the encoding unit encodes the multi-wavelength data at a plurality of compression rates, and the transmission unit transmits the encoded data of each compression rate generated by the encoding unit. Also good.
  • FIG. 18 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • the imaging apparatus 101 further includes a downsampling filter 201 as compared to the case of FIG. 1.
  • the imaging apparatus 101 includes two multi-wavelength data encoding units 112 (multi-wavelength data encoding unit 112-1 and multi-wavelength data encoding unit 112-2) and two transmission units 113 (transmission unit 113-1). And a transmission unit 113-2).
  • the downsampling filter 201 performs a filter process for reducing the resolution (number of pixels) of the multi-wavelength data supplied from the multi-wavelength sensor 111, and the multi-wavelength data subjected to the filter process is subjected to the multi-wavelength data encoding unit 112-1.
  • the multi-wavelength data encoding unit 112-1 encodes the multi-wavelength data to generate a multi-wavelength compressed stream.
  • the transmission unit 113-1 transmits the multi-wavelength compressed stream by wireless communication, for example.
  • the multi-wavelength data encoding unit 112-2 encodes the multi-wavelength data supplied from the multi-wavelength sensor 111 to generate a multi-wavelength compressed stream.
  • the transmission unit 113-2 transmits the multi-wavelength compressed stream by, for example, wired communication.
  • the compression rate of the multi-wavelength compressed stream transmitted from the transmission unit 113-1 is the multi-wavelength compression transmitted from the transmission unit 113-2. Higher than the compression rate of the stream. That is, the transmission unit 113-1 transmits a high-compression multi-wavelength compressed stream, and the transmission unit 113-2 transmits a low-compression multi-wavelength compressed stream.
  • the information processing apparatus 102 further includes an upsampling filter 202 as compared with the case of FIG. Further, the information processing apparatus 102 includes two receiving units 121 (receiving unit 121-1 and receiving unit 121-2) and two multi-wavelength data decoding units 123 (multi-wavelength data decoding unit 123-1 and multi-wavelength data decoding). Unit 123-2) and two data analysis units 124 (a data analysis unit 124-1 and a data analysis unit 124-2).
  • the receiving unit 121-1 receives the highly compressed multi-wavelength compressed stream transmitted from the transmitting unit 113-1.
  • the multi-wavelength data decoding unit 123-1 decodes the highly compressed multi-wavelength compressed stream and restores the multi-wavelength data.
  • the upsampling filter 202 performs reverse processing of the downsampling filter 201 on the multiwavelength data restored by the multiwavelength data decoding unit 123-1.
  • the resolution of the multiwavelength data restored by the multiwavelength data decoding unit 123-1 is reduced by the downsampling filter 201.
  • the upsampling filter 202 performs a filtering process for returning the resolution reduced by the downsampling filter 201 to the multi-wavelength data.
  • the data analysis unit 124-1 analyzes the multi-wavelength data whose resolution has been restored by the upsampling filter 202, generates a report (immediate report), and outputs it.
  • the receiving unit 121-2 receives the low-compression multi-wavelength compressed stream transmitted from the transmitting unit 113-2.
  • the multi-wavelength data decoding unit 123-2 decodes the low-compression multi-wavelength compressed stream and restores the multi-wavelength data.
  • the data analysis unit 124-2 analyzes the multi-wavelength data restored by the multi-wavelength data decoding unit 123-2, generates a report (detailed report), and outputs it.
  • the detailed report is an analysis result of multi-wavelength data restored from a low-compression multi-wavelength compressed stream that has a larger amount of information than a high-compression multi-wavelength compressed stream. It contains more accurate information (analysis result) than the immediate report that is the analysis result of the restored multi-wavelength data.
  • the imaging process is executed in a flow as shown in the flowchart of FIG. That is, when the imaging process is started, the multi-wavelength sensor 111 captures the subject and generates multi-wavelength data in step S201.
  • the downsampling filter 201 downsamples the multi-wavelength data.
  • the multi-wavelength data encoding unit 112-1 encodes the down-sampled multi-wavelength data to generate a highly compressed multi-wavelength compressed stream.
  • the transmission unit 113-1 transmits the highly compressed multi-wavelength compressed stream.
  • step S204 the multi-wavelength data encoding unit 112-2 encodes the multi-wavelength data generated in step S201, and generates a low-compression multi-wavelength compressed stream.
  • step S206 the transmission unit 113-1 transmits the low-compression multi-wavelength compressed stream.
  • the high-compression multi-wavelength compression stream and the low-compression multi-wavelength compression stream transmitted from the imaging apparatus 101 are transmitted to the information processing apparatus 102, respectively.
  • the reception unit 121-1 receives a high-compression multi-wavelength compressed stream transmitted from the imaging apparatus 101 in step S211.
  • the multi-wavelength data decoding unit 123-1 decodes the received highly compressed multi-wavelength compressed stream and restores the multi-wavelength data.
  • the upsampling filter 202 upsamples the restored multi-wavelength data.
  • the data analyzing unit 124-1 analyzes the upsampled multi-wavelength data to create an immediate report, and in step S215, outputs the immediate report.
  • step S216 the reception unit 121-2 receives the low-compression multi-wavelength compressed stream transmitted from the imaging apparatus 101.
  • the multi-wavelength data decoding unit 123-2 decodes the received low-compression multi-wavelength compressed stream and restores the multi-wavelength data.
  • the data analysis unit 124-2 analyzes the restored multi-wavelength data to create a detailed report, and in step S219, outputs the detailed report.
  • the imaging apparatus 101 can transmit a multi-wavelength compressed stream at a compression rate according to, for example, the communication environment (for example, the bandwidth and stability of the communication path).
  • the communication environment for example, the bandwidth and stability of the communication path.
  • the imaging apparatus 101 can transmit a multi-wavelength compressed stream encoded (compressed) at a plurality of compression rates, the accuracy of the report (analysis result) generated in the information processing apparatus 102 is reduced while suppressing a reduction in immediacy. Can also be suppressed.
  • FIG. 21 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • a low-compression multi-wavelength compressed stream is provided from the imaging apparatus 101 to the information processing apparatus 102 via a storage medium (storage device 212).
  • the imaging apparatus 101 includes a writing unit 211 instead of the transmission unit 113-2 as compared with the case of FIG.
  • the writing unit 211 writes the low-compression multi-wavelength compressed stream generated by the multi-wavelength data encoding unit 112-2 to the storage device 212.
  • the storage device 212 is a device having an arbitrary storage medium such as a hard disk or a semiconductor memory.
  • the storage device 212 may be connected to the imaging apparatus 101 or the information processing apparatus 102 via a communication path, or may be formed to be detachable from the imaging apparatus 101 or the information processing apparatus 102. Also good.
  • the storage device 212 can store a multi-wavelength compressed stream.
  • the information processing apparatus 102 includes a reading unit 213 instead of the receiving unit 121-2.
  • the reading unit 213 reads the low-compression multi-wavelength compressed stream stored in the storage device 212 and supplies it to the multi-wavelength data decoding unit 123-2.
  • the imaging process is executed in a flow as shown in the flowchart of FIG. That is, when the imaging process is started, the processes in steps S231 to S235 are executed in the same manner as the processes in steps S201 to S205 in FIG.
  • step S236 the writing unit 211 writes (stores) the low-compression multi-wavelength compressed stream generated in step S235 in the storage device 212.
  • step S246 the reading unit 213 reads the low-compression multi-wavelength compressed stream stored in the storage device 212.
  • or step S249 is performed similarly to each process of step S217 thru
  • the multi-wavelength compressed stream can be transmitted from the imaging apparatus 101 to the information processing apparatus 102 even through the storage device.
  • ⁇ Application example> 18 to 23 an example of transmitting a multi-wavelength compressed stream having two types of compression rates has been described.
  • the present invention is not limited to this example, and a multi-wavelength compressed stream having three or more types of compression rates may be transmitted. May be.
  • the compression rate of encoding by the multi-wavelength data encoding unit 112-1 may be the same as the compression rate of encoding by the multi-wavelength data encoding unit 112-2, or the multi-wavelength data encoding unit 112 It may be higher than the compression rate of encoding by -2.
  • the upsampling filter 202 may be omitted.
  • the data analysis unit 124-1 analyzes the multi-wavelength data with the resolution reduced, and generates an immediate report.
  • Proxy transmission> Using multi-wavelength compressed stream transmission with multiple compression rates as described above, high-compression multi-wavelength compressed streams are transmitted with priority over low-compression multi-wavelength compressed streams (proxy transmission). It may be.
  • the transmission unit may transmit encoded data with a higher compression rate with higher priority.
  • FIG. 24 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • the information processing apparatus 102 further includes a transmission unit 221 as compared to the case of FIG.
  • the transmission unit 221 transmits the immediate report created by the data analysis unit 124-1 to the imaging apparatus 101.
  • the imaging apparatus 101 further includes a receiving unit 222 and a control unit 223 as compared with the case of FIG.
  • the reception unit 222 receives the immediate report transmitted from the transmission unit 221 and supplies it to the control unit 223.
  • the control unit 223 controls the operations of the multi-wavelength sensor 111 and the multi-wavelength data encoding unit 112-2 based on the immediate report supplied from the receiving unit 222. For example, when it is determined that the information processing apparatus 102 has failed to generate an immediate report, the control unit 223 controls the multi-wavelength sensor 111 to image the subject again.
  • control unit 223 controls the multi-wavelength data encoding unit 112-2 to generate a low-compression multi-wavelength compressed stream. Let That is, the information processing apparatus 102 causes the process to proceed so that a detailed report is generated.
  • the imaging process is executed according to the flow shown in the flowchart of FIG. 25, for example. That is, when the imaging process is started, the processes in steps S261 to S264 are executed in the same manner as the processes in steps S201 to S204 in FIG.
  • step S265 the reception unit 222 receives the immediate report transmitted from the information processing apparatus 102.
  • step S266 the control unit 223 determines whether or not the transmission of the highly compressed multi-wavelength compressed stream has succeeded based on the reception result of the immediate report. If it is determined that the acquired immediate report has not been generated correctly and the transmission of the highly compressed multi-wavelength compressed stream has failed, the process returns to step S261. That is, transmission of a highly compressed multi-wavelength compressed stream is performed again.
  • step S266 If it is determined in step S266 that the immediate report has been generated correctly and the transmission of the highly compressed multi-wavelength compressed stream has been successful, the process proceeds to step S267.
  • step S267 and step S268 are performed similarly to each process of step S205 and step S206 of FIG.
  • step S281 the reception unit 121 (reception unit 121-1 or reception unit 121-2) receives the multi-wavelength compressed stream.
  • the reception unit 121 determines whether the received multi-wavelength compressed stream is of high compression or low compression. For example, the compression ratio of the multi-wavelength compressed stream is determined by identifying whether the reception unit 121 that has received the data is the reception unit 121-1 or the reception unit 121-2.
  • step S283 Each process of step S283 to step S286 is executed in the same manner as each process of step S212 to step S215 of FIG.
  • step S287 the transmission unit 221 transmits the immediate report to the imaging device 101.
  • the process of step S287 ends, the process returns to step S281.
  • step S282 If it is determined in step S282 that a low-compression multi-wavelength compressed stream has been received, the process proceeds to step S288.
  • or step S290 is performed similarly to each process of step S217 thru
  • FIG. 27 is a block diagram illustrating another configuration example of the image processing system 100 that performs proxy transmission.
  • the information processing apparatus 102 further includes a combining unit 231 as compared with the case of FIG.
  • the synthesizer 231 generates and outputs a synthesized report by synthesizing the immediate report created by the data analyzer 124-1 and the detailed report created by the data analyzer 124-2.
  • FIG. 28 is a diagram showing an example of how a composite report is generated.
  • an arrow 241 and an arrow 242 indicate a time series that proceeds in the direction of the arrow.
  • the time series indicated by the arrow 242 follows the time series indicated by the arrow 241.
  • the immediate report 243 is generated first as shown on the leftmost side of the time series of the arrow 241 in FIG.
  • a detailed report 244 is generated.
  • the synthesis unit 231 replaces the detailed report 244 with the corresponding immediate report 243.
  • each time the detailed report 244 is generated, it is replaced with the immediate report. Therefore, as time passes, the detailed reports 244 increase, and finally all reports are replaced with detailed reports 244 as shown on the rightmost side of the time series of the arrows 242.
  • step S310 the composition unit 231 generates a composite report by combining the immediate report and the detailed report, and outputs the composite report.
  • noise reduction processing that is filter processing for removing noise may be performed on multi-wavelength data to be encoded.
  • the image processing apparatus further includes a noise reduction processing unit that performs noise reduction processing on multi-wavelength data generated by the imaging unit, and the encoding unit has been subjected to noise reduction processing by the noise reduction processing unit.
  • the multi-wavelength data may be encoded.
  • FIG. 30 is a block diagram showing another configuration example of the image processing system 100 in that case.
  • the imaging apparatus 101 includes a noise reduction filter 251 compared to the case of FIG. 1.
  • the noise reduction filter 251 performs noise reduction processing for suppressing the increase of noise on the single wavelength data generated by the multi-wavelength sensor 111.
  • the content of the noise reduction process is arbitrary.
  • the multi-wavelength data encoding unit 112 encodes the multi-wavelength data that has been subjected to the noise reduction process.
  • the information processing apparatus 102 has the same configuration as that in FIG.
  • the multi-wavelength sensor 111 captures an object and generates multi-wavelength data in step S321.
  • the noise reduction filter 251 performs noise reduction processing on the multi-wavelength data.
  • the multi-wavelength data encoding unit 112 encodes the multi-wavelength data subjected to the noise reduction process, and generates encoded data (multi-wavelength compressed stream).
  • the transmission unit 113 transmits the multi-wavelength compressed stream.
  • the noise reduction processing for multi-wavelength data may be performed independently for each wavelength component, for example.
  • the noise reduction processing unit may perform the noise reduction processing independently for each wavelength component of the multi-wavelength data.
  • FIG. 32 is a block diagram illustrating a main configuration example of the multi-wavelength data encoding unit 112 in this case.
  • the noise reduction filter 251 includes a wavelength separation unit 261, a 2D filter 262-1 to a 2D filter 262-N (N is an arbitrary natural number), and a wavelength synthesis unit 263.
  • the 2D filter 262-1 to 2D filter 262-N are referred to as a 2D filter 262 when it is not necessary to distinguish between them.
  • the wavelength separation unit 261 separates multi-wavelength data into data for each wavelength component (single wavelength data).
  • a 2D filter 262 is prepared for each wavelength component. That is, the 2D filters 262-1 to 262-N perform two-dimensional filter processing on the single wavelength data of the corresponding wavelength components.
  • the wavelength synthesizing unit 263 synthesizes these single wavelength data, generates multi-wavelength data, and outputs (for example, supplies the multi-wavelength data encoding unit 112). This synthesis method is arbitrary.
  • step S331 the wavelength separation unit 261 separates the multi-wavelength data into single wavelength data for each wavelength component.
  • step S332 the 2D filter 262 performs two-dimensional filter processing on the single wavelength data of each wavelength component.
  • step S333 the wavelength synthesizer 263 synthesizes the single wavelength data of each wavelength component on which the two-dimensional filter processing has been performed, and generates multiwavelength data.
  • noise reduction processing can be performed for each wavelength component, so that noise of multi-wavelength data can be more easily suppressed.
  • Multi-wavelength data encoding and storage> For example, in the precision agriculture as described above, multi-wavelength data generated in the imaging device of the terminal is stored as a database by a server (cloud) or the like and used for grasping the growth status of plants. However, since the data amount of the multi-wavelength data is large, there is a possibility that the cost for storing the data increases.
  • the multi-wavelength data is encoded (compressed) to store the encoded data.
  • an increase in the amount of data to be stored can be suppressed. That is, an increase in the processing load of multiwavelength data can be suppressed.
  • FIG. 34 is a block diagram showing an example of the configuration of the image processing system in that case.
  • the imaging apparatus 101 includes a multi-wavelength sensor 111 and a transmission unit 113. That is, in this case, the imaging apparatus 101 transmits the multiwavelength data generated by the multiwavelength sensor 111 from the transmission unit 113 to the information processing apparatus 102 without encoding.
  • the information processing apparatus 102 includes a reception unit 121, a multi-wavelength data encoding unit 271, a storage unit 272, a multi-wavelength data decoding unit 273, and a data analysis unit 124.
  • the receiving unit 121 receives multiwavelength data transmitted from the imaging apparatus 101.
  • the multi-wavelength data encoding unit 271 has the same function as the multi-wavelength data encoding unit 112 and performs the same processing. For example, the multi-wavelength data encoding unit 271 encodes the multi-wavelength data received by the receiving unit 121 and generates a multi-wavelength compressed stream.
  • the storage unit 272 includes an arbitrary storage medium such as a hard disk or a semiconductor memory, and stores the multi-wavelength compressed stream generated by the multi-wavelength data encoding unit 271 in the storage medium.
  • the multi-wavelength data decoding unit 273 has the same function as the multi-wavelength data decoding unit 123 and performs the same processing. For example, the multi-wavelength data decoding unit 273 reads and decodes the multi-wavelength compressed stream stored in the storage unit 272, and restores the multi-wavelength data.
  • the data analysis unit 124 analyzes the multi-wavelength data restored by the multi-wavelength data decoding unit 273, generates a report, and outputs the report.
  • Step S ⁇ b> 342 the transmission unit 113 transmits the multi-wavelength data to the information processing apparatus 102.
  • the imaging process ends.
  • the receiving unit 121 receives the multi-wavelength data transmitted from the imaging device 101 in step S351.
  • the multi-wavelength data encoding unit 271 encodes the received multi-wavelength data to generate a multi-wavelength compressed stream.
  • the storage unit 272 stores the multi-wavelength compressed stream.
  • the multi-wavelength data decoding unit 273 reads and decodes the multi-wavelength compressed stream stored in the storage unit 272, and restores the multi-wavelength data.
  • the data analysis unit 124 analyzes the restored multi-wavelength data to generate a report, and outputs the report in step S356.
  • the multi-wavelength data is encoded and stored (encoded data).
  • an increase in the amount of data to be stored can be suppressed. That is, an increase in the processing load of multiwavelength data can be suppressed.
  • FIG. 37 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • the information processing apparatus 102 is different from the case of FIG. 34 in that the storage unit 281, the multi-wavelength instead of the multi-wavelength data encoding unit 271 to the multi-wavelength data decoding unit 273.
  • a data encoding unit 282, a storage unit 283, and a multi-wavelength data decoding unit 284 are included.
  • the storage unit 281 includes an arbitrary storage medium such as a hard disk or a semiconductor memory, and stores uncompressed multi-wavelength data received by the reception unit 121 in the storage medium.
  • the multi-wavelength data encoding unit 282 has basically the same function as the multi-wavelength data encoding unit 271 and performs the same processing. For example, the multi-wavelength data encoding unit 282 reads and encodes the multi-wavelength data stored in the storage unit 281 for a certain period of time, and generates a multi-wavelength compressed stream.
  • the storage unit 283 has an arbitrary storage medium such as a hard disk or a semiconductor memory, and stores the multi-wavelength compressed stream generated by the multi-wavelength data encoding unit 282 in the storage medium.
  • the multi-wavelength data decoding unit 284 has basically the same function as the multi-wavelength data decoding unit 273 and performs the same processing. For example, the multi-wavelength data decoding unit 284 reads and decodes the multi-wavelength compressed stream stored in the storage unit 283, and restores the multi-wavelength data.
  • the data analysis unit 124 analyzes the multi-wavelength data, generates a report thereof, and outputs it. For example, the data analysis unit 124 acquires, from the storage unit 281, multiwavelength data that has not been passed for a certain period of time since being stored in the storage unit 281. In addition, the data analysis unit 124 acquires, via the multi-wavelength data decoding unit 284, multi-wavelength data that has been stored for a certain period of time after being stored in the storage unit 281.
  • step S361 the receiving unit 121 receives multi-wavelength data.
  • step S362 the storage unit 281 stores the multi-wavelength data.
  • step S363 the storage unit 281 determines whether or not a predetermined time has elapsed since the multiwavelength data was stored. If it is determined that the time has not elapsed, the process proceeds to step S364.
  • step S364 the data analysis unit 124 determines whether or not to analyze the data. If it is determined not to analyze, the process returns to step S363. If it is determined in step S364 that analysis is to be performed, the process proceeds to step S365.
  • step S365 the data analysis unit 124 reads the multi-wavelength data from the storage unit 281.
  • step S366 the data analysis unit 124 analyzes the multi-wavelength data and creates a report.
  • step S367 the data analysis unit 124 outputs the report.
  • step S363 If it is determined in step S363 that the predetermined time has elapsed, the process proceeds to step S368.
  • step S368 the multi-wavelength data encoding unit 282 reads the multi-wavelength data from the storage unit 281.
  • step S369 the multi-wavelength data encoding unit 282 encodes the multi-wavelength data and generates a multi-wavelength compressed stream.
  • step S370 the storage unit 283 stores the multi-wavelength compressed stream.
  • step S371 the multi-wavelength data decoding unit 284 reads the multi-wavelength compressed stream from the storage unit 283, decodes it, and restores the multi-wavelength data.
  • step S372 the data analysis unit 124 analyzes the restored multi-wavelength data and creates a report.
  • step S373, the data analysis unit 124 outputs the report.
  • the compression rate may be increased after a certain period of time has elapsed.
  • FIG. 39 is a block diagram illustrating a main configuration example of the image processing system 100 in this case.
  • the information processing apparatus 102 is different from the case of FIG. 37 in that the multiwavelength data encoding unit 291, the storage unit 292, the multiwavelength data decoding unit 293, instead of the storage unit 281 to the multiwavelength data decoding unit 284, A resampler 294, a multi-wavelength data encoder 295, a storage unit 296, and a multi-wavelength data decoder 297 are included.
  • the multi-wavelength data encoding unit 291 encodes the multi-wavelength data received by the receiving unit 121, and generates a multi-wavelength compressed stream.
  • the storage unit 292 stores the multi-wavelength compressed stream.
  • the multi-wavelength data decoding unit 293 reads the multi-wavelength compressed stream from the storage unit 292 and decodes it to restore the multi-wavelength data.
  • the resample unit 294 performs a resample process on the multi-wavelength data to reduce the information amount of the data.
  • the contents of this resample process are arbitrary.
  • the multi-wavelength data encoding unit 295 encodes the re-sampled multi-wavelength data and generates a multi-wavelength compressed stream.
  • the storage unit 296 stores the multi-wavelength compressed stream.
  • the multi-wavelength data decoding unit 297 reads and decodes the multi-wavelength compressed stream stored in the storage unit 296, and restores the multi-wavelength data.
  • the data analysis unit 124 analyzes the multi-wavelength data, generates a report thereof, and outputs it. For example, the data analysis unit 124 analyzes the multi-wavelength data restored by the multi-wavelength data decoding unit 293 or the multi-wavelength data decoding unit 297, generates a report, and outputs the report.
  • step S381 the receiving unit 121 receives multi-wavelength data.
  • step S382 the multi-wavelength data encoding unit 291 encodes the multi-wavelength data, and generates a low-compression multi-wavelength compressed stream.
  • step S383 the storage unit 292 stores the low-compression multi-wavelength compressed stream.
  • step S384 the storage unit 292 determines whether a predetermined time has elapsed since the multi-wavelength compressed stream was stored. If it is determined that the time has elapsed, the process proceeds to step S385.
  • step S385 the data analysis unit 124 determines whether or not to analyze the data. If it is determined not to analyze, the process returns to step S384. If determined to analyze in step S385, the process proceeds to step S386.
  • step S386 the multi-wavelength data decoding unit 293 reads and decodes the low-compression multi-wavelength compressed stream from the storage unit 292, and restores the multi-wavelength data.
  • step S387 the data analysis unit 124 analyzes the restored multi-wavelength data and creates a report.
  • step S388 the data analysis unit 124 outputs the report.
  • step S391 the multi-wavelength data decoding unit 293 reads and decodes the low-compression multi-wavelength compressed stream from the storage unit 292, and restores the multi-wavelength data.
  • step S392 the resample unit 294 performs resample processing on the restored multi-wavelength data.
  • step S393 the multi-wavelength data encoding unit 295 encodes the re-sampled multi-wavelength data to generate a highly compressed multi-wavelength compressed stream.
  • step S394 the storage unit 296 stores the highly compressed multi-wavelength compressed stream.
  • step S395 the multi-wavelength data decoding unit 297 reads the high-compression multi-wavelength compressed stream from the storage unit 296, decodes it, and restores the multi-wavelength data.
  • step S396 the data analysis unit 124 analyzes the restored multi-wavelength data and creates a report.
  • step S397 the data analysis unit 124 outputs the report.
  • FIG. 42 is a block diagram illustrating a main configuration example of the resample unit 294 in this case.
  • the resample unit 294 includes a wavelength separation unit 311, a downsample filter 312, and a wavelength synthesis unit 313.
  • the downsample filter 312-1 to the downsample filter 312-N are referred to as a downsample filter 312 when it is not necessary to distinguish them from each other.
  • the wavelength separation unit 311 separates the multiwavelength data into single wavelength data for each wavelength component.
  • a down-sample filter 312 is prepared for each wavelength component. That is, the downsample filter 312-1 to the downsample filter 312-N downsample the single wavelength data of the corresponding wavelength component to reduce the resolution.
  • the wavelength synthesizer 313 synthesizes the single wavelength data of each wavelength component as described above, restores the multi-wavelength data, and outputs it.
  • step S411 the wavelength separation unit 311 separates the multi-wavelength data into single wavelength data for each wavelength component.
  • the down-sample filter 312 down-samples the single wavelength data of each wavelength component to reduce the resolution.
  • step S413 the wavelength synthesizer 313 synthesizes the single wavelength data of the down-sampled wavelength components and restores the multiwavelength data.
  • FIG. 44 is a block diagram illustrating a main configuration example of the resample unit 294 in this case.
  • the resample unit 294 includes a wavelength separation unit 321, a low-pass filter 322-1 to a low-pass filter 322-M (M is an arbitrary natural number), and a wavelength synthesis unit 323.
  • M is an arbitrary natural number
  • the low-pass filter 322-1 to the low-pass filter 322-M are referred to as a low-pass filter 322 when there is no need to distinguish them from each other.
  • the wavelength separation unit 321 separates the multi-wavelength data into single wavelength data for each wavelength component.
  • a low-pass filter 322 is prepared for each wavelength component. That is, the low-pass filters 322-1 to 322-M apply a low-pass filter to single wavelength data of some wavelength components.
  • the wavelength synthesizer 313 synthesizes the single wavelength data of each wavelength component as described above, restores the multi-wavelength data, and outputs it.
  • step S421 the wavelength separation unit 321 separates the multi-wavelength data into single wavelength data for each wavelength component.
  • the low pass filter 322 applies a low pass filter to the single wavelength data of each wavelength component having a low priority.
  • step S423 the wavelength synthesizer 323 synthesizes single wavelength data of each wavelength component, and restores multiwavelength data.
  • the low-priority wavelength component can be subjected to a low-pass filter, so that multi-wavelength data can be resampled more easily.
  • FIG. 46 is a block diagram illustrating a main configuration example of the resample unit 294 in this case.
  • the resample unit 294 includes a wavelength separation unit 331, an LSB mask processing unit 332-1 to an LSB mask processing unit 332-4, and a wavelength synthesis unit 333.
  • the LSB mask processing unit 332-1 to the LSB mask processing unit 332-4 are referred to as the LSB mask processing unit 332 when it is not necessary to distinguish them from each other.
  • the wavelength separation unit 331 separates the multi-wavelength data into single wavelength data for each wavelength component.
  • the LSB mask processing unit 332 performs LSB mask processing on the single wavelength data of the wavelength component corresponding to itself (for example, the bit string shown in A of FIG. 47) by replacing the value of the lower bits of the wavelength data with 0 ( FIG. 47B).
  • the LSB mask processing unit 332 replaces the value of the number of bits specified by the quantization value on the LSB side of the wavelength data with 0. For example, the calculation is performed as shown in the following formula (1).
  • the wavelength synthesizer 313 synthesizes single wavelength data of each wavelength component, restores multiwavelength data, and outputs it.
  • step S431 the wavelength separation unit 331 separates the multiwavelength data into single wavelength data for each wavelength component.
  • the LSB mask processing unit 332 performs mask processing (LSB Mask) on the short wavelength data of each wavelength component using the quantized value (quantized value #n) for each wavelength component.
  • step S433 the wavelength synthesizer 323 synthesizes single wavelength data of each wavelength component, and restores multiwavelength data.
  • the maximum output value of the image sensor or the like varies depending on the light source or the like (A in FIG. 49). Therefore, white balance adjustment is usually performed (B in FIG. 49).
  • White balance adjustment is a process of adjusting the gain of each wavelength component so that the actual white color is expressed as white in the image.
  • the conventional quantization is performed using a uniform quantization value for each wavelength component (C in FIG. 49 and D in FIG. 49).
  • each wavelength component is quantized with a different quantization value (E in FIG. 49). Therefore, there is a possibility that the information is excessively compressed and the information is unnecessarily deteriorated.
  • the subject is imaged, image data including a plurality of wavelength components is generated, and the generated image data is quantized using a quantized value for each wavelength component and encoded.
  • an imaging unit that images a subject and generates image data including a plurality of wavelength components, and the image data generated by the imaging unit is quantized using a quantization value for each wavelength component.
  • an encoding unit for encoding.
  • the quantization value of each wavelength component is set in consideration of gain adjustment such as white balance adjustment (A in FIG. 50).
  • gain adjustment such as white balance adjustment
  • FIG. 51 is a block diagram illustrating an example of a configuration of an imaging device to which the present technology is applied.
  • An imaging apparatus 400 illustrated in FIG. 51 is an apparatus that images a subject and outputs image data of a captured image.
  • the imaging device 400 is a terminal device having an imaging function, such as the above-described artificial satellite, aerial imaging helicopter, drone, etc., used for precision agriculture or the like.
  • the imaging apparatus 400 includes a Bayer sensor 401, a quantization unit 402, a white balance adjustment unit 403, and a development processing unit 404.
  • the Bayer sensor 401 has a pixel array provided with a color filter with a Bayer array, images a subject, and generates so-called RGB image data (Bayer data).
  • the Bayer sensor 401 supplies the Bayer data (RAW data) to the quantization unit 402.
  • the quantization unit 402 quantizes the Bayer data and supplies the quantized Bayer data to the white balance adjustment unit 403.
  • the white balance adjustment unit 403 performs white balance adjustment on the quantized Bayer data, and supplies the Bayer data after white balance adjustment to the development processing unit 404.
  • the development processing unit 404 performs demosaic processing and the like to generate and output image data of the captured image.
  • the quantization unit 402 includes a gain adjustment type Bayer data encoding unit 411 and a gain adjustment type Bayer data decoding unit 412.
  • the gain adjustment type Bayer data encoding unit 411 performs encoding with quantization on the Bayer data, and generates encoded data (Bayer compressed stream).
  • the gain adjustment type Bayer data decoding unit 412 decodes the Bayer compressed stream by a decoding method corresponding to the encoding method of the gain adjustment type Bayer data encoding unit 411, and restores Bayer data.
  • the white balance adjustment unit 403 uses gains for white balance adjustment (R gain for red component, G gain for green component, and B gain for blue component) performed on Bayer data as a gain adjustment type Bayer data encoding unit. 411 and the gain adjustment type Bayer data decoding unit 412.
  • the gain adjustment type Bayer data encoding unit 411 and the gain adjustment type Bayer data decoding unit 412 perform encoding and decoding while performing gain adjustment using the gains (R gain, G gain, and B gain).
  • FIG. 52 is a block diagram illustrating a main configuration example of the gain adjustment type Bayer data encoding unit 411.
  • the gain adjustment type Bayer data encoding unit 411 includes a wavelength separation unit 421, an R gain adjustment unit 422, a G gain adjustment unit 423, a B gain adjustment unit 424, a wavelength synthesis unit 425, and a Bayer data encoding unit 426.
  • the wavelength separation unit 421 separates the Bayer data into an R component, a G component, and a B component.
  • the R gain adjustment unit 422 adjusts the gain of the R component using the supplied R gain.
  • the G gain adjustment unit 423 performs gain adjustment of the G component using the supplied G gain.
  • the B gain adjustment unit 424 adjusts the gain of the B component using the supplied B gain.
  • the wavelength synthesizer 425 synthesizes the R component, G component, and B component after gain adjustment, and generates Bayer data in which each wavelength component is gain adjusted.
  • the Bayer data encoding unit 426 performs encoding with quantization on the Bayer data, generates a Bayer compressed stream, and outputs it (for example, supplies the gain adjusted Bayer data decoding unit 412).
  • FIG. 53 is a block diagram illustrating an exemplary main configuration of the gain adjustment type Bayer data decoding unit 412.
  • the gain adjustment type Bayer data decoding unit 412 includes a Bayer data decoding unit 431, a wavelength separation unit 432, an inverse R gain adjustment unit 433, an inverse G gain adjustment unit 434, an inverse B gain adjustment unit 435, and a wavelength synthesis unit 436.
  • the Bayer data decoding unit 431 decodes the Bayer compressed stream by a decoding method corresponding to the encoding method of the Bayer data encoding unit 426 described above, and restores Bayer data.
  • the wavelength separation unit 432 separates the Bayer data into an R component, a G component, and a B component.
  • the reverse R gain adjustment unit 433 performs reverse gain adjustment of the R component using the supplied R gain. That is, the reverse R gain adjustment unit 433 performs reverse gain adjustment so as to cancel (return) the gain adjustment applied by the R gain adjustment unit 422.
  • the inverse G gain adjustment unit 434 performs similar reverse gain adjustment on the G component using the supplied G gain.
  • the inverse B gain adjustment unit 435 performs similar inverse gain adjustment on the B component using the supplied B gain.
  • the wavelength combining unit 436 combines the R component, the G component, and the B component after the inverse gain adjustment, generates Bayer data, and outputs it (for example, supplies it to the white balance adjusting unit 403).
  • the Bayer sensor 401 captures a subject and generates Bayer data in step S441.
  • the white balance adjustment unit 403 sets a gain for each wavelength component by adjusting the white balance of the Bayer data.
  • the quantization unit 402 quantizes the Bayer data using the gain for each wavelength component.
  • the white balance adjustment unit 403 adjusts the white balance of the quantized Bayer data using the gain for each wavelength component described above.
  • the development processing unit 404 develops the white balance adjusted Bayer data and generates image data of the captured image.
  • the development processing unit 404 outputs the image data.
  • step S451 the gain-adjusted Bayer data encoding unit 411 encodes the Bayer data using the gain for each wavelength component, and generates a Bayer compressed stream.
  • step S452 the gain-adjusted Bayer data decoding unit 412 decodes the Bayer compressed stream using the gain for each wavelength component, and restores Bayer data.
  • step S461 An example of the flow of Bayer data encoding processing executed in step S451 of FIG. 55 will be described with reference to the flowchart of FIG.
  • the wavelength separation unit 421 separates the Bayer data for each wavelength component.
  • the R gain adjustment unit 422, the G gain adjustment unit 423, and the B gain adjustment unit 424 use the gains for the corresponding wavelength components to adjust the gain of the corresponding wavelength components.
  • the wavelength synthesizer 425 synthesizes the wavelength components whose gains are adjusted, and generates Bayer data whose gain is adjusted for each wavelength component.
  • step S464 the Bayer data encoding unit 426 performs encoding with quantization on the Bayer data whose gain is adjusted for each wavelength component.
  • step S471 the Bayer data decoding unit 431 decodes the Bayer compressed stream and restores the Bayer data.
  • the wavelength separation unit 432 separates the Bayer data for each wavelength component.
  • step S473 the inverse R gain adjustment unit 433, the inverse G gain adjustment unit 434, and the inverse B gain adjustment unit 435 use the gains for the corresponding wavelength components to perform the inverse gain adjustment of the corresponding wavelength components.
  • step S474 the wavelength synthesizer 436 synthesizes the wavelength components that have been subjected to the inverse gain adjustment, and generates Bayer data.
  • Imaging device Note that a sensor (light source color measurement unit) that measures the color of the light source (light source color) is provided in the imaging apparatus 400, and the quantum corresponding to the gain for each wavelength component of the image data set based on the measured light source color.
  • the quantized value may be used to quantize and encode each wavelength component of the image data.
  • the imaging apparatus 400 includes a light source color measurement sensor 441 and a light source color measurement unit 442 as shown in FIG. 58, for example.
  • the light source color measurement sensor 441 detects a light source (for example, ambient light) and supplies the detection result to the light source color measurement unit 442.
  • the light source color measurement unit 442 measures the light source color based on the detection result, and sets the gain (R gain, G gain, B gain) of each wavelength component based on the light source color.
  • the light source color measurement unit 442 supplies the gain of each wavelength component to the gain adjustment type Bayer data encoding unit 411, the gain adjustment type Bayer data decoding unit 412, and the white balance adjustment unit 403.
  • the gain adjustment type Bayer data encoding unit 411 encodes the Bayer data
  • the gain adjustment type Bayer data decoding unit 412 decodes the Bayer compressed stream
  • the white balance adjustment unit 403 performs white balance adjustment. It is done using.
  • the Bayer sensor 401 captures an object and generates Bayer data in step S481.
  • the light source color measurement sensor 441 detects ambient light.
  • the light source color measurement unit 442 measures the light source color based on the detection result and sets a gain for each wavelength component.
  • the quantization unit 402 quantizes the Bayer data using the gain for each wavelength component.
  • the white balance adjustment unit 403 adjusts the white balance of the quantized Bayer data using the gain for each wavelength component set in step S483.
  • the development processing unit 404 develops the white balance adjusted Bayer data to generate image data of the captured image.
  • the development processing unit 404 outputs the image data.
  • the imaging apparatus 400 can perform white balance adjustment based on ambient light (ambient light). Also in that case, the imaging apparatus 400 can suppress variation in quantized values after gain adjustment of each wavelength component, and can suppress deterioration of information.
  • the imaging apparatus 400 includes a user setting input unit 451 as illustrated in FIG. 60, for example.
  • the user setting input unit 451 receives user settings for gains (R gain, G gain, and B gain) of each wavelength component.
  • the user setting input unit 451 may have a user interface and accept manual input of gain by a user or the like, or may have an input terminal, a communication unit, and the like, and gain is supplied from another device. You may do it.
  • the gain of each wavelength component input to the user setting input unit 451 is supplied to the gain adjustment type Bayer data encoding unit 411, the gain adjustment type Bayer data decoding unit 412, and the white balance adjustment unit 403.
  • the gain adjustment type Bayer data encoding unit 411 encodes the Bayer data
  • the gain adjustment type Bayer data decoding unit 412 decodes the Bayer compressed stream
  • the white balance adjustment unit 403 performs the white balance adjustment.
  • step S491 the user setting input unit 451 receives a user setting related to a gain for each wavelength component.
  • the Bayer sensor 401 captures a subject and generates Bayer data in step S481.
  • step S493 the quantization unit 402 quantizes the Bayer data using the gain for each wavelength component input in step S491.
  • step S494 the white balance adjustment unit 403 adjusts the white balance of the quantized Bayer data using the gain for each wavelength component input in step S491.
  • step S495 the development processing unit 404 develops the white balance adjusted Bayer data and generates image data of the captured image.
  • step S496, the development processing unit 404 outputs the image data.
  • the imaging apparatus 400 can perform white balance adjustment based on user settings. Therefore, for example, white balance adjustment according to the user's preference can be performed. Also in that case, the imaging apparatus 400 can suppress variation in quantized values after gain adjustment of each wavelength component, and can suppress deterioration of information.
  • FIG. 62 is a block diagram illustrating an example of the configuration of the imaging apparatus in that case.
  • An imaging apparatus 500 shown in FIG. 62 is basically the same apparatus as the imaging apparatus 400, but is an apparatus that images a subject and outputs multiwavelength data.
  • This imaging device 500 is a terminal device having an imaging function, such as the above-described artificial satellite, aerial helicopter, drone, etc., used for precision agriculture and the like, as with the imaging device 400 described above.
  • the imaging apparatus 500 includes a multi-wavelength sensor 501, a quantization unit 502, a white balance adjustment unit 503, and a development processing unit 504.
  • Each processing unit is a processing unit similar to each processing unit (Bayer sensor 401 to development processing unit 404) of the imaging apparatus 400 in FIG. 51 except that the processing target is changed from Bayer data to multi-wavelength data, and performs the same processing. .
  • the quantization unit 502 includes a gain adjustment type multi-wavelength data encoding unit 511 and a gain adjustment type multi-wavelength data decoding unit 512. These processing units, except that the processing target is changed from Bayer data (or Bayer compressed stream) to multi-wavelength data (or multi-wavelength compressed stream), the gain-adjusting Bayer data encoding unit 411 and the gain adjustment of the imaging apparatus 400 in FIG.
  • the same processing unit as the type Bayer data decoding unit 412 performs the same processing.
  • FIG. 63 is a block diagram illustrating an exemplary main configuration of the gain-adjustable multi-wavelength data encoding unit 511.
  • the gain adjustment type multi-wavelength data encoding unit 511 includes a wavelength separation unit 521, a gain adjustment unit 522-1 through a gain adjustment unit 522-N (N is a natural number), a wavelength synthesis unit 523, and a multi-wavelength data encoding unit 524. Have When it is not necessary to distinguish between the gain adjustment unit 522-1 to the gain adjustment unit 522-N, they are referred to as a gain adjustment unit 522.
  • processing units are processing units similar to the processing units of the gain-adjusted Bayer data encoding unit 411 described with reference to FIG. 52 except that the processing target is changed from Bayer data to multi-wavelength data. I do.
  • each wavelength component is subjected to gain adjustment (white balance adjustment)
  • encoding with quantization by the multi-wavelength data encoding unit 524 is performed. Therefore, the quantized value of each wavelength component is obtained after gain adjustment. Set by state. Therefore, it is possible to suppress variation in the quantized value after gain adjustment of each wavelength component, and to suppress deterioration of information.
  • FIG. 64 is a block diagram illustrating a main configuration example of the gain-adjustable multi-wavelength data decoding unit 512.
  • the gain adjustment type multi-wavelength data decoding unit 512 includes a multi-wavelength data decoding unit 531, a wavelength separation unit 532, an inverse gain adjustment unit 533-1 to an inverse gain adjustment unit 533-N (N is a natural number), and a wavelength synthesis unit 534.
  • N is a natural number
  • the reverse gain adjustment unit 533-1 to the reverse gain adjustment unit 533-N are referred to as a reverse gain adjustment unit 533 when there is no need to distinguish them from each other.
  • processing units are the same as the respective processing units of the gain-adjusted Bayer data decoding unit 412 described with reference to FIG. 53 except that the processing target is changed from the Bayer compressed stream to the multi-wavelength compressed stream. Perform the process.
  • the imaging apparatus 500 executes an imaging process as in the flowchart shown in FIG.
  • Each process of step S501 to step S506 in FIG. 65 is executed in the same manner as each process of step S441 to step S446 in FIG. 54 except that the processing target is changed from Bayer data to multi-wavelength data.
  • step S503 in FIG. 65 The multi-wavelength data quantization process executed in step S503 in FIG. 65 is executed as shown in the flowchart in FIG. 66, for example.
  • Each process of step S511 and step S512 of FIG. 66 is the same as that of steps S451 and S452 of FIG. 55 except that the processing target is changed from Bayer data (or Bayer compressed stream) to multiwavelength data (or multiwavelength compressed stream). It is executed in the same way as the processing.
  • the multi-wavelength data encoding process executed in step S511 of FIG. 66 is executed as shown in the flowchart of FIG. 67, for example.
  • Each process of steps S521 to S524 in FIG. 67 is executed in the same manner as each process of steps S461 to S464 in FIG. 56 except that the processing target is changed from Bayer data to multi-wavelength data.
  • the multi-wavelength compressed stream decoding process executed in step S512 of FIG. 66 is executed as shown in the flowchart of FIG. 68, for example.
  • the processes in steps S531 to S534 in FIG. 68 are executed in the same manner as the processes in steps S471 to S474 in FIG. 57 except that the processing target is changed from the Bayer compressed stream to the multi-wavelength compressed stream.
  • Imaging device Note that a sensor (light source color measurement unit) that measures the color of the light source (light source color) is provided in the imaging apparatus 500 and the gain corresponding to each wavelength component of the multi-wavelength data set based on the measured light source color is set. You may make it quantize and encode each wavelength component of multiwavelength data using a quantization value.
  • a sensor light source color measurement unit
  • the imaging apparatus 500 includes a light source color measurement sensor 541 and a light source color measurement unit 542 as shown in FIG. 69, for example.
  • the light source color measurement sensor 541 detects a light source (for example, ambient light) and supplies the detection result to the light source color measurement unit 542.
  • the light source color measurement unit 542 measures the light source color based on the detection result, and sets the gain of each wavelength component based on the light source color.
  • the light source color measurement unit 542 supplies the gain of each wavelength component to the gain adjustment type multi-wavelength data encoding unit 511, the gain adjustment type multi-wavelength data decoding unit 512, and the white balance adjustment unit 503.
  • the multi-wavelength data encoding by the gain-adjusting multi-wavelength data encoding unit 511, the multi-wavelength compressed stream decoding by the gain-adjusting multi-wavelength data decoding unit 512, and the white balance adjustment by the white balance adjusting unit 503 are the light source color measurement. This is performed using the gain set by the unit 542.
  • the imaging apparatus 500 executes an imaging process as in the flowchart shown in FIG.
  • Each process of step S541 to step S547 in FIG. 70 is executed in the same manner as each process of step S481 to step S487 in FIG. 59 except that the processing target is changed from Bayer data to multi-wavelength data.
  • the imaging apparatus 500 can perform white balance adjustment based on ambient light (ambient light). Also in this case, the imaging apparatus 500 can suppress variation in quantized values after gain adjustment of each wavelength component of multi-wavelength data, and can suppress deterioration of information.
  • the imaging apparatus 500 includes a user setting input unit 551 as illustrated in FIG. 71, for example.
  • the user setting input unit 551 receives a user setting of the gain of each wavelength component of the multiwavelength data.
  • the user setting input unit 551 may have a user interface and accept manual input of gain by a user or the like, or may have an input terminal, a communication unit, and the like, and gain is supplied from another device. You may do it.
  • the gain of each wavelength component of the multiwavelength data input to the user setting input unit 551 is supplied to the gain adjustment type multiwavelength data encoding unit 511, the gain adjustment type multiwavelength data decoding unit 512, and the white balance adjustment unit 503.
  • the gain adjustment type multi-wavelength data encoding unit 511 encodes the multi-wavelength data
  • the gain adjustment type multi-wavelength data decoding unit 512 decodes the multi-wavelength compressed stream
  • the white balance adjustment unit 503 performs white balance adjustment. Is done using.
  • the imaging apparatus 500 executes the imaging process as shown in the flowchart of FIG.
  • Each process of step S551 to step S556 in FIG. 72 is executed in the same manner as each process of step S491 to step S496 in FIG. 61 except that the processing target is changed from Bayer data to multi-wavelength data.
  • the imaging apparatus 500 can perform white balance adjustment based on user settings. Therefore, for example, white balance adjustment according to the user's preference can be performed. Also in this case, the imaging apparatus 500 can suppress variation in quantized values after gain adjustment of each wavelength component of multi-wavelength data, and can suppress deterioration of information.
  • wavelengths used by plants for photosynthesis are known to be 0.45 ⁇ m and 0.68 ⁇ m, and the 0.75 ⁇ m wavelength reflectance is known to increase to protect against heat-sensitive chlorophyll. (FIG. 73).
  • This wavelength band in which the reflectance changes rapidly is called a red edge and is very important for grasping the stress situation of plants.
  • red edge changes to the short wavelength side.
  • the data of the wavelength band called red edge is important for grasping the growing situation of plants.
  • existing compression methods such as Bayer coding, the importance between wavelengths does not change significantly, so that it is not possible to set protection or non-protection between wavelengths.
  • a wavelength band having a high priority may be protected as a protection area, and the accuracy of the components in the protection area may be made higher than other wavelength bands (outside the protection area). In other words, the accuracy of data outside the protection area may be reduced more than that of the protection area. By doing so, it is possible to suppress degradation of information with higher priority (more important).
  • the wavelength band used as this protection area is arbitrary.
  • the above-mentioned red edge adjacent wavelength band of visible light red, wavelength band around wavelength 0.75 um
  • the protection region may be used as the protection region.
  • sampling in the wavelength direction may be set more densely in the protection region than outside the protection region.
  • a sampling setting can be realized by making the spectral capability for the protection region of the multi-wavelength sensor higher than the spectral capability for the outside of the protection region.
  • multi-wavelength data that is image data including four or more wavelength components is generated, and the generated multi-wavelength data is converted into other wavelength components (preservation region) only with other wavelength components ( Quantization may be performed so that quantization is performed with a quantization value smaller than (outside the protection region), the quantized multi-wavelength data may be encoded, and encoded data of the multi-wavelength data may be generated.
  • the quantization value of the protection area may be set to a value smaller than that outside the protection area. By doing so, it is possible to reduce errors due to quantization in the protection region, and to generate multi-wavelength data that can more accurately obtain information on a wavelength band having a higher priority (more important). it can.
  • FIG. 76 is a block diagram illustrating a main configuration example of the imaging apparatus in that case.
  • An imaging apparatus 600 shown in FIG. 76 is an apparatus that images a subject and outputs multi-wavelength data of the captured image.
  • the imaging device 600 is a terminal device having an imaging function, such as the above-described artificial satellite, aerial imaging helicopter, drone, etc., used for precision agriculture or the like.
  • the imaging apparatus 600 includes a multi-wavelength sensor 601, a multi-wavelength data quantization unit 602, and a multi-wavelength data encoding unit 603.
  • the multi-wavelength sensor 601 is a sensor similar to the multi-wavelength sensor 111 (FIG. 1), images a subject, generates multi-wavelength data, and supplies it to the multi-wavelength data quantization unit 602.
  • the multi-wavelength data quantization unit 602 quantizes the multi-wavelength data and supplies the quantized multi-wavelength data to the multi-wavelength data encoding unit 603.
  • the multi-wavelength data encoding unit 603 encodes the quantized multi-wavelength data, generates a multi-wavelength compressed stream, and outputs it to the outside of the imaging apparatus 600.
  • FIG. 77 is a block diagram illustrating a main configuration example of the multi-wavelength data quantization unit 602 of FIG.
  • the multi-wavelength data quantization unit 602 includes a wavelength separation unit 611, a protection region quantization unit 612, an out-protection region quantization unit 613, and a wavelength synthesis unit 614.
  • the wavelength separation unit 611 separates the multi-wavelength data into a protection region (predetermined wavelength band) component (protection region wavelength component) and a component outside the protection region (other wavelength band) (wavelength component outside the protection region). Then, the protection region wavelength component is supplied to the protection region quantization unit 612, and the protection region wavelength component is supplied to the protection region outside quantization unit 613.
  • the protection region quantization unit 612 quantizes the protection region wavelength component using the supplied protection region quantization value.
  • the protection region quantization unit 612 supplies the quantized protection region wavelength component to the wavelength synthesis unit 614.
  • the out-of-protection-area quantization unit 613 quantizes the out-of-protection-area wavelength component using the supplied out-of-protection-area quantization value.
  • the outside protection region quantization unit 613 supplies the quantized outside protection region wavelength component to the wavelength synthesis unit 614. That is, the protection region quantization unit 612 and the protection region quantization unit 613 perform quantization using quantization values independent of each other.
  • the wavelength synthesizer 614 synthesizes the quantized protection region wavelength component and the quantized outside protection region wavelength component to generate and output quantized multi-wavelength data.
  • the multi-wavelength sensor 601 captures an object and generates multi-wavelength data in step S561.
  • the multi-wavelength data quantization unit 602 quantizes the multi-wavelength data.
  • the multi-wavelength data encoding unit 603 encodes the quantized multi-wavelength data to generate a multi-wavelength compressed stream.
  • step S571 the wavelength separation unit 611 separates the multi-wavelength data into a protection region wavelength component and a non-protection region wavelength component.
  • step S572 the protection region quantization unit 612 quantizes the protection region wavelength component using the protection region quantization value.
  • step S573 the out-of-protection-area quantization unit 613 quantizes the out-of-protection-area wavelength component using the out-of-protection-area quantization value.
  • step S574 the wavelength combining unit 614 combines the quantized protection region wavelength component and the quantized outside protection region wavelength component to generate quantized multi-wavelength data.
  • Multi-wavelength data capable of more accurately obtaining information on a wavelength band having a higher priority (more important) can be generated.
  • Multi-wavelength data includes a plurality of wavelength components. For example, assuming that each square shown in FIG. 80 is one single wavelength data, the multi-wavelength data is configured as a set of the single wavelength data. Each single wavelength data can be processed independently of each other. Therefore, for example, as shown in FIG. 81A, each single wavelength data may be weighted by quantization. For example, the quantized value of single wavelength data with high priority can be made smaller than the quantized value of single wavelength data with low priority. That is, since weighting can be performed on each single wavelength data, multi-wavelength data from which information on a wavelength band with a higher priority (more important) can be obtained more accurately can be generated.
  • the processing order of each single wavelength data may be rearranged.
  • the processing order may be rearranged so that single-wavelength data with high priority (for example, single-wavelength data outside the protected area) is processed before other single-wavelength data.
  • multi-wavelength data may be encoded by fixed length compression with a fixed code length. At that time, as described above, by rearranging the processing order of the single wavelength data with high priority first, information on the wavelength band with high priority (more important) can be obtained more accurately. Multi-wavelength data of fixed length compression can be generated.
  • FIG. 82 is a block diagram illustrating a main configuration example of the imaging apparatus in that case.
  • An imaging apparatus 700 shown in FIG. 82 is an apparatus that images a subject and outputs multi-wavelength data of the captured image.
  • the imaging device 700 is a terminal device having an imaging function, such as the above-described artificial satellite, aerial imaging helicopter, or drone, used for precision agriculture or the like.
  • the imaging apparatus 700 includes a multi-wavelength sensor 701, a data rearrangement unit 702, a multi-wavelength data encoding unit 703, a multi-wavelength data encoding unit 704, and a stream synthesis unit 705.
  • the multi-wavelength sensor 701 is a sensor similar to the multi-wavelength sensor 111 (FIG. 1), images a subject, generates multi-wavelength data, and supplies it to the data rearrangement unit 702.
  • the data rearrangement unit 702 rearranges the processing order of each single wavelength data of the multiwavelength data, supplies single wavelength data with high priority (high priority data) to the multiwavelength data encoding unit 703, and the other Single wavelength data (single wavelength data with low priority (low priority data)) is supplied to the multi-wavelength data encoding unit 704.
  • the multi-wavelength data encoding unit 703 encodes the high priority data at a compression rate lower than that of the multi-wavelength data encoding unit 704 to generate a low-compression compressed stream (high-priority compressed stream). This is supplied to the stream synthesis unit 705.
  • the multi-wavelength data encoding unit 703 performs the target bit amount (low-priority data) of the multi-wavelength data encoding unit based on the data amount of the high-priority compressed stream generated by itself so as to perform fixed-length compression. Target bit amount) is set and supplied to the multi-wavelength data encoding unit 704.
  • the multi-wavelength data encoding unit 704 encodes the low-priority data at a higher compression rate than the multi-wavelength data encoding unit 703 to generate a high-compression compressed stream (low-priority compressed stream). This is supplied to the stream synthesis unit 705.
  • the multi-wavelength data encoding unit 704 encodes the low-priority data so that fixed-length encoding is performed using the low-priority data target bit amount supplied from the multi-wavelength data encoding unit 703. I do.
  • the multi-wavelength data encoding unit 703 encodes the high priority data and sets the low priority data target bit amount based on the remaining bit amount.
  • the multi-wavelength data encoding unit 704 uses the low priority data target bit amount to adjust the compression rate so as to achieve fixed length encoding, thereby reducing the low priority. Encode the data. If, as in the example of FIG. 83B, there are bits left, stuffing bits may be supplemented as shown in FIG. 83C.
  • the stream combining unit 705 combines the high priority compressed stream and the low priority compressed stream, generates a multi-wavelength compressed stream, and outputs it.
  • the multi-wavelength sensor 701 captures an object and generates multi-wavelength data in step S581.
  • the data rearrangement unit 702 appropriately rearranges the processing order of each single wavelength data of the multi-wavelength data so that the high priority data is processed first.
  • the multi-wavelength data encoding unit 703 encodes high priority data.
  • the multi-wavelength data encoding unit 703 sets a low priority data target bit amount.
  • step S585 the multi-wavelength data encoding unit 704 encodes the low priority data so that the fixed length compression is performed using the low priority data target bit amount.
  • step S586 the stream combining unit 705 combines the high priority compressed stream and the low priority compressed stream to generate a multi-wavelength compressed stream.
  • the single wavelength data in the protected area and the single wavelength data outside the protected area may be encoded by different encoding methods.
  • single wavelength data in the protected area may be encoded using only its own data
  • single wavelength data outside the protected area may be encoded using prediction using other single wavelength data ( FIG. 85).
  • FIG. 86 is a block diagram illustrating a main configuration example of the imaging apparatus in that case.
  • the imaging apparatus 700 is different from the case in FIG. A conversion unit 714.
  • the local decoding unit 711 decodes the high priority compressed stream generated by the multi-wavelength data encoding unit 703 and restores the high priority data.
  • the inter-wavelength prediction unit 712 uses the high priority data restored by the local decoding unit 711 to generate prediction data of low priority data.
  • the calculation unit 713 calculates a difference between the low priority data supplied from the data rearrangement unit 702 and the predicted value of the low priority data supplied from the inter-wavelength prediction unit 712.
  • the difference data encoding unit 714 encodes the difference (difference data) calculated by the calculation unit 713 to generate a difference compressed stream.
  • the stream combining unit 705 combines the high priority compressed stream generated by the multi-wavelength data encoding unit 703 and the differential compressed stream generated by the differential data encoding unit 714 to generate a multi-wavelength compressed stream, Output.
  • the multi-wavelength sensor 701 captures an object and generates multi-wavelength data in step S601.
  • the data rearrangement unit 702 appropriately rearranges the processing order of each single wavelength data of the multi-wavelength data so that the high priority data is processed first.
  • the multi-wavelength data encoding unit 703 encodes the high priority data and generates a high priority compressed stream.
  • the local decoding unit 711 locally decodes the high priority compressed stream generated in step S603, and restores high priority data.
  • step S605 the inter-wavelength prediction unit 712 performs inter-wavelength prediction, and generates prediction data of low priority data using the high priority data restored in step S604.
  • step S606 the calculation unit 713 calculates a difference between the low priority data and the prediction data generated in step S605.
  • step S607 the difference data encoding unit 714 encodes the difference data generated in step S606.
  • step S608 the stream combining unit 705 combines the high priority compressed stream generated in step S603 and the differential compressed stream generated in step S607 to generate a multi-wavelength compressed stream.
  • FIG. 88 is a block diagram illustrating another configuration example of the imaging apparatus in that case.
  • the imaging apparatus 700 further includes a local decoding unit 721, a calculation unit 722, an inter-wavelength prediction unit 723, and a mode selection unit 724, as compared with the case of FIG.
  • the local decoding unit 721 decodes the differential compressed stream generated by the differential data encoding unit 714 and restores the differential data.
  • the calculation unit 722 adds the prediction data supplied from the mode selection unit 724 and the difference data supplied from the local decoding unit 721. That is, the low priority data is restored.
  • the inter-wavelength prediction unit 723 generates prediction data of low priority data using the low priority data.
  • the mode selection unit 724 selects one of the prediction data generated by the inter-wavelength prediction unit 712 and the prediction data generated by the inter-wavelength prediction unit 723, and selects the selected prediction data as the calculation unit 713 and It supplies to the calculating part 722.
  • the multi-wavelength sensor 701 captures an object and generates multi-wavelength data in step S621.
  • the data rearrangement unit 702 appropriately rearranges the processing order of each single wavelength data of the multi-wavelength data so that the high priority data is processed first.
  • the multi-wavelength data encoding unit 703 encodes the high priority data and generates a high priority compressed stream.
  • the local decoding unit 711 locally decodes the high priority compressed stream generated in step S623, and restores the high priority data.
  • the inter-wavelength prediction unit 712 performs inter-wavelength prediction using the high priority data restored in step S624, and generates prediction data of low priority data.
  • step S626 the inter-wavelength prediction unit 723 performs inter-wavelength prediction using the restored low priority data, and generates prediction data of the low priority data.
  • step S627 the mode selection unit 724 selects a prediction mode based on, for example, cost, and selects either the prediction data generated in step S625 or the prediction data generated in step S626.
  • step S628 the calculation unit 713 calculates a difference between the low priority data and the prediction data selected in step S627.
  • step S629 the difference data encoding unit 714 encodes the difference data generated in step S628 to generate a difference compressed stream.
  • step S630 the local decoding unit 721 locally decodes the differential compression stream generated in step S629, and restores differential data.
  • step S631 the calculation unit 722 adds the prediction data selected in step S627 and the difference data restored in step S630 to restore low priority data.
  • step S632 the stream combining unit 705 combines the high priority compressed stream generated in step S623 and the differential compressed stream generated in step S629 to generate a multi-wavelength compressed stream.
  • the multi-wavelength data described above in each embodiment may be image data including four or more wavelength components. That is, the wavelength of each wavelength component of the multiwavelength data is arbitrary.
  • the multiwavelength data may or may not include the wavelength component of visible light. Further, the multiwavelength data may or may not include the wavelength component of invisible light.
  • ⁇ Computer> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 90 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 914 includes a network interface, for example.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program, for example. Is performed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable medium 921 to the drive 915.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • the present technology can be applied to any image encoding / decoding method. That is, unless there is a contradiction with the present technology described above, the specifications of various processes relating to image encoding / decoding are arbitrary and are not limited to the above-described examples.
  • the present technology can be applied not only to the imaging device but also to an arbitrary device (electronic device).
  • the present technology can be applied to an image processing apparatus that performs image processing on a captured image obtained by high digital gain imaging performed in another apparatus.
  • the present technology can be applied to any configuration installed in an arbitrary device or a device constituting the system, for example, a processor (for example, a video processor) as a system LSI (Large Scale Integration), a module using a plurality of processors (for example, a video) Modules), units using a plurality of modules (for example, video units), sets obtained by adding other functions to the units (for example, video sets), etc. (that is, a configuration of a part of the apparatus).
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • modules using a plurality of processors for example, a video
  • modules for example, video units
  • sets obtained by adding other functions to the units for example, video sets
  • the present technology can also be applied to a network system including a plurality of devices.
  • a network system including a plurality of devices.
  • it can also be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, IoT (Internet of Things) devices, etc. it can.
  • systems, devices, processing units, etc. to which this technology is applied shall be used in any field such as traffic, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factory, home appliance, weather, nature monitoring, etc. Can do. Moreover, the use is also arbitrary.
  • the present technology can be applied to a system or device used for providing ornamental content or the like.
  • the present technology can also be applied to systems and devices used for traffic such as traffic situation management and automatic driving control.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for automatic control of a machine or the like.
  • the present technology can also be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans, and wildlife.
  • the present technology can be applied to a system or a device provided for sports.
  • “flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more Information that can identify the state is also included. Therefore, the value that can be taken by the “flag” may be, for example, a binary value of 1/0, or may be three or more values. That is, the number of bits constituting this “flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information includes not only the form in which the identification information is included in the bitstream but also the form in which the difference information of the identification information with respect to certain reference information is included in the bitstream.
  • the “flag” and “identification information” include not only the information but also difference information with respect to the reference information.
  • various information (metadata, etc.) related to the encoded data may be transmitted or recorded in any form as long as it is associated with the encoded data.
  • the term “associate” means, for example, that one data can be used (linked) when one data is processed. That is, the data associated with each other may be collected as one data, or may be individual data. For example, information associated with encoded data (image) may be transmitted on a different transmission path from the encoded data (image). Further, for example, information associated with encoded data (image) may be recorded on a recording medium different from the encoded data (image) (or another recording area of the same recording medium). Good.
  • the “association” may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • the present technology may be applied to any configuration that constitutes an apparatus or a system, such as a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, and the unit. It can also be implemented as a set to which other functions are added (that is, a partial configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a unit using a plurality of modules
  • the unit such as a set to which other functions are added (that is, a partial configuration of the apparatus).
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than those described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • this technique can also take the following structures.
  • An imaging unit that images a subject and generates multi-wavelength data that is image data including four or more wavelength components;
  • An encoding unit that encodes the multi-wavelength data generated by the imaging unit and generates encoded data of the multi-wavelength data;
  • An image processing apparatus comprising: a transmission unit that transmits the encoded data generated by the encoding unit.
  • the image processing device according to (1), wherein the encoding unit encodes the multi-wavelength data independently for each wavelength component.
  • the encoding unit includes: Quantize each wavelength component, Calculate the difference between quantized wavelength components, The image processing apparatus according to (2), wherein the difference is variable-length encoded.
  • the encoding unit encodes the multi-wavelength data,
  • the transmission unit transmits the encoded data generated by the encoding unit, When it is controlled not to perform encoding by the encoding control unit,
  • the image processing apparatus according to any one of (1) to (3), wherein the transmission unit transmits the multi-wavelength data generated by the imaging unit.
  • the image processing device according to any one of (1) to (4), wherein the encoding unit encodes the multi-wavelength data at a compression rate controlled by the encoding control unit.
  • the encoding unit encodes the multi-wavelength data at a plurality of compression rates
  • the image processing apparatus according to any one of (1) to (5), wherein the transmission unit transmits the encoded data of each compression rate generated by the encoding unit.
  • a noise reduction processing unit that performs noise reduction processing on the multi-wavelength data generated by the imaging unit;
  • the image processing apparatus according to any one of (1) to (7), wherein the encoding unit encodes the multi-wavelength data that has been subjected to the noise reduction processing by the noise reduction processing unit.
  • the noise reduction processing unit performs the noise reduction processing independently for each wavelength component of the multi-wavelength data.
  • Image a subject generate multi-wavelength data that is image data including four or more wavelength components, Encode the generated multi-wavelength data, generate encoded data of the multi-wavelength data, An image processing method for transmitting the generated encoded data.
  • An imaging unit that images a subject and generates image data including a plurality of wavelength components;
  • An image processing apparatus comprising: an encoding unit that quantizes and encodes the image data generated by the imaging unit using a quantization value for each wavelength component.
  • the encoding unit quantizes and encodes each wavelength component of the image data using a quantization value corresponding to a white balance adjustment gain for each wavelength component of the image data.
  • a light source color measurement unit that measures the light source color is further provided, The encoding unit uses each quantized value corresponding to a gain for each wavelength component of the image data set based on the light source color measured by the light source color measuring unit, and uses each wavelength component of the image data.
  • the image processing apparatus according to (11) or (12).
  • the image processing device according to any one of (11) to (13), wherein the image data is multi-wavelength data that is image data including four or more wavelength components.
  • Image a subject generate image data including a plurality of wavelength components, An image processing method in which the generated image data is quantized using a quantized value for each wavelength component and encoded.
  • An imaging unit that images a subject and generates multi-wavelength data that is image data including four or more wavelength components;
  • a quantization unit that quantizes the multi-wavelength data generated by the imaging unit so that only a predetermined wavelength component is quantized with a smaller quantization value than other wavelength components;
  • An image processing apparatus comprising: an encoding unit that encodes the multi-wavelength data quantized by the quantization unit and generates encoded data of the multi-wavelength data.
  • the image processing device according to (16), wherein the predetermined wavelength component is a red edge.
  • 100 image processing system 101 imaging device, 102 information processing device, 111 multi-wavelength sensor, 112 multi-wavelength data encoding unit, 113 transmission unit, 121 receiving unit, 122 storage unit, 123 multi-wavelength data decoding unit, 124 data analysis unit , 131 wavelength demultiplexing unit, 132 single wavelength data encoding unit, 133 stream synthesis unit, 141 quantization unit, 142 delay buffer, 143 calculation unit, 144 VLC encoder, 151 stream demultiplexing unit, 152 single wavelength data decoding unit, 153 wavelength Synthesis unit, 161 VLC decoder, 162 operation unit, 163 delay buffer, 164 inverse quantization unit, 171 format selection unit, 181 format determination unit, 191 quantized value setting unit, 01 downsampling filter, 202 upsampling filter, 211 writing unit, 212 storage device, 213 reading unit, 221 sending unit, 222 receiving unit, 223 control unit, 231 synthesis unit, 251 noise reduction filter, 261 wavelength separation unit, 262 2D

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本開示は、多波長データの処理の負荷の増大を抑制することができるようにする画像処理装置および方法に関する。 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、その生成された多波長データを符号化し、その多波長データの符号化データを生成し、その生成された符号化データを送信する。本開示は、例えば、画像処理装置、画像符号化装置、画像復号装置、撮像素子、または撮像装置等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、多波長データの処理の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
　従来、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを取得することができる撮像素子があった（例えば、特許文献１および特許文献２参照）。
　例えば、このような撮像素子を用いて得た多波長データを利用して所謂精密農業を行うことが考えられた。
特開２００８－１３６２５１号公報 特開２０１７－２０１３１７号公報
　しかしながら、多波長データはデータ量が大きいため、処理の負荷が増大するおそれがあった。そのためコストが増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、多波長データの処理の負荷の増大を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、前記撮像部により生成された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と、前記符号化部により生成された前記符号化データを送信する送信部とを備える画像処理装置である。
　本技術の一側面の画像処理方法は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、生成された前記多波長データを符号化し、前記多波長データの符号化データを生成し、生成された前記符号化データを送信する画像処理方法である。
　本技術の他の側面の画像処理装置は、被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、前記撮像部により生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部とを備える画像処理装置である。
　本技術の他の側面の画像処理方法は、被写体を撮像し、複数の波長成分を含む画像データを生成し、生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、前記撮像部により生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化する量子化部と、前記量子化部により量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部とを備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化し、量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、被写体が撮像され、４以上の波長成分を含む画像データである多波長データが生成され、その生成された多波長データが符号化され、その多波長データの符号化データが生成され、その生成された符号化データが送信される。
　本技術の他の側面の画像処理装置および方法においては、被写体が撮像され、複数の波長成分を含む画像データが生成され、その生成された画像データが、波長成分毎の量子化値を用いて量子化され、符号化される。
　本技術のさらに他の側面の画像処理装置および方法においては、被写体が撮像され、４以上の波長成分を含む画像データである多波長データが生成され、その生成された多波長データが、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化され、その量子化された多波長データが符号化され、その多波長データの符号化データが生成される。
　本開示によれば、画像を処理することができる。特に、多波長データの処理の負荷の増大を抑制することができる。
本技術を適用した画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 多波長データ符号化部の主な構成例を示すブロック図である。 多波長データ符号化処理の流れの例を説明するフローチャートである。 単波長データ符号化部の主な構成例を示すブロック図である。 単波長データ符号化処理の流れの例を説明するフローチャートである。 多波長データ復号部の主な構成例を示すブロック図である。 多波長圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 単波長データ復号部の主な構成例を示すブロック図である。 単波長圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 合成レポートの生成の様子の例を示す図である。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 ノイズリダクションフィルタの主な構成例を示すブロック図である。 ノイズリダクション処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 多波長データ処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明する、図４０に続くフローチャートである。 リサンプル部の主な構成例を示すブロック図である。 リサンプル処理の流れの例を説明するフローチャートである。 リサンプル部の主な構成例を示すブロック図である。 リサンプル処理の流れの例を説明するフローチャートである。 リサンプル部の主な構成例を示すブロック図である。 LSBマスク処理の様子の例を示す図である。 リサンプル処理の流れの例を説明するフローチャートである。 量子化の様子の例を示す図である。 量子化の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 ゲイン調整型ベイヤデータ符号化部の主な構成例を示すブロック図である。 ゲイン調整型ベイヤデータ復号部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 ベイヤデータ量子化処理の流れの例を説明するフローチャートである。 ベイヤデータ符号化処理の流れの例を説明するフローチャートである。 ベイヤ圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 ゲイン調整型多波長データ符号化部の主な構成例を示すブロック図である。 ゲイン調整型多波長データ復号部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ量子化処理の流れの例を説明するフローチャートである。 多波長データ符号化処理の流れの例を説明するフローチャートである。 多波長圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 光波長分布の例を示す図である。 サンプリング間隔制御の様子の例を示す図である。 量子化値制御の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 多波長データ量子化部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ符号化処理の流れの例を説明するフローチャートである。 多波長データの例を示す図である。 多波長データの処理の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 固定長符号化の様子の例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データの処理の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．共通技術説明
２．第１の実施の形態（多波長データの伝送）
３．第２の実施の形態（多波長データの記憶）
４．第３の実施の形態（波長成分毎の量子化制御）
５．第４の実施の形態（特定波長成分の保護）
６．付記
　＜１．共通技術説明＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。
　特許文献１：（上述）
　特許文献２：（上述）
　非特許文献１：http://www.secure-drone.org/precision-agriculture/
　非特許文献２：https://www.optim.co.jp/it-industry/agriculture/case-study/tpa/
　非特許文献３：https://ja.wikipedia.org/wiki/NDVI
　非特許文献４：https://www.sci.osaka-cu.ac.jp/~masumoto/vuniv2000/gis09.html
　非特許文献５：http://www.ebajapan.jp/spectral.html
　非特許文献６：https://www.argocorp.com/cam/special/HeadWall/how_it_works.html
　非特許文献７：https://www.klv.co.jp/product/easy_hyperspectral3.html
　つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。
　　＜多波長データ＞
　従来、例えば特許文献１や特許文献２に記載のような、被写体を撮像し、４以上の波長成分を含む画像データであるマルチスペクトル画像を取得することができる撮像素子があった。
　近年、このような撮像素子を用いて得た多波長データを利用して、農業の生産管理等を行う所謂精密農業を行うことが考えられた。
　精密農業では、例えば、人工衛星、空撮用ヘリコプタ、ドローン等により植物の生育状況の把握に必要な多波長データ等の撮影を行う。これらの機器において得られた撮影画像の多波長データは、サーバ（クラウド）等で構成される解析システムに伝送され、データ解析される。この解析結果に基づいて、育成状況が悪い場合には、追肥等の情報提供を実施する。
　また、この多波長データは、サーバ（クラウド）等により記憶され、任意のタイミングにおいて利用される。例えば、記憶された多波長データは、例えば、数日後や数か月後等のように、後のタイミングにおいて行われる、植物の生育状況の把握等に利用される。
　例えば、多波長データを利用することにより、NDVI（Normalized Difference Vegetation Index）等を検出することができる。この指標により、農作物の育成状況等を把握し、追肥等の対策としている。
　多波長データの撮影には、４以上の波長成分を含む画像データを生成することができる撮像装置が用いられる。このような撮像装置として、例えば、ハイパースペクトルカメラがある。ハイパースペクトルとは、数十バンド（種類）以上に分光されたスペクトルのことである。ハイパースペクトル情報を取得することで、人間の目や既存のRGBカメラでは捉えることができない対象の特性や情報をとらえることができる。
　ハイパースペクトルカメラは、このようなハイパースペクトル情報を画像1ピクセル毎に取得し、２次元の空間情報とハイパースペクトル情報を同時に取得することができるカメラである。例えば、ハイパースペクトルカメラでは３５０nm（近紫外）乃至１１００nm（近赤外）の波長を所定の波長間隔で分光し、ハイパースペクトル情報を生成する。例えば、ハイパースペクトルカメラは、ライン分光方式により測定視野１水平ライン分を垂直方向に分光し、２次元ディテクタにより水平空間情報とその分光情報を検出する。まず測定ターゲットより反射した光が光学レンズを通り、エントランス・スリットを通過し、コリメーションミラーを介して分光エンジン（グレーティング）に向かい、そこで水平１ライン分の光が分光される。分光された光はフォーカシングミラーを介して２次元ディテクタに向かい、横軸を空間情報、縦軸を波長情報として検出される。
　このような多波長データからイメージ化したデータを生成する場合、測定ターゲット若しくはカメラを移動させ、複数の水平ラインを測定することにより２次元画像を生成することができる。
　このような情報は、工業、農業、分析、バイオ、リモートセンシング等の多様な分野に利用されている。例えば、リサイクルの選別、外来種の植物の分布範囲の測定等に利用されている。
　　＜多波長データの処理負荷＞
　しかしながら、多波長データはデータ量が大きいため、処理の負荷が増大するおそれがあった。そのためコストが増大するおそれがあった。例えば、上述のような精密農業において、端末の撮像装置において生成された多波長データは、サーバ（クラウド）等に伝送されて利用される。しかしながら、多波長データはデータ量が大きいため、この伝送の際の消費電力や回線利用料などのコストが増大するおそれがあった。また、通信回線が十分に確保できない場合、伝送にかかる時間が長くなるおそれもあった。
　＜２．第１の実施の形態＞
　　＜２－１．多波長データの符号化と伝送＞
　そこで、多波長データを符号化（圧縮）し、符号化データを送信するようにする。例えば、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、生成されたその多波長データを符号化し、その多波長データの符号化データを生成し、生成されたその符号化データを送信するようにする。例えば、画像処理装置において、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、その撮像部により生成された多波長データを符号化し、その多波長データの符号化データを生成する符号化部と、その符号化部により生成された符号化データを送信する送信部とを備えるようにする。
　このようにすることにより、伝送するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。
　　　＜画像処理システム＞
　図１は、本技術を適用した画像処理システムの構成の一例を示すブロック図である。図１に示される画像処理システム１００は、撮像装置１０１および情報処理装置１０２を有する。撮像装置１０１において生成された多波長データは、情報処理装置１０２に伝送されて処理される。この画像処理システム１００は、例えば、精密農業等に用いられるシステムを模式化したものである。例えば、撮像装置１０１は、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示し、情報処理装置１０２は、サーバ（クラウド）等のコンピュータ（画像処理装置）を示している。
　撮像装置１０１は、多波長センサ１１１、多波長データ符号化部１１２、および送信部１１３を有する。多波長センサ１１１は、被写体を撮像して多波長データを生成する。この多波長センサ１１１は、被写体を撮像して多波長データを生成することができるデバイスであればどのようなものであってもよい。例えば、叙述のハイパースペクトルカメラであってもよい。多波長データ符号化部１１２は、その多波長データを符号化して、多波長データの符号化データを生成する。この符号化方法は任意である。送信部１１３は、その符号化データを、情報処理装置１０２に送信する。この撮像装置１０１と情報処理装置１０２との間の、多波長データを伝送する通信の通信方式は任意である。例えば、有線通信であってもよいし、無線通信であってもよい。
　情報処理装置１０２は、受信部１２１、記憶部１２２、多波長データ復号部１２３、およびデータ解析部１２４を有する。受信部１２１は、撮像装置１０１（送信部１１３）から送信された多波長データの符号化データを受信する。受信部１２１は、その受信した符号化データを記憶部１２２に供給し、記憶させることができる。記憶部１２２は、例えばハードディスクや半導体メモリ等の、任意の記憶媒体を有し、符号化データを記憶する。また、受信部１２１は、受信した符号化データを多波長データ復号部１２３に供給することもできる。多波長データ復号部１２３は、受信部１２１または記憶部１２２から符号化データを取得し、それを復号し、多波長データを復元する。この復号方法は、多波長データ符号化部１１２の符号化方法に対応するものであれば任意である。データ解析部１２４は、その復元された多波長データを解析し、その解析結果を出力する。
　　　＜撮像処理の流れ＞
　撮像装置１０１により実行される撮像処理の流れの例を、図２のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ１１１は、ステップＳ１０１において、被写体を撮像し多波長データを生成する。ステップＳ１０２において、多波長データ符号化部１１２は、その多波長データを符号化し、符号化データ（多波長圧縮ストリーム）を生成する。ステップＳ１０３において、送信部１１３は、その多波長圧縮ストリームを送信する。
　撮像装置１０１より送信された多波長圧縮ストリームは、情報処理装置１０２へ伝送される。
　　　＜多波長データ処理の流れ＞
　情報処理装置１０２により実行される多波長データ処理の流れの例を、図３のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ１１１において、撮像装置１０１から送信された多波長圧縮ストリームを受信する。ステップＳ１１２において、受信部１２１は、受信した多波長圧縮ストリームを記憶部１２２に記憶させるか否かを判定する。記憶されると判定された場合、ステップＳ１１３において、記憶部１２２は、その多波長圧縮ストリームを記憶する。記憶させないと判定された場合、この処理は省略される。
　ステップＳ１１４において、多波長データ復号部１２３は、受信部１２１が受信した多波長圧縮ストリーム、または、記憶部１２２が記憶している多波長圧縮ストリームを取得して復号し、多波長データを復元する。データ解析部１２４は、ステップＳ１１５において、その復元された多波長データを解析してレポートを作成し、ステップＳ１１６において、そのレポートを出力する。
　以上のように、多波長データを撮像装置１０１から情報処理装置１０２に送信する際に、多波長データを符号化して（符号化データを）伝送するようにする。このようにすることにより、伝送するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。
　　　＜多波長データ符号化部＞
　多波長データの符号化は、例えば、波長成分毎に独立に行うようにしてもよい。図４は、この場合の多波長データ符号化部１１２の主な構成例を示すブロック図である。図４に示されるように、多波長データ符号化部１１２は、波長分離部１３１、単波長データ符号化部１３２－１乃至単波長データ符号化部１３２－Ｎ（Ｎは任意の自然数）、並びにストリーム合成部１３３を有する。単波長データ符号化部１３２－１乃至単波長データ符号化部１３２－Ｎを互いに区別して説明する必要がない場合、単波長データ符号化部１３２と称する。
　波長分離部１３１は、多波長データを波長成分毎のデータ（単波長データ）に分離する。単波長データ符号化部１３２は、この波長成分毎に用意される。つまり、単波長データ符号化部１３２－１乃至単波長データ符号化部１３２－Ｎは、それぞれに対応する波長成分の単波長データを符号化し、その符号化データ（単波長圧縮ストリーム）を生成する。なお、この符号化方法は任意である。ストリーム合成部１３３は、これらの単波長圧縮ストリームを合成し、多波長圧縮ストリームを生成し、出力する（例えば、送信部１１３に供給する）。この合成の方法は任意である。
　　　＜多波長データ符号化処理の流れ＞
　この場合の多波長データ符号化部１１２により、図２のステップＳ１０２において実行される多波長データ符号化処理の流れの例を、図５のフローチャートを参照して説明する。多波長データ符号化処理が開始されると、ステップＳ１２１において、波長分離部１３１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ１２２において、単波長データ符号化部１３２は、各波長成分の単波長データを符号化し、単波長圧縮ストリームを生成する。ステップＳ１２３において、ストリーム合成部１３３は、各波長成分の単波長圧縮ストリームを合成し、多波長圧縮ストリームを生成する。
　ステップＳ１２３の処理が終了すると多波長データ符号化処理が終了し、処理は、図２に戻る。
　このようにすることにより、波長成分毎に符号化を行うことができるので、多波長データをより容易に符号化することができる。
　　　＜単波長データ符号化部＞
　単波長データの符号化は、例えば、量子化と、単波長データ同士の差分の符号化とを用いて行うようにしてもよい。つまり、各波長成分（単波長データ）を量子化し、量子化された単波長データ同士の差分を算出し、その差分を可変長符号化するようにしてもよい。
　図６は、この場合の単波長データ符号化部１３２の主な構成例を示すブロック図である。図６に示されるように、単波長データ符号化部１３２は、量子化部１４１、ディレイバッファ１４２、演算部１４３、およびVLC（Variable Length Code）エンコーダ１４４を有する。
　量子化部１４１は、単波長データを量子化する。ディレイバッファ１４２は、任意の記憶媒体を有し、量子化部１４１により量子化された単波長データを記憶（保持）し、１サイクル分遅延させて演算部１４３に供給する。演算部１４３は、量子化部１４１により量子化された単波長データと、ディレイバッファ１４２から供給される、１サイクル前の単波長データとの差分を算出する。VLCエンコーダ１４４は、演算部１４３により算出された差分を可変長符号化し、単波長圧縮ストリームを生成し、出力する（例えば、ストリーム合成部１３３に供給する）。この可変長符号化の方法は任意である。
　　　＜単波長データ符号化処理の流れ＞
　この場合の単波長データ符号化部１３２により、図５のステップＳ１２２において実行される単波長データ符号化処理の流れの例を、図７のフローチャートを参照して説明する。単波長データ符号化処理が開始されると、ステップＳ１３１において、量子化部１４１は、単波長データを量子化する。ステップＳ１３２において、ディレイバッファ１４２は、その量子化された単波長データを記憶し、遅延させる。ステップＳ１３３において、演算部１４３は、量子化された単波長データと１サイクル前の単波長データとの差分（単波長データの差分データ）を算出する。ステップＳ１３４において、VLCエンコーダ１４４は、その差分データを可変長符号化し、単波長圧縮ストリームを生成する。
　ステップＳ１３４の処理が終了すると単波長データ符号化処理が終了し、処理は、図５に戻る。
　このようにすることにより、各波長成分（単波長データ）をより容易に符号化することができる。
　　　＜多波長データ復号部＞
　多波長圧縮ストリームの復号は、例えば、波長成分毎に独立に行うようにしてもよい。図８は、この場合の多波長データ復号部１２３の主な構成例を示すブロック図である。図８に示されるように、多波長データ復号部１２３は、ストリーム分離部１５１、単波長データ復号部１５２－１乃至単波長データ復号部１５２－Ｎ（Ｎは任意の自然数）、並びに波長合成部１５３を有する。単波長データ復号部１５２－１乃至単波長データ復号部１５２－Ｎを互いに区別して説明する必要がない場合、単波長データ復号部１５２と称する。
　ストリーム分離部１５１は、多波長圧縮ストリームを波長成分毎のストリーム（単波長圧縮ストリーム）に分離する。単波長データ復号部１５２は、この波長成分毎に用意される。つまり、単波長データ復号部１５２－１乃至単波長データ復号部１５２－Ｎは、それぞれに対応する波長成分の単波長圧縮ストリームを復号し、単波長データを復元する。なお、この復号方法は、単波長データ符号化部１３２による単波長データの符号化方法に対応するものであれば任意である。波長合成部１５３は、以上のように復元された各波長成分の単波長データを合成し、多波長データを復元し、出力する（例えば、データ解析部１２４に供給する）。
　　　＜多波長データ復号処理の流れ＞
　この場合の多波長データ復号部１２３により、図３のステップＳ１１４において実行される多波長データ復号処理の流れの例を、図９のフローチャートを参照して説明する。多波長データ復号処理が開始されると、ステップＳ１４１において、ストリーム分離部１５１は、多波長圧縮ストリームを波長成分毎の単波長圧縮ストリームに分離する。ステップＳ１４２において、単波長データ復号部１５２は、各波長成分の単波長圧縮ストリームを復号し、各波長成分の単波長データを復元する。ステップＳ１４３において、波長合成部１５３は、復元された各波長成分の単波長データを合成し、多波長データを復元する。
　ステップＳ１４３の処理が終了すると多波長データ復号処理が終了し、処理は、図３に戻る。
　このようにすることにより、波長成分毎に復号を行うことができるので、多波長データが波長成分毎に符号化された多波長圧縮ストリームを正しく復号することができる。
　　　＜単波長データ復号部＞
　単波長圧縮ストリームの復号は、例えば、可変長復号と、単波長データの加算と、逆量子化を用いて行うようにしてもよい。つまり、単波長圧縮ストリームを可変長復号して単波長データ同士の差分データを復元し、その差分データに１サイクル前の単波長データを加算することにより量子化された単波長データを復元し、その量子化された単波長データを逆量子化することにより、単波長データを復元するようにしてもよい。
　図１０は、この場合の単波長データ復号部１５２の主な構成例を示すブロック図である。図１０に示されるように、単波長データ復号部１５２は、VLCデコーダ１６１、演算部１６２、ディレイバッファ１６３、および逆量子化部１６４を有する。
　VLCデコーダ１６１は、単波長圧縮ストリームを可変長復号し、差分データを復元する。なお、この可変長復号の方法は、VLCエンコーダ１４４が行う可変長符号化の方法に対応する方法であれば任意である。また、演算部１６２は、ディレイバッファ１６３から供給される１サイクル前の量子化された単波長データをその差分データに加算し、量子化された単波長データを復元する。ディレイバッファ１６３は、その量子化された単波長データを記憶（保持）し、１サイクル分遅延させて演算部１６２に供給する。逆量子化部１６４は、演算部１６２により復元された、量子化された単波長データを逆量子化し、単波長データを復元し、出力する（例えば、波長合成部１５３に供給する）。
　　　＜単波長圧縮ストリーム復号処理の流れ＞
　この場合の単波長データ復号部１５２により、図９のステップＳ１４２において実行される単波長圧縮ストリーム復号処理の流れの例を、図１１のフローチャートを参照して説明する。単波長圧縮ストリーム復号処理が開始されると、ステップＳ１５１において、VLCデコーダ１６１は、単波長圧縮ストリームを可変長復号し、差分データを復元する。ステップＳ１５２において、演算部１６２は、復元した差分データに、１サイクル前の単波長データを加算し、量子化された単波長データを復元する。ステップＳ１５３において、ディレイバッファ１６３は、その復元された、量子化された単波長データを記憶し、遅延させる。ステップＳ１５４において、逆量子化部１６４は、量子化された単波長データを逆量子化し、単波長データを復元する。
　ステップＳ１５４の処理が終了すると単波長圧縮ストリーム復号処理が終了し、処理は、図９に戻る。
　このようにすることにより、各波長成分（単波長圧縮ストリーム）をより容易に復号することができる。
　　＜２－２．伝送レートに応じた符号化制御＞
　多波長データ（多波長圧縮ストリーム）を送信する送信部が設定する伝送レート（目標伝送レート）に応じて、多波長データを符号化するか否かを制御するようにしてもよい。例えば、画像処理装置において、送信部の伝送レートに応じて、多波長データを符号化するか否かを制御する符号化制御部をさらに備え、その符号化制御部により符号化を行うように制御された場合、符号化部は、多波長データを符号化し、送信部は、その符号化部により生成された符号化データを送信し、また、符号化制御部により符号化を行わないように制御された場合、送信部は、撮像部により生成された多波長データを送信するようにしてもよい。
　　　＜画像処理システム＞
　図１２は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図１２に示されるように、この場合、撮像装置１０１は、図１の場合と比較して、フォーマット選択部１７１をさらに有する。送信部１１３は、通信路の利用状況等に応じて伝送レート（データ送信のレート）を設定し、設定した伝送レートをフォーマット選択部１７１に供給する。フォーマット選択部１７１は、その伝送レートに応じて多波長データを符号化するか否かを選択する。例えば、伝送レートが十分に大きい（利用可能な帯域幅が十分に広い）場合、フォーマット選択部１７１は、多波長データを符号化せずに送信させることを選択し、多波長センサ１１１により生成された多波長データを送信部１１３に供給する。また、例えば、伝送レートが十分に大きくない（利用可能な帯域幅が狭い）場合、フォーマット選択部１７１は、多波長データを符号化して送信させることを選択し、多波長センサ１１１により生成された多波長データを多波長データ符号化部１１２に供給し、符号化させる。送信部１１３は、フォーマット選択部１７１から供給される多波長データ、または、多波長データ符号化部１１２から供給される多波長データを送信する。
　また、この場合、情報処理装置１０２は、図１の場合と比較して、記憶部１２２の代わりにフォーマット判定部１８１を有する。フォーマット判定部１８１は、撮像装置１０１から伝送されたデータのフォーマット（符号化されているか否か）を判定する。多波長データが伝送された（つまり符号化されていない）と判定された場合、フォーマット判定部１８１は、その多波長データをデータ解析部１２４に供給する。また、多波長圧縮ストリームが伝送された（つまり符号化されている）と判定された場合、フォーマット判定部１８１は、その多波長圧縮ストリームを多波長データ復号部１２３に供給する。データ解析部１２４は、フォーマット判定部１８１または多波長データ復号部１２３から供給される多波長データを解析する。
　　　＜撮像処理の流れ＞
　この場合、撮像処理は、図１３のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、多波長センサ１１１は、ステップＳ１６１において、被写体を撮像し多波長データを生成する。ステップＳ１６２において、送信部１１３は、伝送レートを設定する。ステップＳ１６３において、フォーマット選択部１７１は、その伝送レートに基づいてフォーマットを選択する（つまり、符号化するか否かを選択する）。ステップＳ１６４において、多波長データ符号化部１１２は、ステップＳ１６３のフォーマットの選択結果に基づいて多波長データを符号化するか否かを判定する。符号化すると判定された場合、多波長データ符号化部１１２は、ステップＳ１６５において、多波長データを符号化する。符号化しないと判定された場合、ステップＳ１６５の処理は省略される。ステップＳ１６６において、送信部１１３は、多波長圧縮ストリームまたは多波長データを送信する。
　撮像装置１０１より送信された多波長圧縮ストリームまたは多波長データは、情報処理装置１０２へ伝送される。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図１４のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ１７１において、撮像装置１０１から送信されたデータ（多波長圧縮ストリームまたは多波長データ）を受信する。ステップＳ１７２において、フォーマット判定部１８１は、受信したデータが多波長圧縮ストリームであるか否か（つまり符号化されているか否か）を判定する。多波長圧縮ストリームである（符号化されている）と判定された場合、ステップＳ１７３において、多波長データ復号部１２３は、多波長圧縮ストリームを復号し、多波長データを復元する。多波長データである（符号化されていない）と判定された場合、この処理は省略される。データ解析部１２４は、ステップＳ１７４において、多波長データを解析してレポートを作成し、ステップＳ１７５において、そのレポートを出力する。
　以上のように、撮像装置１０１は、伝送レートに応じて多波長データを符号化するか否かを制御し、伝送レートに余裕がある場合は、非圧縮で多波長データを送信する。このようにすることにより、必要である場合のみ多波長データを符号化するようにすることができるので、符号化による多波長データの劣化を抑制することができる。また、情報処理装置１０２は、伝送されたデータのフォーマットを判定し、必要に応じて復号処理を行う。したがって、情報処理装置１０２は、この場合の撮像装置１０１から伝送されるデータを適切に処理し、データ解析を行うことができる。
　　＜２－３．伝送レートに応じた圧縮率制御＞
　多波長データ（多波長圧縮ストリーム）を送信する送信部が設定する伝送レート（目標伝送レート）に応じて、多波長データの圧縮率を制御するようにしてもよい。例えば、画像処理装置において、送信部の伝送レートに応じて、多波長データの符号化の圧縮率を制御する符号化制御部をさらに備え、符号化部は、その符号化制御部により制御された圧縮率で多波長データを符号化するようにしてもよい。
　　　＜画像処理システム＞
　図１５は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図１５に示されるように、この場合、撮像装置１０１は、図１の場合と比較して、量子化値設定部１９１をさらに有する。送信部１１３は、通信路の利用状況等に応じて伝送レート（データ送信のレート）を設定し、設定した伝送レートを量子化値設定部１９１に供給する。量子化値設定部１９１は、その伝送レートに応じて量子化値を設定し、それを多波長データ符号化部１１２に供給する。多波長データ符号化部１１２は、量子化を伴う符号化方式により多波長データを符号化し、多波長圧縮ストリームを生成する。その符号化の際、多波長データ符号化部１１２は、量子化値設定部１９１により設定された量子化値を用いて量子化を行う。すなわち、量子化値設定部１９１は、多波長データ符号化部１１２による多波長データの符号化の圧縮率を制御する。
　例えば、伝送レートが十分に大きい（利用可能な帯域幅が十分に広い）場合、量子化値設定部１９１は、量子化値を小さくして、圧縮率を低減させる。また、例えば、伝送レートが十分に大きくない（利用可能な帯域幅が狭い）場合、量子化値設定部１９１は、量子化値を大きくして、圧縮率を増大させる。
　また、この場合、情報処理装置１０２は、図１の場合と比較して、記憶部１２２が省略されている。
　　　＜撮像処理の流れ＞
　この場合、撮像処理は、例えば図１６のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、ステップＳ１８１およびステップＳ１８２の各処理は、図１３のステップＳ１６１およびステップＳ１８２の各処理と同様に実行される。
　ステップＳ１８３において、量子化値設定部１９１は、ステップＳ１８２において設定された伝送レートに基づいて量子化値を設定する。ステップＳ１８４において、多波長データ符号化部１１２は、ステップＳ１８３において設定された量子化値を用いて、多波長データを符号化する。ステップＳ１８５において、送信部１１３は、多波長圧縮ストリームを送信する。
　撮像装置１０１より送信された多波長圧縮ストリームは、情報処理装置１０２へ伝送される。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図１７のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ１９１において、撮像装置１０１から送信され多波長圧縮ストリームを受信する。ステップＳ１９２において、多波長データ復号部１２３は、受信された多波長圧縮ストリームを復号し、多波長データを復元する。データ解析部１２４は、ステップＳ１９３において、多波長データを解析してレポートを作成し、ステップＳ１９４において、そのレポートを出力する。
　以上のように、撮像装置１０１は、伝送レートに応じて多波長データの圧縮率を制御し、伝送レートに余裕がある場合は、低圧縮率で多波長データを送信する。このようにすることにより、不要に圧縮率を増大させてしまうこと抑制することができるので、符号化による多波長データの劣化を抑制することができる。
　　＜２－４．複数の圧縮率の符号化データの伝送＞
　多波長データを複数の圧縮率で符号化し、各多波長圧縮ストリームを送信するようにしてもよい。例えば、画像処理装置において、符号化部は、多波長データを複数の圧縮率で符号化し、送信部は、その符号化部により生成された各圧縮率の符号化データをそれぞれ送信するようにしてもよい。
　　　＜画像処理システム＞
　図１８は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図１８に示されるように、この場合、撮像装置１０１は、図１の場合と比較して、ダウンサンプリングフィルタ２０１をさらに有する。また、撮像装置１０１は、２つの多波長データ符号化部１１２（多波長データ符号化部１１２－１および多波長データ符号化部１１２－２）と、２つの送信部１１３（送信部１１３－１および送信部１１３－２）を有する。
　ダウンサンプリングフィルタ２０１は、多波長センサ１１１から供給される多波長データの解像度（画素数）を低減させるフィルタ処理を行い、そのフィルタ処理を施した多波長データを多波長データ符号化部１１２－１に供給する。多波長データ符号化部１１２－１は、その多波長データを符号化して多波長圧縮ストリームを生成する。送信部１１３－１は、その多波長圧縮ストリームを、例えば無線通信により送信する。
　多波長データ符号化部１１２－２は、多波長センサ１１１から供給される多波長データを符号化して多波長圧縮ストリームを生成する。送信部１１３－２は、その多波長圧縮ストリームを、例えば有線通信により送信する。
　ダウンサンプリングフィルタ２０１により多波長データの解像度（情報量）が低減されるので、送信部１１３－１から送信される多波長圧縮ストリームの圧縮率は、送信部１１３－２から送信される多波長圧縮ストリームの圧縮率よりも高い。つまり、送信部１１３－１は、高圧縮の多波長圧縮ストリームを送信し、送信部１１３－２は、低圧縮の多波長圧縮ストリームを送信する。
　また、この場合、情報処理装置１０２は、図１５の場合と比較して、アップサンプリングフィルタ２０２をさらに有する。また、情報処理装置１０２は、２つの受信部１２１（受信部１２１－１および受信部１２１－２）と、２つの多波長データ復号部１２３（多波長データ復号部１２３－１および多波長データ復号部１２３－２）と、２つのデータ解析部１２４（データ解析部１２４－１およびデータ解析部１２４－２）を有する。
　受信部１２１－１は、送信部１１３－１から送信された高圧縮の多波長圧縮ストリームを受信する。多波長データ復号部１２３－１は、その高圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。
　アップサンプリングフィルタ２０２は、多波長データ復号部１２３－１において復元された多波長データに対して、ダウンサンプリングフィルタ２０１の逆処理を行う。多波長データ復号部１２３－１において復元された多波長データは、ダウンサンプリングフィルタ２０１により解像度が低減されている。アップサンプリングフィルタ２０２は、その多波長データに対して、ダウンサンプリングフィルタ２０１が低減させた解像度を元に戻すフィルタ処理を行う。
　データ解析部１２４－１は、アップサンプリングフィルタ２０２によって解像度が元に戻された多波長データを解析し、レポート（即時レポート）を生成し、出力する。
　受信部１２１－２は、送信部１１３－２から送信された低圧縮の多波長圧縮ストリームを受信する。多波長データ復号部１２３－２は、その低圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。データ解析部１２４－２は、多波長データ復号部１２３－２により復元された多波長データを解析し、レポート（詳細レポート）を生成し、出力する。
　詳細レポートは、高圧縮の多波長圧縮ストリームよりも情報量の多い低圧縮の多波長圧縮ストリームから復元された多波長データの解析結果であるので、基本的に、高圧縮の多波長圧縮ストリームから復元された多波長データの解析結果である即時レポートよりもより正確な情報（解析結果）を含む。
　　　＜撮像処理の流れ＞
　この場合、撮像処理は、例えば図１９のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、多波長センサ１１１は、ステップＳ２０１において、被写体を撮像し多波長データを生成する。ステップＳ２０２において、ダウンサンプリングフィルタ２０１は、その多波長データをダウンサンプリングする。ステップＳ２０３において、多波長データ符号化部１１２－１は、ダウンサンプリングされた多波長データを符号化し、高圧縮の多波長圧縮ストリームを生成する。ステップＳ２０４において、送信部１１３－１は、その高圧縮の多波長圧縮ストリームを送信する。
　また、ステップＳ２０４において、多波長データ符号化部１１２－２は、ステップＳ２０１において生成された多波長データを符号化し、低圧縮の多波長圧縮ストリームを生成する。ステップＳ２０６において、送信部１１３－１は、その低圧縮の多波長圧縮ストリームを送信する。
　撮像装置１０１より送信された高圧縮の多波長圧縮ストリームおよび低圧縮の多波長圧縮ストリームは、それぞれ、情報処理装置１０２へ伝送される。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２０のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１－１は、ステップＳ２１１において、撮像装置１０１から送信され高圧縮の多波長圧縮ストリームを受信する。ステップＳ２１２において、多波長データ復号部１２３－１は、受信された高圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。ステップＳ２１３において、アップサンプリングフィルタ２０２は、その復元された多波長データをアップサンプリングする。データ解析部１２４－１は、ステップＳ２１４において、アップサンプリングされた多波長データを解析して即時レポートを作成し、ステップＳ２１５において、その即時レポートを出力する。
　また、ステップＳ２１６において、受信部１２１－２は、撮像装置１０１から送信され低圧縮の多波長圧縮ストリームを受信する。ステップＳ２１７において、多波長データ復号部１２３－２は、受信された低圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。データ解析部１２４－２は、ステップＳ２１８において、その復元された多波長データを解析して詳細レポートを作成し、ステップＳ２１９において、その詳細レポートを出力する。
　このようにすることにより、撮像装置１０１は、例えば通信環境等（例えば通信路の帯域幅や安定度等）に応じた圧縮率で多波長圧縮ストリームを伝送することができる。また、複数の圧縮率で符号化（圧縮）した多波長圧縮ストリームを伝送することにより、情報処理装置１０２において生成されるレポート（解析結果）の即時性の低減を抑制しながら、正確性の低減も抑制することができる。
　　　＜画像処理システム＞
　なお、撮像装置１０１から情報処理装置１０２への多波長圧縮ストリームの提供は、通信媒体の代わりに記憶媒体を介して行われるようにしてもよい。図２１は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図２１に示される例の場合、低圧縮の多波長圧縮ストリームが、記憶媒体（記憶デバイス２１２）を介して撮像装置１０１から情報処理装置１０２に提供される。
　この場合、撮像装置１０１は、図１８の場合と比較して、送信部１１３－２の代わりに書き込み部２１１を有する。書き込み部２１１は、多波長データ符号化部１１２－２により生成された低圧縮の多波長圧縮ストリームを記憶デバイス２１２に書き込む。
　記憶デバイス２１２は、例えば、ハードディスクや半導体メモリ等の、任意の記憶媒体を有するデバイスである。この記憶デバイス２１２は、通信路を介して撮像装置１０１や情報処理装置１０２と接続されるようにしてもよいし、撮像装置１０１や情報処理装置１０２に対して着脱可能に形成されるようにしてもよい。記憶デバイス２１２は、多波長圧縮ストリームを記憶することができる。
　情報処理装置１０２は、受信部１２１－２の代わりに読み出し部２１３を有する。読み出し部２１３は、記憶デバイス２１２に記憶されている低圧縮の多波長圧縮ストリームを読み出し、多波長データ復号部１２３－２に供給する。
　　　＜撮像処理の流れ＞
　この場合、撮像処理は、例えば図２２のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、ステップＳ２３１乃至ステップＳ２３５の各処理は、図１９のステップＳ２０１乃至ステップＳ２０５の各処理と同様に実行される。
　ステップＳ２３６において、書き込み部２１１は、ステップＳ２３５において生成された低圧縮の多波長圧縮ストリームを記憶デバイス２１２に書き込む（記憶させる）。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２３のフローチャートを参照して説明する。多波長データ処理が開始されると、ステップＳ２４１乃至ステップＳ２４５の各処理が、図２０のステップＳ２１１乃至ステップＳ２１５の各処理と同様に実行される。
　ステップＳ２４６において、読み出し部２１３は、記憶デバイス２１２に記憶されている低圧縮の多波長圧縮ストリームを読み出す。
　ステップＳ２４７乃至ステップＳ２４９の各処理は、図２０のステップＳ２１７乃至ステップＳ２１９の各処理と同様に実行される。
　このように記憶デバイスを介しても多波長圧縮ストリームを撮像装置１０１から情報処理装置１０２に伝送させることができる。
　　　＜応用例＞
　図１８乃至図２３においては、２種類の圧縮率の多波長圧縮ストリームを伝送する例について説明したが、この例に限定されず、３種類以上の圧縮率の多波長圧縮ストリームを伝送するようにしてもよい。
　また、多波長データ符号化部１１２－１による符号化の圧縮率は、多波長データ符号化部１１２－２による符号化の圧縮率と同一であってもよいし、多波長データ符号化部１１２－２による符号化の圧縮率よりも高くてもよい。
　また、アップサンプリングフィルタ２０２は、省略するようにしてもよい。その場合、データ解析部１２４－１は、解像度が低減したままの多波長データを解析し、即時レポートを生成する。
　　＜２－５．プロキシ伝送＞
　以上のような複数種類の圧縮率による多波長圧縮ストリームの伝送を用いて、高圧縮の多波長圧縮ストリームを、低圧縮の多波長圧縮ストリームよりも優先させて伝送する（プロキシ伝送を行う）ようにしてもよい。例えば、画像処理装置において、送信部は、より圧縮率の高い符号化データをより優先して送信するようにしてもよい。
　　　＜画像処理システム＞
　図２４は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図２４に示される例の場合、情報処理装置１０２は、図１８の場合と比べて、送信部２２１をさらに有している。送信部２２１は、データ解析部１２４－１が作成した即時レポートを撮像装置１０１に送信する。
　撮像装置１０１は、図１８の場合と比べて、受信部２２２および制御部２２３をさらに有している。受信部２２２は、送信部２２１から送信された即時レポートを受信し、制御部２２３に供給する。制御部２２３は、受信部２２２から供給された即時レポートに基づいて、多波長センサ１１１や多波長データ符号化部１１２－２の動作を制御する。例えば、情報処理装置１０２が即時レポートの生成に失敗したことが判明した場合、制御部２２３は、多波長センサ１１１を制御して、再度被写体を撮像させる。また、例えば、情報処理装置１０２が即時レポートの生成に成功したことが判明した場合、制御部２２３は、多波長データ符号化部１１２－２を制御して、低圧縮の多波長圧縮ストリームを生成させる。つまり、情報処理装置１０２において詳細レポートが生成されるように処理を進めさせる。
　　　＜撮像処理の流れ＞
　この場合、撮像処理は、例えば図２５のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、ステップＳ２６１乃至ステップＳ２６４の各処理は、図１９のステップＳ２０１乃至ステップＳ２０４の各処理と同様に実行される。
　ステップＳ２６５において、受信部２２２は、情報処理装置１０２から送信された即時レポートを受信する。ステップＳ２６６において、制御部２２３は、その即時レポートの受信結果に基づいて、高圧縮の多波長圧縮ストリームの伝送が成功したか否かを判定する。取得した即時レポートが正しく生成されておらず、高圧縮の多波長圧縮ストリームの伝送が失敗したと判定された場合、処理はステップＳ２６１に戻る。つまり、再度、高圧縮の多波長圧縮ストリームの伝送が行われる。
　また、ステップＳ２６６において、即時レポートが正しく生成されており、高圧縮の多波長圧縮ストリームの伝送が成功したと判定された場合、処理はステップＳ２６７に進む。ステップＳ２６７およびステップＳ２６８の各処理は、図１９のステップＳ２０５およびステップＳ２０６の各処理と同様に実行される。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２６のフローチャートを参照して説明する。多波長データ処理が開始されると、ステップＳ２８１において、受信部１２１（受信部１２１－１または受信部１２１－２）は、多波長圧縮ストリームを受信する。ステップＳ２８２において、受信部１２１は、その受信した多波長圧縮ストリームが高圧縮のものであるか低圧縮のものであるかを判定する。例えば、データを受信した受信部１２１が受信部１２１－１であるか受信部１２１－２であるかを識別することにより、多波長圧縮ストリームの圧縮率を判定する。
　高圧縮の多波長圧縮ストリームを受信したと判定された場合、処理はステップＳ２８３に進む。ステップＳ２８３乃至ステップＳ２８６の各処理は、図２０のステップＳ２１２乃至ステップＳ２１５の各処理と同様に実行される。ステップＳ２８７において、送信部２２１は、即時レポートを撮像装置１０１に送信する。ステップＳ２８７の処理が終了すると、処理はステップＳ２８１に戻る。
　また、ステップＳ２８２において、低圧縮の多波長圧縮ストリームを受信したと判定された場合、処理はステップＳ２８８に進む。ステップＳ２８８乃至ステップＳ２９０の各処理は、図２０のステップＳ２１７乃至ステップＳ２１９の各処理と同様に実行される。
　このように、データ量の少ない高圧縮の多波長圧縮ストリームを優先して伝送させることにより、即時レポートをより早期に生成・出力することができる。したがって、レポート作成の即時性の低減を抑制することができる。
　　　＜画像処理システム＞
　図２７は、プロキシ伝送を行う画像処理システム１００の他の構成例を示すブロック図である。図２７に示される例の場合、情報処理装置１０２は、図１８の場合と比べて、合成部２３１をさらに有している。合成部２３１は、データ解析部１２４－１が作成した即時レポートと、データ解析部１２４－２が作成した詳細レポートとを合成することにより合成レポートを生成し、出力する。
　図２８は、合成レポートの生成の様子の例を示す図である。図２８において、矢印２４１および矢印２４２は、その矢印の方向に進む時系列を示している。矢印２４１が示す時系列の後に矢印２４２が示す時系列が続く。上述したように画像処理システム１００はプロキシ伝送を行うため、即時レポートが詳細レポートよりも時間的に先に生成される。したがって、図２８の矢印２４１の時系列の一番左側に示されるように、即時レポート２４３が最初に生成される。その後、時間が経過すると、詳細レポート２４４が生成される。詳細レポート２４４が生成されると、合成部２３１は、その詳細レポート２４４を、対応する即時レポート２４３と置き換える。その後も、詳細レポート２４４が生成される度に、即時レポートと置き換えられる。したがって、時間が経過するのに従って、詳細レポート２４４が増えていき、最終的に、矢印２４２の時系列の一番右側に示されるように、全てのレポートが詳細レポート２４４に置き換えられる。
　このようにすることにより、レポート出力の即時性の低減を抑制しながら、レポートの内容の正確性の低減を抑制することができる。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２９のフローチャートを参照して説明する。多波長データ処理が開始されると、ステップＳ３０１乃至ステップＳ３０９の各処理は、図２０のステップＳ２１１乃至ステップＳ２１９の各処理と同様に実行される。ステップＳ３１０において、合成部２３１は、即時レポートと詳細レポートとを合成して合成レポートを生成し、その合成レポートを出力する。
　このように合成レポートを生成し、出力することにより、レポート出力の即時性の低減を抑制しながら、レポートの内容の正確性の低減を抑制することができる。
　　＜２－６．ノイズリダクション＞
　以上のように符号化する多波長データに対してノイズを除去するフィルタ処理であるノイズリダクション処理を行うようにしてもよい。例えば、画像処理装置において、撮像部により生成された多波長データに対してノイズリダクション処理を行うノイズリダクション処理部をさらに備え、符号化部は、そのノイズリダクション処理部によりノイズリダクション処理が施された前記多波長データを符号化するようにしてもよい。
　図３０は、その場合の画像処理システム１００の他の構成例を示すブロック図である。図３０に示される例の場合、撮像装置１０１は、図１の場合と比べて、ノイズリダクションフィルタ２５１を有する。
　ノイズリダクションフィルタ２５１は、多波長センサ１１１において生成された単波長データに対して、ノイズの増大を抑制するノイズリダクション処理を行う。ノイズリダクション処理の内容は任意である。多波長データ符号化部１１２は、そのノイズリダクション処理が行われた多波長データを符号化する。
　また、この場合、情報処理装置１０２は、図１５の場合と同様の構成を有する。
　　＜撮像処理の流れ＞
　この場合の撮像処理の流れの例を図３１のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ１１１は、ステップＳ３２１において、被写体を撮像し多波長データを生成する。ステップＳ３２２において、ノイズリダクションフィルタ２５１は、多波長データに対してノイズリダクション処理を行う。ステップＳ３２３において、多波長データ符号化部１１２は、そのノイズリダクション処理が行われた多波長データを符号化し、符号化データ（多波長圧縮ストリーム）を生成する。ステップＳ３２４において、送信部１１３は、その多波長圧縮ストリームを送信する。
　このように、多波長データのノイズの発生を抑制して符号化することにより、符号化効率の低減を抑制することができる。
　　　＜ノイズリダクションフィルタ＞
　多波長データに対するノイズリダクション処理は、例えば、波長成分毎に独立に行うようにしてもよい。例えば、画像処理装置において、ノイズリダクション処理部が、多波長データの波長成分毎に独立にノイズリダクション処理を行うようにしてもよい。
　図３２は、この場合の多波長データ符号化部１１２の主な構成例を示すブロック図である。図３２に示されるように、ノイズリダクションフィルタ２５１は、波長分離部２６１、２Ｄフィルタ２６２－１乃至２Ｄフィルタ２６２－Ｎ（Ｎは任意の自然数）、並びに波長合成部２６３を有する。２Ｄフィルタ２６２－１乃至２Ｄフィルタ２６２－Ｎを互いに区別して説明する必要がない場合、２Ｄフィルタ２６２と称する。
　波長分離部２６１は、多波長データを波長成分毎のデータ（単波長データ）に分離する。２Ｄフィルタ２６２は、この波長成分毎に用意される。つまり、２Ｄフィルタ２６２－１乃至２Ｄフィルタ２６２－Ｎは、それぞれに対応する波長成分の単波長データに対して、２次元のフィルタ処理を行う。波長合成部２６３は、これらの単波長データを合成し、多波長データを生成し、出力する（例えば、多波長データ符号化部１１２に供給する）。この合成の方法は任意である。
　　　＜ノイズリダクション処理の流れ＞
　この場合の、図３１のステップＳ３２２において実行されるノイズリダクション処理の流れの例を、図３３のフローチャートを参照して説明する。ノイズリダクション処理が開始されると、ステップＳ３３１において、波長分離部２６１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ３３２において、２Ｄフィルタ２６２は、各波長成分の単波長データに対して２次元フィルタ処理を行う。ステップＳ３３３において、波長合成部２６３は、２次元フィルタ処理が行われた各波長成分の単波長データを合成し、多波長データを生成する。ステップＳ３３３の処理が終了すると多波長データ符号化処理が終了し、処理は、図３１に戻る。
　このようにすることにより、波長成分毎にノイズリダクション処理を行うことができるので、多波長データのノイズをより容易に抑制することができる。
　＜３．第２の実施の形態＞
　　＜３－１．多波長データの符号化と記憶＞
　例えば、上述のような精密農業において、端末の撮像装置において生成された多波長データは、データベースとしてサーバ（クラウド）等により記憶され、植物の生育状況の把握等に利用される。しかしながら、多波長データはデータ量が大きいため、このデータ蓄積にかかる費用が増大するおそれがあった。
　そこで、多波長データを符号化（圧縮）し、符号化データを記憶するようにする。このようにすることにより、記憶するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。
　　　＜画像処理システム＞
　図３４は、その場合の画像処理システムの構成の一例を示すブロック図である。この場合、撮像装置１０１は、多波長センサ１１１および送信部１１３を有する。つまり、この場合、撮像装置１０１は、多波長センサ１１１において生成した多波長データを、符号化せずに、送信部１１３から情報処理装置１０２に送信する。
　情報処理装置１０２は、受信部１２１、多波長データ符号化部２７１、記憶部２７２、多波長データ復号部２７３、およびデータ解析部１２４を有する。受信部１２１は、撮像装置１０１から送信された多波長データを受信する。多波長データ符号化部２７１は、多波長データ符号化部１１２と同様の機能を有し、同様の処理を行う。例えば、多波長データ符号化部２７１は、受信部１２１により受信された多波長データを符号化し、多波長圧縮ストリームを生成する。記憶部２７２は、例えばハードディスクや半導体メモリ等の任意の記憶媒体を有し、多波長データ符号化部２７１が生成した多波長圧縮ストリームをその記憶媒体に記憶する。多波長データ復号部２７３は、多波長データ復号部１２３と同様の機能を有し、同様の処理を行う。例えば、多波長データ復号部２７３は、記憶部２７２に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。データ解析部１２４は、多波長データ復号部２７３により復元された多波長データを解析し、レポートを生成して出力する。
　　　＜撮像処理の流れ＞
　この場合の撮像装置１０１により実行される撮像処理の流れの例を、図３５のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ１１１は、ステップＳ３４１において、被写体を撮像し、多波長データを生成する。ステップＳ３４２において、送信部１１３は、その多波長データを情報処理装置１０２に送信する。ステップＳ３４２の処理が終了すると撮像処理が終了する。
　　　＜多波長データ処理の流れ＞
　この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図３６のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ３５１において撮像装置１０１から伝送された多波長データを受信する。ステップＳ３５２において、多波長データ符号化部２７１は、その受信された多波長データを符号化し、多波長圧縮ストリームを生成する。ステップＳ３５３において、記憶部２７２は、その多波長圧縮ストリームを記憶する。ステップＳ３５４において、多波長データ復号部２７３は、記憶部２７２に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。データ解析部１２４は、ステップＳ３５５において、復元した多波長データを解析してレポートを生成し、ステップＳ３５６において、そのレポートを出力する。
　以上のように、多波長データを記憶する際に、その多波長データを符号化して（符号化データを）記憶するようにする。このようにすることにより、記憶するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。
　　＜３－２．一定時間経過後の符号化＞
　なお、サーバやクラウドにデータを記憶させる場合、そのデータ量と記憶させる時間に応じてコストが増大する。また、データを長期間記憶する程、そのデータに含まれる情報は古くなり、重要性が低減する。つまり、データを長期間記憶する程、データの符号化・復号による劣化の影響は低減する。そこで、最初は、非圧縮の多波長データを記憶し、一定時間経過したら、その多波長データを符号化して記憶するようにしてもよい。
　　　＜画像処理システム＞
　図３７は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図３７に示されるように、この場合、情報処理装置１０２は、図３４の場合と比較して、多波長データ符号化部２７１乃至多波長データ復号部２７３の代わりに、記憶部２８１、多波長データ符号化部２８２、記憶部２８３、および多波長データ復号部２８４を有する。
　記憶部２８１は、例えばハードディスクや半導体メモリ等の任意の記憶媒体を有し、受信部１２１により受信された非圧縮の多波長データを、その記憶媒体に記憶する。
　多波長データ符号化部２８２は、多波長データ符号化部２７１と基本的に同様の機能を有し、同様の処理を行う。例えば、多波長データ符号化部２８２は、記憶部２８１に一定時期間記憶されている多波長データを読み出して符号化し、多波長圧縮ストリームを生成する。記憶部２８３は、例えばハードディスクや半導体メモリ等の任意の記憶媒体を有し、多波長データ符号化部２８２により生成された多波長圧縮ストリームをその記憶媒体に記憶する。多波長データ復号部２８４は、多波長データ復号部２７３と基本的に同様の機能を有し、同様の処理を行う。例えば、多波長データ復号部２８４は、記憶部２８３に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。
　データ解析部１２４は、多波長データの解析を行い、そのレポートを生成して出力する。例えば、データ解析部１２４は、記憶部２８１に記憶されてから一定時間経過していない多波長データを記憶部２８１から取得する。また、データ解析部１２４は、記憶部２８１に記憶されてから一定時間経過した多波長データを、多波長データ復号部２８４を介して取得する。
　　＜多波長データ処理の流れ＞
　この場合の多波長データ処理の流れの例を、図３８のフローチャートを参照して説明する。
　ステップＳ３６１において、受信部１２１は、多波長データを受信する。ステップＳ３６２において、記憶部２８１は、その多波長データを記憶する。ステップＳ３６３において、記憶部２８１は、多波長データを記憶してから所定の時間が経過したか否かを判定する。経過していないと判定された場合、処理はステップＳ３６４に進む。
　ステップＳ３６４において、データ解析部１２４は、そのデータを解析するか否かを判定する。解析しないと判定された場合、処理はステップＳ３６３に戻る。また、ステップＳ３６４において、解析すると判定された場合、処理はステップＳ３６５に進む。ステップＳ３６５において、データ解析部１２４は、記憶部２８１からその多波長データを読み出す。ステップＳ３６６において、データ解析部１２４は、その多波長データを解析し、レポートを作成する。ステップＳ３６７において、データ解析部１２４は、そのレポートを出力する。
　また、ステップＳ３６３において、所定の時間が経過したと判定された場合、処理はステップＳ３６８に進む。ステップＳ３６８において、多波長データ符号化部２８２は、記憶部２８１からその多波長データを読み出す。ステップＳ３６９において、多波長データ符号化部２８２は、その多波長データを符号化し、多波長圧縮ストリームを生成する。ステップＳ３７０において、記憶部２８３は、その多波長圧縮ストリームを記憶する。ステップＳ３７１において、多波長データ復号部２８４は、その多波長圧縮ストリームを記憶部２８３から読み出して復号し、多波長データを復元する。ステップＳ３７２において、データ解析部１２４は、復元されたその多波長データを解析し、レポートを作成する。ステップＳ３７３において、データ解析部１２４は、そのレポートを出力する。
　このように一定期間記憶された非圧縮のデータを、符号化して記憶させることにより、重要度が低減したデータの増大を抑制することができ、データを圧縮することによる影響の増大を抑制しながら、多波長データの記憶に関するコストの増大を抑制することができる。
　　＜３－３．一定時間経過後の再圧縮＞
　なお、サーバやクラウドにデータを記憶させる場合、一定時間経過したら、その圧縮率を増大させるようにしてもよい。
　　　＜画像処理システム＞
　図３９は、この場合の画像処理システム１００の主な構成例を示すブロック図である。この場合、情報処理装置１０２は、図３７の場合と比べて、記憶部２８１乃至多波長データ復号部２８４の代わりに、多波長データ符号化部２９１、記憶部２９２、多波長データ復号部２９３、リサンプル部２９４、多波長データ符号化部２９５、記憶部２９６、および多波長データ復号部２９７を有する。
　多波長データ符号化部２９１は、受信部１２１において受信された多波長データを符号化し、多波長圧縮ストリームを生成する。記憶部２９２は、その多波長圧縮ストリームを記憶する。多波長データ復号部２９３は、記憶部２９２から多波長圧縮ストリームを読み出して復号し、多波長データを復元する。
　また、一定時間経過後のデータは、リサンプル部２９４に供給される。リサンプル部２９４は、多波長データに対してリサンプル処理を行い、データの情報量を低減させる。このリサンプル処理の内容は任意である。多波長データ符号化部２９５は、リサンプル処理された多波長データを符号化し、多波長圧縮ストリームを生成する。記憶部２９６は、その多波長圧縮ストリームを記憶する。多波長データ復号部２９７は、記憶部２９６に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。
　データ解析部１２４は、多波長データの解析を行い、そのレポートを生成して出力する。例えば、データ解析部１２４は、多波長データ復号部２９３または多波長データ復号部２９７において復元された多波長データを解析し、そのレポートを生成し、出力する。
　　＜多波長データ処理の流れ＞
　この場合の多波長データ処理の流れの例を、図４０および図４１のフローチャートを参照して説明する。
　ステップＳ３８１において、受信部１２１は、多波長データを受信する。ステップＳ３８２において、多波長データ符号化部２９１は、その多波長データを符号化し、低圧縮の多波長圧縮ストリームを生成する。ステップＳ３８３において、記憶部２９２は、その低圧縮の多波長圧縮ストリームを記憶する。ステップＳ３８４において、記憶部２９２は、多波長圧縮ストリームを記憶してから所定の時間が経過したか否かを判定する。経過したと判定された場合、処理はステップＳ３８５に進む。
　ステップＳ３８５において、データ解析部１２４は、そのデータを解析するか否かを判定する。解析しないと判定された場合、処理はステップＳ３８４に戻る。また、ステップＳ３８５において、解析すると判定された場合、処理はステップＳ３８６に進む。ステップＳ３８６において、多波長データ復号部２９３は、記憶部２９２から低圧縮の多波長圧縮ストリームを読み出して復号し、多波長データを復元する。ステップＳ３８７において、データ解析部１２４は、その復元された多波長データを解析し、レポートを作成する。ステップＳ３８８において、データ解析部１２４は、そのレポートを出力する。
　また、ステップＳ３８４において、所定の時間が経過したと判定された場合、処理は図４１のステップＳ３９１に進む。ステップＳ３９１において、多波長データ復号部２９３は、記憶部２９２から低圧縮の多波長圧縮ストリームを読み出して復号し、多波長データを復元する。ステップＳ３９２において、リサンプル部２９４は、復元された多波長データに対してリサンプル処理を行う。ステップＳ３９３において、多波長データ符号化部２９５は、リサンプル処理された多波長データを符号化し、高圧縮の多波長圧縮ストリームを生成する。ステップＳ３９４において、記憶部２９６は、その高圧縮の多波長圧縮ストリームを記憶する。ステップＳ３９５において、多波長データ復号部２９７は、その高圧縮の多波長圧縮ストリームを記憶部２９６から読み出して復号し、多波長データを復元する。ステップＳ３９６において、データ解析部１２４は、復元されたその多波長データを解析し、レポートを作成する。ステップＳ３９７において、データ解析部１２４は、そのレポートを出力する。
　このように、一定期間記憶された符号化データの圧縮率を増大させることにより、重要度が低減したデータの増大を抑制することができ、データを圧縮することによる影響の増大を抑制しながら、多波長データの記憶に関するコストの増大を抑制することができる。
　　　＜リサンプル部＞
　リサンプル処理は、例えば、波長成分毎にダウンサンプルするようにしてもよい。図４２は、この場合のリサンプル部２９４の主な構成例を示すブロック図である。図４２に示されるように、リサンプル部２９４は、波長分離部３１１、ダウンサンプルフィルタ３１２、および波長合成部３１３を有する。なお、ダウンサンプルフィルタ３１２－１乃至ダウンサンプルフィルタ３１２－Ｎを互いに区別して説明する必要がない場合、ダウンサンプルフィルタ３１２と称する。
　波長分離部３１１は、多波長データを波長成分毎の単波長データに分離する。ダウンサンプルフィルタ３１２は、この波長成分毎に用意される。つまり、ダウンサンプルフィルタ３１２―１乃至ダウンサンプルフィルタ３１２－Ｎは、それぞれに対応する波長成分の単波長データをダウンサンプリングし、解像度を低減させる。波長合成部３１３は、以上のような各波長成分の単波長データを合成し、多波長データを復元し、出力する。
　　　＜リサンプル処理の流れ＞
　この場合のリサンプル部２９４により、図４１のステップＳ３９２において実行されるリサンプル処理の流れの例を、図４３のフローチャートを参照して説明する。ステップＳ４１１において、波長分離部３１１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ４１２において、ダウンサンプルフィルタ３１２は、各波長成分の単波長データをダウンサンプリングし、解像度を低減させる。ステップＳ４１３において、波長合成部３１３は、ダウンサンプリングされた各波長成分の単波長データを合成し、多波長データを復元する。
　このようにすることにより、波長成分毎にダウンサンプリングすることができるので、多波長データをより容易にリサンプル処理することができる。
　　　＜リサンプル部＞
　また、リサンプル処理として、例えば、一部の波長成分に対するローパスフィルタ処理が行われるようにしてもよい。図４４は、この場合のリサンプル部２９４の主な構成例を示すブロック図である。図４４に示されるように、リサンプル部２９４は、波長分離部３２１、ローパスフィルタ３２２－１乃至ローパスフィルタ３２２－Ｍ（Ｍは任意の自然数）、並びに波長合成部３２３を有する。なお、ローパスフィルタ３２２－１乃至ローパスフィルタ３２２－Ｍを互いに区別して説明する必要がない場合、ローパスフィルタ３２２と称する。
　波長分離部３２１は、多波長データを波長成分毎の単波長データに分離する。ローパスフィルタ３２２は、この波長成分毎に用意される。つまり、ローパスフィルタ３２２―１乃至ローパスフィルタ３２２－Ｍは、一部の波長成分の単波長データに対してローパスフィルタをかける。波長合成部３１３は、以上のような各波長成分の単波長データを合成し、多波長データを復元し、出力する。
　　　＜リサンプル処理の流れ＞
　この場合のリサンプル部２９４により、図４１のステップＳ３９２において実行されるリサンプル処理の流れの例を、図４５のフローチャートを参照して説明する。ステップＳ４２１において、波長分離部３２１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ４２２において、ローパスフィルタ３２２は、優先度の低い各波長成分の単波長データに対してローパスフィルタをかける。ステップＳ４２３において、波長合成部３２３は、各波長成分の単波長データを合成し、多波長データを復元する。
　このようにすることにより、優先度の低い波長成分にローパスフィルタをかけることができるので、多波長データをより容易にリサンプル処理することができる。
　　　＜リサンプル部＞
　また、リサンプル処理として、例えば、有線殿低い波長データの下位ビットの値を０に置き換えるようにしてもよい。図４６は、この場合のリサンプル部２９４の主な構成例を示すブロック図である。この場合リサンプル部２９４は、波長分離部３３１、LSBマスク処理部３３２－１乃至LSBマスク処理部３３２－４、並びに波長合成部３３３を有する。なお、LSBマスク処理部３３２－１乃至LSBマスク処理部３３２－４を互いに区別して説明する必要がない場合、LSBマスク処理部３３２と称する。
　波長分離部３３１は、多波長データを波長成分毎の単波長データに分離する。LSBマスク処理部３３２は、自身に対応する波長成分の単波長データ（例えば、図４７のＡに示されるビット列）に対して、波長データの下位ビットの値を０に置き換えるLSBマスク処理を行う（図４７のＢ）。LSBマスク処理部３３２は、波長データのLSB側の、量子化値により指定されるビット数の値を０に置き換える。例えば、以下の式（１）に示されるように、演算を行う。
　OUT = (IN >> 量子化値＃ｎ) << 量子化値＃ｎ　・・・（１）
　波長合成部３１３は、各波長成分の単波長データを合成し、多波長データを復元し、出力する。
　　　＜リサンプル処理の流れ＞
　この場合のリサンプル部２９４により、図４１のステップＳ３９２において実行されるリサンプル処理の流れの例を、図４８のフローチャートを参照して説明する。ステップＳ４３１において、波長分離部３３１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ４３２において、LSBマスク処理部３３２は、各波長成分の短波長データに対して、それぞれの波長成分用の量子化値（量子化値＃ｎ）を用いてマスク処理（LSB Mask）を行う。ステップＳ４３３において、波長合成部３２３は、各波長成分の単波長データを合成し、多波長データを復元する。
　このようにすることにより、波長成分毎にマスク処理を行うことができるので、多波長データをより容易にリサンプル処理することができる。
　＜４．第３の実施の形態＞
　　＜量子化＞
　植生把握等で多波長データを取得する場合、多波長データの撮影と同時に光源のスペクトル分布の計測を行うことがある。これは、時間、天気等により太陽光のスペクトル分布が変化するためである。そのため、植物の生育状況等の経過測定行う場合、光源のスペクトル変化を補正する必要がある。しかしながら、多波長データのため、既存の圧縮手法が単純に適用できないおそれがあった。また、光源スペクトル分布により波長間の強度が大きく変化する。そのため、全波長に一律の量子化を適用した場合、過度に圧縮しすぎ、不要に情報が劣化してしまうおそれがあった。
　より具体的に説明すると、一般的に、イメージセンサ等の最大出力値は、光源などにより変化する（図４９のＡ）。そこで、通常、ホワイトバランス調整が行われる（図４９のＢ）。ホワイトバランス調整は、実際の白色が画像において白色として表現されるように、各波長成分をゲイン調整する処理である。ところで、従来の量子化は、各波長成分に対して一律の量子化値を用いて行われる（図４９のＣおよび図４９のＤ）。しかしながら、ホワイトバランス調整を行うと、各波長成分が互いに異なる量子化値で量子化されることとなる（図４９のＥ）。したがって、過度に圧縮しすぎ、不要に情報が劣化してしまうおそれがあった。
　そこで、被写体を撮像し、複数の波長成分を含む画像データを生成し、その生成された画像データを、波長成分毎の量子化値を用いて量子化し、符号化するようにする。例えば、画像処理装置において、被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、その撮像部により生成された画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部とを備えるようにする。
　つまり、ホワイトバランス調整等のゲイン調整を予め考慮して各波長成分の量子化値を設定する（図５０のＡ）。このようにすることにより、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる（図５０のＢ）。
　　　＜４－１．撮像装置＞
　図５１は、本技術を適用した撮像装置の構成の一例を示すブロック図である。図５１に示される撮像装置４００は、被写体を撮像して撮像画像の画像データを出力する装置である。この撮像装置４００は、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。
　撮像装置４００は、ベイヤセンサ４０１、量子化部４０２、ホワイトバランス調整部４０３、および現像処理部４０４を有する。ベイヤセンサ４０１は、ベイヤ配列のカラーフィルタが設けられた画素アレイを有し、被写体を撮像して、所謂RGB画像の画像データ（ベイヤデータ）を生成する。ベイヤセンサ４０１は、そのベイヤデータ（RAWデータ）を量子化部４０２に供給する。量子化部４０２は、そのベイヤデータを量子化し、量子化後のベイヤデータをホワイトバランス調整部４０３に供給する。ホワイトバランス調整部４０３は、その量子化後のベイヤデータに対してホワイトバランス調整を行い、ホワイトバランス調整後のベイヤデータを現像処理部４０４に供給する。現像処理部４０４は、デモザイク処理等を行い、撮像画像の画像データを生成して出力する。
　量子化部４０２は、ゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２を有する。ゲイン調整型ベイヤデータ符号化部４１１は、ベイヤデータに対して量子化を伴う符号化を行い、符号化データ（ベイヤ圧縮ストリーム）を生成する。ゲイン調整型ベイヤデータ復号部４１２は、そのベイヤ圧縮ストリームに対して、ゲイン調整型ベイヤデータ符号化部４１１の符号化方法に対応する復号方法で復号し、ベイヤデータを復元する。
　また、ホワイトバランス調整部４０３は、ベイヤデータに対して行うホワイトバランス調整用のゲイン（赤色成分用のＲゲイン、緑色成分用のＧゲイン、青色成分用のＢゲイン）をゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２に供給する。ゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２は、そのゲイン（Ｒゲイン、Ｇゲイン、およびＢゲイン）を用いてゲイン調整を行いながら符号化・復号を行う。
　　　＜ゲイン調整型ベイヤデータ符号化部＞
　つまり、ゲイン調整型ベイヤデータ符号化部４１１は、ホワイトバランス調整部４０３により設定される画像データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、その画像データの各波長成分を量子化し、符号化する。図５２は、ゲイン調整型ベイヤデータ符号化部４１１の主な構成例を示すブロック図である。このゲイン調整型ベイヤデータ符号化部４１１は、波長分離部４２１、Ｒゲイン調整部４２２、Ｇゲイン調整部４２３、Ｂゲイン調整部４２４、波長合成部４２５、およびベイヤデータ符号化部４２６を有する。
　波長分離部４２１は、ベイヤデータをＲ成分、Ｇ成分、およびＢ成分に分離する。Ｒゲイン調整部４２２は、供給されるＲゲインを用いてＲ成分のゲイン調整を行う。Ｇゲイン調整部４２３は、供給されるＧゲインを用いてＧ成分のゲイン調整を行う。Ｂゲイン調整部４２４は、供給されるＢゲインを用いてＢ成分のゲイン調整を行う。波長合成部４２５は、ゲイン調整後のＲ成分、Ｇ成分、およびＢ成分を合成し、各波長成分がゲイン調整されたベイヤデータを生成する。ベイヤデータ符号化部４２６は、そのベイヤデータに対して、量子化を伴う符号化を行い、ベイヤ圧縮ストリームを生成し、それを出力する（例えば、ゲイン調整型ベイヤデータ復号部４１２に供給する）。
　つまり、各波長成分がゲイン調整（ホワイトバランス調整）された状態でこの符号化が行われるので、各波長成分の量子化値は、ゲイン調整後の状態で設定される。したがって、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜ゲイン調整型ベイヤデータ復号部＞
　図５３は、ゲイン調整型ベイヤデータ復号部４１２の主な構成例を示すブロック図である。このゲイン調整型ベイヤデータ復号部４１２は、ベイヤデータ復号部４３１、波長分離部４３２、逆Ｒゲイン調整部４３３、逆Ｇゲイン調整部４３４、逆Ｂゲイン調整部４３５、および波長合成部４３６を有する。
　ベイヤデータ復号部４３１は、上述のベイヤデータ符号化部４２６の符号化方法に対応する復号方法によりベイヤ圧縮ストリームを復号し、ベイヤデータを復元する。波長分離部４３２は、そのベイヤデータをＲ成分、Ｇ成分、およびＢ成分に分離する。逆Ｒゲイン調整部４３３は、供給されるＲゲインを用いてＲ成分の逆ゲイン調整を行う。つまり、逆Ｒゲイン調整部４３３は、Ｒゲイン調整部４２２がかけたゲイン調整をキャンセルする（元に戻す）ように逆ゲイン調整を行う。逆Ｇゲイン調整部４３４は、供給されるＧゲインを用いてＧ成分に対して同様の逆ゲイン調整を行う。逆Ｂゲイン調整部４３５は、供給されるＢゲインを用いてＢ成分に対して同様の逆ゲイン調整を行う。波長合成部４３６は、逆ゲイン調整後のＲ成分、Ｇ成分、およびＢ成分を合成し、ベイヤデータを生成し、それを出力する（例えば、ホワイトバランス調整部４０３に供給する。）
　　＜撮像処理の流れ＞
　この場合の撮像装置４００により実行される撮像処理の流れの例を、図５４のフローチャートを参照して説明する。撮像処理が開始されると、ベイヤセンサ４０１は、ステップＳ４４１において、被写体を撮像してベイヤデータを生成する。ステップＳ４４２において、ホワイトバランス調整部４０３は、そのベイヤデータのホワイトバランス調整により波長成分毎のゲインを設定する。ステップＳ４４３において、量子化部４０２は、その波長成分毎のゲインを用いて、ベイヤデータを量子化する。ステップＳ４４４において、おホワイトバランス調整部４０３は、量子化されたベイヤデータのホワイトバランスを、上述の波長成分毎のゲインを用いて調整する。ステップＳ４４５において、現像処理部４０４は、ホワイトバランス調整されたベイヤデータを現像処理し、撮像画像の画像データを生成する。ステップＳ４４６において、現像処理部４０４は、その画像データを出力する。
　　＜ベイヤデータ量子化処理の流れ＞
　図５４のステップＳ４４３において実行されるベイヤデータ量子化処理の流れの例を、図５５のフローチャートを参照して説明する。ステップＳ４５１において、ゲイン調整型ベイヤデータ符号化部４１１は、波長成分毎のゲインを用いて、ベイヤデータを符号化し、ベイヤ圧縮ストリームを生成する。ステップＳ４５２において、ゲイン調整型ベイヤデータ復号部４１２は、波長成分毎のゲインを用いてそのベイヤ圧縮ストリームを復号し、ベイヤデータを復元する。
　　＜ベイヤデータ符号化処理の流れ＞
　図５５のステップＳ４５１において実行されるベイヤデータ符号化処理の流れの例を、図５６のフローチャートを参照して説明する。ステップＳ４６１において、波長分離部４２１は、ベイヤデータを波長成分毎に分離する。ステップＳ４６２において、Ｒゲイン調整部４２２、Ｇゲイン調整部４２３、およびＢゲイン調整部４２４は、それぞれに対応する波長成分用のゲインを用いて、それぞれに対応する波長成分をゲイン調整する。ステップＳ４６３において、波長合成部４２５は、ゲイン調整された各波長成分を合成し、波長成分毎にゲイン調整されたベイヤデータを生成する。ステップＳ４６４において、ベイヤデータ符号化部４２６は、その波長成分毎にゲイン調整されたベイヤデータに対して、量子化を伴う符号化を行う。
　　＜ベイヤ圧縮ストリーム復号処理の流れ＞
　図５５のステップＳ４５２において実行されるベイヤ圧縮ストリーム復号処理の流れの例を、図５７のフローチャートを参照して説明する。ステップＳ４７１において、ベイヤデータ復号部４３１は、ベイヤ圧縮ストリームを復号し、ベイヤデータを復元する。ステップＳ４７２において、波長分離部４３２は、そのベイヤデータを波長成分毎に分離する。ステップＳ４７３において、逆Ｒゲイン調整部４３３、逆Ｇゲイン調整部４３４、および逆Ｂゲイン調整部４３５は、それぞれに対応する波長成分用のゲインを用いて、それぞれに対応する波長成分を逆ゲイン調整する。ステップＳ４７４において、波長合成部４３６は、逆ゲイン調整された各波長成分を合成し、ベイヤデータを生成する。
　以上のように、各処理を行うことにより、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜４－２．撮像装置＞
　なお、撮像装置４００に光源の色（光源色）を測定するセンサ（光源色測定部）を設け、その測定された光源色に基づいて設定される画像データの各波長成分に対するゲインに応じた量子化値を用いて、画像データの各波長成分を量子化し、符号化するようにしてもよい。
　その場合、撮像装置４００は、例えば図５８に示されるように、光源色測定用センサ４４１、および光源色測定部４４２を有する。光源色測定用センサ４４１は、光源（例えば、環境光）等を検出し、その検出結果を光源色測定部４４２に供給する。光源色測定部４４２は、その検出結果に基づいて光源色を測定し、その光源色に基づいて各波長成分のゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）を設定する。光源色測定部４４２は、その各波長成分のゲインをゲイン調整型ベイヤデータ符号化部４１１、ゲイン調整型ベイヤデータ復号部４１２、およびホワイトバランス調整部４０３に供給する。ゲイン調整型ベイヤデータ符号化部４１１によるベイヤデータの符号化、ゲイン調整型ベイヤデータ復号部４１２によるベイヤ圧縮ストリームの復号、およびホワイトバランス調整部４０３によるホワイトバランス調整は、光源色測定部４４２により設定されたゲインを用いて行われる。
　　＜撮像処理の流れ＞
　この場合の撮像装置４００により実行される撮像処理の流れの例を、図５９のフローチャートを参照して説明する。撮像処理が開始されると、ベイヤセンサ４０１は、ステップＳ４８１において、被写体を撮像してベイヤデータを生成する。ステップＳ４８２において、光源色測定用センサ４４１は、環境光を検出する。ステップＳ４８３において、光源色測定部４４２は、その検出結果に基づいて光源色を測定し、波長成分毎のゲインを設定する。ステップＳ４８４において、量子化部４０２は、その波長成分毎のゲインを用いて、ベイヤデータを量子化する。ステップＳ４８５において、ホワイトバランス調整部４０３は、量子化されたベイヤデータのホワイトバランスを、ステップＳ４８３において設定された波長成分毎のゲインを用いて調整する。ステップＳ４８６において、現像処理部４０４は、ホワイトバランス調整されたベイヤデータを現像処理し、撮像画像の画像データを生成する。ステップＳ４８７において、現像処理部４０４は、その画像データを出力する。
　このようにすることにより、撮像装置４００は、環境光（周辺光）に基づいてホワイトバランス調整を行うことができる。また、その場合も、撮像装置４００は、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜４－３．撮像装置＞
　なお、波長成分毎のゲインを、ユーザ等が設定するようにしてもよい。その場合、撮像装置４００は、例えば図６０に示されるように、ユーザ設定入力部４５１を有する。ユーザ設定入力部４５１は、各波長成分のゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）のユーザ設定を受け付ける。ユーザ設定入力部４５１は、例えば、ユーザインタフェースを有し、ユーザ等によるゲインの手動入力を受け付けるようにしてもよいし、入力端子や通信部等を有し、他の装置からゲインが供給されるようにしてもよい。
　ユーザ設定入力部４５１に入力された各波長成分のゲインは、ゲイン調整型ベイヤデータ符号化部４１１、ゲイン調整型ベイヤデータ復号部４１２、およびホワイトバランス調整部４０３に供給される。ゲイン調整型ベイヤデータ符号化部４１１によるベイヤデータの符号化、ゲイン調整型ベイヤデータ復号部４１２によるベイヤ圧縮ストリームの復号、およびホワイトバランス調整部４０３によるホワイトバランス調整は、そのゲインを用いて行われる。
　　＜撮像処理の流れ＞
　この場合の撮像装置４００により実行される撮像処理の流れの例を、図６１のフローチャートを参照して説明する。撮像処理が開始されると、ステップＳ４９１において、ユーザ設定入力部４５１は、波長成分毎のゲインに関するユーザ設定を受け付ける。ステップＳ４９２において、ベイヤセンサ４０１は、ステップＳ４８１において、被写体を撮像してベイヤデータを生成する。ステップＳ４９３において、量子化部４０２は、ステップＳ４９１において入力された波長成分毎のゲインを用いて、ベイヤデータを量子化する。ステップＳ４９４において、ホワイトバランス調整部４０３は、量子化されたベイヤデータのホワイトバランスを、ステップＳ４９１において入力された波長成分毎のゲインを用いて調整する。ステップＳ４９５において、現像処理部４０４は、ホワイトバランス調整されたベイヤデータを現像処理し、撮像画像の画像データを生成する。ステップＳ４９６において、現像処理部４０４は、その画像データを出力する。
　このようにすることにより、撮像装置４００は、ユーザ設定に基づいてホワイトバランス調整を行うことができる。したがって、例えば、ユーザの好みに応じたホワイトバランス調整を行うことができる。また、その場合も、撮像装置４００は、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜４－４．撮像装置＞
　以上においては、ベイヤデータについて説明したが、本技術は、４以上の波長成分を含む画像データである多波長データにも適用することができる。図６２は、その場合の撮像装置の構成の一例を示すブロック図である。図６２に示される撮像装置５００は、撮像装置４００と基本的に同様の装置であるが、被写体を撮像して多波長データを出力する装置である。この撮像装置５００は、上述した撮像装置４００と同様、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。
　図６２に示されるように、撮像装置５００は、多波長センサ５０１、量子化部５０２、ホワイトバランス調整部５０３、および現像処理部５０４を有する。各処理部は、処理対象がベイヤデータから多波長データに変わること以外、図５１の撮像装置４００の各処理部（ベイヤセンサ４０１乃至現像処理部４０４）と同様の処理部であり、同様の処理を行う。
　量子化部５０２は、ゲイン調整型多波長データ符号化部５１１およびゲイン調整型多波長データ復号部５１２を有する。これらの処理部は、処理対象がベイヤデータ（またはベイヤ圧縮ストリーム）から多波長データ（または多波長圧縮ストリーム）に変わること以外、図５１の撮像装置４００のゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２と同様の処理部であり、同様の処理を行う。
　　　＜ゲイン調整型多波長データ符号化部＞
　つまり、ゲイン調整型多波長データ符号化部５１１は、ホワイトバランス調整部５０３により設定される多波長データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、その多波長データの各波長成分を量子化し、符号化する。図６３は、ゲイン調整型多波長データ符号化部５１１の主な構成例を示すブロック図である。このゲイン調整型多波長データ符号化部５１１は、波長分離部５２１、ゲイン調整部５２２－１乃至ゲイン調整部５２２－Ｎ（Ｎは自然数）、波長合成部５２３、並びに多波長データ符号化部５２４を有する。ゲイン調整部５２２－１乃至ゲイン調整部５２２－Ｎを互いに区別して説明する必要がない場合、ゲイン調整部５２２と称する。
　これらの処理部は、処理対象がベイヤデータから多波長データに変わること以外、図５２を参照して説明したゲイン調整型ベイヤデータ符号化部４１１の各処理部と同様の処理部であり、同様の処理を行う。
　つまり、各波長成分がゲイン調整（ホワイトバランス調整）された状態で、多波長データ符号化部５２４による量子化を伴う符号化が行われるので、各波長成分の量子化値は、ゲイン調整後の状態で設定される。したがって、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜ゲイン調整型多波長データ復号部＞
　図６４は、ゲイン調整型多波長データ復号部５１２の主な構成例を示すブロック図である。このゲイン調整型多波長データ復号部５１２は、多波長データ復号部５３１、波長分離部５３２、逆ゲイン調整部５３３－１乃至逆ゲイン調整部５３３－Ｎ（Ｎは自然数）、並びに波長合成部５３４を有する。逆ゲイン調整部５３３－１乃至逆ゲイン調整部５３３－Ｎを互いに区別して説明する必要がない場合、逆ゲイン調整部５３３と称する。
　これらの処理部は、処理対象がベイヤ圧縮ストリームから多波長圧縮ストリームに変わること以外、図５３を参照して説明したゲイン調整型ベイヤデータ復号部４１２の各処理部と同様の処理部であり、同様の処理を行う。
　　＜撮像処理の流れ＞
　撮像装置５００は、図６５に示されるフローチャートのように撮像処理を実行する。この図６５のステップＳ５０１乃至ステップＳ５０６の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図５４のステップＳ４４１乃至ステップＳ４４６の各処理と同様に実行される。
　　＜多波長データ量子化処理の流れ＞
　図６５のステップＳ５０３において実行される多波長データ量子化処理は、例えば、図６６のフローチャートのように実行される。この図６６のステップＳ５１１およびステップＳ５１２の各処理は、処理対象がベイヤデータ（またはベイヤ圧縮ストリーム）から多波長データ（または多波長圧縮ストリーム）に変わること以外、図５５のステップＳ４５１およびステップＳ４５２の各処理と同様に実行される。
　　＜多波長データ符号化処理の流れ＞
　図６６のステップＳ５１１において実行される多波長データ符号化処理は、例えば、図６７のフローチャートのように実行される。この図６７のステップＳ５２１乃至ステップＳ５２４の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図５６のステップＳ４６１乃至ステップＳ４６４の各処理と同様に実行される。
　　＜多波長圧縮ストリーム復号処理の流れ＞
　図６６のステップＳ５１２において実行される多波長圧縮ストリーム復号処理は、例えば、図６８のフローチャートのように実行される。この図６８のステップＳ５３１乃至ステップＳ５３４の各処理は、処理対象がベイヤ圧縮ストリームから多波長圧縮ストリームに変わること以外、図５７のステップＳ４７１乃至ステップＳ４７４の各処理と同様に実行される。
　以上のように各処理を行うことにより、多波長データの場合であっても、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜４－５．撮像装置＞
　なお、撮像装置５００に光源の色（光源色）を測定するセンサ（光源色測定部）を設け、その測定された光源色に基づいて設定される多波長データの各波長成分に対するゲインに応じた量子化値を用いて、多波長データの各波長成分を量子化し、符号化するようにしてもよい。
　その場合、撮像装置５００は、例えば図６９に示されるように、光源色測定用センサ５４１、および光源色測定部５４２を有する。光源色測定用センサ５４１は、光源（例えば、環境光）等を検出し、その検出結果を光源色測定部５４２に供給する。光源色測定部５４２は、その検出結果に基づいて光源色を測定し、その光源色に基づいて各波長成分のゲインを設定する。光源色測定部５４２は、その各波長成分のゲインをゲイン調整型多波長データ符号化部５１１、ゲイン調整型多波長データ復号部５１２、およびホワイトバランス調整部５０３に供給する。ゲイン調整型多波長データ符号化部５１１による多波長データの符号化、ゲイン調整型多波長データ復号部５１２による多波長圧縮ストリームの復号、およびホワイトバランス調整部５０３によるホワイトバランス調整は、光源色測定部５４２により設定されたゲインを用いて行われる。
　　＜撮像処理の流れ＞
　この場合の撮像装置５００は、図７０に示されるフローチャートのように撮像処理を実行する。この図７０のステップＳ５４１乃至ステップＳ５４７の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図５９のステップＳ４８１乃至ステップＳ４８７の各処理と同様に実行される。
　このようにすることにより、撮像装置５００は、環境光（周辺光）に基づいてホワイトバランス調整を行うことができる。また、その場合も、撮像装置５００は、多波長データの各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　　　＜４－６．撮像装置＞
　なお、波長成分毎のゲインを、ユーザ等が設定するようにしてもよい。その場合、撮像装置５００は、例えば図７１に示されるように、ユーザ設定入力部５５１を有する。ユーザ設定入力部５５１は、多波長データの各波長成分のゲインのユーザ設定を受け付ける。ユーザ設定入力部５５１は、例えば、ユーザインタフェースを有し、ユーザ等によるゲインの手動入力を受け付けるようにしてもよいし、入力端子や通信部等を有し、他の装置からゲインが供給されるようにしてもよい。
　ユーザ設定入力部５５１に入力された多波長データの各波長成分のゲインは、ゲイン調整型多波長データ符号化部５１１、ゲイン調整型多波長データ復号部５１２、およびホワイトバランス調整部５０３に供給される。ゲイン調整型多波長データ符号化部５１１による多波長データの符号化、ゲイン調整型多波長データ復号部５１２による多波長圧縮ストリームの復号、およびホワイトバランス調整部５０３によるホワイトバランス調整は、そのゲインを用いて行われる。
　　＜撮像処理の流れ＞
　この場合の撮像装置５００は、図７２に示されるフローチャートのように撮像処理を実行する。この図７２のステップＳ５５１乃至ステップＳ５５６の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図６１のステップＳ４９１乃至ステップＳ４９６の各処理と同様に実行される。
　このようにすることにより、撮像装置５００は、ユーザ設定に基づいてホワイトバランス調整を行うことができる。したがって、例えば、ユーザの好みに応じたホワイトバランス調整を行うことができる。また、その場合も、撮像装置５００は、多波長データの各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。
　＜５．第４の実施の形態＞
　　＜波長域の保護＞
　多波長データの全波長成分の重要度が均一でない場合もある。例えば、植物が光合成に利用する波長としては、0.45uｍと0.68uｍの波長が知られており、また、熱に弱いクロロフィルを守るため、0.75uｍの波長の反射率が大きくなることが知られている（図７３）。この反射率が急激に変化する波長帯はレッドエッジと呼ばれており、植物のストレス状況を把握するために非常に重要である。例えば、対象の植物が水不足等により、ストレス状態に置かれた場合、このレッドエッジが短波長側に変化することなどが知られている。このように植物の育成状況把握には、レッドエッジと呼ばれる波長帯のデータが重要となる。しかしながら、既存のBayer符号化などの圧縮手法では、波長間の重要度が大きく変化しないため、波長間での保護、非保護の設定ができなかった。
　そこで、優先度が高い波長帯を保護領域として保護し、その保護領域の成分の精度を他の波長帯（保護領域外）よりも高くするようにしてもよい。換言するに、保護領域外のデータの精度を、保護領域よりも低減させるようにしてもよい。このようにすることにより、優先度の高い（より重要な）情報の劣化を抑制することができる。
　この保護領域とする波長帯は任意である。例えば、上述のレッドエッジ（可視光赤の隣接波長帯、波長0.75um周辺の波長帯）を保護領域としてもよい。
　例えば、図７４に示される例のように、保護領域では波長方向のサンプリングを、保護領域外よりも密に設定するようにしてもよい。例えば、多波長センサの保護領域に対する分光能力を、保護領域外に対する分光能力よりも高くすることにより、このようなサンプリング設定を実現することができる。このようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　また、例えば、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、その生成された多波長データを、所定の波長成分（保護領域）のみ他の波長成分（保護領域外）よりも小さい量子化値で量子化するように、量子化し、その量子化された多波長データを符号化し、その多波長データの符号化データを生成するようにしてもよい。
　例えば、図７５に示される例のように、保護領域の量子化値を、保護領域外よりも小さい値に設定するようにしてもよい。このようにすることにより、保護領域における量子化による誤差を低減させることができ、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　　＜５－１．撮像装置＞
　図７６は、その場合の撮像装置の主な構成例を示すブロック図である。図７６に示される撮像装置６００は、被写体を撮像して撮像画像の多波長データを出力する装置である。この撮像装置６００は、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。
　撮像装置６００は、多波長センサ６０１、多波長データ量子化部６０２、および多波長データ符号化部６０３を有する。多波長センサ６０１は、多波長センサ１１１（図１）と同様のセンサであり、被写体を撮像して多波長データを生成し、それを多波長データ量子化部６０２に供給する。多波長データ量子化部６０２は、その多波長データを量子化し、量子化された多波長データを多波長データ符号化部６０３に供給する。多波長データ符号化部６０３は、その量子化された多波長データを符号化し、多波長圧縮ストリームを生成し、それを撮像装置６００の外部に出力する。
　　　＜多波長データ量子化部＞
　図７７は、図７６の多波長データ量子化部６０２の主な構成例を示すブロック図である。多波長データ量子化部６０２は、波長分離部６１１、保護領域量子化部６１２、保護領域外量子化部６１３、および波長合成部６１４を有する。
　波長分離部６１１は、多波長データを、保護領域（所定の波長帯）の成分（保護領域波長成分）と、保護領域外（その他の波長帯）の成分（保護領域外波長成分）とに分離し、保護領域波長成分を保護領域量子化部６１２に供給し、保護領域外波長成分を保護領域外量子化部６１３に供給する。
　保護領域量子化部６１２は、その保護領域波長成分を、供給される保護領域用量子化値を用いて量子化する。保護領域量子化部６１２は、量子化された保護領域波長成分を波長合成部６１４に供給する。保護領域外量子化部６１３は、その保護領域外波長成分を、供給される保護領域外用量子化値を用いて量子化する。保護領域外量子化部６１３は、量子化された保護領域外波長成分を波長合成部６１４に供給する。つまり、保護領域量子化部６１２および保護領域外量子化部６１３は、互いに独立した量子化値を用いて量子化を行う。
　波長合成部６１４は、量子化された保護領域波長成分と、量子化された保護領域外波長成分とを合成し、量子化された多波長データを生成し、出力する。
　　　＜撮像処理の流れ＞
　撮像装置６００により実行される撮像処理の流れの例を、図７８のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ６０１は、ステップＳ５６１において、被写体を撮像し多波長データを生成する。ステップＳ５６２において、多波長データ量子化部６０２は、その多波長データを量子化する。ステップＳ５６３において、多波長データ符号化部６０３は、量子化された多波長データを符号化し、多波長圧縮ストリームを生成する。
　　　＜多波長データ量子化処理の流れ＞
　図７８のステップＳ５６２において実行される多波長データ量子化処理の流れの例を、図７９のフローチャートを参照して説明する。多波長データ量子化処理が開始されると、ステップＳ５７１において、波長分離部６１１は、多波長データを保護領域波長成分と保護領域外波長成分とに分離する。ステップＳ５７２において、保護領域量子化部６１２は、保護領域用の量子化値を用いて保護領域波長成分を量子化する。ステップＳ５７３において、保護領域外量子化部６１３は、保護領域外用の量子化値を用いて保護領域外波長成分を量子化する。ステップＳ５７４において、波長合成部６１４は、量子化された保護領域波長成分と、量子化された保護領域外波長成分とを合成し、量子化された多波長データを生成する。
　以上のように、保護領域の波長成分を、保護領域外用の量子化値とは独立した、保護領域用の量子化値を用いて量子化することにより、保護領域における量子化による誤差を低減させることができ、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　　＜データの重み付け・並び替え・固定長圧縮＞
　多波長データには複数の波長成分が含まれる。例えば、図８０に示される各四角を１つの単波長データとすると、多波長データは、その単波長データの集合として構成される。そして、各単波長データは、互いに独立に処理することができる。したがって、例えば、図８１のＡに示されるように、各単波長データに対して量子化による重み付けを行うようにしてもよい。例えば、優先度の高い単波長データの量子化値を、優先度の低い単波長データの量子化値よりも小さくすることができる。つまり、各単波長データに対して重み付けを行うことができるので、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　また、図８１のＢに示されるように、各単波長データの処理順を並び替えるようにしてもよい。例えば、優先度の高い単波長データ（例えば、保護領域外の単波長データ）が他の単波長データよりも先に処理されるように、処理順を並び替えるようにしてもよい。このようにすることにより、優先度の高い単波長データの処理結果を先に得るようにすることができる。
　また、符号長を固定とする固定長圧縮により多波長データを符号化するようにしてもよい。その際、上述のように、優先度の高い単波長データの処理順を先にするように並び替えることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる固定長圧縮の多波長データを生成することができる。
　　＜５－２．撮像装置＞
　図８２は、その場合の撮像装置の主な構成例を示すブロック図である。図８２に示される撮像装置７００は、被写体を撮像して撮像画像の多波長データを出力する装置である。この撮像装置７００は、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。
　撮像装置７００は、多波長センサ７０１、データ並び替え部７０２、多波長データ符号化部７０３、多波長データ符号化部７０４、およびストリーム合成部７０５を有する。多波長センサ７０１は、多波長センサ１１１（図１）と同様のセンサであり、被写体を撮像して多波長データを生成し、それをデータ並び替え部７０２に供給する。データ並び替え部７０２は、その多波長データの各単波長データの処理順を並び替え、優先度の高い単波長データ（高優先度データ）を多波長データ符号化部７０３に供給し、その他の単波長データ（優先度の低い単波長データ（低優先度データ））を多波長データ符号化部７０４に供給する。
　多波長データ符号化部７０３は、高優先度データを、多波長データ符号化部７０４よりも低い圧縮率で符号化して、低圧縮の圧縮ストリーム（高優先度圧縮ストリーム）を生成し、それをストリーム合成部７０５に供給する。また、多波長データ符号化部７０３は、固定長圧縮となるように、自身が生成した高優先度圧縮ストリームのデータ量に基づいて、多波長データ符号化部の目標ビット量（低優先度データターゲットビット量）を設定し、それを多波長データ符号化部７０４に供給する。
　多波長データ符号化部７０４は、低優先度データを、多波長データ符号化部７０３よりも高い圧縮率で符号化して、高圧縮の圧縮ストリーム（低優先度圧縮ストリーム）を生成し、それをストリーム合成部７０５に供給する。なお、多波長データ符号化部７０４は、多波長データ符号化部７０３から供給される低優先度データターゲットビット量を用いて、固定長符号化となるように、この低優先度データの符号化を行う。
　例えば、図８３のＡに示されるように、まず、多波長データ符号化部７０３が、高優先度データを符号化し、残りのビット量に基づいて、低優先度データターゲットビット量を設定する。次に図８３のＢに示されるように、多波長データ符号化部７０４が、低優先度データターゲットビット量を用いて、固定長符号化となるように圧縮率を調整して、低優先度データを符号化する。もし、図８３のＢの例のように、ビットが余った場合、図８３のＣに示されるように、stuffing bitが補充されるようにしてもよい。
　図８２に戻り、ストリーム合成部７０５は、高優先度圧縮ストリームと低優先度圧縮ストリームとを合成し、多波長圧縮ストリームを生成し、それを出力する。
　　　＜撮像処理の流れ＞
　撮像装置７００により実行される撮像処理の流れの例を、図８４のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ７０１は、ステップＳ５８１において、被写体を撮像し多波長データを生成する。ステップＳ５８２において、データ並び替え部７０２は、多波長データの各単波長データの処理順を高優先度データが先に処理されるように適宜並び替える。ステップＳ５８３において、多波長データ符号化部７０３は、高優先度データを符号化する。ステップＳ５８４において、多波長データ符号化部７０３は、低優先度データターゲットビット量を設定する。ステップＳ５８５において、多波長データ符号化部７０４は、低優先度データターゲットビット量を用いて固定長圧縮となるように、低優先度データを符号化する。ステップＳ５８６において、ストリーム合成部７０５は、高優先度圧縮ストリームと低優先度圧縮ストリームとを合成し、多波長圧縮ストリームを生成する。
　以上のようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　　＜符号化方法制御＞
　また、保護領域の単波長データと保護領域外の単波長データとを、互いに異なる符号化方法で符号化するようにしてもよい。例えば、保護領域の単波長データは、自身のデータのみを用いて符号化し、保護領域外の単波長データは、他の単波長データを用いた予測を用いて符号化するようにしてもよい（図８５）。
　　＜５－３．撮像装置＞
　図８６は、その場合の撮像装置の主な構成例を示すブロック図である。図８６の例の場合、撮像装置７００は、図８２の場合と比べて、多波長データ符号化部７０４の代わりに、局所復号部７１１、波長間予測部７１２、演算部７１３、および差分データ符号化部７１４を有する。
　局所復号部７１１は、多波長データ符号化部７０３により生成された高優先度圧縮ストリームを復号し、高優先度データを復元する。波長間予測部７１２は、局所復号部７１１が復元した高優先度データを用いて、低優先度データの予測データを生成する。演算部７１３は、データ並び替え部７０２から供給される低優先度データと、波長間予測部７１２から供給されるその低優先度データの予測値との差分を算出する。差分データ符号化部７１４は、演算部７１３により算出された差分（差分データ）を符号化し、差分圧縮ストリームを生成する。ストリーム合成部７０５は、多波長データ符号化部７０３が生成した高優先度圧縮ストリームと、差分データ符号化部７１４が生成した差分圧縮ストリームとを合成し、多波長圧縮ストリームを生成し、それを出力する。
　　　＜撮像処理の流れ＞
　この場合の撮像処理の流れの例を、図８７のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ７０１は、ステップＳ６０１において、被写体を撮像し多波長データを生成する。ステップＳ６０２において、データ並び替え部７０２は、多波長データの各単波長データの処理順を高優先度データが先に処理されるように適宜並び替える。ステップＳ６０３において、多波長データ符号化部７０３は、高優先度データを符号化し、高優先度圧縮ストリームを生成する。ステップＳ６０４において、局所復号部７１１は、ステップＳ６０３において生成された高優先度圧縮ストリームを局所復号し、高優先度データを復元する。ステップＳ６０５において、波長間予測部７１２は、波長間予測を行い、ステップＳ６０４において復元された高優先度データを用いて低優先度データの予測データを生成する。ステップＳ６０６において、演算部７１３は、低優先度データと、ステップＳ６０５において生成された予測データとの差分を算出する。ステップＳ６０７において、差分データ符号化部７１４は、ステップＳ６０６において生成された差分データを符号化する。ステップＳ６０８において、ストリーム合成部７０５は、ステップＳ６０３において生成された高優先度圧縮ストリームと、ステップＳ６０７において生成された差分圧縮ストリームとを合成し、多波長圧縮ストリームを生成する。
　以上のようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　　＜５－４．撮像装置＞
　図８８は、その場合の撮像装置の他の構成例を示すブロック図である。図８８の例の場合、撮像装置７００は、図８６の場合と比べて、さらに、局所復号部７２１、演算部７２２、波長間予測部７２３、およびモード選択部７２４を有する。
　局所復号部７２１は、差分データ符号化部７１４により生成された差分圧縮ストリームを復号し、差分データを復元する。演算部７２２は、モード選択部７２４から供給される予測データと、局所復号部７２１から供給される差分データとを加算する。つまり、低優先度データが復元される。波長間予測部７２３は、その低優先度データを用いて、低優先度データの予測データを生成する。モード選択部７２４は、波長間予測部７１２により生成された予測データと、波長間予測部７２３により生成された予測データのいずれか一方を選択し、選択した方の予測データを、演算部７１３および演算部７２２に供給する。
　　　＜撮像処理の流れ＞
　この場合の撮像処理の流れの例を、図８９のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ７０１は、ステップＳ６２１において、被写体を撮像し多波長データを生成する。ステップＳ６２２において、データ並び替え部７０２は、多波長データの各単波長データの処理順を高優先度データが先に処理されるように適宜並び替える。ステップＳ６２３において、多波長データ符号化部７０３は、高優先度データを符号化し、高優先度圧縮ストリームを生成する。ステップＳ６２４において、局所復号部７１１は、ステップＳ６２３において生成された高優先度圧縮ストリームを局所復号し、高優先度データを復元する。ステップＳ６２５において、波長間予測部７１２は、ステップＳ６２４において復元された高優先度データを用いて波長間予測を行い、低優先度データの予測データを生成する。
　ステップＳ６２６において、波長間予測部７２３は、復元された低優先度データを用いて波長間予測を行い、低優先度データの予測データを生成する。
　ステップＳ６２７において、モード選択部７２４は、例えばコスト等に基づいて予測のモードを選択し、ステップＳ６２５において生成された予測データと、ステップＳ６２６において生成された予測データとのいずれか一方を選択する。
　ステップＳ６２８において、演算部７１３は、低優先度データと、ステップＳ６２７において選択された予測データとの差分を算出する。ステップＳ６２９において、差分データ符号化部７１４は、ステップＳ６２８において生成された差分データを符号化し、差分圧縮ストリームを生成する。ステップＳ６３０において、局所復号部７２１は、ステップＳ６２９において生成された差分圧縮ストリームを局所復号し、差分データを復元する。ステップＳ６３１において、演算部７２２は、ステップＳ６２７において選択された予測データと、ステップＳ６３０において復元された差分データとを加算し、低優先度データを復元する。
　ステップＳ６３２において、ストリーム合成部７０５は、ステップＳ６２３において生成された高優先度圧縮ストリームと、ステップＳ６２９において生成された差分圧縮ストリームとを合成し、多波長圧縮ストリームを生成する。
　以上のようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。
　＜６．付記＞
　　＜多波長データの波長帯＞
　各実施の形態において上述した多波長データは、４以上の波長成分を含む画像データであればよい。つまり、多波長データの各波長成分の波長は任意である。例えば、多波長データが、可視光の波長成分を含んでいてもよいし、含まなくてもよい。また、多波長データが、不可視光の波長成分を含んでいてもよいし、含まなくてもよい。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図９０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図９０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。
　また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
　前記撮像部により生成された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と、
　前記符号化部により生成された前記符号化データを送信する送信部と
　を備える画像処理装置。
　（２）　前記符号化部は、前記多波長データを、波長成分毎に独立に符号化する
　（１）に記載の画像処理装置。
　（３）　前記符号化部は、
　　各波長成分を量子化し、
　　量子化された波長成分同士の差分を算出し、
　　前記差分を可変長符号化する
　（２）に記載の画像処理装置。
　（４）　前記送信部の伝送レートに応じて、前記多波長データを符号化するか否かを制御する符号化制御部をさらに備え、
　前記符号化制御部により符号化を行うように制御された場合、
　　前記符号化部は、前記多波長データを符号化し、
　　前記送信部は、前記符号化部により生成された前記符号化データを送信し、
　前記符号化制御部により符号化を行わないように制御された場合、
　　前記送信部は、前記撮像部により生成された前記多波長データを送信する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記送信部の伝送レートに応じて、前記多波長データの符号化の圧縮率を制御する符号化制御部をさらに備え、
　前記符号化部は、前記符号化制御部により制御された圧縮率で前記多波長データを符号化する
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記符号化部は、前記多波長データを複数の圧縮率で符号化し、
　前記送信部は、前記符号化部により生成された各圧縮率の前記符号化データをそれぞれ送信する
　（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記送信部は、より圧縮率の高い前記符号化データをより優先して送信する
　（６）に記載の画像処理装置。
　（８）　前記撮像部により生成された前記多波長データに対してノイズリダクション処理を行うノイズリダクション処理部をさらに備え、
　前記符号化部は、前記ノイズリダクション処理部により前記ノイズリダクション処理が施された前記多波長データを符号化する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記ノイズリダクション処理部は、前記多波長データの波長成分毎に独立に前記ノイズリダクション処理を行う
　（８）に記載の画像処理装置。
　（１０）　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
　生成された前記多波長データを符号化し、前記多波長データの符号化データを生成し、
　生成された前記符号化データを送信する
　画像処理方法。
　（１１）　被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、
　前記撮像部により生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部と
　を備える画像処理装置。
　（１２）　前記符号化部は、前記画像データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
　（１１）に記載の画像処理装置。
　（１３）　光源色を測定する光源色測定部をさらに備え、
　前記符号化部は、前記光源色測定部により測定された前記光源色に基づいて設定される前記画像データの各波長成分に対するゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
　（１１）または（１２）に記載の画像処理装置。
　（１４）　前記画像データは、４以上の波長成分を含む画像データである多波長データである
　（１１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　被写体を撮像し、複数の波長成分を含む画像データを生成し、
　生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する
　画像処理方法。
　（１６）　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
　前記撮像部により生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化する量子化部と、
　前記量子化部により量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と
　を備える画像処理装置。
　（１７）　前記所定の波長成分は、レッドエッジである
　（１６）に記載の画像処理装置。
　（１８）　前記多波長データの各波長成分のデータを並び替える並び替え部をさらに備える
　（１６）または（１７）に記載の画像処理装置。
　（１９）　前記符号化部は、符号長が固定となるように前記多波長データを符号化する
　（１８）に記載の画像処理装置。
　（２０）　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
　生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化し、
　量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する
　画像処理方法。
　１００　画像処理システム，　１０１　撮像装置，　１０２　情報処理装置，　１１１　多波長センサ，　１１２　多波長データ符号化部，　１１３　送信部，　１２１　受信部，　１２２　記憶部，　１２３　多波長データ復号部，　１２４　データ解析部，　１３１　波長分離部，　１３２　単波長データ符号化部，　１３３　ストリーム合成部，　１４１　量子化部，　１４２　ディレイバッファ，　１４３　演算部，　１４４　VLCエンコーダ，　１５１　ストリーム分離部，　１５２　単波長データ復号部，　１５３　波長合成部，　１６１　VLCデコーダ，　１６２　演算部，　１６３　ディレイバッファ，　１６４　逆量子化部，　１７１　フォーマット選択部，　１８１　フォーマット判定部，　１９１　量子化値設定部，　２０１　ダウンサンプリングフィルタ，　２０２　アップサンプリングフィルタ，　２１１　書き込み部，　２１２　記憶デバイス，　２１３　読み出し部，　２２１　送信部，　２２２　受信部，　２２３　制御部，　２３１　合成部，　２５１　ノイズリダクションフィルタ，　２６１　波長分離部，　２６２　２Ｄフィルタ，　２６３　波長合成部，　２７１　多波長データ符号化部，　２７２　記憶部，　２７３　多波長データ復号部，　２８１　記憶部，　２８２　多波長データ符号化部，　２８３　記憶部，　２８４　多波長データ復号部，　２９１　多波長データ符号化部，　２９２　記憶部，　２９３　多波長データ復号部，　２９４　リサンプル部，　２９５　多波長データ符号化部，　２９６　記憶部，　２９７　多波長データ復号部，　３１１　波長分離部，　３１２　ダウンサンプルフィルタ，　３１３　波長合成部，　３２１　波長分離部，　３２２　ローパスフィルタ，　３２３　波長合成部，　３３１　波長分離部，　３３２　LSBマスク処理部，　３３３　波長合成部，　４００　撮像装置，　４０１　ベイヤセンサ，　４０２　量子化部，　４０３　ホワイトバランス調整部，　４０４　現像処理部，　４１１　ゲイン調整型ベイヤデータ符号化部，　４１２　ゲイン調整型ベイヤデータ復号部，　４２１　波長分離部，　４２２　Ｒゲイン調整部，　４２３　Ｇゲイン調整部，　４２４　Ｂゲイン調整部，　４２５　波長合成部，　４２６　ベイヤデータ符号化部，　４３１　ベイヤデータ復号部，　４３２　波長分離部，　４３３　逆Ｒゲイン調整部，　４３４　逆Ｇゲイン調整部，　４３５　逆Ｂゲイン調整部，　４３６　波長合成部，　４４１　光源色測定用センサ，　４４２　光源色測定部，　４５１　ユーザ設定入力部，　５００　撮像装置，　５０１　多波長センサ，　５０２　量子化部，　５０３　ホワイトバランス調整部，　５０４　現像処理部，　５１１　ゲイン調整型多波長データ符号化部，　５１２　ゲイン調整型多波長データ復号部，　５２１　波長分離部，　５２２　ゲイン調整部，　５２３　波長合成部，　５２４　多波長データ符号化部，　５３１　多波長データ復号部，　５３２　波長分離部，　５３３　逆ゲイン調整部，　５３４　波長合成部，　５４１　光源色測定用センサ，　５４２　光源色測定部，　５５１　ユーザ設定入力部，　６００　撮像装置，　６０１　多波長センサ，　６０２　多波長データ量子化部，　６０３　多波長データ符号化部，　６１１　波長分離部，　６１２　保護領域量子化部，　６１３　保護領域外量子化部，　６１４　波長合成部，　７００　撮像装置，　７０１　多波長センサ，　７０２　データ並び替え部，　７０３　多波長データ符号化部，　７０４　多波長データ符号化部，　７０５　ストリーム合成部，　７１１　局所復号部，　７１２　波長間予測部，　７１３　演算部，　７１４　差分データ符号化部，　７２１　局所復号部，　７２２　演算部，　７２３　波長間予測部，　７２４　モード選択部

Claims (20)

  1. 　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
    　前記撮像部により生成された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と、
    　前記符号化部により生成された前記符号化データを送信する送信部と
    　を備える画像処理装置。
  2. 　前記符号化部は、前記多波長データを、波長成分毎に独立に符号化する
    　請求項１に記載の画像処理装置。
  3. 　前記符号化部は、
    　　各波長成分を量子化し、
    　　量子化された波長成分同士の差分を算出し、
    　　前記差分を可変長符号化する
    　請求項２に記載の画像処理装置。
  4. 　前記送信部の伝送レートに応じて、前記多波長データを符号化するか否かを制御する符号化制御部をさらに備え、
    　前記符号化制御部により符号化を行うように制御された場合、
    　　前記符号化部は、前記多波長データを符号化し、
    　　前記送信部は、前記符号化部により生成された前記符号化データを送信し、
    　前記符号化制御部により符号化を行わないように制御された場合、
    　　前記送信部は、前記撮像部により生成された前記多波長データを送信する
    　請求項１に記載の画像処理装置。
  5. 　前記送信部の伝送レートに応じて、前記多波長データの符号化の圧縮率を制御する符号化制御部をさらに備え、
    　前記符号化部は、前記符号化制御部により制御された圧縮率で前記多波長データを符号化する
    　請求項１に記載の画像処理装置。
  6. 　前記符号化部は、前記多波長データを複数の圧縮率で符号化し、
    　前記送信部は、前記符号化部により生成された各圧縮率の前記符号化データをそれぞれ送信する
    　請求項１に記載の画像処理装置。
  7. 　前記送信部は、より圧縮率の高い前記符号化データをより優先して送信する
    　請求項６に記載の画像処理装置。
  8. 　前記撮像部により生成された前記多波長データに対してノイズリダクション処理を行うノイズリダクション処理部をさらに備え、
    　前記符号化部は、前記ノイズリダクション処理部により前記ノイズリダクション処理が施された前記多波長データを符号化する
    　請求項１に記載の画像処理装置。
  9. 　前記ノイズリダクション処理部は、前記多波長データの波長成分毎に独立に前記ノイズリダクション処理を行う
    　請求項８に記載の画像処理装置。
  10. 　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
    　生成された前記多波長データを符号化し、前記多波長データの符号化データを生成し、
    　生成された前記符号化データを送信する
    　画像処理方法。
  11. 　被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、
    　前記撮像部により生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部と
    　を備える画像処理装置。
  12. 　前記符号化部は、前記画像データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
    　請求項１１に記載の画像処理装置。
  13. 　光源色を測定する光源色測定部をさらに備え、
    　前記符号化部は、前記光源色測定部により測定された前記光源色に基づいて設定される前記画像データの各波長成分に対するゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
    　請求項１１に記載の画像処理装置。
  14. 　前記画像データは、４以上の波長成分を含む画像データである多波長データである
    　請求項１１に記載の画像処理装置。
  15. 　被写体を撮像し、複数の波長成分を含む画像データを生成し、
    　生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する
    　画像処理方法。
  16. 　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
    　前記撮像部により生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化する量子化部と、
    　前記量子化部により量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と
    　を備える画像処理装置。
  17. 　前記所定の波長成分は、レッドエッジである
    　請求項１６に記載の画像処理装置。
  18. 　前記多波長データの各波長成分のデータを並び替える並び替え部をさらに備える
    　請求項１６に記載の画像処理装置。
  19. 　前記符号化部は、符号長が固定となるように前記多波長データを符号化する
    　請求項１８に記載の画像処理装置。
  20. 　被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
    　生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化し、
    　量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する
    　画像処理方法。
PCT/JP2019/019642 2018-06-01 2019-05-17 画像処理装置および方法 WO2019230443A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/058,084 US11758298B2 (en) 2018-06-01 2019-05-17 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-106013 2018-06-01
JP2018106013A JP2021170690A (ja) 2018-06-01 2018-06-01 画像処理装置および方法

Publications (1)

Publication Number Publication Date
WO2019230443A1 true WO2019230443A1 (ja) 2019-12-05

Family

ID=68696739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019642 WO2019230443A1 (ja) 2018-06-01 2019-05-17 画像処理装置および方法

Country Status (3)

Country Link
US (1) US11758298B2 (ja)
JP (1) JP2021170690A (ja)
WO (1) WO2019230443A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086496A (ja) * 1999-09-10 2001-03-30 Canon Inc 画像送信装置及び方法
JP2003143625A (ja) * 2001-11-06 2003-05-16 Sony Corp 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、電子カメラ処理装置および電子カメラ処理方法
JP2005277742A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 撮影情報を利用した画像の符号化方法および画像符号化装置
JP2008227876A (ja) * 2007-03-13 2008-09-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP2017220828A (ja) * 2016-06-08 2017-12-14 キヤノン株式会社 符号化装置、撮像装置、符号化方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3849461B2 (ja) * 2001-06-07 2006-11-22 ソニー株式会社 撮像装置及び撮像方法
JP2005005925A (ja) * 2003-06-11 2005-01-06 Olympus Corp 画像圧縮装置及び画像処理システム
JP4633129B2 (ja) 2003-11-11 2011-02-16 オリンパス株式会社 マルチスペクトル画像撮影装置
JP2008011284A (ja) * 2006-06-30 2008-01-17 Fujitsu Ltd 画像処理回路、撮像回路および電子機器
US8780717B2 (en) * 2006-09-21 2014-07-15 General Instrument Corporation Video quality of service management and constrained fidelity constant bit rate video encoding systems and method
JP5076568B2 (ja) * 2007-03-12 2012-11-21 ソニー株式会社 データ処理方法、データ処理装置、固体撮像装置、撮像装置、電子機器
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
WO2013064510A1 (en) 2011-11-04 2013-05-10 Imec Spectral camera with mosaic of filters for each image pixel
US9955160B1 (en) * 2015-04-27 2018-04-24 Harmonic, Inc. Video encoding using adaptive pre-filtering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086496A (ja) * 1999-09-10 2001-03-30 Canon Inc 画像送信装置及び方法
JP2003143625A (ja) * 2001-11-06 2003-05-16 Sony Corp 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、電子カメラ処理装置および電子カメラ処理方法
JP2005277742A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 撮影情報を利用した画像の符号化方法および画像符号化装置
JP2008227876A (ja) * 2007-03-13 2008-09-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP2017220828A (ja) * 2016-06-08 2017-12-14 キヤノン株式会社 符号化装置、撮像装置、符号化方法及びプログラム

Also Published As

Publication number Publication date
US20210266478A1 (en) 2021-08-26
JP2021170690A (ja) 2021-10-28
US11758298B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
US10916002B2 (en) Enhancing temporal and spatial resolution and correcting data anomalies of remote sensed data for estimating high spatio-temporal resolution vegetation indices
CN101953153B (zh) 摄像装置和摄像方法
EP2728337B1 (en) Plant species identification device, method, and computer program
Pimple et al. Topographic correction of Landsat TM-5 and Landsat OLI-8 imagery to improve the performance of forest classification in the mountainous terrain of Northeast Thailand
US8315472B2 (en) System and method for reducing dimensionality of hyperspectral images
WO2017199757A1 (ja) 光学装置および情報処理方法
JPWO2018173622A1 (ja) 植生指標算出装置、植生指標算出方法、及びプログラム
Radosavljević et al. Lossy compression of multispectral satellite images with application to crop thematic mapping: A HEVC comparative study
JP6943251B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体
CN101953152A (zh) 摄像系统、摄像方法、和用于存储程序的计算机可读取介质
EP3490255B1 (fr) Compression intelligente de contenus vidéo grainés
WO2019230443A1 (ja) 画像処理装置および方法
US11631242B2 (en) Information processing apparatus, information processing method, and program
Wouters et al. Hyperspectral waveband selection for automatic detection of floral pear buds
FR2994007B1 (fr) Procede de fusion d&#39;images multi-resolutions
JP5807111B2 (ja) 画像生成システム及び画像生成方法
Ferrari et al. Fusing Sentinel-1 and Sentinel-2 images for deforestation detection in the Brazilian amazon under diverse cloud conditions
KR102608262B1 (ko) 고춧가루 품질 모니터링 방법 및 그 시스템
JP6932563B2 (ja) 結果予測装置、結果予測方法、及びプログラム
KR20180137842A (ko) 농작물 작황분석을 위한 분광 카메라 시스템 제작 방법
Schlapfer et al. Calibration concept for potential optical aberrations of the APEX pushbroom imaging spectrometer
Neumann et al. The regenerative potential of managed Calluna heathlands—revealing optical and structural traits for predicting recovery dynamics
US20220038674A1 (en) Image processing device and method
CN113962844A (zh) 一种图像融合方法、存储介质及终端设备
Herrero et al. Ultraspectral image compression using two-stage prediction: prediction gain and rate-distortion analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19810559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP