WO2007091368A1 - 撮影装置及び撮影方法 - Google Patents

撮影装置及び撮影方法 Download PDF

Info

Publication number
WO2007091368A1
WO2007091368A1 PCT/JP2006/324357 JP2006324357W WO2007091368A1 WO 2007091368 A1 WO2007091368 A1 WO 2007091368A1 JP 2006324357 W JP2006324357 W JP 2006324357W WO 2007091368 A1 WO2007091368 A1 WO 2007091368A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
band
bandpass filters
converted
subject
Prior art date
Application number
PCT/JP2006/324357
Other languages
English (en)
French (fr)
Inventor
Naoya Ohta
Original Assignee
National University Corporation Gunma University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University Corporation Gunma University filed Critical National University Corporation Gunma University
Priority to JP2007557751A priority Critical patent/JP4660777B2/ja
Publication of WO2007091368A1 publication Critical patent/WO2007091368A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to an imaging device and an imaging method, and more particularly, to a multispectral camera including a plurality of optical filters having narrow bandpass characteristics and an imaging method thereof.
  • a multi-spectral camera obtains images in three wavelength regions (red (R), green (G), and blue) with a normal color camera, whereas images of multiple bands decomposed into finer wavelength regions.
  • R red
  • G green
  • blue images of multiple bands decomposed into finer wavelength regions.
  • Patent Document 1 A typical multispectral camera has a structure in which a plurality of optical filters having different narrow bandpass characteristics are sequentially inserted on the incident side of an image sensor such as a CCD, and obtains an image corresponding to each filter characteristic. .
  • An interference filter is usually used as the bandpass filter.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-185974
  • multispectral cameras use narrow bandwidth optical filters to obtain higher spectral resolution than ordinary color cameras. Therefore, there is a problem that the amount of light passing through the filter is reduced and the image is inevitably darkened. As a result of the dark image, the exposure time is increased and it is difficult to take a picture such as a short time measurement.
  • the present invention has been made in consideration of the above problems, and provides an imaging apparatus in which an image does not become dark.
  • a first aspect of the present invention is an imaging apparatus, wherein a plurality of bandpass filters having different spectral transmission characteristics and light from a subject are received through each of the plurality of bandpass filters.
  • a first imaging unit that shoots a subject and outputs first image data corresponding to the received light quantity corresponding to the plurality of bandpass filters; and the plurality of bandpass filters.
  • the first imaging unit is configured to receive light of the subject force reflected by each of the plurality of band-pass filters with respect to the first filter.
  • a second imaging unit that captures the subject in synchronization with the received image and outputs second image data corresponding to the amount of received light corresponding to the plurality of bandpass filters, and a plurality of the plurality of bandpass filters.
  • a conversion unit that converts the plurality of second image data into image data corresponding to the desired band using a plurality of second image data and a plurality of coefficients corresponding to the desired band;
  • An output unit that outputs combined image data obtained by combining the first image data corresponding to a desired band and the converted image data converted from the plurality of second image data.
  • the first image data obtained by the light transmitted through the bandpass filter, the plurality of second image data obtained by the light reflected by each bandpass filter force, and the plurality of coefficients are combined with image data corresponding to a desired band. Therefore, a bright image can be obtained, and the image is never darkened.
  • the composite image data is weighted with a value proportional to the inverse of the variance of the error of the first image data and a value proportional to the inverse of the variance of the error of the converted image data. It can be obtained by a weighted average value of the data and the converted image data.
  • a second aspect of the present invention is an imaging apparatus, comprising a plurality of bandpass filters each having a spectral transmission characteristic that transmits a plurality of bands, and each having a different spectral transmission characteristic; First, light of subject force is received through each of the plurality of bandpass filters, the subject is photographed, and first image data corresponding to the amount of received light is output corresponding to the plurality of bandpass filters.
  • the first imaging unit and the plurality of bandpass filters are arranged at positions symmetrical to the first imaging unit, and each of the plurality of bandpass filters receives light from the reflected subject.
  • Part and said plurality Scan Bae plurality of spectral reflection characteristic and a plurality of spectral transmission characteristics of the desired band of the bandpass filter
  • a storage unit that stores a plurality of coefficients for conversion into a tuttle characteristic for each of a plurality of bands, a plurality of first image data obtained corresponding to each of the plurality of bandpass filters, and a desired
  • the plurality of first image data is converted into first converted image data corresponding to the desired band using a plurality of coefficients corresponding to a plurality of bands, and each of the plurality of band-pass filters is used.
  • the plurality of second image data is converted into a second converted image corresponding to the desired band.
  • a conversion unit that converts the data into data; and an output unit that outputs combined image data obtained by combining the first converted image data and the second converted image data corresponding to a desired band.
  • This aspect relates to an imaging device in the case of using a plurality of bandpass filters having spectral transmission characteristics that transmit a plurality of bands.
  • a plurality of coefficients for converting a plurality of spectral reflection characteristics and a plurality of spectral transmission characteristics of a plurality of bandpass filters into spectral characteristics of a desired band are used.
  • the first converted image data and the second converted image data corresponding to the spectral characteristics of the desired band can be obtained as in the first aspect.
  • By combining the first converted image data and the second converted image data corresponding to these desired bands combined image data capable of displaying a bright image can be obtained.
  • the present invention can also be realized as an imaging method corresponding to the first and second aspects.
  • a third aspect of the present invention is a method of performing imaging using a plurality of bandpass filters each having a different spectral transmission characteristic, and each of the plurality of bandpass filters passes through each of the plurality of bandpass filters.
  • the first image of the subject is received by receiving light, the first image data corresponding to the amount of received light is output corresponding to the plurality of bandpass filters, and the first image is taken.
  • the light of the subject power reflected by each of the plurality of band pass filters is received and synchronized with the photographing timing of the first photographing.
  • the second image is taken for the subject, second image data corresponding to the received light quantity is output corresponding to the plurality of bandpass filters, and a plurality of spectral responses of the plurality of bandpass filters are output.
  • the plurality of second image data using a plurality of second image data obtained corresponding to each of the plurality of bandpass filters and a plurality of coefficients corresponding to a desired band. Is converted into image data corresponding to the desired band, and the first image data corresponding to the desired band is combined with the plurality of second image data force converted image data. Including outputting image data.
  • a fourth aspect of the present invention is a method of performing imaging using a plurality of bandpass filters each having a spectral transmission characteristic that transmits a plurality of bands, each of which has a different vector transmission characteristic.
  • the light from the subject is received through each of the band-pass filters, the first photographing is performed on the subject, and the first image data corresponding to the received light amount is output corresponding to the plurality of band-pass filters.
  • the first photographing is performed on the subject
  • the first image data corresponding to the received light amount is output corresponding to the plurality of band-pass filters.
  • the symmetrical position with respect to the plurality of bandpass filters at the position where the first photographing is performed light of the subject force reflected by each of the plurality of bandpass filters is received and the light is received.
  • the second shooting is performed on the subject in synchronization with the shooting timing of the first shooting, and second image data corresponding to the amount of received light is output corresponding to the plurality of band-pass filters, and the multiple images are output.
  • a plurality of coefficients for converting a plurality of spectral reflection characteristics and a plurality of spectral transmission characteristics of a plurality of bandpass filters into spectral characteristics of a desired band are stored for each of the plurality of bands, and the plurality of bandpass filters Using the plurality of first image data obtained corresponding to each and the plurality of coefficients corresponding to the desired band, the plurality of first image data is associated with the desired band.
  • the second image data is converted into second converted image data corresponding to the desired band, and the first converted image data corresponding to the desired band and the second converted image data are synthesized.
  • image data obtained from light transmitted through a bandpass filter each bandpass filter force is obtained from image data obtained from reflected light and a plurality of coefficients.
  • the image data corresponding to the desired band to be generated is synthesized. That Therefore, a bright image can be obtained and the image is never darkened.
  • FIG. 1 is a schematic view showing an embodiment of the present invention.
  • FIG. 2 is a schematic enlarged view showing a filter portion according to the embodiment of the present invention.
  • FIG. 3 is a characteristic diagram showing an example of spectral transmission characteristics.
  • FIG. 4 is a characteristic diagram showing a spectral reflection characteristic corresponding to the spectral transmission characteristic of FIG.
  • FIG. 5 is a characteristic diagram showing an example of transmission characteristics of the filter of the present embodiment.
  • FIG. 6 is a characteristic diagram showing a spectral reflection characteristic corresponding to the spectral transmission characteristic of FIG.
  • FIG. 7 is a characteristic diagram showing spectral transmission characteristics equivalently realized using the coefficients of the present embodiment.
  • FIG. 8 is a flowchart showing a processing routine by the control circuit of the present embodiment.
  • the multispectral camera of the present embodiment includes a plurality of bands provided along the circumference of a filter holder 12 formed of a disk rotated by a drive motor 10.
  • Pass filters hereinafter simply referred to as filters
  • twelve filters can be provided.
  • Multiple filters 14, 14, 1 can be provided.
  • Each of 4 is a multilayer dielectric thin film on a light transmissive substrate such as glass, quartz, or silicon
  • One filter can have, for example, the spectral transmission characteristics shown in FIG. Figure 4 shows the spectral reflection characteristics of the filter with spectral transmission characteristics shown in Fig. 3. Therefore, the spectral transmission characteristic and the spectral reflection characteristic are different for each filter.
  • an optical system 16 composed of a photographic lens such as a zoom lens has a light beam passing through the optical axis of the optical system 16. It is arranged to pass through the center of the filter at an incident angle ⁇ with respect to the filter surface.
  • an image sensor 18A is arranged on the light transmission side of the filter provided in the filter holder 12.
  • the image sensor 18A is composed of a CCD, and each of the filters 14, 14,.
  • An image sensor composed of a CCD is located at a position symmetrical to the image sensor 18A with respect to the filter 14.
  • Image sensor 18B is connected to each of filters 14, 14,
  • the reflected object power is received, the subject is photographed in synchronization with the photographing timing of the image sensor 18A, and the second image data corresponding to the received light amount is output in correspondence with the filter.
  • CMOS may be used as the image pickup devices 18A and 18B instead of the CCD.
  • the image pickup device 18A is connected to an analog Z digital conversion (AZD conversion) 20A that converts an analog signal into a digital signal, and the image pickup device 18B is connected to an AZD conversion 20B.
  • AZD conversion analog Z digital conversion
  • Each of the AZD modifications 20A and 20B is connected to the data storage unit 22.
  • the data storage unit 22 temporarily stores the first image data and the second image data captured by the image sensors 18A and 18B and converted into digital signals for each filter.
  • the data storage unit 22 is connected to the calculation unit 24 to which the coefficient storage unit 26 is connected.
  • the coefficient storage unit 26 stores a set of coefficients composed of a plurality of coefficients a described below for each desired band, that is, for each filter band.
  • the calculation unit 24 is connected to a display device 30 constituted by an LCD or the like via a memory 28 that temporarily stores the composite image data calculated by the calculation unit.
  • the multispectral camera is provided with a control circuit 32 constituted by a microcomputer for controlling the drive motor 10 and the like.
  • the control circuit 32 is connected to each of the drive motor 10, the image sensors 18 A and 18 B, AZD transformations 20 A and 20 B, the data storage unit 22, the calculation unit 24, the memory 28, and the display device 30.
  • the control circuit 32 controls the drive motor 10, the image sensors 18A, 18B, and the like according to a control routine described below.
  • the filter In the multispectral camera of the present embodiment, light that has passed through the optical system 16 enters the filter from an oblique direction.
  • the transmitted light is imaged by the image sensor 18A and the first image data is output, and the reflected light is imaged by the image sensor 18B arranged at a symmetrical position with respect to the filter to produce the second image.
  • Data is output.
  • different filters By rotating the filter folder 12, different filters sequentially move between the optical system 16 and the image sensor 18A as shown in FIG.
  • the first image data based on the transmitted light of the filter located between the optical system 16 and the image sensor 18A and the second image data based on the reflected light are obtained corresponding to the filter.
  • the plurality of second image data by reflected light obtained by rotating the folder once is converted into image data equivalent to the first image data of a desired band by transmitted light by calculation.
  • a desired image can be obtained by obtaining an average of the converted image data and the first image data by the transmitted light of a desired band.
  • the spectrum characteristic is transmission and reflection when the light beam is incident from the front face of the filter at an incident angle of 0. It is a characteristic different from the spectral characteristic.
  • This can be solved by designing the filter so that the characteristics when incident at an incident angle ⁇ are appropriate.
  • the incident angle is large, there is a problem that the characteristics depend on the polarization.
  • the angle of incidence should not be a problem (for example, within 20 °), or the amount of light should be reduced to a certain level.
  • a characteristic of an interference filter used as a bandpass filter is that light of a wavelength that does not pass is reflected.
  • the reflected light spectrum has a characteristic in which only light in the target spectrum band is missing, as shown in FIG. Therefore, when the reflected light of a plurality of filters used in a multispectral camera is observed, an image having the same band characteristics as the transmitted light can be synthesized by calculating the image force of the reflected light.
  • a bright image with a better SZN ratio is obtained by using an image composed of a plurality of reflected lights in this way in addition to an image photographed with transmitted light.
  • FIG. 5 An example in which twelve filters having twelve bandpass characteristics shown in Fig. 5 are used as a plurality of bandpass filters will be described below.
  • a single image I with the spectral reflection characteristics of the desired band is a linear combination of multiple images I taken with each reflected light.
  • g ( ⁇ ) be the spectral characteristic of a desired image. For example, when the image of the spectral characteristic due to transmission shown in Fig. 3 is obtained, this spectral characteristic is set to g ( ⁇ ).
  • the coefficient can be determined by solving equation (8).
  • equation (8) the inner product value of each spectral characteristic shown in equations (9) and (10) is required.
  • the outer characteristics are discretized and calculated as a sum. Assuming that the discretization interval is ⁇ , equations (9) and (10) are calculated as follows. Where ⁇ is the wavelength at which the summation calculation begins, and ⁇ is the discrete number of each wavelength.
  • Step 100 the image sensor 18A and the image sensor 18B are passed through the first filter 14.
  • the subject is photographed at the same time.
  • the first image data and the second image data which have a large number of pixel values obtained by photographing, are converted into digital signals by the AZD converter 20A and the AZD converter 20B, respectively, and then a band number indicating the filter 14 In response to
  • next step 102 the drive motor 10 is rotated by a predetermined angle, and the next filter 14 is turned on.
  • step 104 the imaging element is passed through the filter 14 in the same manner as described above.
  • the subject is photographed simultaneously by the children 18A and 18B.
  • Shooting by the image sensors 18A and 18B is not necessarily required at the same time as long as they are synchronized.
  • next step 106 shooting is performed using all of the filters 14 to 14.
  • step 102 Determine whether or not If the shooting using all of the filters has been completed, return to step 102 and rotate the drive motor 10 by a predetermined angle so that the next filter is positioned on the optical axis and the sequential shooting is continued. Shoot using all filters.
  • Each of the first image data and the second image data corresponding to each of the filters photographed as described above is converted into digital data by the AZD converters 20A and 20B, and the data storage unit 22 Are stored as image data for each filter.
  • step 108 it is determined whether or not a desired band has been designated by the user operating an operation unit (not shown). If it is determined that a band has been designated, in step 110, N coefficients a corresponding to the band number of the designated band are read from the coefficient storage unit 26. In step 112, the coefficient a read in is input to the calculation unit 24 to instruct calculation.
  • the arithmetic unit 24 multiplies the sum of the second image data (12 in the present embodiment) stored in the data storage unit and the plurality of coefficients a read and input according to the equation (1). Image data corresponding to the designated band is generated and stored by calculation. Using the coefficient a determined as described above and Equation (1), the image data I by reflected light is calculated.
  • the calculation unit 24 captures the image data I based on the reflected light and the image data.
  • Image captured by image element 18A and transmitted by the transmitted light corresponding to the specified band Calculate the weighted average with data I.
  • the image by reflected light and ⁇ by transmitted light
  • Image data I with a good SZN ratio corresponding to the specified band is obtained by combining with the image.
  • the obtained image data is stored in the memory 28.
  • ⁇ and j8 are weights for the respective image data. This weight should be a value proportional to the reciprocal of the variance of the error estimated for each of the image data I and I.
  • panda The method of specifying the panda is arbitrary. You can specify three bands, a red wavelength band, a green wavelength band, and a blue wavelength band, or you can specify four or more bands. In addition, a necessary hand may be designated in advance before photographing.
  • next step 114 it is determined whether or not an instruction to display an image has been made by operating the operation unit, and if an instruction to display an image is given, it is designated. An image is displayed using composite image data corresponding to the selected band.
  • the desired spectral characteristic g ( ⁇ ) is the same as the transmission characteristic of the filter.
  • the present invention is not limited to this, and it is also possible to use a general spectral characteristic as g (X).
  • the transmission characteristic of the i-th filter is assumed to be f, and in addition to that of the reflection characteristic, N in Eqs. (8), (9), and (10) is again set to 2N.
  • the rank of the matrix (F) in Eq. (8) is N + 1 in principle, so the general inverse matrix of (F) is used to find the solution of Eq. (8).
  • the target image I is calculated by the following equation, regardless of the equation (13).
  • I is an image with a spectral pass characteristic of f.
  • the filter characteristics are not limited to those that transmit a single band as shown in Fig. 5, for example, and can be designed to transmit multiple bands, the resulting SZN ratio for each band image is the highest.
  • the transmission band of each filter can be set to correspond to each row of the Hadamard S matrix.
  • the Hadamard S matrix see M. Harwit, N. J. A. SI oane, Hadamard Transform Optics, Academic Press.
  • an example is shown in which the spectral region to be measured is divided into 7 bands.
  • the S matrix of size 7 is given by the following equation (19).
  • Equation 10 The columns of this matrix correspond to each band, and the rows correspond to the pass characteristics (transmission characteristics) of each filter.
  • the filter characteristics are set so that light of the band is transmitted when the element is 1 and light is blocked when the element is 0.
  • the first line is (1, 1, 1, 0, 1, 0, 0). Therefore, the characteristics of the first filter are to transmit bands 1, 2, 3, and 5 and block bands 4, 6, and 7.
  • the second filter transmits bands 1, 2, 4, 7 and blocks bands 2, 4, 5, from the second row (1, 1, 0, 1, 0, 0, 1) of the S matrix.
  • the characteristics are as follows. In the same way, set the transmission characteristics up to the seventh filter. When the filter characteristics are set in this way, the image I of each band is synthesized by the same calculation as the equation (1) shown in the following equation (20) for the measurement using transmitted light.
  • ⁇ and ⁇ 2 are variances of errors included in images I and I, respectively. More
  • R is the matrix V shown in the following equations (25) and (26), respectively.
  • V T a 2 S ⁇ (S- l ) T ( 25 )
  • the S matrix can be obtained by the following procedure. First, let the number of bands be ⁇ , and the Hadamard matrix of size N + 1 ⁇
  • the part of the element is changed to 1 and the part of 1 is changed to 0.
  • the resulting matrix is the S matrix of size ⁇ .
  • the composite image data can be calculated and displayed on the display device by the same processing as the processing of FIG.

Abstract

　本発明の撮影装置は、スペクトル透過特性が各々異なるバンドパスフィルタの各々を通して被写体からの光を受光して被写体を撮影し、第１の画像データを出力する撮影素子18Aと、バンドパスフィルタに対して撮影素子18Aと対称の位置に配置されると共に、バンドパスフィルタの各々から反射された被写体からの光を受光して撮影素子18Aの撮影タイミングに同期して被写体を撮影し、た第2の画像データを出力する撮影素子18Bとを備える。複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する複数の係数とを用いて、複数の第2の画像データを所望のバンドに対応する画像データに変換し、所望のバンドに対応する第1の画像データと複数の第2の画像データから変換された画像データとを合成した合成画像データを出力する。

Description

撮影装置及び撮影方法
技術分野
[0001] 本発明は、撮影装置及び撮像方法にかかり、特に、狭いバンドパス特性を持つ複 数の光学フィルタを備えたマルチスペクトルカメラ及びその撮影方法に関する。 背景技術
[0002] マルチスペクトルカメラは、通常のカラーカメラが赤 (R)、緑 (G)、青 ）の 3つの波長 領域の画像を得るのに対し、更に細かい波長領域に分解した複数のバンドの画像を 得るものである（例えば、特許文献 1)。典型的なマルチスペクトルカメラは、 CCD等 の撮像素子の入射側に異なる狭いバンドパス特性を持つ複数の光学フィルタが順次 挿入される構造を持ち、それぞれのフィルタ特性に対応する画像を得るものである。 バンドパスフィルタとしては通常干渉フィルタが用いられて 、る。
特許文献 1 :特開 2002— 185974号公報
発明の開示
発明が解決しょうとする課題
[0003] し力しながら、マルチスペクトルカメラは、通常のカラーカメラより高いスペクトル分解 能を得るためにバンド幅の狭い光学フィルタを使用している。そのため、フィルタを通 過する光量が減少し、必然的に画像が暗くなる、という問題がある。このように画像が 暗くなる結果、露光時間の増加を招き、短時間の計測等の撮影を困難にすることにも なる。
[0004] 本発明は、上記問題を考慮して成されたもので、画像が暗くならな 、ようにした撮影 装置を提供する。
課題を解決するための手段
[0005] 本発明の第一の態様は、撮影装置であって、スペクトル透過特性が各々異なる複 数のバンドパスフィルタと、前記複数のバンドパスフィルタの各々を通して被写体から の光を受光して該被写体を撮影し、受光した光量に応じた第 1の画像データを前記 複数のバンドパスフィルタに対応して出力する第 1の撮影部と、前記複数のバンドパ スフィルタに対して前記第 1の撮影部と対称の位置に配置されると共に、前記複数の バンドパスフィルタの各々力 反射された被写体力 の光を受光して前記第 1の撮影 部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第 2の画像 データを前記複数のバンドパスフィルタに対応して出力する第 2の撮影部と、前記複 数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル透 過特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した 記憶部と、前記複数のバンドパスフィルタの各々に対応して得られた複数の第 2の画 像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第 2の画像 データを前記所望のバンドに対応する画像データに変換する変換部と、所望のバン ドに対応する前記第 1の画像データと前記複数の第 2の画像データから変換された 変換画像データとを合成した合成画像データを出力する出力部と、を含む。
[0006] 本態様によれば、バンドパスフィルタを透過した光により得られる第 1の画像データ と、各バンドパスフィルタ力も反射された光により得られる複数の第 2の画像データ及 び複数の係数から得られる所望のバンドに対応する画像データとが合成される。その ため、明るい画像を得ることができ、画像が暗くなることはない。
[0007] 合成画像データは、前記第 1の画像データの誤差の分散の逆数に比例した値、及 び前記変換画像データの誤差の分散の逆数に比例した値を重みとした前記第 1の 画像データと前記変換画像データとの重み付き平均値により求めることができる。
[0008] また、本発明の第二の態様は、撮影装置であって、複数のバンドを透過するスぺク トル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタ と、前記複数のバンドパスフィルタの各々を通して被写体力 の光を受光して該被写 体を撮影し、受光した光量に応じた第 1の画像データを前記複数のバンドパスフィル タに対応して出力する第 1の撮影部と、前記複数のバンドパスフィルタに対して前記 第 1の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各 々力 反射された被写体からの光を受光して前記第 1の撮影部の撮影タイミングに同 期して該被写体を撮影し、受光した光量に応じた第 2の画像データを前記複数のバ ンドパスフィルタに対応して出力する第 2の撮影部と、前記複数のバンドパスフィルタ の複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスぺ タトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し た記憶部と、前記複数のバンドパスフィルタの各々に対応して得られた複数の第 1の 画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第 1の画 像データを前記所望のバンドに対応する第 1の変換画像データに変換すると共に、 前記複数のバンドパスフィルタの各々に対応して得られた複数の第 2の画像データと 所望のバンドに対応する前記複数の係数とを用いて、前記複数の第 2の画像データ を前記所望のバンドに対応する第 2の変換画像データに変換する変換部と、所望の バンドに対応する前記第 1の変換画像データと前記第 2の変換画像データとを合成 した合成画像データを出力する出力部と、を含む。
[0009] 本態様は、複数のバンドを透過するスペクトル透過特性を備えた複数のバンドパス フィルタを用いる場合の撮影装置に関するものである。本態様においては、複数のバ ンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望 のバンドのスペクトル特性に変換するための複数の係数を用いる。これにより、上記 第一の態様と同様に所望のバンドのスペクトル特性に対応する第 1の変換画像デー タ及び第 2の変換画像データが得られる。これら所望のバンドに対応する第 1の変換 画像データと第 2の変換画像データとを合成することにより、明るい画像を表示できる 合成画像データを得ることができる。
[0010] 本発明は前記第一及び第二の態様に対応する撮影方法としても実現できる。
[0011] 即ち、本発明の第三の態様は、スペクトル透過特性が各々異なる複数のバンドパス フィルタを用いて撮影を行う方法であって、前記複数のバンドパスフィルタの各々を 通して被写体からの光を受光して該被写体に対して第 1の撮影を行い、受光した光 量に応じた第 1の画像データを前記複数のバンドパスフィルタに対応して出力し、前 記第 1の撮影を行つた位置の前記複数のバンドパスフィルタに対する対称の位置に お!、て、前記複数のバンドパスフィルタの各々力も反射された被写体力もの光を受光 し、前記第 1の撮影の撮影タイミングに同期して該被写体に対して第 2の撮影を行い 、受光した光量に応じた第 2の画像データを前記複数のバンドパスフィルタに対応し て出力し、前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバン ドのスペクトル特性に変換するための複数の係数を、複数のバンドにつ 、てバンド毎 に記憶し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第 2の画 像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第 2の画像 データを前記所望のバンドに対応する画像データに変換し、所望のバンドに対応す る前記第 1の画像データと前記複数の第 2の画像データ力 変換された変換画像デ 一タとを合成した合成画像データを出力することを含む。
[0012] 本発明の第四の態様は、複数のバンドを透過するスペクトル透過特性を備え、該ス ベクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法で あって、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該 被写体に対して第 1の撮影を行い、受光した光量に応じた第 1の画像データを前記 複数のバンドパスフィルタに対応して出力し、前記第 1の撮影を行つた位置の前記複 数のバンドパスフィルタに対する対称の位置にお 、て、前記複数のバンドパスフィル タの各々力 反射された被写体力 の光を受光して前記第 1の撮影の撮影タイミング に同期して該被写体に対して第 2の撮影を行い、受光した光量に応じた第 2の画像 データを前記複数のバンドパスフィルタに対応して出力し、前記複数のバンドパスフ ィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドの スペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記 憶し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第 1の画像デ ータと所望のバンドに対応する複数の係数とを用いて、前記複数の第 1の画像デー タを前記所望のバンドに対応する第 1の変換画像データに変換し、前記複数のバン ドパスフィルタの各々に対応して得られた複数の第 2の画像データと所望のバンドに 対応する前記複数の係数とを用いて、前記複数の第 2の画像データを前記所望のバ ンドに対応する第 2の変換画像データに変換し、所望のバンドに対応する前記第 1の 変換画像データと前記第 2の変換画像データとを合成した合成画像データを出力す ることを含む。
発明の効果
[0013] 以上説明したように本発明によれば、バンドパスフィルタを透過した光により得られ る画像データと、各バンドパスフィルタ力も反射された光により得られる画像データ及 び複数の係数から得られる所望のバンドに対応する画像データとが合成される。その ため、明るい画像得ることができ、画像が暗くなることはない。
図面の簡単な説明
[0014] [図 1]本発明の実施の形態を示す概略図である。
[図 2]本発明の実施の形態のフィルタ部分を示す概略拡大図である。
[図 3]スペクトル透過特性の例を示す特性図である。
[図 4]図 3のスペクトル透過特性に対応するスペクトル反射特性を示す特性図である。
[図 5]本実施の形態のフィルタの透過特性の例を示す特性図である。
[図 6]図 5のスペクトル透過特性に対応するスペクトル反射特性を示す特性図である。
[図 7]本実施の形態の係数を用いて等価的に実現されるスペクトル透過特性を示す 特性図である。
[図 8]本実施の形態の制御回路による処理ルーチンを示す流れ図である。
発明を実施するための最良の形態
[0015] 以下、図面を参照して本発明の実施の形態を詳細に説明する。
[0016] 図 1に示すように、本実施の形態のマルチスペクトルカメラは、駆動モータ 10によつ て回転されるディスクで構成されたフィルタホルダ 12の円周に沿って設けられた複数 のバンドパスフィルタ（以下、単にフィルタという） 14、 14、 · · · 14を備えている。こ
1 2 Ν
のフィルタは、例えば、 12枚設けることが可能である。複数のフィルタ 14、 14、 · · · 1
1 2
4の各々は、ガラス、石英、またはシリコン等の光透過性の基板に、多層誘電体薄膜
Ν
を蒸着して、各々異なるバンド幅の光を透過するように構成されている。 1つのフィル タは、例えば、図 3に示すスペクトル透過特性とすることができる。図 3に示すスぺタト ル透過特性を持ったフィルタのスペクトル反射特性は、図 4に示すようになる。従って 、スペクトル透過特性及びスペクトル反射特性は、フィルタ毎に異なっている。
[0017] フィルタホルダ 12に設けられたフィルタの被写体側には、図 2に示すように、ズーム レンズ等の撮影レンズで構成された光学系 16が、光学系 16の光軸を通る光線カ^ィ ルタ面に対して入射角 Θでフィルタの中心を通過するように配置されている。
[0018] また、フィルタホルダ 12に設けられたフィルタの光透過側には、撮像素子 18Aが配 置されている。撮像素子 18Aは CCDで構成され、フィルタ 14、 14、 · · · 14の各々
1 2 Ν を透過した被写体からの光を受光して被写体を撮影し、受光した光量に応じた第 1の 画像データをフィルタに対応させて出力する。 CCDには、光学系 16の結像位置に 受光部が位置するように多数の光電変換素子が 2次元状に配列されて 、る。光学系 16及び撮像素子 18Aの光軸は、一直線状に位置している。
[0019] フィルタ 14に対して撮像素子 18Aと対称の位置には、 CCDで構成された撮像素
1
子 18Bが配置されている。撮像素子 18Bは、フィルタ 14、 14、 · ' · 14の各々から
1 2 Ν
反射された被写体力ゝらの光を受光して撮像素子 18Aの撮影タイミングに同期して被 写体を撮影し、受光した光量に応じた第 2の画像データをフィルタに対応させて出力 する。
[0020] なお、撮像素子 18A, 18Bとして CCDに代えて CMOSを使用してもよい。
[0021] 撮像素子 18Aは、アナログ信号をデジタル信号に変換するアナログ Zデジタル変 翻 (AZD変翻） 20Aに接続され、撮像素子 18Bは、 AZD変翻 20Bに接続さ れている。 AZD変翻 20A, 20Bの各々は、データ格納部 22に接続されている。 データ格納部 22は撮像素子 18A, 18Bで撮影されてデジタル信号に変換された第 1の画像データ及び第 2の画像データをフィルタ毎に一時的に格納する。
[0022] データ格納部 22は、係数記憶部 26が接続された演算部 24に接続されて 、る。係 数記憶部 26には、以下で説明する複数の係数 aからなる係数の組が所望のバンド 毎、すなわちフィルタのバンド毎に記憶されている。演算部 24は、演算部で演算した 合成画像データを一時的に記憶するメモリ 28を介して LCD等で構成された表示装 置 30に接続されている。
[0023] また、マルチスペクトルカメラには、駆動モータ 10等を制御するマイクロコンピュータ で構成された制御回路 32が設けられている。制御回路 32は、駆動モータ 10、撮像 素子 18A, 18B、 AZD変^^ 20A, 20B、データ格納部 22、演算部 24、メモリ 28 、及び表示装置 30の各々に接続されている。制御回路 32は、以下で説明する制御 ルーチンに従って駆動モータ 10及び撮像素子 18A, 18B等を制御する。
[0024] 本実施の形態のマルチスペクトルカメラでは、光学系 16を通った光は斜め方向から フィルタに入射する。撮像素子 18 Aでその透過光が画像ィ匕されて第 1の画像データ が出力されると共に、フィルタに対し対称の位置に配置された撮像素子 18Bで反射 光が画像化されて第 2の画像データが出力される。 [0025] フィルタのフォルダ 12を回転させることによって、順次異なったフィルタが図 2に示し たように光学系 16と撮像素子 18 Aとの間に移動する。光学系 16と撮像素子 18 Aの 間に位置するフィルタの透過光による第 1の画像データと反射光による第 2の画像デ ータとがフィルタに対応して得られる。
[0026] フォルダを 1回転することにより得られた反射光による複数の第 2の画像データは、 演算により透過光による所望のバンドの第 1の画像データと等価な画像データに変 換される。その変換された画像データと所望のバンドの透過光による第 1の画像デー タとの平均を求めることで、所望の画像を得ることができる。
[0027] なお、図 2に示したように光線をフィルタに対して入射角 Θで入射させた場合、スぺ タトル特性は、入射角 0でフィルタの正面カゝら入射した場合の透過'反射スペクトル特 性とは異なった特性となる。これは入射角 Θで入射させた場合の特性が適当になる ようにフィルタを設計することで解決することができる。また、入射角が大きい場合に は特性が偏光に依存するという問題も生じる。この問題を解決するためには、これが 問題にならない程度の入射角 (例えば、 20° 以内）とするか、あるいは多少光量は減 少する力 偏光フィルタによって特定の偏光のみを選択するようにする。
[0028] バンドパスフィルタとして用いられる干渉フィルタの特徴として、通過しない波長の 光は反射するという特性がある。例えば、図 3に示すような通過特性を持っているフィ ルタの場合、反射光のスペクトルは図 4に示すように、 目的のスペクトルバンドの光だ けが欠落した特性を持っている。従って、マルチスペクトルカメラで使用する複数のフ ィルタの反射光を観測した場合、その複数の反射光の画像力 演算によって透過光 と同じバンド特性を持った画像を合成することできる。本実施の形態では、透過光で 撮影した画像に加え、このように複数の反射光から構成した画像を利用することで、 より SZN比の良い明るい画像を得るようにしている。
[0029] 複数のバンドパスフィルタとして、図 5に示す 12個のバンドパス特性を持った 12枚 のフィルタを利用する場合を例として以下説明する。これらのフィルタのスペクトル反 射特性は図 6に示すようになる。これらの反射特性を、波長をえとして、 f ( λ ) (i= l、 • · ·、N)で表す。本実施の形態の場合、 Nは 12である。所望のバンドのスペクトル 反射特性を持った一つの画像 Iは、各反射光で撮影した複数の画像 Iの線形結合と
R i して、次式のように計算される,
[0030] [数 1]
N
ここで aは線形結合の係数である。
[0031] 次に、所望のバンドのスペクトル反射特性による画像 Iを得るための係数 aの決定
R i の仕方について説明する。
[0032] 所望の画像のスペクトル特性を g ( λ )とする。例えば、図 3に示した透過によるスぺ タトル特性の画像を得た ヽ場合には、このスペクトル特性を g ( λ )とする。
[0033] 各フィルタの反射特性 ί( λ )を関数空間の基底と考えたときに、これらが張る線型 空間の中に所望の特性 g ( λ )が存在すれば、これは以下の（2)式に示すように表現 可能であり、この aがそのまま（1)式の係数 aとなる。
[0034] [数 2]
N
.9(λ) - > . ^ (λ) (2)
しかし、一般にはそうではないので、二乗誤差最小の意味で最適な係数を決定す る。これは次式の量 Dを最小化することにより達成される。
[0035] [数 3]
Figure imgf000010_0001
上記の量 Dを k番目のバントに対する係数 aで微分すると次式が得られる。
k
[0036] [数 4] = 1 - (^ ） - ' ) ) dx
ゾ <^ ノ
Figure imgf000011_0001
N
ただし、上記（7)式では関数の内積を表す記号として（ · , · )を使用した。各 a \Z k 対する微分を 0とおき、それらをまとめて行列で表すと次の（8)式が得られる。
[数 5]
Figure imgf000011_0002
ただし
， = (/" /,) = I
Figure imgf000011_0003
以下に示すように（8)式を解けば係数を決定することができる。
[0038] (8)式を解くためには、（9)式及び（10)式に示した各スペクトル特性の内積の値が 必要である。これは実際の計算ではスぺ外ル特性を離散化し、総和として計算する 。離散化の間隔を Δ λとすれば、（9)式及び (10)式は次式で計算される。ただし、 λ は総和計算を始める波長、 ηは離散化した各波長の番号である。
0
[0039] [数 6]
》 /i(A0 + riAA)/ {A0 + ηΔΛ) (11) 5 (λ0 + "厶 Α).9(λ0 + ηΔλ) (12) 図 5に示した 12個のスペクトル特性の画像の各々を得たい場合、それぞれの特性 を（10)式の g( )として特性毎に係数 a;を計算する。このようにして計算した係数 &iの 値を表 1に示し、その係数によって等価的に実現されるスペクトル特性を図 7に示す。 表 1のバンド番号 1〜12は 12個のフィルタに対応している。この係数 aは、バンド番 号で表された所望のバンドの各々に応じて予め係数記憶部 26に記憶される。
[表 1]
Figure imgf000012_0001
Figure imgf000012_0002
以下本実施の形態の制御回路による処理ルーチンについて図 8を参照して説明す る。図示しないメインスィッチがオンされると、マルチスペクトルカメラが起動される。ス テツプ 100において、最初のフィルタ 14を通して撮像素子 18A及び撮像素子 18B
1
によって被写体が同時に撮影される。撮影によって得られた多数の画素値力 なる 第 1の画像データ及び第 2の画像データは、 AZD変換器 20A及び AZD変換器 20 Bで各々デジタル信号に変換された後、フィルタ 14を示すバンド番号に対応させて
1
データ格納部 22に格納される。
[0041] 次のステップ 102では、駆動モータ 10を所定角度回転させて次のフィルタ 14を光
2 軸上に位置させる。ステップ 104において上記と同様にフィルタ 14を通して撮像素
2
子 18A, 18Bによって被写体が同時に撮影される。撮像素子 18A, 18Bによる撮影 は、同期していればよぐ必ずしも同時である必要はない。
[0042] 次のステップ 106では、フィルタ 14〜フィルタ 14の全てを使用して撮影が行なわ
1 N
れたか否かを判断する。フィルタの全てを使用した撮影が終了して 、な 、場合には、 ステップ 102に戻って駆動モータ 10を所定角度回転させることにより次のフィルタを 光軸上に位置させて順位撮影を継続し、全てのフィルタを使用した撮影を行う。
[0043] 上記のようにして撮影されたフィルタの各々に対応する第 1画像データ及び第 2画 像データの各々は、 AZD変換器 20A, 20Bによりデジタルデータに変換されてデ ータ格納部 22にフィルタ毎の画像データとして格納される。
[0044] 次のステップ 108では、図示しない操作部をユーザが操作することにより所望のバ ンドが指定されたカゝ否かを判断する。バンドが指定されたと判断された場合には、ス テツプ 110において係数記憶部 26から指定されたバンドのバンド番号に対応する N 個の係数 aを読み込む。ステップ 112にお 、て読み込んだ係数 aを演算部 24に入力 して演算の指示を行なう。
[0045] 演算部 24では、データ格納部に格納されている複数 (本実施の形態では 12)の第 2の画像データと読み込んで入力された複数の係数 aとを（1)式に従って積和演算 することにより指定されたバンドに対応する画像データを生成して記憶する。以上の ように決定された係数 aと（1)式とを用いて反射光による画像データ I が計算される。
i R
[0046] 演算部 24では、以下の（13)式に示すように、この反射光による画像データ Iと、撮
R
像素子 18Aにより撮像されると共に指定されたバンドに対応する透過光による画像 データ Iとの重み付き平均を計算する。その結果、反射光による画像と透過光による τ
画像とを合成することにより指定されたバンドに対応する SZN比の良い画像データ I を得る。得られた画像データは、メモリ 28に記憶される。
[0047] I = α ΐ + β ΐ (13)
T R
ここで、 α及び j8は、それぞれの画像データに対する重みである。この重みは、そ れぞれの画像データ I , Iに見積もられる誤差の分散の逆数に比例した値とするのが
R T
適当である。撮像素子の雑音の分散を σ 2とすると、画像データ Iの誤差の分散は σ 2
Τ
である力 画像データ Iの誤差の分散 σ 2は、（1)式より以下の（14)式のようになる。
R R
[0048] [数 7]
4 = ひ2∑ ? (14)
ί=1 したがって、（13)式の重みは次式で計算される。
[0049] [数 8] = -^ = (15) σ2 + σΐ 1 + c
β = + σ¾ 1 + c
ただし
C= (17) 上記表 1に示した a対して、 a及び j8は下記表 2に示す値になる,
[0050] [表 2]
Figure imgf000015_0001
パンドの指定の仕方は任意である。赤色波長域のバンド、緑色波長域のバンド、及 び青色波長域のバンドの 3つのパンドを指定したり、 4つ以上のバンドを指定したりす ることができる。また、撮影前に予め必要なハンドを指定しておいてもよい。
次のステップ 114では、操作部を操作することによりユーザ力も画像を表示する指 示が行なわれたか否かを判断し、画像を表示する指示なわれた場合には、指定され たバンドに対応する合成画像データを用いて画像を表示する。
[0052] 以上では、所望のスペクトル特性 g( λ )としてフィルタの透過特性と同一のものを用 いた例について説明した。しかし、本発明はこれに限るものではなぐ g( X )として一 般のスペクトル特性を用いることも可能である。この場合には i番目のフィルタの透過 特性を f として反射特性のそれに加え、（8)、（9)、（10)式の Nを改めて 2Nと置いて係
N+i
数 aを計算する。ただし、この場合、（8)式の行列 (F )のランクが原理的には N + 1に なるので、 （8)式の解を求めるのに (F )の一般逆行列を用いる。 目的の画像 Iは（13 )式によらず、次式で計算する。
[0053] [数 9]
Figure imgf000016_0001
ただし I はスペクトル通過特性が f の画像である。
N+i N+i
[0054] 次に、最も SZN比の良いフィルタ特性の実現について説明する。フィルタの特性 を、例えば図 5で示したような単一のバンドを透過するものに限定せず、複数のバンド を透過するように設計できる場合、結果として得られる各バンド画像の SZN比が最も 良くなるように、各フィルタの透過バンドをアダマールの S行列の各行に対応するよう に設定することができる。アダマールの S行列については、 M. Harwit, N. J. A. SI oane , Hadamard Transform Optics, Academic Press出 |¾R(1979)に羊し ヽ 。ここでは計測すべきスペクトル領域を 7バンドに分けた例を示す。大きさ 7の S行列 は以下の（19)式で与えられる。
[0055] [数 10]
Figure imgf000017_0001
この行列の列が各バンドに対応し、行が各フィルタの通過特性 (透過特性）に対応 する。要素が 1の部分ではそのバンドの光を透過させるように、要素が 0の部分では 光を遮断するようにフィルタの特性を設定する。例えば、第 1行目は (1, 1, 1, 0, 1, 0, 0)である。そのため、 1番目のフィルタの特性はバンド 1, 2, 3, 5を透過させ、バ ンド 4, 6, 7を遮断させるようにする。 2番目のフィルタは S行列の第 2行目（1, 1, 0, 1, 0, 0, 1)より、バンド 1, 2, 4, 7を透過させ、バンド 2, 4, 5を遮断するような特性と する。同様にして 7番目のフィルタまで、その透過特性を設定する。このようにフィルタ の特性を設定した場合、透過光による計測に関しても、次の（20)式に示す（1)式と 同様な演算によって各バンドの画像 Iを合成する。
T
[0056] [数 11]
Ir - Y^ a , (20)
7：= 1 ここでの Iは i番目のフィルタの透過光による画像、 Nはフィルタの個数で、この場 合は 7である。係数 a は S行列の逆行列の各行に対応する。上記の S行列の場合の 係数を表 3に示す。
[0057] [表 3] バンド番号 ひ 1 (12 a% «4 ひ6 «τ
1 0.25 0.25 0.25 -0.25 0.25 -0.25 -0.25
2 0.25 0.25 -0.25 0.25 -0.25 -0.25 0.25
■ 0.25 -0.25 0.25 -0.25 -0.25 0.25 0.25
4 -0.25 0.25 -0.25 -0.25 0.25 0.25 0.25
5 0.25 -0.25 -0.25 0.25 0.25 0.25 -0.25
6 -0.25 -0.25 0.25 0.25 0.25 -0.25 0.25
7 -0.25 0.25 0.25 0.25 -0.25 0.25 -0.25
一方、反射光による計測から各バンドの画像 Iを合成するのも次の（21)式に示す
R
ように（1)式と同じ演算による。
[0058] [数 12]
Ι - Σ α^ (21) i= l ここでの Iは i番目のフィルタの反射光による画像である。各フィルタによる反射光は 、（19)式の行列 Sの 0と 1とを反転したバンド選択特性を持つことになる。それを明示 すれば以下の（22)式で表される。
[0059] [数 13]
Figure imgf000018_0001
(21)式の係数 aは行列 Sの逆行列で与えられる。その具体的な数値を以下の表 4
i R
に示す。 [表 4]
Figure imgf000019_0002
以上のようにして計算された透過光によるバンド画像 Iと、反射光によるバンド画像 I τ
は、（13)式により重み付きで平均され、結果のバンド画像となる。このとき、重み α 及び iSは各画像に含まれる雑音、すなわち誤差の分散に逆比例するように次の（23 )、 （24)式で計算する。
[数 14]
ひ
Figure imgf000019_0001
ただし、 σ 及び σ 2は、それぞれ画像 I及び Iに含まれる誤差の分散である。さら
T R
に σ
T及び σ 2
Rは、それぞれ次の（25)、（26)式に示す行列 V
T及び V
Rの対角成分の 値として与えられる。
[数 15]
VT = a2S^ (S- l )T (25)
VR = び2 W )T (26) ここで σ 2は撮像装置の雑音の分散である。 (19)式及び（22)式の行列 S及び Sに ついて計算すると、 σ 2及び σ 2は、次の（27)式及び（28)式に示すようになる。
T R
[0063] [数 16]
Figure imgf000020_0001
したがって、この場合、（13)式の重みは次のようになる。
[0064] α = 0. 5039 (29)
β = 0. 4961 (30)
となる。
[0065] 以上ではバンド数が 7の場合を示した力 それ以外のバンド数の場合、 S行列は次 の手順で求めればよい。まず、バンド数を Νとし、サイズ N+ 1のアダマール行列 Η
N+1 を求める。次に行列 Η から第 1行及び第 1列を除!、たサイズ Ν X Νの行列を作り、
N+1
その要素が 1の部分を 1に、 1の部分を 0に変える。この結果得られた行列がサイズ Νの S行列である。
[0066] この最も SZN比の良いフィルタ特性を実現する場合についても、図 8の処理と同 様の処理によって合成画像データを演算、表示装置に表示することができる。
符号の説明
[0067] 10 駆動モータ
18 CCD
24 演算部

Claims

請求の範囲
[1] スペクトル透過特性が各々異なる複数のバンドパスフィルタと、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体 を撮影し、受光した光量に応じた第 1の画像データを前記複数のバンドパスフィルタ に対応して出力する第 1の撮影部と、
前記複数のバンドパスフィルタに対して前記第 1の撮影部と対称の位置に配置され ると共に、前記複数のバンドパスフィルタの各々力 反射された被写体力 の光を受 光して前記第 1の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光 量に応じた第 2の画像データを前記複数のバンドパスフィルタに対応して出力する第 2の撮影部と、
前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスぺ タトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し た記憶部と、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第 2の画像データ と所望のバンドに対応する複数の係数とを用いて、前記複数の第 2の画像データを 前記所望のバンドに対応する画像データに変換する変換部と、
所望のバンドに対応する前記第 1の画像データと前記複数の第 2の画像データか ら変換された変換画像データとを合成した合成画像データを出力する出力部と、 を含む撮影装置。
[2] 前記第 1の画像データの誤差の分散の逆数に比例した値、及び前記変換画像デ ータの誤差の分散の逆数に比例した値を重みとした前記第 1の画像データと前記変 換画像データとの重み付き平均値を、前記合成画像データとする請求項 1記載の撮 影装置。
[3] 複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々 異なる複数のバンドパスフィルタと、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体 を撮影し、受光した光量に応じた第 1の画像データを前記複数のバンドパスフィルタ に対応して出力する第 1の撮影部と、 前記複数のバンドパスフィルタに対して前記第 1の撮影部と対称の位置に配置され ると共に、前記複数のバンドパスフィルタの各々力 反射された被写体力 の光を受 光して前記第 1の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光 量に応じた第 2の画像データを前記複数のバンドパスフィルタに対応して出力する第 2の撮影部と、
前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル 透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数の バンドについてバンド毎に記憶した記憶部と、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第 1の画像データ と所望のバンドに対応する複数の係数とを用いて、前記複数の第 1の画像データを 前記所望のバンドに対応する第 1の変換画像データに変換すると共に、前記複数の バンドパスフィルタの各々に対応して得られた複数の第 2の画像データと所望のバン ドに対応する前記複数の係数とを用いて、前記複数の第 2の画像データを前記所望 のバンドに対応する第 2の変換画像データに変換する変換部と、
所望のバンドに対応する前記第 1の変換画像データと前記第 2の変換画像データ とを合成した合成画像データを出力する出力部と、
を含む撮影装置。
[4] 前記第 1の変換画像データの誤差の分散の逆数に比例した値、及び前記第 2の変 換画像データの誤差の分散の逆数に比例した値を重みとした前記第 1の変換画像 データと前記第 2の変換画像データとの重み付き平均値を、前記合成画像データと する請求項 3記載の撮影装置。
[5] 前記係数は、スペクトル反射特性を所望のバンドのスペクトル透過特性に変換する ための係数である請求項 1に記載の撮影装置。
[6] 前記係数は、スペクトル反射特性を所望のバンドのスペクトル透過特性に変換する ための係数である請求項 3に記載の撮影装置。
[7] スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方 法であって、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体 に対して第 1の撮影を行い、
受光した光量に応じた第 1の画像データを前記複数のバンドパスフィルタに対応し て出力し、
前記第 1の撮影を行つた位置の前記複数のバンドパスフィルタに対する対称の位 置において、前記複数のバンドパスフィルタの各々力 反射された被写体力 の光を 受光し、前記第 1の撮影の撮影タイミングに同期して該被写体に対して第 2の撮影を 行い、
受光した光量に応じた第 2の画像データを前記複数のバンドパスフィルタに対応し て出力し、
前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスぺ タトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し 前記複数のバンドパスフィルタの各々に対応して得られた複数の第 2の画像データ と所望のバンドに対応する複数の係数とを用いて、前記複数の第 2の画像データを 前記所望のバンドに対応する画像データに変換し、
所望のバンドに対応する前記第 1の画像データと前記複数の第 2の画像データか ら変換された変換画像データとを合成した合成画像データを出力する
ことを含む撮影方法。
複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々 異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体 に対して第 1の撮影を行い、
受光した光量に応じた第 1の画像データを前記複数のバンドパスフィルタに対応し て出力し、
前記第 1の撮影を行つた位置の前記複数のバンドパスフィルタに対する対称の位 置において、前記複数のバンドパスフィルタの各々力 反射された被写体力 の光を 受光して前記第 1の撮影の撮影タイミングに同期して該被写体に対して第 2の撮影を 行い、 受光した光量に応じた第 2の画像データを前記複数のバンドパスフィルタに対応し て出力し、
前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル 透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数の バンドについてバンド毎に記憶し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第 1の画像データ と所望のバンドに対応する複数の係数とを用いて、前記複数の第 1の画像データを 前記所望のバンドに対応する第 1の変換画像データに変換し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第 2の画像データ と所望のバンドに対応する前記複数の係数とを用いて、前記複数の第 2の画像デー タを前記所望のバンドに対応する第 2の変換画像データに変換し、
所望のバンドに対応する前記第 1の変換画像データと前記第 2の変換画像データ とを合成した合成画像データを出力する
ことを含む撮影方法。
PCT/JP2006/324357 2006-02-08 2006-12-06 撮影装置及び撮影方法 WO2007091368A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007557751A JP4660777B2 (ja) 2006-02-08 2006-12-06 撮影装置及び撮影方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006031187 2006-02-08
JP2006-031187 2006-02-08

Publications (1)

Publication Number Publication Date
WO2007091368A1 true WO2007091368A1 (ja) 2007-08-16

Family

ID=38344975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/324357 WO2007091368A1 (ja) 2006-02-08 2006-12-06 撮影装置及び撮影方法

Country Status (2)

Country Link
JP (1) JP4660777B2 (ja)
WO (1) WO2007091368A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791640A (zh) * 2015-01-08 2016-07-20 松下知识产权经营株式会社 摄像装置
JP2017015650A (ja) * 2015-07-06 2017-01-19 セイコーエプソン株式会社 光学モジュール及び撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258154A (ja) * 1999-03-12 2000-09-22 Nec Corp 撮像装置
JP2003309856A (ja) * 2002-04-17 2003-10-31 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258154A (ja) * 1999-03-12 2000-09-22 Nec Corp 撮像装置
JP2003309856A (ja) * 2002-04-17 2003-10-31 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791640A (zh) * 2015-01-08 2016-07-20 松下知识产权经营株式会社 摄像装置
CN105791640B (zh) * 2015-01-08 2020-07-10 松下知识产权经营株式会社 摄像装置
JP2017015650A (ja) * 2015-07-06 2017-01-19 セイコーエプソン株式会社 光学モジュール及び撮像装置

Also Published As

Publication number Publication date
JP4660777B2 (ja) 2011-03-30
JPWO2007091368A1 (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
CN102783135B (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
TWI435167B (zh) 影像感測器中改良的光感性
US7233352B2 (en) Method and apparatus for color non-uniformity correction in a digital camera
JP6997461B2 (ja) 高ダイナミックレンジビデオのためのデバイスおよび方法
KR102224697B1 (ko) 조도 측정을 위한 다중 카메라 이미징
EP2404209A1 (en) Temporally aligned exposure bracketing for high dynamic range imaging
JP2005260480A (ja) マルチスペクトル画像撮影装置及びアダプタレンズ
WO2017199557A1 (ja) 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
JPH10336686A (ja) 撮像装置
Verhoeven Basics of photography for cultural heritage imaging
JP3546854B2 (ja) カメラボディおよび露出制御方法
JP2010258669A (ja) 全方位撮像装置
JP4729712B2 (ja) 撮影装置
JP3589962B2 (ja) アンチエイリアジング機能を備えたカラー画像撮像システム
WO2007091368A1 (ja) 撮影装置及び撮影方法
US5208674A (en) Micro-dispersion electronic camera
Lyon Prism-based color separation for professional digital photography
JP2007318648A (ja) パノラマ写真撮影装置
JP3546855B2 (ja) デジタルカメラ
JP7083912B2 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
JP2018182470A (ja) 波長選択偏光分離方式を採用した立体撮像装置
JP4105556B2 (ja) デジタルカメラと撮像画像データ記録方法
JP2632645B2 (ja) 露出計

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007557751

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06834112

Country of ref document: EP

Kind code of ref document: A1