WO2016110952A1 - 分光画像取得装置 - Google Patents

分光画像取得装置 Download PDF

Info

Publication number
WO2016110952A1
WO2016110952A1 PCT/JP2015/050242 JP2015050242W WO2016110952A1 WO 2016110952 A1 WO2016110952 A1 WO 2016110952A1 JP 2015050242 W JP2015050242 W JP 2015050242W WO 2016110952 A1 WO2016110952 A1 WO 2016110952A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
line
line spectral
unit
frame
Prior art date
Application number
PCT/JP2015/050242
Other languages
English (en)
French (fr)
Inventor
原 堀江
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580071719.7A priority Critical patent/CN107110707B/zh
Priority to JP2016568203A priority patent/JP6377768B2/ja
Priority to PCT/JP2015/050242 priority patent/WO2016110952A1/ja
Publication of WO2016110952A1 publication Critical patent/WO2016110952A1/ja
Priority to US15/642,262 priority patent/US20170299436A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0243—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows having a through-hole enabling the optical element to fulfil an additional optical function, e.g. a mirror or grating having a throughhole for a light collecting or light injecting optical fiber
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/04—Slit arrangements slit adjustment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a spectral image acquisition apparatus.
  • image processing for a scanner that outputs R, G, and B signals, which are the sources of the luminance signal having the highest correlation between each generated luminance signal and the signal of the monochrome line sensor, as a signal corrected for misalignment.
  • An apparatus is known (for example, refer to Patent Document 1).
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a spectral image acquisition apparatus capable of generating a spectral image in which positional deviation is suppressed in accordance with the movement of a subject.
  • One embodiment of the present invention includes a line spectral image acquisition unit that acquires a plurality of line spectral images by splitting the scanned line-shaped light for each wavelength at each position in the length direction, and the line spectral image acquisition.
  • a frame image acquisition unit that acquires a two-dimensional frame image including a shooting range by the unit and includes fewer color signals than the line spectral image, each line spectral image acquired by the line spectral image acquisition unit, and Based on the wavelength characteristics of the frame image acquisition unit, a comparison image estimation unit that estimates a comparison image for each line, each comparison image estimated by the comparison image estimation unit, and a corresponding position in the frame image
  • a line spectral image position shift detection unit that detects a position shift amount, and a position shift amount detected by the line spectral image position shift detection unit, To the reaction position, a spectral image acquisition apparatus and a positional deviation correcting unit fitting each said line spectral image was used to estimate each said comparative image.
  • the line spectral image acquisition unit sequentially acquires a plurality of line spectral images in the scanning direction, while the frame image acquisition unit acquires a frame image. Since each line spectral image is sequentially acquired by scanning, and the acquisition time is different, a positional deviation occurs between them. On the other hand, since the frame image has fewer color signals than the line spectral image, the same shooting range as the shooting range of all line spectral images can be shot in a shorter time than the line spectral image, and the shift in the image is suppressed. be able to.
  • a comparative image in a line shape that would be acquired if it was a frame image acquisition unit was estimated by the comparison image acquisition unit, and each of the estimated comparison images was The amount of positional deviation from the corresponding position in the frame image is detected by the line spectral image positional deviation detection unit. Then, the position shift correction unit applies the line spectral images used for generating the comparison images to the corresponding positions in the frame image based on the detected position shift amount, thereby correcting the position. It is possible to acquire a spectral image with suppressed deviation.
  • each line spectral image has a positional shift when the subject moves due to a difference in acquisition time, but the positional shift is corrected by referring to the frame image in which the shift is suppressed.
  • a spectral image can be easily acquired.
  • the frame image acquisition unit acquires the frame image serving as a reference and one or more other frame images spaced apart from the reference frame image by the line spectroscopy.
  • An image position shift detection unit detects the amount of position shift by selecting the frame image whose acquisition time is closest to each line spectral image used to estimate each comparison image, and detects the line spectral image position shift.
  • a position shift detection unit between frame images for detecting a shift amount between the frame image selected by the detection unit and the reference frame image; and the position shift correction unit includes the line spectral image position shift.
  • the frame image serving as a reference based on the positional deviation amount detected by the detection unit and the positional deviation amount detected by the inter-frame image positional deviation detection unit Of the corresponding position may be fitted to each said line spectral images used to generate each said comparative image.
  • the positional deviation amount is reduced, and the positional deviation amount can be easily detected. Since the positional deviation detection between the reference frame image and the selected frame image is a comparison between two-dimensional frame images, the positional deviation amount can be detected more easily.
  • the said frame image acquisition part may acquire each said frame image at the time corresponding to the acquisition time of each said line spectral image by the said line image acquisition part.
  • the inter-frame image position shift detection unit may locally detect a position shift between frame images. By doing in this way, even if the subject within the imaging range changes locally with the passage of time, it is possible to accurately detect the positional deviation between the frame images and acquire the spectral image with high accuracy.
  • the frame image acquisition unit acquires the reference frame image and the one or more other frame images with a time interval from the reference frame image.
  • a positional shift amount calculating unit that calculates a positional shift amount of the frame image at the acquisition time of each line spectral image used for estimating each comparative image with respect to the reference frame image;
  • a correction unit that detects a positional shift amount detected by the line spectral image position shift detection unit, and a positional shift amount calculated by the positional shift amount calculation unit; Based on, a corresponding position in the frame image serving as a reference, may be fitted to each said line spectral image was used to estimate each said comparative image. By doing so, it is possible to reduce the number of acquired frame images for calculating the positional deviation amount compared with the comparative image.
  • FIG. 1 is an overall configuration diagram showing a spectral image acquisition apparatus according to a first embodiment of the present invention. It is an enlarged view which shows the line spectral image acquisition part with which the image acquisition part of the spectral image acquisition apparatus of FIG. 1 is equipped. It is a figure explaining the line spectral image acquired by the line spectral image acquisition part of FIG. It is a block diagram which shows the image process part with which the spectral image acquisition apparatus of FIG. 1 is equipped. It is a figure explaining operation
  • FIG. 5 is a block diagram illustrating a positional deviation correction unit provided in the image processing unit of FIG. 4.
  • the spectral image acquisition device 1 includes an image acquisition unit 2 and an image processing unit 3.
  • the image acquisition unit 2 includes an imaging lens 4 that collects light from the subject, a branching unit 5 that branches the light from the subject collected by the imaging lens 4 into two optical paths L1 and L2, and the branching unit.
  • Reference image acquisition unit (frame image acquisition unit) 6 that is arranged in one optical path L1 branched by 5 and captures a two-dimensional image of the subject to acquire a reference image (frame image), and the other optical path L2
  • a line spectral image acquisition unit 7 that acquires a line spectral image of the subject.
  • the branching unit 5 is, for example, a half mirror.
  • the reference image acquisition unit 6 includes a monochrome area sensor such as a CCD or CMOS image sensor.
  • the line spectral image acquisition unit 7 is provided on the other optical path L ⁇ b> 2 with slits 8 arranged over a plurality of rows, such that the slits 8 can be opened and closed for each row, and opened.
  • a plurality of shutters 9 that allow light from the subject to pass through and block light from the subject when closed, and disposed on the opposite side of the subject across the shutter 9, and the incident light differs for each wavelength
  • a diffraction grating 10 that emits light in the diffraction direction and an image sensor 11 that detects light diffracted by the diffraction grating 10 are provided.
  • the line spectral image acquisition unit 7 closes all the shutters 9 and opens the shutter 9 that opens and closes any one of the slits 8 to pass the line-shaped light out of the light from the subject.
  • the shutter 9 to be opened is alternately and sequentially switched in the direction in which the slits 8 are arranged, that is, in the direction orthogonal to the length direction (line direction) X of the slits 8. As a result, the slits 8 that pass the line-shaped light incident on the diffraction grating 10 are scanned in the arrangement direction.
  • the line spectroscopic image acquisition unit 7 performs the scanning by the slit 8 as described above, the paragraph [0056] of JP 2012-58037 A, and the line-shaped mirror disclosed in FIGS. 1 to 3.
  • the scanning may be performed by a light reflector such as an optical mechanical scanner (OMS) or a push bloom scanner (PBS).
  • OMS optical mechanical scanner
  • PBS push bloom scanner
  • the diffraction grating 10 is arranged over the entire length in the line direction X, and light that has passed through any one of the slits 8 is incident from the same direction (a direction substantially orthogonal to the incident surface of the diffraction grating 10). .
  • the line-shaped light incident on the diffraction grating 10 is diffracted by the diffraction grating 10 in the direction according to the wavelength, and is incident on the image sensor 11 arranged so as to cover the diffraction range.
  • the image sensor 11 has a plurality of pixels lined up in a line direction X and a direction orthogonal to the line direction X.
  • the number of pixels arranged in the line direction X determines the spatial resolution of the line spectral image.
  • the number of pixels arranged in the direction orthogonal to the line direction X determines the wavelength resolution of the line spectral image.
  • the line spectral image acquired for each line by the image sensor 11 is a two-dimensional image showing the luminance array in the line direction X in one direction and the luminance array in the wavelength direction in the other direction, as shown in FIG. It has become.
  • a plurality of line spectral images shown in FIG. 3 are sequentially acquired by photographing while switching the position where the shutter 9 is opened.
  • the shooting range of the area sensor of the reference image acquisition unit 6 is set so as to include the shooting range shot by scanning the slit 8 of the line spectral image acquisition unit 7.
  • the image processing unit 3 receives the reference image acquired by the image acquisition unit 2 and a plurality of line spectral images, and outputs a spectral image in which the positional deviation is corrected.
  • the image processing unit 3 includes an estimated value calculation unit 13 and a comparative image estimation unit 14.
  • the estimated value calculation unit 13 has a wavelength characteristic R ( ⁇ ) (spectral reflectance) at each position x j in the length direction X of the slit 8 of each input line spectral image, and multiplying the wavelength characteristic S (lambda) (spectral sensitivity), by integrating over the wavelength range taken (see below equation 2), and calculates the estimated luminance value V (x j) of x j .
  • the comparison image estimating unit 14 is configured to generate a linear comparative image from the estimated luminance value in all positions x j calculated by the estimated value calculation unit 13.
  • the image processing unit 3 includes a position shift detection unit (line spectral image position shift detection unit) 15. As illustrated in FIG. 5, the position shift detection unit 15 obtains a correlation between the comparison image estimated by the comparison image estimation unit 14 and the reference image, thereby obtaining a corresponding position Y i of the comparison image in the reference image. At the same time, the positional deviation amount ⁇ x along the length direction X of the line is calculated.
  • the correlation calculation in the position shift detection unit 15 is performed between each comparison image and each line in the reference image, and the line having the highest correlation value is selected as the corresponding position Y i . Then, a positional deviation amount ⁇ x between the reference image of each line at the selected corresponding position Y i and the comparative image is calculated.
  • the image processing unit 3 shifts each of the comparison images to the corresponding position Y i in the reference image selected by the position shift detection unit 15 by the position shift amount ⁇ x similarly detected by the position shift detection unit 15.
  • a position shift correction unit 16 for applying each of the line spectral images used for estimation is provided. As shown in FIG. 6, the positional deviation correction unit 16 includes a position correction unit 17, a frame spectral image holding unit 19, and an address generation unit 18.
  • the position correction unit 17 shifts the line spectral image for each line acquired by the line spectral image acquisition unit 7 in the X direction by the positional shift amount ⁇ x detected by the positional shift detection unit 15.
  • the frame spectral image holding unit 19 is provided for the number of frequency bands (number of pixels) of the line spectral image for each line acquired by the line spectral image acquiring unit 7.
  • the address generation unit 18 uses the information of the corresponding position Y i in the reference image of each line spectral image specified by the position deviation detection unit 15, for each line spectral image corrected by the position correction unit 17.
  • An address in the frame spectral image holding unit 19 is generated, and is written and stored at a corresponding address in the frame spectral image holding unit 19 corresponding to each frequency band. Thereby, a line spectral image in which the positional deviation is corrected is generated.
  • the imaging lens 4 is arranged toward the subject, and the reflected light from the light source on the subject is collected by the imaging lens 4.
  • the condensed light is branched into two optical paths L1 and L2 by the branching unit 5, a reference image is acquired by the reference image acquisition unit 6 disposed in one optical path L1, and the line spectrum disposed in the other optical path L2
  • the image acquisition unit 7 acquires a plurality of line spectral images. Since the reference image acquisition unit 6 is configured by an area sensor such as a CCD, it can acquire a two-dimensional monochrome image without positional deviation at each position at a time.
  • line-shaped light extending in the line direction X that has passed through the opened slit 8 is diffracted by alternately opening the shutters 9 that close the slit 8 sequentially.
  • the light is spectrally divided by the grating 10 for each wavelength, and the line spectral image is acquired for each line by the image sensor 11.
  • a shift occurs in the acquisition time of each line spectral image, and a positional shift occurs when the subject is moving.
  • each of the line spectral images in the length direction X of the slit 8 of each line spectral image is input to the estimated value calculation unit 13.
  • the wavelength characteristics in the position x j (spectral reflectance), and the wavelength characteristic stored in the storage unit 12 is multiplied, estimated luminance value at the position x j is calculated.
  • the image in the comparative image estimating unit 14 of the processing section 3, all positions x j linear comparative image from the estimated luminance value in calculated is constituted by the estimated value calculation unit 13.
  • the positional deviation detection unit 15 obtains the correlation between the comparison image estimated by the comparison image estimation unit 14 and the reference image, and specifies the corresponding position Yi of the comparison image in the reference image. In addition, a positional deviation amount ⁇ x along the line length direction X is calculated.
  • the line spectral image is applied to the corresponding position Yi in the reference image based on the detected positional deviation amount ⁇ x in the positional deviation correction unit 16.
  • the reference image acquisition unit 6 acquires a plurality of reference images almost in synchronization with the acquisition timing of the line spectral image by the line spectral image, and
  • the image processing in the image processing unit 20 is different from the spectral image acquisition apparatus 1 according to the first embodiment.
  • the image processing unit 20 is configured to detect a positional deviation amount between reference images (an inter-frame image positional deviation detection unit) that detects a positional deviation amount between a plurality of reference images acquired by the reference image acquisition unit 6. ) 21 and the positional deviation correction unit 16 corrects the positional deviation between the reference images. That is, using the first reference image and the first line spectral image acquired at approximately the same time, the first positional deviation amount ⁇ x1 is detected in the same manner as in the first embodiment, and the first line is detected. The spectral image is stored at the corresponding position of the first reference image.
  • the second positional shift amount ⁇ x1 is detected in the same manner as in the first embodiment, using the second reference image and the second line spectral image acquired at approximately the same time.
  • the second positional shift amount is zero.
  • the corresponding position Yi is specified by the correlation between the used comparison image and the second reference image.
  • the inter-reference image positional deviation detection unit 21 detects the third positional deviation amount ⁇ x2 between the first reference image and the second reference image. Thereafter, the positional deviation correction unit 16 corrects the positional deviation by combining the second positional deviation amount ⁇ x1 and the third positional deviation amount ⁇ x2, and the second line spectral image is matched with the corresponding position Yi of the first reference image. Save to.
  • the first reference image is used as a standard image, and this is repeated to obtain a spectral image with suppressed positional deviation.
  • the spectral image acquisition apparatus it is easy to correlate the reference image acquired at approximately the same time with the line spectral image, and the correlation between two-dimensional reference images is performed with a small error. There is an advantage that you can.
  • the reference image is acquired in synchronization with the acquisition of the line spectral image.
  • a plurality of reference images may be acquired asynchronously with the acquisition of the line spectral image.
  • the detection of the positional deviation amount by the line spectral image positional deviation detection unit 15 may be performed by selecting the reference image having the closest acquisition time.
  • the position shift detection unit 21 between reference images may detect a local position shift in the reference image.
  • the first line spectral image and the first reference image, and the second line spectral image and the second reference image are close in acquisition time, so that the positional deviation can be easily detected. Can do. Then, local positional deviation is detected between the first reference image and the second reference image.
  • the local positional deviation between the reference images is performed by dividing each reference image into a plurality of regions P and comparing each region P. Thereby, even if the subject is displaced during acquisition of each line spectral image, it is possible to easily identify the corresponding position for fitting the line spectral image to the reference first reference image. There is an advantage.
  • the areas P may be set so as to overlap each other.
  • the reference image acquisition unit 6 may acquire two or more reference images with a time interval sufficiently larger than the acquisition interval of adjacent line spectral images. In this case, there is a timing when the corresponding reference image is not acquired for the line spectral image. As shown in FIGS. 11 and 12, the spectral image acquisition device generates a virtual second reference image at the timing of the second line spectral image from which no reference image has been acquired, and this generated virtual reference image. A spectral image is generated by embedding the second line spectral image.
  • the inter-reference image positional deviation detection unit 21 in FIG. 12 detects the positional deviation amount between adjacent images actually acquired, as shown in FIG. Using the detection unit 22 and the positional deviation amount ( ⁇ xref) between the adjacent reference images detected here, the shooting time (tl) of the line spectral image, and the shooting times (tref0, tref1) of two adjacent reference images. And an adjacent reference image position offset interpolation unit 23 for generating a reference image.
  • the adjacent reference image position shift interpolation unit 23 obtains the position shift amount ⁇ x2 of the virtual reference image by the following equation.
  • ⁇ x2 ⁇ xref (tl-tref0) / (tref1-tref0)
  • the reference image acquisition unit 6 acquires the reference image at a time interval shorter than the acquisition interval of the line spectral image by the line spectral image acquisition unit 7, and the inter-reference image positional deviation detection unit 21 acquires the reference acquired adjacently.
  • the inter-reference image position deviation detection unit 21 includes an adjacent reference image position deviation detection unit 22 that detects an amount of positional deviation between adjacent reference images, and the adjacent reference image position deviation detection unit 22.
  • a position shift addition unit 24 between adjacent reference images that adds each position shift amount detected by the position shift detection unit 22 between reference images;
  • the inter-reference image positional deviation detection unit 21 detects the positional deviation amount between adjacent reference images, and adds them to correspond to the standard reference image and the line spectral image. The amount of positional deviation from the reference image is obtained.
  • the correlation calculation in the positional deviation detection unit 15 is performed between each comparison image and each line in the reference image. Instead, information on scanning of the slit 8 is used.
  • the line having the highest correlation value can be detected by the correlation calculation with fewer lines. The time required for the arithmetic processing can be shortened.
  • the monochrome image acquired by the area sensor is exemplified as the reference image.
  • the present invention is not limited to this as long as the image can be acquired at a higher speed than the line spectral image.
  • an image including a smaller number of color signals than the line spectral image may be used.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

　被写体の動きに対応して位置ズレを抑制した分光画像を生成することを目的として、本発明に係る分光画像取得装置（１）は、複数のライン分光画像を取得するライン分光画像取得部（７）と、該ライン分光画像取得部（７）による撮影範囲を含み、ライン分光画像よりも少ない色信号を含む２次元のフレーム画像を取得するフレーム画像取得部（６）と、ライン分光画像取得部（７）により取得された各ライン分光画像と、フレーム画像取得部（６）の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、該比較画像推定部により推定された各比較画像と、フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、フレーム画像内の対応位置に、各比較画像を推定するために使用された各ライン分光画像を当てはめる位置ズレ補正部とを備える。

Description

分光画像取得装置
　本発明は、分光画像取得装置に関するものである。
　副走査方向に配列されたＲ，Ｇ，Ｂの各ラインセンサおよび白黒のラインセンサを備え、副走査方向に原稿を送りながら、各センサから読み出しタイミングを変えた信号を選択して輝度信号を生成するとともに、生成された各輝度信号と白黒ラインセンサの信号との相関が最も高くなる輝度信号の元となったＲ，Ｇ，Ｂの信号を位置ずれ補正した信号として出力するスキャナ用の画像処理装置が知られている（例えば、特許文献１参照。）。
特許第５３９３４４５号公報
　この画像処理装置では、副走査方向に送られる原稿の送り速度ムラに起因する色ズレを抑制することはできるものの、被写体が動くカメラ用の画像処理装置としては、色ズレを抑制することはできない。
　本発明は上述した事情に鑑みてなされたものであって、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができる分光画像取得装置を提供することを目的とする。
　本発明の一態様は、走査されるライン状の光を、その長さ方向の各位置において波長毎に分光して複数のライン分光画像を取得するライン分光画像取得部と、該ライン分光画像取得部による撮影範囲を含み、前記ライン分光画像よりも少ない色信号を含む２次元のフレーム画像を取得するフレーム画像取得部と、前記ライン分光画像取得部により取得された各前記ライン分光画像と、前記フレーム画像取得部の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、該比較画像推定部により推定された各前記比較画像と、前記フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部とを備える分光画像取得装置である。
　本態様によれば、ライン分光画像取得部により、走査方向に複数のライン分光画像が逐次取得される一方、フレーム画像取得部によりフレーム画像が取得される。各ライン分光画像は、走査によって逐次取得されるために取得時刻が異なるので、相互に位置ズレが発生する。一方、フレーム画像は、ライン分光画像よりも色信号が少ないので、全てのライン分光画像による撮影範囲と同じ撮影範囲をライン分光画像よりも短時間で撮影することができ、画像内におけるズレを抑えることができる。
　各ライン分光画像とフレーム画像取得部の波長特性とから、フレーム画像取得部であれば取得されるであろうライン状の比較画像が比較画像取得部により推定され、推定された各比較画像の前記フレーム画像内における対応位置との位置ズレ量がライン分光画像位置ズレ検出部により検出される。そして、位置ズレ補正部が、検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめることにより、位置ズレを抑えた分光画像を取得することができる。
　すなわち、各ライン分光画像は取得時刻の相違により、被写体が動く場合等には位置ズレを発生するが、ズレが抑えられたフレーム画像を参照して位置ズレを補正するので、位置ズレを抑えた分光画像を容易に取得することができる。
　上記態様においては、前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけた他の１以上の前記フレーム画像とを取得し、前記ライン分光画像位置ズレ検出部が、各前記比較画像を推定するために使用された各ライン分光画像と取得時点が最も近接する前記フレーム画像を選択して位置ズレ量を検出し、該ライン分光画像位置ズレ検出部により選択された前記フレーム画像と、基準となる前記フレーム画像との間の位置ズレ量を検出するフレーム画像間位置ズレ検出部を備え、前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と前記フレーム画像間位置ズレ検出部により検出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめてもよい。
　このようにすることで、各比較画像と比較するフレーム画像として、取得時点が最も近接するフレーム画像を選択するので、位置ズレ量が小さくなり、容易に位置ズレ量を検出することができる。そして、基準となるフレーム画像と選択されたフレーム画像との位置ズレ検出は２次元のフレーム画像どうしの比較となるので、より容易に位置ズレ量を検出することができる。
　また、上記態様においては、前記フレーム画像取得部が、前記ライン画像取得部による各前記ライン分光画像の取得時点に対応する時点で各前記フレーム画像を取得してもよい。
　このようにすることで、ライン分光画像から推定した比較画像と比較するフレーム画像を略同一時刻に取得するので、ライン分光画像位置ズレ検出部により検出する位置ズレ量が小さくなり、位置ズレ量の検出を容易にすることができる。
　また、上記態様においては、前記フレーム画像間位置ズレ検出部が、フレーム画像間の位置ズレを局所的に検出してもよい。
　このようにすることで、時間経過によって撮影範囲内の被写体が局所的に変化しても、フレーム画像間の位置ズレを精度よく検出して、分光画像を精度よく取得することができる。
　また、上記態様においては、前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけて他の１以上の前記フレーム画像とを取得し、前記基準となる前記フレーム画像に対する各前記比較画像の対応位置を検出する際に、基準となる前記フレーム画像および他のいずれかの前記フレーム画像の取得時刻と、各前記比較画像の取得時刻とから、各前記比較画像を推定するために使用された各前記ライン分光画像の取得時刻における前記フレーム画像の、基準となる前記フレーム画像に対する位置ズレ量を算出する位置ズレ量算出部を備え、前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と、前記位置ズレ量算出部により算出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめてもよい。
　このようにすることで、比較画像と比較して位置ズレ量を算出するためのフレーム画像の取得枚数を少なくすることができる。
　本発明によれば、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができるという効果を奏する。
本発明の第１の実施形態に係る分光画像取得装置を示す全体構成図である。 図１の分光画像取得装置の画像取得部に備えられるライン分光画像取得部を示す拡大図である。 図２のライン分光画像取得部により取得されるライン分光画像を説明する図である。 図１の分光画像取得装置に備えられる画像処理部を示すブロック図である。 図４の画像処理部に備えられる推定値算出部の動作を説明する図である。 図４の画像処理部に備えられる位置ズレ補正部を示すブロック図である。 本発明の第２の実施形態に係る分光画像取得装置において、参照画像とライン分光画像とを同期して取得する場合を説明する図である。 図７の分光画像取得装置の画像処理装置を示すブロック図である。 図１の分光画像取得装置の他の変形例を説明する図である。 図１の分光画像取得装置の他の変形例を説明する図である。 図１の分光画像取得装置の他の変形例を説明する図である。 図１１の分光画像取得装置の画像処理装置を示すブロック図である。 図１１の分光画像取得装置の参照画像間位置ズレ検出部を示すブロック図である。 図１３の参照画像間位置ズレ検出部の他の変形例を示すブロック図である。 図１の分光画像取得装置の他の変形例を説明する図である。
　本発明の第１の実施形態に係る分光画像取得装置１について、図面を参照して以下に説明する。
　本実施形態に係る分光画像取得装置１は、図１に示されるように、画像取得部２と、画像処理部３とを備えている。
　画像取得部２は、被写体からの光を集光する撮像レンズ４と、該撮像レンズ４により集光された被写体からの光を２つの光路Ｌ１，Ｌ２に分岐する分岐部５と、該分岐部５により分岐された一方の光路Ｌ１に配置され、被写体の２次元的な像を撮影して参照画像（フレーム画像）を取得する参照画像取得部（フレーム画像取得部）６と、他方の光路Ｌ２に配置され、被写体のライン分光画像を取得するライン分光画像取得部７とを備えている。
　分岐部５は、例えば、ハーフミラーである。
　参照画像取得部６は、例えば、ＣＣＤあるいはＣＭＯＳイメージセンサ等のモノクロのエリアセンサを備えている。
　ライン分光画像取得部７は、図２に示されるように、他方の光路Ｌ２上に、複数列にわたって配置されたスリット８と、該スリット８を列毎に開閉可能に設けられ、開かれたときに被写体からの光を通過させ、閉じられたときに被写体からの光を遮断する複数のシャッタ９と、該シャッタ９を挟んで被写体と反対側に配置され、入射された光を波長ごとに異なる回折方向に射出させる回折格子１０と、該回折格子１０により回折された光を検出する撮像素子１１とを備えている。
　そして、ライン分光画像取得部７は、シャッタ９を全て閉じておき、いずれか１つのスリット８を開閉するシャッタ９を開くことにより、被写体からの光の内のライン状の光を通過させるとともに、開くシャッタ９をスリット８の配列方向、すなわち、スリット８の長さ方向（ライン方向）Ｘに直交する方向に、択一的に順次切り替えるようになっている。これにより、回折格子１０に入射されるライン状の光を通過させるスリット８がその配列方向に走査されるようになっている。
　ライン分光画像取得部７は、このようにスリット８により走査を行う以外に、特開２０１２－５８０３７号公報の段落〔００５６〕、および図１から図３に開示されているライン状になったミラー等の光の反射体による走査でもよいし、またオプティカルメカニカルスキャナ（ＯＭＳ）、プッシュブルームスキャナ（ＰＢＳ）による走査でもよい。
　回折格子１０は、ライン方向Ｘに全長にわたって配置され、いずれかのスリット８を通過した光が同一方向（回折格子１０の入射面に対して略直交する方向）から入射されるようになっている。回折格子１０に入射されたライン状の光は、回折格子１０によって、波長に従う方向に回折され、その回折範囲を網羅するように配置されている撮像素子１１に入射されるようになっている。
　撮像素子１１は、ライン方向Ｘおよび該ライン方向Ｘに直交する方向に並んだ複数の画素を有している。ライン方向Ｘに配列された画素の数は、ライン分光画像の空間分解能を決定している。また、ライン方向Ｘに直交する方向に配列された画素の数は、ライン分光画像の波長分解能を決定している。
　したがって、撮像素子１１によりライン毎に取得されるライン分光画像は、図３に示されるように、一方向にライン方向Ｘの輝度配列、他方向に波長方向の輝度配列を示す２次元的な画像となっている。そして、シャッタ９を開く位置を切り替えながら撮影することにより、図３に示されるライン分光画像が複数、順次取得されるようになっている。
　ここで、参照画像取得部６のエリアセンサの撮影範囲は、ライン分光画像取得部７のスリット８が走査されることにより撮影される撮影範囲を包含するように設定されている。
　画像処理部３は、図４に示されるように、画像取得部２により取得された参照画像および複数のライン分光画像が入力され、位置ズレが補正された分光画像を出力するようになっている。
　画像処理部３は、撮影時の光源Ｌ（λ）および参照画像取得部６を含むフレーム画像取得部の波長特性Ｔ（λ）を記憶する記憶部１２を備えている。
　これらの波長特性の関係を下式１に示す。
　　Ｓ（λ）＝Ｌ（λ）Ｔ（λ）　　　　（１）
　ここで、Ｓ（λ）は記憶部１２に記憶されている波長特性である。
　また、画像処理部３は、図４に示されるように、推定値算出部１３および比較画像推定部１４を備えている。
　推定値算出部１３は、図５に示されるように、入力されてきた各ライン分光画像のスリット８の長さ方向Ｘの各位置ｘｊにおける波長特性Ｒ（λ）（分光反射率）と、波長特性Ｓ（λ）（分光感度）とを乗算し、撮影した波長範囲にわたって積分する（下式２参照）ことにより、ｘｊにおける推定輝度値Ｖ（ｘｊ）を算出するようになっている。また、比較画像推定部１４は、推定値算出部１３により算出された全ての位置ｘｊにおける推定輝度値からライン状の比較画像を生成するようになっている。
Figure JPOXMLDOC01-appb-M000001
　また、画像処理部３は、図４に示されるように、位置ズレ検出部（ライン分光画像位置ズレ検出部）１５を備えている。位置ズレ検出部１５は、図５に示されるように、比較画像推定部１４により推定された比較画像と、参照画像との相関を求めることにより、参照画像中における比較画像の対応位置Ｙｉを特定するとともに、ラインの長さ方向Ｘに沿う位置ズレ量Δｘを算出するようになっている。
　位置ズレ検出部１５における相関演算は、各比較画像と、参照画像内の各ラインとの間で行われ、最も高い相関値を有するラインが対応位置Ｙｉとして選択される。そして、選択された対応位置Ｙｉの各ラインの参照画像と比較画像との位置ズレ量Δｘが算出されるようになっている。
　また、画像処理部３は、位置ズレ検出部１５により選択された参照画像内の対応位置Ｙｉに、同じく位置ズレ検出部１５により検出された位置ズレ量Δｘだけずらして、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部１６を備えている。位置ズレ補正部１６は、図６に示されるように、位置補正部１７と、フレーム分光画像保持部１９と、アドレス生成部１８とを備えている。
　位置補正部１７は、ライン分光画像取得部７により取得されたライン毎のライン分光画像を位置ズレ検出部１５により検出された位置ズレ量ΔｘだけＸ方向にずらすようになっている。
　フレーム分光画像保持部１９は、ライン分光画像取得部７により取得されたライン毎のライン分光画像の周波数バンド数（画素数）分設けられている。また、アドレス生成部１８は、位置ズレ検出部１５により特定された各ライン分光画像の参照画像内での対応位置Ｙｉの情報に基づいて、位置補正部１７において補正された各ライン分光画像のフレーム分光画像保持部１９でのアドレスを生成し、周波数バンド毎に対応するフレーム分光画像保持部１９の対応するアドレスに書き込んで保存するようになっている。これにより、位置ズレが補正されたライン分光画像が生成されるようになっている。
　このように構成された本実施形態に係る分光画像取得装置１の作用について説明する。
　本実施形態に係る分光画像取得装置１を用いて分光画像を取得するには、撮像レンズ４を被写体に向けて配置し、光源からの光の被写体における反射光を撮像レンズ４によって集光する。
　集光された光は分岐部５により２つの光路Ｌ１，Ｌ２に分岐され、一方の光路Ｌ１に配置された参照画像取得部６により参照画像が取得され、他方の光路Ｌ２に配置されたライン分光画像取得部７により複数のライン分光画像が取得される。
　参照画像取得部６はＣＣＤ等のエリアセンサによって構成されているので、各位置における位置ズレのない２次元的なモノクロ画像を一時に取得することができる。
　また、ライン分光画像取得部７においては、スリット８を閉じているシャッタ９を択一的に順次開いていくことにより、開かれたスリット８を通過したライン方向Ｘに延びるライン状の光が回折格子１０により波長毎に分光され撮像素子１１によってライン分光画像がライン毎に取得される。このとき、スリット８が順次開かれることによって各ライン分光画像の取得時刻にはズレが生じ、被写体が動いている場合等には位置ズレが発生していくことになる。
　そこで、画像取得部２により取得された参照画像および複数のライン分光画像が画像処理部３に入力されると、推定値算出部１３において、各ライン分光画像のスリット８の長さ方向Ｘの各位置ｘｊにおける波長特性（分光反射率）と、記憶部１２に記憶されている波長特性とが乗算され、位置ｘｊにおける推定輝度値が算出される。
　さらに、画像処理部３の比較画像推定部１４においては、推定値算出部１３により算出された全ての位置ｘｊにおける推定輝度値からライン状の比較画像が構成される。
　また、画像処理部３においては、位置ズレ検出部１５により、比較画像推定部１４により推定された比較画像と参照画像との相関が求められ、参照画像中における比較画像の対応位置Ｙｉが特定されるとともに、ラインの長さ方向Ｘに沿う位置ズレ量Δｘが算出される。
　そして、画像処理部３においては、位置ズレ補正部１６において、検出された位置ズレ量Δｘに基づいて参照画像内の対応位置Ｙｉに、ライン分光画像が当てはめられる。これにより、スリット８を順次切り替えて取得された複数のライン分光画像間に位置ズレが生じていても、一時に取得された参照画像を参照してライン分光画像を位置合わせして行くので、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができるという利点がある。
　次に、本発明の第２の実施形態に係る分光画像取得装置について、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る分光画像取得装置１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る分光画像取得装置は、図７に示されるように、参照画像取得部６が、ライン分光画像によるライン分光画像を取得タイミングにほぼ同期して参照画像を複数取得する点、および、画像処理部２０における画像処理において第１の実施形態に係る分光画像取得装置１と相違している。
　画像処理部２０は、図８に示されるように、参照画像取得部６により取得された複数の参照画像間の位置ズレ量を検出する参照画像間位置ズレ検出部（フレーム画像間位置ズレ検出部）２１をさらに備え、位置ズレ補正部１６が、参照画像間の位置ズレ量をも用いて補正するようになっている。
　すなわち、ほぼ同時刻に取得された第１の参照画像と第１のライン分光画像とを用いて、第１の実施形態と同様にして第１の位置ズレ量Δｘ１を検出し、第１のライン分光画像を第１の参照画像の対応位置に保存する。
　次に、ほぼ同時刻に取得された第２の参照画像と第２のライン分光画像とを用いて、第１の実施形態と同様にして第２の位置ズレ量Δｘ１を検出する。第２の参照画像と第２のライン分光画像との取得時刻が完全に一致している場合には、第２の位置ズレ量はゼロとなるので、この処理は、第２のライン分光画像を用いた比較画像と第２の参照画像との相関による対応位置Ｙｉの特定処理となる。
　そして、参照画像間位置ズレ検出部２１により、第１の参照画像と第２の参照画像との間の第３の位置ズレ量Δｘ２を検出する。その後、位置ズレ補正部１６により、第２の位置ズレ量Δｘ１と第３の位置ズレ量Δｘ２とを合わせて位置ズレを補正し、第２のライン分光画像を第１の参照画像の対応位置Ｙｉに保存する。以下、第１の参照画像を基準画像として、これを繰り返すことにより、位置ズレを抑えた分光画像を取得することができる。
　すなわち、本実施形態に係る分光画像取得装置によれば、ほぼ同時刻に取得された参照画像とライン分光画像との相関は取りやすく、また、２次元の参照画像どうしの相関も少ない誤差で行うことができるという利点がある。
　なお、本実施形態においては、ライン分光画像の取得に同期して参照画像を取得することとしたが、これに代えて、ライン分光画像の取得とは非同期に参照画像を複数取得してもよい。この場合には、図９に示されるように、ライン分光画像位置ズレ検出部１５による位置ズレ量の検出は、取得時刻が最も近接している参照画像を選択して行うことにすればよい。
　また、参照画像間位置ズレ検出部２１が、参照画像内の局所的な位置ズレを検出することにしてもよい。図１０に示す例では、第１のライン分光画像と第１の参照画像、第２のライン分光画像と第２の参照画像とがそれぞれ取得時刻が近いので、容易に位置ズレの検出を行うことができる。そして、第１の参照画像と第２の参照画像との間で局所的な位置ズレの検出を行う。
　参照画像どうしの局所的な位置ズレは、各参照画像を複数の領域Ｐに区画して領域Ｐ毎に比較することにより行われる。これにより、各ライン分光画像の取得の間に被写体に変位が生じても、基準となる第１の参照画像へのライン分光画像の当てはめを行うための対応位置の特定を容易に行うことができるという利点がある。なお、領域Ｐは互いに重なるように設定してもよい。
　また、参照画像取得部６が、隣接するライン分光画像の取得間隔よりも十分に大きい時間間隔をあけて２以上の参照画像を取得してもよい。
　この場合には、ライン分光画像に対して対応する参照画像が取得されていないタイミングが存在する。分光画像取得装置は、図１１および図１２に示されるように、参照画像が取得されていない第２のライン分光画像のタイミングに仮想第２の参照画像を生成し、生成されたこの仮想参照画像に対して第２のライン分光画像を埋め込むことにより分光画像を生成している。
　仮想参照画像を生成するため、図１２の参照画像間位置ズレ検出部２１は、図１３に示されるように、実際に取得した隣接した画像間の位置ズレ量を検出する隣接参照画像間位置ズレ検出部２２と、ここで検出された隣接参照画像間の位置ズレ量（Δｘｒｅｆ）、ライン分光画像の撮影時刻（ｔｌ）および隣接する２つの参照画像の撮影時刻（ｔｒｅｆ０、ｔｒｅｆ１）を用いて仮想参照画像を生成する隣接参照画像位置ズレ補間部２３とを備えている。隣接参照画像位置ズレ補間部２３では、下式により仮想参照画像の位置ズレ量Δｘ２を求める。
　　Δｘ２＝Δｘｒｅｆ（ｔｌ－ｔｒｅｆ０）/（ｔｒｅｆ１－ｔｒｅｆ０）
仮想参照画像を生成した後の処理は、参照画像がライン分光画像と対応して取得されている場合と同じである。
　このようにすることで、参照画像の取得枚数を減らすことができる。
　また、参照画像取得部６が、ライン分光画像取得部７によるライン分光画像の取得間隔より短い時間間隔で参照画像を取得し、参照画像間位置ズレ検出部２１が、隣接して取得された参照画像間の位置ズレ量を検出し、各ライン分光画像に対応する参照画像までの位置ズレ量を合成することにより、その位置ズレ量だけ位置補正した各ライン分光画像を、それらの参照画像における対応位置に当てはめて、位置ズレを抑制した分光画像を取得することができる。
　この場合、図１４に示されるように、参照画像間位置ズレ検出部２１は、隣接した参照画像間のそれぞれの間の位置ズレ量を検出する隣接参照画像間位置ズレ検出部２２と、この隣接参照画像間位置ズレ検出部２２により検出されたそれぞれの位置ズレ量を加算する隣接参照画像間位置ズレ加算部２４とを有している。参照画像間位置ズレ検出部２１は、図１５に示されるように、隣接するそれぞれの参照画像間の位置ズレ量を検出し、これらを合算することにより基準の参照画像とライン分光画像に対応する参照画像との位置ズレ量を求めている。
　また、上記形態においては、位置ズレ検出部１５における相関演算は、各比較画像と、参照画像内の各ラインとの間で行われることとしたが、これに代えて、スリット８の走査の情報（例えば、撮影間隔、走査位置等）に基づく参照画像中の予測位置を基準として相関演算を実施することにより、より少ないラインとの相関演算によって最も高い相関値を有するラインを検出することができ、演算処理にかかる時間を短縮することができる。
　また、上記実施形態においては、参照画像としてエリアセンサにより取得されたモノクロ画像を例示したが、ライン分光画像よりも高速に取得可能な画像であれば、これに限定されるものではない。例えば、ライン分光画像よりも少ない数の色信号を含む画像であればよい。
　１　分光画像取得装置
　６　参照画像取得部（フレーム画像取得部）
　７　ライン分光画像取得部
　８　スリット
　１４　比較画像推定部
　１５　位置ズレ検出部（ライン分光画像位置ズレ検出部）
　１６　位置ズレ補正部
　２１　参照画像間位置ズレ検出部（フレーム画像間位置ズレ検出部）

Claims (5)

  1. 　走査されるライン状の光を、その長さ方向の各位置において波長毎に分光して複数のライン分光画像を取得するライン分光画像取得部と、
    　該ライン分光画像取得部による撮影範囲を含み、前記ライン分光画像よりも少ない色信号を含む２次元のフレーム画像を取得するフレーム画像取得部と、
    　前記ライン分光画像取得部により取得された各前記ライン分光画像と、前記フレーム画像取得部の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、
    　該比較画像推定部により推定された各前記比較画像と、前記フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、
    　該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部とを備える分光画像取得装置。
  2. 　前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけた他の１以上の前記フレーム画像とを取得し、
    　前記ライン分光画像位置ズレ検出部が、各前記比較画像を推定するために使用された各ライン分光画像と取得時点が最も近接する前記フレーム画像を選択して位置ズレ量を検出し、
    　該ライン分光画像位置ズレ検出部により選択された前記フレーム画像と、基準となる前記フレーム画像との間の位置ズレ量を検出するフレーム画像間位置ズレ検出部を備え、
    　前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と前記フレーム画像間位置ズレ検出部により検出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめる請求項１に記載の分光画像取得装置。
  3. 　前記フレーム画像取得部が、前記ライン画像取得部による各前記ライン分光画像の取得時点に対応する時点で各前記フレーム画像を取得する請求項２に記載の分光画像取得装置。
  4. 　前記フレーム画像間位置ズレ検出部が、フレーム画像間の位置ズレを局所的に検出する請求項２または請求項３に記載の分光画像取得装置。
  5. 　前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけて他の１以上の前記フレーム画像とを取得し、
    　前記基準となる前記フレーム画像に対する各前記比較画像の対応位置を検出する際に、基準となる前記フレーム画像および他のいずれかの前記フレーム画像の取得時刻と、各前記比較画像の取得時刻とから、各前記比較画像を推定するために使用された各前記ライン分光画像の取得時刻における前記フレーム画像の、基準となる前記フレーム画像に対する位置ズレ量を算出する位置ズレ量算出部を備え、
    　前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と、前記位置ズレ量算出部により算出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる請求項１に記載の分光画像取得装置。
PCT/JP2015/050242 2015-01-07 2015-01-07 分光画像取得装置 WO2016110952A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580071719.7A CN107110707B (zh) 2015-01-07 2015-01-07 分光图像获取装置
JP2016568203A JP6377768B2 (ja) 2015-01-07 2015-01-07 分光画像取得装置
PCT/JP2015/050242 WO2016110952A1 (ja) 2015-01-07 2015-01-07 分光画像取得装置
US15/642,262 US20170299436A1 (en) 2015-01-07 2017-07-05 Spectral-image acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050242 WO2016110952A1 (ja) 2015-01-07 2015-01-07 分光画像取得装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/642,262 Continuation US20170299436A1 (en) 2015-01-07 2017-07-05 Spectral-image acquisition device

Publications (1)

Publication Number Publication Date
WO2016110952A1 true WO2016110952A1 (ja) 2016-07-14

Family

ID=56355677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050242 WO2016110952A1 (ja) 2015-01-07 2015-01-07 分光画像取得装置

Country Status (4)

Country Link
US (1) US20170299436A1 (ja)
JP (1) JP6377768B2 (ja)
CN (1) CN107110707B (ja)
WO (1) WO2016110952A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503516A (ja) * 2016-12-27 2020-01-30 ウルグス ソシエダード アノニマ 観察対象物が静止している場合のハイパースペクトルイメージング
CN111788463A (zh) * 2018-03-02 2020-10-16 杰富意钢铁株式会社 分光特性测定装置、分光特性测定方法和炉的控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3667617A1 (en) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Imaging system and imaging method
CN109724697B (zh) * 2018-12-25 2020-04-10 中国科学院长春光学精密机械与物理研究所 成像光谱仪的光谱定标方法、装置及电子设备
CN117372515B (zh) * 2023-09-15 2024-06-11 钛玛科（北京）工业科技有限公司 一种自适应纠偏控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01320441A (ja) * 1988-06-21 1989-12-26 Hamamatsu Photonics Kk 色彩輝度計
JP2005337793A (ja) * 2004-05-25 2005-12-08 Olympus Corp 分光画像入力装置及びそれを備えた光学装置
JP2012098050A (ja) * 2010-10-29 2012-05-24 Mitaka Koki Co Ltd モニター可能な分光計測装置
JP2013090230A (ja) * 2011-10-20 2013-05-13 Topcon Corp 画像取得装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10238100A1 (de) * 2002-08-21 2004-03-04 Leica Microsystems Heidelberg Gmbh Vorrichtung zur spektralen Selektion und Detektion eines Lichtstrahls und Scanmikroskop
TWI280061B (en) * 2005-04-27 2007-04-21 Novatek Microelectronics Corp Image processing method and device thereof
JP2011220932A (ja) * 2010-04-13 2011-11-04 Olympus Corp 撮像装置
EP2702375A2 (en) * 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9200958B2 (en) * 2012-11-15 2015-12-01 Corning Incorporated Hyperspectral imaging systems and methods for imaging a remote object
CN103487145B (zh) * 2013-09-25 2015-04-15 清华大学 多光谱采集系统的标定方法及系统
JP6327931B2 (ja) * 2014-05-02 2018-05-23 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01320441A (ja) * 1988-06-21 1989-12-26 Hamamatsu Photonics Kk 色彩輝度計
JP2005337793A (ja) * 2004-05-25 2005-12-08 Olympus Corp 分光画像入力装置及びそれを備えた光学装置
JP2012098050A (ja) * 2010-10-29 2012-05-24 Mitaka Koki Co Ltd モニター可能な分光計測装置
JP2013090230A (ja) * 2011-10-20 2013-05-13 Topcon Corp 画像取得装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503516A (ja) * 2016-12-27 2020-01-30 ウルグス ソシエダード アノニマ 観察対象物が静止している場合のハイパースペクトルイメージング
JP7045380B2 (ja) 2016-12-27 2022-03-31 ウルグス ソシエダード アノニマ 観察対象物が静止している場合のハイパースペクトルイメージング
CN111788463A (zh) * 2018-03-02 2020-10-16 杰富意钢铁株式会社 分光特性测定装置、分光特性测定方法和炉的控制方法

Also Published As

Publication number Publication date
JPWO2016110952A1 (ja) 2017-11-02
JP6377768B2 (ja) 2018-08-22
US20170299436A1 (en) 2017-10-19
CN107110707A (zh) 2017-08-29
CN107110707B (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
JP6377768B2 (ja) 分光画像取得装置
JP4630174B2 (ja) 動きベクトル検出装置
US10018722B2 (en) Measurement apparatus
KR20180030773A (ko) 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법
JP6021780B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
US7742087B2 (en) Image pickup device
JP2008042482A5 (ja)
WO2017159027A1 (ja) 撮像制御装置、および撮像制御方法、ならびに撮像装置
JP2009080113A (ja) 距離推定方法、距離推定装置、撮像装置およびコンピュータ読み取り可能な媒体
US10742908B2 (en) Method and a device for acquiring an image having two-dimensional spatial resolution and spectral resolution
JP4516590B2 (ja) 画像撮像装置及び距離測定方法
JP7501582B2 (ja) 撮像装置
JP2006135823A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP7057090B2 (ja) 測距装置および測距方法
JP6136364B2 (ja) デフォーカス量検出装置およびカメラ
JP6372805B2 (ja) 画像処理装置、方法、及びプログラム
JP6094286B2 (ja) 測色装置および画像形成装置
JP6000738B2 (ja) 撮像装置及び撮像装置の合焦方向判定方法
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
CN110521197B (zh) 图像读取装置
JP2012068761A (ja) 画像処理装置
JP2024017229A (ja) 検査システムおよび検査方法
JP6267535B2 (ja) 色収差測定システム
JP2024017231A (ja) 検査システムおよび検査方法
WO2013125398A1 (ja) 撮像装置及びフォーカス制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15876830

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016568203

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15876830

Country of ref document: EP

Kind code of ref document: A1