WO2013111228A1 - マーカ検出装置及びマーカ検出方法 - Google Patents

マーカ検出装置及びマーカ検出方法 Download PDF

Info

Publication number
WO2013111228A1
WO2013111228A1 PCT/JP2012/007600 JP2012007600W WO2013111228A1 WO 2013111228 A1 WO2013111228 A1 WO 2013111228A1 JP 2012007600 W JP2012007600 W JP 2012007600W WO 2013111228 A1 WO2013111228 A1 WO 2013111228A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
image
color
infrared
color image
Prior art date
Application number
PCT/JP2012/007600
Other languages
English (en)
French (fr)
Inventor
高梨　伸彰
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013111228A1 publication Critical patent/WO2013111228A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Definitions

  • the present invention relates to a marker detection apparatus and a marker detection method, and more particularly to a marker detection apparatus and method for measuring the shape of a projection object by projecting a full-color image and an invisible infrared marker.
  • Patent Document 1 discloses an apparatus for measuring a three-dimensional shape of a projection object by projecting an invisible marker.
  • an infrared pattern is projected onto a space including an object, and reflected light is detected by an infrared camera having sensitivity only in the infrared wavelength region.
  • Patent Document 2 discloses a marker detection device in which an infrared camera and a color camera are arranged at conjugate positions on the same optical axis in order to acquire an infrared image and a full-color image at the same time. Since the infrared camera and the color camera are arranged coaxially, it is easy to match the infrared image and the full-color image.
  • Patent Document 3 discloses an imaging apparatus that captures an infrared image and a full-color image by inserting and removing an infrared cut filter in front of one color camera. Since a single camera is used, the infrared image and the full-color image match. In addition, since only one camera is used, the cost of the camera can be reduced.
  • Patent Document 4 discloses an imaging apparatus that extracts an infrared component by changing a spectral sensitivity of a captured image without taking an infrared cut filter and taking a difference before and after the change. Yes.
  • the difference is integrated for all the pixels in one screen to separate the infrared component, and the influence of the infrared component is corrected for the entire image.
  • Patent Document 5 discloses an imaging device in which four-color filters that transmit R, G, B, and infrared components are arranged for each pixel in order to separate and detect infrared images with a single camera. ing.
  • Patent Document 6 discloses a technique for optimizing four color filters in order to efficiently detect an infrared image.
  • Patent Document 1 two cameras, an infrared camera and a color camera, are required to acquire a full-color image and an infrared destination image. Further, since the infrared camera and the color camera are arranged side by side, it is difficult to match the infrared image and the full-color image in that the width of the apparatus becomes large.
  • Patent Document 2 in addition to the need for two cameras, an optical filter and an optical system for separating an infrared image and a full-color image are required. As a result, the size of the apparatus increases and the number of parts increases.
  • Patent Document 3 it is necessary to mechanically switch the infrared cut filter, the structure is complicated, and the moving object cannot be handled.
  • Patent Document 4 since only the integral value of the entire image of the infrared component is separated, it cannot be used for detection of an invisible marker.
  • Patent Documents 5 and 6 there is a problem that it is necessary to develop an imaging device including a filter, which is expensive.
  • the present invention has been made against the background of the above problems, and provides an imaging apparatus and an imaging method capable of detecting both an infrared image and a full-color image with a single camera and detecting a moving object.
  • the main purpose is to do.
  • a marker detection apparatus includes an infrared marker projection light source that projects an invisible marker of an infrared wavelength onto an object, and light from the object that includes reflected light of the marker on the object.
  • the pixel corresponds to the marker by comparing the chromaticity of each pixel of the captured image with a preset reference chromaticity, and one full-color image sensor that receives light and outputs the captured image as a color image
  • a chromaticity comparison processing unit that determines whether the marker pixel is to be generated, generates a marker image, and outputs the marker image as an infrared image.
  • an invisible marker having an infrared wavelength is projected onto an object, and the reflected light from the object on the object is reflected by the single full-color image sensor.
  • the captured image is output as a color image, and the pixel is a marker pixel corresponding to the marker by comparing the chromaticity of each pixel of the captured image with a preset reference chromaticity Whether or not, a marker image is generated and output as an infrared image.
  • an infrared image and a color image can be separated and simultaneously detected and processed after a reflected image from an object is captured by a single camera, an infrared image and a full-color image are obtained. Can be detected, and a moving object can be detected.
  • an imaging apparatus and an imaging method capable of detecting both an infrared image and a full-color image with a single camera and detecting a moving object.
  • FIG. 3 is a diagram illustrating an example of a configuration of a full-color image sensor of the marker detection device according to Embodiment 1.
  • FIG. 3 shows the other example of a structure of the full-color image sensor of the marker detection apparatus which concerns on Embodiment 1.
  • FIG. 3 is a diagram illustrating a configuration of a chromaticity comparison processing unit of the marker detection device according to Embodiment 1.
  • FIG. It is a figure which shows the process example of the chromaticity comparison process part shown in FIG.
  • FIG. 10 is a diagram showing a result of processing in a marker detection method according to Embodiment 3.
  • the present invention relates to a marker detection apparatus that measures the shape of a projection object by projecting an invisible infrared marker with a single camera and simultaneously acquires a full-color image.
  • the marker detection apparatus according to the present invention separates an infrared image and a full-color image from a captured image including an infrared image and a full-color image by comparing the chromaticity of each pixel with a reference chromaticity.
  • FIG. 1 is a diagram illustrating a configuration of a marker detection device 1 according to the first embodiment.
  • the marker detection device 1 includes an infrared marker projection light source 10, a full-color image sensor 20, and a chromaticity comparison processing unit 50.
  • a driver 11 for driving the infrared marker projection light source 10 is provided.
  • a human hand is a target for three-dimensional shape measurement and imaging (target object 40).
  • the infrared marker projection light source 10 projects the invisible marker 30 having an infrared wavelength into a space including the object 40 in order to measure the shape of the object 40.
  • the infrared marker projection light source 10 is driven by a driver 11.
  • the marker detection device 1 is provided with one full-color image sensor 20.
  • the full-color image sensor 20 receives light from the object 40 including light reflected by the object 40 of the invisible marker 30 and outputs a captured image 21.
  • the captured image 21 output from the full-color image sensor 20 is input to the chromaticity comparison processing unit 50.
  • the chromaticity comparison processing unit 50 extracts the marker image 22 by extracting a region of predetermined chromaticity.
  • the captured image 21 is also output as a color image 23 as it is.
  • the full-color image sensor 20 the one shown in FIG. 3 or FIG. 4 can be used.
  • 3 and 4 are diagrams illustrating an example of the configuration of the full-color image sensor 20 used in the marker detection device 1.
  • the full-color image pickup device 20 shown in FIG. 3 has only the lens 26 and the two-dimensional image pickup device 27, and does not have an infrared cut filter.
  • the marker image 22 is superimposed on the color image 23, but the marker image 22 can be detected with good contrast.
  • the 4 is provided with an infrared cut filter 28 between a lens 26 and a two-dimensional imaging device 27.
  • the infrared cut filter 28 has an infrared light attenuation rate with respect to visible light of 30% as a lower limit.
  • the intensity of the marker image 22 superimposed on the color image 23 can be reduced, the quality of the color image 23 can be improved.
  • the contrast of the marker image 22 is lowered, detection is possible.
  • the chromaticity comparison processing unit 50 cuts out the input captured image 21 for each pixel and compares it with a preset reference chromaticity to determine whether or not the pixel is a marker image, and outputs it as an output pixel. Output.
  • a marker image 22 is obtained by writing an output pixel at a corresponding position in the captured image 21 of the pixel.
  • FIG. 5 shows an example of the configuration of the chromaticity comparison processing unit 50 used in the marker detection device 1 according to the first embodiment.
  • the chromaticity comparison processing unit 50 includes a chromaticity calculation processing unit 51, a chromaticity comparison unit 52, and a reference chromaticity storage unit 53.
  • the captured image 21 is input to the chromaticity calculation processing unit 51.
  • FIG. 6 shows an example of processing of the chromaticity calculation processing unit 51.
  • the chromaticity calculation processing unit 51 generates the input pixel 54 by cutting the captured image 21 for each pixel.
  • the input pixel 54 includes a red R component 55, a green G component 56, and a blue B component 57.
  • the chromaticity calculation processing unit 51 divides the input pixel 54 into an R component 55, a G component 56, and a B component 57, and uses these to calculate the chromaticity coordinates 58 of the input pixel 54, and the chromaticity comparison unit 52 Output to.
  • the chromaticity comparison unit 52 shown in FIG. 5 compares the chromaticity coordinates 58 with the reference chromaticity stored in the reference chromaticity storage unit 53 in advance, and determines whether the input pixel 54 is a marker pixel or a non-marker pixel. And the determination result is output as an output pixel.
  • the marker image 22 is obtained by writing the output pixel at a corresponding position in the captured image 21.
  • the infrared marker projection light source 10 projects a predetermined invisible marker 30 onto the object 40.
  • the invisible marker 30 and the object 40 projected on the object 40 are imaged by the full-color image sensor 20, and the captured image 21 is input to the chromaticity comparison processing unit 50.
  • the captured image 21 includes images of the invisible marker 30 and the object 40.
  • the image of the invisible marker 30 and the object 40 can be separated.
  • An image of the invisible marker 30 is output as the marker image 22, and an image including the object 40 is output as the color image 23.
  • the image of the environment including the image of the invisible marker 30 and the object 40 is separated using the detection wavelength characteristic of the full-color image sensor 20.
  • an operation principle of the chromaticity comparison processing unit 50 for separating the marker image 22 from the captured image 21 will be described with reference to FIG.
  • FIG. 7 shows the sensitivity characteristics depending on the wavelength of a general full-color image sensor 20.
  • the horizontal axis represents wavelength (nm) and the vertical axis represents relative sensitivity.
  • a color filter that transmits any one of red, green, and blue wavelengths is disposed on a pixel of a light detection unit.
  • the pixel detecting blue has a large sensitivity in the wavelength range of 435 to 480 nm, as indicated by the characteristic 91 in FIG.
  • a pixel that detects green has a large sensitivity in the wavelength range of 500 to 560 nm, as indicated by the characteristic 92.
  • a pixel that detects red has a large sensitivity in the wavelength range of 610 to 750 nm, as shown by the characteristic 93.
  • pixels that detect any color of blue, green, and red have a large sensitivity at an infrared wavelength 95 near 840 nm in common.
  • both the color image and the infrared image can be detected by the single full-color imaging device 20.
  • the visible wavelength band image is detected by being separated into red, green, and blue by the color filter.
  • the infrared image is detected as a color having a constant chromaticity at a constant ratio determined by the image sensor.
  • pixels that detect any color of red, green, and blue have the same high sensitivity in the wavelength band near 840 nm of the infrared wavelength 95. Due to this characteristic, the projected image by the infrared marker projection light source 10 matched with the infrared wavelength 95 is detected as a white image.
  • the input captured image 21 is divided into pixels, cut out as input pixels 54 shown in FIG. 6, and whether or not the pixel is a marker image by chromaticity comparison.
  • FIG. 8 shows an example of the data structure of the input pixel 54 having color information.
  • the input pixel 54 is composed of a red component (R), a green component (G), a blue component (B), and 8 bits each.
  • the input pixel 54 is divided into an R component 55, a G component 56, and a B component 57, and 8-bit data is used for subsequent processing.
  • 8-bit data of the R component 55 is R data (R)
  • 8-bit data of the G component 56 is G data (G)
  • 8-bit data of the B component 57 is B data (B).
  • the chromaticity calculation processing unit 51 converts input RGB data into chromaticity coordinates.
  • chromaticity coordinates an example of conversion to chromaticity coordinates will be described.
  • the chromaticity calculation processing unit 51 converts RGB data into XYZ tristimulus values using the following equation (1).
  • the reference chromaticity stored in the reference chromaticity storage unit 53 is generated as follows. First, RGB data is generated from a captured image 21 obtained by projecting a calibration pattern from the infrared marker projection light source 10. A chromaticity coordinate corresponding to the reference chromaticity can be obtained by performing arithmetic processing on the RGB data using the equations (1) and (2). This calibration pattern is light with uniform brightness over the entire surface. The entire screen of the image obtained by the full-color image sensor 20 becomes an image with uniform brightness. Note that a sufficiently large white plate may be disposed as the object 40.
  • the chromaticity comparison unit 52 compares the chromaticity coordinates 58 obtained by converting the input pixel 54 with the reference chromaticity stored in the reference chromaticity storage unit 53, and the chromaticity calculation processing unit 51 detects the marker pixel. Or a non-marker pixel, and an output pixel is generated from the determination result.
  • the input pixel 54 is set.
  • the distance D between the chromaticity coordinates corresponding to and the chromaticity coordinates corresponding to the reference chromaticity is calculated by the following equation (3).
  • the chromaticity comparison unit 52 determines that the input pixel 54 is a marker pixel when D is smaller than a predetermined value ⁇ , and sets the output pixel to white, and if it is larger, sets the output pixel to black.
  • a marker image 22 is generated from the output pixels obtained as described above.
  • a single full-color image sensor 20 captures a reflection image from the object 40 including a reflection image of the invisible marker 30 at one time, A color image can be separated and simultaneously detected and processed. For this reason, both an infrared image and a full-color image can be obtained at the same time, and even a moving object can be detected. In addition, since the infrared image and the full-color image optically match, it is possible to improve the convenience of using the detection result.
  • the marker detection device 1 includes only one full-color image sensor 20, it can be reduced in size and weight, and an increase in installation area can be suppressed. In addition, it is possible to suppress an increase in power consumption and reduce power consumption.
  • the mass-produced full-color image sensor 20 can be applied, and the apparatus can be configured with a small number of parts, thereby reducing the apparatus cost. Can be reduced.
  • FIG. 9 is a diagram for explaining the difference image extraction unit 60 used in the marker detection device according to the second embodiment.
  • the difference image extraction unit 60 is provided in the subsequent stage of the chromaticity comparison processing unit 50 shown in FIG.
  • Other configurations are the same as those in FIG.
  • the marker image 22 and the color image 23 are input to the difference image extraction unit 60.
  • the difference image extraction unit 60 extracts color pixels in the color image 23 at positions corresponding to the periphery of each marker image in the marker image 22, and an average of the extracted color pixels is at a position corresponding to each marker image. Write to the color image position and output as improved color image 24.
  • FIG. 10 shows the result of processing in the marker detection method according to the second embodiment.
  • the chromaticity comparison processing unit 50 performs the marker.
  • the image 22 is detected as illustrated in FIG. 10, the color image 23 may be detected as an image in which the invisible marker 30 is superimposed on white.
  • the pixels of the color image 23 at positions corresponding to the periphery of the pixels corresponding to the marker image 22 are extracted, and the average of the extracted color pixels is obtained as the color image position at the position corresponding to each marker image.
  • the improved color image 24 is generated by writing. Thereby, the influence of the superimposition of the marker image 22 can be reduced, and the quality of the color image 23 can be improved.
  • FIG. 11 is a diagram for explaining the binarization / connected region extraction processing unit 61 and the image selection processing unit 62 used in the marker detection apparatus according to the third embodiment.
  • the binarization / connected region extraction processing unit 61 is provided in the subsequent stage of the chromaticity comparison processing unit 50 shown in FIG. 1, and the image selection processing unit 62 is provided in the subsequent stage.
  • Other configurations are the same as those in FIG.
  • the marker image 22 is input to the binarization / connected region extraction processing unit 61.
  • the binarization / connected region extraction processing unit 61 performs binarization processing of the marker image 22 and detects pixels adjacent to each other as a connected region. Further, the binarization / connected region extraction processing unit 61 extracts the feature amount such as the area of the region surrounded by the envelope of the connected region, the perimeter of the connected region, and the circularity.
  • the feature amount obtained by the binarization / connected region extraction processing unit 61 is input to the image selection processing unit 62.
  • the image selection processing unit 62 compares the feature amount with the feature amount of the true marker image corresponding to the invisible marker 30 and determines whether or not the connected region corresponds to the true marker image. Then, the image selection processing unit 62 selects and improves only the connected image obtained by the binarization / connected region extraction processing unit 61 whose feature value is close to the feature value of the true marker image.
  • the marker image 25 is output.
  • FIG. 12 shows the result of processing in the marker detection method according to the third embodiment.
  • an object 41 that is determined to be a marker image by the chromaticity comparison unit 52 is included in the imaging region together with the object 40.
  • the marker image 22 is detected by the chromaticity comparison processing unit 50 as shown in FIG. Detected. In this case, the quality of detection of the marker image 22 is degraded.
  • pixels adjacent to each other are detected as connected regions, and feature amounts are extracted.
  • the feature amount of the object image 29 is greatly different from the feature amount of each marker image corresponding to the invisible marker 30, such as the area, perimeter length, and circularity.
  • the marker detection apparatus 1 can simultaneously obtain both an infrared image and a full color image with a single full color imaging device 20, and can detect even a moving object. .
  • the marker detection apparatus according to the present invention is applicable to three-dimensional environment shape measurement, operation input by human gestures, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

　実施の形態に係るマーカ検出装置は、赤外線波長の不可視なマーカを対象物に対して投射する赤外マーカ投影光源（１０）と、マーカの対象物における反射光を含む対象物からの光を受光し、撮像画像をカラー画像として出力する１台のフルカラー撮像素子（２０）と、撮像画像の各画素の色度と予め設定された基準色度と比較することにより、当該画素がマーカに対応するマーカ画素であるか否かを判定してマーカ画像を生成し、赤外線画像として出力する色度比較処理部（５０）とを備える。１台のカメラにより赤外線画像とフルカラー画像の両者を検出するとともに、移動する対象物の検出を可能とする。

Description

マーカ検出装置及びマーカ検出方法
　本発明は、マーカ検出装置及びマーカ検出方法に関し、特に、フルカラー画像と不可視な赤外線マーカの投影により投影対象物の形状を計測するマーカ検出装置及び方法に関する。
　特許文献１には、不可視なマーカの投影により投影対象物の３次元形状を計測する装置が開示されている。この装置では、赤外線パタンを対象物を含む空間に投射し、赤外波長域のみに感度を持つ赤外カメラにて反射光を検出する。
　検出した画像内のパタンとあらかじめ記憶している投射パタンを微小領域ごとに比較し、各領域の投射パタンと検出パタンのずれから当該微小領域の計測装置からの距離を算出することにより、対象物の形状が計測される。フルカラー画像を取得するためには赤外カメラのほかに別途カラーカメラを配置する必要がある。
　特許文献２には、赤外線画像とフルカラー画像を同時に取得するために、赤外カメラとカラーカメラを同光軸で共役な位置に配置したマーカ検出装置が開示されている。赤外カメラとカラーカメラが同軸に配置されるため、赤外線画像とフルカラー画像を一致させることが容易である。
　特許文献３には、一台のカラーカメラの前に赤外カットフィルタを抜き差しすることにより、赤外線画像とフルカラー画像とを撮像する撮像装置が開示されている。一台のカメラを使用するため、赤外線画像とフルカラー画像が一致する。また、一台のカメラのみを使用するため、カメラにかかる費用の削減が可能である。
　特許文献４には、赤外カットフィルタを用いず、撮影画像に対して分光感度を変化させ、変化前と変化後の差分を取ることで赤外成分を抽出する方式の撮像装置が開示されている。この撮像装置では、１画面内のすべての画素について差分を積算して赤外成分を分離し、画像全体として赤外成分の影響を補正している。
　特許文献５には、一台のカメラにて赤外線画像を分離して検出するため、画素ごとにＲ、Ｇ、Ｂと赤外成分をそれぞれ透過する４色のフィルタを配置する撮像デバイスが開示されている。特許文献６には、赤外線画像を効率よく検出するため、４色のフィルタを最適化する技術が開示されている。
米国特許出願公開第２０１０／１１８１２３号公報 特開２００９－０２７６４０号公報 特開平０９－１６６４９３号公報 特開２００５－３５４４５７号公報 特開２００５－００６０６６号公報 特許第４３８６０９６号公報
　特許文献１では、フルカラー画像と赤外先画像とを取得するためには、赤外カメラとカラーカメラの２台のカメラが必要である。また、赤外カメラとカラーカメラを並べて配置するため、装置の横幅が大きくなる点及び赤外線画像とフルカラー画像とを一致させるのが困難である。
　特許文献２では、２台のカメラが必要である点に加え、赤外線画像とフルカラー画像を分離する光学フィルタ及び光学系が必要となり、装置が大きくなるとともに部品点数の増加により装置価格が増大する。
　特許文献３では、赤外カットフィルタを機械的に切り替える必要があり、構造が複雑化する上、動く対象物に対応できない。特許文献４では、赤外成分の画像全体の積分値を分離しているだけであるため、不可視マーカの検出には使用できない。特許文献５、６では、フィルタを備える撮像デバイスの開発が必要であり、高価となるという問題がある。
　本発明は、上記の問題を背景としてなされたものであり、１台のカメラにより赤外線画像とフルカラー画像の両者を検出するとともに、移動する対象物の検出を可能とした撮像装置及び撮像方法を提供することを主たる目的とする。
　本発明の一態様に係るマーカ検出装置は、赤外線波長の不可視なマーカを対象物に対して投射する赤外マーカ投影光源と、前記マーカの前記対象物における反射光を含む前記対象物からの光を受光し、撮像画像をカラー画像として出力する１台のフルカラー撮像素子と、前記撮像画像の各画素の色度と予め設定された基準色度と比較することにより、当該画素が前記マーカに対応するマーカ画素であるか否かを判定してマーカ画像を生成し、赤外線画像として出力する色度比較処理部とを備えるものである。
　本発明の他の態様に係るマーカ検出方法は、赤外線波長の不可視なマーカを対象物に対して投射し、１台のフルカラー撮像素子により前記マーカの前記対象物における反射光を含む前記対象物からの光を受光し、撮像画像をカラー画像として出力し、前記撮像画像の各画素の色度と予め設定された基準色度と比較することにより、当該画素が前記マーカに対応するマーカ画素であるか否かを判定してマーカ画像を生成し、赤外線画像として出力する。
　このように、１台のカメラにて対象物からの反射像を撮像した後、赤外画像とカラー画像とを分離して同時に検出・処理することが可能であるため、赤外画像とフルカラー画像が検出できるとともに、動く対象物の検出が可能である。
　本発明によれば、１台のカメラにより赤外線画像とフルカラー画像の両者を検出するとともに、移動する対象物の検出を可能とした撮像装置及び撮像方法を提供するが可能となる。
実施の形態１に係るマーカ検出装置の構成を示す図である。 実施の形態１に係るマーカ検出装置の構成を示す図である。 実施の形態１に係るマーカ検出装置のフルカラー撮像素子の構成の一例を示す図である。 実施の形態１に係るマーカ検出装置のフルカラー撮像素子の構成の他の例を示す図である。 実施の形態１に係るマーカ検出装置の色度比較処理部の構成を示す図である。 図４に示す色度比較処理部の処理例を示す図である。 一般的なフルカラー撮像素子の波長による感度特性を示す図である。 色情報を示すデータの構成の一例を示す図である。 実施の形態２に係るマーカ検出装置の一部の構成を示す図である。 実施の形態２に係るマーカ検出方法における処理の結果を示す図である。 実施の形態３に係るマーカ検出装置の一部の構成を示す図である。 実施の形態３に係るマーカ検出方法における処理の結果を示す図である。
　以下、本発明の実施の形態について図面を参照しながら説明する。以下の説明は、本発明の実施の形態を説明するものであり、本発明が以下の実施形態に限定されるものではない。説明の明確化のため、以下の記載は、適宜、省略及び簡略化がなされている。又、当業者であれば、以下の実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能である。
　本発明は、１台のカメラで、不可視な赤外線マーカの投影により投影対象物の形状を計測するとともに、フルカラー画像を同時に取得するマーカ検出装置に関する。本発明に係るマーカ検出装置は、赤外画像とフルカラー画像とを含む撮影画像から、各画素の色度を基準色度と比較することにより赤外画像とフルカラー画像とを分離する。
　実施の形態１．
　本発明の実施の形態１に係るマーカ検出装置の構成について、図１を参照して説明する。図１は、実施の形態１に係るマーカ検出装置１の構成を示す図である。図１示すように、マーカ検出装置１は、赤外マーカ投影光源１０、フルカラー撮像素子２０、色度比較処理部５０を備えている。なお、図２に示すように、赤外マーカ投影光源１０を駆動するドライバ１１が設けられる。ここでは、人間の手を立体形状計測及び撮像の対象（対象物４０）とする。
　赤外マーカ投影光源１０は、対象物４０の形状を計測するため、対象物４０を含む空間に赤外波長の不可視マーカ３０を投射する。赤外マーカ投影光源１０は、ドライバ１１により駆動される。マーカ検出装置１には、１台のフルカラー撮像素子２０が設けられている。フルカラー撮像素子２０は、不可視マーカ３０の対象物４０での反射光を含む、対象物４０からの光を受光して、撮影画像２１を出力する。
　フルカラー撮像素子２０から出力された撮影画像２１は、色度比較処理部５０に入力される。色度比較処理部５０は、予め定めた色度の領域を抽出することで、マーカ画像２２を抽出する。また、撮影画像２１は、そのままカラー画像２３としても出力される。
　フルカラー撮像素子２０としては、図３又は図４に示すものを用いることができる。図３、４は、マーカ検出装置１に用いられるフルカラー撮像素子２０の構成の一例を示す図である。図３に示すフルカラー撮像素子２０は、レンズ２６、２次元撮像デバイス２７のみを有しており、赤外カットフィルタを有していない。この例では、カラー画像２３にはマーカ画像２２が重畳されるが、マーカ画像２２はコントラストよく検出可能である。
　図４に示すフルカラー撮像素子２０は、レンズ２６、２次元撮像デバイス２７との間に、赤外カットフィルタ２８を備えている。赤外カットフィルタ２８は、可視光に対する赤外光の減衰率が３０％を下限としたものである。この例では、カラー画像２３に重畳されたマーカ画像２２の強度を低下させることができるため、カラー画像２３の品質を向上させることができる。なお、マーカ画像２２のコントラストは低下するものの、検出は可能である。
　色度比較処理部５０は、入力される撮影画像２１を１画素毎に切り出し、予め設定した基準色度と比較することにより、当該画素がマーカ画像であるか否かを判断し、出力画素として出力する。当該画素の撮影画像２１内の対応する位置に、出力画素を書込むことによりマーカ画像２２が得られる。
　図５に、実施の形態１に係るマーカ検出装置１に用いられる色度比較処理部５０の構成の一例を示す。図５に示すように、色度比較処理部５０は、色度演算処理部５１、色度比較部５２、基準色度記憶部５３を備えている。色度演算処理部５１には、撮影画像２１が入力される。
　図６に色度演算処理部５１の処理の一例が示される。図６に示すように、色度演算処理部５１は、撮影画像２１を１画素毎に切り離して入力画素５４を生成する。入力画素５４は、赤色のＲ成分５５緑色のＧ成分５６、青色のＢ成分５７を含む。
　色度演算処理部５１は、入力画素５４をＲ成分５５、Ｇ成分５６、Ｂ成分５７に分割し、これらを用いて、当該入力画素５４の色度座標５８を演算し、色度比較部５２に出力する。図５に示す色度比較部５２は、色度座標５８と予め基準色度記憶部５３に記憶された基準色度とを比較して、当該入力画素５４がマーカ画素であるか、非マーカ画素であるかを判断し、判断結果を出力画素として出力する。当該出力画素を撮影画像２１内の対応する位置に書込むことにより、マーカ画像２２が得られる。
　ここで、実施の形態１に係るマーカ検出装置方法について説明する。まず、赤外マーカ投影光源１０が予め定めた不可視マーカ３０を対象物４０に投射する。対象物４０上に投影された不可視マーカ３０と対象物４０は、フルカラー撮像素子２０により撮像され、撮影画像２１が色度比較処理部５０に入力される。
　図１において撮影画像２１には、不可視マーカ３０と対象物４０の画像が混在している。撮影画像２１に対して上述した色度比較処理を実行することにより、不可視マーカ３０と対象物４０の画像を分離することができる。不可視マーカ３０の像はマーカ画像２２として出力され、対象物４０を含む像はカラー画像２３として出力される。
　不可視マーカ３０の像と対象物４０を含む環境の画像は、フルカラー撮像素子２０の検出波長特性を利用して分離される。以下に撮影画像２１からマーカ画像２２を分離するための色度比較処理部５０の動作原理について図７を参照して説明する。図７は、一般的なフルカラー撮像素子２０の波長による感度特性が示されている。
　図７において、横軸が波長（ｎｍ）、縦軸が相対感度を示している。一般的なフルカラー撮像素子２０では、光検出部の画素上に、赤・緑・青の波長のいずれかを透過する色フィルタが配置されている。
　色フィルタの機能により、青色を検出する画素は図７中特性９１で示すように、波長４３５～４８０ｎｍの範囲に大きな感度を持つ。緑色を検出する画素は、特性９２に示すように、波長５００～５６０ｎｍの範囲に大きな感度を持つ。赤色を検出する画素は、特性９３に示すように、波長６１０～７５０ｎｍの範囲に大きな感度を持つ。また、青色、緑色、赤色のいずれの色を検出する画素とも、共通して８４０ｎｍ近辺の赤外線波長９５にも大きな感度を持つ。
　赤外マーカ投影光源１０の波長を赤外線波長９５と一致させておくことにより、１台のフルカラー撮像素子２０によりカラー画像と赤外画像の両者を検出することができる。このとき、可視波長帯の画像は色フィルタにより赤・緑・青に分離されて検出される。また、赤外画像は撮像素子によって定まる一定の比率による一定の色度の色として検出される。
　図７に示したように、多くの一般的なフルカラー撮像素子では、赤色、緑色、青色、いずれの色を検出する画素とも、赤外線波長９５の８４０ｎｍ近辺の波長帯で同等の大きな感度を持つ。この特性により、赤外線波長９５と一致させた赤外マーカ投影光源１０による投影像は、白色画像として検出される。
　色度比較処理部５０では、上述のように、入力される撮影画像２１を１画素ごとに分割し、図６に示す入力画素５４として切り出し、色度比較により当該画素がマーカ画像であるかないかを判断して出力画素を出力する。図８に、色情報を有する入力画素５４のデータの構成の一例を示す。
　図８に示す例では、入力画素５４は、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）、各８ビットからなる。入力画素５４は、Ｒ成分５５、Ｇ成分５６、Ｂ成分５７に分割され、それぞれ８ビットのデータが以降の処理に用いられる。ここで、Ｒ成分５５の８ビットのデータをＲデータ（Ｒ）、Ｇ成分５６の８ビットデータをＧデータ（Ｇ）、Ｂ成分５７の８ビットのデータをＢデータ（Ｂ）とする。
　色度演算処理部５１は、入力されるＲＧＢデータを色度座標に変換する。以下、色度座標への変換の一例について説明する。色度演算処理部５１は、一例として以下の式（１）を用いて、ＲＧＢデータをＸＹＺ三刺激値に変換する。
Figure JPOXMLDOC01-appb-M000001
　次に、ＸＹＺ三刺激値を以下の２つの式（２）を用いて、色度座標（ｘ、ｙ）に変換する。
Figure JPOXMLDOC01-appb-M000002
　また、基準色度記憶部５３に記憶される基準色度は、以下のようにして生成される。まず、赤外マーカ投影光源１０から校正パタンを投射して得られる撮影画像２１からＲＧＢデータを生成する。このＲＧＢデータに対して式（１）、（２）を用いて演算処理を行うことにより、基準色度に対応する色度座標を求めることができる。この校正パタンは、全面一様な輝度の光である。フルカラー撮像素子２０により得られる画像の全画面が一様な輝度の画像となる。なお、対象物４０として十分大きな白色板を配置するとよい。
　なお、式（１）の演算処理を適用せず、式（２）にＸ、Ｙ、Ｚに直接Ｒ、Ｇ、Ｂを代入して色度座標の演算処理を簡略化することも可能である。式（１）を適用しない場合は、基準色度を作成する場合にも式（１）の処理を適用せず、式（２）の演算処理のみを適用する必要がある。
　図５に示す色度比較部５２の動作について、以下に説明する。色度比較部５２は、入力画素５４を変換して得た色度座標５８と、基準色度記憶部５３に格納される基準色度とを比較し、当該色度演算処理部５１がマーカ画素であるか非マーカ画素であるかを判断し、判断結果から出力画素を生成する。
　具体的には、入力画素５４を変換して得た色度座標５８を（ｘ、ｙ）、あらかじめ記憶した基準色度に対応する色度座標を（ｘｒ、ｙｒ）とおくと、入力画素５４に対応する色度座標と基準色度に対応する色度座標の距離Ｄは、以下の式（３）により算出される。
Figure JPOXMLDOC01-appb-M000003
　ここで、色度座標距離Ｄが０に近いほど、入力画素５４の色度が基準色度に近いことを示す。従って、色度比較部５２は、Ｄがあらかじめ定めた値εより小さい場合に当該入力画素５４をマーカ画素と判断し、出力画素を白とし、大きい場合には出力画素を黒とする。以上により得られた出力画素によりマーカ画像２２が生成される。
　以上説明したように、マーカ検出装置１では、１台のフルカラー撮像素子２０にて、不可視マーカ３０の反射像を含む、対象物４０からの反射像を１回で撮影した後、赤外画像とカラー画像とを分離して同時に検出・処理することができる。このため、赤外画像とフルカラー画像の両者を同時に得ることができるとともに、動く対象物であっても検出が可能である。また、赤外画像とフルカラー画像とが光学的に一致するため、検出結果利用の利便性を向上させることが可能となる。
　また、マーカ検出装置１は、１台のフルカラー撮像素子２０のみを備えているため、小型・軽量化が可能であり、設置面積の増加を抑制することができる。また、消費電力の増加を抑制し、低電力化を図ることが可能となる。
　さらに、特殊な画素行動や光学部品を必要としないため、量産されているフルカラー撮像素子２０を適用することができるとともに、少ない部品点数にて装置を構成することが可能であるため、装置費用を低減することができる。
　実施の形態２．
　本発明の実施の形態２に係るマーカ検出装置について、図９を参照して説明する。図９は、実施の形態２に係るマーカ検出装置に用いられる差分画像抽出部６０について説明する図である。差分画像抽出部６０は、図１に示す色度比較処理部５０の後段に設けられる。他の構成については、図１と同じであるため、説明は省略する。
　図９に示すように、差分画像抽出部６０には、マーカ画像２２とカラー画像２３とが入力される。差分画像抽出部６０は、マーカ画像２２中の各マーカ像の周囲に相当する位置にあるカラー画像２３中のカラー画素を抽出し、抽出したカラー画素の平均を各マーカ像に対応する位置にあるカラー画像位置に書き込み、改良カラー画像２４として出力する。
　図１０に、実施の形態２に係るマーカ検出方法における処理の結果を示す。対象物４０の形状計測のために赤外マーカ投影光源１０から投影される不可視マーカ３０が、対象物４０に図１０に示すような状態で投影されている場合、色度比較処理部５０によりマーカ画像２２は図１０に図示されるように検出されるが、カラー画像２３は不可視マーカ３０が白く重畳された画像として検出される場合がある。
　本実施の形態では、マーカ画像２２に相当する画素の周囲に相当する位置にあるカラー画像２３の画素を抽出し、抽出したカラー画素の平均を各マーカ像に対応する位置にあるカラー画像位置に書き込むことにより、改良カラー画像２４を生成する。これにより、マーカ画像２２の重畳の影響を軽減することができ、カラー画像２３の品質を向上することができる。
　実施の形態３．
　本発明の実施の形態３に係るマーカ検出装置について、図１１を参照して説明する。図１１は、実施の形態３に係るマーカ検出装置に用いられる２値化・連結領域抽出処理部６１、画像選別処理部６２について説明する図である。２値化・連結領域抽出処理部６１は図１に示す色度比較処理部５０の後段に設けられ、画像選別処理部６２はその後段に設けられる。他の構成については、図１と同じであるため、説明は省略する。
　図１１に示すように、２値化・連結領域抽出処理部６１には、マーカ画像２２が入力される。２値化・連結領域抽出処理部６１は、マーカ画像２２の２値化処理を行い、互いに隣り合う画素を連結領域として検出する。また、２値化・連結領域抽出処理部６１は、当該連結領域の包絡線に囲まれる領域の面積や、連結領域の周囲長、円形度などの特徴量を抽出する。
　２値化・連結領域抽出処理部６１により得られた特徴量は、画像選別処理部６２に入力される。画像選別処理部６２は、この特徴量と不可視マーカ３０に対応する真のマーカ像の特徴量とを比較して連結領域が真のマーカ像に対応するか否かを判断する。そして、画像選別処理部６２は、２値化・連結領域抽出処理部６１により得られた連結画像のうち、その特徴量が真のマーカ像の特徴量に近い値のもののみを選択し、改良マーカ画像２５として出力する。
　図１２に、実施の形態３に係るマーカ検出方法における処理の結果を示す。図１２に示す例においては、撮像領域内に、対象物４０とともに、色度比較部５２にてマーカ画像であると判断される物体４１が含まれているものとする。
　不可視マーカ３０が図１２に示すような状態で投影されている場合、色度比較処理部５０によりマーカ画像２２は図１２のように検出されると同時に、物体４１の画像である物体画像２９も検出される。この場合、マーカ画像２２の検出の品質が低下する。
　実施の形態３では、マーカ画像２２からマーカ像として検出された画素の中で、互いに隣り合う画素を連結領域として検出し、特徴量を抽出している。この物体画像２９の特徴量は、不可視マーカ３０に対応するマーカ画像１つ１つの面積、周囲長、円形度などの特徴量と大きく異なる。連結領域の特徴量が、個々のマーカ画像に対応する特徴量に近い連結領域を抽出することにより、不可視マーカ３０とは異なる物体画像２９を排除することができる。これにより、真のマーカ画像が改良マーカ画像２５として得られ、マーカ画像検出の品質を向上させることができる。
　以上説明したように、マーカ検出装置１では、１台のフルカラー撮像素子２０にて、赤外画像とフルカラー画像の両者を同時に得ることができるとともに、動く対象物であっても検出が可能である。このため、本発明に係るマーカ検出装置は、３次元環境形状計測、人のジェスチャによる操作入力等に適用可能である。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年１月２４日に出願された日本出願特願２０１２－０１２４９４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　マーカ検出装置
　１０　赤外マーカ投影光源
　１１　ドライバ
　２０　フルカラー撮像素子
　２１　撮影画像
　２２　マーカ画像
　２３　カラー画像
　２４　改良カラー画像
　２５　改良マーカ画像
　２６　レンズ
　２７　２次元撮像デバイス
　２８　赤外カットフィルタ
　２９　物体画像
　３０　不可視マーカ
　４０　対象物
　４１　物体
　５０　色度比較処理部
　５１　色度演算処理部
　５２　色度比較部
　５３　基準色度記憶部
　５４　入力画素
　５５　Ｒ成分
　５６　Ｇ成分
　５７　Ｂ成分
　５８　色度座標
　６０　差分画像抽出部
　６１　２値化・連結領域抽出処理部
　６２　画像選別処理部
　９５　赤外線波長

Claims (10)

  1. 　赤外線波長の不可視なマーカを対象物に対して投射する赤外マーカ投影光源と、
    　前記マーカの前記対象物における反射光を含む前記対象物からの光を受光し、撮像画像をカラー画像として出力する１台のフルカラー撮像素子と、
    　前記撮像画像の各画素の色度と予め設定された基準色度と比較することにより、当該画素が前記マーカに対応するマーカ画素であるか否かを判定してマーカ画像を生成し、赤外線画像として出力する色度比較処理部と、
    　を備えるマーカ検出装置。
  2. 　前記マーカは、前記フルカラー撮像素子の赤色、緑色、青色、いずれの色を検出する画素ともに感度を持つ赤外線波長と略等しい波長を有することを特徴とする請求項１に記載のマーカ検出装置。
  3. 　前記基準色度は、赤外マーカ投影光源から全面一様な輝度の光である校正パタンを照射して得られる撮像画像を用いて生成される請求項１又は２に記載のマーカ検出装置。
  4. 　前記マーカ画像中の各マーカ像の周囲に相当する位置にある前記カラー画像中のカラー画素を抽出し、抽出した前記カラー画素の平均を前記各マーカ像に対応する位置にあるカラー画像位置に書き込み、改良カラー画像として出力する差分画像抽出部をさらに備える請求項１～３のいずれか１項に記載のマーカ検出装置。
  5. 　前記マーカ画像において、マーカ像として検出された画素のうち隣り合う画素を連結領域として検出し、当該連結領域の特徴量を抽出する連結領域抽出処理部と、
    　前記特徴量と前記マーカに対応する真のマーカ像の特徴量とを比較し、前記連結領域が前記真のマーカ像に対応するか否かを判断し、前記連結画像のうち、真のマーカ像の特徴量に近い値のものを選択し、改良マーカ画像として出力する画像選別処理部と、
    　をさらに備える請求項１～４のいずれか１項に記載のマーカ検出装置。
  6. 　前記フルカラー撮像素子は、赤外カットフィルタを備えないことを特徴とする請求項１～５のいずれか１項に記載のマーカ検出装置。
  7. 　前記フルカラー撮像素子は、可視光に対する赤外光減衰率が３０％を下限とした赤外カットフィルタを備えることを特徴とする請求項１～５のいずれか１項に記載のマーカ検出装置。
  8. 　赤外線波長の不可視なマーカを対象物に対して投射し、
    　１台のフルカラー撮像素子により前記マーカの前記対象物における反射光を含む前記対象物からの光を受光し、撮像画像をカラー画像として出力し、
    　前記撮像画像の各画素の色度と予め設定された基準色度と比較することにより、当該画素が前記マーカに対応するマーカ画素であるか否かを判定してマーカ画像を生成し、赤外線画像として出力する、
    　マーカ検出方法。
  9. 　前記マーカ画像中の各マーカ像の周囲に相当する位置にある前記カラー画像中のカラー画素を抽出し、抽出した前記カラー画素の平均を前記各マーカ像に対応する位置にあるカラー画像位置に書き込み、改良カラー画像として出力する請求項８項に記載のマーカ検出方法。
  10. 　前記マーカ画像において、マーカ像として検出された画素のうち隣り合う画素を連結領域として検出し、当該連結領域の特徴量を抽出し、
    　前記特徴量と前記マーカに対応する真のマーカ像の特徴量とを比較し、前記連結領域が前記真のマーカ像に対応するか否かを判断し、前記連結画像のうち、真のマーカ像の特徴量に近い値のものを選択し、改良マーカ画像として出力する請求項８又は９に記載のマーカ検出方法。
PCT/JP2012/007600 2012-01-24 2012-11-27 マーカ検出装置及びマーカ検出方法 WO2013111228A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-012494 2012-01-24
JP2012012494 2012-01-24

Publications (1)

Publication Number Publication Date
WO2013111228A1 true WO2013111228A1 (ja) 2013-08-01

Family

ID=48873007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007600 WO2013111228A1 (ja) 2012-01-24 2012-11-27 マーカ検出装置及びマーカ検出方法

Country Status (1)

Country Link
WO (1) WO2013111228A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070009A (ja) * 2001-08-28 2003-03-07 Sharp Corp 撮像装置
JP2006238114A (ja) * 2005-02-25 2006-09-07 Ikegami Tsushinki Co Ltd 撮像用照明の判定方法
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
WO2010116923A1 (ja) * 2009-04-07 2010-10-14 コニカミノルタオプト株式会社 画像入力装置
JP2011193487A (ja) * 2011-04-15 2011-09-29 Toyota Central R&D Labs Inc 擬似カラー画像生成装置、及びプログラム
WO2011162155A1 (ja) * 2010-06-23 2011-12-29 コニカミノルタオプト株式会社 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070009A (ja) * 2001-08-28 2003-03-07 Sharp Corp 撮像装置
JP2006238114A (ja) * 2005-02-25 2006-09-07 Ikegami Tsushinki Co Ltd 撮像用照明の判定方法
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
WO2010116923A1 (ja) * 2009-04-07 2010-10-14 コニカミノルタオプト株式会社 画像入力装置
WO2011162155A1 (ja) * 2010-06-23 2011-12-29 コニカミノルタオプト株式会社 撮像装置
JP2011193487A (ja) * 2011-04-15 2011-09-29 Toyota Central R&D Labs Inc 擬似カラー画像生成装置、及びプログラム

Similar Documents

Publication Publication Date Title
TWI444050B (zh) 從彩色馬賽克成像器達到全色反應的方法及裝置
JP6322939B2 (ja) 撮像システム及び色検査システム
US20110310014A1 (en) Image pickup apparatus and projection type image display apparatus
WO2014208178A1 (ja) 撮像装置及び撮像方法
JP2012021968A (ja) 距離測定モジュール及びこれを含むディスプレイ装置、ディスプレイ装置の距離測定方法
CN105765630B (zh) 通过创建多个色度斑点图案测量受到应力的结构部件的形状、移动和/或变形的多尺度测量方法
JP2008085659A (ja) デジタルカメラ
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
WO2017168477A1 (ja) 撮像装置および画像処理方法
JP2010139324A (ja) 色ムラ測定方法、および色ムラ測定装置
JP2010272934A (ja) カラーバランス調整装置
JP6341335B2 (ja) 二次元測色装置
US20230230345A1 (en) Image analysis method, image analysis device, program, and recording medium
WO2013111228A1 (ja) マーカ検出装置及びマーカ検出方法
EP3993382B1 (en) Colour calibration of an imaging device
JP2012008845A (ja) 画像処理装置
EP3350986B1 (en) Systems and methods for detecting light sources
Maeda et al. Acquiring multispectral light transport using multi-primary DLP projector
JP2012010141A (ja) 画像処理装置
US20200045282A1 (en) Imaging apparatus and endoscope apparatus
JP5054659B2 (ja) 撮像装置
JP4716406B2 (ja) カラー画像表示方法
WO2020100623A1 (ja) 撮像装置
JP7321738B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4998782B2 (ja) 顕微鏡画像処理装置及び顕微鏡画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP