JP5988093B2 - Image processing apparatus, object identification apparatus, and program - Google Patents
Image processing apparatus, object identification apparatus, and program Download PDFInfo
- Publication number
- JP5988093B2 JP5988093B2 JP2012168378A JP2012168378A JP5988093B2 JP 5988093 B2 JP5988093 B2 JP 5988093B2 JP 2012168378 A JP2012168378 A JP 2012168378A JP 2012168378 A JP2012168378 A JP 2012168378A JP 5988093 B2 JP5988093 B2 JP 5988093B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- light
- ambient light
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、画像処理装置、物体識別装置、及びプログラムに関する。 The present invention relates to an image processing device, an object identification device, and a program.
従来、マルチバンドカメラを用いたマルチバンド画像情報抽出方法であって、被写体を照射する光源情報が未知の光源を被写体に点灯してマルチバンド画像情報を取得し、また光源情報が未知の光源と光源情報が既知のプローブ光源を併用して同一被写体を照射してマルチバンド画像を取得し、プローブ光源を点灯して撮像した場合の被写体のマルチバンド画像情報から、プローブ光源を点灯させないで撮像した場合の被写体のマルチバンド画像情報を減じた差を、既知のプローブ光源情報で割ることによって、被写体の分光反射率情報を取得することを特徴とするマルチバンド画像情報抽出方法が提案されている（例えば、特許文献１参照）。 Conventionally, a multi-band image information extraction method using a multi-band camera is used to acquire multi-band image information by lighting a light source whose light source information illuminates the subject is unknown to the subject. Using a probe light source with known light source information together, illuminating the same subject to acquire a multiband image, and imaging without turning on the probe light source from the subject's multiband image information when the probe light source is turned on A multiband image information extraction method has been proposed in which spectral reflectance information of a subject is obtained by dividing the difference obtained by subtracting the multiband image information of the subject by known probe light source information ( For example, see Patent Document 1).
また、マルチバンドカメラにより得られた複数のスペクトル画像を表す画像データを、光量に対して線形となるように補正して、複数のスペクトル画像における画素毎に分光エネルギー分布を求め、さらにこれの積分値を求め、この積分値を値が大きい順にソートし、上位２％の値を採る画素群における積分値の平均値等を求め、これを撮像時における光源の分光エネルギーデータとし、画像データを分光エネルギーデータにより規格化して、被写体の分光反射率データを求める画像処理方法が提案されている（例えば、特許文献２参照）。 In addition, image data representing a plurality of spectral images obtained by a multiband camera is corrected so as to be linear with respect to the amount of light, and a spectral energy distribution is obtained for each pixel in the plurality of spectral images. The integrated values are sorted in descending order, and the average value of the integrated values in the pixel group that takes the top 2% is obtained. This is used as the spectral energy data of the light source at the time of imaging, and the image data is spectrally divided. An image processing method for obtaining spectral reflectance data of a subject by normalizing with energy data has been proposed (see, for example, Patent Document 2).
また、被写体をカメラによって撮像して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成する画像処理装置であって、カメラの分光感度情報と、撮像時の照明光の分光分布情報と、被写体の統計情報とから得られる分光反射率推定行列と、マルチバンド画像上の白色点の画素値とを入力して、白色点の分光反射率を算出し、分光反射率推定行列を、白色点の分光反射率に基づき補正し、補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成し、分光反射率画像から所定の照明環境下の色再現画像を生成する画像処理装置が提案されている（例えば、特許文献３参照）。 An image processing apparatus that generates a color reproduction image under a predetermined illumination environment from a multiband image obtained by imaging a subject with a camera, the camera spectral sensitivity information and a spectral distribution of illumination light at the time of imaging Information, the spectral reflectance estimation matrix obtained from the subject statistical information, and the pixel value of the white point on the multiband image are calculated, the spectral reflectance of the white point is calculated, and the spectral reflectance estimation matrix is calculated. , Correcting based on the spectral reflectance of the white point, generating a spectral reflectance image after white balance adjustment based on the corrected spectral reflectance estimation matrix, and generating a color reproduction image under a predetermined illumination environment from the spectral reflectance image An image processing apparatus to be generated has been proposed (see, for example, Patent Document 3).
しかしながら、屋外環境においてはストロボ等による照射光が輝度値に反映されない場合がある。例えば、太陽光が強く照射されている物体表面ではストロボを照射した画像と照射しない画像との間で輝度値に大きな変化が表れない。このような領域に対して特許文献１の手法を適用すると、計算される被写体の分光反射率情報は誤差を多く含んだ情報になる、という問題がある。 However, in an outdoor environment, light emitted by a strobe or the like may not be reflected in the luminance value. For example, a large change in luminance value does not appear between an image irradiated with strobe light and an image not irradiated on an object surface that is strongly irradiated with sunlight. When the method of Patent Document 1 is applied to such a region, there is a problem that the calculated spectral reflectance information of the subject becomes information including many errors.
また、特許文献２の技術では、画像中に環境光を全反射するような領域が含まれると仮定して、輝度の大きい上位２％程度の画素群から光源の分光情報を算出している。しかしながら、一般的に環境光を全反射するような領域はその他の領域に比べて格段に入射光量が大きいため、画素値が飽和していることが多い。画素値の飽和は輝度情報の欠落を意味するため、光源の分光スペクトル情報を復元することは困難である。また、画像中で輝度の大きい領域が必ずしも環境光を全反射する領域に対応しているという保証はなく、入力シーンに応じて環境光とは異なる分光情報が算出され、誤った規格化により想定した被写体の分光反射率が正しく求められない場合がある、という問題がある。 Further, in the technique of Patent Document 2, the spectral information of the light source is calculated from the upper 2% pixel group having the highest luminance, assuming that an area that totally reflects the ambient light is included in the image. However, in general, a region that totally reflects ambient light has a much larger amount of incident light than other regions, and thus the pixel value is often saturated. Since saturation of pixel values means lack of luminance information, it is difficult to restore spectral information of the light source. In addition, there is no guarantee that areas with high luminance in the image correspond to areas that totally reflect ambient light. Spectral information that differs from ambient light is calculated according to the input scene, and is assumed due to incorrect standardization. There is a problem that the spectral reflectance of the subject that has been measured may not be obtained correctly.
また、特許文献３の技術では、ユーザによって指定された白色点の輝度値を基準としてマルチバンド画像におけるホワイトバランスを調整している。しかしながら、一般的な屋外環境を入力画像とした場合、必ずしも適切な白色点が画像中に含まれるとは限らない。また、白色点をユーザが指定する構成では装置の自動化の実現に不向きである、という問題がある。 In the technique of Patent Document 3, the white balance in the multiband image is adjusted based on the luminance value of the white point designated by the user. However, when a general outdoor environment is used as an input image, an appropriate white point is not always included in the image. In addition, there is a problem that the configuration in which the user specifies the white point is not suitable for realizing the automation of the apparatus.
本発明は、上記の問題点を解決するためになされたもので、環境光の影響を考慮した適切な補正を行うことができる画像処理装置及びプログラム、並びに適切に補正された画像から精度良く物体を識別することができる物体識別装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an image processing apparatus and program capable of performing appropriate correction in consideration of the influence of ambient light, and an object accurately obtained from an appropriately corrected image It is an object of the present invention to provide an object identification device and a program capable of identifying the object.
上記目的を達成するために、本発明の画像処理装置は、被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段と、前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段と、前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段と、を含んで構成されている。 In order to achieve the above object, the image processing apparatus of the present invention has a plurality of images captured by each of a plurality of light beams in a plurality of wavelength bands when the subject is irradiated with illumination light and when it is not irradiated. A setting means for setting a plurality of areas in the image according to the intensity of the influence of the environmental light based on any one of the pixel values, and for each area set by the setting means, the wavelength of the environmental light An estimation means for estimating a spectral balance indicating a spectral intensity ratio for each band, and based on the spectral balance of the environmental light estimated by the estimation means, the spectral intensity for each wavelength band of the environmental light is constant. Correction means for correcting the pixel values of the pixels in the region in each of the plurality of wavelength band images.
本発明の画像処理装置によれば、設定手段が、被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、画像内に環境光の影響の強さに応じた複数の領域を設定する。そして、推定手段が、設定手段により設定された領域毎に、環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定し、補正手段が、推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、複数の波長帯の画像の各々における領域内の画素の画素値を補正する。 According to the image processing apparatus of the present invention, the setting unit can detect any of the plurality of images captured by each of the light of the plurality of wavelength bands when the subject is irradiated with the illumination light and when the illumination light is not irradiated. Based on these pixel values, a plurality of areas are set in the image according to the intensity of the influence of the ambient light. Then, the estimation means estimates a spectral balance indicating the spectral intensity ratio for each wavelength band of the environmental light for each region set by the setting means, and the correction means calculates the spectral balance of the environmental light estimated by the estimation means. Based on this, the pixel values of the pixels in the region in each of the images of the plurality of wavelength bands are corrected so that the spectral intensity for each wavelength band of the ambient light is constant.
このように、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に推定した環境光のスペクトルバランスに基づいて画素値を補正するため、環境光の影響を考慮した適切な補正を行うことができる。 Thus, in order to set a region according to the intensity of the influence of the ambient light, that is, a region that is considered to have the same spectral balance, to correct the pixel value based on the spectral balance of the ambient light estimated for each region, Appropriate correction can be performed in consideration of the influence of ambient light.
また、前記推定手段は、同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値、前記照明光が照射されていないときの画像の画素値、及び前記照明光の波長帯毎のスペクトル強度比に基づいて、前記環境光のスペクトルバランスを推定することができる。この場合、前記推定手段は、前記差分値及び前記照明光が照射されていないときの画像の画素値の各々を、前記領域内において空間積分した値を用いて、前記環境光のスペクトルバランスを推定することができる。これにより、暗電流などによるノイズの影響を減少させ、環境光のスペクトルバランスの推定精度を向上させることができる。 In addition, the estimation unit may calculate a difference value between an image when the illumination light in the same wavelength band is irradiated and an image when the illumination light is not irradiated, and an image when the illumination light is not irradiated. Based on the pixel value and the spectral intensity ratio for each wavelength band of the illumination light, the spectral balance of the ambient light can be estimated. In this case, the estimation means estimates the spectral balance of the ambient light using a value obtained by spatially integrating each of the difference value and the pixel value of the image when the illumination light is not irradiated in the region. can do. Thereby, the influence of noise due to dark current or the like can be reduced, and the estimation accuracy of the ambient light spectrum balance can be improved.
また、前記設定手段は、前記複数の波長帯のいずれかの画像の輝度値、及びいずれかの同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値の少なくとも一方と、環境光の影響の強さに応じて予め定めた閾値とを比較することにより、前記領域を設定することができる。これにより、環境光の影響の強さに応じた領域を適切に設定することができる。 In addition, the setting means includes a luminance value of any one of the plurality of wavelength bands, and an image when the illumination light is irradiated in any one wavelength band and when the illumination light is not irradiated. The region can be set by comparing at least one of the difference values with the image and a threshold value determined in advance according to the intensity of the influence of ambient light. Thereby, the area | region according to the strength of the influence of environmental light can be set appropriately.
また、前記設定手段は、照度計により計測した前記環境光の照度、または時刻もしくは前記環境光の光源位置により推定された環境光の強度に基づいて、前記領域を設定することができる。これにより、環境光の影響の強さに応じた領域をより適切に設定することができる。 Further, the setting means can set the region based on the illuminance of the ambient light measured by an illuminometer, or the intensity of ambient light estimated from the time or the light source position of the ambient light. Thereby, the area | region according to the strength of the influence of environmental light can be set more appropriately.
また、上記目的を達成するために、本発明の物体識別装置は、上記の画像処理装置と、前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段と、を含んで構成されている。 In order to achieve the above object, the object identification device of the present invention includes the above image processing device, a value based on each pixel value of an image in a plurality of wavelength bands corrected by the correction unit, and the illumination And an identification means for identifying the object to be identified by comparing a predetermined threshold based on the spectral reflectance characteristics of the object to be identified with respect to light.
本発明の物体識別装置によれば、識別手段が、推定手段により推定された領域毎の環境光のスペクトルバランスに基づいて、補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、識別対象の物体を識別する。 According to the object identification device of the present invention, the identification unit converts the pixel values of the images of the plurality of wavelength bands corrected by the correction unit based on the spectral balance of the ambient light for each region estimated by the estimation unit. The identification target object is identified by comparing the value based on the threshold value predetermined based on the spectral reflectance characteristics of the identification target object with respect to the illumination light.
環境光のスペクトルバランスが崩れている場合には、識別対象の物体の分光反射率特性に基づいた識別処理が適切に行えない場合があるが、環境光のスペクトルバランスに基づいて補正された画素値を用いることで、精度良く物体を識別することができる。 When the spectral balance of the ambient light is broken, the identification processing based on the spectral reflectance characteristics of the object to be identified may not be performed properly, but the pixel value corrected based on the spectral balance of the ambient light By using, an object can be identified with high accuracy.
また、前記推定手段は、前記環境光のスペクトルバランスとして、前記識別手段で用いる画像の波長帯における前記環境光のスペクトル強度比を推定することができる。これにより、スペクトルバランスの推定処理を軽減することができる。 Further, the estimating means can estimate the spectral intensity ratio of the environmental light in the wavelength band of the image used by the identifying means as the spectral balance of the environmental light. Thereby, the estimation process of spectrum balance can be reduced.
また、前記識別手段は、前記閾値を前記環境光の影響の強さに応じて前記領域毎に設定し、前記領域毎に前記識別対象の物体を識別し、前記領域毎の識別結果を統合することができる。これにより、環境光の影響の強さを考慮したより適切な識別を行うことができる。 The identification unit sets the threshold value for each area according to the influence of the ambient light, identifies the object to be identified for each area, and integrates the identification results for each area. be able to. Thereby, more appropriate identification can be performed in consideration of the intensity of the influence of ambient light.
また、前記設定手段は、環境光の影響の強さが強い領域か又は弱い領域かを判定するための領域閾値と、前記複数の画像のいずれかの画素値に基づく値、又は、同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値とを比較して、該画像内に環境光の影響が強い領域と弱い領域とを設定し、前記推定手段は、前記環境光の影響が強い領域における前記環境光のスペクトルバランスを推定し、前記補正手段は、前記推定手段により推定された環境光のスペクトルバランスに基づいて、前記環境光の影響が強い領域内の画素の画素値を補正し、前記識別手段は、前記環境光の影響が弱い領域は、前記補正手段による補正前の画像を用いて前記識別対象の物体を識別し、前記環境光の影響が強い領域は、前記補正手段による補正後の画像を用いて前記識別対象の物体を識別することができる。これにより、全体的な処理軽減と共に識別精度を向上することができる。 In addition, the setting unit may include a region threshold value for determining whether the influence of ambient light is a strong region or a weak region, a value based on any pixel value of the plurality of images, or the same wavelength band. The difference value between the image when the illumination light is irradiated and the image when the illumination light is not irradiated is compared, and a region where the influence of the ambient light is strong and a region where the environment light is strong are set in the image And the estimating means estimates the spectral balance of the environmental light in a region where the influence of the environmental light is strong, and the correcting means is configured to calculate the environmental light based on the spectral balance of the environmental light estimated by the estimating means. Correcting the pixel value of the pixels in the region where the influence of the environmental light is strong, and the identification unit identifies the object to be identified using the image before the correction by the correction unit in the region where the influence of the ambient light is weak, The influence of the ambient light There area may identify the object to be identified using the image corrected by said correction means. As a result, the overall processing can be reduced and the identification accuracy can be improved.
また、本発明の画像処理プログラムは、コンピュータを、被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段、前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段、及び前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段として機能させるためのプログラムである。 Further, the image processing program of the present invention causes a computer to select any one of a plurality of images captured with each of a plurality of light beams in a plurality of wavelength bands when the subject is irradiated with illumination light and when it is not irradiated. Setting means for setting a plurality of areas in the image according to the intensity of the influence of the environmental light based on the pixel value of the spectrum, and for each area set by the setting means, a spectrum for each wavelength band of the environmental light An estimation unit for estimating a spectral balance indicating an intensity ratio, and the plurality of wavelength bands so that a spectral intensity for each wavelength band of the environmental light is constant based on the spectral balance of the environmental light estimated by the estimation unit. This is a program for functioning as correction means for correcting the pixel values of the pixels in the region in each of the images.
また、本発明の物体識別プログラムは、コンピュータを、上記の画像処理装置を構成する各手段、及び前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段として機能させるためのプログラムである。 Further, the object identification program of the present invention includes a computer, each unit constituting the image processing apparatus, a value based on each pixel value of an image in a plurality of wavelength bands corrected by the correction unit, and the illumination This is a program for comparing with a predetermined threshold based on the spectral reflectance characteristics of an object to be identified with respect to light and functioning as an identifying means for identifying the object to be identified.
以上説明したように、本発明の画像処理装置及びプログラムによれば、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に推定した環境光のスペクトルバランスに基づいて画素値を補正するため、環境光の影響を考慮した適切な補正を行うことができる、という効果が得られる。 As described above, according to the image processing apparatus and the program of the present invention, an area corresponding to the intensity of influence of ambient light, that is, an area estimated to have the same spectrum balance is set, and the environment estimated for each area. Since the pixel value is corrected based on the spectral balance of light, an effect that appropriate correction considering the influence of ambient light can be obtained.
また、本発明の物体識別装置及びプログラムによれば、上記のように補正された画素値を用いて識別処理を行うことにより、精度良く物体を識別することができる、という効果が得られる。 In addition, according to the object identification device and the program of the present invention, an effect that the object can be identified with high accuracy can be obtained by performing the identification process using the pixel value corrected as described above.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１に示すように、第１の実施の形態に係る画像処理装置１０は、対象領域を撮像する撮像装置１２と、対象領域に光を照射する照明装置１４と、撮像装置１２から出力される画像データを処理するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。 As shown in FIG. 1, the image processing apparatus 10 according to the first embodiment is output from an imaging apparatus 12 that images a target area, an illumination apparatus 14 that irradiates light to the target area, and the imaging apparatus 12. The computer 16 which processes image data, and the display apparatus 18 for displaying the processing result in the computer 16 are provided.
撮像装置１２は、対象領域を撮像し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。本実施の形態では、近赤外領域の３つの波長帯（例えば、中心波長８７０ｎｍ、９７０ｎｍ、１０５０ｎｍ、半値幅５０ｎｍ）の各々に対応した画像を撮像することができるマルチバンドカメラを用いる。撮像装置１２の構成については特に限定しないが、各波長帯の画像の全てで光軸及び視野角が揃った画像が撮像される構成が望ましい。例えば、単板式カラーカメラで用いられるＢａｙｅｒフィルタのように画素単位で異なる透過特性を持つフィルタを貼り合わせた構成としてもよいし、プリズムで分光して各波長帯に対応した複数の撮像素子の各々により各波長帯の画像を取得する構成としてもよい。 The imaging device 12 images an object region and generates an image signal (not shown), and an A / D conversion unit (not shown) that converts an image signal that is an analog signal generated by the imaging unit into a digital signal. And an image memory (not shown) for temporarily storing the A / D converted image signal. In this embodiment, a multiband camera that can capture images corresponding to each of three wavelength bands in the near infrared region (for example, center wavelengths 870 nm, 970 nm, 1050 nm, and half-value width 50 nm) is used. The configuration of the imaging device 12 is not particularly limited, but a configuration in which an image with the same optical axis and viewing angle is captured in all the images in each wavelength band is desirable. For example, a configuration in which filters having different transmission characteristics in units of pixels, such as a Bayer filter used in a single-plate color camera, may be attached, or each of a plurality of imaging elements corresponding to each wavelength band by being split by a prism. It is good also as a structure which acquires the image of each wavelength band by.
照明装置１４は、撮像装置１２の視野角内に存在する被写体に向けて近赤外領域の光を照射する。照明光は撮像装置１２の受光可能な波長帯域を含む。照明装置１４は撮像装置１２のシャッターに連動してストロボのように動作し、撮像装置１２では、３つの波長帯毎に、被写体に照明光を照射したときに撮像された画像データ（画像Ｉｐ）と、照明光を照射していないときに撮像された画像データ（画像Ｉｅ）とが取得される。 The illumination device 14 irradiates light in the near infrared region toward a subject existing within the viewing angle of the imaging device 12. The illumination light includes a wavelength band in which the imaging device 12 can receive light. The illuminating device 14 operates like a strobe in conjunction with the shutter of the imaging device 12. In the imaging device 12, image data (image Ip) captured when the subject is irradiated with illumination light for each of the three wavelength bands. And image data (image Ie) captured when the illumination light is not irradiated.
コンピュータ１６は、画像処理装置１０全体の制御を司るＣＰＵ、後述する画像処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。 The computer 16 includes a CPU that controls the entire image processing apparatus 10, a ROM as a storage medium that stores an image processing routine program to be described later, a RAM that temporarily stores data as a work area, and a bus that connects these. It consists of In the case of such a configuration, a program for realizing the function of each component is stored in the ROM, and the CPU executes the program so that each function is realized.
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力された画像に対して、環境光の影響の強さに応じた領域を設定する領域設定部２２と、設定された領域毎に環境光のスペクトルバランスを推定する環境光推定部２４と、推定結果に基づいて画像の輝度値を補正する画像補正部２６とを含んだ構成で表すことができる。なお、領域設定部２２は本発明の設定手段の一例であり、環境光推定部２４は本発明の推定手段の一例であり、画像補正部２６は本発明の補正手段の一例である。 When the computer 16 is described with functional blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, the influence of environmental light on the image output from the imaging device 12 An area setting unit 22 that sets an area according to the intensity of the image, an environment light estimation unit 24 that estimates the spectrum balance of the environment light for each set area, and an image that corrects the luminance value of the image based on the estimation result It can be expressed by a configuration including the correction unit 26. The region setting unit 22 is an example of the setting unit of the present invention, the ambient light estimation unit 24 is an example of the estimation unit of the present invention, and the image correction unit 26 is an example of the correction unit of the present invention.
領域設定部２２は、入力された画像（３波長帯×照明光の有無）のいずれかを用いて、画素単位または所定数の画素群からなる小領域単位で環境光の影響を分析し、環境光の影響の強さに応じて複数の領域を設定する。例えば、環境光の影響の強さをいくつかのレベルに分けて、画素または小領域の環境光の影響の強さがどのレベルに属するかを判定して領域を設定する。例えば、輝度値の大きさを環境光の影響の強さとみなして、いずれかの波長帯の画像Ｉｅの明るさ（輝度値）Ｌ（Ｉｅ）に対して段階的な閾値を設け、各画素の輝度値、または小領域に含まれる各画素の輝度値の平均を閾値と比較することにより、領域を設定する。このとき、画像Ｉｅだけでなく画像Ｉｐの輝度値Ｌ（Ｉｐ）を利用してもよい。この他に、同波長帯の２つの画像ＩｐとＩｅとの照明有無差分画像を生成し、その差分値によって環境光の影響の強さを推定することも有効である。例えば、ある波長帯λの画像Ｉｐλと画像Ｉｅλとの照明有無差分画像の各照明有無差分値Ｉλ＝Ｌ（Ｉｐλ）−Ｌ（Ｉｅλ）の値が小さいほど環境光の影響の度合いが大きい領域として設定する。 The region setting unit 22 analyzes the influence of ambient light on a pixel unit basis or a small region unit composed of a predetermined number of pixel groups using any of the input images (3 wavelength bands × the presence or absence of illumination light). A plurality of areas are set according to the intensity of light influence. For example, the intensity of the influence of the ambient light is divided into several levels, and the area is set by determining which level the influence of the influence of the ambient light on the pixel or the small area belongs to. For example, regarding the magnitude of the luminance value as the intensity of the influence of the ambient light, a stepwise threshold is provided for the brightness (luminance value) L (Ie) of the image Ie in any wavelength band, The region is set by comparing the luminance value or the average of the luminance values of each pixel included in the small region with a threshold value. At this time, not only the image Ie but also the luminance value L (Ip) of the image Ip may be used. In addition to this, it is also effective to generate an illumination presence / absence difference image between two images Ip and Ie in the same wavelength band and estimate the intensity of the influence of the ambient light based on the difference value. For example, as the value of each illumination presence / absence difference value I λ = L (Ip λ ) −L (Ie λ ) of the illumination presence / absence difference image between an image Ip λ and an image Ie λ in a certain wavelength band λ decreases, Set as a high degree area.
また、Ｌ（Ｉｐλ）及びＬ（Ｉｅλ）の少なくとも一方とＩλとの両方を領域設定の判定基準として利用してもよい。さらには、照度計や太陽位置推定部を別途設けて、太陽光の照射角度や時間に応じた強度などを領域設定に利用してもよい。また、設定される複数の領域は重複を許すように設定してもよい。 Further, at least one of L (Ip λ ) and L (Ie λ ) and I λ may be used as a determination criterion for region setting. Furthermore, an illuminometer and a solar position estimation unit may be separately provided, and the intensity according to the irradiation angle of sunlight or time may be used for region setting. Further, the plurality of areas to be set may be set to allow overlap.
環境光推定部２４は、各領域に含まれる環境光のスペクトルバランスＳを推定する。ここで、近赤外の３波長帯に対する環境光のスペクトル強度の比は下記（１）式により求められる。 The ambient light estimation unit 24 estimates the spectral balance S of ambient light included in each region. Here, the ratio of the spectral intensity of the ambient light to the near-infrared three wavelength bands is obtained by the following equation (1).
ただし、各記号の添え字は波長帯を表す。また、Ｄは照明装置１４の既知のスペクトルバランスから得られる３波長帯の各々のスペクトル強度の比である。実際には３波長帯間のスペクトル強度比が分かればよいので、例えば１０５０ｎｍ帯を基準として、下記（２）式により環境光のスペクトルバランスＳを求めればよい。 However, the subscript of each symbol represents a wavelength band. D is the ratio of the spectral intensities of the three wavelength bands obtained from the known spectral balance of the illumination device 14. Actually, it is only necessary to know the spectral intensity ratio between the three wavelength bands. For example, the spectral balance S of the ambient light may be obtained by the following equation (2) using the 1050 nm band as a reference.
なお、（１）式において、分母の照明有無差分値Ｉλは非常に重要であるが、屋外環境の太陽光を環境光として想定した場合には、照明光は環境光よりも照射強度が非常に小さいため、照明有無差分値Ｉλも小さくなる。このため、撮像装置１２の暗電流など、ランダム性の高いノイズの影響を受け易くなる。そこで、環境光は領域全体に渡って一様であると仮定し、下記（３）式に示すように、領域内で輝度値及び照明有無差分値を空間的に積分する。これにより、ノイズの影響を減少させ、環境光のスペクトルバランスＳの推定精度を向上させることができる。 In the equation (1), the illumination presence / absence difference value I λ of the denominator is very important. However, when the sunlight in the outdoor environment is assumed as the environmental light, the illumination light has an irradiation intensity much higher than that of the environmental light. Therefore, the illumination presence / absence difference value Iλ is also small. For this reason, it becomes easy to receive the influence of noise with high randomness, such as the dark current of the imaging device 12. Therefore, it is assumed that the ambient light is uniform over the entire region, and the luminance value and the illumination presence / absence difference value are spatially integrated within the region as shown in the following equation (3). Thereby, the influence of noise can be reduced and the estimation accuracy of the spectrum balance S of ambient light can be improved.
画像補正部２６は、環境光推定部２４で推定された領域毎の環境光のスペクトルバランスＳに基づいて、領域内の各画素の輝度値を補正する。具体的には、Ｌ（Ｉｅ870）には、（２）式で求めた比率Ｓ870／Ｓ1050の逆数を掛け、Ｌ（Ｉｅ970）には、（２）式で求めた比率Ｓ970／Ｓ1050の逆数を掛ける。 The image correction unit 26 corrects the luminance value of each pixel in the region based on the spectral balance S of the ambient light for each region estimated by the ambient light estimation unit 24. Specifically, L (Ie 870 ) is multiplied by the reciprocal of the ratio S 870 / S 1050 obtained by the equation (2), and L (Ie 970 ) is multiplied by the ratio S 970 / S determined by the equation (2). multiplied by the inverse of the S 1050.
また、画像補正部２６は、輝度値が補正された各波長帯の画像Ｉｅ’を合成したマルチバンド画像を生成し、生成したマルチバンド画像が表示装置１８に表示されるように制御する。 Further, the image correction unit 26 generates a multiband image by combining the images Ie ′ of the respective wavelength bands whose luminance values have been corrected, and controls the generated multiband image to be displayed on the display device 18.
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。 Next, the operation of the image processing apparatus 10 according to the first embodiment will be described.
照明装置１４により被写体に照明が照射されたとき、及び照射されていないときに撮像装置１２により被写体の撮像が行われ、撮像装置１２から各波長帯の画像データ（Ｉｐ870、Ｉｐ970、Ｉｐ1050、Ｉｅ870、Ｉｅ970、Ｉｅ1050）が出力されると、コンピュータ１６において、図２に示す画像処理ルーチンが実行される。 When the illumination device 14 illuminates and illuminates the subject, the imaging device 12 captures the subject, and the image data (Ip 870 , Ip 970 , Ip 1050) of each wavelength band is captured by the imaging device 12. , Ie 870 , Ie 970 , Ie 1050 ) are output, the image processing routine shown in FIG.
ステップ１００で、領域設定部２２が、撮像装置１２から出力された各画像データを取得し、次に、ステップ１０２で、取得した画像のいずれかを用いて、画素単位または小領域単位で環境光の影響を分析し、環境光の影響の強さに応じて複数の領域を設定する。 In step 100, the region setting unit 22 acquires each image data output from the imaging device 12, and then in step 102, using any of the acquired images, the ambient light in pixel units or small region units. Analyze the influence of the environment, and set multiple areas according to the intensity of the influence of ambient light.
次に、ステップ１０４で、領域設定部２２が、上記ステップ１０２で設定された領域から１つの領域を選択する。 Next, in step 104, the area setting unit 22 selects one area from the areas set in step 102.
次に、ステップ１０６で、環境光推定部２４が、上記ステップ１０４で選択された領域に含まれる環境光のスペクトルバランスＳを、各画像の輝度値（Ｌ（Ｉｐ870）、Ｌ（Ｉｐ970）、Ｌ（Ｉｐ1050）、Ｌ（Ｉｅ870）、Ｌ（Ｉｅ970）、Ｌ（Ｉｅ1050））及び照明装置１４による照明光の３波長帯のスペクトル強度の比（Ｄ870、Ｄ970、Ｄ1050）を用いて、（３）式により推定する。 Next, in step 106, the ambient light estimation unit 24 calculates the spectral balance S of the ambient light included in the region selected in step 104 above as the luminance value (L (Ip 870 ), L (Ip 970 ) of each image. , L (Ip 1050 ), L (Ie 870 ), L (Ie 970 ), L (Ie 1050 )) and the ratio of the spectral intensities in the three wavelength bands of the illumination light (D 870 , D 970 , D 1050) ) To estimate by equation (3).
次に、ステップ１０８で、画像補正部２６が、上記ステップ１０６で推定された環境光のスペクトルバランスＳを（２）式により表した比率を用いて、各波長帯の画像Ｉｅの輝度値を補正する。 Next, in step 108, the image correction unit 26 corrects the luminance value of the image Ie in each wavelength band using the ratio of the ambient light spectrum balance S estimated in step 106 expressed by equation (2). To do.
次に、ステップ１１０で、領域設定部２２が、上記ステップ１０２で設定された全領域について処理が終了したか否かを判定し、未処理の領域が存在する場合には、ステップ１０４へ戻って、次の領域を選択して、ステップ１０６及び１０８の処理を繰り返す。全ての領域について処理が終了した場合には、ステップ１１２へ移行し、画像補正部２６が、輝度値が補正された各波長帯の画像Ｉｅ’を合成したマルチバンド画像を生成し、生成したマルチバンド画像が表示装置１８に表示されるように制御して、画像処理ルーチンを終了する。 Next, in step 110, the area setting unit 22 determines whether or not the process has been completed for all the areas set in step 102. If there is an unprocessed area, the process returns to step 104. Then, the next region is selected and the processing of steps 106 and 108 is repeated. When the processing is completed for all the regions, the process proceeds to step 112, where the image correction unit 26 generates a multiband image by combining the images Ie ′ of the respective wavelength bands whose luminance values are corrected, and the generated multiband image Control is performed so that the band image is displayed on the display device 18, and the image processing routine ends.
環境光が強く当たっている箇所、反射した環境光が当たっている箇所、環境光がほとんど当たっていない箇所等により、環境光は様々なスペクトルバランスとなるが、本実施の形態の画像処理装置によれば、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に環境光のスペクトルバランスを推定して、環境光のスペクトルバランスがフラットになるように輝度値を補正するため、環境光の影響を考慮した適切な補正を行うことができる。 Although the ambient light has various spectral balances depending on the location where the ambient light is shining, the location where the reflected ambient light is shining, the location where the ambient light is hardly shining, etc., the ambient light has various spectral balances. According to this, a region corresponding to the intensity of the influence of the ambient light, that is, a region that is considered to have the same spectrum balance is set, and the spectrum balance of the ambient light is estimated for each region so that the spectrum balance of the ambient light is flat. In order to correct the luminance value, it is possible to perform appropriate correction in consideration of the influence of ambient light.
このような画像処理を行うことで、領域毎のホワイトバランス調整が可能となり、例えば、画像暗部の色かぶりのような現象を補正することができる。 By performing such image processing, it is possible to adjust the white balance for each region, and for example, it is possible to correct a phenomenon such as a color cast in a dark part of an image.
次に、第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態で説明した画像処理装置を適用した物体識別装置について説明する。ここでは、識別対象の物体を人肌（人物の肌）とする場合について説明する。なお、第２の実施の形態に係る物体識別装置において、第１の実施の形態に係る画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。 Next, a second embodiment will be described. In the second embodiment, an object identification apparatus to which the image processing apparatus described in the first embodiment is applied will be described. Here, a case where the object to be identified is human skin (human skin) will be described. In the object identification device according to the second embodiment, the same components as those of the image processing device 10 according to the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
図３に示すように、第２の実施の形態に係る物体識別装置２１０は、撮像装置１２と、照明装置１４と、コンピュータ２１６と、表示装置１８とを備えている。 As illustrated in FIG. 3, the object identification device 210 according to the second embodiment includes an imaging device 12, a lighting device 14, a computer 216, and a display device 18.
コンピュータ２１６は、機能的には、領域設定部２２２と、環境光推定部２２４と、画像から人肌領域を識別する第１識別部２８及び第２識別部３０と、第１識別部２８及び第２識別部３０の識別結果を統合する統合処理部３２とを含んだ構成で表すことができる。なお、第１識別部２８、第２識別部３０、及び統合処理部３２は本発明の識別手段の一例である。 Functionally, the computer 216 has a region setting unit 222, an ambient light estimation unit 224, a first identification unit 28 and a second identification unit 30 for identifying a human skin region from an image, a first identification unit 28, and a first identification unit 28. 2 can be represented by a configuration including an integration processing unit 32 that integrates the identification results of the identification unit 30. In addition, the 1st identification part 28, the 2nd identification part 30, and the integrated process part 32 are examples of the identification means of this invention.
領域設定部２２２は、第１の実施の形態における領域設定部２２と同様に、環境光の影響の強さに応じて複数の領域を設定する。ここでは、環境光の影響が強い領域Ａ及び環境光の影響が弱い領域Ｂの２つの領域を設定するものとする。 Similar to the region setting unit 22 in the first embodiment, the region setting unit 222 sets a plurality of regions according to the intensity of the influence of ambient light. Here, it is assumed that two areas, an area A where the influence of ambient light is strong and an area B where the influence of ambient light is weak, are set.
環境光推定部２２４は、領域設定部２２２において領域Ａに設定された領域について、第１の実施の形態と同様に、環境光のスペクトルバランスＳを推定する。 The ambient light estimation unit 224 estimates the spectrum balance S of the ambient light for the region set as the region A by the region setting unit 222, as in the first embodiment.
第１識別部２８は、領域設定部２２２で領域Ｂに設定された領域について、取得した画像（３波長帯×照明光の有無）の各々にノイズ除去のためのフィルタリング処理を施し、同一波長帯の画像毎にＩｐとＩｅとの照明有無差分画像を生成する。そして、画素単位または小領域単位で、生成した照明有無差分画像の照明有無差分値Ｉλを用いて、下記（４）式及び（５）式に示す波長間差分値Ｉｄ1及びＩｄ2を算出する。 The first identification unit 28 performs filtering processing for noise removal on each of the acquired images (3 wavelength bands × presence / absence of illumination light) for the region set in the region B by the region setting unit 222, and the same wavelength band An illumination presence / absence difference image between Ip and Ie is generated for each image. Then, using the illumination presence / absence difference value I λ of the generated illumination presence / absence difference image, the inter-wavelength difference values Id 1 and Id 2 shown in the following equations (4) and (5) are calculated in pixel units or small area units. To do.
Ｉｄ1＝Ｉ870−Ｉ970 （４）
Ｉｄ2＝Ｉ1050−Ｉ970 （５）
Id 1 = I 870 −I 970 (4)
Id 2 = I 1050 -I 970 (5)
図４に示すように、人肌の分光反射率は９７０ｎｍが最も低く、８７０ｎｍ、１０５０ｎｍでは９７０ｎｍ帯よりも高い。したがって、上記で求めた２つの差分値に対する閾値Ｔｈ1及びＴｈ2を設定し、下記（６）式に示す条件を満たす画素または小領域を人肌領域として識別して、人肌領域を示すフラグを付与する。 As shown in FIG. 4, the spectral reflectance of human skin is lowest at 970 nm, and higher at 870 nm and 1050 nm than at the 970 nm band. Therefore, the thresholds Th 1 and Th 2 for the two difference values obtained above are set, the pixel or small region that satisfies the condition shown in the following equation (6) is identified as the human skin region, and the flag indicating the human skin region Is granted.
Ｉｄ1＞Ｔｈ1 ∧ Ｉｄ2＞Ｔｈ2 （６） Id 1 > Th 1 ∧ Id 2 > Th 2 (6)
第２識別部３０は、画像補正部２６による補正後の画像Ｉｅ’の各領域に対して、下記（７）式及び（８）式に示す波長間差分値Ｉｄ’1及びＩｄ’2を算出し、第１識別部２８と同様に、人肌領域を示すフラグを付与する。 The second identification unit 30 calculates the inter-wavelength difference values Id ′ 1 and Id ′ 2 shown in the following equations (7) and (8) for each region of the image Ie ′ corrected by the image correction unit 26. Then, similarly to the first identification unit 28, a flag indicating a human skin area is given.
Ｉｄ’1＝Ｉｅ’870−Ｉｅ’970 （７）
Ｉｄ’2＝Ｉｅ’1050−Ｉｅ’970 （８）
Id ′ 1 = Ie ′ 870 −Ie ′ 970 (7)
Id ′ 2 = Ie ′ 1050 −Ie ′ 970 (8)
なお、第２識別部３０の処理対象となる領域は環境光の影響が強い領域Ａであるが、環境光の影響が強いほど図４に示すような人肌の分光反射特性が明確に現れ難い場合もある。そこで、Ｔｈ1’＜Ｔｈ1及びＴｈ2’＜Ｔｈ2となる閾値Ｔｈ1及びＴｈ2’を用いて、下記（９）式を人肌領域の識別条件とする。 Note that the region to be processed by the second identification unit 30 is the region A where the influence of the ambient light is strong. However, the stronger the influence of the ambient light is, the more difficult the spectral reflection characteristics of the human skin as shown in FIG. In some cases. Therefore, by using the Th 1 '<Th 1 and Th 2' <threshold Th 1 and Th 2 as the Th 2 ', the following equation (9) to identify the condition of human skin region.
Ｉｄ’1＞Ｔｈ1’ ∧ Ｉｄ’2＞Ｔｈ2’ （９） Id ' 1 > Th 1 ' ∧ Id ' 2 > Th 2 ' (9)
統合処理部３２は、第１識別部２８の識別結果と第２識別部３０の識別結果とを統合する。領域Ａと領域Ｂとに重複がなければ、人肌領域のフラグが付いた画素または小領域を抽出及び合成することにより、識別結果を統合することができる。領域Ａと領域Ｂとに重複がある場合には、人肌領域のフラグが付いた画素または小領域の論理和や論理積をとる形で合成してもよいし、環境光の影響の強さや領域の面積、領域内での環境光スペクトルのバラつきなどに基づいて、人肌領域の識別結果の信頼性を判定して統合するようにしてもよい。画素単位で人肌領域のフラグを付与した場合には、ノイズの多い統合結果となるため、膨張・縮退処理などによりノイズを除去したものを最終の識別結果としてもよい。 The integration processing unit 32 integrates the identification result of the first identification unit 28 and the identification result of the second identification unit 30. If there is no overlap between region A and region B, the identification results can be integrated by extracting and synthesizing pixels or small regions with a human skin region flag. If there is an overlap between region A and region B, they may be combined in the form of a logical sum or logical product of pixels or small regions flagged with human skin regions, The reliability of the identification result of the human skin region may be determined and integrated based on the area of the region, the variation in the ambient light spectrum in the region, and the like. When the flag of the human skin area is given in units of pixels, an integrated result with much noise is obtained, and the final identification result may be obtained by removing the noise by expansion / reduction processing or the like.
次に、第２の実施の形態に係る物体識別装置２１０の作用について説明する。 Next, the operation of the object identification device 210 according to the second embodiment will be described.
照明装置１４により被写体に照明が照射されたとき、及び照射されていないときに撮像装置１２により被写体の撮像が行われ、撮像装置１２から各波長帯の画像データ（Ｉｐ870、Ｉｐ970、Ｉｐ1050、Ｉｅ870、Ｉｅ970、Ｉｅ1050）が出力されると、コンピュータ２１６において、図５に示す物体識別処理ルーチンが実行される。なお、物体識別処理ルーチンについて、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。 When the illumination device 14 illuminates and illuminates the subject, the imaging device 12 captures the subject, and the image data (Ip 870 , Ip 970 , Ip 1050) of each wavelength band is captured by the imaging device 12. , Ie 870 , Ie 970 , Ie 1050 ) are output, the object identification processing routine shown in FIG. In addition, about the object identification process routine, about the process same as the image process routine in 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップ１００で、領域設定部２２２が、撮像装置１２から出力された各画像データを取得し、次に、ステップ２００で、取得した画像のいずれかを用いて、画素単位または小領域単位で環境光の影響を分析し、環境光の影響が強い領域Ａ及び環境光の影響が弱い領域Ｂの２つの領域を設定する。 In step 100, the area setting unit 222 acquires each image data output from the imaging device 12, and then in step 200, using any of the acquired images, the ambient light in pixel units or small area units. The area A is strongly affected by the ambient light and the area B is weakly affected by the ambient light.
次に、ステップ１０４で、領域設定部２２２が、上記ステップ２００で設定された領域から１つの領域を選択する。 Next, in step 104, the region setting unit 222 selects one region from the regions set in step 200.
次に、ステップ２０２で、領域設定部２２２が、上記ステップ１０４で選択した領域が領域Ａか否かを判定する。選択した領域が領域Ａ（環境光の影響が強い領域）の場合には、ステップ１０６へ移行し、図６に示すように、環境光推定部２２４が、上記ステップ１０４で選択された領域に含まれる環境光のスペクトルバランスＳを推定し、次に、ステップ１０８で、画像補正部２６が、上記ステップ１０６で推定された環境光のスペクトルバランスＳに基づいて、各波長帯の画像Ｉｅの輝度値を補正して、ステップ２０４の人肌識別処理へ移行する。 Next, in step 202, the area setting unit 222 determines whether or not the area selected in step 104 is area A. If the selected region is region A (region where the influence of ambient light is strong), the process proceeds to step 106, and the ambient light estimation unit 224 is included in the region selected in step 104 as shown in FIG. Next, in step 108, the image correction unit 26 determines the luminance value of the image Ie in each wavelength band based on the ambient light spectrum balance S estimated in step 106. Is corrected, and the process proceeds to human skin identification processing in step 204.
一方、ステップ２０２で、選択した領域が領域Ｂ（環境光の影響が弱い領域）であると判定された場合には、図６に示すように、ステップ１０６及び１０８をスキップして、ステップ２０４の人肌識別処理へ移行する。 On the other hand, if it is determined in step 202 that the selected area is area B (area where the influence of ambient light is weak), steps 106 and 108 are skipped as shown in FIG. Transition to human skin identification processing.
ここで、図７を参照して、第１識別部２８または第２識別部３０が実行する人肌識別処理ルーチンについて説明する。 Here, with reference to FIG. 7, the human skin identification process routine which the 1st identification part 28 or the 2nd identification part 30 performs is demonstrated.
まず、領域Ｂについて（上記ステップ１０６及び１０８をスキップした場合）は、ステップ２０４０で、取得した画像（３波長帯×照明光の有無）の各々にノイズ除去のためのフィルタリング処理を施し、図８に示すように、同一波長帯の画像毎にＩｐとＩｅとの照明有無差分画像を生成する。 First, for region B (when steps 106 and 108 are skipped), in step 2040, each of the acquired images (3 wavelength bands × presence of illumination light) is subjected to filtering processing for noise removal. As shown in FIG. 4, an illumination presence / absence difference image between Ip and Ie is generated for each image in the same wavelength band.
次に、ステップ２０４２で、画素単位または小領域単位で、上記ステップ２０４０で生成した照明有無差分画像の照明有無差分値Ｉλを用いて、（４）式及び（５）式に示す波長間差分値Ｉｄ1及びＩｄ2を算出する。 Next, in step 2042, using the illumination presence / absence difference value I λ of the illumination presence / absence difference image generated in step 2040 in units of pixels or small regions, the difference between wavelengths shown in equations (4) and (5) The values Id 1 and Id 2 are calculated.
次に、ステップ２０４４で、上記ステップ２０４２で算出した波長間差分値Ｉｄ1及びＩｄ2が、（６）式に示す条件を満たすか否かを判定することにより、各画素または各小領域が人肌領域か否かを識別する。各画素または各小領域が人肌領域であると識別された場合には、ステップ２０４６へ移行して、人肌領域と識別された画素または小領域に人肌領域のフラグを付与して、ステップ２０４８へ移行する。一方、人肌領域ではないと識別された場合には、そのままステップ２０４８へ移行する。図８に、人肌領域のフラグが付与された画素または小領域を白で表示した人肌識別結果の一例を示す。 Next, in step 2044, by determining whether or not the inter-wavelength difference values Id 1 and Id 2 calculated in step 2042 satisfy the condition shown in the equation (6), each pixel or each small region is a person. Identify whether the skin area. If each pixel or each small area is identified as a human skin area, the process proceeds to step 2046, and a flag of the human skin area is given to the pixel or small area identified as the human skin area. Transition to 2048. On the other hand, if it is identified that it is not a human skin region, the process proceeds to step 2048 as it is. FIG. 8 shows an example of a human skin identification result in which a pixel or a small region to which a human skin region flag is assigned is displayed in white.
次に、ステップ２０４８では、処理中の領域内の全画素または全小領域について、人肌識別の処理が終了したか否かを判定する。未処理の画素または小領域が存在する場合には、ステップ２０４２へ戻って、ステップ２０４２〜２０４６の処理を繰り返す。全画素または全小領域について処理が終了した場合には、人肌識別処理ルーチンを終了して、物体識別処理ルーチンにリターンする。 Next, in step 2048, it is determined whether or not the human skin identification process has been completed for all pixels or all small areas in the area being processed. If there is an unprocessed pixel or small area, the process returns to step 2042 and the processes of steps 2042 to 2046 are repeated. When the process is completed for all pixels or all small areas, the human skin identification process routine is terminated, and the process returns to the object identification process routine.
また、領域Ａについて（上記ステップ１０６及び１０８を経た場合）は、ステップ２０４０をスキップし、次に、ステップ２０４２で、画素単位または小領域単位で、上記ステップ１０８で補正された画像Ｉｅ’を用いて、（７）式及び（８）式に示す波長間差分値Ｉｄ’1及びＩｄ’2を算出する。 Also, for the region A (when the above steps 106 and 108 are performed), the step 2040 is skipped, and then the image Ie ′ corrected in the above step 108 is used in step 2042 in units of pixels or small regions. Then, the inter-wavelength difference values Id ′ 1 and Id ′ 2 shown in the equations (7) and (8) are calculated.
次に、ステップ２０４４で、上記ステップ２０４２で算出した波長間差分値Ｉｄ’1及びＩｄ’2が、（９）式に示す条件を満たすか否かを判定することにより、各画素または各小領域が人肌領域か否かを識別する。以下、領域Ｂの場合と同様に処理して、物体識別処理ルーチンにリターンする。 Next, in step 2044, each pixel or each small region is determined by determining whether or not the inter-wavelength difference values Id ′ 1 and Id ′ 2 calculated in step 2042 satisfy the condition shown in the equation (9). Whether or not is a human skin region. Thereafter, processing is performed in the same manner as in the region B, and the process returns to the object identification processing routine.
次に、ステップ１１０で、領域設定部２２２が、上記ステップ２００で設定された全領域について処理が終了したか否かを判定し、未処理の領域が存在する場合には、ステップ１０４へ戻って、次の領域を選択して、ステップ２０２〜２０４の処理を繰り返す。全ての領域について処理が終了した場合には、ステップ２０６へ移行する。 Next, in step 110, the area setting unit 222 determines whether or not the processing has been completed for all the areas set in step 200. If there is an unprocessed area, the process returns to step 104. Then, the next area is selected, and the processes in steps 202 to 204 are repeated. When the processing is completed for all the areas, the process proceeds to step 206.
ステップ２０６では、統合処理部３２が、図８に示すように、上記ステップ２０４で識別された領域Ａの人肌領域の識別結果と、領域Ｂの人肌領域の識別結果とを統合し、膨張・縮退処理などによりノイズを除去して最終の識別結果を得る。次に、ステップ２０８で、統合処理部３２が、識別結果が表示装置１８に表示されるように制御して、物体識別処理ルーチンを終了する。 In step 206, as shown in FIG. 8, the integration processing unit 32 integrates the identification result of the human skin area of the area A identified in step 204 and the identification result of the human skin area of the area B, and expands them. -The noise is removed by degeneration processing or the like to obtain the final identification result. Next, in step 208, the integration processing unit 32 performs control so that the identification result is displayed on the display device 18, and ends the object identification processing routine.
以上説明したように、第２の実施の形態に係る物体識別装置によれば、第１の実施の形態と同様に、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に環境光のスペクトルバランスを推定して、環境光のスペクトルバランスがフラットになるように輝度値を補正した上で、波長間差分値を用いた物体の識別処理を行うため、精度良く物体を識別することができる。 As described above, according to the object identification device according to the second embodiment, similarly to the first embodiment, the region according to the intensity of the influence of ambient light, that is, the same spectrum balance. Set possible regions, estimate the ambient light spectral balance for each region, correct the brightness value so that the ambient light spectral balance is flat, and then identify the object using the inter-wavelength difference value Therefore, the object can be identified with high accuracy.
なお、第２の実施の形態では、識別対象の物体を人肌とする場合について説明したが、これに限定されない。他の物体を識別対象とする場合には、識別対象の分光反射率特性に応じた複数の波長帯の画像を撮像し、また、識別対象の分光反射率特性に応じた識別条件を設定するようにするとよい。 In the second embodiment, the case where the object to be identified is human skin has been described. However, the present invention is not limited to this. When other objects are to be identified, images of a plurality of wavelength bands corresponding to the spectral reflectance characteristics of the identification target are captured, and identification conditions are set according to the spectral reflectance characteristics of the identification target. It is good to.
また、第２の実施の形態では、環境光の影響の強さに応じて設定した領域毎に物体識別処理を行う場合について説明したが、補正後の画像から共通の識別条件により識別処理を行うようにしてもよい。この場合、統合処理部を省略することができる。 In the second embodiment, the case where the object identification process is performed for each region set according to the intensity of the influence of the ambient light has been described. However, the identification process is performed based on the common identification condition from the corrected image. You may do it. In this case, the integration processing unit can be omitted.
また、第２の実施の形態では、領域Ａ及びＢの２つの領域を設定する場合を例に説明したが、環境光の影響の程度や、光源の種類や方向などに応じて３つ以上の領域を設定するようにしてもよい。この場合、第１の実施の形態で述べたように、領域毎に（３）式に示したような領域内での空間積分を行ってスペクトルバランスを推定するようにすればよい。 In the second embodiment, the case where two areas A and B are set has been described as an example. However, three or more areas are set according to the degree of the influence of ambient light, the type and direction of the light source, and the like. An area may be set. In this case, as described in the first embodiment, the spectral balance may be estimated by performing spatial integration in the region as shown in Equation (3) for each region.
また、第２の実施の形態では、人肌領域の識別結果を表示装置に表示する場合について説明したが、歩行者検出システムの候補設定に利用するなど、後段のシステムの入力情報として利用してもよい。 Further, in the second embodiment, the case where the identification result of the human skin area is displayed on the display device has been described. However, the second embodiment is used as input information for a subsequent system such as a candidate setting for a pedestrian detection system. Also good.
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。 In the specification of the present application, the embodiment has been described in which the program is installed in advance. However, the program may be provided by being stored in a storage medium such as a CDROM.
１０ 画像処理装置
１２ 撮像装置
１４ 照明装置
１６、２１６ コンピュータ
１８ 表示装置
２２、２２２ 領域設定部
２４、２２４ 環境光推定部
２６ 画像補正部
２８ 第１識別部
３０ 第２識別部
３２ 統合処理部
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 12 Imaging device 14 Illumination device 16, 216 Computer 18 Display device 22, 222 Area setting part 24, 224 Ambient light estimation part 26 Image correction part 28 1st identification part 30 2nd identification part 32 Integrated processing part
Claims (11)
前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段と、
前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段と、
を含む画像処理装置。 Based on the pixel value of any of the plurality of images captured with each of the light in the plurality of wavelength bands when the subject is irradiated with illumination light and when it is not irradiated, ambient light is included in the image. A setting means for setting a plurality of areas according to the strength of the influence,
Estimating means for estimating a spectral balance indicating a spectral intensity ratio for each wavelength band of the environmental light for each region set by the setting means;
Based on the spectral balance of the ambient light estimated by the estimation means, the pixel values of the pixels in the region in each of the plurality of wavelength band images so that the spectral intensity for each wavelength band of the ambient light is constant. Correction means for correcting
An image processing apparatus.
前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段と、
を含む物体識別装置。 The image processing apparatus according to any one of claims 1 to 5,
A value based on each pixel value of the images of the plurality of wavelength bands corrected by the correcting means is compared with a predetermined threshold based on a spectral reflectance characteristic of an object to be identified with respect to the illumination light, and An identification means for identifying an object to be identified;
An object identification device including:
前記推定手段は、前記環境光の影響が強い領域における前記環境光のスペクトルバランスを推定し、
前記補正手段は、前記推定手段により推定された環境光のスペクトルバランスに基づいて、前記環境光の影響が強い領域内の画素の画素値を補正し、
前記識別手段は、前記環境光の影響が弱い領域は、前記補正手段による補正前の画像を用いて前記識別対象の物体を識別し、前記環境光の影響が強い領域は、前記補正手段による補正後の画像を用いて前記識別対象の物体を識別する
請求項６〜請求項８のいずれか１項記載の物体識別装置。 The setting means includes a region threshold value for determining whether the influence of ambient light is a strong region or a weak region, a value based on any pixel value of the plurality of images, or the same wavelength band. Compare the difference between the image when the illumination light is irradiated and the image when the illumination light is not irradiated, and set a region where the influence of the ambient light is strong and a weak region in the image,
The estimation means estimates the spectral balance of the ambient light in a region where the influence of the ambient light is strong,
The correction unit corrects the pixel value of the pixel in the region where the influence of the ambient light is strong based on the spectral balance of the ambient light estimated by the estimation unit;
The identification unit identifies an object to be identified using an image before correction by the correction unit in a region where the influence of the ambient light is weak, and a region where the influence of the ambient light is strong is corrected by the correction unit. The object identification device according to any one of claims 6 to 8, wherein an object to be identified is identified using a later image.
被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段、
前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段、及び
前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段
として機能させるための画像処理プログラム。 Computer
Based on the pixel value of any of the plurality of images captured with each of the light in the plurality of wavelength bands when the subject is irradiated with illumination light and when it is not irradiated, ambient light is included in the image. A setting means for setting a plurality of areas according to the strength of the influence of
For each region set by the setting means, an estimation means for estimating a spectral balance indicating a spectral intensity ratio for each wavelength band of the environmental light, and an environment based on the spectral balance of the environmental light estimated by the estimation means An image processing program for causing a pixel value of a pixel in the region in each of the plurality of wavelength band images to function as a correction unit so that a spectral intensity for each wavelength band of light is constant.
請求項１〜請求項５のいずれか１項記載の画像処理装置を構成する各手段、及び
前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段
として機能させるための物体識別プログラム。 Computer
Each means which comprises the image processing apparatus of any one of Claims 1-5, The value based on each pixel value of the image of the several wavelength band correct | amended by the said correction means, The said illumination light An object identification program for comparing with a predetermined threshold based on the spectral reflectance characteristics of the object to be identified with respect to and for identifying the object to be identified.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012168378A JP5988093B2 (en) | 2012-07-30 | 2012-07-30 | Image processing apparatus, object identification apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012168378A JP5988093B2 (en) | 2012-07-30 | 2012-07-30 | Image processing apparatus, object identification apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014027597A JP2014027597A (en) | 2014-02-06 |
| JP5988093B2 true JP5988093B2 (en) | 2016-09-07 |
Family
ID=50200830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012168378A Expired - Fee Related JP5988093B2 (en) | 2012-07-30 | 2012-07-30 | Image processing apparatus, object identification apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5988093B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11188770B2 (en) | 2014-03-13 | 2021-11-30 | Nec Corporation | Detecting device, detecting method, and recording medium |
| JP2018152079A (en) * | 2018-03-23 | 2018-09-27 | 日本電気株式会社 | Detector |
| CN110337656A (en) * | 2019-05-27 | 2019-10-15 | 深圳市汇顶科技股份有限公司 | For the optical sensor of recognition of face, device, method and electronic equipment |
| JP7358817B2 (en) * | 2019-07-24 | 2023-10-11 | ソニーグループ株式会社 | Image processing device, imaging device, image processing method, and program |
| EP3820134A1 (en) * | 2019-11-06 | 2021-05-12 | Koninklijke Philips N.V. | A system for performing ambient light image correction |
| JP2020074241A (en) * | 2020-02-12 | 2020-05-14 | 日本電気株式会社 | Detector |
| CN112529790B (en) * | 2020-11-13 | 2023-06-27 | 清华大学 | Image light intensity correction method and device for spectrum recovery |
| KR20220134918A (en) * | 2021-03-29 | 2022-10-06 | 삼성전자주식회사 | An electronic device for obtaining a plurality of images each including a component of ambient light and a component of light output from a light emitting module of the electronic device by using the plurality of images, and control method thereof |
| KR20230041490A (en) * | 2021-09-17 | 2023-03-24 | 삼성전자주식회사 | Wearable apparatus including electrochromic device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3569352B2 (en) * | 1994-05-31 | 2004-09-22 | ペンタックス株式会社 | White balance adjustment device |
| JP3551854B2 (en) * | 1999-09-01 | 2004-08-11 | ミノルタ株式会社 | Digital photographing apparatus, image data processing apparatus, digital photographing method, and recording medium |
| JP2001083009A (en) * | 1999-09-13 | 2001-03-30 | Fuji Photo Film Co Ltd | Method and device for extracting multi-band image information |
| JP4819606B2 (en) * | 2006-07-21 | 2011-11-24 | 株式会社豊田中央研究所 | Device part discrimination device and gender judgment device |
| JP2008052428A (en) * | 2006-08-23 | 2008-03-06 | Nikon Corp | Image processing method, image processor, image processing program and imaging device |
| JP2008103809A (en) * | 2006-10-17 | 2008-05-01 | Fujifilm Corp | Photographing device, image processing method, and image processing program |
| JP5018653B2 (en) * | 2008-06-04 | 2012-09-05 | 株式会社豊田中央研究所 | Image identification device |
| JP2010055192A (en) * | 2008-08-26 | 2010-03-11 | Canon Inc | Image processor, processing method and program |
-
2012
- 2012-07-30 JP JP2012168378A patent/JP5988093B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014027597A (en) | 2014-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5988093B2 (en) | Image processing apparatus, object identification apparatus, and program | |
| JP5496509B2 (en) | System, method, and apparatus for image processing for color classification and skin color detection | |
| US9324153B2 (en) | Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program | |
| CN107885350B (en) | Navigation device with adjustable tracking parameters | |
| KR20150024769A (en) | Imaging apparatus and imaging method thereof, image processing apparatus and image processing method thereof, and program | |
| US10691924B2 (en) | Biological information detection device and biological information detection method | |
| CN109661668B (en) | Image processing method and system for iris recognition | |
| KR102308437B1 (en) | Apparatus and method for optimizing external examination of a subject | |
| US7949182B2 (en) | Combining differently exposed images of the same object | |
| US11017500B2 (en) | Image acquisition using time-multiplexed chromatic illumination | |
| KR101937249B1 (en) | Contrast Enhancement Method and Device based on Image Noise Level for Thermal Imaging Camera | |
| US8854501B2 (en) | Image processing apparatus and image processing method for processing spectral image data | |
| US20130155254A1 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| JP2008281402A (en) | Perceptive mirror-diffuse reflection image estimation method, device therefor, program and storage medium | |
| JP6900395B2 (en) | Image processing equipment, imaging equipment, image processing methods, image processing programs, and recording media | |
| JP2004007462A (en) | Method for correcting digital image against influence of flare light | |
| JP6969164B2 (en) | Evaluation device, evaluation program and evaluation method | |
| JP2007004721A (en) | Object detecting device and object detecting method | |
| JP2006067423A (en) | Image quality quantitative evaluation method and its device | |
| US20180152649A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
| CN116806304A (en) | Data processing device, data processing method, data processing program, optical element, photographing optical system, and photographing apparatus | |
| JP4529210B2 (en) | Colorimetric conversion coefficient calculation method and colorimetric image conversion method, colorimetric conversion coefficient calculation apparatus and colorimetric image conversion apparatus, and computer-readable information recording a colorimetric conversion coefficient calculation program or colorimetric imaging program recoding media | |
| JP4226308B2 (en) | Image processing apparatus and image processing method | |
| JP2022006624A (en) | Calibration device, calibration method, calibration program, spectroscopic camera, and information processing device | |
| JP2018101289A (en) | Biometric authentication device, biometric authentication system, biometric authentication program, and biometric authentication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160727 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5988093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |