WO2023032338A1 - 色判別装置及び色判別方法 - Google Patents

色判別装置及び色判別方法 Download PDF

Info

Publication number
WO2023032338A1
WO2023032338A1 PCT/JP2022/016636 JP2022016636W WO2023032338A1 WO 2023032338 A1 WO2023032338 A1 WO 2023032338A1 JP 2022016636 W JP2022016636 W JP 2022016636W WO 2023032338 A1 WO2023032338 A1 WO 2023032338A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
unit
images
reflection
Prior art date
Application number
PCT/JP2022/016636
Other languages
English (en)
French (fr)
Inventor
祐治 花田
正彦 南雲
君晴 佐藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニーグループ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2023545074A priority Critical patent/JPWO2023032338A1/ja
Publication of WO2023032338A1 publication Critical patent/WO2023032338A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss

Definitions

  • the image acquisition unit 34 in FIG. 6 acquires two or more types of images from among the visible image color-converted by the color conversion unit 33, the reflection suppression image, and the reflection component image.
  • the reason why the image acquisition unit 34 acquires two or more types of images is that, for example, the colors of a plurality of target members 5 having different surface treatment specifications may not be accurately determined using only visible images. Since the reflection-suppressed image is an image that does not include a polarized light component, by combining the visible image and the reflection-suppressed image, it is possible to identify the difference in the surface treatment specification of the target member 5 .
  • the color discrimination device 30 discriminates the color of the target member 5 using machine learning.
  • the signal processing unit 74 performs the processing of the RAW image processing unit 31, the image extraction unit 32, the color conversion unit 33, and the image acquisition unit 34 shown in FIG. At least part of the processing of the RAW image processing unit 31 whose details are shown in FIG. 8 may be performed inside the polarization sensor 73 .
  • the color conversion unit 33 may be omitted in the present embodiment. That is, the visible image, the reflection suppression image, and the reflection component image extracted by the image extraction unit 32 may be input to the image acquisition unit 34 without undergoing color conversion.
  • the image acquisition unit 34 acquires two or more types of images from among a visible image without color conversion, a reflection suppression image, and a reflection component image. The acquired two or more types of images are input to the color discrimination section 35 .
  • the application processor 75 also has a function of sending and receiving data to and from the cloud server 72 via the network 77 .
  • the cloud server 72 manages models generated by machine learning. That is, the cloud server 72 has a function of a model building section that builds a model for discriminating the color of the target member 5 based on two or more types of input images.
  • the application processor 75 receives the trained model from the cloud server 72 via the network 77 and transfers it to the color discrimination section 35 .
  • FIG. 13 is a functional block diagram showing the internal configuration of the color discrimination section 35. As shown in FIG. As shown in FIG. 13 , the color discrimination section 35 has a learning section 81 and an inference section 82 .
  • the intermediate layer 92 is composed of only one layer, but the intermediate layer 92 may be composed of multiple layers. As the number of hierarchies of the intermediate layer 92 is increased, the learning effect can be enhanced, although the learning takes longer.
  • the first to fifth reference images are generated for one target member 5 whose color and surface treatment specifications are known, and using these first to fifth reference images, the weight of the neural network 90 You may make it update a coefficient.
  • 15A and 15B are diagrams showing examples in which the posture of the same target member 5 is changed variously. As shown in the figure, even if the color of the target member 5 is the same, the brightness of the polarized image captured by the camera system 71 may partially change depending on the orientation of the target member 5, and may be recognized as a different color. be. Especially when the surface of the target member 5 includes a curved surface, the color tends to change depending on the posture. Therefore, the learning unit 81 may perform the learning process of the neural network 90 using multi-orientation reference images obtained by variously changing the orientation of the target member 5 whose color and surface treatment specifications are known.
  • the learning unit 81 may perform learning processing for the neural network 90 using a plurality of reference images captured under a plurality of environments with different exposure conditions and white balances.
  • the learning unit 81 may acquire the image of the target member 5 with the new color and perform the learning process again.
  • the inference unit 82 preferably performs inference processing based on the re-learned result of the learning unit 81 .
  • the second embodiment in consideration of changes in environmental conditions and photographing conditions, presence/absence of reflection on the target member 5, changes in posture of the target member 5, target members 5 with similar colors, and the like, a plurality of reference By performing learning processing of the neural network 90 based on the image, it is possible to perform color discrimination processing with excellent robustness and expandability.
  • the color discrimination device 30 according to the third embodiment has the same block configuration as that of FIG. 12, but the processing operation of the color discrimination section 35 is different from that of the second embodiment.
  • a signal processing unit 74 according to the third embodiment performs processing of the RAW image processing unit 31, the image extraction unit 32, the color conversion unit 33, and the image acquisition unit 34 shown in FIG. Unlike the second embodiment, the color conversion unit 33 is essential in the third embodiment.
  • the camera system 71 photographs the target member 5 whose color is to be determined to obtain a visible image, a reflection suppression image, and a reflection component image (step S12). Each acquired image is converted into numerical data by the color conversion section 33 .
  • step S13 the difference ⁇ E between the digitized data of each image acquired in step S12 and the digitized data of the reference image is calculated.
  • the color conversion unit 33 generates digitized data by digitizing the RGB pixel data for each pixel.
  • step S13 a difference ⁇ E between values obtained by averaging numerical data of a plurality of pixels in the partial image extracted by the image extracting unit 32 is calculated.
  • the average value of the numerical data of each pixel in each partial image of the visible image, the reflection suppressed image, and the reflection component image of the target member 5 whose color is to be discriminated the visible image, the reflection suppressed image, which constitute the reference image, and the difference ⁇ E from the average value of the numerical data of each pixel in each partial image of the reflection component image.
  • step S14 the sum of the three types of ⁇ E calculated in step S13 is calculated (step S14).
  • a reference image with a smaller total value is closer to the color of the target member 5 .
  • the color discrimination device 30 according to the first to third embodiments can be applied to various use cases. For example, in a manufacturing factory that manufactures some parts, it is possible to identify the material of the part (for example, glass material, metal material, resin material, etc.) by distinguishing the color of the surface of the part.
  • the material of the part for example, glass material, metal material, resin material, etc.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the color discrimination device 30 of the present disclosure can be applied to the imaging unit 12031 .
  • an image extraction unit that extracts a partial image of a specific region of the subject from each of the two or more types of images, and extracts a partial reference image of the specific region from each of the plurality of reference images; prepared, (2) or (3), wherein the color discrimination unit discriminates the color of the subject based on a result of comparing each of the partial images of two or more types and each of the plurality of partial reference images. color discriminator.
  • each of the plurality of reference images has a reference visible image including a visible light component, a reference reflection suppressed image in which the reflected light component is suppressed, and a reference reflected component image in which the reflected light component is extracted;
  • the difference calculation unit digitizes each of the visible image, the reflection suppression image, and the reflection component image corresponding to the two or more types of images by the digitization unit, and each of the plurality of reference images.
  • the color according to (12), wherein the difference is calculated based on values obtained by digitizing each of the reference visible image, the reference reflection suppression image, and the reference reflection component image corresponding to Discriminator.
  • the difference calculator calculates a first difference between a value obtained by digitizing the visible image by the digitizing unit and a value obtained by digitizing the reference visible image by the digitizing unit, and the reflection suppressed image. a second difference between the value digitized by the digitization unit and the value digitized from the reference reflection suppression image by the digitization unit; the value digitized for the reflection component image by the digitization unit; calculating a value obtained by summing the third difference between the reference reflection component image and the value digitized by the digitization unit;
  • the color discrimination device determines the color of the reference image that minimizes the total value calculated by the difference calculation section as the color of the subject.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

［課題］被写体の色を正確に判別でき、ロバスト性と拡張性に優れる色判別装置の提供。 ［解決手段］色判別装置は、被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得する画像取得部と、前記画像取得部で取得された２種類以上の画像に基づいて、前記被写体の色を判別する色判別部と、を備える。

Description

色判別装置及び色判別方法
　本開示は、色判別装置及び色判別方法に関する。
　色を定量的に計測するために、ＲＧＢカメラ、マルチスペクトルカメラ、分光計測器などが一般的に用いられている。これらの機器はいずれも、色を波長として捉えて色を計測している。
　同じ色でも、表面処理仕様が異なる対象部材については、対象部材からの反射光の波長だけで色を正確に判別するのは困難である。例えば、同じ色の２つの対象部材の一方がソリッド塗装で、他方がメタリック塗装の場合、これらの色を対象部材からの反射光の波長で判別するのは容易ではない。
　特許文献１には、メタリック塗装された対象部材に対して斜め方向から光を照射し、その光の反射光を複数方向から受光して、各方向の色差を算出することで、対象部材の色の近似色を高速に検索する技術が開示されている（特許文献１）。
特許４６２３８４２号公報
　特許文献１では、複数の方向から対象部材を撮像して、各方向の色差を算出しなければならず、処理が複雑で、色の判別に時間がかかる。また、環境光の変化や対象部材からカメラまでの距離により、色差の算出に誤差が生じるおそれがある。
　また、既存のＲＧＢカメラやマルチスペクトルカメラ等を用いたシステムでは、対象部材を照明光源で照明して、その反射光を受光素子で捉えて対象部材の色を判別する。しかしながら、表面形状が複雑な対象部材では、照明光に対する反射光量が場所によって変化するため、撮像画像の明るさのばらつきが大きくなり、正確な色を判別できなくなるおそれがある。
　さらに、製造ラインを流れる複数の対象部材の色を判別する場合、個々の対象部材ごとに、照明光源との距離が変動するおそれがある。距離が変動すると、対象部材からの反射光量が変化して、対象部材の色を正しく判別できなくなる。
　このように、既存のＲＧＢカメラやマルチスペクトルカメラは、ロバスト性に優れているとは言えず、対象部材の色を正確に判別できない場合がある。
　また、対象部材に新色が追加された場合などにも、精度を落とすことなく色を判別可能とする拡張性を備えているのが望ましいが、既存のシステムでは、新色が既に登録されている色と似通っている場合には、色を正確に判別できなくなる。
　そこで、本開示では、被写体の色を正確に判別でき、ロバスト性と拡張性に優れる色判別装置及び色判別方法を提供するものである。
　上記の課題を解決するために、本開示によれば、被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得する画像取得部と、
　前記画像取得部で取得された２種類以上の画像に基づいて、前記被写体の色を判別する色判別部と、を備える、色判別装置が提供される。
　前記色判別部は、前記画像取得部で取得された２種類以上の画像のそれぞれを、既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、前記被写体の色を判別してもよい。
　前記色判別部は、前記画像取得部で取得された２種類以上の画像のそれぞれを、それぞれ異なる環境条件および撮影条件の少なくとも一方の下で撮影された既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、前記被写体の色を判別してもよい。
　前記２種類以上の画像のそれぞれから、前記被写体の特定の部位の部分画像を抽出するとともに、前記複数の参照画像のそれぞれから前記特定の部位の部分参照画像を抽出する画像抽出部を備え、
　前記色判別部は、２種類以上の前記部分画像のそれぞれと、複数の前記部分参照画像のそれぞれとを比較した結果に基づいて、前記被写体の色を判別してもよい。
　入力された前記２種類以上の画像に基づいて前記被写体の色を判別する機械学習モデルを構築するモデル構築部と、
　前記複数の参照画像に基づいて前記機械学習モデルの学習を行う学習部と、を備え、
　前記色判別部は、前記２種類以上の画像を前記機械学習モデルに入力したときに、前記機械学習モデルから出力された色に基づいて前記被写体の色を判別してもよい。
　前記学習部は、既知の色及び表面処理仕様をそれぞれ有する前記複数の参照画像に基づいて、前記機械学習モデルの学習を行ってもよい。
　前記学習部は、異なる複数の環境条件及び撮影条件の少なくとも一方の下で撮影された前記複数の参照画像に基づいて、前記機械学習モデルの学習を行ってもよい。
　前記学習部は、前記被写体の姿勢がそれぞれ異なる前記複数の参照画像に基づいて、前記機械学習モデルの学習を行ってもよい。
　前記機械学習モデルは、更新可能な重み係数を有するニューラルネットワークを有し、
　前記学習部は、前記複数の参照画像に基づいて前記重み係数を更新してもよい。
　前記複数の参照画像のそれぞれは、可視光成分を含む参照可視画像、反射光成分が抑制された参照反射抑制画像、及び前記反射光成分が抽出された参照反射成分画像を有し、
　前記学習部は、前記複数の参照画像に対応する複数の前記参照可視画像、複数の前記参照反射抑制画像、及び複数の前記参照反射成分画像に基づいて、前記機械学習モデルの学習を行ってもよい。
　前記モデル構築部は、ネットワークに接続されたサーバに設けられてもよい。
　前記画像取得部で取得された２種類以上の画像と前記複数の参照画像とのそれぞれを数値化する数値化部と、
　前記２種類以上の画像のそれぞれを前記数値化部で数値化した値と、前記複数の参照画像を前記数値化部で数値化した値との差分を算出する差分算出部と、を備え、
　前記色判別部は、前記差分算出部で算出された前記差分に基づいて、前記被写体の色を判別してもよい。
　前記複数の参照画像のそれぞれは、可視光成分を含む参照可視画像、反射光成分が抑制された参照反射抑制画像、及び前記反射光成分が抽出された参照反射成分画像を有し、
　前記差分算出部は、前記２種類以上の画像に対応する前記可視画像、前記反射抑制画像、及び前記反射成分画像のそれぞれを前記数値化部で数値化した値と、前記複数の参照画像のそれぞれに対応する前記参照可視画像、前記参照反射抑制画像、及び前記参照反射成分画像のそれぞれを前記数値化部で数値化した値とに基づいて、前記差分を算出してもよい。
　前記差分算出部は、前記可視画像を前記数値化部で数値化した値と、前記参照可視画像を前記数値化部で数値化した値との第１差分と、前記反射抑制画像を前記数値化部で数値化した値と、前記参照反射抑制画像を前記数値化部で数値化した値との第２差分と、前記反射成分画像を前記数値化部で数値化した値と、前記参照反射成分画像を前記数値化部で数値化した値との第３差分と、を合算した値を算出し、
　前記色判別部は、前記差分算出部で算出された合算した値が最小となる前記参照画像の色を前記被写体の色として判定してもよい。
　前記被写体を撮影した偏光画像を出力する撮像部と、
　前記偏光画像に基づいて、前記可視画像、前記反射抑制画像、及び前記反射成分画像を生成する偏光信号処理部と、を備え、
　前記画像取得部は、前記偏光画像に基づいて、前記可視画像、前記反射抑制画像、及び前記反射成分画像のうち２種類以上の画像を生成してもよい。
　前記撮像部が前記被写体を撮影する際に、所定の偏光角度で偏光された光で前記被写体を照明する照明光源を備えてもよい。
　前記表面処理仕様は、前記被写体のメタリック塗装とソリッド塗装との少なくとも一方を含んでもよい。
　本開示によれば、被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得し、
　前取得された２種類以上の画像に基づいて、前記被写体の色を判別する、色判別方法が提供される。
第１の実施形態に係る色判別システムの全体構成を示すブロック図。 カメラ内の撮像部の断面図。 ワイヤグリッド偏光素子の斜視図。 偏光フィルタの平面レイアウト図。 偏光フィルタの偏光特性を示す図。 偏光フィルタの偏光特性を示す図。 偏光フィルタの偏光特性を示す図。 色判別装置の機能ブロック図。 部分画像を説明する図。 図６のＲＡＷ画像処理部の内部構成を示す機能ブロック図。 図８の偏光信号処理部の内部構成を示す機能ブロック図。 色変換部の内部構成を示す機能ブロック図。 ＣＩＥＬＡＢ色空間変換部の処理を説明する図。 第２の実施形態に係る色判別システムの概略構成を示すブロック図。 色判別部の内部構成を示す機能ブロック図。 ニューラルネットワークの一例を示す図。 同一の対象部材の姿勢を種々に変化させた例を示す図。 第３の実施形態に係る色判別部の処理動作を示すフローチャート。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
　以下、図面を参照して、色判別装置及び色判別方法の実施形態について説明する。以下では、色判別装置及び色判別方法の主要な構成部分を中心に説明するが、色判別装置及び色判別方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１は本開示の第１の実施形態に係る色判別システム１の全体構成を示すブロック図である。図１の色判別システム１は、カメラ２と、照明光源３と、ＰＣ（Personal Computer）４とを備えている。
　カメラ２は、対象部材５を撮影する。対象部材５は、何らかの色を持つ任意の部材である。本明細書では、対象部材５を被写体と呼ぶことがある。対象部材５は、例えば製造ラインを流れる工業製品であってもよい。本開示に係る色判別システム１によれば、特定の色の対象部材５を何らかの機器に取り付ける場合に、対象部材５が指定された色か否かを機器に取り付ける前に調べて、間違った色の対象部材５が機器に取り付けられないようにすることができる。
　カメラ２は、撮像部（受光素子とも呼ばれる）６を有する。撮像部６は、対象部材５からの反射光を光電変換して、少なくとも偏光画像を生成する。偏光画像とは、特定の偏光成分を有する画像である。カメラ２は、偏光画像を生成するだけでなく、通常のイメージセンサと同様に、可視光の波長帯域の反射光を光電変換して可視画像を生成してもよい。
　図２はカメラ２内の撮像部６の断面図であり、裏面照射型の断面構造を示している。撮像部６は、画素部１０を有する。画素部１０には、画素ごとに区分けされた複数の光電変換部１０ａと、画素の境界部分に配置された遮光部材１０ｂとが形成されている。光電変換部１０ａの上には、平坦化層１１が配置されている。平坦化層１１の画素境界領域には、遮光層１２が配置されている。平坦化層１１と遮光層１２の上には、下地絶縁層１３が配置されている。下地絶縁層１３の上には絶縁層１４とライン・アンド・スペース構造のワイヤグリッド偏光素子１５が配置されている。なお、撮像部６は、図２のような裏面照射型に限定されるものではなく、表面入射型であってもよい。
　絶縁層１４とワイヤグリッド偏光素子１５の上には、保護層１６を介して平坦化層１７が配置されている。平坦化層１７の上には、カラーフィルタ層１８が配置されている。カラーフィルタ層１８は、ＲＧＢの３色のフィルタ層を有していてもよいし、その補色であるシアン、マゼンダ、イエローのフィルタ層を有していてもよい。あるいは、赤外光などの可視光以外の色を透過させるフィルタ層を有していてもよいし、マルチスペクトル特性を持つフィルタ層を有していてもよいし、白などの減色のフィルタ層を有していてもよい。赤外光などの可視光以外の光を透過させることで、デプス情報などのセンシング情報を検出できる。カラーフィルタ層１８の上には、オンチップレンズ１９が配置されている。画素部１０の光入射面と反対側の面には、別の基板２０がＣｕ－Ｃｕ接続、バンプ、ビア等により接合される。この基板２０には、配線層２１などが配置される。
　図３はワイヤグリッド偏光素子１５の斜視図である。ワイヤグリッド偏光素子１５は、一方向に延びる凸形状の複数のライン部１５ｄと、各ライン部１５ｄの間のスペース部１５ｅとを有する。偏光素子１５には、ライン部１５ｄの延びる方向がそれぞれ相違する複数種類がある。より具体的には、偏光素子１５には３種類以上があり、例えば、光電変換部１０ａの配列方向とライン部１５ｄの延在方向との為す角度は０度、６０度、１２０度の３種類でもよい。あるいは、光電変換部１０ａの配列方向とライン部１５ｄの延在方向との為す角度は０度、４５度、９０度、１３５度の４種類でもよいし、それ以外の角度でもよい。あるいは、複数の偏光素子１５は、単一方向のみの偏光をするものでもよい。複数の偏光素子１５の材料は、アルミニウムやタングステンなどの金属材料でもよい。
　このように、各偏光素子１５は、図３に示すように、一方向Ｘに伸びる複数のライン部１５ｄを、一方向Ｘと交差する方向Ｙに 間隔を空けて配置した構造を有する。ライン部１５ｄの延びる方向Ｘがそれぞれ相違する複数種類の偏光素子１５が存在する。これら偏光素子１５は、複数の光電変換部１０ａの二次元配列の一部と重なるように離隔して配置されている。
　ライン部１５ｄは、光反射層１５ｆと、絶縁層１５ｇと、光吸収層１５ｈとを積層した積層構造である。光反射層１５ｆは、例えばアルミニウム等の金属材料で形成されている。絶縁層１５ｇは、例えばＳｉＯ2等で形成されている。光吸収層１５ｈは、例えばタングステン等の金属材料である。
　ワイヤグリッド偏光素子１５にて偏光フィルタ２２が形成されている。図４は偏光フィルタ２２の平面レイアウト図である。図４に示すように、画素と同じサイズの４種類の偏光フィルタ２２が撮像面の全域に配置されている。各偏光フィルタ２２は、図３に示すワイヤグリッド偏光素子１５で形成されている。４種類の偏光フィルタ２２は、ワイヤグリッド偏光素子１５のライン部の長手方向を例えば０度、４５度、９０度、１３５度の方向に配置して形成されている。
　図５Ａ、図５Ｂ、及び図５Ｃは、４種類の偏光フィルタ２２の偏光特性を示す図である。図５Ａに示すように、各偏光フィルタ２２は、特定の方向の偏光しか透過させない。また、図５Ｂに示すように、偏光フィルタ２２に入射された光は、その光の振動方向と偏光フィルタ２２の偏光子の傾きとに応じて、偏光フィルタ２２を透過する光の強度が変化する。さらに、図５Ｃに示すように、偏光フィルタ２２を回転させて複数の画像を生成する代わりに、異なる偏光角度の複数の偏光子を隣接して配置することで、複数の偏光情報を同時に取得できる。
　図４は、撮像部６の撮像面の全域に偏光フィルタ２２を配置する例を示しているが、撮像面に部分的に偏光フィルタ２２を配置することで、偏光画像と可視画像を生成可能となる。例えば、撮像面に沿って配置された複数の画素を、赤、緑、青、白の２×２画素を組として二次元方向に配置し、白画素の光入射側だけに偏光フィルタ２２を配置してもよい。これにより、偏光フィルタ２２が配置された白画素に基づいて偏光画像を生成でき、偏光フィルタ２２が配置されていない赤、緑、青画素に基づいて可視画像を生成できる。
　図２の撮像部６の断面図では省略しているが、光電変換部１０ａで光電変換された画素信号は、画素部に積層された別の基板２０上に配置されるＡＤ変換部でデジタル画素信号に変換される。このデジタル画素信号は、ＲＡＷ画素データとも呼ばれ、偏光画像を構成する画素データである。図１のカメラ２は、ＲＡＷ画素データを出力する。ＲＡＷ画素データは、例えば画素ごとに１２ビットのデータである。
　複数の偏光画像をより鮮明にするには、照明光源３にて対象部材５を照明した状態で、カメラ２で対象部材５を撮影するのが望ましい。特に、照明光源３として、特定の偏光成分の偏光光を出射する偏光光源を用いることで、撮像部６で生成される複数の偏光画像の画質をより向上できる。なお、照明光源３は可視光を出射する光源でもよいが、撮像部６で生成される複数の偏光画像の画質を向上させるには偏光光源の方が望ましい。
　撮像部６で生成された偏光画像は、図１に示すＰＣ４に入力される。ＰＣ４は、後述するように、対象部材５の偏光画像に基づいて対象部材５の色を判別する色判別装置の主要部として機能する。また、ＰＣ４は、判別された色が想定した色と異なる場合には、警告灯７を点灯や点滅させるなどして注意を喚起してもよい。例えば、製造ラインを流れる複数の対象部材５の中に、想定した色と異なる対象部材５が見つかった場合は、その対象部材５を製造ラインから除去するために警告灯７を点灯や点滅させてもよい。
　なお、対象部材５の色判別は、必ずしもＰＣ４で行う必要はない。撮像部６に積層されたロジックチップで行ってもよいし、後述するように、撮像部６に接続されたアプリケーションプロセッサ（以下、ＡＰ）で行ってもよい。このように、色判別装置は、ＰＣ４以外の機器を用いて構成される場合もありうる。
　図６は色判別装置３０の機能ブロック図である。図６の色判別装置３０は、ＰＣ４等がソフトウェア処理で実行してもよいし、専用のチップやＤＳＰ（Digital Signal Processor）などで実行してもよい。また、色判別装置３０は、カメラ２に内蔵されたプロセッサによるソフトウェア処理や、カメラ２に内蔵された専用チップやＤＳＰなどで実行してもよい。
　図６に示すように、色判別装置３０は、ＲＡＷ画像処理部３１と、画像抽出部３２と、色変換部３３と、画像取得部３４と、色判別部３５とを有する。色判別装置３０内の一部の処理をカメラ２側で実行し、残りの処理をＰＣ４等で実行してもよい。例えば、ＲＡＷ画像処理部３１、画像抽出部３２、及び色変換部３３の処理をカメラ２側で実行し、画像取得部３４と色判別部３５の処理をＰＣ４側で実行してもよい。
　ＲＡＷ画像処理部３１は、カメラ２から出力されたＲＡＷ画素データに対して現像処理を行って、例えばＲＧＢの３色からなる画素データを生成する。各画素データは、例えば８ビットデータである。本明細書では、画素ごとのＲＡＷ画素データの１フレーム分をＲＡＷ画像と呼び、ＲＡＷ画像処理部３１から出力されるＲＧＢ３色の画素データの１フレーム分をＲＧＢ画像と呼ぶ。
　後述するように、ＲＡＷ画像処理部３１は、カメラ２から出力されたＲＡＷ画像に基づいて、対象部材５（被写体）を撮影した可視光成分を含む可視画像と、反射光成分が抑制された反射抑制画像と、反射光成分が抽出された反射成分画像とを生成する。これら３種類の画像はそれぞれ、１フレーム分のＲＧＢ画素データで構成されている。
　画像抽出部３２は、ＲＡＷ画像処理部３１から出力された可視画像、反射抑制画像、及び反射成分画像のそれぞれから、特定の部位の部分画像を抽出する。部分画像は、例えば図７に示すように、対象部材５の一部分の矩形領域５ａの画像（部分画像）である。特定の部位とは、対象部材５の色を表す代表的な部位を指す。特定の部位と部分画像のサイズは３種類の画像で同じである必要がある。なお、画像抽出部３２が抽出する部分画像の形状は、必ずしも矩形形状である必要はないが、本明細書では、画像抽出部３２が、３種類の画像のそれぞれから、同一画素位置及び同一矩形形状の部分画像を抽出する例を説明する。
　色変換部３３は、画像抽出部３２で抽出された３種類の画像を数値化する処理を行う。色変換部３３は必須の構成ブロックではなく、省略することも可能である。ただし、色変換部３３を設けることで、ＲＧＢ画素データを、人間の目の特性に近似した色情報を有する数値データに変換できる。また、色変換部３３を設けることで、参照画像との客観的な比較処理を行いやすくなる。
　画像取得部３４は、対象部材５（被写体）を撮像した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち任意の組合せの２種類以上の画像を取得する。すなわち、画像取得部３４は、可視画像、反射抑制画像、及び反射成分画像のうち、任意の組合せの２種類以上の画像を取得する。なお、画像取得部３４で取得される２種類以上の画像は、画像抽出部３２で抽出された部分画像である。
　色判別部３５は、画像取得部３４で取得された２種類以上の画像に基づいて、対象部材５（被写体）の色を判別する。後述するように、複数の対象部材５の色が同じでも、表面処理仕様が異なる場合がある。例えば、２つの対象部材５がともに白色だが、一方はメタリック塗装で、他方はソリッド塗装の場合がある。この場合、色判別部３５は、メタリック塗装の白か、ソリッド塗装の白かを正しく判別できることを特徴とする。
　より具体的には、色判別部３５は、画像取得部３４で取得された２種類以上の画像のそれぞれを、既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、被写体の色を判別する。また、色判別部３５は、画像取得部３４で取得された２種類以上の画像のそれぞれを、それぞれ異なる環境条件および撮影条件の少なくとも一方の下で撮影された既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、被写体の色を判別してもよい。
　図８は図６のＲＡＷ画像処理部３１の内部構成を示す機能ブロック図である。図８に示すように、ＲＡＷ画像処理部３１は、クランプゲイン制御部４１と、ホワイトバランス（ＷＢ）調整部４２と、デモザイク処理部４３と、偏光信号処理部４４と、リニアマトリクス部４５と、ガンマ補正部４６と、シャープネス調整部４７と、クロマ位相＆ゲイン調整部４８とを有する。
　クランプゲイン制御部４１は、ＲＡＷ画像のクランプゲインを制御する。ホワイトバランス調整部４２は、クランプゲイン制御部４１でクランプゲインが制御されたＲＡＷ画像のホワイトバランスを調整する。デモザイク処理部４３は、ホワイトバランスの調整後のＲＡＷ画像に対してデモザイク処理を行う。デモザイク処理とは、各画素の画素データを、周辺画素の画素データに基づいて補間する処理である。
　偏光信号処理部４４は、後述するように、デモザイク処理後の画像から、上述した可視画像、反射抑制画像、及び反射成分画像を生成する。リニアマトリクス部４５は、画素データの変化と階調の変化との関係が線形になるように線形化処理を行う。ガンマ補正部４６は、リニアマトリクス部４５から出力された画像に対してガンマ補正処理を行う。シャープネス調整部４７は、ガンマ補正部４６から出力された画像の輪郭を強調する処理を行う。クロマ位相＆ゲイン調整部４８は、ガンマ補正部４６から出力された画像に対してクロマ位相の調整とゲイン調整を行う。
　シャープネス調整部４７とクロマ位相＆ゲイン調整部４８の処理を行うことで、ＲＧＢの画素データを含むＲＧＢ画像が生成される。
　図８に示すＲＡＷ画像処理部３１内の各処理ブロックの処理順序は任意に変更可能である。また、一部の処理ブロックを省略することも可能である。例えば、リニアマトリクス部４５、ガンマ補正部４６、シャープネス調整部４７、及びクロマ位相＆ゲイン調整部のうち少なくとも一つを省略してもよい。
　図９は図８の偏光信号処理部４４の内部構成を示す機能ブロック図である。図９に示すように、偏光信号処理部４４は、非偏光強度算出部５１と、偏光強度算出部５２と、減算器５３とを有する。
　偏光信号処理部４４には、図８のデモザイク処理を行った後の画像が入力される。偏光信号処理部４４に入力される画像は、例えば４つの異なる偏光角度の偏光画像である。以下では、偏光信号処理部４４に入力される４つの偏光画像が、偏光角度０度、４５度、９０度、１３５度の偏光画像である例を示す。
　非偏光強度算出部５１は、式（１）に示すように、４つの偏光画像の平均値を算出する。式（１）中の「0deg」、「45deg」、「90deg」、「135deg」はそれぞれ、０度、４５度、９０度、１３５度の偏光画像である。実際には、４つの偏光画像の画素ごとに式（１）の算出が行われる。
Figure JPOXMLDOC01-appb-M000001
　式（１）の算出を画素ごとに行うことで、４つの偏光角度の偏光成分を均等に含む可視画像が生成される。このように、カメラ２で可視画像を撮像しなくても、偏光画像から可視画像を生成できる。
　偏光強度算出部５２は、式（２）によって、４つの偏光画像の偏光強度を算出する。偏光は反射により生じるため、偏光強度は反射光強度と等価であり、式（２）により反射光成分を抽出できる。
Figure JPOXMLDOC01-appb-M000002
　式（２）の算出を画素ごとに行うことで、偏光角度がそれぞれ異なる４つの偏光画像の反射光成分を抽出した反射成分画像が生成される。
　減算器５３は、非偏光強度算出部５１で算出された可視画像と、偏光強度算出部５２で算出された反射成分画像との差分を算出する。この算出は、画素ごとに行われる。これにより、反射光成分を抑制した反射抑制画像が生成される。
　偏光信号処理部４４で生成された可視画像、反射抑制画像、及び反射成分画像は、画像抽出部３２に入力されて、同一の画素位置及び同一形状の部分画像が抽出される。画像抽出部３２で抽出された３種類の部分画像は、色変換部３３に入力される。
　図１０は色変換部３３の内部構成を示す機能ブロック図である。図１０に示すように、色変換部３３は、枠内平均値算出部６１と、ガンマ逆変換処理部６２と、ＸＹＺ色空間変換部６３と、ＣＩＥＬＡＢ色空間変換部６４とを有する。
　枠内平均値算出部６１は、３種類の部分画像のそれぞれごとに、色別の画素データの平均値を算出する。ガンマ逆変換処理部６２は、３種類の部分画像内の各画素データに対してガンマ逆変換を行って、部分画像ごとに、画素データＲ’Ｇ’Ｂ’を生成する。
　ＸＹＺ色空間変換部６３は、例えば以下の式（３）の行列を用いて、画素データＲ’、Ｇ’、Ｂ’をＸＹＺの色空間データに変換する。
Figure JPOXMLDOC01-appb-M000003
　ＣＩＥＬＡＢ色空間変換部６４は、ＸＹＺの色空間データをＣＩＥＬＡＢの色空間データに変換する。図１１はＣＩＥＬＡＢ色空間変換部６４の処理を説明する図である。まず、ＸＹＺの色空間データから、色温度別係数で補正した色空間データＸ’Ｙ’Ｚ’を生成する（ステップＳ１）。
　次に、ＸＹＺ座標上の色空間データＸ’Ｙ’Ｚ’を、Ｌ＊ａ＊ｂ＊座標上の色空間データＸｎＹｎＺｎに変換する（ステップＳ２）。
　ＣＩＥＬＡＢ色空間への変換を行うことで、人間の知覚に近似した画像が得られる。
　図６の画像取得部３４は、色変換部３３で色変換された可視画像、反射抑制画像、及び反射成分画像の中から２種類以上の画像を取得する。画像取得部３４が２種類以上の画像を取得するのは、可視画像だけでは、例えば表面処理仕様がそれぞれ異なる複数の対象部材５の色を正確に判別できないおそれがあるためである。反射抑制画像は偏光成分を含まない画像であるため、可視画像と反射抑制画像を組み合わせることで、対象部材５の表面処理仕様の違いを識別できる。例えば、対象部材５がメタリック塗装されている場合と、ソリッド塗装されている場合とで、照明光源３からの光が対象部材５の表面で反射されるときの反射方向や反射強度などの反射特性に違いが生じる。可視画像と反射抑制画像では、対象部材５からの反射光を含む割合が異なるため、両画像を組み合わせることで、対象部材５の表面処理仕様の違いを考慮に入れた色判別を行うことができる。
　以上では、画像取得部３４が可視画像と反射抑制画像を取得する例を示したが、画像取得部３４が可視画像と反射成分画像を取得する場合や、反射抑制画像と反射成分画像を取得する場合も、同様に、対象部材５の表面処理仕様を考慮に入れた色判別を行うことができる。
　また、対象部材５が複雑な形状をしている場合、照明光源３からの光の反射方向や反射強度が場所によって大きく変化する。画像取得部３４が２種類以上の画像を取得することで、対象部材５で反射された光の反射方向や反射強度が対象部材５の場所によって大きく変化しても、対象部材５の色を精度よく推定できる。
　色判別部３５は、画像取得部３４が取得した２種類以上の画像のそれぞれを、既知の色をそれぞれ有する複数の参照画像と比較した結果に基づいて、対象部材５の色を判別する。色判別部３５の具体的な処理手順は、一つに限定されるものではない。例えば、色判別部３５は、機械学習を利用して対象部材５の色を判別することができる。あるいは、色判別部３５は、機械学習を利用せずに、対象部材５の画像と複数の参照画像の画像とをそれぞれ比較して、対象部材５の画像に最も近い参照画像の色を選択することが考えられる。色判別部３５の代表的な処理手順については、後述する。
　このように、第１の実施形態に係る色判別装置３０では、対象部材５を撮影した偏光画像に基づいて生成された可視画像、反射抑制画像、反射成分画像の中から２種類以上の画像を取得して対象部材５の色を判別する。取得される２種類以上の画像は、対象部材５からの反射光を含む割合が異なるため、対象部材５の表面処理仕様や、対象部材５の複雑な形状による色合いの変化などを考慮に入れた上で、対象部材５の色を精度よく判別できる。
　本実施形態によれば、カメラ２で偏光画像を撮影するだけで、可視画像、反射抑制画像、及び反射成分画像を生成でき、生成した３種類の画像のうち２種類以上の画像に基づいて、簡易かつ精度よく対象部材５の色を判別できる。
　後述するように、色や表面処理仕様が既知の対象部材５を撮影した参照画像を予め用意して、色を判別したい対象部材５についての上述した２種類以上の画像と参照画像を比較した結果に基づいて対象部材５の色を正確に判別できる。また、撮影条件、環境条件、近似色、多姿勢等の多数の参照画像を予め用意することで、ロバスト性と拡張性に優れた色判別装置を実現できる。
　（第２の実施形態）
　第２の実施形態に係る色判別装置３０は、機械学習を利用して対象部材５の色を判別するものである。
　図１２は第２の実施形態に係る色判別システム１の概略構成を示すブロック図である。図１２の色判別システム１は、カメラシステム７１と、クラウドサーバ７２とを備えている。
　図１２のカメラシステム７１は、図１のカメラ２とＰＣ４の機能を合体したものである。図１２のカメラシステム７１は、偏光センサ７３と、信号処理部７４と、色判別部３５と、アプリケーションプロセッサ（ＡＰ）７５とを備えている。カメラシステム７１は、色判別装置３０の主要部分を構成している。図１２の信号処理部７４と色判別部３５はワンチップ化されてもよく、信号処理部７４と色判別部３５を含むチップの後段に、アプリケーションプロセッサ７５のチップが配置されてもよい。
　偏光センサ７３は、図２～図４に示す撮像部６と等価な機能を有する。偏光センサ７３は、撮像部６と、アナログ－デジタル変換器（以下、ＡＤＣ）７６とを有する。撮像部６が配置される基板と、ＡＤＣ７６が配置される基板とをＣｕ－Ｃｕ接続、バンプ、ビアなどで接合してワンチップ化してもよい。あるいは、撮像部６配置される画素部と、ＡＤＣ７６が配置される信号処理部とを同一のウエハ上に形成してもよい。
　信号処理部７４は、図６に示すＲＡＷ画像処理部３１と、画像抽出部３２と、色変換部３３と、画像取得部３４の処理を行う。なお、図８に詳細を示すＲＡＷ画像処理部３１の少なくとも一部の処理を偏光センサ７３の内部で行ってもよい。なお、本実施形態においては、色変換部３３を省略してもよい。すなわち、画像抽出部３２で抽出された可視画像、反射抑制画像、及び反射成分画像を色変換することなく、画像取得部３４に入力してもよい。画像取得部３４は、色変換しない状態での可視画像、反射抑制画像、及び反射成分画像の中から２種類以上の画像を取得する。取得された２種類以上の画像は、色判別部３５に入力される。
　信号処理部７４と色判別部３５は、互いに別個のチップ内に配置されてもよい。この場合、２つのチップ間は例えばＭＩＰＩ（Mobile Industry Processor Interface）規格に準拠してデータ（パケット）の送受を行い、パケットのヘッダに可視画像、反射抑制画像、及び反射成分画像のいずれのデータであるかを識別する情報を含める。
　また、図１２の色判別部３５をクラウドサーバ７２側に設けて、信号処理部７４の処理はカメラシステム７１で行い、色判別部３５の処理はクラウドサーバ７２で行ってもよい。
　色判別部３５は、対象部材５を撮影した２種類以上の画像を、機械学習で生成されたモデル（以下、機械学習モデル）に入力することで、対象物の色を判別する。色判別部３５の詳細な処理動作は後述する。
　アプリケーションプロセッサ７５は、色判別部３５により判別された対象部材５の色を表示部７８に表示する制御を行ったり、色判別部３５により判別された色により不良品と判断された対象部材５をアーム制御部７９にて製造ラインから除去したりする。アプリケーションプロセッサ７５による制御対象は任意であり、アプリケーションプロセッサ７５は表示部７８とアーム制御部７９以外の制御対象を制御してもよい。
　また、アプリケーションプロセッサ７５は、ネットワーク７７を介してクラウドサーバ７２とデータの送受を行う機能を有する。クラウドサーバ７２は、機械学習により生成されたモデルを管理する。すなわち、クラウドサーバ７２は、入力された２種類以上の画像に基づいて対象部材５の色を判別するモデルを構築するモデル構築部の機能を有する。アプリケーションプロセッサ７５は、学習済みのモデルをネットワーク７７経由でクラウドサーバ７２から受信し、色判別部３５に転送する。
　図１３は色判別部３５の内部構成を示す機能ブロック図である。図１３に示すように、色判別部３５は、学習部８１と、推論部８２を有する。
　学習部８１は、例えばニューラルネットワーク９０の各ノードの重み係数を更新する処理を行う。図１４はニューラルネットワーク９０の一例を示す図である。ニューラルネットワーク９０は、入力層９１と、中間層９２と、出力層９３とを有し、各層とも複数のノード９４を有する。入力層９１の複数のノード９４は、入力データの数に応じた数だけ設けられている。本実施形態では、ニューラルネットワーク９０の入力データは、画像取得部３４で取得された２種類以上の画像である。各画像は、ＲＧＢの色ごとに８ビットの画素データで構成されており、各画像の各画素データがニューラルネットワーク９０の入力層９１に入力される。例えば、ニューラルネットワーク９０の入力層９１に入力される入力データは、可視画像、反射抑制画像、又は反射成分画像以外のデータを含んでいてもよい。また、可視光以外の波長帯域の光（例えば、赤外光）を撮像するＩＲ（Infrared Ray）光センサ、短波赤外（ＳＷＩＲ：Short Wave Infrared Radiometer）センサ、又はマルチスペクトルセンサ等のセンシングデータや奥行き情報を検出するデプスセンサのセンシングデータなどをニューラルネットワーク９０に入力してもよい。
　入力層９１内の各ノード９４と中間層９２内の各ノード９４の間には、複数の信号経路が設けられており、各信号経路には、更新可能な重み係数Ｗ１１～Ｗ１ｍが設定されている。入力層９１の各ノード９４の値に、そのノード９４に接続される信号経路の重み係数を乗した値が、信号経路の接続先である中間層９２のノード９４に伝達される。中間層９２の各ノード９４には、入力層９１内の複数のノード９４が接続されている。中間層９２の各ノード９４は、そのノード９４に接続された入力層９１内の各ノード９４の値に、対応する信号経路の重み係数を乗じた値を足し合わせた値になる。すなわち、中間層９２の各ノード９４では、入力層９１の各ノード９４の値と、そのノード９４に接続された信号経路の重み係数を乗じた値を、各信号経路ごとに足し合わせる積和演算処理が行われる。
　図１４のニューラルネットワーク９０は、中間層９２が１階層だけで構成されているが、中間層９２は複数層で構成されていてもよい。中間層９２の階層数を増やすほど、学習に時間はかかるものの、学習効果を高めることができる。
　中間層９２の各ノード９４と、出力層９３の各ノード９４との間には複数の信号経路が接続されており、これら信号経路には、更新可能な重み係数Ｗ２１～Ｗ２ｎが設定されている。出力層９３の各ノード９４からは、対象部材５の色を示す情報や、対象部材５の色が特定の色と一致するか否かを示す情報などが出力される。
　学習部８１は、色が既知の複数の参照画像を図１４のニューラルネットワーク９０に順に入力して、既知の色が出力されるように重み係数を更新する学習処理を繰り返す。学習部８１は、色が既知であるだけでなく、表面処理仕様がそれぞれ異なる複数の参照画像や、色判別を誤りやすい近似色を持つ複数の参照画像を用いて学習処理を行う。
　参照画像は、色や表面処理仕様が既知の対象部材５を図１２のカメラシステム７１で撮影したものであり、参照画像ごとに、可視画像、反射抑制画像、及び反射成分画像の３種類の画像を含んでいる。学習部８１は、複数の参照画像のそれぞれについて、３種類の画像を図１４のニューラルネットワーク９０に順に入力して、既知の色と表面処理仕様が出力されるように重み係数の更新を行う。
　具体的な一例として、色や表面処理仕様が既知の対象部材５を図１２のカメラシステム７１で撮影して、可視画像、反射抑制画像、及び反射成分画像の３種類の画像を生成し、これら３種類の画像を一組とする参照画像（以下、第１参照画像）を生成する。また、同じ対象部材５を用いてカメラシステム７１の撮影条件を変えて撮影した３種類の画像を一組とする別の参照画像（以下、第２参照画像）を生成する。撮影条件の変更は、例えば照明光源３の照明輝度の変更や、ホワイトバランスの変更などである。さらに、同じ対象部材５を用いてカメラシステム７１との距離を変えて撮影した３種類の画像を一組とする別の参照画像（以下、第３参照画像）を生成する。また、同じ対象部材５の姿勢を変えて撮影した３種類の画像を一組とする別の参照画像（以下、第４参照画像）を生成する。さらに、同じ対象部材５の焦点調節量を変え撮影した３種類の画像を一組とする別の参照画像（以下、第５参照画像）を生成する。
　このように、色や表面処理仕様が既知の一つの対象部材５に対して、例えば第１～第５参照画像を生成し、これら第１～第５参照画像を用いて、ニューラルネットワーク９０の重み係数の更新を行うようにしてもよい。
　対象部材５が複雑な形状を有する場合、対象部材５の姿勢によって、撮影時の明るさが変化するなどして色合いが変化するおそれがある。図１５は同一の対象部材５の姿勢を種々に変化させた例を示す図である。図示のように、対象部材５の色が同一であっても、対象部材５の姿勢により、カメラシステム７１で撮像した偏光画像の明るさが部分的に変化し、異なる色として認識されるおそれがある。特に対象部材５の表面が曲面を含む場合は、姿勢によって色合いが変化しやすくなる。そこで、学習部８１は、色や表面処理仕様が既知の対象部材５の姿勢を種々に変化させた多姿勢の参照画像を用いてニューラルネットワーク９０の学習処理を行ってもよい。
　また、学習部８１は、露光条件やホワイトバランスが異なる複数の環境下で撮影した複数の参照画像を用いてニューラルネットワーク９０の学習処理を行ってもよい。
　さらに、学習部８１は、写り込みのある状況下で撮影された参照画像を用いてニューラルネットワーク９０の学習処理を行ってもよい。
　また、学習部８１は、判断を誤りやすい近似色の対象部材５を撮影した複数の参照画像を用いてニューラルネットワーク９０の学習処理を行ってもよい。
　対象部材５の姿勢の違い、撮影時の環境条件等の外乱のばらつき、撮影距離や撮影タイミングのばらつきなどの複数の要因によって、本来は同一色であっても、撮影画像が同一色として認識されない場合がある。そこで、学習部８１は、対象部材５の姿勢の違い、環境条件等の外乱のばらつき、撮影距離や撮影タイミングのばらつきなどを考慮に入れて、予め種々の参照画像を用いてニューラルネットワーク９０の学習処理を行うのが望ましい。
　また、対象部材５に新色が追加されることに伴って、再度、学習部８１は新色の対象部材５の画像を取得して学習処理を行ってもよい。推論部８２は、学習部８１が再学習した結果を踏まえて推論処理を行うのが望ましい。
　また、学習部８１がニューラルネットワーク９０の学習処理を行う際には、カメラシステム７１の露光条件とホワイトバランスをマニュアル設定にするのが望ましい。撮影時に露光条件とホワイトバランスが自動制御されると、参照画像ごとに明るさが変化し、適切な学習処理ができなくなるおそれがあるためである。ただし、異なる撮影条件下で対象部材５の色判別を行う場合に備えて、カメラシステム７１の露光条件とホワイトバランスを自動設定にした状態で、複数の参照画像を用いて学習処理を行ってもよい。
　製造ラインを流れる複数の対象部材５の色を判別する場合などでは、各対象部材５とカメラシステム７１との距離がばらつく場合がある。これに対する対策として、カメラシステム７１までの距離が異なる複数の参照画像を用いてニューラルネットワーク９０の学習処理を行ってもよい。
　ニューラルネットワーク９０の各層での積和演算と重み係数の更新は、カメラシステム７１内に設けられる色判別部３５内の学習部８１で行ってもよいし、あるいは、クラウドサーバ７２上に設けられる色判別部３５内の学習部８１で行ってもよい。クラウドサーバ７２上で積和演算と重み係数の更新を行う場合は、学習部８１は、学習に用いる参照画像を構成する３種類の画像の画素データと色の判別情報を、アプリケーションプロセッサ７５を経由してクラウドサーバ７２に送信する。クラウドサーバ７２は、学習部８１からの画素データと色の判別情報を用いて、積和演算を繰り返して重み係数を更新する。更新された重み係数は、クラウドサーバ７２上に記憶される。なお、図１２のクラウドサーバ７２は、オンプレミスサーバでもよいし、クラウドサービス事業者が提供するサーバでもよい。
　ニューラルネットワーク９０の積和演算と重み係数の更新をクラウドサーバ７２上で行うことで、学習部８１の処理負担を軽減でき、カメラシステム７１の価格を抑制できる。
　推論部８２は、対象部材５を撮影した可視画像、反射抑制画像、及び反射成分画像から取得された２種類以上の画像を、学習済みのニューラルネットワーク９０に入力して、対象部材５の色の判別を行う。上述したように、ニューラルネットワーク９０がクラウドサーバ７２上にある場合は、推論部８２は、２種類以上の画像を構成する画素データを、アプリケーションプロセッサ７５を介してクラウドサーバ７２に送信する。クラウドサーバ７２は、受信された画素データをニューラルネットワーク９０に入力して積和演算を行い、出力層９３から出力された色の判別結果を、アプリケーションプロセッサ７５を介して推論部８２に送信する。
　推論部８２は、例えば製造ラインを流れる複数の対象部材５の色を連続的に判別し、色に異常のある対象部材５をアプリケーションプロセッサ７５がアーム制御部７９に指示を送って、製造ラインから除去するようにすることができる。
　製造ラインを流れる複数の対象部材５の色を連続的に判別するには、迅速性が要求される。そこで、学習処理だけをクラウドサーバ７２で行い、学習済みのニューラルネットワーク９０の重み係数等をクラウドサーバ７２から推論部８２に送信して、推論部８２の内部にてニューラルネットワーク９０の積和演算を行って、色の判別結果を取得してもよい。これにより、色の判別結果を迅速に取得できる。
　このように、第２の実施形態に係る色判別装置３０では、色と表面処理仕様が既知の種々の参照画像を用いてニューラルネットワーク９０の学習処理を行い、学習済みのニューラルネットワーク９０に対して、対象部材５の可視画像、反射抑制画像、及び反射成分画像のうち２種類以上の画像を入力して、ニューラルネットワーク９０で色の判別を行う。これにより、対象部材５の表面処理仕様を考慮に入れて、正確な色を判別できる。また、複雑な形状を有する対象部材５については、予め多姿勢の参照画像を用いてニューラルネットワーク９０の学習処理を行うことで、姿勢が変化した対象部材５であっても、正確に色を判別できる。さらに、対象部材５からカメラシステム７１までの距離が変動する可能性がある場合には、予め異なる距離に位置する種々の参照画像を用いてニューラルネットワーク９０の学習処理を行うことで、距離が異なる対象部材５の色を正確に判別できる。
　第２の実施形態によれば、環境条件や撮影条件の変更、対象部材５への写り込みの有無、対象部材５の姿勢変更、近似色の対象部材５などを考慮に入れて、複数の参照画像に基づいてニューラルネットワーク９０の学習処理を行うことで、ロバスト性と拡張性に優れた色の判別処理を行うことができる。
　（第３の実施形態）
　第３の実施形態に係る色判別装置３０は、機械学習を用いずに対象部材５の色の判別を行うものである。
　第３の実施形態に係る色判別装置３０は、図１２と同様のブロック構成を備えているが、色判別部３５の処理動作が第２の実施形態とは異なっている。第３の実施形態に係る信号処理部７４は、図６に示すＲＡＷ画像処理部３１と、画像抽出部３２と、色変換部３３と、画像取得部３４の処理を行う。第２の実施形態と異なり、第３の実施形態では、色変換部３３が必須となる。
　図１６は第３の実施形態に係る色判別部３５の処理動作を示すフローチャートである。まず、複数の参照画像を生成するために、色と表面処理仕様が既知の複数の対象部材５を用意する。そして、これら複数の対象部材５をカメラシステム７１で撮影して、複数の参照画像を生成する（ステップＳ１１）。各参照画像は、可視画像、反射抑制画像、及び反射成分画像を有し、色変換部３３で数値化された値を取得しておく。
　ステップＳ１１では、異なる環境条件下や異なる写り込み条件下で、色と表面処理仕様が既知の対象部材５を撮影した複数の参照画像を取得してもよい。また、ステップＳ１１では、近似色の複数の対象部材５を撮影した複数の参照画像を取得してもよい。さらに、ステップＳ１１では、露光条件やホワイトバランスがそれぞれ異なる複数の撮影条件で対象部材５を撮影した複数の参照画像を取得してもよい。
　次に、色を判別したい対象部材５をカメラシステム７１で撮影して、可視画像、反射抑制画像、及び反射成分画像を取得する（ステップＳ１２）。取得された各画像は、色変換部３３で数値化データに変換する。
　次に、ステップＳ１２で取得した各画像の数値化データと、参照画像の数値化データとの差分ΔＥを算出する（ステップＳ１３）。色変換部３３は、ＲＧＢの画素データを画素ごとに数値化した数値化データを生成する。ステップＳ１３では、画像抽出部３２で抽出された部分画像内の複数画素の数値化データを平均化した値同士の差分ΔＥを算出する。すなわち、色を判別したい対象部材５の可視画像、反射抑制画像、及び反射成分画像の各部分画像内の各画素の数値化データの平均値と、参照画像を構成する可視画像、反射抑制画像、及び反射成分画像の各部分画像内の各画素の数値化データの平均値との差分ΔＥを算出する。
　ここでは、可視画像同士、反射抑制画像同士、又は反射成分画像同士で、差分ΔＥを算出する。すなわち、対象部材５の可視画像の数値化データと、参照画像の可視画像の数値化データとの差分ΔＥを算出する。また、対象部材５の反射抑制画像の数値化データと、参照画像の反射抑制画像の数値化データとの差分ΔＥを算出する。さらに、対象部材５の反射成分画像の数値化データと、参照画像の反射成分画像の数値化データとの差分ΔＥを算出する。
　ステップＳ１３の処理は、参照画像ごとに行われる。すなわち、複数の参照画像のそれぞれについて、対象部材５の数値化データと参照画像の数値化データとの差分ΔＥを算出する。よって、参照画像ごとに、３種類の差分ΔＥが算出されることになる。
　次に、参照画像ごとに、ステップＳ１３で算出された３種類のΔＥを合算した値を算出する（ステップＳ１４）。合算値が小さい参照画像ほど、対象部材５の色に近いことを示している。
　次に、ステップＳ１４で算出された差分ΔＥの合算値が最小となる参照画像を特定し、特定された参照画像の色を、対象画像の色として決定する（ステップＳ１５）。
　図１６のフローチャートでは、色を判別したい対象部材５と、色や表面処理仕様が既知の対象部材５についての、可視画像同士の差分ΔＥと、反射抑制画像同士の差分ΔＥと、反射成分画像同士の差分ΔＥとの合算値を計算しているが、これら３種類の差分ΔＥのうち、２種類の差分ΔＥの合算値が最小になる参照画像の色に基づいて、対象部材５の色を判別してもよい。
　このように、第３の実施形態では、予め色や表面処理仕様が既知の複数の参照画像を取得しておき、これら参照画像の可視画像、反射抑制画像、及び反射成分画像のうち２種類以上の画像と、色を判別したい対象部材５の可視画像、反射抑制画像、及び反射成分画像のうち２種類以上の画像との差分ΔＥの合算値を参照画像ごとに算出し、合算値が最小になる参照画像の色を対象画像の色とする。これにより、色の判別処理が容易になる。
　＜他のユースケースへの適用＞
　第１～第３の実施形態に係る色判別装置３０は、様々なユースケースに適用することができる。例えば、何らかの部品を製造する製造工場において、部品の表面の色の判別により、部品の材料（例えば、ガラス材料や金属材料、樹脂材料など）を識別することができる。
　また、路面の色の判別により、路面の水たまりや氷雪、オイルなどの路面を分析して自動運転に役立てることができる。
　さらに、部材の表面の色の判別により、プラスチック、金属、樹脂などの種々の材料からなる部材の塗装ムラや色抜けの判定を行うことができる。
　また、食肉や青果物などの飲食物の色の判別により、飲食物をグレード、熟度、鮮度等に従って仕分けることができる。
　さらに、印刷物の色の判別により、印刷物のカラー仕様（色相、彩度、明度等）のばらつきを判断して不良の有無を検査することができる。
　また、医薬品や化粧品等の色の判別により、医薬品や化粧品等の品質不良の検査を行うことができる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、本開示の色判別装置３０は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、より鮮明な撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、本技術は以下のような構成を取ることができる。
　（１）被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得する画像取得部と、
　前記画像取得部で取得された２種類以上の画像に基づいて、前記被写体の色を判別する色判別部と、を備える、色判別装置。
　（２）前記色判別部は、前記画像取得部で取得された２種類以上の画像のそれぞれを、既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、前記被写体の色を判別する、（１）に記載の色判別装置。
　（３）前記色判別部は、前記画像取得部で取得された２種類以上の画像のそれぞれを、それぞれ異なる環境条件および撮影条件の少なくとも一方の下で撮影された既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、前記被写体の色を判別する、（１）に記載の色判別装置。
　（４）前記２種類以上の画像のそれぞれから、前記被写体の特定の部位の部分画像を抽出するとともに、前記複数の参照画像のそれぞれから前記特定の部位の部分参照画像を抽出する画像抽出部を備え、
　前記色判別部は、２種類以上の前記部分画像のそれぞれと、複数の前記部分参照画像のそれぞれとを比較した結果に基づいて、前記被写体の色を判別する、（２）又は（３）記載の色判別装置。
　（５）入力された前記２種類以上の画像に基づいて前記被写体の色を判別する機械学習モデルを構築するモデル構築部と、
　前記複数の参照画像に基づいて前記機械学習モデルの学習を行う学習部と、を備え、
　前記色判別部は、前記２種類以上の画像を前記機械学習モデルに入力したときに、前記機械学習モデルから出力された色に基づいて前記被写体の色を判別する、（２）乃至（４）のいずれか一項に記載の色判別装置。
　（６）前記学習部は、既知の色及び表面処理仕様をそれぞれ有する前記複数の参照画像に基づいて、前記機械学習モデルの学習を行う、（５）に記載の色判別装置。
　（７）前記学習部は、異なる複数の環境条件及び撮影条件の少なくとも一方の下で撮影された前記複数の参照画像に基づいて、前記機械学習モデルの学習を行う、（５）に記載の色判別装置。
　（８）前記学習部は、前記被写体の姿勢がそれぞれ異なる前記複数の参照画像に基づいて、前記機械学習モデルの学習を行う、（５）に記載の色判別装置。
　（９）前記機械学習モデルは、更新可能な重み係数を有するニューラルネットワークを有し、
　前記学習部は、前記複数の参照画像に基づいて前記重み係数を更新する、（５）乃至（８）のいずれか一項に記載の色判別装置。
　（１０）前記複数の参照画像のそれぞれは、可視光成分を含む参照可視画像、反射光成分が抑制された参照反射抑制画像、及び前記反射光成分が抽出された参照反射成分画像を有し、
　前記学習部は、前記複数の参照画像に対応する複数の前記参照可視画像、複数の前記参照反射抑制画像、及び複数の前記参照反射成分画像に基づいて、前記機械学習モデルの学習を行う、（５）乃至（９）のいずれか一項に記載の色判別装置。
　（１１）前記モデル構築部は、ネットワークに接続されたサーバに設けられる、（５）乃至（１０）のいずれか一項に記載の色判別装置。
　（１２）前記画像取得部で取得された２種類以上の画像と前記複数の参照画像とのそれぞれを数値化する数値化部と、
　前記２種類以上の画像のそれぞれを前記数値化部で数値化した値と、前記複数の参照画像を前記数値化部で数値化した値との差分を算出する差分算出部と、を備え、
　前記色判別部は、前記差分算出部で算出された前記差分に基づいて、前記被写体の色を判別する、（２）乃至（４）のいずれか一項に記載の色判別装置。
　（１３）前記複数の参照画像のそれぞれは、可視光成分を含む参照可視画像、反射光成分が抑制された参照反射抑制画像、及び前記反射光成分が抽出された参照反射成分画像を有し、
　前記差分算出部は、前記２種類以上の画像に対応する前記可視画像、前記反射抑制画像、及び前記反射成分画像のそれぞれを前記数値化部で数値化した値と、前記複数の参照画像のそれぞれに対応する前記参照可視画像、前記参照反射抑制画像、及び前記参照反射成分画像のそれぞれを前記数値化部で数値化した値とに基づいて、前記差分を算出する、（１２）に記載の色判別装置。
　（１４）前記差分算出部は、前記可視画像を前記数値化部で数値化した値と、前記参照可視画像を前記数値化部で数値化した値との第１差分と、前記反射抑制画像を前記数値化部で数値化した値と、前記参照反射抑制画像を前記数値化部で数値化した値との第２差分と、前記反射成分画像を前記数値化部で数値化した値と、前記参照反射成分画像を前記数値化部で数値化した値との第３差分と、を合算した値を算出し、
　前記色判別部は、前記差分算出部で算出された合算した値が最小となる前記参照画像の色を前記被写体の色として判定する、（１３）に記載の色判別装置。
　（１５）前記被写体を撮影した偏光画像を出力する撮像部と、
　前記偏光画像に基づいて、前記可視画像、前記反射抑制画像、及び前記反射成分画像を生成する偏光信号処理部と、を備え、
　前記画像取得部は、前記偏光画像に基づいて、前記可視画像、前記反射抑制画像、及び前記反射成分画像のうち２種類以上の画像を生成する、（１）乃至（１４）のいずれか一項に記載の色判別装置。
　（１６）前記撮像部が前記被写体を撮影する際に、所定の偏光角度で偏光された光で前記被写体を照明する照明光源を備える、（１５）に記載の色判別装置。
　（１７）前記表面処理仕様は、前記被写体のメタリック塗装とソリッド塗装との少なくとも一方を含む、（２）、（３）又は（６）に記載の色判別装置。
　（１８）被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得し、
　前取得された２種類以上の画像に基づいて、前記被写体の色を判別する、色判別方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１　色判別システム、２　カメラ、３　照明光源、５　対象部材、５ａ　矩形領域、６　撮像部、７　警告灯、１０　画素部、１０ａ　光電変換部、１０ｂ　遮光部材、１１　平坦化層、１２　遮光層、１３　下地絶縁層、１４　絶縁層、１５　偏光素子、１５ｄ　ライン部、１５ｅ　スペース部、１５ｆ　光反射層、１５ｇ　絶縁層、１５ｈ　光吸収層、１６　保護層、１７　平坦化層、１８　カラーフィルタ層、１９　オンチップレンズ、２０　基板、２１　配線層、２２　偏光フィルタ、３０　色判別装置、３１　ＲＡＷ画像処理部、３２　画像抽出部、３３　色変換部、３４　画像取得部、３５　色判別部、４１　クランプゲイン制御部、４２　ホワイトバランス調整部、４３　デモザイク処理部、４４　偏光信号処理部、４５　リニアマトリクス部、４６　ガンマ補正部、４７　シャープネス調整部、４８　ゲイン調整部、５１　非偏光強度算出部、５２　偏光強度算出部、５３　減算器、６１　枠内平均値算出部、６２　ガンマ逆変換処理部、６３　ＸＹＺ色空間変換部、６４　ＣＩＥＬＡＢ色空間変換部、７１　カメラシステム、７２　クラウドサーバ、７３　偏光センサ、７４　信号処理部、７５　アプリケーションプロセッサ、７６　アナログ－デジタル変換器、７７　ネットワーク、７８　表示部、７９　アーム制御部、８１　学習部、８２　推論部、９０　ニューラルネットワーク、９１　入力層、９２　中間層、９３　出力層、９４　ノード

Claims (18)

  1. 　被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得する画像取得部と、
    　前記画像取得部で取得された２種類以上の画像に基づいて、前記被写体の色を判別する色判別部と、を備える、色判別装置。
  2. 　前記色判別部は、前記画像取得部で取得された２種類以上の画像のそれぞれを、既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、前記被写体の色を判別する、請求項１に記載の色判別装置。
  3. 　前記色判別部は、前記画像取得部で取得された２種類以上の画像のそれぞれを、それぞれ異なる環境条件および撮影条件の少なくとも一方の下で撮影された既知の色及び表面処理仕様をそれぞれ有する複数の参照画像と比較した結果に基づいて、前記被写体の色を判別する、請求項１に記載の色判別装置。
  4. 　前記２種類以上の画像のそれぞれから、前記被写体の特定の部位の部分画像を抽出するとともに、前記複数の参照画像のそれぞれから前記特定の部位の部分参照画像を抽出する画像抽出部を備え、
    　前記色判別部は、２種類以上の前記部分画像のそれぞれと、複数の前記部分参照画像のそれぞれとを比較した結果に基づいて、前記被写体の色を判別する、請求項２に記載の色判別装置。
  5. 　入力された前記２種類以上の画像に基づいて前記被写体の色を判別する機械学習モデルを構築するモデル構築部と、
    　前記複数の参照画像に基づいて前記機械学習モデルの学習を行う学習部と、を備え、
    　前記色判別部は、前記２種類以上の画像を前記機械学習モデルに入力したときに、前記機械学習モデルから出力された色に基づいて前記被写体の色を判別する、請求項２に記載の色判別装置。
  6. 　前記学習部は、既知の色及び表面処理仕様をそれぞれ有する前記複数の参照画像に基づいて、前記機械学習モデルの学習を行う、請求項５に記載の色判別装置。
  7. 　前記学習部は、異なる複数の環境条件及び撮影条件の少なくとも一方の下で撮影された前記複数の参照画像に基づいて、前記機械学習モデルの学習を行う、請求項５に記載の色判別装置。
  8. 　前記学習部は、前記被写体の姿勢がそれぞれ異なる前記複数の参照画像に基づいて、前記機械学習モデルの学習を行う、請求項５に記載の色判別装置。
  9. 　前記機械学習モデルは、更新可能な重み係数を有するニューラルネットワークを有し、
    　前記学習部は、前記複数の参照画像に基づいて前記重み係数を更新する、請求項５に記載の色判別装置。
  10. 　前記複数の参照画像のそれぞれは、可視光成分を含む参照可視画像、反射光成分が抑制された参照反射抑制画像、及び前記反射光成分が抽出された参照反射成分画像を有し、
    　前記学習部は、前記複数の参照画像に対応する複数の前記参照可視画像、複数の前記参照反射抑制画像、及び複数の前記参照反射成分画像に基づいて、前記機械学習モデルの学習を行う、請求項５に記載の色判別装置。
  11. 　前記モデル構築部は、ネットワークに接続されたサーバに設けられる、請求項５に記載の色判別装置。
  12. 　前記画像取得部で取得された２種類以上の画像と前記複数の参照画像とのそれぞれを数値化する数値化部と、
    　前記２種類以上の画像のそれぞれを前記数値化部で数値化した値と、前記複数の参照画像を前記数値化部で数値化した値との差分を算出する差分算出部と、を備え、
    　前記色判別部は、前記差分算出部で算出された前記差分に基づいて、前記被写体の色を判別する、請求項２に記載の色判別装置。
  13. 　前記複数の参照画像のそれぞれは、可視光成分を含む参照可視画像、反射光成分が抑制された参照反射抑制画像、及び前記反射光成分が抽出された参照反射成分画像を有し、
    　前記差分算出部は、前記２種類以上の画像に対応する前記可視画像、前記反射抑制画像、及び前記反射成分画像のそれぞれを前記数値化部で数値化した値と、前記複数の参照画像のそれぞれに対応する前記参照可視画像、前記参照反射抑制画像、及び前記参照反射成分画像のそれぞれを前記数値化部で数値化した値とに基づいて、前記差分を算出する、請求項１２に記載の色判別装置。
  14. 　前記差分算出部は、前記可視画像を前記数値化部で数値化した値と、前記参照可視画像を前記数値化部で数値化した値との第１差分と、前記反射抑制画像を前記数値化部で数値化した値と、前記参照反射抑制画像を前記数値化部で数値化した値との第２差分と、前記反射成分画像を前記数値化部で数値化した値と、前記参照反射成分画像を前記数値化部で数値化した値との第３差分と、を合算した値を算出し、
    　前記色判別部は、前記差分算出部で算出された合算した値が最小となる前記参照画像の色を前記被写体の色として判定する、請求項１３に記載の色判別装置。
  15. 　前記被写体を撮影した偏光画像を出力する撮像部と、
    　前記偏光画像に基づいて、前記可視画像、前記反射抑制画像、及び前記反射成分画像を生成する偏光信号処理部と、を備え、
    　前記画像取得部は、前記偏光画像に基づいて、前記可視画像、前記反射抑制画像、及び前記反射成分画像のうち２種類以上の画像を生成する、請求項１に記載の色判別装置。
  16. 　前記撮像部が前記被写体を撮影する際に、所定の偏光角度で偏光された光で前記被写体を照明する照明光源を備える、請求項１５に記載の色判別装置。
  17. 　前記表面処理仕様は、前記被写体のメタリック塗装とソリッド塗装との少なくとも一方を含む、請求項２に記載の色判別装置。
  18. 　被写体を撮影した可視光成分を含む可視画像、反射光成分が抑制された反射抑制画像、及び前記反射光成分が抽出された反射成分画像のうち２種類以上の画像を取得し、
    　前取得された２種類以上の画像に基づいて、前記被写体の色を判別する、色判別方法。
PCT/JP2022/016636 2021-08-30 2022-03-31 色判別装置及び色判別方法 WO2023032338A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023545074A JPWO2023032338A1 (ja) 2021-08-30 2022-03-31

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021140498 2021-08-30
JP2021-140498 2021-08-30

Publications (1)

Publication Number Publication Date
WO2023032338A1 true WO2023032338A1 (ja) 2023-03-09

Family

ID=85412046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016636 WO2023032338A1 (ja) 2021-08-30 2022-03-31 色判別装置及び色判別方法

Country Status (2)

Country Link
JP (1) JPWO2023032338A1 (ja)
WO (1) WO2023032338A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047045A (ja) * 2005-08-10 2007-02-22 Olympus Corp 画像処理装置及び方法並びにプログラム
JP2009055624A (ja) * 2007-05-31 2009-03-12 Panasonic Corp カラー偏光撮像装置および画像処理装置
US20140293091A1 (en) * 2012-05-21 2014-10-02 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP2018124814A (ja) * 2017-02-01 2018-08-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム
WO2020262615A1 (ja) * 2019-06-28 2020-12-30 関西ペイント株式会社 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047045A (ja) * 2005-08-10 2007-02-22 Olympus Corp 画像処理装置及び方法並びにプログラム
JP2009055624A (ja) * 2007-05-31 2009-03-12 Panasonic Corp カラー偏光撮像装置および画像処理装置
US20140293091A1 (en) * 2012-05-21 2014-10-02 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP2018124814A (ja) * 2017-02-01 2018-08-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム
WO2020262615A1 (ja) * 2019-06-28 2020-12-30 関西ペイント株式会社 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム

Also Published As

Publication number Publication date
JPWO2023032338A1 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
US11910099B2 (en) Real-time HDR video for vehicle control
US10616507B2 (en) Imaging system for vehicle
CN107316488B (zh) 信号灯的识别方法、装置和系统
US20180013988A1 (en) Image processing apparatus, image processing method, and image pickup element
US9619716B2 (en) Vehicle vision system with image classification
JP7372322B2 (ja) 色覚困難の知覚を改善する多重スペクトル多重偏光（ｍｓｍｐ）フィルタ処理
US20220201183A1 (en) Image recognition device and image recognition method
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
US10372139B2 (en) Color filter array for machine vision system
WO2021060118A1 (ja) 撮像装置
TWI775808B (zh) 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
CN114175615A (zh) 摄像器件、摄像系统和摄像方法
US10630952B2 (en) Image sensor
WO2019111529A1 (ja) 画像処理装置および画像処理方法
EP3182453A1 (en) Image sensor for a vision device and vision method for a motor vehicle
WO2023032338A1 (ja) 色判別装置及び色判別方法
WO2020246186A1 (ja) 撮像システム
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
US20210056356A1 (en) Automated system for determining performance of vehicular vision systems
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
WO2021166601A1 (ja) 撮像装置、および撮像方法
TWI842952B (zh) 攝像裝置
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
KR102668282B1 (ko) 깊이 맵에 신뢰도 추정치를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22863928

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545074

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE