JP7407408B2 - 検査システム及び検査方法 - Google Patents

Description

本開示は、検査システム及び検査方法に関する。特に、本開示は、画像により対象物の表面に関する判定を行う検査システム及び検査方法に関する。

特許文献１は、着色検査装置を開示する。特許文献１の着色検査装置は、ＣＩＥＸＹＺ等色関数と等価に線形変換された三つの分光感度を有するカメラと、カメラが取得した三つの分光感度を有する画像をＣＩＥＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚに変換した着色データを取得し演算する演算処理装置と、測定対象物の一例である自動車を照射する照明部と、を備え、検査物と基準物の２つのｘｙz色度ヒストグラム分布の重なり合った割合を示す色分布一致指数を演算することにより、色を検査する。

特開２０１５－１５５８９２号公報

課題は、対象物の表面の色の判定の精度を向上できる、検査システム及び検査方法を提供することである。

本開示の一態様の検査システムは、取得部と、判定部とを備える。前記取得部は、対象物の表面の画像を取得する。前記判定部は、前記対象物の表面の画像を画像処理することで得られる鏡面反射成分が支配的となる画像に基づいて、前記対象物の表面状態を判定する。前記取得部は、前記対象物の表面の画像として、前記対象物の表面の一部を表す複数の部分画像を取得する。前記判定部は、前記複数の部分画像から、前記対象物の連続性が維持されるように合成画像を生成し、前記合成画像から撮像条件を決定する。前記複数の部分画像のそれぞれは、鏡面反射成分が支配的である第１分離画像である。前記合成画像は、鏡面反射成分が支配的である第１合成画像である。前記判定部は、前記決定した撮像条件で前記取得部によって取得された前記対象物の表面の画像から生成した前記第１合成画像に基づき、前記対象物の表面状態を判定する。
本開示の一態様の検査システムは、判定部を備える。前記判定部は、対象物の表面状態を判定する。前記判定部は、鏡面反射成分が支配的となる複数の部分画像の連続性が維持されるように前記対象物を撮像する撮像条件を決定する。前記判定部は、前記決定した撮像条件によって取得された鏡面反射成分が支配的となる複数の部分画像から合成画像を生成する。前記判定部は、前記合成画像から前記対象物の表面状態を判定する。

本開示の一態様の検査方法は、対象物の表面状態を判定する検査方法である。前記検査方法は、第１ステップと、第２ステップと、第３ステップとを含む。前記第１ステップは、鏡面反射成分が支配的となる複数の部分画像の連続性が維持されるように前記対象物を撮像する撮像条件を決定するステップである。前記第２ステップは、前記第１ステップで決定した前記撮像条件によって取得された鏡面反射成分が支配的となる複数の部分画像から合成画像を生成するステップである。前記第３ステップは、前記第２ステップで生成した前記合成画像から前記対象物の表面状態を判定するステップである。

本開示の一態様のプログラムは、１以上のプロセッサに、上記検査方法を実行させるための、プログラムである。

本開示の一態様の記憶媒体は、コンピュータで読み取り可能な非一時的な記憶媒体であって、上記プログラムを記憶している。

図１は、一実施形態の検査システムのブロック図である。 図２は、上記検査システムの説明図である。 図３は、上記検査システムの設定処理のフローチャートである。 図４は、上記検査システムの色判定処理のフローチャートである。 図５は、第１分離画像の説明図である。 図６は、第２分離画像の説明図である。 図７は、上記検査システムの分離処理の説明図である。 図８は、上記検査システムの別の分離処理の説明図である。 図９は、上記検査システムの合成処理の説明図である。 図１０は、上記検査システムの合成処理の別の説明図である。 図１１は、上記検査システムの調色処理の説明図である。 図１２は、上記検査システムの塗装判定処理を含む塗装処理のフローチャートである。 図１３は、上記検査システムの塗装処理の説明図である。 図１４は、上記検査システムの塗装処理の別の説明図である。 図１５は、上記検査システムの質感判定処理のフローチャートである。 図１６は、上記検査システムの質感判定処理の説明図である。 図１７は、撮像システムの説明図である。

１．実施形態
１．１ 概要
図１は、一実施形態の検査システム１を示す。本実施形態の検査システム１は、取得部Ｆ１１と、判定部Ｆ１３とを備える。取得部Ｆ１１は、対象物１００の表面の画像を取得する。判定部Ｆ１３は、色判定処理を行う。色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。

検査システム１では、対象物１００の表面の色を、単一の観点ではなく、複数の観点から判定する。特に、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態を利用して、対象物１００の表面の色を判定する。鏡面反射成分には、拡散反射成分よりも対象物１００の表面の状態がよく反映され、拡散反射成分には、鏡面反射成分よりも対象物１００の表面の色自体がよく反映される。これによって、対象物１００の表面の色を、対象物１００の表面の色自体だけではなく、対象物１００の表面の状態を加味して判定できる。その結果、検査システム１によれば、対象物１００の表面の色の判定の精度を向上できる。

１．２ 詳細
以下、検査システム１について図面を参照して更に詳細に説明する。検査システム１は、対象物１００の検査のためのシステムである。検査システム１は、着色検査装置としての機能を有する。本実施形態において、検査システム１による検査は、対象物１００の表面の色、塗装状態、及び、質感を対象とする。また、検査システム１は、対象物１００の塗装も可能である。検査システム１は、検査の結果に応じて対象物１００を塗装することができ、これによって、所望の塗装がされた対象物１００が得られる。

対象物１００は、表面を有する物体であればよい。本実施形態では、対象物１００は、自動車である。特に、対象物１００の表面は、自動車の車体の外面である。なお、対象物１００は自動車に限られない。例えば、対象物１００は、自動車以外の移動体であってよいし、移動体でなくてもよい。移動体の例としては、二輪車、電車、ドローン、航空機、建設機械、及び船舶が挙げられる。また、対象物１００は、電気機器や、食器、容器、家具、衣類、建材等であってもよい。要するに、対象物１００は、表面を有する物体であればよい。特に、対象物１００は、塗装される物体であれば、本実施形態の検査システム１を好適に利用できる。

検査システム１は、図１に示すように、判定システム１０と、照明システム２０と、撮像システム３０と、塗装システム４０とを備える。

照明システム２０は、対象物１００の表面に光を照射するためのシステムである。照明システム２０は、図２に示すように、対象物１００に光を照射する複数（図２では４つ）のランプ２１を含む。ランプ２１は、一例としては、ＬＥＤランプである。また、ランプ２１は、白色光を放射する。なお、照明システム２０において、ランプ２１の数は特に限定されず、ランプ２１の種類も、ＬＥＤ以外の光源であってよい。また、ランプ２１の発光色は白色に限定されない。ランプ２１の発光色は、対象物１００の色及び撮像システム３０で検出可能な色を考慮して適宜設定され得る。また、照明システム２０が放射する光の波長は変更可能であってよい。なお、本実施形態の検査システム１は、照明システム２０を含むが、照明システム２０がなくても対象物１００の色を判定できるのであれば、照明システム２０は省略し得る。

撮像システム３０は、対象物１００の表面の画像（デジタル画像）を生成するためのシステムである。本実施形態では、撮像システム３０は、照明システム２０によって照らされている対象物１００の表面を撮像して対象物１００の表面の画像を生成する。撮像システム３０は、複数のカメラを含む。各カメラは、１以上のイメージセンサを備える。なお、カメラは１以上のラインセンサを備えてもよい。

本実施形態では、撮像システム３０の複数のカメラは、図２に示すように、４つの（第１）カメラ３１（３１１～３１４）と、１つの（第２）カメラ３２とを含む。ここで、第１カメラ３１及び第２カメラ３２は、対象物１００に対して変位可能である。また、第２カメラ３２は、第１カメラ３１よりも画角が広く、対象物１００の全体の画像を生成可能であるとよい。一例として、第２カメラ３２は、対象物１００を俯瞰する位置にあり、対象物１００の俯瞰図を表す画像を生成する。

塗装システム４０は、対象物１００の表面の塗装のためのシステムである。塗装システム４０は、図２に示すように、複数の塗装部（２つの塗装部４１，４２）を含む。本実施形態では、塗装部４１，４２は、いずれも塗装ロボットである。塗装部４１，４２は、対象物１００に対して変位可能である。塗装ロボットは、従来周知の構成であってよいから、詳細な説明は省略する。なお、塗装システム４０は、１以上の塗装部を含んでいればよく、塗装部の数も２に限定されない。

判定システム１０は、図１に示すように、入出力部１１と、記憶部１２と、処理部１３とを備える。判定システム１０は、コンピュータシステムにより実現され得る。コンピュータシステムは、１以上のプロセッサ、１以上のコネクタ、１以上の通信機器、及び１以上のメモリ等を含み得る。

入出力部１１は、照明システム２０、撮像システム３０及び塗装システム４０との間の情報の入出力を行う。本実施形態では、入出力部１１は、照明システム２０、撮像システム３０及び塗装システム４０に通信可能に接続される。入出力部１１は、１以上の入出力装置を含み、１以上の入出力インタフェースを利用する。

記憶部１２は、処理部１３が利用する情報を記憶するために用いられる。記憶部１２は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。記憶部１２は、色判定処理で用いられる、見本データを記憶する。見本データは、対象物１００の表面の目的の色の情報（つまり、見本となる色データ）を含む。対象物１００の表面の目的の色の情報は、一例として、波長毎の反射率の値で与えられる（図１１参照）。例えば、対象物１００の表面の目的の色の情報は、３８０ｎｍ～７８０ｎｍの波長の範囲の反射率の値で与えられる。つまり、見本データは、デジタル色見本としての側面を有する。また、見本データは、対象物１００の形状（撮影対象の形状情報）と対象物１００の撮像条件との少なくとも一方を含み得る。対象物１００の撮像条件は、対象物１００と照明システム２０と撮像システム３０との相対的な位置関係（つまりは、撮影対象物と照明とカメラの位置関係の情報）を含み得る。つまり、対象物１００の撮像条件は、照明システム２０による照明に関する情報（照明情報）を含み得る。一例として、見本データは、所定の撮像条件で撮像された対象物１００の表面の全体の画像であり得る。また、記憶部１２は、塗装判定処理で用いられる、基準情報を記憶する。基準情報は、対象物１００の表面の目的の塗装状態を表す。換言すれば、基準情報は、対象物１００の塗装状態のあるべき状態を示しているといえる。

処理部１３は、例えば、１以上のプロセッサ（マイクロプロセッサ）により実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（コンピュータプログラム）を実行することで、処理部１３として機能する。１以上のプログラムは、１以上のメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部１３は、設定処理（図３参照）と、色判定処理（図４参照）と、塗装判定処理（図１２参照）と、質感判定処理（図１５参照）とを行う。処理部１３は、図１に示すように、取得部Ｆ１１と、分離部Ｆ１２と、判定部Ｆ１３とを有している。取得部Ｆ１１と、分離部Ｆ１２と、判定部Ｆ１３とは、実体のある構成を示しているわけではなく、処理部１３によって実現される機能を示している。

取得部Ｆ１１は、対象物１００の表面の画像（図９及び図１０参照）を取得する。本実施形態では、取得部Ｆ１１は、撮像システム３０から対象物１００の表面の画像を取得する。つまり、取得部Ｆ１１は、入出力部１１を介して撮像システム３０から画像を受け取る。取得部Ｆ１１が撮像システム３０から取得する画像は、撮像システム３０の撮像条件によって、決まる。

分離部Ｆ１２は、分離処理を実行する。分離処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態を得るための処理である。分離部Ｆ１２は、分離処理では、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態を表す画像として、取得部Ｆ１１で取得された画像から、複数の分離画像を取得する。複数の分離画像は、それぞれ対象物１００の表面の画像を表すが、鏡面反射成分と拡散反射成分の比率が互いに異なる画像である。本実施形態では、複数の分離画像は、第１分離画像Ｐ１０（図５参照）と第２分離画像（図６参照）とである。ただし、複数の分離画像の数は２に限定されず、３以上の分離画像を利用することも可能である。

ここで、複数の反射状態とは、対象物１００の表面での光の反射の状態を含む。対象物１００の表面を異なる方向から見た場合には、鏡面反射成分と拡散反射成分の比率が変わり得る。よって、複数の反射状態とは、異なる視点から見た対象物１００の表面の状態であるといえる。対象物１００の表面を異なる場所のカメラで撮像することで、対象物１００の表面での異なる反射状態を表す画像が得られる。対象物１００の表面を異なる場所のカメラで撮像する場合、得られた画像は、鏡面反射成分と拡散反射成分との両方を含み得る。しかしながら、演算処理によって、画像から鏡面反射成分だけ、及び、拡散反射成分だけを抽出することが可能である。図７に示すように、鏡面反射成分は、撮像面Ｉにおいて、光源Ｌから表面Ｓへの光の入射角と表面Ｓでの光の反射角とが等しくなる領域を中心にピークを持つ。よって、鏡面反射成分は、撮像面Ｉにおいて、反射角θを中心とする所定範囲（θ±φ）に対応する領域で支配的である。拡散反射成分は、撮像面Ｉにおいて所定範囲（θ±φ）以外に対応する領域で支配的である。よって、撮像面Ｉにおいて、反射光の強度は、鏡面反射成分と拡散反射成分との合成として与えられる。そして、鏡面反射成分と拡散反射成分とは統計的なモデルにより推定可能である。また、鏡面反射成分と拡散反射成分とは、強度の分布が異なっていることから、図８に示すように、画像の階調値（輝度値）に基づいて、分離することが可能である。

本実施形態では、分離部Ｆ１２は、取得部Ｆ１１で取得された画像から、第１分離画像Ｐ１０（図５参照）と第２分離画像（図６参照）とを抽出する。そのため、複数の反射状態とは、鏡面反射成分だけの状態と拡散反射成分だけの状態とを含んでいてよい。第１分離画像Ｐ１０は、対象物１００の表面において鏡面反射成分だけの状態を表し、第２分離画像Ｐ２０は、対象物１００の表面において拡散反射成分だけの状態を表す。ここで、鏡面反射成分には、拡散反射成分よりも対象物１００の表面の状態がよく反映され、拡散反射成分には、鏡面反射成分よりも対象物１００の表面の色自体がよく反映される。

判定部Ｆ１３は、設定処理（図３参照）と、色判定処理（図４参照）と、塗装処理（図１２参照）と、質感判定処理（図１５参照）とを行う。

（設定処理）
設定処理は、色判定処理の前処理である。設定処理では、撮像システム３０の設定を行う。判定部Ｆ１３は、撮像システム３０の設定を行うために、撮像システム３０の撮像条件を決定する。撮像条件は、撮像システム３０の複数のカメラ、特に複数の第１カメラ３１の動作状態を規定する。動作状態は、対象物１００の表面に対する位置、対象物１００の表面に対する撮像方向、画角（視野）、及び、拡大倍率（ズーミング）を含み得る。本実施形態では、撮像システム３０の４つの第１カメラ３１１～３１４は、図９及び図１０に示すように、対象物１００の表面の一部を表す画像（部分画像）Ｐ３１～Ｐ３４を生成する。本実施形態では、複数の部分画像Ｐ３１～Ｐ３４は、対象物１００に関する撮像方向が異なる複数のカメラ３１で生成される。そのため、図９に示すように、４つの第１カメラ３１１～３１４の部分画像Ｐ３１～Ｐ３４により、対象物１００の表面の全体を表す画像（全体画像）Ｐ３０を生成するために、判定部Ｆ１３は、撮像システム３０の撮像条件を決定する。判定部Ｆ１３は、決定した撮像条件に従い、撮像システム３０の設定を行う。これによって、撮像システム３０によって、対象物１００の全体の画像を得ることが可能になる。なお、本実施形態において、対象物１００の表面の全体とは、色判定処理での判定の対象となる部分の全てであればよく、実際的な意味で対象物１００の表面の全体である必要はない。

以下、設定処理について、図３のフローチャートを参照して説明する。

まず、判定部Ｆ１３は、取得部Ｆ１１により、撮像システム３０から対象物１００の複数の部分画像Ｐ３１～Ｐ３４を取得する（Ｓ１１）。取得部Ｆ１１で取得された複数の部分画像Ｐ３１～Ｐ３４のそれぞれから、分離部Ｆ１２によって、第１分離画像及び第２分離画像が取得される（Ｓ１２）。判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第１分離画像を合成して、第１合成画像を生成する。また、判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第２分離画像を合成して、第２合成画像を生成する（Ｓ１３）。判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれについて、対象物１００の連続性が維持されるように、撮像システム３０の撮像条件（４つの第１カメラ３１１～３１４の動作状態）を決定する（Ｓ１４）。ここで、対象物１００の連続性（撮影対象のグラデーションの連続性）が維持されるとは、部分画像を合成して得られる合成画像において、対象物１００の形状が正しく反映されていることをいう。図９は、対象物１００の連続性が維持されている状態を示している。図１０は、対象物１００の連続性が維持されていない状態を示している。なお、説明を分かりやすくするために、図９及び図１０では、第１分離画像及び第２分離画像ではなく、部分画像Ｐ３１～Ｐ３４から合成画像を生成した場合の例を示している。判定部Ｆ１３は、記憶部１２に記憶されている見本データに含まれる対象物１００の形状を参照して、撮像条件を決定することができる。判定部Ｆ１３は、第１分離画像及び第２分離画像での対象物１００の形状が、見本データに含まれる対象物１００の形状に一致するように撮像条件を決定する。判定部Ｆ１３は、決定した撮像条件に従い、撮像システム３０の設定を行う（Ｓ１５）。これによって、４つの第１カメラ３１１～３１４の動作状態が更新される。その結果、撮像システム３０によって、対象物１００の全体の画像を得ることが可能になる。

このように、検査システム１は、複数のカメラ３１の画像（部分画像）を合成して合成画像（第１合成画像及び第２合成画像）を作成し、合成画像から撮像条件を計算して出力する。そして、検査システム１は、合成画像から撮影対象（対象物１００）のグラデーションの連続性が維持されるように、カメラ３１の画角とズーミングを制御する。

（色判定処理）
色判定処理は、対象物１００の表面の色を判定する処理である。より詳細には、色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。特に、判定部Ｆ１３は、色判定処理では、複数の分離画像Ｐ１０，Ｐ２０に基づいて、対象物１００の表面の色を判定する。更に、判定部Ｆ１３は、色判定処理では、複数の部分画像Ｐ３１～Ｐ３４から得られる、複数の反射状態それぞれにおいて対象物１００の表面の全体を表す画像Ｐ１０，Ｐ２０に基づいて、対象物１００の表面の色を判定する。なお、対象物１００の表面の色の判定は、画像Ｐ１０，Ｐ２０において、画素単位で実行され得る。

以下、色判定処理について、図４のフローチャートを参照して説明する。

まず、判定部Ｆ１３は、取得部Ｆ１１により、撮像システム３０から対象物１００の複数の部分画像Ｐ３１～Ｐ３４を取得する（Ｓ２１）。取得部Ｆ１１で取得された複数の部分画像Ｐ３１～Ｐ３４のそれぞれから、分離部Ｆ１２によって、第１分離画像及び第２分離画像が取得される（Ｓ２２）。判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第１分離画像を合成して、第１合成画像を生成する。また、判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第２分離画像を合成して、第２合成画像を生成する（Ｓ２３）。判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれについて、記憶部１２に記憶されている見本データの対象物１００の表面の目的の色の情報との比較をする（Ｓ２４）。対象物１００の表面の目的の色の情報は、第１合成画像用の目的の色の情報と第２合成画像用の目的の色の情報とを含む。よって、判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれについて、対象物１００の色の判定を行う。一例として、判定部Ｆ１３は、第１合成画像から得られる色と見本データの第１合成画像用の目的の色との一致度が規定値以上であれば、第１合成画像から得られる色が合格であるとする。同様に、判定部Ｆ１３は、第２合成画像から得られる色と第２合成画像用の目的の色との一致度が規定値以上であれば、第２合成画像から得られる色が合格であるとする。このように、判定部Ｆ１３は、複数の部分画像から得られる、複数の反射状態それぞれにおいて対象物１００の表面の全体を表す画像に基づいて、対象物１００の表面の色を判定する。判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれから得られた色が合格である場合に、色判定処理の結果を合格とする（Ｓ２５：Ｙｅｓ）。

一方、判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれから得られた色の少なくとも一方が不合格である場合に、色判定処理の結果を不合格とする（Ｓ２５：Ｎｏ）。この場合には、判定部Ｆ１３は、対象物１００の再塗装を行う（Ｓ２６）。再塗装では、判定部Ｆ１３は、第１合成画像から得られる色と第１合成画像用の目的の色の差分、及び、第２合成画像から得られる色と第２合成画像用の目的の色の差分に応じて、塗装システム４０を制御する。つまり、判定部Ｆ１３は、対象物１００の表面を塗装する塗装システム４０を、色判定処理の結果に基づいて制御する。これによって、対象物１００の表面の色を、目的の色に近付けることができる。例えば、図１１は、合成画像（第１合成画像又は第２合成画像）から得られた色を表すグラフＧ１０，Ｇ１１と、合成画像に対応する目的の色を表すグラフＧ２０との関係を示す。図１１において、Ｇ１０は再塗装前の色を表し、Ｇ１１は再塗装後の色を表す。このように、検査システム１では、対象物１００の表面の色を修正できる。

（塗装処理）
塗装処理は、対象物１００の塗装（塗着ともいう）を行う処理である。以下、塗装処理について、図１２のフローチャート及び、図１３並びに図１４を参照して説明する。図１３及び図１４は、塗装処理の一場面を示している。

まず、判定部Ｆ１３は、対象物１００の表面において塗装場所（塗着場所）を決定する（Ｓ３１）。本実施形態では、塗装システム４０は、２つの塗装ロボット４１，４２を備えているから、対象物１００の表面から、同時に２つの塗装場所を選択可能である。塗装場所の例としては、ボンネット、ルーフ、フロントドア、リヤドア、フロントバンパ、リヤバンパ、フェンダ、リヤフェンダ、トランクカバー等がある。判定部Ｆ１３は、撮像システム３０を利用して、塗着場所を決定する。判定部Ｆ１３は、第２カメラ３２で対象物１００の表面の全体を監視しており、対象物１００の表面において塗装されていない場所（未塗装の場所）を把握する。判定部Ｆ１３は、対象物１００の表面において未塗装の場所から、次の塗装場所を選択する。

次に、判定部Ｆ１３は、塗装前検査を実行する（Ｓ３２）。塗装前検査では、判定部Ｆ１３は、塗装場所の塗装の前に、塗装場所に異物がないかどうかを判断する。判定部Ｆ１３は、撮像システム３０を制御し、複数の第１カメラ３１の一つ（図１３では、第１カメラ３１２）を用いて、塗装場所の画像を撮像し、取得部Ｆ１１を通じて取得する。判定部Ｆ１３は、取得部Ｆ１１で得た塗装場所の画像から、画像処理技術により、異物の検出を行う。異物がないかどうかの判断時には、塗装場所の状態（色合い、凹凸情報）も判定される。塗装場所の状態は、塗装システム４０による塗装のレベル（塗着レベル）に反映される。一例として、塗装のレベル（塗着レベル）に応じて、塗料の吐出量（噴霧量、噴霧濃度）が決定される。ここで、異物が検出されなければ（Ｓ３３：Ｎｏ）、判定部Ｆ１３は、塗装場所の塗装（塗着）を開始する（Ｓ３４）。

塗装場所の塗装時には、判定部Ｆ１３は、図１３に示すように、塗装システム４０を制御し、塗装ロボット４１，４２を用いて、塗装場所（図１３では、ボンネット及び右リヤフェンダ）の塗装を行う。更に、判定部Ｆ１３は、対象物１００の表面において塗装中の場所の状態の判定を行う。判定部Ｆ１３は、撮像システム３０を制御して、塗装場所の画像を取得する。図１３では、第１カメラ３１１及び３１４が塗装場所の画像の取得に利用されている。判定部Ｆ１３は、取得部Ｆ１１で取得された対象物１００の表面の画像（つまり、塗装場所の画像）から得られる表面（現在の表面）の塗装状態と対象物１００の表面の目的の塗装状態との差分を求める。判定部Ｆ１３は、差分が小さくなるように、塗装システム４０を制御する。一例として、判定部Ｆ１３は、塗装ロボット４１，４２からの噴霧濃度（射出量）を調整する。塗装判定処理では、判定部Ｆ１３は、塗装場所の塗着不足（例えば、色合い及び均一性）が判断される。なお、塗装判定処理においても、色判定処理と同様に、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定してよい。

塗装が終了すると、判定部Ｆ１３は、塗装後検査を実行する（Ｓ３５）。塗装後検査では、判定部Ｆ１３は、塗装後の状態を判断する。塗装後の状態としては、塗料の垂れの有無、乾燥の有無、塗装済みの場所との連続性（色合いや表面状態の連続性）が挙げられる。本実施形態では、塗装場所での塗料の垂れがないかどうかを判断する。判定部Ｆ１３は、撮像システム３０を制御し、複数の第１カメラ３１の一つ（図１３では、第１カメラ３１３）を用いて、塗装が終了した塗装場所の画像を撮像し、取得部Ｆ１１を通じて取得する。取得部Ｆ１１で得た塗装場所の画像から、塗料の垂れの検出を行う。例えば、塗料の垂れは、塗装場所の色合い及び表面状態（例えば、色の均一性）に基づいて検出できる。判定部Ｆ１３は、取得部Ｆ１１で取得された対象物１００の表面の画像（つまり、塗装場所の画像）から得られる表面（現在の表面）の塗装状態と対象物１００の表面の目的の塗装状態との差分を求める。対象物１００の表面の目的の塗装状態（塗料の垂れの判断の比較画像）として、第２カメラ３２で撮像された対象物１００の表面の全体の画像から、塗料が均一に塗られた部分を用いてよい。判定部Ｆ１３は、差分が閾値（第１閾値）を超えた場合には、塗料の垂れがあると判断してよい。なお、塗料の垂れの判断においても、色判定処理と同様に、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定してよい。

ここで、塗料の垂れが検出されなければ（Ｓ３６：Ｎｏ）、判定部Ｆ１３は、第２カメラ３２で撮像した対象物１００の表面の全体の画像に基づいて、未塗着の場所があるかどうかを判断する（Ｓ３７１）。未塗着の場所があれば（Ｓ３７１：Ｙｅｓ）、判定部Ｆ１３は、次の塗着場所の決定を行う（Ｓ３１）。一方、未塗着の場所がなければ（Ｓ３７１：Ｎｏ）、判定部Ｆ１３は、最終検査を実行する（Ｓ３７２）。最終検査では、判定部Ｆ１３は、色判定処理を行い、対象物１００の表面の全体の色を検査してよい。

一方、塗料の垂れが検出された場合（Ｓ３６：Ｙｅｓ）、判定部Ｆ１３は、塗料の垂れの度合いを判断する（Ｓ３８１）。より詳細には、判定部Ｆ１３は、塗料の垂れの度合いが重度かどうかを判断する。塗料の垂れの度合いが重度かどうかは、再塗装によって、塗料の垂れを修正できるかどうかで決まってよい。一例として、判定部Ｆ１３は、取得部Ｆ１１で得た塗装場所の画像と比較画像との差分が第１閾値より大きい第２閾値を超えた場合には、塗料の垂れが重度であると判断してよい。なお、第１閾値と第２閾値は一致していてよい。なお、塗料の垂れが検出された場合、判定部Ｆ１３は、塗料の垂れの画像の特徴量と、塗料の吐出量、室温、湿度、換気流量等を統計解析や機械学習で関連付け、塗料の垂れの再発防止情報を生成してよい。

塗料の垂れの度合いが重度でなければ（Ｓ３８１：Ｎｏ）、判定部Ｆ１３は、再塗着（再塗装）を実行する（Ｓ３８２）。再塗着では、塗着（Ｓ３４）と同様に、判定部Ｆ１３は、塗装システム４０を制御し、塗料の垂れの検出された塗装場所を再度塗装する。一例として、図１４では、塗装ロボット４２によって、トランクカバーを再塗装するために、第１カメラ３１４でトランクカバーを撮像している様子を示している。そして、再塗着が終了すると、判定部Ｆ１３は、再度、塗装後検査を実行する（Ｓ３５）。

なお、塗装処理において、異物が検出された場合（Ｓ３３：Ｙｅｓ）、又は、塗料の垂れが重度である場合（Ｓ３８１：Ｙｅｓ）、判定部Ｆ１３は、塗装処理（塗着）を中止する（Ｓ３９）。

塗装処理は、塗装判定処理（Ｓ３４、Ｓ３５）を含む。は、塗装判定処理は、対象物１００の表面の塗装状態を判定する処理である。より詳細には、塗装判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像に基づいて、対象物１００の表面の塗装状態を判定する処理である。判定部Ｆ１３は、塗装判定処理では、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる表面の塗装状態と対象物１００の表面の目的の塗装状態との差分を求める。判定部Ｆ１３は、塗装判定処理の結果に応じて撮像システム３０の複数のカメラ３１，３２の動作状態を制御する。つまり、判定部Ｆ１３は、対象物１００の塗装の進捗に応じて、撮像システム３０の複数のカメラ３１，３２の動作状態を制御する。特に、複数のカメラ３１，３２は、対象物１００の表面の一部の画像を生成する１以上の第１カメラ３１と、対象物１００の表面の全体の画像を生成する第２カメラ３２とを含む。判定部Ｆ１３は、塗装判定処理の結果に応じて１以上の第１カメラ３１の動作状態を制御する。また、判定部Ｆ１３は、第２カメラ３２で撮像された画像と塗装判定処理の結果に応じて１以上の第１カメラ３１の動作状態を制御する。

本実施形態では、判定部Ｆ１３は、撮像システム３０の複数のカメラ３１，３２を制御し、対象物１００の全体の塗装を実行する。ここで、対象物１００が自動車のような車両である場合、サイズが大きく、かつ、観察すべき塗装状態（塗着、垂れ、乾燥、異物等）が多岐にわたるため、１つのカメラで対象物１００全体を撮影することは困難である。しかしながら、本実施形態の検査システム１は、対象物１００において塗料の塗布が行われている局所を撮影する第１カメラ（局所カメラ）３１と、対象物１００の全体の塗装状態をとらえる第２カメラ（俯瞰カメラ）３２を連動させる。そのため、本実施形態の検査システム１は、対象物１００の塗装状態を見落としなくセンシングすることが可能である。

（質感判定処理）
質感判定処理は、対象物１００の表面の質感の判定を行う処理である。質感判定処理は、異なる場所Ｌ１～Ｌ３（図１６参照）から対象物１００の表面を撮像して得られた複数の系列画像複数の系列画像間の輝度情報の変化に基づいて、対象物１００の表面の質感を判定する処理である。ここでは、輝度情報の変化は、特徴量ベクトル（空間特徴量ベクトル及び時間特徴量ベクトル）で定義される。

以下、質感判定処理について、図１５のフローチャート及び図１６を参照して説明する。図１６は、第２カメラ３２と対象物１００との位置関係を示している。なお、第２カメラ３２の代わりに第１カメラ３１を用いることもできる。

まず、判定部Ｆ１３は、取得部Ｆ１１により、異なる場所Ｌ１～Ｌ３（図１６参照）から対象物１００の表面を撮像して得られた複数の系列画像を取得する（Ｓ４１）。複数の系列画像のうちの少なくとも２つは、同一のカメラ３２の位置を変えて対象物１００の表面を撮像して得られる。より詳細には、図１６に示すように、異なる場所Ｌ１，Ｌ２，Ｌ３・・・において、カメラ３２で対象物１００の表面の画像を撮ることで、複数の系列画像が得られる。場所Ｌ１，Ｌ２，Ｌ３・・・は、一例としては、対象物１００を囲うように並んでおり、対象物１００を中心とする円上にある。なお、複数の系列画像は、異なる場所Ｌ１，Ｌ２，Ｌ３・・・に設置した複数のカメラで得ることも可能である。以下では、複数の系列画像の２つの系列画像（第１系列画像及び第２系列画像）について説明する。なお、第１系列画像は、第２系列画像よりも前に撮像された画像である。

次に、判定部Ｆ１３は、画素間の輝度値の差分（空間特徴量ベクトル）を算出する（Ｓ４２）。判定部Ｆ１３は、系列画像から輝度情報を抽出する。輝度情報は、系列画像の複数の画素から求まる輝度値（画素値）の差分である。輝度値の差分は、系列画像の複数の画素のうち１以上を含む第１領域の輝度値と、第１領域に隣接し複数の画素のうちの１以上を含む第２領域の輝度値との差分である。一例として、第１領域は、ｍ×ｎの画素からなる領域であってよい。ここで、ｍ、ｎはいずれも１以上の整数である。本実施形態では、第１領域は、１×１の画素（つまりは一画素）からなる領域である。第１領域の中心の画素を第１画素（基準画素）という。ここでは、第１領域は、系列画像（複数の画素で構成される画像）において最も明るい領域である。第１領域は第１画素のみであるから、第１画素は、系列画像の複数の輝度値のうち最も輝度値が高い画素である。一方、第２領域は、第１領域を囲う領域であってよい。一例として、第２領域は、第１領域を中心とする、Ｍ×Ｎの画素からなる領域であってよい。ここで、Ｍ、Ｎはいずれも３以上の整数である。本実施形態では、第２領域は、系列画像の複数の画素のうち第１画素を除く画素で構成される。つまり、判定部Ｆ１３は、系列画像について、第１画素の輝度値と各画素の輝度値の差分を求め、各画素の輝度値を差分値に置き換える。そして、判定部Ｆ１３は、第１画素の輝度値と、系列画像の複数の画素の置き換え後の輝度値（差分値）とを要素とする特徴量ベクトル（空間特徴量ベクトル）を得る。なお、第１画素は、最も輝度値が大きい画素に限らず、最も輝度値が小さい画素、輝度値が画像の平均値である画素、及び画像の中心にある画素のいずれかであってもよい。

次に、判定部Ｆ１３は、フレーム間の輝度値の差分（時間特徴量ベクトル）を算出する（Ｓ４３）。判定部Ｆ１３は、第１系列画像の複数の画素のうち１以上を含む第１注目領域の輝度値と、第２系列画像の複数の画素のうち第１注目領域に対応する第２注目領域の輝度値との差分である。つまり、第１注目領域と第２注目領域とは、対象物１００の表面の同じ部分に対応するように選択される。一例として、第１注目領域は、第１系列画像より小さい領域である。第１注目領域は、ｍ×ｎの画素からなる領域であってよい。ここで、ｍ、ｎはいずれも１以上の整数である。第１注目領域の中心の画素は、最も輝度値が大きい画素、最も輝度値が小さい画素、及び、輝度値が画像の平均値である画素のいずれかであってよい。本実施形態では、第１注目領域の中心の画素は、輝度値が画像の平均値である画素である。第２注目領域は、第１注目領域と同じ大きさの領域（ｍ×ｎの画素からなる領域）である。第２注目領域の中心の画素は、第１注目領域の中心の画素との輝度値の差が最も小さい画素であり、輝度値が同じであることが好ましい。そして、判定部Ｆ１３は、第１系列画像（第１注目領域）と第２系列画像（第２注目領域）の輝度値の差分を求め、第２系列画像（第２注目領域）の輝度値を差分値に置き換える。つまり、判定部Ｆ１３は、第１系列画像の第１注目領域に含まれる画素の輝度値と第２系列画像の第２注目領域に含まれる画素の輝度値の差分を求める。これによって、ｍ×ｎの画素について輝度値の差分値が得られる。そして、判定部Ｆ１３は、第１注目領域の中心の画素の輝度値と第２系列画像の置き換え後の画素値（差分値）を要素とする特徴量ベクトル（時間特徴量ベクトル）を得る。

最後に、判定部Ｆ１３は、質感（質感量）を算出する（Ｓ４４）。本実施形態では、質感は、空間特徴量ベクトルと時間特徴量ベクトルの結合によって与えられる。換言すれば、本実施形態では、対象物１００の表面の質感を空間特徴量ベクトルと時間特徴量ベクトルの結合という形式で数値化している。そして、判定部Ｆ１３は、質感が要求を満たすかどうかを数値的に判断してよい。例えば、判定部Ｆ１３は、質感を示すベクトルの大きさが閾値を超えるかどうかによって、質感が要求を満たすかどうかを判定してよい。質感が要求を満たす場合には、判定部Ｆ１３は、質感の検査が合格であると判断してよい。質感が要求を持たさない場合委は、判定部Ｆ１３は、再塗装や不良品判定をしてよい。

このように、本実施形態では、カメラ３２と対象物１００の相対的な変位に伴う輝度値の変化量を空間軸と時間軸で算出して統合する。空間軸の輝度値の変化量（空間的変化量）は、基準画素の輝度値とその近接画素の輝度値の差分で与えられる。基準画素の例としては、最も明るい画素、最も暗い画素、平均明るさの画素、及び画像中心画素が挙げられる。時間軸の輝度値の変化量（時間的変化量）は、基準フレームと近接フレームの差分で与えられる。そのため、本実施形態では、対象物１００の表面（特に塗装された表面）の質感（人間が感じる表面状態に関する認知）を計測して数値化することが可能である。

１．３ まとめ
以上述べた検査システム１は、取得部Ｆ１１と、判定部Ｆ１３とを備える。取得部Ｆ１１は、対象物１００の表面の画像を取得する。判定部Ｆ１３は、色判定処理を行う。色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。したがって、検査システム１によれば、対象物１００の表面の色の判定の精度を向上できる。

換言すれば、検査システム１は、下記の方法（検査方法）を実行しているといえる。検査方法は、取得ステップと、判定ステップとを備える。取得ステップは、対象物１００の表面の画像を取得するステップである。判定ステップは、色判定処理を行うステップである。色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。したがって、検査方法によれば、検査システム１と同様に、対象物１００の表面の色の判定の精度を向上できる。

検査方法は、１以上のプロセッサがプログラム（コンピュータプログラム）を実行することにより実現される。このプログラムは、１以上のプロセッサに検査方法を実行させるためのプログラムである。このようなプログラムによれば、検査方法と同様に、対象物１００の表面の色の判定の精度を向上できる。そして、プログラムは、記憶媒体により提供され得る。この記憶媒体は、コンピュータで読み取り可能な非一時的な記憶媒体であって、上記のプログラムを記憶している。このような記憶媒体によれば、検査方法と同様に、対象物１００の表面の色の判定の精度を向上できる。

別の観点からすれば、検査システム１は、撮像システム３０と、取得部Ｆ１１と、判定部Ｆ１３とを備える。撮像システム３０は、対象物１００の表面を撮像して対象物１００の表面の画像を生成する。取得部Ｆ１１は、撮像システム３０から、対象物１００の表面の画像を取得する。判定部Ｆ１３は、取得部Ｆ１１で取得された対象物１００の表面の画像に基づいて、対象物１００の表面の塗装状態を判定する塗装判定処理を行い、塗装判定処理の結果に応じて撮像システム３０を制御する。この検査システム１によれば、対象物１００の表面の塗装の品質の向上が図れる。

また、別の観点からすれば、検査システム１は、取得部Ｆ１１と、判定部Ｆ１３とを備える。取得部Ｆ１１は、異なる場所Ｌ１～Ｌ３から対象物１００の表面を撮像して得られた複数の系列画像を取得する。判定部Ｆ１３は、複数の系列画像間の輝度情報の変化に基づいて、対象物１００の表面の質感を判定する質感判定処理を行う。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

２．変形例
本開示の実施形態は、上記実施形態に限定されない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。

上記実施形態では、撮像システム３０のカメラは、一例として、所定帯域に波長が含まれる光を検出可能である。所定帯域は、一例として、３８０ｎｍ～７８０ｎｍである。ただし、撮像システム３０の複数のカメラは、互いに透過帯域が異なるフィルタを有していてよい。例えば、４つの第１カメラ３１１～３１４は、異なる帯域の波長の光を検出するように構成されていてよい。異なる帯域の波長の光は、一例として、図１７に示すように、３８０ｎｍ～４８０ｎｍの光（青色光）、４８０ｎｍ～５８０ｎｍの光（緑色光）５８０ｎｍ～６８０ｎｍの光（黄色光）、及び６８０ｎｍ～７８０ｎｍの光（赤色光）がある。このように、複数のカメラ３１で異なる帯域の波長の光を検出することで、対象物１００の色のより精細なレベルでの判定が可能になる。特に図１７の例では、４つの帯域の各々において、各々１０ｎｍの９バンドに分割されており、３８０ｎｍ～７８０ｎｍの帯域を、３６に分割して検出する。そのため、比較的よく使用される３バンドの構成に比べて、対象物１００の色のより精細なレベルでの判定が可能になる。なお、一つのカメラで複数の透過帯域の異なるフィルタを利用しても同様の効果を奏し得る。

一変形例では、照明システム２０が放射する光の波長が変更可能であってよい。これは、発光色の異なる光源、又はカラーフィルタを利用して実現し得る。ようするに、検査システム１においては、照明システム２０が放射する光の波長と撮像システム３が検出する光の波長との少なくとも一方は変更可能であってよい。

上記実施形態では、複数の部分画像Ｐ３１～Ｐ３４は、対象物１００に関する撮像方向が異なる複数のカメラ３１で生成される。しかしながら、複数の部分画像Ｐ３１～Ｐ３４は、同一のカメラの位置を変えて対象物１００の表面を撮像して得られてもよい。

上記実施形態では、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態は、画像の形式であるが、これらは、画像ではなくヒストグラム等の他の形式であってよい。つまり、対象物１００の表面の反射状態は、必ずしも画像で与えられる必要はなく、反射状態によって色の判定が可能な形式であってよい。

一変形例では、設定処理は必須ではない。設定処理を行わない場合、複数のカメラ３１で生成された画像のそれぞれに対して、見本データを用意して、色判定処理を実行してよい。これによって、複数のカメラ３１で対象物１００の表面の異なる部位に関して個々別々に色判定処理を行うことが可能となる。なお、この場合には、色判定処理において、画像の合成は行われない。

上記実施形態では、判定部Ｆ１３は、再塗装では、第１合成画像から得られる色と第１合成画像用の目的の色の差分、及び、第２合成画像から得られる色と第２合成画像用の目的の色の差分に応じて、塗装システム４０を制御する。しかし、判定部Ｆ１３は、学習済みモデル（調色モデル）を利用して、塗装システム４０を制御してもよい。調色モデルは、修正前の色と修正後の色との組み合わせと塗装システム４０の制御内容との関係を学習した学習済みモデルである。この場合、記憶部１２は、調色モデルを格納する。調色モデルは、修正前の色と修正後の色との組み合わせと塗装システム４０の制御内容との関係を示す学習用データセットにより、人工知能のプログラム（アルゴリズム）に、修正前の色と修正後の色との組み合わせと塗装システム４０の制御内容との関係を学習させることで、生成される。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。調色モデルは、ニューラルネットワークに学習用データセットで機械学習（例えば、深層学習）を行わせることで、生成される。つまり、調色モデルは、検査システム１の処理部１３又は外部システムにより生成されてよい。検査システム１では、処理部１３は、調色モデルを生成するための学習用データを収集し、蓄積してもよい。このように処理部１３で新たに収集した学習用データは、調色モデルの再学習に利用でき、これによって、調色モデル（学習済みモデル）の性能の向上が図れる。特に、再塗装を行った場合に再度、色判定処理の結果が不合格となった場合に、再学習を行うことで、調色モデルの性能の向上が図れる。

一変形例では、判定部Ｆ１３は、質感判定処理に関して、モデルを利用してよい。モデルは、塗装サンプルを複数作製し、塗装の良否判定と質感量のペアを作成し、両者の関係をモデル化することで得られる。モデル化は、回帰分析や機械学習で行ってよい。この場合、判定部Ｆ１３は、質感量に基づいて、塗装の良否判定を実行することが可能である。一変形例では、空間特徴量ベクトルだけで、質感量として、カメラ３２と対象物１００の位置関係が固定された場合の質感計測に利用してもよい。

一変形例では、質感判定処理において、輝度情報は、系列画像の複数の画素から求まる輝度値の差分であってよい。この差分は、複数の画素のうち１以上を含む第１領域の輝度値と、第１領域に隣接し複数の画素のうちの１以上を含む第２領域の輝度値との差分であってよい。また、第１領域は、複数の画素のうちの第１画素であってよい。第２領域は、複数の画素のうち第１画素に隣接する第２画素であってよい。また、第１領域は、複数の画素で構成される画像において最も明るい領域であってよい。

一変形例では、検査システム１（判定システム１０）は、複数のコンピュータにより構成されていてもよい。例えば、検査システム１（判定システム１０）の機能（特に、取得部Ｆ１１、分離部Ｆ１２、及び判定部Ｆ１３）は、複数の装置に分散されていてもよい。更に、検査システム１（判定システム１０）の機能の少なくとも一部が、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。

以上述べた検査システム１（判定システム１０）の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における検査システム１（判定システム１０）の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（ＦＧＰＡ）、ＡＳＩＣ（application specific integrated circuit）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

３．態様
上記実施形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。

第１の態様は、検査システム（１）であって、取得部（Ｆ１１）と、判定部（Ｆ１３）とを備える。前記取得部（Ｆ１１）は、対象物（１００）の表面の画像（Ｐ３０～Ｐ３４）を取得する。前記判定部（Ｆ１３）は、色判定処理を行う。前記色判定処理は、前記取得部（Ｆ１１）で取得された前記対象物１００の表面の画像（Ｐ３０～Ｐ３４）から得られる、前記対象物（１００）の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物（１００）の表面の色を判定する処理である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。

第２の態様は、第１の態様の検査システム（１）に基づく。第２の態様では、前記検査システム（１）は、分離部（Ｆ１２）を更に備える。前記分離部（Ｆ１２）は、前記取得部（Ｆ１１）で取得された画像から、それぞれ前記対象物（１００）の表面の画像（Ｐ３０～Ｐ３４）を表すが、鏡面反射成分と拡散反射成分の比率が互いに異なる複数の分離画像（Ｐ１０，Ｐ２０）を取得する。前記判定部（Ｆ１３）は、前記色判定処理では、前記複数の分離画像（Ｐ１０，Ｐ２０）に基づいて、前記対象物（１００）の表面の色を判定する。この態様によれば、対象物（１００）の表面の色の判定の精度を更に向上できる。また、色判定処理の効率の向上が図れる。

第３の態様は、第１又は第２の態様の検査システム（１）に基づく。第３の態様では、前記取得部（Ｆ１１）は、前記対象物（１００）の表面の画像として、前記対象物（１００）の表面の一部を表す複数の部分画像（Ｐ３１～Ｐ３４）を取得する。前記判定部（Ｆ１３）は、前記色判定処理では、前記複数の部分画像から得られる、前記複数の反射状態それぞれにおいて前記対象物（１００）の表面の全体を表す画像（Ｐ１０，Ｐ２０）に基づいて、前記対象物（１００）の表面の色を判定する。この態様によれば、比較的大きい対象物（１００）の表面の色の判定が可能になる。

第４の態様は、第３の態様の検査システム（１）に基づく。第４の態様では、前記複数の部分画像（Ｐ３１～Ｐ３４）は、前記対象物（１００）に関する撮像方向が異なる複数のカメラ（３１）で生成される。この態様によれば、簡易な構成によって、比較的大きい対象物（１００）の表面の色の判定が可能になる。

第５の態様は、第１～第４の態様のいずれか一つの検査システム（１）に基づく。第５の態様では、前記検査システム（１）は、照明システム（２０）と、撮像システム（３０）と、を更に備える。前記照明システム（２０）は、前記対象物（１００）の表面に光を照射する。前記撮像システム（３０）は、前記照明システム（２０）によって照らされている前記対象物（１００）の表面を撮像して前記対象物（１００）の表面の画像を生成する。前記取得部（Ｆ１１）は、前記撮像システム（３０）から、前記対象物（１００）の表面の画像を取得する。前記照明システム（２０）が放射する光の波長と前記撮像システム（３０）が検出する光の波長との少なくとも一方は変更可能である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。

第６の態様は、第１～第５の態様のいずれか一つの検査システム（１）に基づく。第６の態様では、前記判定部（Ｆ１３）は、前記色判定処理では、前記対象物（１００）の表面の目的の色の情報を含む見本データを利用して、前記対象物（１００）の表面の色を判定する。この態様によれば、対象物（１００）の表面の色の判定の精度を更に向上できる。

第７の態様は、第６の態様の検査システム（１）に基づく。第７の態様では、前記見本データは、前記対象物（１００）の形状と前記対象物（１００）の撮像条件との少なくとも一方を含む。この態様によれば、対象物（１００）の表面の色の判定の精度を更に向上できる。

第８の態様は、第１～第７の態様のいずれか一つの検査システム（１）に基づく。第８の態様では、前記判定部（Ｆ１３）は、前記対象物（１００）の表面を塗装する塗装システム（４０）を、前記色判定処理の結果に基づいて制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。

第９の態様は、第１の態様の検査システム（１）に基づく。第９の態様では、前記検査システム（１）は、前記対象物（１００）の表面を撮像して前記対象物（１００）の表面の画像を生成する撮像システム（３０）を更に備える。前記取得部（Ｆ１１）は、前記撮像システム（３０）から、前記対象物（１００）の表面の画像を取得する。前記判定部（Ｆ１３）は、前記取得部（Ｆ１１）で取得された前記対象物（１００）の表面の画像に基づいて、前記対象物（１００）の表面の塗装状態を判定する塗装判定処理を行い、前記塗装判定処理の結果に応じて前記撮像システム（３０）を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。

第１０の態様は、第９の態様の検査システム（１）に基づく。第１０の態様では、前記判定部（Ｆ１３）は、前記塗装判定処理では、前記取得部（Ｆ１１）で取得された前記対象物（１００）の表面の画像から得られる前記表面の塗装状態と前記対象物（１００）の表面の目的の塗装状態との差分を求める。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。

第１１の態様は、第９又は第１０の態様の検査システム（１）に基づく。第１１の態様では、前記撮像システム（３０）は、複数のカメラ（３１，３２）を含む。前記判定部（Ｆ１３）は、前記塗装判定処理の結果に応じて前記撮像システム（３０）の前記複数のカメラ（３１，３２）の動作状態を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。

第１２の態様は、第１１の態様の検査システム（１）に基づく。第１２の態様では、前記複数のカメラ（３１，３２）は、前記対象物（１００）の表面の一部の画像を生成する１以上の第１カメラ（３１）と、前記対象物（１００）の表面の全体の画像を生成する第２カメラ（３２）とを含む。前記判定部（Ｆ１３）は、前記塗装判定処理の結果に応じて前記１以上の第１カメラ（３１）の動作状態を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。

第１３の態様は、第１２の態様の検査システム（１）に基づく。第１３の態様では、前記判定部（Ｆ１３）は、前記第２カメラ（３２）で撮像された画像と前記塗装判定処理の結果に応じて前記１以上の第１カメラ（３１）の動作状態を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。

第１４の態様は、第１の態様の検査システム（１）に基づく。第１４の態様では、前記取得部（Ｆ１１）は、異なる場所（Ｌ１～Ｌ３）から前記対象物（１００）の表面を撮像して得られた複数の系列画像を取得する。前記判定部（Ｆ１３）は、前記複数の系列画像間の輝度情報の変化に基づいて、前記対象物（１００）の表面の質感を判定する質感判定処理を行う。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

第１５の態様は、第１４の態様の検査システム（１）に基づく。第１５の態様では、前記複数の系列画像のうちの少なくとも２つは、同一のカメラの位置を変えて前記対象物（１００）の表面を撮像して得られる。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

第１６の態様は、第１４又は第１５の態様の検査システム（１）に基づく。第１６の態様では、前記複数の系列画像の各々は複数の画素を含む。前記輝度情報は、前記複数の画素から求まる輝度値の差分を含む。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

第１７の態様は、第１６の態様の検査システム（１）に基づく。第１７の態様では、前記差分は、前記複数の画素のうち１以上を含む第１領域の輝度値と、前記第１領域に隣接し前記複数の画素のうちの１以上を含む第２領域の輝度値との差分である。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

第１８の態様は、第１７の態様の検査システム（１）に基づく。第１８の態様では、前記第１領域は、前記複数の画素のうちの第１画素である。前記第２領域は、前記複数の画素のうち前記第１画素に隣接する第２画素である。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

第１９の態様は、第１７又は第１８の態様の検査システム（１）に基づく。第１９の態様では、前記第１領域は、前記複数の画素で構成される画像において最も明るい領域である。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。

第２０の態様は、検査方法であって、取得ステップと、判定ステップとを含む。前記取得ステップは、対象物（１００）の表面の画像（Ｐ３０～Ｐ３４）を取得するステップである。前記判定ステップは、色判定処理を行うステップである。前記色判定処理は、前記取得部（Ｆ１１）で取得された前記対象物１００の表面の画像（Ｐ３０～Ｐ３４）から得られる、前記対象物（１００）の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物（１００）の表面の色を判定する処理である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。なお、第２０の態様には、第２～第１９の態様の検査システム（１）を検査方法に読み替えて適用でき得る。

第２１の態様は、プログラムであって、１以上のプロセッサに、第２０の態様の検査方法を実行させるための、プログラムである。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。

第２２の態様は、コンピュータで読み取り可能な非一時的な記憶媒体であって、第２２の態様のプログラムを記憶している、記憶媒体である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。

更に、本開示は、下記の第２３～第３４の態様を含む。

第２３の態様は、着色検査装置であって、特定の帯域の光を透過するフィルタを交換可能なカメラを備え、前記カメラが撮影した画像を用いて撮影対象の色を検査する。

第２４の態様は、第２３の態様の着色検査装置に基づく。第２４の態様では、前記着色検査装置は、前記カメラを複数台備え、複数の前記カメラの画像を合成して合成画像を作成し、前記合成画像から撮像条件を計算して出力する。

第２５の態様は、第２４の態様の着色検査装置に基づく。第２５の態様では、複数の前記カメラに設けられた前記フィルタは互いに透過帯域が異なる。

第２６の態様は、第２４又は第２５の態様の着色検査装置に基づく。第２６の態様では、複数の前記カメラは異なる方向から前記撮影対象を撮影する。

第２７の態様は、第２４～第２６の態様のいずれか一つの着色検査装置に基づく。第２７の態様では、前記着色検査装置は、前記合成画像から前記撮影対象のグラデーションの連続性が維持されるように、前記カメラの画角とズーミングを制御する。

第２８の態様は、第２７の態様の着色検査装置に基づく。第２８の態様では、前記着色検査装置は、撮影対象の形状情報と照明情報を用いて前記カメラを制御する。

第２９の態様は、第２３～第２９の態様のいずれか一つの着色検査装置に基づく。第２９の態様では、前記着色検査装置は、見本となる色データを記録し、前記撮影対象の色と前記見本となる色データを比較し、前記撮影対象を塗装する塗装部を制御する。

第３０の態様は、着色検査方法であって、複数の透過帯域の異なるフィルタが設けられたカメラで互いに異なる方向から撮影対象を撮影し、複数の前記カメラの画像を合成して合成画像を作成し、前記合成画像から前記撮影対象の色を検査する。

第３１の態様は、第３０の態様の着色検査方法に基づく。第３１の態様では、前記着色検査方法は、前記合成画像から撮像条件を出力する。

第３２の態様は、第３０又は第３１の態様の着色検査方法に基づく。第３２の態様では、前記着色検査方法は、前記合成画像から前記撮影対象のグラデーションの連続性が維持されるように、前記カメラの画角とズーミングを制御する。

第３３の態様は、第３１の態様の着色検査装置に基づく。第３３の態様では、前記着色検査装置は、撮影対象の形状情報と照明情報を用いて前記カメラを制御する。

第３４の態様は、第３０～第３３の態様のいずれか一つの着色検査装置に基づく。第３４の態様では、前記着色検査装置は、見本となる色データを記録し、前記撮影対象の色と前記見本となる色データを比較し、前記撮影対象を塗装する塗装部を制御する。

更に、本開示は、下記の第３５～第３７の態様を含む。

第３５の態様は、システムであって、ある時点における塗装状態の情報を取得する塗装情報取得部（カメラ群の意味）と、その時点における塗装状態のあるべき状態を示す基準情報を保有する基準情報保持部と、塗装情報取得部と、前記基準情報保持部に接続する制御部と、を備え、前記制御部は、前記塗装情報取得部から得た情報と、基準情報保持部から得た情報との差分を求め、前記差分を元に、前記塗装情報取得部（カメラ群の意）に制御コマンドを送信する。

第３６の態様は、第３５の態様のシステムに基づく。第３６の態様では、前記制御コマンドは、塗装情報取得部（カメラ群の意）に含まれるカメラの動作状態（パン、ズームの意）を変更する。

第３７の態様は、第３６の態様のシステムに基づく。第３７の態様では、前記塗装情報取得部（カメラ群の意）は、俯瞰カメラと、局所カメラと、を有し、前記制御コマンドは前記局所カメラの動作状態（パン、ズームの意）を変更する。

更に、本開示は、下記の第３８～第４１の態様を含む。

第３８の態様は、撮影方法であって、対象物に対して撮影装置を相対的に変位させるステップと、前記変位前後における前記対象物を撮影した情報に含まれる輝度値情報の変化を取得するステップと、を含む。

第３９の態様は、第３８の態様の撮像方法に基づく。第３９の態様では、前記撮影装置が前記変位の前に取得した情報を画像情報と定義し、前記画像情報は複数の画素を含み、前記撮像方法は、前記変位前後における前記複数の画素間の輝度値の差分の変化を取得する。

第４０の態様は、第３９の態様の撮像方法に基づく。第４０の態様では、前記差分は、前記画像情報の第１画素における輝度値と、前記第１画素に隣接する第２画素における輝度値との差である。

第４１の態様は、第４０の態様の撮像方法に基づく。第４１の態様は、第１画素は、前記画像情報の中でもっとも輝度値の高い画素である。

本出願は、２０１７年１２月８日に出願されたＵＳ仮出願６２／５９６２４７、２０１８年７月１８日に出願されたＵＳ仮出願６２／６９９９３５、及び２０１８年７月１８日に出願されたＵＳ仮出願６２／６９９９４２に基づく優先権を主張するものであって、これらの出願の全ての内容は、参照することによって本出願の開示の内容に組み込まれる。

１ 検査システム
Ｆ１１ 取得部
Ｆ１２ 分離部
Ｆ１３ 判定部
２０ 照明システム
３０ 撮像システム
３１ カメラ（第１カメラ）
３２ カメラ（第２カメラ）
４０ 塗装システム
Ｐ１０ 第１分離画像（分離画像）
Ｐ２０ 第２分離画像（分離画像）
Ｐ３０ 画像
Ｐ３０～Ｐ３４ 画像（部分画像）
Ｌ１～Ｌ３ 場所
１００ 対象物

Claims (9)

1. 対象物の表面の画像を取得する取得部と、
   前記対象物の表面の画像を画像処理することで得られる鏡面反射成分が支配的となる画像に基づいて、前記対象物の表面状態を判定する判定部と、
   を備え、
   前記取得部は、前記対象物の表面の画像として、前記対象物の表面の一部を表す複数の部分画像を取得し、
   前記判定部は、
   前記複数の部分画像から、前記対象物の連続性が維持されるように合成画像を生成し、前記合成画像から撮像条件を決定し、
   前記複数の部分画像のそれぞれは、鏡面反射成分が支配的である第１分離画像であり、
   前記合成画像は、鏡面反射成分が支配的である第１合成画像であり、
   前記判定部は、前記決定した撮像条件で前記取得部によって取得された前記対象物の表面の画像から生成した前記第１合成画像に基づき、前記対象物の表面状態を判定する、
   検査システム。
2. 対象物の表面状態を判定する判定部を備え、
   前記判定部は、
   鏡面反射成分が支配的となる複数の部分画像の連続性が維持されるように前記対象物を撮像する撮像条件を決定し、
   前記決定した撮像条件によって取得された鏡面反射成分が支配的となる複数の部分画像から合成画像を生成し、
   前記合成画像から前記対象物の表面状態を判定する、
   検査システム。
3. 前記決定した撮像条件によって取得された鏡面反射成分が支配的となる前記複数の部分画像は、撮像面において、反射角θを中心とする所定範囲（θ±φ）に対応する領域において取得された画像である、
   請求項１又は２の検査システム。
4. 前記決定した撮像条件によって取得された鏡面反射成分が支配的となる前記複数の部分画像は、撮像面において、光源から前記対象物の表面への光の入射角と前記表面での光の反射角とが等しくなる領域において取得された画像である、
   請求項３の検査システム。
5. 前記判定部は、前記対象物に対して撮影装置を相対的に変位させることによって撮影した前記複数の部分画像を取得する、
   請求項１～４のいずれか１項の検査システム。
6. 前記複数の部分画像は、同一のカメラの位置を変えて前記対象物の表面を撮像して得られる、
   請求項１～５のいずれか１項の検査システム。
7. 前記対象物の表面に光を照射するための照明システムを更に備え、
   前記照明システムは、前記対象物に光を照射するランプを含み、
   前記ランプは、白色光を放射する、
   請求項１～６のいずれか１項の検査システム。
8. 前記判定部は、前記対象物の表面の色を判定する、
   請求項７の検査システム。
9. 対象物の表面状態を判定する検査方法であって、
   鏡面反射成分が支配的となる複数の部分画像の連続性が維持されるように前記対象物を撮像する撮像条件を決定する第１ステップと、
   前記第１ステップで決定した前記撮像条件によって取得された鏡面反射成分が支配的となる複数の部分画像から合成画像を生成する第２ステップと、
   前記第２ステップで生成した前記合成画像から前記対象物の表面状態を判定する第３ステップと、を含む、
   検査方法。

Images