以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[第1の実施形態]
(色調変化検出装置の構成について)
まず、図1を参照しながら、本発明の第1の実施形態に係る色調変化検出装置10の全体的な構成について説明する。図1は、本実施形態に係る色調変化検出装置10の一構成例を示した説明図である。
本実施形態に係る色調変化検出装置10は、搬送ライン上を搬送される鋼板等の帯状体Sの表面に生じた色調変化を検出する装置である。ここで、帯状体Sは、未図示の搬送ライン上をある方向に向かって搬送されているものとし、帯状体Sの長手方向を搬送方向とも称するものとする。
色調変化検出装置10は、図1に示したように、撮像装置100と、演算処理装置200と、を主に備える。
撮像装置100は、演算処理装置200による制御のもとで、帯状体Sの表面に対して照明光を照射するとともに、当該照明光の帯状体表面での反射光を撮像してカラー撮像画像を生成する装置である。撮像装置100は、生成した帯状体表面のカラー撮像画像を演算処理装置200に対して出力する。
演算処理装置200は、撮像装置100による撮像処理を制御するとともに、撮像装置100により生成されたカラー撮像画像を取得し、取得したカラー撮像画像に対して以下で詳述する画像処理を行うことで、帯状体Sの表面に発生した色調変化を検出する。
撮像装置100による帯状体表面の撮像処理や、演算処理装置200による色調変化の検出処理は、帯状体Sの搬送にあわせてリアルタイムに実施することが可能である。色調変化検出装置10の使用者は、色調変化検出装置10(より詳細には、演算処理装置200)から出力される検出結果に着目することで、帯状体Sの表面に発生した色調変化をリアルタイムに把握することが可能となる。
以下では、これら撮像装置100及び演算処理装置200について、それぞれ詳述することとする。
なお、以下では、帯状体Sとして上記のようなステンレス鋼板に着目し、焼鈍工程においてステンレス鋼板の表面に生じうる青色のテンパーカラーを、色調変化検出装置10を用いて検出する場合を例にとって説明を行うものとする。しかしながら、本実施形態に係る色調変化検出装置10が検出可能な色調変化はかかる例に限定されるわけではなく、製鉄プロセスにおいて生じうる各種の色調変化を検出することが可能である。
<撮像装置100について>
まず、図2A〜図4を参照しながら、本実施形態に係る撮像装置100について、詳細に説明する。図2A〜図2Bは、本実施形態に係る撮像装置100の構成例について示した説明図である。図3A及び図3Bは、本実施形態に係る撮像装置100が備えるカラーチャート部材の一例について示した説明図である。図4は、本実施形態に係る撮像装置100により生成されるカラー撮像画像の一例について模式的に示した説明図である。
図2Aは、撮像装置100を帯状体Sの上方から見た場合の模式図であり、図2Bは、撮像装置100を帯状体Sの側方から見た場合の模式図である。
本実施形態に係る撮像装置100は、図2A及び図2Bに示したように、カラーチャート部材101と、光源103と、カラーカメラ105と、を少なくとも有している。カラーチャート部材101、光源103及びカラーカメラ105は、これらの設置位置が変化しないように公知の手段により固定されている。
カラーチャート部材101は、帯状体Sの幅方向の端部の更に外側に配設された部材である。カラーチャート部材101の表面(天面)には、互いに色調の異なる複数(3個以上)の色パレットが配設されており、本実施形態に係る色調変化検出装置10において標準色チャートとして利用される。
カラーチャート部材101は、搬送ライン(図示せず。)上にいかなる幅の帯状体Sが搬送されたとしても、帯状体Sとぶつからないような幅方向位置に配設されている。また、カラーチャート部材101の天面の位置が帯状体Sの表面の位置と一致するように、カラーチャート部材101の高さ方向の配設位置が決定されることが好ましい。カラーチャート部材101の天面の位置と帯状体Sの表面の位置とを一致させることで、帯状体Sの表面にカラーカメラ105のピントが合った状態となった際に、カラーチャート部材101の天面に設けられた複数の色パレットに対してもカラーカメラ105のピントが合った状態となる。これにより、カラーカメラ105は、より高い精度でカラーチャート部材101を撮像することが可能となる。
このカラーチャート部材101の具体例については、以下で詳述する。
光源103は、カラーチャート部材101及び帯状体Sの表面に対して、可視光帯域に属する照明光を照射する装置である。光源103としては、R(赤)成分、G(緑)成分、B(青)成分をそれぞれ含む白色光源を用いることが好ましい。また、光源の種類は特に限定されるものではないが、高輝度の光を照射可能な高輝度LED光源を用いることが好ましい。なお、光源103は、少なくとも、後述するカラーカメラ105によってカラーチャート部材101及び帯状体表面が撮像される際に照明光を照射していればよく、カラーカメラ105による撮像タイミングによらず常時点灯していてもよい。光源103の点灯タイミングは、例えば後述する演算処理装置200によって制御されている。
光源103は、図2A及び図2Bに示したように、所定の輝度でカラーチャート部材101及び帯状体Sの幅方向全体の双方を照明可能な高さに設置される。また、光源103の光軸と帯状体表面の法線とのなす角φは特に限定されるものではなく、設置可能なスペース等に応じて任意の角度に設定することが可能である。
カラーカメラ105は、照明光の照射されているカラーチャート部材101及び帯状体表面の領域ARを撮像することにより、照明光の帯状体表面での反射光及び照明光のカラーチャート部材101からの反射光の双方を撮像する装置である。このカラーカメラ105は、CCD(Charge Coupled Device)又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子が搭載されたものであり、図2Aに示した領域ARをカラーで撮像することができる。このようなカラーカメラ105として、例えばRGBラインセンサカメラを挙げることができる。
カラーカメラ105に搭載されるレンズの焦点距離や画角、及び、帯状体表面からの離隔距離は特に限定するものではなく、カラーチャート部材101及び帯状体表面が同一視野内に位置するようにそれぞれを選択すればよい。また、カラーカメラ105に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。
光源103の光軸とカラーカメラ105の光軸とのなす角(図2Bにおける角度θ)は、照明光の正反射に対応する角度とならない任意の角度に設定することが好ましい。ここで、正反射に対応する角度とは、幾何光学的に厳密な正反射角に対して±5°以内の角度(幾何光学的に厳密な正反射角−5°以上、幾何光学的に厳密な正反射角+5°以下の角度)を指す。この幾何光学的に厳密な正反射角±5°以内の範囲からの光は、正反射とみなすことができる。従って、正反射に対応する角度とならない角度とは、幾何光学的に厳密な正反射角に対して±5°超となる角度を指す。光源103の光軸とカラーカメラ105の光軸とのなす角は、上記のような条件を考慮しながら、帯状体表面及びカラーチャート部材からの散乱光を撮像可能な範囲で、カラーカメラ105の設置可能スペース等に応じて適宜決定すればよい。また、図2Bにおける角度θは、なるべく大きな値に設定し、光源103とカラーカメラ105とをなるべく離隔させるようにすることが特に好ましい。
このようなカラーカメラ105は、搬送ラインが帯状体Sを所定距離移動させる毎に、図2Aに示した領域ARをカラー撮像していく。1フレームに対応するライン数だけ領域ARを撮像すると、カラーカメラ105は、得られた撮像データを利用して1フレーム分のカラー撮像画像を生成する。また、カラーカメラ105の撮像タイミングは、例えば後述する演算処理装置200によって制御されている。
次に、図3A及び図3Bを参照しながら、撮像装置100が備えるカラーチャート部材101について、具体的に説明する。
図3Aは、カラーチャート部材101を、光源103及びカラーカメラ105の配設されている側から見た場合を示した模式図である。図3Aに例示したように、カラーチャート部材101の表面には、互いに色調の異なる3個以上の色パレットが設けられている。それぞれの色パレットに対応づけられる色調は、特に限定するものではないが、R成分、G成分、B成分のそれぞれに値を有する色(換言すれば、いずれかの成分の値が0とならない色)をそれぞれの色パレットに対応付けることが好ましい。また、互いに隣り合う色パレット間のRGB成分の変化量がなるべく均一となるように、それぞれの色パレットに対応づけられる色調を選択することが好ましい。
以下で詳述するように、演算処理装置200では、カラーチャート部材101を撮像した画像データを利用して、カラー撮像画像の色調補正を行うために利用される3行×3列の補正行列を決定するが、上記のような条件を満足する色調をそれぞれの色パレットに対応付けることでより正確な補正行列を得ることが可能となり、色調変化の検出精度を更に向上させることが可能となる。
また、本実施形態では、カラーチャート部材101におけるそれぞれの色パレットに対応づけられる色調を、複数階調の灰色とすることが好ましい。灰色は、R成分、G成分、B成分のそれぞれに値を有する色調であるとともに、階調が変化していくことで、白色に近い色から黒色に近い色までを対応付けることが可能となる。そのため、複数階調の灰色からなる3個以上の色パレットを用いてカラーチャート部材101を構成することで、撮像装置100の色調を、ホワイトバランスを含めて調整することが可能となる。
図3Aに示したカラーチャート部材101は、複数階調の灰色に対応する6種類の色パレット(色パレット1〜色パレット6)から構成されている。図中のカッコ内に示した数値は、それぞれの色パレットに対応する色調のRGB成分である。図3Aに示したように、互いに隣り合う色パレット間のRGB成分の変化量がなるべく均一となるように色を選択することで、カラーチャート全体として、色調がほぼ均一に変化したものとなることがわかる。
なお、それぞれの色パレットに対応する色調のRGB成分は、図3Aに示した値に限定されるものではなく、任意の値を設定することが可能である。また、図3Aに示したようなカラーチャート部材だけでなく、例えばマクベスのカラーチャート等といった公知の色見本を利用して、色見本の中に記載されている色調を適宜選択してもよい。これらの色パレットから構成されるカラーチャート部材101は、いかなる方向から撮像した場合であっても、色パレット本来の色調がカラーカメラ105によって撮像されることとなる。カラーチャート部材101を構成する色パレットの個数については、以下で改めて説明する。
図3Bは、カラーチャート部材101を、帯状体Sの側方から見た場合の一例を示した模式図である。色調変化検出装置10が設置される搬送ラインには、厚みの異なる様々な帯状体Sが搬送される場合も考えられる。そこで、図3Bに示したように、カラーチャート部材101の底面(すなわち、色パレットが配設されているカラーチャート部材101の天面と対向する面)側に表面位置調整機構107を設け、カラーチャート部材101の高さを自由に調整できるようにしてもよい。表面位置調整機構107は特に限定されるものではなく、公知の駆動機構を利用することが可能である。このような表面位置調整機構107を設け、演算処理装置200や搬送ラインの制御コンピュータ(図示せず)等からの制御信号に応じてカラーチャート部材101の表面位置を調整することで、帯状体Sの表面及びカラーチャート部材101の表面の高さを常に一致させることが可能となり、より精度良くカラー撮像画像を生成することが可能となる。
図4は、以上説明したような撮像装置100により撮像されるカラー撮像画像の一例を模式的に示したものである。本実施形態に係る撮像装置100では、カラーチャート部材101と帯状体Sの幅方向全体とが同一視野に収まるようにカラーカメラ105が設置されているため、カラー撮像画像には、図4に示したように、カラーチャート部材101が撮像されている部分と、帯状体表面が撮像されている部分とが共に存在することとなる。以下では、カラーチャート部材101が撮像されている部分を「カラーチャート対応領域」と称することとし、帯状体表面が撮像されている部分を「帯状体対応領域」と称することとする。
本実施形態に係る撮像装置100では、カラーチャート部材101、光源103及びカラーカメラ105と、搬送ラインとの間の相対的な位置関係は固定されている一方で、搬送ライン上には帯状体Sが所定の搬送速度で搬送されている。そのため、カラーチャート対応領域は、図3Aに示したようなカラーチャート部材101を撮像した場合には、図4に示したように各色パレットに対応する色調が搬送方向に連続した画像となる。また、帯状体対応領域は、搬送ライン上を搬送される帯状体の長手方向の各位置が撮像された画像となる。
以下に、本実施形態に係る撮像装置100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る撮像装置100が、以下の具体例に限定されるわけではない。
○帯状体S
鋼板:板幅1500mm
○カラーカメラ105
2048画素のRGBラインセンサカメラ:1台
RGB信号をライン蓄積し、1024ライン蓄積する毎にカラーフレーム画像を生成。
○カラーカメラ105から帯状体表面までの光軸に沿った離隔距離:約2m
○光源103の光軸とカラーカメラ105の光軸とのなす角θ:約20°
○カラーカメラ105は、帯状体が搬送方向に4mm進む毎に撮像する。
以上、図2A〜図4を参照しながら、本実施形態に係る撮像装置100について説明した。
<演算処理装置200の全体構成について>
続いて、図5を参照しながら、本実施形態に係る色調変化検出装置10が備える演算処理装置200の全体構成例について説明する。図5は、本実施形態に係る演算処理装置200の全体的な一構成例を示したブロック図である。
図5に示したように、演算処理装置200は、データ取得部201と、撮像制御部203と、画像処理部205と、表示制御部207と、記憶部209と、を主に備える。
データ取得部201は、例えば、CPU、ROM、RAM、通信装置等により実現される。データ取得部201は、撮像装置100によって生成され、撮像装置100から出力されたカラー撮像画像の実体データを取得し、後述する画像処理部205へと伝送する。また、データ取得部201は、取得したカラー撮像画像の実体データに、当該データを取得した日時等に関する時刻情報を紐づけて、履歴情報として後述する記憶部209に格納してもよい。
撮像制御部203は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部203は、本実施形態に係る撮像装置100による帯状体Sの撮像制御を実施する。より詳細には、撮像制御部203は、帯状体Sの撮像を開始する場合に、光源103に対して照明光の照射を開始させるための制御信号を送出する。また、撮像制御部203は、照明光の照度レベルを変更させるための制御信号を光源103に対して送出して、照明光の照度レベルを変更させる制御を実施することも可能である。
また、撮像装置100が帯状体Sの撮像を開始すると、撮像制御部203は、帯状体Sと撮像装置100との間の相対的な位置を変化させる駆動機構等から定期的に送出されるPLG信号(例えば、帯状体Sが1mm移動する毎等に出力されるPLG信号)に基づいて、カラーカメラ105に対して撮像を開始するためのトリガ信号を送出する。撮像制御部203が撮像を開始するためのトリガ信号を送出するタイミングは、カラーカメラ105によって撮像されるカラー撮像画像の分解能に応じて決定すればよい。そのため、撮像制御部203は、PLG信号を取得する毎にカラーカメラ105に対してトリガ信号を送出してもよく、PLG信号を適宜分周して(例えば、PLG信号を8回取得する毎など)トリガ信号を送出してもよい。
また、撮像装置100のカラーチャート部材101が図3Bに示したような表面位置調整機構107を備える場合、撮像制御部203は、カラーチャート部材101の表面位置を調整させるための制御信号を、表面位置調整機構107に送出してもよい。このような制御信号は、例えば、搬送ラインの制御コンピュータ等から送出された、搬送される帯状体の厚み変化に関する制御信号を演算処理装置200が取得する毎に送出される。
画像処理部205は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部205は、撮像装置100により生成されたカラー撮像画像の実体データを利用して、各カラーフレーム画像に対して以下で説明するような画像処理を行い、帯状体Sの表面に存在する可能性のある色調変化を検出する。画像処理部205は、帯状体Sの表面の色調変化検出処理を終了すると、得られた検出結果に関する情報を、表示制御部207に伝送する。
なお、この画像処理部205については、以下で詳述する。
表示制御部207は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部207は、画像処理部205から伝送された、帯状体Sの色調変化検出結果を含む各種の処理結果を、演算処理装置200が備えるディスプレイ等の出力装置や演算処理装置200の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、色調変化検出装置10の利用者は、帯状体Sの表面に存在する色調変化に関する検出結果等といった各種の処理結果を、その場で把握することが可能となる。
記憶部209は、例えば本実施形態に係る演算処理装置200が備えるRAMやストレージ装置等により実現される。記憶部209には、本実施形態に係る演算処理装置200が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部209は、データ取得部201、撮像制御部203、画像処理部205、表示制御部207等が、自由にデータのリード/ライト処理を行うことが可能である。
<画像処理部205について>
次に、図6〜図10を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部205について、詳細に説明する。図6は、本実施形態に係る演算処理装置200が備える画像処理部205の一構成例を示したブロック図である。図7〜図10は、本実施形態に係る画像処理部205が実施する画像処理について説明するための説明図である。
図6に示したように、画像処理部205は、領域特定部221と、監視領域決定部223と、補正行列決定部225と、色調補正部227と、色空間変換部229と、判定部231と、を主に備える。
領域特定部221は、例えば、CPU、ROM、RAM等により実現される。領域特定部221は、データ取得部201から出力されたカラー撮像画像の実体データを参照して、カラー撮像画像のうちカラーチャート部材が撮像された部分に該当する領域(カラーチャート対応領域)及び帯状体表面が撮像された部分に該当する領域(帯状体対応領域)をそれぞれ特定する。
上記のように、本実施形態に係る撮像装置100では、カラーチャート部材101及びカラーカメラ105は空間に固定されているため、カラーチャート対応領域は、カラー撮像画像の決まった位置に撮像されることとなる。そのため、例えば図4に示したようなカラー撮像画像において、「画像の左端からx画素目〜y画素目が色パレット1に対応する」等といった設定を予め行って、カラーチャート部材101を構成する色パレットの位置と、カラー撮像画像における画素位置とを、予めルックアップテーブル等の形式でデータベース化することができる。得られたデータベースを記憶部209等に予め格納しておくことで、領域特定部221は、カラー撮像画像の中からカラーチャート対応領域に対応する部分を特定することができる。
また、カラー撮像画像のうちカラーチャート対応領域以外の部分が、帯状体対応領域の候補となる部分である。領域特定部221は、図7上段に示したように、カラー撮像画像のうちカラーチャート対応領域以外の部分に対して公知のエッジ検出を行うことで、帯状体の幅方向の端部(すなわち、帯状体の左端及び右端の画素位置)を特定する。検出された2つのエッジ位置に挟まれる範囲が、帯状体対応領域に該当することとなる。領域特定部221は、このような処理をカラー撮像画像の搬送方向を構成するライン毎に実施することで、1フレーム分のカラー撮像画像についてカラーチャート対応領域及び帯状体対応領域を特定することができる。
領域特定部221は、カラーチャート対応領域及び帯状体対応領域の位置を示した情報を生成すると、生成したこの情報を、監視領域決定部223及び補正行列決定部225に出力する。
監視領域決定部223は、例えば、CPU、ROM、RAM等により実現される。監視領域決定部223は、領域特定部221により特定された帯状体の幅方向のエッジ位置に基づいて、カラー撮像画像における色調監視領域を決定する。ここで、色調監視領域とは、本実施形態に係る画像処理部205が、帯状体対応領域のうち色調の変化が生じているか否かの監視対象とする領域であり、帯状体表面の幅方向の位置を特定するものである。
本発明で着目するような色調変化は、搬送ライン上を搬送される帯状体(例えば、各種の鋼板)の種類に応じて、特定の位置に検出されることが多いものである。そこで、過去の操業実績等に基づいて、搬送ライン上を搬送される帯状体の種別毎に、色調変化の生じやすい場所を特定することができる。そこで、帯状体の種別毎に色調変化の生じやすい場所を関連づけておき、予めデータベース化して記憶部209等に格納しておくことができる。監視領域決定部223は、例えばこのようなデータベースを参照しながら、搬送されている帯状体で色調変化の生じやすい場所を特定し、図7下段に示したように領域特定部221から出力された帯状体のエッジ位置に関する情報に基づいて、1又は複数の色調監視領域の場所を決定することができる。
なお、図7下段では、色調監視領域として、帯状体の左端近傍、中央部付近、右端近傍の3箇所を決定する場合について図示しているが、色調監視領域の位置及び個数は、図7下段に示した例に限定されるわけではない。例えばステンレス鋼板の製造過程における焼鈍処理のように、青色のテンパーカラーが鋼板の左端近傍及び右端近傍に発生しやすいのであれば、少なくとも鋼板の左端近傍及び右端近傍を、色調監視領域とすればよい。また、ある領域をより重点的に監視したいのであれば、該当する領域を更に細分化して、複数の色調監視領域が設定されるようにしておけばよい。
また、本実施形態に係る色調変化の検出処理は、少なくとも帯状体表面に設定された色調監視領域に対して実施されればよいが、帯状体表面の全体が色調監視領域として設定されてもよいのは言うまでもない。
監視領域決定部223は、以上説明したようにして色調監視領域を決定すると、決定した色調監視領域の位置を示す情報を生成し、後述する判定部231に出力する。
補正行列決定部225は、例えば、CPU、ROM、RAM等により実現される。補正行列決定部225は、領域特定部221により特定されたカラーチャート対応領域に含まれるカラー撮像画像の実体データを利用して、このカラー撮像画像の色調補正に用いられる補正行列を決定する。先だって説明したように、光源103の照度レベルの変化や、光源103の経年劣化や、光源103の故障等といった様々な要因によって、カラー撮像画像の色調は、本来の色調から変化している可能性がある。そこで、補正行列決定部225は、カラー撮像画像の色調を本来の色調へと修正する補正に利用する補正行列を、カラーチャート対応領域の画像データを利用して決定する。
例えば図3Aに示したように、カラーチャート部材101に含まれる色パレットに対応する色調(すなわち、色パレット本来の色調)は既知であり、記憶部209等に設計パラメータ(参照データ)として格納しておくことが可能である。また、カラーチャート対応領域を構成する各画素の色調は、データを構成するRGB信号を参照することで特定できる。従って、補正行列決定部225は、カラーチャート部材101に含まれるN個の色パレット毎に、以下の式101で表される関係式を作ることができる。
ここで、下記式101において、(RCi,GCi,BCi)は、i(i=1〜Nの整数)個目の色パレットに対応づけられた色パレット本来の色調のRGB成分であり、(Ri,Gi,Bi)は、着目している色パレットに対応するカラーチャート対応領域を実際に撮像した画像から得られるRGB信号値である。また、式101におけるMは、下記式102に示したように、3行×3列の9成分からなる補正行列である。
従って、補正行列決定部225は、上記式101に基づき生成されるN次元連立方程式を同時に満たす行列Mの9つの成分m11〜m33を算出することで、補正行列Mを決定することができる。
ここで、上記式102から明らかなように、行列Mには9つの成分が存在する。従って、カラーチャート部材101がN=3個の互いに色調の異なる色パレットから構成されており、かつ、各色パレットに対応する色調のRGB成分がゼロを含むものでなければ、補正行列決定部225は、N次元連立方程式を解析的に解くことが可能となる。しかし、カラーカメラのRGB成分の分解には、スペクトル分布(波長幅)があるため、N=4個以上の互いに色調の異なる色パレットを用いることが好ましい。
カラーチャート部材101を構成する色パレットの個数が4個以上である場合には、補正行列決定部225は、公知の最小二乗法を行うことで、行列Mに含まれる9つの成分m11〜m33の値を算出する。ここで、最小二乗法によって算出される9つの成分の精度は、用いる最小二乗法のアルゴリズムと、色パレットの個数Nとに応じて変化することとなる。従って、カラーチャート部材101を4個以上の色パレットで構成する場合、利用する最小二乗法のアルゴリズムと、求められる最小二乗法の精度とに応じて、色パレットの個数Nを設定することが好ましい。
補正行列決定部225は、以上説明したような処理を、カラー撮像画像を構成するライン数だけ繰り返して、各ラインの補正行列Mを決定する。
なお、上記説明では、補正行列決定部225が、カラー撮像画像を構成するライン毎に補正行列Mの算出を行う場合について説明したが、例えば以下のような方法を用いることで、補正行列決定部225は、補正行列Mを決定する際の演算負荷を削減することが可能である。
例えば、1つのカラー撮像画像が、搬送方向にT個のラインから構成されており、補正行列決定部225がt番目のラインの補正行列Mを決定し、(t+1)番目のラインの補正行列Mを決定しようとしている場合を考える。この場合において、(t+1)番目のラインのカラーチャート対応領域に含まれる各色パレットのRGB画像信号(式101におけるRi,Gi,Bi)が、t番目のラインに含まれるカラーチャート対応領域に含まれる各色パレットのRGB画像信号(式101におけるRi,Gi,Bi)と等しければ、補正行列決定部225は、(t+1)番目のラインに対応する補正行列Mを改めて算出せずに、t番目のラインに対応する補正行列Mを(t+1)番目のラインにも適用すればよい。
また、補正行列Mの精度は若干低下するが、搬送方向にT個のラインから構成されるカラー撮像画像を、いくつかのライン毎に複数のブロックに区分し、各ブロックについて共通で利用する補正行列Mを決定してもよい。この場合、補正行列決定部225は、各ブロックに含まれる各色パレット(例えば、色パレット1〜色パレット6のそれぞれ)について、各色パレットの実際のRGB画像信号(式101におけるRi,Gi、Bi)を代表する値(代表値)を算出する。次いで、補正行列決定部225は、かかる代表値を利用したN次元連立方程式を解くことによって、着目しているブロックで共通の補正行列Mを決定すればよい。ここで、上記代表値としては、平均値、最頻値、最大値、最小値、中央値等の各種統計量を利用すればよい。
また、光源103の照度レベルに応じて、複数の補正行列Mを予め決定しておくことも可能である。例えば、光源103の照度レベルを、レベル10からレベル100までの10間隔で変化させながら実際の検出処理を実施する場合を考える。この際、実際の撮像装置100を利用して実際のカラーチャート部材101を照度レベル毎に予め撮像し、得られた10枚のカラー撮像画像を利用して、補正行列決定部225は、照度レベルに応じた10個の補正行列M10、M20、・・・、M100を予め算出しておく。その後、補正行列決定部225は、照度レベルと10個の補正行列Mとを互いに関連づけて、補正行列に関するルックアップテーブル等のデータベースを作成し、記憶部209に格納しておく。実際の帯状体表面の色調変化検出処理時には、補正行列決定部225は、撮像制御部203から光源103の照度レベルに関する情報を取得し、得られた照度レベルに応じて、当該照度レベルに関連づけられている補正行列Mを、記憶部209等から取得する。これにより、補正行列決定部225は、N次元連立方程式を毎回解くという演算負荷を削減することができる。
補正行列決定部225は、以上説明したような各種の方法を利用して、撮影時の照明色温度やカラーカメラ105のカラーバランスの相違を補償するための補正行列Mを決定すると、決定した補正行列Mを表す情報を、色調補正部227に出力する。
色調補正部227は、例えば、CPU、ROM、RAM等により実現される。色調補正部227は、補正行列決定部225により決定された補正行列Mを用いて、カラー撮像画像の色調を補正する。具体的には、色調補正部227は、補正行列決定部225により決定された補正行列Mを用いて、以下の式103により、カラー撮像画像における帯状体対応領域の色調を補正する。ここで、以下の式103において、(Rcam,Gcam,Bcam)は、帯状体対応領域のカラー撮像画像から直接得られる各画素のRGB信号値であり、(R’,G’,B’)は、色調補正後の各画素のRGB信号値である。
色調補正部227は、以上のような行列演算処理を、カラー撮像画像を構成する各ラインに対して実施することで、カラー撮像画像における帯状体対応領域の色調を補正することができる。なお、色調補正部227は、帯状体対応領域全てに対して色調補正処理を実施するのではなく、帯状体対応領域のうち色調監視領域に対応する画素に対してのみ、上記式103のような色調補正処理を実施してもよい。
色調補正部227は、上記式103に基づく色調補正処理を実施すると、色調補正後のカラー撮像画像のデータを、後述する色空間変換部229に出力する。
色空間変換部229は、例えば、CPU、ROM、RAM等により実現される。色空間変換部229は、色調補正後のカラー撮像画像のデータを利用して、当該カラー撮像画像の色調を、RGB成分で表される表色系における色調から均等色空間における色調へと変換する。より詳細には、色空間変換部229は、色調補正後のR’G’B’信号を、XYZ表色系を介して、均等色空間へと変換する。以下、色空間変換部229による色空間変換処理を、式を示しながら具体的に説明する。
色空間変換部229は、色調補正部227から色調補正後のカラー撮像画像のデータ(すなわち、R’G’B’信号で表されたデータ)を取得すると、まず、以下の式104を利用して、R’G’B’信号で表されたデータを、三刺激値XYZという心理物理量で表される色空間で表されるデータへと変換する。
続いて、色空間変換部229は、得られた三刺激値XYZで表された画像データを、均等色空間で色調が表された画像データへと変換する。ここで、均等色空間とは、等しい大きさに知覚される色の差(色差)が、色の空間内の等しい距離に対応するように意図された空間である。この均等色空間では、空間内の座標で表される色が人間の知覚する色と対応がとれているため、人間の知覚する色をより正確に取り扱うことが可能となる。
三刺激値XYZで表された色調を均等色空間における色調へと変換する方法については、JIS Z8729(色の表示方法−L*a*b*表色系及びL*u*v*表色系)に規定される方法に従えば良い。本実施形態に係る色空間変換部229は、以下の式105〜式107に基づいて、三刺激値XYZで表された色調を、均等色空間の一例であるCIE−L*a*b*色空間で表される色調へと変換する。ここで、以下の式105〜式107において、(Xn,Yn,Zn)は、JIS Z8720(測色用標準イルミナント及び標準光源)で規定されている標準イルミナントD65における白色点である。
図8は、均等色空間の一例であるCIE−L*a*b*表色系及びCIE−LCH表色系を説明するための概念図である。CIE−L*a*b*表色系は、L*軸、a*軸、b*軸の3軸で規定される表色系(色空間)である。L*軸は、縦軸であり、明度を表す軸となっている。a*軸は、赤(正のa*)と緑(負のa*)の度合いを表す軸である。b*軸は、黄(正のb*)と青(負のb*)の度合いを表す軸である。a*−b*平面では、円周方向に色相が変化し、半径方向に彩度が変化するようになっている。また、彩度については、半径の大きさ(絶対値)が増すと彩度が増すように構成されている。従って、(a*,b*)の座標がゼロに近づくほど中間色(白、グレー、黒)となり、(a*,b*)の座標の絶対値が大きくなるほど、該当する色は鮮やかなものとなる。このように、CIE−L*a*b*表色系は、色調を(L*,a*,b*)というデカルト座標で表現した表色系である。
本実施形態に係る色空間変換部229は、更に、CIE−L*a*b*表色系で表された色調を、更に、CIE−LCH表色系で表される色調へと変換する。CIE−LCH表色系は、図8のようにデカルト座標で表現されたCIE−L*a*b*表色系を極座標(より詳細には、円筒座標)に変換して、明度(L)、彩度(C)及び色相(H)により色を指定できるようにした表色系である。ここで、CIE−LCH表色系では、CIE−L*a*b*表色系におけるL*の値をそのまま明度(L)として利用する。また、CIE−LCH表色系では、彩度(C)は、L軸からの距離として表現し、色相(H)は、a*軸からの偏角として表現する。従って、色空間変換部229は、以下の式108及び式109を利用して、CIE−L*a*b*表色系で表された色調を、更に、CIE−LCH表色系で表される色調へと変換する。
色空間変換部229は、以上のようにして、R’G’B’信号値で表された色調を、均等色空間での色調へと変換した後に、変換後のカラー撮像画像のデータを、判定部231へと出力する。
判定部231は、例えば、CPU、ROM、RAM等により実現される。判定部231は、色調補正後のカラー撮像画像のうち帯状体表面が撮像された部分の画像データを利用し、帯状体表面に対応する色調の色空間での位置に応じて、帯状体表面に色調変化が生じたか否かを判定する。より詳細には、判定部231は、色空間変換部229から出力された画像データを利用して、少なくとも帯状体の表面に設定された色調監視領域について、色空間における色相の値及び色彩の値を特定する。その後、判定部231は、特定した色相の値及び色相の値が、着目する色空間における所定の領域に含まれるか否かに応じて、色調変化が生じたか否かを判定する。
本実施形態で着目する色調変化は、例えば鋼板表面の色調が、本来有しているべき色調から異なる色調へと変化するといったような、特定の色調への変化であるため、着目する色調変化が生じたか否かは、色調変化が生じた後の色調が、色空間(均等色空間)でどの領域に該当しているかを把握することで判断することができる。従って、着目する色調変化に関して、過去の操業実績等を解析することで、色調変化後の色調に対応する色空間の領域を決定することができる。
例えば、ステンレス鋼板の製造時に発生しうる青色のテンパーカラーについて検出を行う場合について着目する。本例で着目するテンパーカラーは青色系であるため、帯状体(鋼板)表面がどの程度青みがかっているかは、色相と彩度の閾値のみで決定することができ、明度を用いる必要はない。また、明度は、帯状体表面の反射率にも関係し、帯状体表面の粗度等の表面性状の影響を大きく受けるため、明度の閾値を考慮しなくてよいということは、判定精度の安定性を担保するものとなる。そこで、過去の操業実績等を解析することで、色調変化後の色調に対応するCIE−L*a*b*表色系での領域(以下、該当色領域という。)が、図9における斜線で示した領域であることが特定できたものとする。
この場合、該当色領域と、そうではない領域との境界が重要となる。今、境界値として、●で表した(am,bm)という座標と、○で表した(an,bn)という座標の2つの値が特定できたとすると、該当色領域を表す境界値としては、以下の式110〜式112の3つのパラメータを考慮すればよいこととなる。
従って、判定部231は、カラー撮像画像のうち着目する画素位置における色調の色空間座標に着目し、その彩度(C)及び色相(H)が、C>Cthr、かつ、Hn<H<Hmという2つの条件を同時に満足する場合に、着目する色相変化が発生したと判断することができる。
例えば図10に示したように、帯状体表面に3つの色調監視領域α、β、γが設定されている場合を考える。判定部231は、監視領域決定部223から出力された色調監視領域を示した情報を参照して、カラー撮像画像における色調監視領域の位置を特定する。その上で、判定部231は、色空間変換部229から出力された色空間座標における色調に関する情報を参照して、着目する色調監視領域に対応する色調の色空間での座標値を特定する。その後、判定部231は、着目する色調の座標値が上記2つの条件を満たすか否かの判定を行う。
このように、色空間変換部229によって色調を円筒座標系へと変換しておくことで、デカルト座標系における判定処理に比べて、上記のような判定処理をより簡便に行うことが可能となる。
いま、図10のパターンAに示したように、色調監視領域α、β、γの色空間座標の全てが、上記2つの条件を満足し、該当色領域内に存在することが特定できたものとする。この場合、判定部231は、色調監視領域α、β、γのそれぞれにおいて、色調変化が発生したと判定する。逆に、図10のパターンBに示したように、色調監視領域α、β、γの色空間座標の全てが、上記2つの条件を満たさず、該当色領域内に存在しないことが特定できたものとする。この場合、判定部231は、色調監視領域α、β、γのそれぞれにおいて、色調変化が発生していないと判定する。
また、色調監視領域α、β、γのいずれかが該当色領域内に存在し、残りは該当色領域内に存在しないような場合も生じうる。この場合、判定部231は、該当色領域に存在することとなった色調監視領域において、色調変化が発生したと判定する。
判定部231は、このようにして得られた判定結果を示す情報を、例えば表示制御部207に出力する。判定部231は、色調変化が発生しているフレームに紐づけられた識別番号を併せて出力するようにすれば、帯状体の長手方向のどの部位に色調変化が発生しているかを一意に特定することが可能となる。これにより、色調変化検出装置の使用者は、色調変化が帯状体のどの部位に発生したかを簡便に把握することが可能となる。
判定部231は、このような判定処理を、1フレーム分のカラー撮像画像が撮像装置100により生成される毎に実施する。これにより、本実施形態に係る色調変化検出装置10では、搬送される帯状体表面に生じうる色調変化をリアルタイムで検出することが可能となる。
また、判定部231は、色調変化の判定結果だけでなく、着目する色調監視領域の色調の色空間座標値(例えば、L*,a*,b*、C、H等の値)を出力してもよい。このような値や、判定結果そのものを、帯状体の搬送方向に沿った位置毎に配列させることで、色空間座標値や判定結果の時間推移、すなわち、時系列データを生成することが可能となる。このような時系列データを表示制御部207に出力することで、ある1点の時刻において色調変化が発生したか否かだけでなく、色調自体の変化の様子を時間を追って把握することが可能となり、操業の指針として役立たせることが可能となる。なお、このような時系列データの表示形式については、特に限定するものではなく、公知のあらゆる表示形式を利用することが可能である。
なお、判定部231は、得られた判定結果等に関する情報を、演算処理装置200の外部に設けられた各種のコンピュータ等に出力してもよく、所定の帳票形式となるようにプリントアウトすることで出力してもよい。
以上、本実施形態に係る演算処理装置200が備える画像処理部205について、詳細に説明した。
また、上記説明では、色空間変換部229により、R’G’B’信号がCIE−LCH表色系における色調表示へと変換され、かかる色調表示に基づいて判定部231により色調変化の有無が判定される場合について説明した。しかしながら、色空間変換部229は、R’G’B’信号をCIE−L*a*b*表色系における色調表示へと変換し、かかる色調表示に基づいて判定部231により色調変化の有無が判定されてもよい。また、場合によっては、色空間変換部229による表色系の変換処理を行わず、R’G’B’信号のままで判定処理が行われても良い。
また、上記説明では、例として挙げた青色テンパーカラーの特性に基づき、明度Lを判定条件に加えずに色調変化の有無を判定する場合について説明したが、着目する色調変化に応じて、明度Lを判定条件に加えてもよいことは言うまでもない。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置200の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(色調変化検出方法の流れについて)
次に、図11を参照しながら、本実施形態に係る色調変化検出装置10で実施される色調変化検出方法の流れの一例について、簡単に説明する。図11は、本実施形態に係る色調変化検出方法の流れの一例を示した流れ図である。
本実施形態に係る色調変化検出装置10の撮像装置100は、演算処理装置200の撮像制御部203の制御のもとでカラーチャート部材101及び帯状体表面を含む所定の撮像領域を撮像して、カラー撮像画像生成する(ステップS101)。その後、撮像装置100は、生成したカラー撮像画像を演算処理装置200に出力する。
演算処理装置200のデータ取得部201は、撮像装置100により生成されたカラー撮像画像を取得すると(ステップS103)、取得したカラー撮像画像を画像処理部205に出力する。
画像処理部205の領域特定部221は、カラー撮像画像のカラーチャート対応領域及び帯状体対応領域の存在部位を特定し(ステップS105)、特定結果を監視領域決定部223及び補正行列決定部225に出力する。
監視領域決定部223は、領域特定部221によって特定された帯状体のエッジ位置に基づいて、色調監視領域を決定し(ステップS107)、特定結果を判定部231に出力する。
一方で、補正行列決定部225は、カラーチャート対応領域の画像を利用して、上記式101に基づき補正行列Mを決定する(ステップS109)。その後、補正行列決定部225は、決定した補正行列Mを、色調補正部227に出力する。
色調補正部227は、得られた補正行列Mを利用して、上記式103に基づきカラー撮像画像のうち帯状体対応領域の色調を補正する(ステップS111)。その後、色調補正部227は、色調補正後のカラー撮像画像のデータを、色空間変換部229に出力する。
色空間変換部229は、色調補正が行われたカラー撮像画像について、色空間の変換処理を行って(ステップS113)、均等色空間での色調の表示形式へと変換を行う。その後、色空間変換部229は、変換後のカラー撮像画像を、判定部231へと出力する。
判定部231は、監視領域決定部223により決定された色調監視領域について、色空間変換部229から出力されたカラー撮像画像を利用して、彩度C及び色相Hに着目して色調変化が生じたか否かを判定する(ステップS115)。その後、判定部231は、得られた判定結果を出力する(ステップS117)。
以上、本実施形態に係る色調変化検出方法の流れについて、簡単に説明した。
[第2の実施形態]
以上説明した第1の実施形態に係る色調変化検出装置及び色調変化検出方法は、鋼板の種類が固定されており鋼板表面の色が一定である場合に、有効な方法である。しかしながら、様々な鋼板の種類を製造する製造ラインでは、鋼板の種類が変わる毎に鋼板表面の色調が変化してしまい、その結果、テンパーカラーの色調自体が変化することがある。また、同一の鋼種であったとしても、鋼板を製造する各種の炉の状態等によっても、テンパーカラーの色調が変化することもある。
そのため、本発明者は、第1の実施形態に係る色調変化検出装置及び色調変化検出方法の精度をより向上させる方法について更なる検討を行った結果、以下で説明するような、第2の実施形態に係る色調変化検出装置及び色調変化検出方法に想到した。
(テンパーカラーの色調について)
本発明の第2の実施形態に係る色調変化検出装置及び色調変化検出方法について説明するに先立ち、本発明者が行ったテンパーカラーの色調に関する検討結果について、図12を参照しながら、まず説明する。図12は、テンパーカラーと酸化皮膜の膜厚との関係について説明するための説明図である。
テンパーカラーは、帯状体表面(例えば鋼板表面)に生成した酸化皮膜の厚さと屈折率とに起因する、光の干渉作用により生じるものである。いま、図12に示したように、照明光の入射角をθiとし、屈折角をθtとし、屈折率がnである酸化皮膜の膜厚をdとする。ここで、酸化皮膜の上面の反射と下面の反射との光路差をΔDとすると、光路差ΔDは、以下の式151で表される。ここで、Snellの法則より、以下の式152で表される関係が成立するため、以下の式151は、式153のように表すことができる。
また、空気、酸化皮膜の主成分であるFe2O3、及び、鉄の屈折率の関係は、空気(屈折率:1)<鉄(屈折率:2.08)<酸化皮膜(屈折率:2.91)であるため、図12に示した2つの光路間に半波長分のズレが生じる。従って、下記の式154で示した関係を満たす波長λが、テンパーカラーの色となって観察されることとなる。ここで、下記式154において、m=1,2,・・・である。
人が認識可能な可視光の波長範囲は400(紫)〜800(紫赤)nmであり、三原色の波長は、それぞれ、青:450nm、緑:530nm、赤:680nm程度である。また、カラーカメラの撮像感度も、人の認識感度に合わせて、上記三原色と同じような波長範囲に設定されている。
上記式153及び式154から、被検査物(すなわち、酸化皮膜)の膜厚が一定であれば、入射角によりテンパーカラーの色が変化することとなる。従って、反射光によっては、テンパーカラーの色が消滅してしまう可能性がある。
しかしながら、実際には酸化皮膜がある程度厚くなると(換言すれば、上記式154のmが大きくなると)、角度による色変化(すなわち、波長変化)は鈍くなる。このような現象は、以下の3つの要因によって生じると考えられる。
(1)酸化皮膜の屈折率が大きいため、光路差の変化は少ない。
(2)酸化皮膜が完全に透明でなく、厚くなると拡散反射作用により観測する角度で色調が変化する現象も生じることから、強調される波長の色と消滅する波長の色が他の色と合成されて目に入るため。
(3)光が反射する界面(皮膜下面)は理想的な鏡面でも無く、膜厚も均一とは言えないため、認識される色は様々な角度での干渉の平均として、色調が認識されるため。
従って、テンパーカラーの色調の変化は、角度の影響よりも、酸化皮膜の厚さの変化の影響が強くなり、厚さが増す毎に、黄色、金色、青色、紫色、灰色、・・・、黒色と変化する現象として捉えられる。検査員は、このテンパーカラーの色調変化から、酸化皮膜厚さを推測しており、濃い青みを帯びた色のときに有害な酸化皮膜厚であるという経験から経験的に合否判定している。
酸化皮膜の厚みを定量する方法としては、上記特許文献5に記載されているように、50nm以下の干渉色が生じない程度の厚みの膜厚を対象に、光電型色彩計により予め厚みが既知の薄膜の色空間を測定して膜厚と色指数の補正曲線を準備しておき、未知の厚みを色彩計から求める方法がある。しかしながら、有害な酸化皮膜厚みとなる干渉色が生じる程度の膜厚に対しては、使用が不可能であるため、テンパーカラーの検出には利用することができない。
また、鋼鈑表面自身の色調が様々に変化する場合には、酸化皮膜によるテンパーカラーの色調に鋼鈑表面自身の色調も合成されることから、処理されるカラー画像から算出される色調変化が、酸化皮膜の厚みに依存しない場合が生じることがある。
そこで、本発明者は、鋭意検討を行った結果、以下で説明するような撮像装置を用いることで、帯状体表面自身の色調が変化する場合であってもテンパーカラーを正確に検出することが可能な方法に想到した。
(色調変化検出装置の構成について)
本発明の第2の実施形態に係る色調変化検出装置10は、図1に示した本発明の第1の実施形態に係る色調変化検出装置10と同様に、撮像装置100と、演算処理装置200と、を主に備える。
ここで、本実施形態に係る色調変化検出装置10が備える演算処理装置200の機能は、テンパーカラーの検出に利用する該当色領域の色空間での位置が、第1の実施形態における位置と異なる以外は同様であるため、以下では詳細な説明は省略する。
<撮像装置100について>
次に、図13A及び図13Bを参照しながら、本実施形態に係る撮像装置100について、詳細に説明する。図13A及び図13Bは、本実施形態に係る撮像装置100の構成例について示した説明図である。
図13Aは、撮像装置100を帯状体Sの上方から見た場合の模式図であり、図13Bは、撮像装置100を帯状体Sの側方から見た場合の模式図である。
本実施形態に係る撮像装置100は、図13A及び図13Bに示したように、カラーチャート部材101と、光源103と、カラーカメラ105と、を少なくとも有している。カラーチャート部材101、光源103及びカラーカメラ105は、これらの設置位置が変化しないように公知の手段により固定されている。
ここで、本実施形態に係るカラーチャート部材101は、第1の実施形態に係るカラーチャート部材101と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
光源103は、カラーチャート部材101及び帯状体Sの表面に対して、可視光帯域に属する照明光を照射する装置である。光源103としては、R(赤)成分、G(緑)成分、B(青)成分をそれぞれ含む白色光源を用いることが好ましい。また、光源の種類は特に限定されるものではないが、高輝度の光を照射可能な高輝度LED光源を用いることが好ましい。なお、光源103は、少なくとも、後述するカラーカメラ105によってカラーチャート部材101及び帯状体表面が撮像される際に照明光を照射していればよく、カラーカメラ105による撮像タイミングによらず常時点灯していてもよい。光源103の点灯タイミングは、例えば後述する演算処理装置200によって制御されている。
光源103は、図13A及び図13Bに示したように、所定の輝度でカラーチャート部材101及び帯状体Sの幅方向全体の双方を照明可能な高さに設置される。また、光源103の光軸と帯状体表面の法線とのなす角φは、以下で説明するような特定の角度範囲となるように設定される。
カラーカメラ105は、照明光の照射されているカラーチャート部材101及び帯状体表面の領域ARを撮像することにより、照明光の帯状体表面での反射光及び照明光のカラーチャート部材101からの反射光の双方を撮像する装置である。このカラーカメラ105は、CCD又は、CMOS等の撮像素子が搭載されたものであり、図13Aに示した領域ARをカラーで撮像することができる。このようなカラーカメラ105として、例えばRGBラインセンサカメラを挙げることができる。
カラーカメラ105に搭載されるレンズの焦点距離や画角、及び、帯状体表面からの離隔距離は特に限定するものではなく、カラーチャート部材101及び帯状体表面が同一視野内に位置するようにそれぞれを選択すればよい。また、カラーカメラ105に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。
カラーカメラ105の光軸と光源103から照射される照明光の光軸とのなす角は、照明光の正反射に対応する角度となるように設定されることが好ましい。正反射に対応する角度とは、第1の実施形態における記載と同様に、幾何光学的に厳密な正反射角に対して±5°以内の角度を指す。図13Bに示した例では、カラーカメラ105の光軸と帯状体表面の法線とのなす角(図13Bにおける角度θ’)は、光源103の光軸(照明光の光軸)と帯状体表面の法線方向とのなす角度φの正反射角に対して±5°以内の角度に設定することが好ましい。
このようなカラーカメラ105は、搬送ラインが帯状体Sを所定距離移動させる毎に、図13Aに示した領域ARをカラー撮像していく。1フレームに対応するライン数だけ領域ARを撮像すると、カラーカメラ105は、得られた撮像データを利用して1フレーム分のカラー撮像画像を生成する。また、カラーカメラ105の撮像タイミングは、例えば演算処理装置200によって制御されている。
<光源103の設置角度φについて>
続いて、図14A及び図14Bを参照しながら、光源103の設置角度φについて、詳細に説明する。図14A及び図14Bは、干渉作用の入射角度依存性について説明するためのグラフ図である。
上記式154を波長λについて変形すると、以下の式154aを得ることができる。ここで、撮像したい色調は可視光の波長範囲の400nmから800nmであるため、式154aにおける波長λは、400≦λ≦800と設定することができる。従って、かかる波長範囲において、式154aから、以下の式155を得ることができる。以下の式155を満たす正の整数mの数が、強め合ってテンパーカラーとして観測される波長の数となる。
ΔDは、上記式153から明らかなように、照明光の入射角及び膜厚に応じて変化するため、照明光の入射角によって、強め合う波長とともに強め合う波長の数mも変化することとなる。カラーカメラ105によって撮像されるカラー撮像画像から色調変化を算出するには、撮像されるカラー撮像画像のカラー情報(スペクトル)の中に、強め合う波長が存在するか、あるいは、弱め合う波長が存在する方が、膜厚変化による色差が明確になるので好ましい。
鋼板の表面に生成される酸化皮膜は、厚みdが100nm程度となるくらいから色づき、200nm程度から有害なものとなることが多い。そこで、図14Aに示したグラフ図は、酸化皮膜の主成分であるFe2O3の屈折率n1=2.91とし、有害なものとして監視したい酸化皮膜厚を200nmとした場合に、上記式155における最左辺及び最右辺の値が入射角に応じてどのように変化するかを示したものである。図14Aにおいて、横軸は、照明光の入射角φであり、縦軸は、最左辺及び最右辺の値(換言すれば、式155におけるパラメータmの値)である。
図14Aに示したグラフから、テンパーカラーのスペクトルが強め合う(mが正の整数となる。)又は弱め合う(mが半整数となる。)という条件を満たす波長が得られる入射角の範囲(換言すれば、図中に示した2本の曲線の間に上記条件を満足するmが存在する範囲)は、0°から70°であることがわかる。
また、図14Bは、図14Aにおける酸化皮膜厚を300nmに変更した場合のグラフ図である。図14Bから明らかなように、酸化皮膜の膜厚が増加するに従って、強め合う波長の数も増加する。mの値が大きくなるほど高次の干渉になり、強度変化は弱くなるので、m=1,2程度の低次の干渉光が望ましい。この観点から図14Bを見ると、入射角は約40°以上とすることが望ましいことがわかる。
これらの知見より、本実施形態に係る撮像装置100で用いられる正反射光学系の入射角を40°〜70°に設定すれば、干渉作用で強め合うテンパーカラーの色差変化を、より正確に把握し易くなることがわかる。実際には、入射角を大きくすると、光源103やカラーカメラ105の設置スペースが大きくなるため、これら機器を取り付け可能なスペースの広さに応じて、上記角度範囲の中から実際の設置角度φを設定することが好ましく、例えば、50°〜55°程度とすることが好ましい。
以上、本実施形態に係る撮像装置100と、光源103の設置角度φについて、詳細に説明した。
<撮像装置100の変形例−S偏光フィルタの利用>
本変形例では、光源103から射出される照明光を非偏光とするとともに、図15A及び図15Bに示したように、本発明の第2の実施形態に係る撮像装置100において、カラーカメラ105自体(例えば、カラーカメラ105のレンズ)又はカラーカメラ105の光軸上に偏光フィルタ151を配設し、カラーカメラ105に対してS偏光が受光するようにする。これにより、鋼板自体の色調変化の影響を少なくして、酸化皮膜自体の干渉作用による色調を強調することが可能となる。以下、その理由について、図16を参照しながら説明する。
図12に示したような鋼板及び酸化皮膜において、酸化皮膜の主成分であるFe2O3の複素屈折率N1=n1+ik(n1:屈折率、i:虚数、k:消衰係数)を、n1=2.918、k=0.03(@692.8nm)とする。このとき、Snellの法則と、式160a及び式161aに示したフレネルの公式とに基づいて導出される、式160b及び式161bを利用し、S偏光成分、P偏光成分及び非偏光の反射率を計算した。ここで、下記式160a〜式161bにおいて、rP及びrSは、振幅反射率であり、着目するP偏光成分の反射率RP=|rP|2であり、S偏光成分の反射率RS=|rS|2である。
図16から明らかなように、照明光の入射角度φ=50°のとき、非偏光の照明光に含まれるS偏光成分は約40%が酸化皮膜表面で反射され、P偏光成分は約10%が反射されて、残りは酸化皮膜中に入射する。酸化皮膜に入射したS偏光成分及びP偏光成分は、S偏光とP偏光のモード変換を起こしつつ、複素屈折率の消衰係数に基づいて強度を減衰しながら拡散反射する。そのため、正反射方向に設けられたカラーカメラ105で撮像される酸化皮膜を透過した反射光の強度は、入射強度に比較して小さくなる。
すなわち、カラーカメラ105で撮像されるS偏光成分は、酸化皮膜表面で反射した強いS偏光成分(非偏光に比較して、入射角度50°のとき1.5倍)と、酸化皮膜内で減衰し鋼鈑表面で反射されたS偏光成分及びP偏光成分のうちの僅かなS偏光成分と、の合計となる。従って、撮像されるS偏光成分のカラー撮像画像では、図13A及び図13Bに示した第2の実施形態と比較して、鋼鈑表面の地合で反射される反射光の寄与は小さくなり、酸化皮膜の干渉作用によるテンパーカラーに起因する情報がより多く含まれることとなる。その結果、本変形例による撮像装置100を利用することで、酸化皮膜の干渉作用によるテンパーカラーをより鮮明に捉えることが可能となる。
なお、図16では、400nm〜800nmの可視光帯域のうち692.8nmの波長に着目して説明を行ったが、692.8nm以外の可視光帯域においても、P偏光成分、S偏光成分及び非偏光の反射率は、図16と同様の特徴を示す。
図17は、実際に撮像された、テンパーカラーなし(無色)15点、無害のテンパーカラー有り6点、有害のテンパーカラー有り5点のステンレス鋼板表面のカラー撮像画像(S偏光フィルタ:未使用)を利用し、算出したCIE−L*a*b*色空間でのa*値、b*値を(a,b)座標上でプロットしたものである。
また、図18は、図17で利用したものと同一のステンレス鋼板を利用して、ステンレス鋼板表面のカラー撮像画像(S偏光フィルタ:使用)を撮像し、算出したCIE−L*a*b*色空間でのa*値、b*値を(a,b)座標上でプロットしたものである。
なお、図17及び図18に利用したカラー撮像画像を得るに当たっては、撮像装置100は、以下のような条件で設置した。
○帯状体S
鋼板:板幅1500mm
○カラーカメラ105
2048画素のRGBラインセンサカメラ:1台
RGB信号をライン蓄積し、1024ライン蓄積する毎にカラーフレーム画像を生成。
○カラーカメラ105から帯状体表面までの光軸に沿った離隔距離:約2m
○光源103の光軸と鋼板表面の法線とのなす角φ:50°
○カラーカメラ105の光軸と鋼板表面の法線とのなす角θ’:50°
○カラーカメラ105は、帯状体が搬送方向に4mm進む毎に撮像する。
目視では、無害のテンパーカラーは、角度によって黄色から青色に観察され、有害のテンパーカラーは、角度によって、濃紺から紫色に観察される。図17及び図18に示したグラフから明らかなように、正反射光学系で撮影していることにより、目視との色は若干の違いが生じている。
図17及び図18から明らかなように、有害と判定されるテンパーカラーの色調が占めるグラフ中の領域は、無色の場合の色調や無害と判定されるテンパーカラーの色調に対応する領域とは異なっている。従って、有害と判定されるテンパーカラーの色調のみからなる領域を特定し、かかる領域を該当色領域とすることで、有害と判定されるテンパーカラーを正確に検出することが可能となる。
次に、図17及び図18における座標軸の目盛に着目すると、S偏光フィルタを使用しなかった場合(図17)の座標軸の範囲に比べて、S偏光フィルタを使用した場合(図18)の座標軸の範囲が広くなっていることがわかる。これは、カラーカメラ105の前段にS偏光フィルタを配設することで、色相、彩度ともに無害・有害の差異がより明確になったことを示している。従って、カラーカメラ105の前段にS偏光フィルタ151を配設することによって、有害と判定されるテンパーカラーをより正確に検出することが可能となることがわかる。
以上、図12〜図18を参照しながら、本発明の第2の実施形態に係る色調変化検出装置及び色調変化検出方法と、その変形例について、詳細に説明した。
(ハードウェア構成について)
次に、図19を参照しながら、本発明の実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。図19は、本発明の実施形態に係る演算処理装置200のハードウェア構成を説明するためのブロック図である。
演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置913、またはリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。さらに、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。演算処理装置200のユーザは、この入力装置909を操作することにより、演算処理装置200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(まとめ)
以上説明したように、本発明の実施形態に係る色調変化検出装置及び色調変化検出方法によれば、簡便な装置構成で、帯状体表面における色調変化を、照明光の色変化によらず、人間が感じる色感覚と同じような対応で、かつ、定量的に、帯状体の全長に亘って監視することができる。更に、帯状体の長手方向のどの領域に色調変化が発生していたかが明確になることから、製造コスト削減と歩留り向上や品質保証に大きく寄与することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記の実施形態では、ステンレス鋼板等の鋼板を例に挙げて説明を行ったが、本発明の実施形態に係る色調変化検出装置及び色調変化検出方法は、鋼板以外の金属板で生じた色調変化の検出にも適用することが可能である。