JP6988632B2 - 輪郭抽出装置及び輪郭抽出方法 - Google Patents

Description

本発明は、輪郭抽出装置及び輪郭抽出方法に関する。

例えば、コークスや鉄鉱石、石灰等のように高炉操業に用いられる粒子状物体（以下、単に粒子と称する）は、各粒子の粒子径が生産性に影響する。そのため、これら粒子の粒子径を測定して、品質を維持することが重要となる。

粒子径を非接触で測定する方法として画像計測が挙げられる。例えば、特許文献１では、河川の砂礫を対象として、照明手段を工夫することで粒子像が明るく見えるよう画像に陰影をつけて撮像し、陰影に基づいて粒子抽出する方法が提示されている。また、特許文献２においても、画像上で粒子像とその輪郭部分の濃淡の差から２値化によって個々の粒子を認識して面積を求める方法が示されている。

特開２００６−７８２３４号公報 特開２００３−１０７２６号公報

しかしながら、特許文献１又は特許文献２のような対象の濃淡（陰影）を撮像した画像から粒子を識別する方法では、粒子上の領域と、粒子と粒子の間の領域に明確な輝度差ができるように、測定環境に応じて事前に照明条件を調整しておく必要があり、それでもなお、照明が不均一な場合や、粒子自体に暗い色のものが含まれる場合等においては、粒子輪郭を安定して検出することが難しいという問題があった。そのため、特許文献１又は特許文献２の手法は、例えば生産ライン等で搬送されている、積み重なった状態の粒子について、各輪郭を測定等する場合、十分に活用できないという問題があった。

そこで、本発明は、上記のような問題に鑑みてなされたものであり、複数の粒子が積み重なった状態であっても各粒子の輪郭を正確に抽出することができる輪郭抽出装置及び輪郭抽出方法を提供することを目的とする。

本発明の輪郭抽出装置は、積み重なった複数の粒子の各輪郭を抽出する輪郭抽出装置において、積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像部と、前記深さ画像で輝度値の差により表された谷部を検出するフィルタを適用した谷検出フィルタ処理を、前記深さ画像に対して行った後、２値化処理を行うことで谷検出画像を生成する谷検出画像生成部と、を有する、ものである。

本発明の輪郭抽出方法は、積み重なった複数の粒子の各輪郭を抽出する輪郭抽出方法において、積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像ステップと、前記深さ画像で輝度値の差により表された谷部を検出するフィルタを適用した谷検出フィルタ処理を、前記深さ画像に対して行った後、２値化処理を行うことで谷検出画像を生成する谷検出画像生成ステップと、を有する、ものである。

本発明によれば、粒子同士の段差が小さいために、深さ画像において隣接した粒子の境界で輝度差が表れ難い箇所があっても、谷検出フィルタ処理を行うことで、粒子同士の隣接部を示す、輝度分布が谷状に落ち込んだ谷部を検出できる。よって、本発明では、検出した谷部を基に粒子同士の境界を容易に判断できるので、複数の粒子が積み重なった状態であっても各粒子の輪郭を正確に抽出することができる。

本発明の輪郭抽出装置を備えた測定装置の回路構成を示すブロック図である。 撮像部によって得られた深さ画像の一例を示す写真である。 図２の深さ画像の一部領域を拡大した写真である。 画像処理部の回路構成を示すブロック図である。 谷検出画像生成部の回路構成を示すブロック図である。 図６Ａは、第１方向フィルタ処理部のフィルタの構成を示す概略図であり、図６Ｂは、第２方向フィルタ処理部のフィルタの構成を示す概略図であり、図６Ｃは、第３方向フィルタ処理部のフィルタの構成を示す概略図であり、図６Ｄは、第４方向フィルタ処理部のフィルタの構成を示す概略図である。 谷検出画像の一例を示す写真である。 不連続点検出画像生成部の回路構成を示すブロック図である。 不連続点検出処理の説明に供する概略図である。 不連続点検出画像の一例を示す写真である。 細線化処理後の輪郭抽出画像の一例を示す写真である。 輪郭抽出画像から抽出した輪郭を、深さ画像に重ね合わせた画像を示す写真である。 測定処理手順を示すフローチャートである。 谷検出処理手順を示すフローチャートである。 不連続点検出処理手順を示すフローチャートである。

以下図面について、本発明の一実施形態を詳述する。以下の説明において、同様の要素には同一の符号を付し、重複する説明は省略する。

＜本発明の測定装置について＞
図１は、本発明の輪郭抽出装置２を備えた測定装置１の回路構成を示したブロック図である。輪郭抽出装置２は、ベルトコンベアにより搬送されるコークス等のような複数の粒子を撮像部７により撮像し、得られた深さ画像に対して画像処理を行うことで、深さ画像内の各粒子の輪郭を抽出できるものである。ここで、深さ画像とは、ベルトコンベア上で重なり合った複数の粒子の表面にレーザ光を照射し、各粒子の表面で反射したレーザ光による光切断線を、撮像部７により撮像してゆき、得られた時系列に並ぶ複数の光切断画像から１つの画像を生成する、いわゆる光切断法により生成される画像である。

光切断法を用いない一般的なデジタルカメラにより得られる撮像画像では、照明を多方向から照射して粒子の輪郭を強調させているため、人の見た目にはおおよそ個々の粒子を識別できる。しかしながら、このような撮像画像では、粒子表面に輝度むらがあり、粒子の輪郭を画像処理で正確に抽出することは難しい。

これに対して、図２に示すような深さ画像では、各粒子の表面における凹凸状態を、輝度値の違いで表すことができる。例えば、図２中の明るい領域Ｐは１つの粒子を示す。なお、図２は対象を２５６諧調の輝度で表した深さ画像である。深さ画像は、輝度値によって高さ位置を表わすことができるため、照明むらといった外乱要因はなく、粒子と粒子の境界の多くは輝度値の差が大きく、明確な不連続点として捉えることができる。すなわち、粒子と粒子の境には通常段差があるため、深さ画像では、この段差が急激な輝度値の変化として表れる。よって、輪郭抽出装置２では、このような粒子同士の境を示す不連続点を深さ画像から検出することで、深さ画像内での粒子の識別が容易になる。

しかしながら、図２の深さ画像の細部に着目すると、図２の拡大図である図３に示すように、２つの粒子が隣接している箇所で、部分的に輪郭が不明瞭なところもある。具体的には、点線で示す領域ＥＲ１では、２つの粒子の端部がほぼ同じ高さで接しており、粒子同士の段差が小さいため、隣接した粒子の境界では、輝度の差が顕著に表れ難い。これは撮像部７の空間分解能以下の狭い隙間は、深さ画像上ではつぶれてしまうこと等が原因で生じる。

そこで、本発明の輪郭抽出装置２は、深さ画像上で、粒子間の段差により生じる輝度の不連続性から粒子の輪郭を抽出する不連続点検出処理と、上述したように局所的に生じる粒子同士の接触箇所（隣接した粒子の境界で輝度の差が顕著に表れない箇所）において粒子の輪郭を抽出する谷検出処理と、を組み合わせることで、深さ画像から粒子の輪郭を、高精度に検出することを実現した。

ここで、輪郭抽出装置２が設けられた測定装置１には、深さ画像を得るために、ベルトコンベアにより搬送されている、重なり合った複数の粒子の表面に対し、線状のレーザ光を照射するレーザ光源（図示せず）が設けられている。また、測定装置１は、レーザ光源や本発明の輪郭抽出装置２に加え、ラベリング処理部３と粒子測定部４と表示部５とを有している。輪郭抽出装置２には、撮像部７と取得部８と画像処理部９と記憶部１０とが設けられている。

撮像部７は、例えばＣＣＤ（Charge Coupled Device）カメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等であり、ベルトコンベアにより搬送されてくる各粒子の表面にレーザ光が照射されることで形成された光切断線を撮像する。撮像部７は、時系列に並ぶ複数の光切断線から、各粒子の表面における凹凸状態を輝度値の違いで表した深さ画像を生成し、これを取得部８に送出する。取得部８は、画像処理部９及び記憶部１０に接続されており、これら画像処理部９及び記憶部１０に深さ画像を送出し、例えば記憶部１０に深さ画像を記憶させる。なお、記憶部１０は、各種パラメータや、処理の途中経過、データベース、プログラム等が必要に応じて記憶されている。

画像処理部９は、深さ画像に対して、後述する不連続点検出処理及び谷検出処理を行い、得られた処理結果を基に輪郭抽出画像を生成する。画像処理部９は、記憶部１０、ラベリング処理部３及び表示部５に接続されており、生成した輪郭抽出画像を記憶部１０、ラベリング処理部３及び表示部５にそれぞれ送出する。記憶部１０は輪郭抽出画像を記憶し、表示部５は、ラベリング処理部３による輪郭抽出画像に対するラベリング処理の結果や、必要に応じて輪郭抽出画像をディスプレイ等に表示する。

＜画像処理部における谷検出処理について＞
ここで、先ず始めに、画像処理部９にて行われる谷検出処理及び不連続点検出処理について順番に説明する。画像処理部９は、図４に示すように、谷検出画像生成部１２、不連続点検出画像生成部１３、輪郭抽出画像生成部１４、細線化処理部１５、及び補正処理部１６を備えている。谷検出画像生成部１２は、深さ画像を取得部８から受け取ると、深さ画像に対して谷検出処理を行い、後述する谷検出画像を生成する。

谷検出画像生成部１２は、図５に示すように、谷検出フィルタ処理部１８、画像統合部１９及び２値化処理部２０を備えている。この実施形態の場合、谷検出フィルタ処理部１８は、例えば、第１方向フィルタ処理部１８ａ、第２方向フィルタ処理部１８ｂ、第３方向フィルタ処理部１８ｃ及び第４方向フィルタ処理部１８ｄを備えており、それぞれ係数の配置が異なる４つのフィルタ（後述する）を用いて、深さ画像に対し谷検出フィルタ処理を行う。

ここで、図３の領域ＥＲ１で示したように、隣接した粒子同士の境界が認識し難い箇所での輝度分布の特徴としては、粒子同士の隣接部における輝度が、隣接部の両側にある粒子部分の輝度よりも低くなり、粒子同士の隣接部では輝度分布が言わば谷状に落ち込むことにある。谷検出フィルタ処理部１８は、谷検出処理を行うことにより、このような谷状に落ち込んだ輝度分布を強調し、粒子同士の境界を検出し易くするものである。

第１方向フィルタ処理部１８ａは、図６Ａに示すように、所定の係数が縦方向（０度方向）に配置されたフィルタ２１ａを予め記憶している。フィルタ２１ａは、深さ画像の縦方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ２１ａは、縦方向に９つ（すなわち９画素分）の係数が配置された構成を有し、中心の係数が０であり、この中心の係数０を挟んで縦方向に沿って対称に、２つの負の係数−１を有する。また、このフィルタ２１ａは、負の係数−１を挟んで縦方向に沿って対称に、絶対値が負の係数−１と同じ１でなり、かつ負の係数−１の数と同じ２つの正の係数１を有している。

第１方向フィルタ処理部１８ａは、フィルタ２１ａの中心を深さ画像の注目画素に重ね、フィルタ２１ａの各係数と、フィルタ２１ａの各係数と重なった深さ画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、深さ画像の注目画素における第１出力値を算出する。このようにして第１方向フィルタ処理部１８ａは、フィルタ２１ａを基に、深さ画像の全画素に対して第１出力値を求め、第１出力値からなる第１方向の谷検出フィルタ処理画像を生成する。なお、この際、第１方向フィルタ処理部１８ａは、第１出力値としてマイナスの数値が算出されたときには、当該第１出力値を０とする。

このようにして得られた第１方向の谷検出フィルタ処理画像では、フィルタ２１ａの係数が並ぶ縦方向において、輝度値が谷状に変化している箇所（谷部）を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第１方向フィルタ処理部１８ａは、深さ画像の縦方向に輝度値が変化する谷部（谷状に落ち込んだ部分）を強調させた第１方向の谷検出フィルタ処理画像を生成する。

第２方向フィルタ処理部１８ｂは、図６Ｂに示すように、所定の係数が対角線上（例えば４５度方向であり、以下、第１対角線方向と称する）に配置されたフィルタ２１ｂを予め記憶している。フィルタ２１ｂは、深さ画像の第１対角線方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ２１ｂは、縦横方向それぞれに９つ（すなわち９画素分）の係数が配置された構成を有し、中心の係数が０であり、この中心の係数０を挟んで１組の対頂点を結ぶ第１対角線方向に沿って対称に、２つの負の係数−１を有する。また、このフィルタ２１ｂは、負の係数−１を挟んで第１対角線方向に沿って対称に、絶対値が負の係数−１と同じ１でなり、かつ負の係数−１の数と同じ２つの正の係数１を有している。フィルタ２１ｂは、負の係数−１及び正の係数１が配置された、第１対角線方向以外の領域では係数を０としている。

第２方向フィルタ処理部１８ｂは、フィルタ２１ｂの中心を深さ画像の注目画素に重ね、フィルタ２１ｂの各係数と、フィルタ２１ｂの各係数と重なった深さ画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、深さ画像の注目画素における第２出力値を算出する。このようにして第２方向フィルタ処理部１８ｂは、フィルタ２１ｂを基に、深さ画像の全画素に対して第２出力値を求め、第２出力値からなる第２方向の谷検出フィルタ処理画像を生成する。なお、この際、第２方向フィルタ処理部１８ｂでも、第２出力値としてマイナスの数値が算出されたときには、当該第２出力値を０とする。

このようにして得られた第２方向の谷検出フィルタ処理画像では、フィルタ２１ｂの負及び正の係数が並ぶ第１対角線方向において、輝度値が谷状に変化している箇所（谷部）を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第２方向フィルタ処理部１８ｂは、深さ画像の第１対角線方向にある谷部（谷状に落ち込んだ部分）を強調させた第２方向の谷検出フィルタ処理画像を生成する。

第３方向フィルタ処理部１８ｃは、図６Ｃに示すように、図６Ｂに示したフィルタ２１ｂの第１対角線方向と交差する他方の対角線上（１３５度方向であり、以下、第２対角線方向と称する）に所定の係数が配置されたフィルタ２１ｃを予め記憶している。フィルタ２１ｃは、深さ画像の第２対角線方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ２１ｃは、縦横方向それぞれに９つ（すなわち９画素分）の係数が配置された構成を有し、中心の係数が０であり、この中心の係数０を挟んで、フィルタ２１ｂと異なる他の１組の対頂点を結ぶ第２対角線方向に沿って対称に、２つの負の係数−１を有する。また、このフィルタ２１ｃは、負の係数−１を挟んで、第２対角線方向に沿って対称に、絶対値が負の係数−１と同じ１でなり、かつ負の係数−１の数と同じ２つの正の係数１を有している。フィルタ２１ｃは、負の係数−１及び正の係数１が配置された、第２対角線方向以外の領域では係数を０としている。

第３方向フィルタ処理部１８ｃは、フィルタ２１ｃの中心を深さ画像の注目画素に重ね、フィルタ２１ｃの各係数と、フィルタ２１ｃの各係数と重なった深さ画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、深さ画像の注目画素における第３出力値を算出する。このようにして第３方向フィルタ処理部１８ｃは、フィルタ２１ｃを基に、深さ画像の全画素に対して第３出力値を求め、第３出力値からなる第３方向の谷検出フィルタ処理画像を生成する。なお、この際、第３方向フィルタ処理部１８ｃでも、第３出力値としてマイナスの数値が算出されたときには、当該第３出力値を０とする。

このようにして得られた第３方向の谷検出フィルタ処理画像では、フィルタ２１ｃの負及び正の係数が並ぶ第２対角線方向において、輝度値が谷状に変化している箇所（谷部）を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第３方向フィルタ処理部１８ｃは、深さ画像の第２対角線方向にある谷部（谷状に落ち込んだ部分）を強調させた第３方向の谷検出フィルタ処理画像を生成する。

第４方向フィルタ処理部１８ｄは、図６Ｄに示すように、所定の係数が横方向（９０度方向）に配置されたフィルタ２１ｄを予め記憶している。フィルタ２１ｄは、深さ画像の横方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ２１ｄは、横方向に９つ（すなわち９画素分）の係数が配置された構成を有し、中心の係数が０であり、この中心の係数０を挟んで横方向に沿って対称に、２つの負の係数−１を有する。また、このフィルタ２１ｄは、負の係数−１を挟んで横方向に沿って対称に、絶対値が負の係数−１と同じ１でなり、かつ負の係数−１の数と同じ２つの正の係数１を有している。

第４方向フィルタ処理部１８ｄは、フィルタ２１ｄの中心を深さ画像の注目画素に重ね、フィルタ２１ｄの各係数と、フィルタ２１ｄの各係数と重なった深さ画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、深さ画像の注目画素における第４出力値を算出する。このようにして第４方向フィルタ処理部１８ｄは、フィルタ２１ｄを基に、深さ画像の全画素に対して第４出力値を求め、第４出力値からなる第４方向の谷検出フィルタ処理画像を生成する。なお、この際、第４方向フィルタ処理部１８ｄでも、第４出力値としてマイナスの数値が算出されたときには、当該第４出力値を０とする。

このようにして得られた第４方向の谷検出フィルタ処理画像では、フィルタ２１ｄの係数が並ぶ横方向において、輝度値が谷状に変化している箇所（谷部）を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第４方向フィルタ処理部１８ｄは、深さ画像の横方向にある谷部（谷状に落ち込んだ部分）を強調させた第４方向の谷検出フィルタ処理画像を生成する。

なお、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄにおける負の係数及び正の係数の配置数は、深さ画像内における粒子同士の隣接部にある谷部の形状に合わせて決定される。この実施形態では、深さ画像内における粒子同士の隣接部にある谷部を解析したところ、約４画素かけてなだらかに落ち込んで谷部の底となり、４画素かけて谷部の底からなだらかに立ち上がるような谷部が多く確認できた。そこで、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄでは、谷部の落ち込み及び立ち上がり部分の４画素に対して輝度値の強調を行えるように、中心の係数０を挟んで対称に、負の係数を２つ、正の係数を２つ配置して、中心の係数を挟んで対称に４画素分の係数を配置している。

従って、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄにおける負の係数及び正の係数の配置数については、例えば、過去の操業データや実験データ等に基づいて、深さ画像内における粒子同士の隣接部にある谷部の傾向を解析し、谷部の落ち込みや立ち上がり部分の画素数に合わせて決定すればよい。

また、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄは、中心の係数を挟んで対称に配置される負の係数及び正の係数の配置数を同じとし、さらに、負の係数及び正の係数の絶対値を同じとしている。これにより、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄは、深さ画像に対して谷検出フィルタ処理を行った際、輝度分布が谷状に落ち込んでいない、いわゆる谷部以外の箇所については輝度値を抑えて暗く表示させることができる。

図５に示すように、谷検出フィルタ処理部１８は、第１方向フィルタ処理部１８ａ、第２方向フィルタ処理部１８ｂ、第３方向フィルタ処理部１８ｃ、及び第４方向フィルタ処理部１８ｄにより生成した、第１方向の谷検出フィルタ処理画像、第２方向の谷検出フィルタ処理画像、第３方向の谷検出フィルタ処理画像、及び第４方向の谷検出フィルタ処理画像を、画像統合部１９に送出する。画像統合部１９は、これら第１方向の谷検出フィルタ処理画像、第２方向の谷検出フィルタ処理画像、第３方向の谷検出フィルタ処理画像、及び第４方向の谷検出フィルタ処理画像を統合して、１つの統合谷検出画像を生成し、これを２値化処理部２０に送出する。具体的には、これら第１方向の谷検出フィルタ処理画像、第２方向の谷検出フィルタ処理画像、第３方向の谷検出フィルタ処理画像、及び第４方向の谷検出フィルタ処理画像の対応する各画素毎に、第１出力値、第２出力値、第３出力値及び第４出力値から二乗平均平方根を求め、これを統合谷検出画像の各画素の輝度値とする。この結果、どの方向の線分であっても、その線分に沿って、輝度プロフィールが中央で落ち込んだ箇所を、抽出できる。

２値化処理部２０は、所定の閾値を基に統合谷検出画像を２値化処理し、図７に示すような谷検出画像を生成する。図７は、２５６階調で得られた統合谷検出画像を、閾値を１０として２値化した谷検出画像を示した写真である。２値化処理部２０により２値化された谷検出画像では、谷状に落ち込んでいる箇所の画素が、輝度値が高く白色に表示される１とされ、谷部以外の残りの画素が、輝度値が低く黒色に表示される０とされている。２値化処理部２０は、２値化した谷検出画像を、図４に示す輪郭抽出画像生成部１４に送出する。

＜画像処理部における不連続点検出処理について＞
次に、画像処理部９にて行われる不連続点検出処理について説明する。上述した谷検出処理により得られる谷検出画像（図７）は、深さ画像内の谷部分に着目し、当該谷部分のみを強調する谷検出フィルタ処理を行ったものである。そのため、谷検出画像内の一部の粒子は輪郭の一部が消えてしまっている恐れもあり、谷検出画像だけから粒子の輪郭を正確に抽出し難いこともある。

そこで、本発明の輪郭抽出装置２は、粒子の輪郭を一段と正確に抽出するため、画像処理部９に不連続点検出画像生成部１３を設け、不連続点検出画像生成部１３によって、深さ画像内において輝度値が不連続に変化している箇所を、粒子の輪郭を示す箇所として特定するようにした。そして、輪郭抽出装置２は、谷検出画像生成部１２で生成した谷検出画像と、不連続点検出画像生成部１３で生成した不連続点検出画像とを統合し、谷検出画像だけからでは抽出し難かった粒子の輪郭を、不連続点検出画像を基に抽出可能とし、一段と正確に粒子の輪郭を抽出できるようにしている。

ここで、不連続点検出画像生成部１３は、図８に示すように、不連続点検出部２２と２値化処理部２７とを備えている。不連続点検出部２２は、注目画素決定部２３、算出方向指定部２４、輝度差算出部２５、及び不連続点判断部２６を備えており、深さ画像内の全ての画素について、それぞれ不連続点であるか否かを判断する。

不連続点検出部２２は、深さ画像を取得部８から受け取ると、注目画素決定部２３によって、深さ画像内の各画素をそれぞれ注目画素として決定する。算出方向指定部２４は、注目画素決定部２３によって決定された注目画素毎に、図９に示すように、注目画素Ｔ_０を中心に４５度刻みで、８方向を算出方向として順に指定してゆく。

輝度差算出部２５は、注目画素Ｔ_０を中心に４５度刻みで算出方向として指定される８方向について、それぞれ注目画素Ｔ_０と隣接している隣接画素Ｔ_１〜Ｔ_８を特定し、注目画素Ｔ_０と各隣接画素Ｔ_１〜Ｔ_８との輝度値の差（以下、単に輝度差と称する）をそれぞれ算出する。不連続点判断部２６は、算出方向のうち一つを順方向とし、例えば順方向とした算出方向Ｘ_１に位置する隣接画素Ｔ_２と注目画素Ｔ_０との輝度差が、所定の閾値α以上であるか否かを判断する。また、この際、不連続点判断部２６は、順方向と逆方向となる算出方向Ｘ_２を特定し、算出方向Ｘ_２に位置する隣接画素Ｔ_６と注目画素Ｔ_０との輝度差が、所定の閾値β以下であるか否かを判断する。

不連続点判断部２６は、順方向とした算出方向Ｘ_１での輝度差が閾値α以上であり、かつ、逆方向とした算出方向Ｘ_２での輝度差が閾値β以下であるとき、注目画素Ｔ_０が不連続点であると判断する。このようにして、不連続点判断部２６は、深さ画像の全画素をそれぞれ注目画素Ｔ_０とし、順方向に隣接する隣接画素との輝度差と、逆方向に隣接する隣接画素との輝度差とを基に、各注目画素Ｔ_０が不連続点であるか否かを判断する。

ここで、閾値αと閾値βは、粒子の形状等によって適切に定める必要があるので、予め実験的に探索して定めておくことが望ましい。図１に示すコークス等を対象とした場合は、閾値αを５程度、閾値βを２程度とすると良好な結果が得られた。このように、閾値αと閾値βとを設定することで、順方向に隣接する隣接画像との間で輝度値が急激に上がっているとともに、逆方向で隣接する隣接画素との間では輝度値の変化が少ない、粒子同士の段差部分にあたる注目画素Ｔ_０を、不連続点として特定できる。

不連続点検出部２２は、深さ画像と、深さ画像の各注目画素Ｔ_０について不連続点であるか否かを示した判断結果とを、２値化処理部２７に送出する。２値化処理部２７は、深さ画像において、不連続点検出部２２にて不連続点とした画素を、輝度値が高く白色に表示される１とし、不連続点以外の残りの画素を、輝度値が低く黒色に表示される０として、図１０に示すような２値化された不連続点検出画像を生成する。２値化処理部２７は、生成した不連続点検出画像を輪郭抽出画像生成部１４（図４）に送出する。

図４に示す輪郭抽出画像生成部１４は、谷検出画像生成部１２から谷検出画像（図７）を受け取るとともに、不連続点検出画像生成部１３から不連続点検出画像（図１０）を受け取ると、同じ深さ画像から生成された、これら谷検出画像及び不連続点検出画像を統合して、１つの輪郭抽出画像を生成する。

この場合、輪郭抽出画像生成部１４は、谷検出画像及び不連続点検出画像を単純に足し合わせることにより輪郭抽出画像を生成する。例えば、谷検出画像及び不連続点検出画像の両方、又は、いずれか一方で輝度値が１とされている画素は、輝度値が高く白色に表示される１とし、谷検出画像及び不連続点検出画像の両方で輝度値が０とされている画素は、輝度値が低く黒色に表示される０として、輪郭抽出画像を生成する。

輪郭抽出画像生成部１４は、生成した輪郭抽出画像を細線化処理部１５に送出する。細線化処理部１５は、輪郭抽出画像に対して細線化処理を行い、図１１に示すように、輪郭抽出画像内における粒子の輪郭の線幅を１画素とした輪郭抽出画像を生成し、これを補正処理部１６に送出する。ここで、細線化処理とは、白色及び黒色に２値化された輪郭抽出画像内の輪郭の線幅を、例えば１画素の線幅になるまで縮小する処理であり、一般的な画像処理手法を利用したものである。

補正処理部１６は、輪郭を細線化した輪郭抽出画像に対して、行き止まり線を除去する補正処理と、所定粒子径以下の粒子を示す輪郭を除去する輪郭選定処理とを行い、最終的な輪郭抽出画像を生成し、これをラベリング処理部３（図１）に送出する。

ここで、粒子は円状や楕円状でなることから、輪郭抽出画像内に表示される粒子の輪郭は、通常、円状や楕円状等のような無端状の線として現れる。そこで、補正処理部１６は、輪郭抽出画像内において、粒子の輪郭とは言えない、端部を有した線、いわゆる行き止まり線を、外乱として除去する補正処理を行う。このような補正処理は、行き止まり線の形態を予め特定しておき、当該行き止まり線の形態を示したフィルタ（例えば、縦横３画素×３画素のフィルタ）を用いて、輪郭抽出画像内から行き止まり線を特定して除去する処理であり、一般的な画像処理手法を利用したものである。

また、輪郭抽出画像が生成される元の深さ画像は、ベルトコンベア上で重なり合っている粒子を撮像部７により撮像しているものであることから、相対的に低い位置にある粒子は、その上にある粒子に一部が隠れていることが多く、この場合、あたかも小さい粒子のように見える。このように低い位置にある粒子についても、他の粒子と同じように一律に輪郭線を抽出した場合、正確な粒子サイズの測定が行えないこともある。

そこで、補正処理部１６は、輪郭抽出画像内において、低い位置にある粒子の輪郭を除去する輪郭選定処理を行っている。また、補正処理部１６は、輪郭選定処理として、例えば輪郭抽出画像内にある各輪郭内の面積を算出し、この算出結果を基に、微小な粒子（実際の粒子の取り得る粒子サイズの範囲を外れた所定の値以下の粒子径を持つ粒子）を示す輪郭を除去してもよい。なお、除外すべき低い位置にある粒子や微小な粒子であるかを判断する基準については、例えば、過去の操業データや実験データ等に基づいて決定すればよい。

このようにして画像処理部９は、粒子の輪郭が検出可能な輪郭抽出画像を生成すると、生成した輪郭抽出画像を、ラベリング処理部３、表示部５及び記憶部１０（図１）に送出する。

＜輪郭抽出画像における粒子の輪郭の解析について＞
次に、ラベリング処理部３及び粒子測定部４について説明する。ラベリング処理部３は、輪郭抽出画像に対してラベリング処理を行うことで、輪郭抽出画像に含まれる粒子の輪郭を検出する。ラベリング処理では、例えば輝度値が高く明るくなっている画素部分が輪郭を示すものとし、無端状の輪郭内の領域に対してラベリング番号を付してゆくことで、輪郭抽出画像に含まれる粒子を検出する。なお、ラベリング処理部３が実施するラベリング処理は、特に限定されるものではなく、公知のラベリング処理を適用することが可能である。

ラベリング処理部３は、輪郭抽出画像と、粒子のラベリング結果に関する情報とを、粒子測定部４に送出する。粒子測定部４は、輪郭抽出画像と、粒子のラベリング結果に関する情報とを利用して、輪郭抽出画像に含まれる粒子の粒度等を算出する。

粒子測定部４により算出される粒子に関する特徴量としては、例えば、粒子の個数、各粒子の面積Ｓ、周囲長（粒子の外形に沿った長さ）Ｌ、真円度（Ｌ２／４πＳ）、等価径（０．５×（Ｓ／π））、長軸の長さ（具体的には、粒子の相当楕円（粒子と同面積であり、一次及び二次モーメントが等しい楕円）における長軸の長さ）、短軸の長さ（相当楕円における短軸の長さ）等を挙げることができる。

粒子測定部４は、以上のような粒子に関する特徴量の少なくとも何れかを算出すると、得られた算出結果を、粒子情報として表示部５に送出する。これにより、作業員は、表示部５に表示された粒子情報を基に、ベルトコンベア上を搬送されている粒子に関する品質管理を行え得る。なお、粒子測定部４により算出した粒子情報は、記憶部１０に記憶させるようにしてもよい。

＜本発明の輪郭抽出装置により生成された輪郭抽出画像について＞
ここで、実際に、上述した輪郭抽出装置２を使用して、粒子の輪郭が表示された輪郭抽出画像を深さ画像から生成し、深さ画像に写った粒子について、輪郭抽出画像にて検出できているか否かを確かめる検証試験を行った。ここでは、輪郭抽出装置２で生成した輪郭抽出画像から粒子の輪郭を抽出し、これを深さ画像に重ね合わせることで、深さ画像に写った粒子を検出できているか否かを確認した。

図１２は、生成した輪郭抽出画像から粒子の輪郭Ｌ_１を抽出し、これを深さ画像に重ね合わせた画像である。図１２では、深さ画像において粒子の一部が画像の縁にかかっている粒子は、粒子の粒子径を正しく求めることができないので除外した。図１２に示すように、輪郭抽出画像から抽出した輪郭Ｌ_１は、深さ画像にて視認される、ほぼ全ての粒子（図１２中の明るい領域Ｐ）について良好に検出できていることが確認できた。以上より、輪郭抽出装置２では、複数の粒子が積み重なった状態であっても各粒子の輪郭を正確に抽出できることが確認できた。

＜測定装置における測定処理について＞
次に、測定装置１にて実行される、上述した測定処理について、図１３に示すフローチャートを用いて簡単に説明する。図１３に示すように、測定装置１は、ステップＳ１において、ベルトコンベアにより搬送されている複数の粒子を、光切断法に基づいて、撮像部７により撮像して深さ画像を取得し（撮像ステップ）、次のサブルーチンＳＲ１（谷検出画像生成ステップ）及びサブルーチンＳＲ２（不連続点検出画像生成ステップ）に移る。

ここで、測定装置１の輪郭抽出装置２は、サブルーチンＳＲ１に移ると、図１４に示す谷検出処理を開始する。図１４に示すように、輪郭抽出装置２の谷検出画像生成部１２は、ステップＳ１１において、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄのうち、例えば谷検出フィルタ処理を行うフィルタ２１ａを指定し、次のステップＳ１２に移る。ステップＳ１２において、谷検出画像生成部１２は、ステップＳ１１で指定されたフィルタ２１ａを用いて、深さ画像に対し谷検出フィルタ処理を行い、第１方向の谷検出フィルタ処理画像を生成し、次のステップＳ１３に移る。

ステップＳ１３において、谷検出画像生成部１２は全てのフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄを指定したか否かを判断する。ステップＳ１３において、否定結果が得られると、このことは、例えば、未だ他のフィルタ２１ｂ，２１ｃ，２１ｄが指定されていないことを示しており、このとき、谷検出画像生成部１２は、次のステップＳ１４に移る。

ステップＳ１４において、谷検出画像生成部１２は、ステップＳ１１で指定されていない他のフィルタ２１ｂ，２１ｃ，２１ｄを指定して、ステップＳ１２に移る。ステップＳ１２において、谷検出画像生成部１２は、ステップＳ１４で指定された他のフィルタ２１ｂ，２１ｃ，２１ｄを用いて、深さ画像に対し谷検出フィルタ処理を行い、第２方向の谷検出フィルタ処理画像や、第３方向の谷検出フィルタ処理画像、第４方向の谷検出フィルタ処理画像を生成する。

一方、ステップＳ１３において肯定結果が得られると、このことは、全てのフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄを指定して谷検出フィルタ処理を行ったこと、すなわち、全ての方向について谷検出フィルタ処理画像を生成したことを示しており、このとき、谷検出画像生成部１２は次のステップＳ１５に移る。

ステップＳ１５において、谷検出画像生成部１２は、谷検出フィルタ処理により得られた全ての谷検出フィルタ処理画像を統合し、統合谷検出画像を生成して次のステップＳ１６に移る。ステップＳ１６において、谷検出画像生成部１２は、統合谷検出画像に対して２値化処理を行い、谷検出画像を生成し、谷検出処理を終了して、図１３に示すステップＳ２に移る。

また、測定装置１の輪郭抽出装置２は、このような谷検出処理を行うとともに、サブルーチンＳＲ２において、図１５に示す不連続点検出処理を開始する。図１５に示すように、輪郭抽出装置２の不連続点検出画像生成部１３は、ステップＳ２１において、深さ画像の所定の画素を注目画素として決定し、次のステップＳ２２に移る。ステップＳ２２において、不連続点検出画像生成部１３は、注目画素と隣接する隣接画素を特定し、隣接画素との輝度差を算出可能な全ての算出方向を指定し、次のステップＳ２３及びステップＳ２４に移る。

ステップＳ２３において、不連続点検出画像生成部１３は、算出方向を順番に順方向として特定してゆき、注目画素から順方向にある隣接画素と、注目画素との輝度差を算出し、次のステップＳ２５に移る。ステップＳ２４において、不連続点検出画像生成部１３は、ステップＳ２３で特定した順方向と逆方向となる算出方向を特定してゆき、注目画素から逆方向にある隣接画素と、注目画素との輝度差を算出し、次のステップＳ２５に移る。

ステップＳ２５において、不連続点検出画像生成部１３は、ステップＳ２３で算出した順方向の輝度差が所定の閾値α以上で、かつステップＳ２４で算出した逆方向の輝度差が所定の閾値β以下である注目画素を不連続点として判断し、次のステップＳ２６に移る。ステップＳ２６において、不連続点検出画像生成部１３は、深さ画像の全ての画素に対して不連続点を確認したか否かを判断する。

ステップＳ２６で否定結果が得られると、不連続点検出画像生成部１３は、再びステップＳ２１に移り、深さ画像において、不連続点であるか否かを判断していない他の画素を注目画素とし、ステップＳ２２に移る。すなわち、不連続点検出画像生成部１３は、深さ画像の全ての画素について不連続点であるか否かを判断するまで、ステップＳ２１からステップＳ２６の処理を繰り返す。

一方、ステップＳ２６で肯定結果が得られると、このことは深さ画像の全ての画素について不連続点であるか否かを判断したことを示しており、このとき不連続点検出画像生成部１３は、次のステップＳ２７に移る。ステップＳ２７において、不連続点検出画像生成部１３は、不連続点と判断した画素を輝度値が明るい１とし、他の画素の輝度値を暗い０として、２値化処理した不連続点検出画像を生成し、上述した不連続点検出処理を終了して、図１３に示すステップＳ２に移る。

図１３に示すステップＳ２において、輪郭抽出装置２は、同じ深さ画像から生成された谷検出画像と不連続点検出画像とを統合し、輪郭抽出画像を生成し（輪郭抽出画像生成ステップ）、次のステップＳ３に移る。ステップＳ３において、輪郭抽出装置２は、ステップＳ２で得られた輪郭抽出画像に対して細線化処理を行い、粒子の輪郭を細線化し、次のステップＳ４に移る。

ステップＳ４において、輪郭抽出装置２は、行き止まり線を除去する補正処理と、所定の高さ以下にある粒子や、微小な粒子を示す輪郭を除去する輪郭選定処理とを行い、最終的な輪郭抽出画像を生成し、次のステップＳ５に移る。ステップＳ５において、測定装置１は、例えば輪郭抽出画像に含まれる粒子の輪郭を基に、各粒子の粒子径を算出し、測定処理を終了する。このようにして輪郭抽出画像から算出された粒子の粒子径は、表示部５に表示され、作業員に呈示させる。これにより作業員は、ベルトコンベア上で重なり合っている粒子について評価することができる。

＜作用及び効果＞
以上の構成において、輪郭抽出装置２では、深さ画像で輝度値の差により表された谷部を検出するフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄを適用した谷検出フィルタ処理を、深さ画像に対して行った後、２値化処理を行うことで谷検出画像を生成するようにした。

これにより、輪郭抽出装置２では、粒子同士の段差が小さいために、深さ画像において隣接した粒子の境界で輝度差が表れ難い箇所があっても、谷検出フィルタ処理を行うことで、粒子同士の隣接部を示す、輝度分布が谷状に落ち込んだ谷部を検出できる。よって、輪郭抽出装置２では、検出した谷部を基に粒子同士の境界を容易に判断できるので、複数の粒子が積み重なった状態であっても各粒子の輪郭を正確に抽出することができる。

ところで、これまでコークスの生産現場で行われてきた篩測定（網目サイズの異なる複数の篩を使って粒子を粒度分類する方法）では、サンプリングから測定まで人手作業が必要であり、日に数回の測定に限られていた。これに対して、測定装置１では、ベルトコンベア上で移動する粒子を非接触で測定することができる。本発明の輪郭抽出装置２は、このような測定装置１において、粒子同士の段差が小さく、深さ画像において隣接した粒子の境界で輝度差が表れ難い箇所があっても、粒子の輪郭を正確に抽出することができる。このように、個々の粒子を抽出できれば、粒子の粒子径を連続的にモニタリングすることも可能になり、粒子のばらつきや、生産設備の不具合により生じる粒子（コークス）の品質異常を早期に発見できる。

また、輪郭抽出装置２では、深さ画像の輝度値を基に不連続点を検出して生成した不連続点検出画像と、谷検出画像とを統合し、各粒子の輪郭を抽出した輪郭抽出画像を生成するようにした。これにより、輪郭抽出装置２では、粒子同士の隣接部を示す谷状の輝度分布に着目した谷検出画像だけでは抽出し難い粒子の輪郭があっても、不連続点検出画像に基づいて補間することができるので、その分、各粒子の輪郭を一段と正確に抽出することができる。

さらに、輪郭抽出装置２では、負の係数及び正の係数の配置方向が異なる複数のフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄを適用して谷検出フィルタ処理を行い、各谷検出フィルタ処理を行うことで生成された複数の谷検出フィルタ処理画像を統合して、谷検出画像を生成するようにした。これにより、輪郭抽出装置２では、輝度値の差により表された谷部が、深さ画像において様々な方向に現れていても、複数のフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄによって、当該谷部を検出することができる。

＜他の実施形態＞
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態においては、谷検出画像生成部１２と不連続点検出画像生成部１３とを設けた輪郭抽出装置２について述べたが、本発明はこれに限らず、谷検出画像生成部１２のみを設けた輪郭抽出装置２としてもよい。

また、上述した実施形態においては、フィルタとして、負の係数が−１、正の係数が１としたフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄを適用したが、本発明はこれに限らず、負の係数が−２や−３、正の係数が２や３等、その他種々の係数を適用してもよい。

さらに、負の係数及び正の係数を、中心の係数を挟んで対称に２つずつ設けるようにした場合について述べたが、本発明はこれに限らず、深さ画像において輝度値の差により表された谷部の形状に合わせて、負の係数及び正の係数を、中心の係数を挟んで対称に１つずつや、３つずつ、４つずつ等、設けるようにしてもよい。

上述した実施形態においては、中心の係数を挟んで一方向に沿って対称に、負の係数及び正の係数が配置されたフィルタとして、中心の係数を挟んで縦方向（０度方向）に沿って対称に、負の係数及び正の係数が配置されたフィルタ２１ａと、中心の係数を挟んで第１対角線方向（４５度方向）に沿って対称に、負の係数及び正の係数が配置されたフィルタ２１ｂと、中心の係数を挟んで第２対角線方向（１３５度方向）に沿って対称に、負の係数及び正の係数が配置されたフィルタ２１ｃと、中心の係数を挟んで横方向（９０度方向）に沿って対称に、負の係数及び正の係数が配置されたフィルタ２１ｄと、を適用した場合について述べたが、本発明はこれに限らない。例えば、中心の係数を挟んで、例えば、２０度方向や７０度方向、１５０度方向等の他の方向に沿って対称に、負の係数及び正の係数が配置されたフィルタを適用してもよい。

また、上述した実施形態においては、４つのフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄを適用した場合について述べたが、本発明はこれに限らず、例えば、フィルタ２１ａ，２１ｂ，２１ｃ，２１ｄのうち、いずれか１つのフィルタだけでもよく、また２つのフィルタであってもよい。さらに、上述した４つのフィルタ２１ａ，２１ｂ，２１ｃ，２１ｄに加えて、例えば、中心の係数を挟んで他の傾斜線方向（例えば２０度方向や７０度方向、１５０度方向等）に沿って対称に、負の係数及び正の係数が配置されたフィルタをさらに適用して、谷検出フィルタ処理を行うようにしてもよい。このように、負の係数及び正の係数の配置方向が異なるフィルタを増やして谷検出フィルタ処理を行うことで、深さ画像において様々な方向に谷部が現れても、当該谷部を検出することができる。

なお、上述した深さ画像や、谷検出画像、不連続点検出画像、輪郭抽出画像とは、ディスプレイ等に表示される具体的な画像としての形態だけでなく、画像として生成される前のデータも含まれる。

１ 測定装置
２ 輪郭抽出装置
７ 撮像部
１２ 谷検出画像生成部
１３ 不連続点検出画像生成部
１４ 輪郭抽出画像生成部
１８ 谷検出フィルタ処理部
１９ 画像統合部
２１ａ，２１ｂ，２１ｃ，２１ｄ フィルタ
２２ 不連続点検出部

Claims (8)

1. 積み重なった複数の粒子の各輪郭を抽出する輪郭抽出装置において、
   積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像部と、
   前記深さ画像で輝度値の差により表された谷部を検出するフィルタを適用した谷検出フィルタ処理を、前記深さ画像に対して行った後、２値化処理を行うことで谷検出画像を生成する谷検出画像生成部と、
   を有する、輪郭抽出装置。
2. 前記深さ画像の輝度値を基に不連続点を検出して不連続点検出画像を生成する不連続点検出画像生成部と、
   前記谷検出画像と前記不連続点検出画像とを統合し、各前記粒子の輪郭を抽出した輪郭抽出画像を生成する輪郭抽出画像生成部と、
   を有する、請求項１に記載の輪郭抽出装置。
3. 前記フィルタは、中心の係数が０であり、前記中心の係数を挟んで一方向に沿って対称に、少なくとも１つ以上の負の係数を有し、前記負の係数を挟んで前記一方向に沿って対称に、絶対値が前記負の係数と同じで、かつ前記負の係数の数と同じ数の正の係数を有した構成でなる、請求項１又は２に記載の輪郭抽出装置。
4. 前記谷検出画像生成部は、前記負の係数及び前記正の係数の配置方向が異なる複数の前記フィルタを適用して前記谷検出フィルタ処理を行い、各前記谷検出フィルタ処理を行うことで生成された複数の谷検出フィルタ処理画像を統合して、前記谷検出画像を生成する、請求項３に記載の輪郭抽出装置。
5. 積み重なった複数の粒子の各輪郭を抽出する輪郭抽出方法において、
   積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像ステップと、
   前記深さ画像で輝度値の差により表された谷部を検出するフィルタを適用した谷検出フィルタ処理を、前記深さ画像に対して行った後、２値化処理を行うことで谷検出画像を生成する谷検出画像生成ステップと、
   を有する、輪郭抽出方法。
6. 前記深さ画像の輝度値を基に不連続点を検出して不連続点検出画像を生成する不連続点検出画像生成ステップと、
   前記谷検出画像と前記不連続点検出画像とを統合し、各前記粒子の輪郭を抽出した輪郭抽出画像を生成する輪郭抽出画像生成ステップと、
   を有する、請求項５に記載の輪郭抽出方法。
7. 前記谷検出画像生成ステップで適用する前記フィルタは、中心の係数が０であり、前記中心の係数を挟んで一方向に沿って対称に、少なくとも１つ以上の負の係数を有し、前記負の係数を挟んで前記一方向に沿って対称に、絶対値が前記負の係数と同じで、かつ前記負の係数の数と同じ数の正の係数を有した構成でなる、請求項５又は６に記載の輪郭抽出方法。
8. 前記谷検出画像生成ステップでは、前記負の係数及び前記正の係数の配置方向が異なる複数の前記フィルタを適用して前記谷検出フィルタ処理を行い、各前記谷検出フィルタ処理を行うことで生成された複数の谷検出フィルタ処理画像を統合して、前記谷検出画像を生成する、請求項７に記載の輪郭抽出方法。

Images