JP7003786B2 - 粒子径測定装置及び粒子径測定方法 - Google Patents
粒子径測定装置及び粒子径測定方法 Download PDFInfo
- Publication number
- JP7003786B2 JP7003786B2 JP2018059733A JP2018059733A JP7003786B2 JP 7003786 B2 JP7003786 B2 JP 7003786B2 JP 2018059733 A JP2018059733 A JP 2018059733A JP 2018059733 A JP2018059733 A JP 2018059733A JP 7003786 B2 JP7003786 B2 JP 7003786B2
- Authority
- JP
- Japan
- Prior art keywords
- particles
- image
- particle size
- depth image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims description 362
- 238000000034 method Methods 0.000 title claims description 43
- 238000012937 correction Methods 0.000 claims description 87
- 238000000605 extraction Methods 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 122
- 238000001514 detection method Methods 0.000 description 110
- 238000002372 labelling Methods 0.000 description 53
- 239000010410 layer Substances 0.000 description 38
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 5
- 239000000571 coke Substances 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/30—Hydrogen technology
- Y02E60/50—Fuel cells
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、粒子径測定装置及び粒子径測定方法に関する。
例えば、コークスや鉄鉱石、石灰等のように高炉操業に用いられる粒子状物体(以下、単に粒子と称する)は、ベルトコンベアにより高炉に搬送されて高炉操業に用いられている。高炉操業では、各粒子の粒径(以下、単に粒子径と称する)が生産性に影響する。そのため、粒子の搬送中に粒子径を連続的に測定して、品質を維持することが望ましい。
例えば、特許文献1では、ベルトコンベアの終点又は乗り継ぎ点等から空中に粒子を投下し、各粒子を極力孤立させた状態とする。そして、空中に投下された複数の粒子にレーザ光を照射し、粒子を撮像した粒子画像を生成すると共に、当該粒子画像の画素毎に、撮像部と粒子の間の距離を距離測定手段により測定している。特許文献1では、粒子画像を2値化して粒子領域を抽出する。抽出した粒子領域ごとに、粒子領域を構成する画素を、撮像部と粒子の間の距離で分類して距離分布を算出する。距離分布に2つ以上のピークがみられた場合、当該粒子領域を、粒子領域を粒子が積み重なった領域として特定する。さらに特許文献1では、特定した粒子領域内の画素から、距離分布で最も短距離側にあるピークに属する距離を有する画素を特定し、画像上の当該画素で構成された領域を上層にある粒子として特定している。
また、非特許文献1には、粒子の輪郭が抽出された画像内で、隣接する粒子同士の上下関係(積み重なった際の上下関係)を特定する方法が開示されている。非特許文献1では、各粒子の輪郭が抽出された画像を取得し、積み重なった粒子の上下関係を特定するため、一方の粒子を注目粒子とする。そして、注目粒子の輪郭から一定距離だけ内側にある代表点を複数定め、当該代表点を中心とする半径3mmの円形領域を指定する。非特許文献1では、円形領域内にある注目粒子領域内の平均輝度値と、当該円形領域内にある注目粒子領域外の平均輝度値とを算出する。そして、非特許文献1では、円形領域を指定する代表点の中から、注目粒子領域内の平均輝度値が注目粒子領域外の平均輝度値よりも大きい代表点を特定し、その代表点の数に基づいて上層にある粒子を特定している。
Matthew J. Thurley, Kim C. Ng "Identification and sizing of the entirely visible rocks from a 3D surface data segmentation of laboratory rock piles" Computer Vision and Image Understanding 111 (2008) 170-178
しかしながら、特許文献1では、上層にある粒子を特定する処理を、積み重なった粒子の数だけ行っている。そのため、例えばベルトコンベアにより搬送されている粒子のように、多数の粒子が積み重なっていると、最表層にある粒子を選択して粒子径を測定するためには、上層にある粒子を特定する処理を繰り返し行い、最表層にある粒子を選択しなければならない。このように、特許文献1では、ほとんどの粒子が積み重なっている場合、最表層にある粒子の特定に時間を要してしまい、その分、粒子径を高速に測定し難いという問題があった。
また、非特許文献1では、処理の手順が多く、計算に時間がかかるうえ、最表層にある粒子を選択して粒子径を測定するには、すべての粒子に対して、1つずつ上層にある粒子を特定する処理を行わなければならない。そのため、非特許文献1でも、ほとんどの粒子が積み重なっている場合、計算機での処理に時間を要してしまい、その分、粒子径を高速に測定し難いという問題があった。
そこで、本発明は、上記のような問題に鑑みてなされたものであり、複数の粒子が積み重なった状態でも、従来より粒子径を高速に測定できる粒子径測定装置及び粒子径測定方法を提供することを目的とする。
本発明の粒子径測定装置は、積み重なった複数の粒子の粒子径を測定する粒子径測定装置において、積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像部と、前記深さ画像から、前記粒子の輪郭を抽出する輪郭抽出部と、前記深さ画像の前記輪郭内の輝度値に基づいて、前記深さ画像の前記粒子の中から所定個数の粒子を選択し、選択した前記所定個数の粒子の粒子径に基づいて、前記粒子の粒子径を測定する粒子径測定部と、を備える、ものである。
本発明の粒子径測定方法は、積み重なった複数の粒子の粒子径を測定する粒子径測定方法において、積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像ステップと、前記深さ画像から、前記粒子の輪郭を抽出する輪郭抽出ステップと、前記深さ画像の前記輪郭内の輝度値に基づいて、前記深さ画像の前記粒子の中から所定個数の粒子を選択し、選択した前記所定個数の粒子の粒子径に基づいて、前記粒子の粒子径を測定する粒子径測定ステップと、を備える、ものである。
本発明によれば、深さ画像から抽出した粒子の輪郭内の輝度値に基づいて、重なり合った粒子の中から最表層にある確率が高い粒子だけを選択し、選択した粒子についてだけ粒子径を測定するようにした。これにより、本発明では、粒子が積み重なった状態でも、従来のように各粒子に対してそれぞれ複雑な処理を行うことなく、重なり合った粒子の上下関係を特定して粒子径を測定できるので、その分、従来より粒子径を高速に測定できる。
以下図面について、本発明の一実施形態を詳述する。以下の説明において、同様の要素には同一の符号を付し、重複する説明は省略する。
<本発明の粒子径測定装置について>
図1は、本発明の粒子径測定装置1の回路構成を示したブロック図である。粒子径測定装置1は、ベルトコンベアにより搬送されるコークス等のような複数の粒子を撮像部2により撮像し、得られた深さ画像に対して画像処理を行うことで、深さ画像内で選択した粒子の粒子径を測定するものである。この場合、粒子径測定装置1は、深さ画像内から抽出した粒子の輪郭内の輝度値に基づいて、重なり合った複数の粒子の中から最表層にある粒子を選択し、選択した粒子についてだけ粒子径を測定する。
図1は、本発明の粒子径測定装置1の回路構成を示したブロック図である。粒子径測定装置1は、ベルトコンベアにより搬送されるコークス等のような複数の粒子を撮像部2により撮像し、得られた深さ画像に対して画像処理を行うことで、深さ画像内で選択した粒子の粒子径を測定するものである。この場合、粒子径測定装置1は、深さ画像内から抽出した粒子の輪郭内の輝度値に基づいて、重なり合った複数の粒子の中から最表層にある粒子を選択し、選択した粒子についてだけ粒子径を測定する。
ここで、深さ画像とは、対象表面の凹凸量を輝度で表した画像である。深さ画像は、ベルトコンベア上で重なり合った複数の粒子の表面に、ベルトコンベアの進行方向に直交する線状のレーザ光を照射し、各粒子の表面で反射したレーザ光による光切断線(凹凸量に対応して直線から変位した状態を含むレーザ線)を、撮像部2により撮像してゆき、得られた時系列に並ぶ複数の光切断画像から凹凸情報を求めて、1つの画像を生成する、いわゆる光切断法により生成される画像である。
光切断法を用いない一般的なデジタルカメラにより得られる撮像画像では、照明を多方向から照射して粒子の輪郭を強調させるようにすれば、人の見た目にはおおよそ個々の粒子を識別できる。しかしながら、このような撮像画像では、粒子表面に輝度むらがあり、粒子の輪郭を画像処理で正確に抽出することは難しい。
これに対して、図2に示すような深さ画像では、各粒子の表面における凹凸状態を、輝度値の違いで表すことができる。例えば、図2中の明るい領域Pは1つの粒子を示す。深さ画像は、輝度値によって深さ方向の位置を表わすことができるため、照明むらといった外乱要因はなく、粒子と粒子の境界の多くは輝度値の差が大きく、明確な不連続点として捉えることができる。すなわち、粒子と粒子の境には通常段差があるため、深さ画像では、この段差が不連続な輝度値の変化として表れる。よって、深さ画像では粒子の識別が容易になる。
一方で、深さ画像では、粒子の深さ方向の位置によって輝度値が変わるため、画像内に高低差があると、高い位置(撮像部2から近い位置)にある粒子は輝度値が大きくなり(明るく表され)、低い位置(撮像部2から遠い位置)にある粒子は輝度値が小さくなる(暗く表される)。ベルトコンベア上では、場所によって粒子が不均一に山状に積み重なり、最表層が傾斜していることがある。そのため、このような粒子群を撮像した深さ画像では、最表層の傾斜に応じて輝度値が変化してしまい、傾斜面の低い位置にある粒子(山の裾付近にある粒子)と高い位置にある粒子(山の頂上付近にある粒子)とで輝度値が変わってしまう。
図2は、最表層に傾斜のある粒子群を撮像した深さ画像の一例である。この実施形態では、深さ画像の横方向をx方向とし、深さ画像の縦方向をy方向とし、画像の左下の角の画素を原点(0、0)とした位置座標(x、y)で、深さ画像の各画素の位置を表すこととする。図2に示すように、深さ画像は、原点からx方向(図中に示す矢印方向を示す)に向けて最表層が次第に下がってゆく傾斜面を撮像した画像である。このような深さ画像では、原点からx方向に向かうほど最表層の位置が深くなっているため、x方向に向かうほど、輝度値が低くなり暗くなっている。このように、最表層が傾斜している粒子群を撮像すると、深さ画像に輝度値の傾斜が現れる。
この場合、低い位置にある粒子は、最表層にある粒子であっても、輝度値が低くなるので、輝度値に基づいて、深さ画像から最表層にある粒子を特定し難い。そこで、本発明では、後述する傾斜補正部4によって、深さ画像に表れた傾斜を補正して平坦化するようにしている。なお、本発明では、最表層にある粒子とは、当該粒子の上に他の粒子が積み重なっておらず、深さ画像内で粒子の輪郭を全周に渡って視認できる粒子をいう。
ここで、粒子径測定装置1は、撮像部2と、取得部3と、傾斜補正部4と、輪郭抽出部5と、ラベリング処理部6と、粒子径測定部7と、表示部8と、記憶部9とを備えている。さらに粒子径測定装置1には、深さ画像を得るために、ベルトコンベアにより搬送されている、重なり合った複数の粒子の表面に対し、線状のレーザ光を照射するレーザ光源(図示せず)が設けられている。
撮像部2は、例えばCCD(Charge Coupled Device)カメラや、CMOS(Complementary Metal Oxide Semiconductor)カメラ等であり、ベルトコンベアにより搬送されてくる各粒子の表面にレーザ光が照射されることで形成された光切断線を撮像する。撮像部2は、時系列に並ぶ複数の光切断線から、各粒子の表面における凹凸状態を輝度値の違いで表した深さ画像を生成し、これを取得部3に送出する。取得部3は、傾斜補正部4及び記憶部9に接続されており、これら傾斜補正部4及び記憶部9に深さ画像を送出し、例えば記憶部9に深さ画像を記憶させる。なお、記憶部9は、各種パラメータや、処理の途中経過、データベース、プログラム等が必要に応じて記憶されている。
傾斜補正部4は、深さ画像に対して、後述する傾斜補正処理を行い、傾斜補正画像を生成する。傾斜補正部4は、輪郭抽出部5、ラベリング処理部6に接続されており、生成した傾斜補正画像を輪郭抽出部5、ラベリング処理部6にそれぞれ送出する。輪郭抽出部5は、傾斜補正画像に対して、後述する不連続点検出処理及び谷検出処理を行い、得られた処理結果を基に輪郭抽出画像を生成する。輪郭抽出部5は、ラベリング処理部6に接続されており、生成した輪郭抽出画像をラベリング処理部6に送出する。なお、輪郭抽出部5は、生成した輪郭抽出画像を表示部8及び記憶部9にそれぞれ送出してもよく、これにより、輪郭抽出画像を記憶部9に記憶させたり、必要に応じて表示部8に表示させることができる。
ラベリング処理部6は、輪郭抽出画像に対して、抽出した粒子の輪郭内の輝度値の違いに基づいて粒子をラベリングする。ラベリング処理部6は、粒子径測定部7に接続されており、ラベリングした輪郭抽出画像を粒子径測定部7に送出する。粒子径測定部7は、ラベリング結果に基づいて、輪郭抽出画像から最表層にある粒子を選択し、選択した粒子の粒子径だけを測定する。なお、粒子径測定部7は、表示部8及び記憶部9に接続されており、表示部8及び記憶部9に粒子径の測定結果を送出する。これにより、記憶部9は、輪郭抽出画像及び粒子径の測定結果を記憶し、表示部8は、輪郭抽出画像に対するラベリング処理の結果や、粒子径の測定結果、必要に応じて輪郭抽出画像を表示する。
<傾斜補正部における傾斜補正処理について>
ここで、先ず始めに、傾斜補正部4にて行われる傾斜補正処理について説明する。傾斜補正部4は、図3に示すように、基準面算出部10と傾斜補正画像生成部11とを備えている。基準面算出部10は、深さ画像を取得部3から受け取ると、基準面を算出する。基準面は、深さ画像内の輝度値の傾斜的な変化を近似的に表したものであり、この実施形態では、輝度値の傾斜的な変化を平面に近似する。
ここで、先ず始めに、傾斜補正部4にて行われる傾斜補正処理について説明する。傾斜補正部4は、図3に示すように、基準面算出部10と傾斜補正画像生成部11とを備えている。基準面算出部10は、深さ画像を取得部3から受け取ると、基準面を算出する。基準面は、深さ画像内の輝度値の傾斜的な変化を近似的に表したものであり、この実施形態では、輝度値の傾斜的な変化を平面に近似する。
具体的には、基準面算出部10は、平面を表す基準面方程式z=ax+by+c(ここでパラメータa、b、cは、定数、x、yは、深さ画像の画素の位置座標、zは、位置座標x、yにある画素の輝度値である。)を、基準面として算出する。まず、基準面算出部10は、深さ画像から、x方向及びy方向に10画素毎に、画素の位置座標x、yと輝度値zとを抜き出す。基準面算出部10は、抜き出したx、y、zの値を、上記の基準面方程式に代入し、未知数がa、b、cとなった式を複数作成する。基準面算出部10は、この複数の式から、最小二乗法によってパラメータa、b、cを決定し、基準面方程式を算出する。基準面算出部10は、深さ画像と、算出した基準面方程式とを傾斜補正画像生成部11に送出する。
傾斜補正画像生成部11は、深さ画像と、算出した基準面方程式とを受け取ると、深さ画像の画素毎に、画素の位置座標x、yを基準面方程式に代入し、当該位置座標での基準面の輝度値zを、輝度値の補正量として算出する。傾斜補正画像生成部11は、深さ画像の各画素の輝度値から、算出した輝度値zを減じ、傾斜補正画像を生成する。傾斜補正画像生成部11は、輪郭抽出部5及びラベリング処理部6に接続されており、輪郭抽出部5及びラベリング処理部6に生成した傾斜補正画像をそれぞれ送出する。図4は、図2に示す深さ画像を傾斜補正部4により傾斜補正して生成した傾斜補正画像である。図2に示す深さ画像では、原点からx方向に向かうほど暗くなっていたが、図4に示す傾斜補正画像ではこのような傾向がなくなっており、深さ画像に表れた傾斜が補正され、見かけ上、平坦化できたことが確認できる。
<輪郭抽出部における谷検出処理について>
次に、輪郭抽出部5にて行われる谷検出処理及び不連続点検出処理について順番に説明する。輪郭抽出部5は、図5に示すように、谷検出画像生成部12、不連続点検出画像生成部13、輪郭抽出画像生成部14、細線化処理部15、及び補正処理部16を備えている。谷検出画像生成部12は、傾斜補正画像(傾斜補正された深さ画像)を傾斜補正部4の傾斜補正画像生成部11から受け取ると、傾斜補正画像に対して谷検出処理を行い、後述する谷検出画像を生成する。
次に、輪郭抽出部5にて行われる谷検出処理及び不連続点検出処理について順番に説明する。輪郭抽出部5は、図5に示すように、谷検出画像生成部12、不連続点検出画像生成部13、輪郭抽出画像生成部14、細線化処理部15、及び補正処理部16を備えている。谷検出画像生成部12は、傾斜補正画像(傾斜補正された深さ画像)を傾斜補正部4の傾斜補正画像生成部11から受け取ると、傾斜補正画像に対して谷検出処理を行い、後述する谷検出画像を生成する。
谷検出画像生成部12は、図7に示すように、谷検出フィルタ処理部18、画像統合部19及び2値化処理部20を備えている。この実施形態の場合、谷検出フィルタ処理部18は、例えば、第1方向フィルタ処理部18a、第2方向フィルタ処理部18b、第3方向フィルタ処理部18c及び第4方向フィルタ処理部18dを備えており、それぞれ係数の配置が異なる4つのフィルタ(後述する)を用いて、傾斜補正画像に対し谷検出フィルタ処理を行う。
ここで、隣接した粒子同士の境界が認識し難い箇所では、粒子同士の隣接部の画素の輝度値が、隣接部の両側にある粒子部分の画素の輝度値よりも低くなるという特徴がある。そのため、粒子部分から粒子同士の隣接部に差し掛かると、画素の輝度値が言わば谷状に変化し、隣接部が谷部として傾斜補正画像内に表れる。谷検出フィルタ処理部18は、谷検出処理を行うことにより、このような輝度値の谷状の変化を強調し、粒子同士の境界を検出し易くするものである。
第1方向フィルタ処理部18aは、図8Aに示すように、所定の係数が縦方向(0度方向)に配置されたフィルタ21aを予め記憶している。フィルタ21aは、傾斜補正画像の縦方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ21aは、縦方向に9つ(すなわち9画素分)の係数が配置された構成を有し、中心の係数が0であり、この中心の係数0を挟んで縦方向に沿って対称に、2つの負の係数-1を有する。また、このフィルタ21aは、負の係数-1を挟んで縦方向に沿って対称に、絶対値が負の係数-1と同じ1でなり、かつ負の係数-1の数と同じ2つの正の係数1を有している。
第1方向フィルタ処理部18aは、フィルタ21aの中心を傾斜補正画像の注目画素に重ね、フィルタ21aの各係数と、フィルタ21aの各係数と重なった傾斜補正画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、傾斜補正画像の注目画素における第1出力値を算出する。このようにして第1方向フィルタ処理部18aは、フィルタ21aを基に、傾斜補正画像の全画素に対して第1出力値を求め、第1出力値からなる第1方向の谷検出フィルタ処理画像を生成する。なお、この際、第1方向フィルタ処理部18aは、第1出力値としてマイナスの数値が算出されたときには、当該第1出力値を0とする。
このようにして得られた第1方向の谷検出フィルタ処理画像では、フィルタ21aの係数が並ぶ縦方向において、輝度値が谷状に変化している箇所(谷部)を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第1方向フィルタ処理部18aは、傾斜補正画像の縦方向に輝度値が変化する谷部(輝度値が谷状に落ち込んでいた部分)を強調させた第1方向の谷検出フィルタ処理画像を生成する。
第2方向フィルタ処理部18bは、図8Bに示すように、所定の係数が対角線上(例えば45度方向であり、以下、第1対角線方向と称する)に配置されたフィルタ21bを予め記憶している。フィルタ21bは、傾斜補正画像の第1対角線方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ21bは、縦横方向それぞれに9つ(すなわち9画素分)の係数が配置された構成を有し、中心の係数が0であり、この中心の係数0を挟んで1組の対頂点を結ぶ第1対角線方向に沿って対称に、2つの負の係数-1を有する。また、このフィルタ21bは、負の係数-1を挟んで第1対角線方向に沿って対称に、絶対値が負の係数-1と同じ1でなり、かつ負の係数-1の数と同じ2つの正の係数1を有している。フィルタ21bは、負の係数-1及び正の係数1が配置された、第1対角線方向以外の領域では係数を0としている。
第2方向フィルタ処理部18bは、フィルタ21bの中心を傾斜補正画像の注目画素に重ね、フィルタ21bの各係数と、フィルタ21bの各係数と重なった傾斜補正画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、傾斜補正画像の注目画素における第2出力値を算出する。このようにして第2方向フィルタ処理部18bは、フィルタ21bを基に、傾斜補正画像の全画素に対して第2出力値を求め、第2出力値からなる第2方向の谷検出フィルタ処理画像を生成する。なお、この際、第2方向フィルタ処理部18bでも、第2出力値としてマイナスの数値が算出されたときには、当該第2出力値を0とする。
このようにして得られた第2方向の谷検出フィルタ処理画像では、フィルタ21bの負及び正の係数が並ぶ第1対角線方向において、輝度値が谷状に変化している箇所(谷部)を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第2方向フィルタ処理部18bは、傾斜補正画像の第1対角線方向にある谷部(輝度値が谷状に落ち込んでいた部分)を強調させた第2方向の谷検出フィルタ処理画像を生成する。
第3方向フィルタ処理部18cは、図8Cに示すように、図8Bに示したフィルタ21bの第1対角線方向と交差する他方の対角線上(135度方向であり、以下、第2対角線方向と称する)に所定の係数が配置されたフィルタ21cを予め記憶している。フィルタ21cは、傾斜補正画像の第2対角線方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ21cは、縦横方向それぞれに9つ(すなわち9画素分)の係数が配置された構成を有し、中心の係数が0であり、この中心の係数0を挟んで、フィルタ21bと異なる他の1組の対頂点を結ぶ第2対角線方向に沿って対称に、2つの負の係数-1を有する。また、このフィルタ21cは、負の係数-1を挟んで、第2対角線方向に沿って対称に、絶対値が負の係数-1と同じ1でなり、かつ負の係数-1の数と同じ2つの正の係数1を有している。フィルタ21cは、負の係数-1及び正の係数1が配置された、第2対角線方向以外の領域では係数を0としている。
第3方向フィルタ処理部18cは、フィルタ21cの中心を傾斜補正画像の注目画素に重ね、フィルタ21cの各係数と、フィルタ21cの各係数と重なった傾斜補正画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、傾斜補正画像の注目画素における第3出力値を算出する。このようにして第3方向フィルタ処理部18cは、フィルタ21cを基に、傾斜補正画像の全画素に対して第3出力値を求め、第3出力値からなる第3方向の谷検出フィルタ処理画像を生成する。なお、この際、第3方向フィルタ処理部18cでも、第3出力値としてマイナスの数値が算出されたときには、当該第3出力値を0とする。
このようにして得られた第3方向の谷検出フィルタ処理画像では、フィルタ21cの負及び正の係数が並ぶ第2対角線方向において、輝度値が谷状に変化している箇所(谷部)を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第3方向フィルタ処理部18cは、傾斜補正画像の第2対角線方向にある谷部(輝度値が谷状に落ち込んでいた部分)を強調させた第3方向の谷検出フィルタ処理画像を生成する。
第4方向フィルタ処理部18dは、図8Dに示すように、所定の係数が横方向(90度方向)に配置されたフィルタ21dを予め記憶している。フィルタ21dは、傾斜補正画像の横方向に輝度値が谷状に変化する谷部を強調するためのフィルタである。例えば、フィルタ21dは、横方向に9つ(すなわち9画素分)の係数が配置された構成を有し、中心の係数が0であり、この中心の係数0を挟んで横方向に沿って対称に、2つの負の係数-1を有する。また、このフィルタ21dは、負の係数-1を挟んで横方向に沿って対称に、絶対値が負の係数-1と同じ1でなり、かつ負の係数-1の数と同じ2つの正の係数1を有している。
第4方向フィルタ処理部18dは、フィルタ21dの中心を傾斜補正画像の注目画素に重ね、フィルタ21dの各係数と、フィルタ21dの各係数と重なった傾斜補正画像における画素の輝度値と、を乗算し、さらにその結果をすべて足し合わせることで、傾斜補正画像の注目画素における第4出力値を算出する。このようにして第4方向フィルタ処理部18dは、フィルタ21dを基に、傾斜補正画像の全画素に対して第4出力値を求め、第4出力値からなる第4方向の谷検出フィルタ処理画像を生成する。なお、この際、第4方向フィルタ処理部18dでも、第4出力値としてマイナスの数値が算出されたときには、当該第4出力値を0とする。
このようにして得られた第4方向の谷検出フィルタ処理画像では、フィルタ21dの係数が並ぶ横方向において、輝度値が谷状に変化している箇所(谷部)を明るく表示させることができ、その他の箇所の輝度値については低く抑えて暗く表示させることができる。このようにして、第4方向フィルタ処理部18dは、傾斜補正画像の横方向にある谷部(輝度値が谷状に落ち込んでいた部分)を強調させた第4方向の谷検出フィルタ処理画像を生成する。
なお、フィルタ21a、21b、21c、21dにおける負の係数及び正の係数の配置数は、傾斜補正画像内における粒子同士の隣接部にある谷部の形状に合わせて決定される。この実施形態では、傾斜補正画像内における粒子同士の隣接部にある谷部を解析したところ、約4画素かけてなだらかに落ち込んで谷部の底となり、4画素かけて谷部の底からなだらかに立ち上がるような谷部が多く確認できた。そこで、フィルタ21a、21b、21c、21dでは、谷部の落ち込み及び立ち上がり部分の4画素に対して輝度値の強調を行えるように、中心の係数0を挟んで対称に、負の係数を2つ、正の係数を2つ配置して、中心の係数を挟んで対称に4画素分の係数を配置している。
従って、フィルタ21a、21b、21c、21dにおける負の係数及び正の係数の配置数については、例えば、過去の操業データや実験データ等に基づいて、傾斜補正画像内における粒子同士の隣接部にある谷部の傾向を解析し、谷部の落ち込みや立ち上がり部分の画素数に合わせて決定すればよい。
また、フィルタ21a、21b、21c、21dは、中心の係数を挟んで対称に配置される負の係数及び正の係数の配置数を同じとし、さらに、負の係数及び正の係数の絶対値を同じとしている。これにより、フィルタ21a、21b、21c、21dは、傾斜補正画像に対して谷検出フィルタ処理を行った際、輝度分布が谷状に落ち込んでいない、いわゆる谷部以外の箇所については輝度値を抑えて暗く表示させることができる。
図7に示すように、谷検出フィルタ処理部18は、第1方向フィルタ処理部18a、第2方向フィルタ処理部18b、第3方向フィルタ処理部18c、及び第4方向フィルタ処理部18dにより生成した、第1方向の谷検出フィルタ処理画像、第2方向の谷検出フィルタ処理画像、第3方向の谷検出フィルタ処理画像、及び第4方向の谷検出フィルタ処理画像を、画像統合部19に送出する。画像統合部19は、これら第1方向の谷検出フィルタ処理画像、第2方向の谷検出フィルタ処理画像、第3方向の谷検出フィルタ処理画像、及び第4方向の谷検出フィルタ処理画像を統合して、1つの統合谷検出画像を生成し、これを2値化処理部20に送出する。具体的には、これら第1方向の谷検出フィルタ処理画像、第2方向の谷検出フィルタ処理画像、第3方向の谷検出フィルタ処理画像、及び第4方向の谷検出フィルタ処理画像の対応する画素毎に、第1出力値、第2出力値、第3出力値及び第4出力値から二乗平均平方根を求め、これを統合谷検出画像の各画素の輝度値とする。この結果、どの方向の線分であってもその線分に沿った輝度プロフィールが中央で落ち込む箇所が抽出される。
2値化処理部20は、所定の閾値を基に統合谷検出画像を2値化処理し、谷検出画像を生成する。図6は、傾斜補正画像を示しており、図9は、図6に示した傾斜補正画像を谷検出画像生成部12で谷検出処理をすることで生成した谷検出画像を示している。図9の谷検出画像は、256階調で得られた統合谷検出画像を、閾値を10として2値化することで得られた画像である。2値化処理部20により2値化された谷検出画像では、谷状に落ち込んでいる箇所の画素が、輝度値が高く白色に表示される1とされ、谷部以外の残りの画素が、輝度値が低く黒色に表示される0とされている。2値化処理部20は、2値化した谷検出画像を、図5に示す輪郭抽出画像生成部14に送出する。
このように、輪郭抽出部5では、深さ画像で輝度値の差により表された谷部を検出するフィルタ21a、21b、21c、21dを適用した谷検出フィルタ処理を、深さ画像に対して行った後、2値化処理を行うことで谷検出画像を生成するようにしている。これにより、輪郭抽出部5は、粒子同士の段差が小さいために、深さ画像において隣接した粒子の境界で輝度差が表れ難い箇所があっても、検出した谷部を基に粒子同士の境界を容易に判断できるので、複数の粒子が積み重なった状態であっても各粒子の輪郭を正確に抽出することができる。
<輪郭抽出部における不連続点検出処理について>
次に、輪郭抽出部5にて行われる不連続点検出処理について説明する。上述した谷検出処理により得られる谷検出画像(図9)は、傾斜補正画像内の谷部分に着目し、当該谷部分を強調することを目的とした谷検出フィルタ処理を行ったものである。そのため、例えば、2つの粒子が接していて、隣接部に高さの違いがあり階段状であるが、面同士が谷形状になっていない(階段状に接する面同士が、平行に接する)部位があると、谷検出処理では粒子の境界が検出されない。すなわち、谷検出画像内の一部の粒子は輪郭の一部が消えてしまっている恐れもあり、谷検出画像だけから粒子の輪郭を正確に抽出し難いこともある。
次に、輪郭抽出部5にて行われる不連続点検出処理について説明する。上述した谷検出処理により得られる谷検出画像(図9)は、傾斜補正画像内の谷部分に着目し、当該谷部分を強調することを目的とした谷検出フィルタ処理を行ったものである。そのため、例えば、2つの粒子が接していて、隣接部に高さの違いがあり階段状であるが、面同士が谷形状になっていない(階段状に接する面同士が、平行に接する)部位があると、谷検出処理では粒子の境界が検出されない。すなわち、谷検出画像内の一部の粒子は輪郭の一部が消えてしまっている恐れもあり、谷検出画像だけから粒子の輪郭を正確に抽出し難いこともある。
そこで、本発明の粒子径測定装置1は、粒子の輪郭を一段と正確に抽出するため、輪郭抽出部5に不連続点検出画像生成部13を設け、不連続点検出画像生成部13によって、傾斜補正画像内において輝度値が不連続に変化している箇所を、粒子の輪郭を示す箇所として特定するようにした。そして、粒子径測定装置1は、谷検出画像生成部12で生成した谷検出画像と、不連続点検出画像生成部13で生成した不連続点検出画像とを統合し、谷検出画像だけからでは抽出し難かった粒子の輪郭を、不連続点検出画像を基に抽出可能とし、一段と正確に粒子の輪郭を抽出できるようにしている。
ここで、不連続点検出画像生成部13は、図10に示すように、不連続点検出部22と2値化処理部27とを備えている。不連続点検出部22は、注目画素決定部23、算出方向指定部24、輝度差算出部25、及び不連続点判断部26を備えており、傾斜補正画像内の全ての画素について、それぞれ不連続点であるか否かを判断する。
不連続点検出部22は、傾斜補正画像を取得部3から受け取ると、注目画素決定部23によって、傾斜補正画像内の各画素をそれぞれ注目画素として決定する。算出方向指定部24は、注目画素決定部23によって決定された注目画素毎に、図11に示すように、注目画素T0を中心に45度刻みで、8方向を算出方向として順に指定してゆく。
輝度差算出部25は、注目画素T0を中心に45度刻みで算出方向として指定される8方向について、それぞれ注目画素T0と隣接している隣接画素T1~T8を特定し、注目画素T0と各隣接画素T1~T8との輝度値の差(以下、単に輝度差と称する)をそれぞれ算出する。不連続点判断部26は、算出方向のうち一つを順方向とし、例えば順方向とした算出方向X1に位置する隣接画素T2と注目画素T0との輝度差が、所定の閾値α以上であるか否かを判断する。また、この際、不連続点判断部26は、順方向と逆方向となる算出方向X2を特定し、算出方向X2に位置する隣接画素T6と注目画素T0との輝度差が、所定の閾値β以下であるか否かを判断する。
不連続点判断部26は、順方向とした算出方向X1での輝度差が閾値α以上であり、かつ、逆方向とした算出方向X2での輝度差が閾値β以下であるとき、注目画素T0が不連続点であると判断する。このようにして、不連続点判断部26は、傾斜補正画像の全画素をそれぞれ注目画素T0とし、順方向に隣接する隣接画素との輝度差と、逆方向に隣接する隣接画素との輝度差とを基に、各注目画素T0が不連続点であるか否かを判断する。
ここで、図6に例示する深さ画像では輝度を265諧調で表しており、この場合、閾値αと閾値βは、それぞれ5程度、2程度であることが望ましい。このように、閾値αと閾値βとを設定することで、順方向に隣接する隣接画素との間で輝度値が急激に上がっているとともに、逆方向で隣接する隣接画素との間では輝度値の変化が少ない、粒子同士の段差部分にあたる注目画素T0を、不連続点として特定できる。
不連続点検出部22は、傾斜補正画像と、傾斜補正画像の各注目画素T0について不連続点であるか否かを示した判断結果とを、2値化処理部27に送出する。2値化処理部27は、傾斜補正画像において、不連続点検出部22にて不連続点とした画素を、輝度値が高く白色に表示される1とし、不連続点以外の残りの画素を、輝度値が低く黒色に表示される0として、図12に示すような2値化された不連続点検出画像を生成する。図12に示す不連続点検出画像は、図6に示す傾斜補正画像をもとに、不連続点検出画像生成部13が生成した不連続点検出画像である。2値化処理部27は、生成した不連続点検出画像を輪郭抽出画像生成部14(図5)に送出する。
<輪郭抽出部でのその他の処理について>
図5に示す輪郭抽出画像生成部14は、谷検出画像生成部12から谷検出画像(図9)を受け取るとともに、不連続点検出画像生成部13から不連続点検出画像(図12)を受け取ると、同じ傾斜補正画像から生成された、これら谷検出画像及び不連続点検出画像を統合して、1つの輪郭抽出画像を生成する。
図5に示す輪郭抽出画像生成部14は、谷検出画像生成部12から谷検出画像(図9)を受け取るとともに、不連続点検出画像生成部13から不連続点検出画像(図12)を受け取ると、同じ傾斜補正画像から生成された、これら谷検出画像及び不連続点検出画像を統合して、1つの輪郭抽出画像を生成する。
この場合、輪郭抽出画像生成部14は、谷検出画像及び不連続点検出画像を単純に足し合わせることにより輪郭抽出画像を生成する。例えば、谷検出画像及び不連続点検出画像のいずれか一方あるいは両方で輝度値が1とされている画素は、輝度値が高く白色に表示される1とし、谷検出画像及び不連続点検出画像の両方で輝度値が0とされている画素は、輝度値が低く黒色に表示される0として、輪郭抽出画像を生成する。
このように輪郭抽出部5では、深さ画像の輝度値を基に不連続点を検出して生成した不連続点検出画像と、谷検出画像とを統合し、各粒子の輪郭を抽出した輪郭抽出画像を生成するようにしている。これにより、輪郭抽出部5は、粒子同士の隣接部を示す谷状の輝度分布に着目した谷検出画像だけでは抽出し難い粒子の輪郭があっても、不連続点検出画像に基づいて補間することができるので、その分、各粒子の輪郭を一段と正確に抽出することができる。
輪郭抽出画像生成部14は、生成した輪郭抽出画像を細線化処理部15に送出する。細線化処理部15は、輪郭抽出画像に対して細線化処理を行い、図13に示すように、輪郭抽出画像内における粒子の輪郭の線幅を1画素とした輪郭抽出画像を生成し、これを補正処理部16に送出する。ここで、細線化処理とは、白色及び黒色に2値化された輪郭抽出画像内の輪郭の線幅を、例えば1画素の線幅になるまで縮小する処理であり、一般的な画像処理手法を利用したものである。
補正処理部16は、輪郭を細線化した輪郭抽出画像に対して、行き止まり線を除去する補正処理と、所定粒子径以下の粒子を示す輪郭を除去する輪郭選定処理とを行い、最終的な輪郭抽出画像を生成し、これをラベリング処理部6(図1)に送出する。
ここで、粒子は円状や楕円状でなることから、輪郭抽出画像内に表示される粒子の輪郭は、通常、円状や楕円状等のような無端状の線として現れる。そこで、補正処理部16は、輪郭抽出画像内において、粒子の輪郭とは言えない、端部を有した線、いわゆる行き止まり線を、外乱として除去する補正処理を行う。このような補正処理は、行き止まり線の形態を予め特定しておき、当該行き止まり線の形態を示したフィルタ(例えば、縦横3画素×3画素のフィルタ)を用いて、輪郭抽出画像内から行き止まり線を特定して除去する処理であり、一般的な画像処理手法を利用したものである。
また、輪郭抽出画像が生成される元の傾斜補正画像は、ベルトコンベア上で重なり合っている粒子を撮像部2により撮像しているものであることから、相対的に低い位置にある粒子は、その上にある粒子に一部が隠れていることが多く、この場合、あたかも小さい粒子のように見える。このように低い位置にある粒子についても、他の粒子と同じように一律に輪郭線を抽出した場合、正確な粒子サイズの測定が行えないこともある。
そこで、補正処理部16は、輪郭抽出画像内において、低い位置にある粒子の輪郭を除去する輪郭選定処理を行っている。また、補正処理部16は、輪郭選定処理として、例えば輪郭抽出画像内にある各輪郭内の面積を算出し、この算出結果を基に、実際の粒子の取り得る粒子サイズの範囲を外れた所定の値以下の粒子径を持つ微小な粒子を示す輪郭を除去してもよい。なお、除外すべき低い位置にある粒子や微小な粒子であるかを判断する基準については、例えば、過去の操業データや実験データ等に基づいて決定すればよい。
<粒子のラベリング処理について>
次に、ラベリング処理部6について説明する。ラベリング処理部6は、傾斜補正画像と輪郭抽出画像とを受け取ると、輪郭抽出画像内で抽出された粒子毎に、粒子の輪郭内の全画素について、各画素の位置座標を抽出する。ラベリング処理部6は、輪郭抽出画像により抽出した輪郭内の各画素の位置座標に基づいて、傾斜補正画像から、輪郭抽出画像の各輪郭と対応する領域(以下、輪郭対応領域と称する)を特定する。ラベリング処理部6は、傾斜補正画像で特定した輪郭対応領域毎に、輪郭対応領域内の各画素の輝度値をそれぞれ抽出する。
次に、ラベリング処理部6について説明する。ラベリング処理部6は、傾斜補正画像と輪郭抽出画像とを受け取ると、輪郭抽出画像内で抽出された粒子毎に、粒子の輪郭内の全画素について、各画素の位置座標を抽出する。ラベリング処理部6は、輪郭抽出画像により抽出した輪郭内の各画素の位置座標に基づいて、傾斜補正画像から、輪郭抽出画像の各輪郭と対応する領域(以下、輪郭対応領域と称する)を特定する。ラベリング処理部6は、傾斜補正画像で特定した輪郭対応領域毎に、輪郭対応領域内の各画素の輝度値をそれぞれ抽出する。
ラベリング処理部6は、傾斜補正画像の輪郭対応領域毎に、それぞれ輪郭対応領域内にある複数の画素の中から、輝度値が大きい上位の所定%の画素を特定し、各輪郭対応領域内の上位所定%の各画素の輝度値から、輪郭対応領域毎に輝度値の平均値を算出する。ラベリング処理部6は、傾斜補正画像に基づいて輪郭対応領域毎に輝度値の大きい上位所定%の画素から算出した輝度値の平均値(以下、輪郭平均輝度値と称する)を基に、輪郭抽出画像で輪郭対応領域に対応する輪郭に対して、輪郭平均輝度値が高い順に順位付けする。なお、所定%は、例えば20%とすると良好な結果が得られる。
より具体的には、ラベリング処理部6は、例えば、輪郭抽出画像内の各輪郭に対して輪郭平均輝度値が大きい方から順に番号を割り当てていき、粒子のラベリング処理を行う。ラベリング処理部6は、このようなラベリング処理の結果が付された輪郭抽出画像を、粒子径測定部7に送出する。
ここで、図14に示す画像は、ラベリング処理部6によるラベリング処理の結果を示す画像の一例である。この画像は、輪郭抽出画像から抽出した輪郭と、ラベリング処理部6により割り当てた番号(以下、ラベリング番号と称する)とを、図6に示した傾斜補正画像に重ね合わせた画像である。ここで、この実施形態では、画像内の深さ方向の位置が輝度値の大きさで表される傾斜補正画像の輝度値を用いて輪郭平均輝度値を算出し、輪郭平均輝度値が大きい順に粒子にラベリング番号を付している。そのため、ラベリング番号が小さいほどその粒子が高い位置にあり、最表層の粒子である確率が高いことを意味している。図14の画像では、ラベリング番号が小さいとその粒子が高い位置にあり、ラベリング番号が大きいとその粒子が低い位置にある傾向が確認できた。
<粒子径測定処理について>
最後に、粒子径測定部7について説明する。粒子径測定部7は、輪郭抽出画像で粒子に付されたラベリング番号が小さいほうから例えば5個の粒子を選択し、選択した粒子の粒子径を、輪郭抽出画像の輪郭から算出する。この実施形態では、粒子径として、外接長方形の短辺の長さを測定する。
最後に、粒子径測定部7について説明する。粒子径測定部7は、輪郭抽出画像で粒子に付されたラベリング番号が小さいほうから例えば5個の粒子を選択し、選択した粒子の粒子径を、輪郭抽出画像の輪郭から算出する。この実施形態では、粒子径として、外接長方形の短辺の長さを測定する。
粒子径測定部7は、以上のように、粒子の輪郭内の画素の輝度値に基づいて、所定個数の粒子を選択し、粒子径を算出すると、得られた算出結果を、表示部8及び記憶部9に送出する。これにより、作業員は、表示部8に表示された粒子径を基に、ベルトコンベア上を搬送されている粒子に関する品質管理を行え得る。同時に、粒子径測定部7により算出した粒子径を、測定時刻と共に記憶部9に記憶し、粒子径の時系列データとして保存するようにしてもよい。
<本発明の粒子径測定部が選択する粒子の個数について>
ここで、粒子径測定部7が、粒子径を測定する際に選択する粒子の個数の決定方法について説明する。この粒子の個数は、あらかじめ実験的に求めた最表層にあるとみなせる粒子の数であり、粒子径測定部7が保持している。まず、複数枚の深さ画像を用意し、各深さ画像に対して、傾斜補正処理、輪郭抽出処理、ラベリング処理を順次行う。そして、傾斜補正画像に、輪郭抽出処理で抽出した粒子の輪郭L1と、ラベリング処理で粒子に割り当てたラベリング番号とを合成した合成画像を作成する。
ここで、粒子径測定部7が、粒子径を測定する際に選択する粒子の個数の決定方法について説明する。この粒子の個数は、あらかじめ実験的に求めた最表層にあるとみなせる粒子の数であり、粒子径測定部7が保持している。まず、複数枚の深さ画像を用意し、各深さ画像に対して、傾斜補正処理、輪郭抽出処理、ラベリング処理を順次行う。そして、傾斜補正画像に、輪郭抽出処理で抽出した粒子の輪郭L1と、ラベリング処理で粒子に割り当てたラベリング番号とを合成した合成画像を作成する。
次に、合成画像内のラベリング番号が1から20までの粒子に着目し、各粒子が最表層の粒子であるか否かを、合成画像を用いて判断する。判断作業は、作業員が、注目粒子と、注目粒子と隣接する粒子との上下関係を合成画像から目視により判断することで行われる。この処理をすべての合成画像に対して行い、ラベリング番号毎に、作業員により目視で最表層にあると判断された粒子の数をカウントする。その後、カウントした最表層にあると判断された粒子の数、同じラベリング番号の粒子の総数で除することで、そのラベリング番号の粒子が最表層にある確率を算出する。より具体的には、例えば、ラベリング番号10の粒子が10個あり、そのうち5個の粒子が最表層にあると作業員によって判断された場合、ラベリング番号10の粒子が最表層にある確率を0.5と算出する。算出した最表層にある確率は、1に近いほど、そのラベリング番号を割り当てられた粒子が最表層にある可能性が高いことを意味している。
図15に示すグラフは、このようにして算出した粒子が最表層にある確率をまとめたものである。横軸は粒子のラベリング番号であり、縦軸は、粒子が最表層にある確率である。図15のグラフによると、ラベリング番号5の粒子までは、粒子が最表層にある確率がほぼ1である。これは、ラベリング番号1~5の粒子が最表層にある可能性が高く、これら番号を割り当てられた粒子が最表層にあるとみなすことができることを意味している。この実施形態では、ラベリング番号1~5の粒子を最表層にあるとみなし、ラベリング番号1~5の5個の粒子を選択し、粒子径を測定するようにしている。
この実施形態では、最表層にあるとみなせる粒子を選定して、粒子径を測定するので、粒子の輪郭の全周が露出していない粒子の粒子径が測定結果に含まれるのを抑制でき、より正確に粒子径を測定できる。なお、測定対象の粒子の種類、又は、深さ画像のサイズと粒子サイズとの関係等に応じて、最表層にあるとみなせる粒子の数は変わってくるので、粒子径を測定する粒子の数は、粒子の種類や撮影条件ごとに適宜選定するのが望ましい。
<作用及び効果>
以上の構成において、粒子径測定装置1では、深さ画像から粒子の輪郭を抽出し、輪郭内の輝度値に基づいて、深さ画像内にある粒子の中から所定個数の粒子を選択し、選択した粒子の粒子径を測定する。すなわち、粒子径測定装置1では、粒子の輪郭内の輝度値に基づいて、最表層にあるとみなせる粒子を選択し、選択した粒子についてだけ粒子径を測定する。
以上の構成において、粒子径測定装置1では、深さ画像から粒子の輪郭を抽出し、輪郭内の輝度値に基づいて、深さ画像内にある粒子の中から所定個数の粒子を選択し、選択した粒子の粒子径を測定する。すなわち、粒子径測定装置1では、粒子の輪郭内の輝度値に基づいて、最表層にあるとみなせる粒子を選択し、選択した粒子についてだけ粒子径を測定する。
これにより、粒子径測定装置1では、粒子が積み重なった状態でも、従来のように各粒子に対してそれぞれ複雑な処理を行うことなく、輝度値に基づき重なり合った粒子の上下関係を特定して再表層にある粒子の粒子径を測定できる。よって、粒子径測定装置1では、従来のような各粒子に対する複雑な処理が不要となる分、従来より粒子径を高速に測定できる。
ところで、これまでコークスの生産現場において粒子の粒度分類を行う場合には、一般的に、網目サイズの異なる複数の篩を使って粒子を粒度分類する篩測定が行われてきた。このような従来の篩測定は、サンプリングから測定まで人手作業が必要であり、作業員に対する作業負担が大きく、日に数回の測定に限られていた。
これに対して、本発明の粒子径測定装置1では、ベルトコンベア上で移動する粒子を撮像した深さ画像を得て、演算処理により、この深さ画像内にある各粒子の輪郭内の輝度値に基づいて、最表層にあるとみなせる粒子だけを選択して粒子径を測定するので、従来のような人手作業による篩測定が不要となり、作業員に対する作業負担を低減できる。また、粒子径測定装置1では、ベルトコンベア上で移動する粒子の粒子径を非接触でより高速に測定することができ、粒子径を測定する間隔も短くできる。よって、粒子のばらつきや、生産設備の不具合により生じる粒子(コークス)の品質異常を早期に発見できる。
<他の実施形態>
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上記の実施形態においては、深さ画像に対して傾斜補正部4により傾斜補正し、傾斜補正した深さ画像(傾斜補正画像)を輪郭抽出部で輪郭抽出処理した場合について説明したが、本発明はこれに限られない。例えば、深さ画像内に輝度値の傾斜が見られない、若しくは、傾斜が見られても傾斜量がわずかな場合は、傾斜補正をせずに、深さ画像に対して輪郭抽出処理するようにしてもよい。
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上記の実施形態においては、深さ画像に対して傾斜補正部4により傾斜補正し、傾斜補正した深さ画像(傾斜補正画像)を輪郭抽出部で輪郭抽出処理した場合について説明したが、本発明はこれに限られない。例えば、深さ画像内に輝度値の傾斜が見られない、若しくは、傾斜が見られても傾斜量がわずかな場合は、傾斜補正をせずに、深さ画像に対して輪郭抽出処理するようにしてもよい。
また、上記の実施形態では、深さ画像の全画素に対して傾斜補正処理した場合について説明したが、本発明はこれに限られず、例えば、深さ画像の一部分に輝度値の傾斜がある場合は、傾斜がある領域の画素のみを傾斜補正するようにしてもよい。また、深さ画像の一部分に輝度値の傾斜がある場合、傾斜補正を行わずに、傾斜がない領域を深さ画像からトリミングし、トリミングした深さ画像から、粒子の輪郭を抽出するようにしてもよい。
上記の実施形態では、深さ画像の傾斜を平面で近似した場合について説明したが、本発明はこれに限られず、例えば、深さ画像の傾斜を曲面で近似するようにしてもよい。この場合、例えば、曲面を表す基準面方程式z=-ax2-by2+cx+dy+e(パラメータa、b、c、d、eは定数)を算出する。曲面を表す基準面方程式は、他の形式の2次関数であってもよく、より多次元の関数であってもよく、指数関数や対数関数などを用いるものであってもよい。
上記の実施形態では、深さ画像の輝度値の傾斜を2次元の平面で近似して基準面を算出するようにしたが、1次元の直線や曲線により、深さ画像の行ごとに傾斜を近似して基準面を算出するようにしてもよい。この場合、例えば、深さ画像の輝度値がx方向に傾斜しているとすると、深さ画像からx方向に並ぶ画素を1行抜き出し、抜き出した画素のx座標と輝度値zとを用い、傾斜を近似する式z=ax+b(a、bは定数)等を算出し、この式により輝度値の補正量を算出する。この式を基準面方程式として他の行にも適用して輝度値の補正量を算出するようにしてもよく、行ごとに傾斜を近似する式を同様に算出し、行ごとにそれぞれの異なる式を用いて輝度値の補正量を算出してもよい。
上記の実施形態では、基準面方程式の算出に最小二乗法を用いた場合について説明したが、本発明はそれには限られず、内挿や回帰分析などで用いられる他の手法を用いて基準面方程式を算出してもよい。
上記の実施形態では、基準面方程式を算出した場合について説明したが、本発明はこれに限られず、基準面の算出を、深さ画像の輝度値と、算出する基準面の輝度値との誤差が最小になる最適値(基準面)を探索する最適化問題として捉えて、基準面を算出するようにしてもよい。基準面の算出には、例えば、ラグランジュの未定乗数法など種々の最適化問題の解法を適用することができる。
上記の実施形態では、ラベリング処理部6が、輪郭対応領域毎に輪郭平均輝度値を算出し、算出した輪郭平均輝度値に基づいて粒子のラベリング処理をするようにしたが、本発明はこれに限られない。本発明では、ラベリング処理部6は、輪郭対応領域内の全画素の輝度値の平均値、輪郭対応領域内の画素の輝度値の中央値、輪郭対応領域内の画素の輝度値の最大値等に基づいて、粒子のラベリング処理をするようにしてもよい。
谷検出画像生成部12と不連続点検出画像生成部13とを設けた輪郭抽出部5について述べたが、本発明はこれに限らず、谷検出画像生成部12のみを設けた輪郭抽出部5としてもよく、また、不連続点検出画像生成部13のみを設けた輪郭抽出部5としてもよい。
上記の実施形態では、粒子径として、長軸の長さを測定した場合について説明したが、本発明はこれに限られない。粒子径として、例えば、円相当径(粒子の面積と同じ面積になるように描いた円の直径)などを測定するようにしてもよい。
なお、上記の深さ画像や、傾斜補正画像、谷検出画像、不連続点検出画像、輪郭抽出画像は、ディスプレイ等に表示される具体的な画像としての形態を必ずしも示すものではなく、画像として生成される前のデータも含まれる。
1 粒子径測定装置
2 撮像部
4 傾斜補正部
5 輪郭抽出部
6 ラベリング処理部
7 粒子径測定部
2 撮像部
4 傾斜補正部
5 輪郭抽出部
6 ラベリング処理部
7 粒子径測定部
Claims (8)
- 積み重なった複数の粒子の粒子径を測定する粒子径測定装置において、
積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像部と、
前記深さ画像から、前記粒子の輪郭を抽出する輪郭抽出部と、
前記深さ画像の前記輪郭内の輝度値に基づいて、前記深さ画像の前記粒子の中から所定個数の粒子を選択し、選択した前記所定個数の粒子の粒子径に基づいて、前記粒子の粒子径を測定する粒子径測定部と、
を備える、粒子径測定装置。 - 前記深さ画像の輝度値に基づいて、前記深さ画像に表れた輝度値の傾斜的な変化を補正する傾斜補正部を備える、請求項1に記載の粒子径測定装置。
- 前記傾斜補正部は、前記深さ画像の輝度値に基づいて、前記傾斜的な変化を近似的に表す基準面を算出する基準面算出部と、
前記深さ画像の各画素の輝度値の補正量として、前記各画素の前記基準面の輝度値を算出し、前記深さ画像の各画素の輝度値から前記補正量を減じて、傾斜補正画像を生成する傾斜補正画像生成部とを備える、請求項2に記載の粒子径測定装置。 - 前記所定個数の粒子の個数は、予め実験的に求めた、積み重なった複数の前記粒子のうちで最表層にあるとみなせる粒子の個数に基づいて、選定する、請求項1~3のいずれか1項に記載の粒子径測定装置。
- 積み重なった複数の粒子の粒子径を測定する粒子径測定方法において、
積み重なった複数の前記粒子を撮像し、凹凸状態が輝度値の違いで表された深さ画像を生成する撮像ステップと、
前記深さ画像から、前記粒子の輪郭を抽出する輪郭抽出ステップと、
前記深さ画像の前記輪郭内の輝度値に基づいて、前記深さ画像の前記粒子の中から所定個数の粒子を選択し、選択した前記所定個数の粒子の粒子径に基づいて、前記粒子の粒子径を測定する粒子径測定ステップと、
を備える、粒子径測定方法。 - 前記深さ画像の輝度値に基づいて、前記深さ画像に表れた輝度値の傾斜的な変化を補正する傾斜補正ステップを備える、請求項5に記載の粒子径測定方法。
- 前記傾斜補正ステップは、前記深さ画像の輝度値に基づいて、前記傾斜的な変化を近似的に表す基準面を算出する基準面算出ステップと、
前記深さ画像の各画素の輝度値の補正量として、前記各画素の前記基準面の輝度値を算出し、前記深さ画像の各画素の輝度値から前記補正量を減じて、傾斜補正画像を生成する傾斜補正画像生成ステップとを備える、請求項6に記載の粒子径測定方法。 - 前記所定個数の粒子の個数は、予め実験的に求めた、積み重なった複数の前記粒子のうちで最表層にあるとみなせる前記粒子の個数に基づいて、選定する、請求項5~7のいずれか1項に記載の粒子径測定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018059733A JP7003786B2 (ja) | 2018-03-27 | 2018-03-27 | 粒子径測定装置及び粒子径測定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018059733A JP7003786B2 (ja) | 2018-03-27 | 2018-03-27 | 粒子径測定装置及び粒子径測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019174155A JP2019174155A (ja) | 2019-10-10 |
JP7003786B2 true JP7003786B2 (ja) | 2022-01-21 |
Family
ID=68170185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018059733A Active JP7003786B2 (ja) | 2018-03-27 | 2018-03-27 | 粒子径測定装置及び粒子径測定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7003786B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114646577A (zh) * | 2022-03-09 | 2022-06-21 | 荣托昆普(无锡)科技有限公司 | 一种基于深度信息的粒径分析方法及检测系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100284609A1 (en) | 2008-02-05 | 2010-11-11 | CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC | Apparatus and method for measuring size distribution of granular matter |
JP2014092494A (ja) | 2012-11-05 | 2014-05-19 | Shinko Engineering & Maintenance Co Ltd | 粒径測定装置及び粒径測定方法 |
JP2014095644A (ja) | 2012-11-11 | 2014-05-22 | Kajima Corp | 堆積粒状材の粒径計測方法及びシステム並びにプログラム |
JP2014178300A (ja) | 2013-02-14 | 2014-09-25 | Kobe Steel Ltd | ペレット粒径測定方法 |
JP2017116260A (ja) | 2015-12-21 | 2017-06-29 | 花王株式会社 | 粉粒体質量検査装置及び検査方法、並びに粉粒体含有物品の製造装置及び製造方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS54148558A (en) * | 1978-05-15 | 1979-11-20 | Kawasaki Steel Co | Method of measuring mean size of grains |
-
2018
- 2018-03-27 JP JP2018059733A patent/JP7003786B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100284609A1 (en) | 2008-02-05 | 2010-11-11 | CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC | Apparatus and method for measuring size distribution of granular matter |
JP2014092494A (ja) | 2012-11-05 | 2014-05-19 | Shinko Engineering & Maintenance Co Ltd | 粒径測定装置及び粒径測定方法 |
JP2014095644A (ja) | 2012-11-11 | 2014-05-22 | Kajima Corp | 堆積粒状材の粒径計測方法及びシステム並びにプログラム |
JP2014178300A (ja) | 2013-02-14 | 2014-09-25 | Kobe Steel Ltd | ペレット粒径測定方法 |
JP2017116260A (ja) | 2015-12-21 | 2017-06-29 | 花王株式会社 | 粉粒体質量検査装置及び検査方法、並びに粉粒体含有物品の製造装置及び製造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019174155A (ja) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114723701B (zh) | 基于计算机视觉的齿轮缺陷检测方法和系统 | |
JP7150105B2 (ja) | 三次元画像処理装置及び三次元画像処理方法 | |
US11227405B2 (en) | Determining positions and orientations of objects | |
CN108629775B (zh) | 一种热态高速线材表面图像处理方法 | |
CN109872300B (zh) | 一种摩擦片外观缺陷的视觉显著性检测方法 | |
CN111667462B (zh) | 一种焊接缺陷中弱小目标的自动检测方法与系统 | |
US8520892B2 (en) | Method and apparatus for detecting objects | |
US6728593B2 (en) | System for analysis of fabric surface | |
US20130202188A1 (en) | Defect inspection method, defect inspection apparatus, program product and output unit | |
CN111353993B (zh) | 一种基于机器视觉的螺纹角度测量方法 | |
CN112889087B (zh) | 对片材部件的自动检查的系统、处理单元和方法 | |
CN113191174B (zh) | 物品定位方法和装置、机器人及计算机可读存储介质 | |
JP2020008501A (ja) | 表面欠陥検出装置及び表面欠陥検出方法 | |
JP6988632B2 (ja) | 輪郭抽出装置及び輪郭抽出方法 | |
US20150051860A1 (en) | Automatic optical appearance inspection by line scan apparatus | |
JPH03160349A (ja) | ひび検出装置 | |
CN111122590A (zh) | 一种陶瓷表面缺陷检测装置及检测方法 | |
TWI543117B (zh) | 物件辨識與定位方法 | |
JP7003786B2 (ja) | 粒子径測定装置及び粒子径測定方法 | |
TW201543001A (zh) | 工具檢查方法及工具檢查裝置 | |
CN114049490A (zh) | 一种智能化职业卫生预警方法及系统 | |
JPH0627715B2 (ja) | 鋳片断面の品質評価装置 | |
KR101150754B1 (ko) | 영상처리를 이용한 약품상자 영역 검출 시스템 및 방법 | |
CN114187269B (zh) | 小零器件表面缺陷边缘快速检测方法 | |
KR101753101B1 (ko) | 컬러영상에서 Mean-Shift 군집화와 단계별 병합 방법을 이용한 자동 원료 선별 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211213 |