JP5774554B2 - 長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム - Google Patents

長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP5774554B2
JP5774554B2 JP2012170057A JP2012170057A JP5774554B2 JP 5774554 B2 JP5774554 B2 JP 5774554B2 JP 2012170057 A JP2012170057 A JP 2012170057A JP 2012170057 A JP2012170057 A JP 2012170057A JP 5774554 B2 JP5774554 B2 JP 5774554B2
Authority
JP
Japan
Prior art keywords
center
center coordinate
frame image
differential
long object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012170057A
Other languages
English (en)
Other versions
JP2014029615A (ja
Inventor
正人 中嶋
正人 中嶋
西村 武博
武博 西村
工藤 勝
勝 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Nippon Steel Texeng Co Ltd
Original Assignee
Nippon Steel Corp
Nippon Steel Texeng Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp, Nippon Steel Texeng Co Ltd filed Critical Nippon Steel Corp
Priority to JP2012170057A priority Critical patent/JP5774554B2/ja
Publication of JP2014029615A publication Critical patent/JP2014029615A/ja
Application granted granted Critical
Publication of JP5774554B2 publication Critical patent/JP5774554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラムに関し、特に、横送り搬送されている長尺物の端面の画像を撮像した結果に基づいて長尺物の本数を計数するために用いて好適なものである。
例えば、鉄鋼業において、製造された棒鋼は、出荷のための結束作業を行う結束床に搬送されたり、一時的な保管を行う立体倉庫に搬送されたりする。このように結束床や立体倉庫に搬送される際に、棒鋼は横送り搬送される。横送り搬送とは、棒鋼の長手方向に対して直交する水平方向をその搬送方向とする搬送をいう。
横送り搬送されている棒鋼の員数をオンラインで計数することは、棒鋼の管理を行う上で重要である。棒鋼を横送り搬送する際の搬送速度は、数十[cm/sec]であり、且つ、一度に数十本の棒鋼が横送り搬送されることがある。このため、横送り搬送されている棒鋼の員数をオペレータが目視で計数すると、オペレータの負担が大きくなると共に、計数ミスを誘発する。
そこで、横送り搬送されている棒鋼の員数を自動的に計数することが望まれる。このようにするための技術として特許文献1に記載の技術がある。
特許文献1では、まず、横送り搬送スキット上の、棒鋼(の端面)が通過する箇所に、縦方向(高さ方向)に伸びる強力なスリット光線を照射しておき、その箇所に棒鋼が横送り搬送されると、棒鋼の端面から、当該スリット光線の反射光が得られるようにする。この反射光の信号をリニアセンサにより一定の時間隔で計測し、計測した信号を合成して2次元の画像を生成し、生成した画像が、計数対象の棒鋼の特徴と一致すると、当該計数対象の棒鋼の特徴と一致している画像が、棒鋼の1つの端面に対応すると認識する。このような処理を、計数対象の棒鋼群が横送り搬送されている間、継続することにより、棒鋼の員数を計測する。
特公平4−17552号公報
しかしながら、特許文献1に記載の技術では、1次元のスリット光線の反射光の信号を処理する。したがって、棒鋼の側面から反射する光の領域の形状が、端面と類似する形状であると、当該棒鋼の側面からの反射光を棒鋼として認識してしまうため、棒鋼の計数ミスが生じる虞がある。
また、横送り搬送される棒鋼は、横送り搬送中に左右に揺れることがある。例えば、表面の形状が波状の横送り搬送スキットを用いて、丸棒鋼を横送り搬送する場合には、このような揺れが起こりやすい。
しかしながら、特許文献1に記載の技術では、1次元のスリット光線の反射光の信号を処理するので、このような揺れが起こると、生成される2次元の画像に歪みが生じる。そうすると、画像と、計数対象の棒鋼の特徴とが一致しづらくなるため、棒鋼の計数ミスが生じる虞がある。
本発明は、以上のような問題点に鑑みてなされたものであり、横送り搬送されている長尺物の端面の画像を撮像した結果に基づいて、長尺物の本数をオンラインで正確に計数できるようにすることを目的とする。
本発明の長尺物本数計数装置は、横送り搬送されている複数の長尺物の本数をオンラインで計数する長尺物本数計数装置であって、前記横送り搬送されている長尺物の端面が照明された状態で撮像手段により撮像された、当該横送り搬送されている長尺物の端面を含む静止画像であるフレーム画像を取得する画像取得手段と、前記長尺物の端面の大きさとして予め想定されている大きさに基づく大きさを有する仮想円を、前記フレーム画像の複数の位置のそれぞれに対して設定する仮想円設定手段と、前記フレーム画像の領域のうち、前記仮想円設定手段により設定された仮想円の内部に含まれる領域の輝度値の総和を導出することを、前記フレーム画像の複数の位置のそれぞれに対して設定された複数の仮想円の夫々について行う輝度総和導出手段と、前記輝度総和導出手段により導出された輝度総和に基づいて、前記複数の仮想円の中心座標のうちから、前記長尺物の端面の中心位置の候補となる中心座標候補を選択する中心座標候補選択手段と、前記中心座標候補を中心とし、且つ、長尺物の端面の大きさとして予め想定されている大きさに基づく直径を有する領域の夫々について、フレーム画像の各画素における輝度値の微分値を導出し、各画素の画素値として当該微分値を有する微分画像を生成する微分画像生成手段と、前記微分画像生成手段により生成された微分画像の画素値に基づいて、前記長尺物の端面の中心位置の他の候補となる微分中心座標を導出することを、前記微分画像の夫々について行う微分中心座標導出手段と、前記微分中心座標のうち、前記中心座標候補との間の距離が閾値未満であるものを探索し、前記長尺物の端面の中心位置の座標である中心座標として導出する中心座標探索手段と、異なるタイミングで撮像された前記フレーム画像において前記中心座標探索手段により導出された中心座標を比較した結果に基づいて、前記横送り搬送されている複数の長尺物の本数を計数する計数手段と、を有することを特徴とする。
本発明の長尺物本数計数方法は、横送り搬送されている複数の長尺物の本数をオンラインで計数する長尺物本数計数方法であって、前記横送り搬送されている長尺物の端面が照明された状態で撮像工程により撮像された、当該横送り搬送されている長尺物の端面を含む静止画像であるフレーム画像を取得する画像取得工程と、前記長尺物の端面の大きさとして予め想定されている大きさに基づく大きさを有する仮想円を、前記フレーム画像の複数の位置のそれぞれに対して設定する仮想円設定工程と、前記フレーム画像の領域のうち、前記仮想円設定工程により設定された仮想円の内部に含まれる領域の輝度値の総和を導出することを、前記フレーム画像の複数の位置のそれぞれに対して設定された複数の仮想円の夫々について行う輝度総和導出工程と、前記輝度総和導出工程により導出された輝度総和に基づいて、前記複数の仮想円の中心座標のうちから、前記長尺物の端面の中心位置の候補となる中心座標候補を選択する中心座標候補選択工程と、前記中心座標候補を中心とし、且つ、長尺物の端面の大きさとして予め想定されている大きさに基づく直径を有する領域の夫々について、フレーム画像の各画素における輝度値の微分値を導出し、各画素の画素値として当該微分値を有する微分画像を生成する微分画像生成工程と、前記微分画像生成工程により生成された微分画像の画素値に基づいて、前記長尺物の端面の中心位置の他の候補となる微分中心座標を導出することを、前記微分画像の夫々について行う微分中心座標導出工程と、前記微分中心座標のうち、前記中心座標候補との間の距離が閾値未満であるものを探索し、前記長尺物の端面の中心位置の座標である中心座標として導出する中心座標探索工程と、異なるタイミングで撮像された前記フレーム画像において前記中心座標探索工程により導出された中心座標を比較した結果に基づいて、前記横送り搬送されている複数の長尺物の本数を計数する計数工程と、を有することを特徴とする。
本発明のコンピュータプログラムは、前記長尺物本数計数方法の各工程をコンピュータに実行させることを特徴とする。
本発明によれば、長尺物の端面の大きさとして予め想定されている大きさに基づく大きさを有する仮想円の内部に含まれる領域の輝度値の総和を導出することを、フレーム画像の複数の位置のそれぞれに対して設定された複数の仮想円の夫々について行い、導出した輝度総和に基づいて、複数の仮想円の中心座標から、長尺物の端面の中心位置の候補となる中心座標候補を選択する。そして、中心座標候補を中心とする領域の夫々について微分画像を生成し、当該微分画像から、長尺物の端面の中心位置の他の候補となる微分中心座標を導出することを、当該微分画像の夫々について行う。以上のようにして導出した微分中心座標のうち、中心座標候補との間の距離が閾値未満であるものを、長尺物の端面の中心位置の座標である中心座標とし、当該中心座標を追跡した結果に基づいて、前記横送り搬送されている複数の長尺物の本数を計数する。したがって、長尺物の側面からの反射光によって、長尺物の誤検出が生じることを防止することができると共に、微分画像を生成する領域を限定することができる。よって、横送り搬送されている長尺物の端面の画像を撮像した結果に基づいて、長尺物の本数をオンラインで計数することを、計算負荷を増加させることなく正確に行うことができる。
長尺物本数計数システムの構成の一例を示す図である。 横送り搬送スキットの表面の形状の一例を示す図である。 丸棒鋼と、エリアカメラ及び照明装置との位置関係の一例を示す図である。 エリアカメラで撮像されたフレーム画像の一例を示す図である。 長尺物本数計数装置の機能的な構成の一例を示す図である。 仮想円を設定する方法の一例を示す図である。 各仮想円に対応する輝度総和を概念的に示す図である。 中心座標候補の一例を示す図である。 微分画像を生成する方法の一例を説明する図である。 微分画像における画素値の補間の一例を示す図である。 微分中心座標を導出する方法の一例を説明する図である。 微分中心座標の一例を示す図である。 中心座標を設定する方法の一例を説明する図である。 丸棒鋼の一端面の輪郭の領域の一例を示す図である。 中心座標を探索する際の基本となる処理の一例を説明する図である。 同一の領域内で、中心座標が横方向(y軸方向)にずれているかどうかを判定する処理の一例を説明する図である。 隣接する領域まで、中心座標が横方向(y軸方向)にずれているかどうかを判定する処理の一例を説明する図である。 フレーム画像から消えた中心座標が、再びフレーム画像に現れたかどうかを判定する処理の一例を説明する図である。 各フレーム画像において計数される丸棒鋼の数の一例を示す図である。 各丸棒鋼の一端面の輪郭の画像の一例を示す図である。 長尺物本数計数装置の動作の一例を説明するフローチャートである。 図21−1に続くフローチャートである。 図21−2に続くフローチャートである。 図21−3に続くフローチャートである。 計数対象の長尺物を角鋼とした場合の微分中心座標を導出する方法の一例を説明する図である。 丸棒鋼の総数の計数結果の正解率を示す図である。 丸棒鋼以外の各種鋼材の総数の計数結果の正解率を示す図である。
以下、図面を参照しながら、本発明の一実施形態を説明する。尚、本実施形態では、計数対象の長尺物が丸棒鋼である場合を例に挙げて説明する。
<長尺物本数計数システム>
図1は、長尺物本数計数システムの構成の一例を示す図である。尚、各図では、説明及び表記の都合上、構成を簡略化又は省略化している。また、各図に示すx軸、y軸、及びz軸は、方向を示すものであり、各図における座標の原点は同じである(必ずしも各図に示す位置に原点があるわけではない)。
図1において、長尺物本数計数システムは、搬送テーブル110と、鋼材ストッパ120と、横送り搬送スキット130と、パルスジェネレータ140と、エリアカメラ150と、照明装置160と、長尺物本数計数装置200と、を有している。
製造された丸棒鋼M(M1、M2、M3・・・)は、搬送テーブル110上を、その長手方向に沿って(図1のx軸の負の方向に)移動する(図1のx軸の負の方向を向いている白抜きの矢印線を参照)。
搬送テーブル110上を移動した各丸棒鋼Mの先端を、鋼材ストッパ120に当接させることにより、搬送テーブル110上を移動した丸棒鋼Mの先端の位置が揃った状態になる。これにより、各丸棒鋼Mは、その長手方向に直交する水平方向(図1のy軸方向)に並べられる。
このような状態になった後、各丸棒鋼Mは、横送り搬送スキット130に送られる(図1のy軸の正の方向を向いている白抜きの矢印線を参照)。尚、以下の説明では、横送り搬送スキット130に送られるときの丸棒鋼Mの方向(図1のy軸の正の方向)を必要に応じて「横送り方向」と称する。
横送り搬送スキット130は、丸棒鋼Mを横送り方向に搬送(すなわち横送り搬送)するために一定の速度で周回運動する。
図2は、横送り搬送スキット130の表面の形状の一例を示す図である。
図2に示す例では、横送り搬送スキット130の表面の形状は、波状となっている。この波状の部分を丸棒鋼Mが横送り搬送されることにより、丸棒鋼Mは、左右(図2のy軸方向)に揺れながら横送り搬送されることがある(図2の丸棒鋼Mの脇に示している破線の丸と矢印線を参照)。
図1の説明に戻り、横送り搬送スキット130の速度(すなわち丸棒鋼Mの搬送速度)は、パルスジェネレータ140によって計測される。
横送り搬送スキット130の動作によって横送り搬送される丸棒鋼Mの一端面(図1のx軸の負の方向に位置する端面)は、照明装置160によって照明された状態でエリアカメラ150により撮像される。
図3は、丸棒鋼Mと、エリアカメラ150及び照明装置160との位置関係の一例を示す図である。
本実施形態では、エリアカメラ150は、縦方向(z軸の方向)が200[mm]、横方向(y軸の方向)が300[mm]の有効視野を有し、この有効視野内の静止画像を撮像する。この有効視野には、横送り搬送される丸棒鋼M(の一端面)の搬送経路として想定される領域が含まれるようにする。さらに、エリアカメラ150の前を通過する丸棒鋼Mの一端面の全体がエリアカメラ150によって撮像されるようにする。
エリアカメラ150は、丸棒鋼Mが100[mm]横送り搬送される度に、静止画像を撮像する。横送り搬送される距離は、横送り搬送スキット130の速度(すなわち丸棒鋼Mの搬送速度)に基づいて導出することができる。
本実施形態では、横送り搬送スキット130の速度は、0.5[m/sec]である。そして、本実施形態では、このような速度で横送り搬送されている丸棒鋼Mを撮像した画像において、当該丸棒鋼Mの部分が像ブレしないように、エリアカメラ150のシャッタースピードを、1/5000[sec]以下にしている。また、本実施形態では、計数対象となる丸棒鋼Mとして想定される丸棒鋼Mのうち、端面の直径が最小である丸棒鋼Mの当該直径の1/100以下の分解能が得られるように、エリアカメラ150により撮像された画像の分解能を、0.2[mm/画素]以下にしている。
照明装置160は、相対的に上側に配置される照明装置160aと、相対的に下側に配置される照明装置160bとを備える。
本実施形態では、照明装置160aの斜め下方向を向く軸方向が、丸棒鋼Mの一端面の中心(が位置すると想定される位置)を向くようにすると共に、照明装置160aの軸方向と水平方向(x軸の方向)とのなす角度θ1(俯角)が45[°]になるように、照明装置160aが配置される。また、照明装置160bの斜め上方向を向く軸方向が、丸棒鋼Mの一端面の中心(が位置すると想定される位置)を向くようにすると共に、照明装置160bの軸方向と水平方向(x軸の方向)とのなす角度θ2(仰角)が45[°]になるように、照明装置160bが配置される。
本実施形態では、照明装置160a、160bは、高照度を有するキセノンランプである。これらのキセノンランプをストロボ発光させることにより、エリアカメラ150により撮像された静止画像の、丸棒鋼Mの一端面の部分をハレーション(当該部分の輝度値を飽和)させるようにする。尚、以下の説明では、エリアカメラ150により撮像された静止画像を必要に応じて「フレーム画像」と称する。
図4は、エリアカメラ150で撮像されたフレーム画像の一例を示す図である。図4に示すように、エリアカメラ150で撮像されたフレーム画像には、丸棒鋼Mの端面だけでなく側面(長手部分の領域)も写し出される。本実施形態では、図4に示すように、フレーム画像を、横方向(y軸の方向)において3つの領域に区画している。前述したように、エリアカメラ150の横方向における有効視野の長さは300[mm]である。よって、区画した3つの領域の横方向の長さは、それぞれ100[mm]となる。図4に示すようなフレーム画像が、丸棒鋼Mが100[mm]横送り搬送される(と想定される)タイミングで繰り返し撮像される。
図1の説明に戻り、長尺物本数計数装置200は、以上のエリアカメラ150の撮像動作を制御すると共に、エリアカメラ150で撮像されたそれぞれのフレーム画像に対する画像処理を行って、丸棒鋼Mの本数を計数し、その結果を出力するものである。長尺物本数計数装置200のハードウェアは、例えば、CPU、ROM、RAM、HDD、及び各種のインターフェースを備えた公知のコンピュータ(例えばPC)を用いることにより実現できる。
図5は、長尺物本数計数装置200の機能的な構成の一例を示す図である。
(長尺物情報取得部201)
長尺物情報取得部201は、長尺物本数計数装置200と通信可能に接続されている(棒鋼製造ラインの)上位計算機から、計数対象の丸棒鋼Mの情報である長尺物情報を取得する。長尺物情報には、横送り搬送される丸棒鋼Mの総数と、当該丸棒鋼Mの直径Dの情報とが含まれる。長尺物情報取得部201は、上位計算機に要求を行って長尺物情報を取得してもよいし、要求によらずに上位計算機から送信された長尺物情報を取得してもよい。
長尺物情報取得部201は、例えば、CPU、ROM、RAM、及び通信インターフェースを用いることにより実現される。
(画像取得部202)
画像取得部202は、エリアカメラ150で撮像されたフレーム画像のデータを取得する。
具体的に説明すると、画像取得部202は、パルスジェネレータ140から出力されるパルス信号に基づいて、横送り搬送スキット130の速度(丸棒鋼Mの搬送速度)を導出し、この速度に基づいて、フレーム画像を撮像するタイミングになったか否かを判定する。前述したように、本実施形態では、丸棒鋼Mが100[mm]横送り搬送される度に、フレーム画像を撮像する。よって、例えば、横送り搬送スキット130の速度が0.5[m/sec]で(一定で)ある場合、0.2[sec]の時間隔でフレーム画像を撮像することになる。
そして、フレーム画像を撮像するタイミングになると、画像取得部202は、エリアカメラ150に対してフレーム画像の撮像を指示する信号を出力すると共に、照明装置160a、160bに対して発光を指示する信号を出力する。これらの信号に基づいてエリアカメラ150は、照明装置160によって照明された状態の丸棒鋼Mの一端面を含む領域を、フレーム画像として撮像することができる。
画像取得部202は、このようにしてエリアカメラ150によって撮像されたフレーム画像を取得する。
画像取得部202は、例えば、CPU、ROM、RAM、HDD、及び通信インターフェースを用いることにより実現される。
(仮想円設定部203)
仮想円設定部203は、画像取得部202より、1枚のフレーム画像が取得されると、当該フレーム画像に対して仮想円を設定(配置)する。
図6は、仮想円を設定する方法の一例を示す図である。
図6において、破線は、フレーム画像(の端)を示している。
本実施形態では、まず、フレーム画像の右上端の点601aを中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」の長さを直径とする円を仮想円610aとして設定する。次に、点601aから、y軸の正の方向に、距離D×1/Nだけ移動した点601bを中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」を直径とする円を仮想円610bとして設定する。
このようにして中心の点を、y軸の正の方向に、距離D×1/Nずつ移動させて、点601c、601dを中心とする仮想円610c、610dを順番に設定する。そして、フレーム画像の左上端に最も近い位置を中心とする仮想円610dを設定すると、その仮想円610dの中心の点601dから、z軸の負の方向に、距離D×1/Nだけ移動した点601eを中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」を直径とする円を仮想円610eとして設定する。そして、中心の点を、y軸の負の方向に、距離D×1/Nずつ移動させて、点601f、601g、601hを中心とする仮想円610f、610g、610hを順番に設定する。
そして、フレーム画像の右端に最も近い位置を中心とする仮想円610hを設定すると、その仮想円610hの中心の点601hから、z軸の負の方向に、距離D×1/Nだけ移動した点601iを中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」を直径とする円を仮想円610iとして設定する。以上のような仮想円の設定を、フレーム画像の左下端及び右下端に最も近い位置を中心とする仮想円がそれぞれ設定されるまで繰り返し行う。
ここで、上記距離Dに乗算する(1/N)のNとして、2以上の値が予め設定されている。Nの値を2以上にするのは、Nの値を2未満にすると、隣接する仮想円同士が離れてしまうからである。また、仮想円の数を多くすることができるので、Nの値は大きい方が望ましい。ただし、Nの値を大きくすると、計算時間が長くなるので、計算時間との兼ね合いでNの値を決定する。尚、図2では、表記の都合上、Nの値を2未満としている。
仮想円設定部203は、例えば、CPU、ROM、及びRAMを用いることにより実現される。尚、以下の説明では、特定の位置の仮想円以外の仮想円、及びその中心の点を必要に応じて「仮想円610、中心の点601」と称する。
(輝度総和導出部204)
輝度総和導出部204は、画像取得部202より取得されたフレーム画像の領域のうち、仮想円設定部203により設定された仮想円610の内部に含まれる領域の輝度値の総和を導出することを、仮想円設定部203により設定された仮想円610のそれぞれについて行う。ここで、仮想円610の内部に、フレーム画像が含まれていない領域がある場合、輝度総和導出部204は、当該領域の輝度値を0「ゼロ」として、輝度値の総和を導出する。尚、以下の説明では、フレーム画像の領域のうち、仮想円設定部203により設定された(1つの)仮想円610の内部に含まれる領域の輝度値の総和を必要に応じて「輝度総和」と称する。
図7は、各仮想円610に対応する輝度総和を概念的に示す図である。図7では、実線又は破線で示す直方体で、輝度総和を表している。また、各直方体のy−z平面上の位置は、当該直方体が表す輝度総和に対応する仮想円610の中心の点601の位置である。
輝度総和導出部204は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(中心座標候補選択部205)
中心座標候補選択部205は、輝度総和導出部204により、仮想円設定部203で設定された全ての仮想円610に対応する輝度総和を導出されると、それらの最大値を抽出する。図7に示す例では、実線の直方体が、輝度総和の最大値を表すものである。そして、中心座標候補選択部205は、抽出した輝度総和の最大値を、輝度総和の抽出対象から外す。
次に、中心座標候補選択部205は、最大値を示す輝度総和に対応する仮想円610の周囲の仮想円610から得られた輝度総和の値を消去する。具体的に本実施形態では、最大値を示す輝度総和に対応する仮想円610の中に、他の仮想円610の中心の点601がある場合、当該他の仮想円610から得られた輝度総和の値を消去する。図7に示す例では、破線の直方体が、最大値を示す輝度総和に対応する仮想円610の周囲の仮想円610から得られた輝度総和を表す。
次に、中心座標候補選択部205は、前述したようにして抽出及び消去した輝度総和を除く輝度総和の中から、その最大値を抽出する。そして、中心座標候補選択部205は、その最大値を示す輝度総和に対応する仮想円610の周囲の仮想円610から得られた輝度総和の値を消去する。ここでも、最大値を示す輝度総和に対応する仮想円610の中に、他の仮想円610の中心の点601がある場合、当該他の仮想円610から得られた輝度総和の値を消去する。
中心座標候補選択部205は、このような輝度総和の抽出と消去を、閾値以上の輝度総和がなくなるまで繰り返し行う。そして、中心座標候補選択部205は、抽出した輝度総和に対応する仮想円610の中心の点601の座標を、丸棒鋼Mの一端面の中心の座標の候補として抽出する。尚、以下の説明では、丸棒鋼Mの一端面の中心の座標の候補を必要に応じて「中心座標候補」と称する。
図8は、以上のようにして得られた中心座標候補の一例を示す図である。図8では、十字で示す位置に中心座標候補があることを示している。図8では、フレーム画像に重ねて中心座標候補を示している。
中心座標候補選択部205は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(微分画像生成部206)
微分画像生成部206は、画像取得部202より、1枚のフレーム画像が取得されると、当該フレーム画像の輝度値を微分した値を画素値として有する微分画像を生成する。
図9は、微分画像を生成する方法の一例を説明する図である。
微分画像生成部206は、中心座標候補選択部205で抽出された中心座標候補を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」に所定値αを加算した長さの直径を有する円の中の領域についてのみ、輝度値の微分値を導出し、それ以外の領域の画素値(微分値)を0(ゼロ)とする。図9において、輝度総和導出部204で抽出された中心座標候補901を中心とする円910の中の領域について、輝度値の微分値を導出する。尚、以下の説明では、輝度総和導出部204で抽出された中心座標候補を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」に所定値αを加算した長さの直径を有する円を必要に応じて「微分画像生成対象領域円」と称する。
本実施形態では、処理対象の画素の輝度値から、当該画素から縦方向(例えばz軸の正の方向)に所定の画素数だけ離れた画素の輝度値を引いた値の絶対値を、当該処理対象の画素における、微分画像の縦方向の微分値とする。ただし、このような微分画像の縦方向の微分値のうち、閾値TH以上の値のみを採用する。すなわち、このような微分画像の縦方向の微分値のうち、閾値TH未満の値を、0(ゼロ)とする。
また、処理対象の画素の輝度値から、当該画素から横方向(例えばy軸の負の方向)に所定の画素数だけ離れた画素の輝度値を引いた値の絶対値を、当該処理対象の画素における、微分画像の横方向の微分値とする。ただし、このような微分画像の横方向の微分値のうち、閾値TH以上の値のみを採用する。すなわち、このような微分画像の横方向の微分値のうち、閾値TH未満の値を、0(ゼロ)とする。
図9において、処理対象の画素920における、微分画像の縦方向の微分値は、画素920の輝度値から画素921の輝度値を引いた値の絶対値となる。また、処理対象の画素920における、微分画像の横方向の微分値は、画素920の輝度値から画素922の輝度値を引いた値の絶対値となる。図9に示す例では、所定の画素数は「2」となる。以上のように、本実施形態では、微分画像の画素値(微分値)は、縦方向の値と、横方向の値を有する。
図9に示す波形930は、横方向における各画素の輝度値を示すものであり、画素920のところで、輝度値が急激に大きくなる様子を示している。図9に示す波形940は、波形930の微分値を示すものであり、画素920における、微分画像の横方向の微分値が、閾値TH以上になっていることを示している。
以上のようにして微分画像を生成した際に、微分画像の画素値(微分値)として閾値TH以上の画素値を有する画素の、縦方向及び横方向における間隔が、長尺物情報に含まれる「丸棒鋼Mの直径D」の2倍以上ある場合、微分画像生成部206は、次のようにして画素値(微分値)を補間する。
図10は、微分画像における画素値の補間の一例を示す図である。
図10に示す例では、微分画像の画素値(微分値)として閾値TH以上の画素値を有する画素の、横方向における間隔Lが、長尺物情報に含まれる「丸棒鋼Mの直径D」の2倍以上ある場合(L≧2×Dである場合)を示している。
このような場合、微分画像生成部206は、閾値TH以上の画素値を有する2つの画素の、横方向における真ん中の画素の横方向の画素値(微分値)として、それら2つの画素の横方向の画素値(微分値)の算術平均値を導出する。
微分画像生成部206は、縦方向についても、このような横方向と同じ処理を行うことにより、閾値TH以上の画素値を有する2つの画素の、横方向における真ん中の画素の縦方向の画素値(微分値)として、それら2つの画素の縦方向の画素値(微分値)の算術平均値を導出する。
このようにして微分画像の画素値を補間することによって、複数の丸棒鋼Mが接触しながら横送り搬送されている場合であっても、微分画像から個々の丸棒鋼Mを分離することが可能になる。
微分画像生成部206は、以上のような微分画像の生成を、微分画像生成対象領域円(図9に示す円910)のそれぞれについて個別に行う。
微分画像生成部206は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(微分中心座標導出部207)
微分中心座標導出部207は、微分画像生成部206により生成された微分画像のうち、1つの微分画像生成対象領域円の中の領域の画素値(微分値)を抽出する。前述したように、微分画像の画素値(微分値)は、縦方向の値と、横方向の値を有する。中心座標探索部208は、このようにして抽出した微分画像生成対象領域円の中の領域の画素値(微分値)から、丸棒鋼Mの一端面の中心の座標を、丸棒鋼Mの一端面の中心の座標の他の候補として導出する。尚、以下の説明では、微分画像から導出される「丸棒鋼Mの一端面の中心の座標」を必要に応じて「微分中心座標」と称する。
図11は、微分中心座標を導出する方法の一例を説明する図である。
図11において、微分中心座標導出部207は、横方向の画素値(微分値)として、閾値TH(図9、図10を参照)以上の画素値(微分値)を有する画素からなる領域1101a、1101bの二等分点1102a、1102bを導出する。そして、微分中心座標導出部207は、導出したそれら二等分点1102a、1102bを相互に繋いで得られる線(すなわち、領域1101a、1101bの二等分線1103)を導出する。
また、微分中心座標導出部207は、縦方向の画素値(微分値)として、閾値TH以上の画素値(微分値)を有する画素からなる領域1111a、1111bの二等分点1112a、1112bを導出する。そして、中心座標探索部208は、導出したそれら二等分点1112a、1112bを相互に繋いで得られる線(すなわち、領域1111a、1111bの二等分線1113)を導出する。
次に、微分中心座標導出部207は、二等分線1103、1113の交点の座標を微分中心座標1100として導出する。微分中心座標導出部207は、このような微分中心座標1100の導出を、微分画像生成対象領域円のそれぞれについて個別に行う。
図12は、以上のようにして得られた微分中心座標の一例を示す図である。図12では、十字で示す位置に中心座標候補があることを示している。図12では、図8に示すフレーム画像から導出した微分画像に重ねて微分中心座標を示している。図8に示す例では、丸棒鋼Mの側面にも中心座標候補が得られているが、図12に示すように、この中心座標候補に対応する位置に微分中心座標が得られていない(図8、図12の楕円で囲まれている領域を参照)。
微分中心座標導出部207は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(中心座標探索部208)
中心座標探索部208は、全ての微分画像生成対象領域円から微分中心座標導出部207により微分中心座標が導出されると、中心座標候補の近傍に微分中心座標があるか否かを判定する。言い換えると、中心座標探索部208は、中心座標候補との間の距離が閾値未満である微分中心座標があるか否かを判定する。
この判定の結果、微分中心座標と中心座標候補との間の距離が閾値未満であり、中心座標候補の近傍に中心座標があると判定すると、中心座標探索部208は、当該中心座標候補に最も近い位置の微分中心座標に、当該中心座標候補を修正し、修正した中心座標候補を、丸棒鋼Mの一端面の中心の座標として設定する。本実施形態では、このようにして、中心座標候補との間の距離が閾値未満である微分中心座標を、丸棒鋼Mの一端面の中心の座標として設定する。尚、以下の説明では、このようにして導出される「丸棒鋼Mの一端面の中心の座標」を必要に応じて「中心座標」と称する。
そして、中心座標探索部208は、この中心座標を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」の長さを直径とする円を、丸棒鋼Mの一端面の輪郭の領域として導出する。
図13は、中心座標を設定する方法の一例を説明する図である。
図13に示す例では、中心座標候補1301の近傍に微分中心座標1302があるので、中心座標候補1301を微分中心座標1302に修正し(図13の上図を参照)、中心座標1303を設定する(図13の下図を参照)。そして、この中心座標1303を中心とする、直径Dの円1304を、丸棒鋼Mの一端面の輪郭の領域として導出する。
一方、この判定の結果、微分中心座標と中心座標候補との間の距離が閾値未満でなく、中心座標候補の近傍に中心座標がないと判定すると、中心座標探索部208は、当該中心座標候補を消去する。
中心座標探索部208は、このような中心座標の設定と、中心座標候補の消去を、全ての中心座標候補について個別に行う。
図14は、以上のようにして導出された、丸棒鋼Mの一端面の輪郭の領域1401〜1403の一例を示す図である。尚、図14に示している数字「5」、「6」、「7」は、丸棒鋼Mを区別するために付したものである。
図8と図12を参照しながら前述したように、丸棒鋼Mの側面には中心座標候補が得られるが、この中心座標候補に対応する位置に微分中心座標が得られないので、図14に示すように、この位置には、丸棒鋼Mの一端面の輪郭の領域が設定されない(図14の楕円で囲まれている領域を参照)。
中心座標探索部208は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
図12を参照しながら前述したように、中心座標探索部208で導出された微分中心座標が、丸棒鋼Mの側面の位置に設定される可能性は低いが、0(ゼロ)ではない。例えば、図12において、図12の楕円で囲まれている領域内の輝度値によっては、当該領域内に微分中心座標が設定されることもあり得る。そこで、本実施形態では、微分値判定部209及び面積判定部210により、丸棒鋼Mの側面の位置に設定されている中心座標を消去する。
(微分値判定部209)
微分値判定部209は、微分画像生成部206で生成された微分画像の領域のうち、中心座標探索部208により導出された中心座標を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」の長さを直径とする円の中の領域に、閾値TH以上の画素値(微分値)を有する画素の数が設定値以上あるか否かを判定する。
そして、この判定の結果、閾値TH以上の画素値(微分値)を有する画素の数が設定値以上ある場合、微分値判定部209は、当該中心座標を消去する。
前述したように、フレーム画像において、丸棒鋼Mの一端面の領域の輝度値は飽和しているので、この領域では、多くの微分値は得られないはずである。したがって、微分画像の領域のうち、中心座標を中心とする直径Dの円の中の領域に、閾値TH以上の画素値(微分値)を有する画素の数が設定値以上ある場合、微分値判定部209は、当該中心座標が、丸棒鋼Mの側面の領域の反射により誤検出されたものと判断し、当該中心座標を消去する。
微分値判定部209は、このような判定と中心座標の消去を、中心座標探索部208により導出された中心座標のそれぞれについて個別に行う。
微分値判定部209は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(面積判定部210)
面積判定部210は、画像取得部202で取得されたフレーム画像の領域のうち、中心座標探索部208により導出された中心座標を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」の長さを直径とする円の中の領域に、輝度値が閾値未満の画素の数が設定値以上あるか否かを判定する。
そして、この判定の結果、輝度値が閾値未満の画素の数が設定値以上ある場合、面積判定部210は、当該中心座標を消去する。
前述したように、フレーム画像において、丸棒鋼Mの一端面の領域の輝度値は飽和しているので、この領域では、閾値未満の輝度値を有する画素の数は少ないはずである。したがって、微分画像の領域のうち、中心座標を中心とする直径Dの円の中の領域に、輝度値が閾値未満の画素の数が設定値以上ある場合、面積判定部210は、当該中心座標が、丸棒鋼Mの側面の領域の反射により誤検出されたものと判断し、当該中心座標を消去する。
面積判定部210は、このような判定と中心座標の消去を、中心座標探索部208により導出された中心座標のうち、微分値判定部209により消去されていない中心座標のそれぞれについて個別に行う。
面積判定部210は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
以上のようにして、画像取得部202により取得された1つのフレーム画像から、丸棒鋼Mの一端面の中心の座標(中心座標)が得られる。このような中心座標の導出が、画像取得部202でフレーム画像が取得される度に行われる。
(中心座標一致判定部211)
中心座標一致判定部211は、以上のようにして中心座標が導出されると起動する。
図15は、中心座標を探索する際の基本となる処理の一例を説明する図である。
図15に示す1枚目のフレーム画像の領域1501、1502、1503において、それぞれ中心座標A、B、Cが得られたとする(図15の一番上の図を参照)。前述したように、本実施形態では、領域1501、1502、1503の横方向の長さは100[mm]であり、且つ、フレーム画像は、丸棒鋼Mが100[mm]横送り搬送される(と想定される)タイミングで繰り返し撮像される。よって、2枚目のフレーム画像においては、1枚目のフレーム画像の領域1502内の中心座標Bは、領域1501に位置することになる。このとき、丸棒鋼Mが、横送り搬送スキット130上で動かなければ、1枚目のフレーム画像の領域1502内での中心座標Bの位置と、2枚目のフレーム画像の領域1501内での中心座標Bの位置との関係は、同じになる(図15の上から1番目と2番目の図を参照)。同様に、1枚目のフレーム画像の領域1503内での中心座標Cの位置と、2枚目のフレーム画像の領域1502内での中心座標Cの位置との関係も、同じになる(図15の上から1番目と2番目の図を参照)。さらに、2枚目のフレーム画像の領域1502内での中心座標Cの位置と、3枚目のフレーム画像の領域1501内での中心座標Cの位置との関係も、同じになる(図15の上から2番目と3番目の図を参照)。
そこで、中心座標一致判定部211は、現在のフレーム画像(2枚目のフレーム画像)の最下流の領域1501と中間の領域1502のそれぞれについて、1つ前のフレーム画像(1枚目のフレーム画像)の当該領域1501、1502よりも1つ上流側の領域1502、1503内に、当該領域1501、1502内の中心座標(中心座標B、C)と、領域内における相対的な位置関係が同じである中心座標があるか否かを判定する。
中心座標一致判定部211は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(揺れ判定部212)
揺れ判定部212は、中心座標一致判定部211によって、1つ前のフレーム画像の、現在のフレーム画像の領域よりも1つ上流側の領域内に、当該現在のフレーム画像の領域内の中心座標と、領域内における相対的な位置関係が同じである中心座標がないと判定されると起動する。
図16は、同一の領域内で、中心座標が横方向(y軸方向)にずれているかどうかを判定する処理の一例を説明する図である。
図2に示したように、本実施形態では、横送り搬送スキット130の表面の形状は、波状となっている。よって、横送り搬送スキット130により搬送されているときに丸棒鋼Mが左右に揺れることがある。このように丸棒鋼Mが左右に揺れると、図16に示すように、現在のフレーム画像(3枚目のフレーム画像)内の領域1501内での中心座標Cの位置と、1つ前のフレーム画像(2枚目のフレーム画像)内の領域1502内での中心座標Cの位置とがy軸方向でずれることになる。
そこで、揺れ判定部212は、現在のフレーム画像(3枚目のフレーム画像)の最下流の領域1501と中間の領域1502のそれぞれについて、次の処理を行う。
まず、現在のフレーム画像(3枚目のフレーム画像)の領域1501、1502内の位置であって、1つ前のフレーム画像(2枚目のフレーム画像)の当該領域1501、1502よりも1つ上流側の領域1502、1503内の中心座標(中心座標B、C)と、領域内における相対的な位置関係が同じになる位置に仮想中心座標を設定する(図16の座標1601を参照)。次に、この仮想中心座標を中心として、横方向(y軸方向)に、所定の範囲を設定する(図16の範囲1602を参照)。そして、この所定の範囲内に、中心座標があるか否かを判定する。
ここで、本実施形態では、所定の範囲の横方向の長さは、長尺物情報に含まれる「丸棒鋼Mの直径D」の例えば1.6倍の長さであるものとする。この長さは、種々の状況で横送り搬送された種々の鋼材について取得したフレーム画像を調査した結果に基づいて適宜決定できる。
揺れ判定部212は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(転がり判定部213)
転がり判定部213は、揺れ判定部212によって、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に設定された仮想中心座標を中心とした所定の範囲内に、中心座標がないと判定されると起動する。
図17は、隣接する領域まで、中心座標が横方向(y軸方向)にずれているかどうかを判定する処理の一例を説明する図である。
極稀にではあるが、横送り搬送スキット130により搬送されている丸棒鋼Mが左右に転がり、数十[mm]〜100[mm]程度左右に転がる可能性がある。このように丸棒鋼Mが左右に転がると、図17に示すように、1つ前のフレーム画像(2枚目のフレーム画像)では、領域1502内にあった中心座標Cが、現在のフレーム画像(3枚目のフレーム画像)では、当該領域1502と、その1つ上流側の領域1501とに跨った位置に存在することがある。
そこで、転がり判定部213は、現在のフレーム画像(3枚目のフレーム画像)の最下流の領域1501と中間の領域1502のそれぞれについて、次の処理を行う。
まず、現在のフレーム画像(3枚目のフレーム画像)の領域1501、1502内の位置であって、1つ前のフレーム画像(2枚目のフレーム画像)の当該領域1501、1502よりも1つ上流側の領域1502、1503内の中心座標(中心座標B、C)と、領域内における相対的な位置関係が同じになる位置に仮想中心座標を設定する(図17の座標1701を参照)。次に、この仮想中心座標を中心として、横方向(y軸方向)に、所定の範囲を設定する(図17の範囲1702を参照)。そして、この所定の範囲内に、中心座標があるか否かを判定する。
ここで、本実施形態では、所定の範囲の横方向の長さは、長尺物情報に含まれる「丸棒鋼Mの直径D」の例えば2倍の長さであるものとする。この長さは、種々の状況で横送り搬送された種々の鋼材について取得したフレーム画像を調査した結果に基づいて適宜決定できる。
転がり判定部213は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(中心座標更新部214)
中心座標更新部214は、中心座標記憶部215に記憶されている中心座標を更新する。本実施形態では、以下の3つの場合に、中心座標が更新される。
第1に、中心座標一致判定部211によって、1つ前のフレーム画像の、現在のフレーム画像の領域よりも1つ上流側の領域内に、当該現在のフレーム画像の領域内の中心座標と、領域内における相対的な位置関係が同じである中心座標があると判定されると、1つ前のフレームの当該中心座標を、現在のフレームの当該中心座標に更新する。図15に示す例において、現在のフレーム画像が3枚目のフレーム画像であるとする。この場合、1つ前のフレーム画像である2枚目のフレーム画像の領域1502(現在のフレーム画像の領域よりも1つ上流側の領域)の中心座標Cが、3枚目のフレーム画像の領域1501の中心座標Cに更新される。
第2に、揺れ判定部212によって、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に設定された仮想中心座標を中心とした所定の範囲内に、1つ前のフレームの当該中心座標を、現在のフレームの当該中心座標に更新する。図16に示す例において、現在のフレーム画像が3枚目のフレーム画像であるとする。この場合、3枚目のフレーム画像において、仮想中心座標1601を中心とした所定の範囲1602内に中心座標Cがある。よって、1つ前のフレーム画像である2枚目のフレーム画像の領域1502(現在のフレーム画像の領域よりも1つ上流側の領域)の中心座標Cが、3枚目のフレーム画像の領域1501の中心座標Cに更新される。
第3に、転がり判定部213によって、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に設定された仮想中心座標を中心とした所定の範囲内に、1つ前のフレームの当該中心座標を、現在のフレームの当該中心座標に更新する。図17に示す例において、現在のフレーム画像が3枚目のフレーム画像であるとする。この場合、3枚目のフレーム画像において、仮想中心座標1701を中心とした所定の範囲1702内に中心座標Cがある。よって、1つ前のフレーム画像である2枚目のフレーム画像の領域1502(現在のフレーム画像の領域よりも1つ上流側の領域)の中心座標Cが、3枚目のフレーム画像の領域1501の中心座標Cに更新される。
尚、前述したように、本実施形態では、現在のフレーム画像の最上流の領域1503と真ん中の領域1502にある中心座標であって、以上のようにして行われる更新に関わらない中心座標が、現在のフレーム画像において新たに出現した中心座標となる。
また、中心座標更新部214は、現在のフレーム画像の中心座標のうち、中心座標の更新に関わらない中心座標を中心座標記憶部215に記憶する。最初のフレーム画像については、全ての中心座標が中心座標の更新に関わらないので、当該全ての中心座標を中心座標記憶部215に記憶する。その次以降のフレーム画像については、新たに導出された(出現した)中心座標は、中心座標の更新に関わらないので、当該新たに導出された(出現した)中心座標を中心座標記憶部215に記憶する。
中心座標更新部214は、例えば、CPU、ROM、及びRAMを用いることにより実現される。また、中心座標記憶部215は、例えば、RAMを用いることにより実現される。
(再進入判定部216)
再進入判定部216は、転がり判定部213によって、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に設定された仮想中心座標を中心とした所定の範囲内に、中心座標がないと判定されると起動する。
図18は、フレーム画像から消えた中心座標が、再びフレーム画像に現れたかどうかを判定する処理の一例を説明する図である。
前述したように、本実施形態では、領域1501、1502、1503の横方向の長さは100[mm]であり、且つ、フレーム画像は、丸棒鋼Mが100[mm]横送り搬送される(と想定される)タイミングで繰り返し撮像される。よって、図18において、1つ前のフレーム画像(3枚目のフレーム画像)で、領域1501内にあった中心座標Cは、現在のフレーム画像(4枚目のフレーム画像)では消えるはずである。
しかしながら、前述したように、横送り搬送スキット130により搬送されている丸棒鋼Mが左右に転がり、数十[mm]〜100[mm]程度左右に転がる可能性がある。このように丸棒鋼Mが左右に転がると、図18に示すように、1つ前のフレーム画像(3枚目のフレーム画像)で、領域1501内にあった中心座標Cが、現在のフレーム画像(4枚目のフレーム画像)の領域1501に表れることがある。
そこで、再進入判定部216は、現在のフレーム画像における処理対象の中心座標が既に消去した中心座標であるか否かを判定する。例えば、現在のフレーム画像における最下流の領域1501内にある中心座標のうち、中心座標更新部214により中心座標記憶部215に記憶されなかった中心座標を、現在のフレーム画像における処理対象の中心座標が既に消去した中心座標であると判定する。この判定の結果、現在のフレーム画像における処理対象の中心座標が既に消去した中心座標である場合、再進入判定部216は、当該処理対象の中心座標への中心座標の更新を行わずに当該処理対象の中心座標を消去する。
再進入判定部216は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(本数計数部217)
本数計数部217は、現在のフレーム画像に対して導出された中心座標の全てについて、以上の処理が終了すると、中心座標記憶部215に記憶されている中心座標のうち、未更新の中心座標の数を、当該フレーム画像から消えた丸棒鋼Mの数として計数すると共に、当該未更新の中心座標を中心座標記憶部215から消去する。
図19は、各フレーム画像において計数される丸棒鋼Mの数の一例を示す図である。図19のフレーム画像「1」、「2」、「3」、「4」は、それぞれ、図15に示している1枚目のフレーム画像、2枚目のフレーム画像、3枚目のフレーム画像、4枚目のフレーム画像に対応するものである。
図15に示す例において、2枚目のフレーム画像から中心座標Aが消失する。よって、2枚目のフレーム画像においては、中心座標B、Cの更新が行われるが、中心座標Aについての更新が行われない。したがって、図19に示すように、2枚目のフレーム画像の処理で、丸棒鋼Mの数として「1」が計数される(図19のAの行に示す「×」と「1」を参照)。同様に、3枚目、4枚目のフレーム画像から、それぞれ中心座標B、Cが消失する。よって、3枚目、4枚目のフレーム画像においては、それぞれ、中心座標B、Cについての更新が行われない。したがって、図19に示すように、3枚目、4枚目のフレーム画像の処理で、丸棒鋼Mの数としてそれぞれ「1」が計数される(図19のB、Cの行に示す「×」と「1」を参照)。
本数計数部217は、以上の処理を、計数対象の丸棒鋼Mの全てがエリアカメラ150の有効視野から外れるまでの全てのフレーム画像について個別に行い、それぞれのフレーム画像において計数した丸棒鋼Mの数の総和を、計数対象の丸棒鋼Mの総数として導出する。図19に示す例では、丸棒鋼Mの数の総和として「3」が導出される。
本数計数部217は、例えば、CPU、ROM、及びRAMを用いることにより実現される。
(本数出力部218)
本数出力部218は、本数計数部217により導出された丸棒鋼Mの総数に基づく本数表示情報を生成して出力する。
例えば、本数出力部218は、長尺物情報に含まれている丸棒鋼Mの総数と、本数計数部217により導出された丸棒鋼Mの総数とが一致していない場合に、アラームを出力することができる。
また、本数出力部218は、本数計数部217により導出された丸棒鋼Mの総数を出力することができる。このとき、長尺物情報に含まれている丸棒鋼Mの総数を合わせて出力することができる。さらに、本数出力部218は、各フレーム画像から中心座標探索部208によって導出された丸棒鋼Mの一端面の輪郭と、各フレーム画像に対する処理で本数計数部217によって中心座標記憶部215から消去された中心座標とに基づいて、各丸棒鋼Mの一端面の輪郭を示す画像を生成して出力することができる。例えば、中心座標記憶部215から消去された中心座標に対応する各丸棒鋼Mの一端面の輪郭を示す画像がフレーム画像の領域内で動く様子を示す画像を生成して出力することができる。図20は、各丸棒鋼Mの一端面の輪郭の画像の一例を示す図である。
尚、丸棒鋼Mの総数に基づく情報であれば、本数表示情報は、前述した情報以外の情報であってもよい。また、出力の形態は、表示、発音の他に、可搬型の記憶媒体への記憶や、外部装置への送信であってもよい。
本数出力部218は、例えば、CPU、ROM、RAM、及び出力形態に応じてインターフェースを用いることにより実現される。
<動作フローチャート>
次に、図21−1〜図21−4のフローチャートを参照しながら、長尺物本数計数装置200の動作の一例を説明する。
まず、図21−1のステップS2101において、長尺物情報取得部201は、上位計算機から長尺物情報を取得する。長尺物情報には、横送り搬送される丸棒鋼Mの総数と、当該丸棒鋼Mの直径Dの情報とが含まれる。
次に、ステップS2102において、画像取得部202は、フレーム画像を取得するタイミングになるまで待機する。本実施形態では、丸棒鋼Mが100[mm]横送り搬送される度に、フレーム画像を撮像する。
そして、フレーム画像を取得するタイミングになると、ステップS2103に進む。ステップS2103に進むと、画像取得部202は、エリアカメラ150に対してフレーム画像の撮像を指示する信号を出力すると共に、照明装置160a、160bに対して発光を指示する信号を出力する。画像取得部202は、このようにしてエリアカメラ150によって撮像されたフレーム画像を取得する(図4を参照)。
次に、ステップS2104において、仮想円設定部203は、ステップS2103で取得されたフレーム画像に対して仮想円を、その初期位置に設定する。本実施形態では、フレーム画像の右上端の点601aが、初期位置となる(図6を参照)。
次に、ステップS2105において、輝度総和導出部204は、ステップS2103で取得されたフレーム画像の領域のうち、ステップS2103で設定された仮想円610の内部に含まれる領域の輝度値の総和(輝度総和)を導出する。
次に、ステップS2106において、仮想円設定部203は、ステップS2103で取得したフレーム画像に対して設定し得る全ての仮想円を設定したか否かを判定する。
この判定の結果、ステップS2103で取得したフレーム画像に対して設定し得る全ての仮想円を設定していない場合には、ステップS2107に進む。
ステップS2107に進むと、仮想円設定部203は、仮想円610の位置を変更する(図6を参照)。
そして、ステップS2108に進み、輝度総和導出部204は、ステップS2107で変更された仮想円610の内部に含まれる領域の輝度値の総和(輝度総和)を導出する。
以上のようにしてステップS2106において、ステップS2103で取得したフレーム画像に対して設定し得る全ての仮想円を設定したと判定されると、ステップS2108に進む。
ステップS2108に進むと、中心座標候補選択部205は、ステップS2105で導出された輝度総和の最大値を抽出する(図7に示す実線の直方体を参照)。そして、中心座標候補選択部205は、抽出した輝度総和の最大値を、輝度総和の抽出対象から外す。
次に、ステップS2109において、中心座標候補選択部205は、ステップS2108で抽出した輝度総和の最大値に対応する仮想円610の周囲の仮想円610から得られた輝度総和の値を消去する(図7に示す破線の直方体を参照)。
次に、ステップS2110において、中心座標候補選択部205は、抽出対象の輝度総和の中に、閾値以上の輝度総和がなくなったか否かを判定する。
この判定の結果、閾値以上の輝度総和がなくなっていない場合には、ステップS2111に進む。ステップS2111に進むと、中心座標候補選択部205は、ステップS2108で既に抽出された輝度総和と、ステップS2109で既に消去された輝度総和を除く輝度総和の中から、輝度総和の最大値を抽出する。そして、中心座標候補選択部205は、抽出した輝度総和の最大値を、輝度総和の抽出対象から外す。
そして、ステップS2109に進み、中心座標候補選択部205は、ステップS2109で抽出した輝度総和の最大値に対応する仮想円610の周囲の仮想円610から得られた輝度総和の値を消去する。
以上のようにしてステップS2110において、閾値以上の輝度総和がなくなったと判定されると、ステップS2112に進む。ステップS2112に進むと、中心座標候補選択部205は、ステップS2108、S2111で抽出した輝度総和に対応する仮想円610の中心の点601の座標を、丸棒鋼Mの一端面の中心の座標の候補(中心座標候補)として抽出する(図8の十字を参照)。
次に、図21−2のステップS2113において、微分画像生成部206は、ステップS2112で抽出された中心座標候補のうち未選択のものを1つ選択する。
次に、ステップS2114において、微分画像生成部206は、ステップS2113で抽出された中心座標候補を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」に所定値αを加算した長さの直径を有する円(微分画像生成対象領域円)の中の領域のそれぞれの画素について、縦方向及び横方向の微分値を導出する(図9を参照)。
次に、ステップS2115において、微分中心座標導出部207は、ステップS2114により導出された、微分画像生成対象領域円の中のそれぞれの画素についての、縦方向及び横方向の微分値に基づいて、微分中心座標1100を導出する(図11、図12の十字を参照)。尚、全ての中心座標候補に対するステップS2115の処理を合成することで微分画像が生成される。
次に、微分画像生成部206は、ステップS2112で抽出された中心座標候補の全てを選択したか否かを判定する。この判定の結果、ステップS2112で抽出された中心座標候補の全てを選択していない場合には、ステップS2113に戻る。そして、ステップS2112で抽出された全ての中心座標候補に対応する微分中心座標1100が導出されるまで、ステップS2113〜S2116の処理を繰り返し行う。
以上のようにしてステップS2112で抽出された全ての中心座標候補に対応する微分中心座標1100が導出されると、ステップS2117に進む。
ステップS2117に進むと、中心座標探索部208は、ステップS2112で抽出された中心座標候補のうち未選択のものを1つ選択する。
次に、ステップS2118において、中心座標探索部208は、ステップS2117で選択した中心座標候補の近傍に微分中心座標があるか否かを判定する。
この判定の結果、ステップS2117で選択した中心座標候補の近傍に微分中心座標がある場合には、ステップS2119に進む。ステップS2119に進むと、中心座標探索部208は、ステップS2117で選択した中心座標候補に最も近い位置の微分中心座標に、当該中心座標候補を修正し、修正した中心座標候補を、丸棒鋼Mの一端面の中心の座標(中心座標)として設定する(図13の中心座標候補1301、微分中心座標1302、中心座標1303を参照)。そして、後述するステップS2121に進む。
一方、ステップS2117で選択した中心座標候補の近傍に微分中心座標がない場合には、ステップS2120に進む。ステップS2120に進むと、中心座標探索部208は、ステップS2117で選択した中心座標候補を消去する。そして、ステップS2121に進む。
ステップS2121に進むと、中心座標探索部208は、ステップS2112で抽出された中心座標候補を全て選択したか否かを判定する。この判定の結果、ステップS2112で抽出された中心座標候補を選択していない場合には、ステップS2117に戻る。そして、ステップS2112で抽出された全ての中心座標候補に対する中心座標の設定又は当該中心座標候補の削除が終わるまで、ステップS2117〜S2121の処理を繰り返し行う。
以上のようにしてステップS2112で抽出された全ての中心座標候補に対する中心座標の設定又は中心座標候補の削除が終わると、ステップS2122に進む。ステップS2122に進むと、微分値判定部209は、ステップS2119で設定された中心座標のうち未選択のものを1つ選択する。
次に、ステップS2123において、微分値判定部209は、ステップS2114で導出された微分画像の領域のうち、ステップS2122で選択された中心座標を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」の長さを直径とする円の中の領域に、閾値TH以上の画素値(微分値)を有する画素の数が設定値以上あるか否かを判定する。
この判定の結果、閾値TH以上の画素値(微分値)を有する画素の数が設定値以上ない場合には、ステップS2124を省略して後述するステップS2125に進む。
一方、閾値TH以上の画素値(微分値)を有する画素の数が設定値以上ある場合には、ステップS2124に進む。ステップS2124に進むと、微分値判定部209は、ステップS2122で選択した中心座標を消去する。そして、ステップS2125に進む。
以上のようにしてステップS2125に進むと、微分値判定部209は、ステップS2119で設定された中心座標を全て選択したか否かを判定する。この判定の結果、ステップS2119で設定された中心座標を全て選択していない場合には、ステップS2122に戻る。
そして、ステップS2119で設定された全ての中心座標に対する消去の要否の判定と消去が終わるまで、ステップS2122〜S2125の処理を繰り返し行う。
以上のようにしてステップS2119で設定された全ての中心座標に対する消去の要否の判定と消去が終わると、図21−3のステップS2126に進む。
図21−3のステップS2126に進むと、面積判定部210は、ステップS2119で設定された中心座標であって、ステップS2124で消去された中心座標を除く中心座標のうち、未選択のものを1つ選択する。
次に、ステップS2127において、面積判定部210は、ステップS2103で取得されたフレーム画像の領域のうち、ステップS2126で選択された中心座標を中心とする円であって、長尺物情報に含まれる「丸棒鋼Mの直径D」の長さを直径とする円の中の領域に、輝度値が閾値未満の画素の数が設定値以上あるか否かを判定する。
この判定の結果、輝度値が閾値未満の画素の数が設定値以上ない場合には、ステップS2128を省略して後述するステップS2129に進む。
一方、輝度値が閾値未満の画素の数が設定値以上ある場合には、ステップS2128に進む。ステップS2128に進むと、面積判定部210は、ステップS2126で選択された中心座標を消去する。そして、ステップS2129に進む。
ステップS2129に進むと、面積判定部210は、ステップS2119で設定された中心座標であって、ステップS2124で消去された中心座標を除く中心座標を全て選択したか否かを判定する。この判定の結果、ステップS2119で設定された中心座標であって、ステップS2124で消去された中心座標を除く中心座標を全て選択していない場合には、ステップS2126に戻る。
そして、ステップS2119で設定された中心座標のうち、ステップS2124で消去された中心座標を除く全ての中心座標に対する消去の要否の判定と消去が終わるまで、ステップS2126〜S2129の処理を繰り返し行う。
以上のようにしてステップS2119で設定された中心座標のうち、ステップS2124で消去された中心座標を除く全ての中心座標に対する消去の要否の判定と消去が終わると、ステップS2130に進む。
ステップS2130に進むと、中心座標一致判定部211は、ステップS2103で取得されたフレーム画像(現在のフレーム画像)に対して導出された中心座標のうち未選択のものを1つ選択する。
次に、ステップS2131において、中心座標一致判定部211は、1つ前のフレーム画像の、ステップS2130で選択した中心座標が属する領域よりも1つ上流側の領域内に、ステップS2130で選択した中心座標が属する領域内の中心座標と、領域内における相対的な位置関係が同じである中心座標があるか否かを判定する。例えば、図15において、1つ前のフレームの画像は、1枚目のフレーム画像に対応し、ステップS2131で選択した中心座標は、2枚目のフレーム画像の中心座標Bに対応し、ステップS2131で選択した中心座標が属する領域よりも1つ上流側の領域は、1枚目のフレーム画像の領域1502に対応する。
この判定の結果、1つ前のフレーム画像の、ステップS2130で選択した中心座標が属する領域よりも1つ上流側の領域内に、ステップS2130で選択した中心座標が属する領域内の中心座標と、領域内における相対的な位置関係が同じである中心座標がない場合には、後述するステップS2134に進む。
一方、1つ前のフレーム画像の、ステップS2130で選択した中心座標が属する領域よりも1つ上流側の領域内に、ステップS2130で選択した中心座標が属する領域内の中心座標と、領域内における相対的な位置関係が同じである中心座標がある場合には、ステップS2132に進む。ステップS2132に進むと、中心座標更新部214は、中心座標記憶部215に記憶されている1つ前のフレームの当該中心座標を、現在のフレームの当該中心座標に更新する。
次に、ステップS2133において、中心座標更新部214は、ステップS2103で取得されたフレーム画像(現在のフレーム画像)に対して導出された中心座標の全てを選択したか否かを判定する。この判定の結果、ステップS2103で取得されたフレーム画像(現在のフレーム画像)に対して導出された中心座標の全てを選択していない場合には、ステップS2131に戻る。一方、ステップS2103で取得されたフレーム画像(現在のフレーム画像)に対して導出された中心座標の全てを選択した場合には、図21−4のステップS2139に進む。
ステップS2131の判定の結果、1つ前のフレーム画像の、ステップS2130で選択した中心座標が属する領域よりも1つ上流側の領域内に、ステップS2130で選択した中心座標が属する領域内の中心座標と、領域内における相対的な位置関係が同じである中心座標がない場合には、ステップS2134に進む。ステップS2134に進むと、揺れ判定部212は、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に仮想中心座標1601を設定すると共に、この仮想中心座標1601を中心として、横方向(y軸方向)に、所定の範囲1602を設定し、この所定の範囲1602内に、中心座標があるか否かを判定する(図16を参照)。
この判定の結果、所定の範囲1602内に、中心座標がある場合には、ステップS2132に進む。ステップS2132に進むと、中心座標更新部214は、中心座標記憶部215に記憶されている1つ前のフレームの当該中心座標を、現在のフレームの当該中心座標に更新する。
一方、所定の範囲1602内に、中心座標がない場合には、ステップS2135に進む。ステップS2135に進むと、転がり判定部213は、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に仮想中心座標1701を設定すると共に、この仮想中心座標1701を中心として、横方向(y軸方向)に、所定の範囲1702を設定し、この所定の範囲1702内に、中心座標があるか否かを判定する(図17を参照)。
この判定の結果、所定の範囲1702内に、中心座標がある場合には、ステップS2132に進む。ステップS2132に進むと、中心座標更新部214は、中心座標記憶部215に記憶されている1つ前のフレームの当該中心座標を、現在のフレームの当該中心座標に更新する。
一方、所定の範囲1702内に、中心座標がない場合には、ステップS2136に進む。ステップS2136に進むと、再進入判定部216は、ステップS2130で選択した中心座標が既に消去した中心座標であるか否かを判定する。この判定の結果、ステップS2130で選択した中心座標が既に消去した中心座標である場合には、ステップS2137に進む。ステップS2137に進むと、再進入判定部216は、ステップS2130で選択した中心座標を消去する。そして、前述したステップS2133に進み、中心座標更新部214は、ステップS2103で取得されたフレーム画像(現在のフレーム画像)に対して導出された中心座標の全てを選択したか否かを判定する。
一方、ステップS2136の判定の結果、ステップS2130で選択した中心座標が既に消去した中心座標でない場合には、ステップS2138に進む。ステップS2138に進んだ場合、ステップS2130で選択した中心座標は、更新に関わるものでも、既に消去したものでもないので、新たに出現した中心座標となる。そこで、中心座標更新部214は、ステップS2130で選択された中心座標を中心座標記憶部215に記憶する。
以上のようにして、ステップS2133において、ステップS2103で取得されたフレーム画像(現在のフレーム画像)に対して導出された中心座標の全てを選択したと判定されると、図21−4のステップS2139に進む。
ステップS2139に進むと、本数計数部217は、中心座標記憶部215に記憶されている中心座標に、未更新の中心座標があるか否かを判定する。この判定の結果、未更新の中心座標がない場合には、ステップS2140、S2141の処理を省略して後述するステップS2142に進む。
一方、未更新の中心座標がある場合には、ステップS2140に進む。ステップS2140に進むと、本数計数部217は、中心座標記憶部215に記憶されている中心座標のうち、未更新の中心座標の数を、当該フレーム画像から消えた丸棒鋼Mの数(本数)として計数する。
次に、ステップS2141において、本数計数部217は、当該未更新の中心座標を中心座標記憶部215から消去する。そして、ステップS2142に進む。
ステップS2142に進むと、本数計数部217は、計数対象の丸棒鋼Mの全てがエリアカメラ150の有効視野から外れるまでの全てのフレーム画像が得られたか否かを判定する。この判定の結果、全てのフレーム画像が得られていない場合には、図21−1のステップS2102に戻り、次のフレーム画像を取得するタイミングになるまで待機する。そして、次のフレーム画像から丸棒鋼Mの数を計数する。
以上のようにして、全てのフレーム画像が得られ、それら全てのフレーム画像から丸棒鋼Mの数が計数されると、ステップS2143に進む。
ステップS2143に進むと、本数計数部217は、ステップS2140で計数された丸棒鋼Mの数の総和を、計数対象の丸棒鋼Mの総数として導出する。
次に、ステップS2144において、本数出力部218は、本数計数部217により導出された丸棒鋼Mの総数に基づく本数表示情報を生成する。
次に、ステップS2145において、本数出力部218は、ステップS2144で生成した本数表示情報を出力する。そして、図21のフローチャートを終了する。
<まとめ>
以上のように本実施形態では、フレーム画像に対して複数の仮想円610を設定し、仮想円610内の輝度総和に基づいて、複数の仮想円610の中心座標から、中心位置の候補となる中心座標候補を導出する。そして、中心座標候補を中心とする仮想円610内の領域について、フレーム画像の各画素における画素値の縦方向及び横方向の微分値を導出し、導出した縦方向の微分値と横方向の微分値から微分中心座標を導出する。中心座標候補と微分中心座標との間の距離が閾値以下である場合に、微分中心座標を中心座標とする。このような中心座標の導出を、異なるタイミングで撮像されたフレーム画像のそれぞれについて行い、連続したタイミングで撮像された2つのフレーム画像における中心座標を比較した結果に基づいて、丸棒鋼Mの数を計数する。したがって、丸棒鋼Mの側面からの反射光によって、丸棒鋼Mの誤検出が生じることを防止することができる。よって、丸棒鋼Mの本数をオンラインで正確に計数することができる。また、微分画像を生成する範囲を、中心座標候補を中心とする仮想円610内の領域に限定するので、計算時間を速くすることができる。
また、本実施形態では、フレーム画像を、横方向(y軸の方向)において3つの領域に区画し、区画した領域の単位で、連続したタイミングで撮像された2つのフレーム画像における中心座標を比較する。したがって、丸棒鋼Mの見逃しを防止することができるので、このことも、丸棒鋼Mの本数をオンラインで正確に計数することに寄与する。また、中心座標を探索(比較)する範囲を限定することができるので、このことも、計算時間を速くすることに寄与する。
また、本実施形態では、現在のフレーム画像の領域内の位置であって、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標と、領域内における相対的な位置関係が同じになる位置に仮想中心座標1601、1701を設定すると共に、この仮想中心座標1601、1701を中心として、横方向(y軸方向)に、所定の範囲1602、1702を設定し、この所定の範囲1602、1702内に、中心座標があるか否かを判定する。この判定の結果、所定の範囲1602、1702内に中心座標がある場合には、1つ前のフレーム画像の当該領域よりも1つ上流側の領域内の中心座標を、所定の範囲1602、1702内にある中心座標に更新する。したがって、丸棒鋼Mが左右に揺れながら横送り搬送されたり、丸棒鋼Mが転がったりする場合であっても、丸棒鋼Mを見失うことを防止することができる。よって、このことも、丸棒鋼Mの本数をオンラインで正確に計数することに寄与する。
また、本実施形態では、丸棒鋼Mの端面の部分をハレーションさせるようにしたので、丸棒鋼Mの端面と側面、背景とを明瞭に区別されるフレーム画像を得ることができる。例えば、丸棒鋼Mの端面が焼き鈍し処理により青くなっていても、その影響を受けないフレーム画像を得ることができる。
<変形例>
本実施形態では、連続したタイミングで撮像された2つのフレーム画像を比較するようにしたが、必ずしもこのようにする必要はない。例えば、丸棒鋼Mが50[mm]横送り搬送される度に、静止画像を撮像するのであれば、撮像されたフレーム画像を1枚おきに選択することになる。
また、本実施形態では、フレーム画像から消失した中心座標の数(フレーム画像の最下流の位置を通過した中心座標の数)に基づいて丸棒鋼Mの数を計数した。しかしながら、必ずしもこのようにする必要はなく、フレーム画像内の最下流の位置以外の位置を通過した中心座標の数に基づいて丸棒鋼Mの本数を計数してもよい。
その他、異なるタイミングで撮像されたフレーム画像から得られた中心座標を比較した結果に基づいて、丸棒鋼Mの本数を計数していれば、丸棒鋼Mの本数を計数する方法は、前述した方法に限定されない。例えば、フレーム画像から一度消失した丸棒鋼Mが左右に揺れたり転がったりすることが想定されない場合には、フレーム画像における各領域の中心座標の数を比較することによって、丸棒鋼Mの本数を計数することができる。
また、本実施形態では、計数対象の長尺物が丸棒鋼Mである場合を例に挙げて説明した。しかしながら、計数対象の長尺物は丸棒鋼Mに限定されない。例えば、計数対象の長尺物を角鋼としてもよいし、その他の金属製の長尺物としてもよい。また、長尺物は、金属製でなくてもよい。例えば、所定の色に着色された非金属製の長尺物であってもよい。ただし、端面が閉塞している長尺物を計数対象とするのが好ましい。
角鋼は、その端面の形状が概ね正方形である。そこで、例えば、仮想円の直径Dを、角鋼の端面の外接円の直径(=D×1.0)と内接円の直径(=D×1.4)との和の半分(=D×1.2)とすることができる。この場合、仮想円をずらす距離を、距離D×1.2×1/Nにすることができる。
尚、計数対象の長尺物を角鋼としても、微分中心座標を導出する方法を、計数対象の長尺物を丸棒鋼Mとした場合と同じにすることができる。図22は、計数対象の長尺物を角鋼とした場合の微分中心座標を導出する方法の一例を説明する図である。
図22において、横方向の画素値(微分値)として、閾値TH以上の画素値(微分値)を有する画素からなる領域2201a、201bの二等分点を繋いで曲線2203を導出する。同様に、縦方向の画素値(微分値)として、閾値TH以上の画素値(微分値)を有する画素からなる領域2211a、2211bの二等分点を繋いで曲線2213を導出する。そして、これらの曲線2203、2213の交点の座標を微分中心座標2200として導出する。
<実施例>
次に、本発明の実施例を説明する。
図23は、丸棒鋼Mの総数の計数結果の正解率を示す図である。
図23の横軸は、丸棒鋼Mの端面の直径[mm]の範囲を示している。ここでは、10472束の丸棒鋼Mを横送り搬送して、丸棒鋼Mの総数を計数した結果と、実際に横送り搬送した丸棒鋼Mの総数とが一致した回数を、横送り搬送した丸棒鋼Mの束の総数(10472)で割った値に100を掛けた値を正解率とした。
図23において、本実施例は、本実施形態のようにして丸棒鋼Mの総数を計数した結果から得られた正解率を示し、比較例は、特許文献1のようにして丸棒鋼Mの総数を計数した結果から得られた正解率を示す。
図23に示すように、本実施例では、丸棒鋼Mの端面の直径に関わらず、高い正解率が得られた。
図24は、丸棒鋼M以外の各種鋼材の総数の計数結果の正解率を示す図である。
図24の横軸の単位は[mm]であり、角鋼については、その端面の一辺の長さの範囲を示し、異形鋼、ネジ鋼については、その端面の直径の範囲を図24の横軸に示している。
図24に示すものは、本実施形態のようにして丸棒鋼Mの総数を計数した結果から得られた正解率を示すものである。図24に示すように、本実施例では、鋼材(端面の形状)に関わらず、高い正解率が得られた。
尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
110 搬送テーブル
120 鋼材ストッパ
130 横送り搬送スキット
140 パルスジェネレータ
150 エリアカメラ
160 照明装置
200 長尺物本数計数装置
M 丸棒鋼

Claims (19)

  1. 横送り搬送されている複数の長尺物の本数をオンラインで計数する長尺物本数計数装置であって、
    前記横送り搬送されている長尺物の端面が照明された状態で撮像手段により撮像された、当該横送り搬送されている長尺物の端面を含む静止画像であるフレーム画像を取得する画像取得手段と、
    前記長尺物の端面の大きさとして予め想定されている大きさに基づく大きさを有する仮想円を、前記フレーム画像の複数の位置のそれぞれに対して設定する仮想円設定手段と、
    前記フレーム画像の領域のうち、前記仮想円設定手段により設定された仮想円の内部に含まれる領域の輝度値の総和を導出することを、前記フレーム画像の複数の位置のそれぞれに対して設定された複数の仮想円の夫々について行う輝度総和導出手段と、
    前記輝度総和導出手段により導出された輝度総和に基づいて、前記複数の仮想円の中心座標のうちから、前記長尺物の端面の中心位置の候補となる中心座標候補を選択する中心座標候補選択手段と、
    前記中心座標候補を中心とし、且つ、長尺物の端面の大きさとして予め想定されている大きさに基づく直径を有する領域の夫々について、フレーム画像の各画素における輝度値の微分値を導出し、各画素の画素値として当該微分値を有する微分画像を生成する微分画像生成手段と、
    前記微分画像生成手段により生成された微分画像の画素値に基づいて、前記長尺物の端面の中心位置の他の候補となる微分中心座標を導出することを、前記微分画像の夫々について行う微分中心座標導出手段と、
    前記微分中心座標のうち、前記中心座標候補との間の距離が閾値未満であるものを探索し、前記長尺物の端面の中心位置の座標である中心座標として導出する中心座標探索手段と、
    異なるタイミングで撮像された前記フレーム画像において前記中心座標探索手段により導出された中心座標を比較した結果に基づいて、前記横送り搬送されている複数の長尺物の本数を計数する計数手段と、を有することを特徴とする長尺物本数計数装置。
  2. 前記フレーム画像は、前記横送り搬送される方向において複数の領域に区画され、
    前記計数手段は、異なるタイミングで撮像された前記フレーム画像から前記中心座標探索手段により導出された中心座標を、前記複数の領域の単位で追跡した結果に基づいて、前記横送り搬送されている長尺物の本数を計数することを特徴とする請求項1に記載の長尺物本数計数装置。
  3. 前記フレーム画像は、前記横送り搬送される方向において、それぞれが同じ長さを有する複数の領域に区画され、
    前記フレーム画像は、少なくとも、前記領域の横送り搬送される方向の長さに対応する距離だけ前記長尺物が搬送されるタイミングで撮像され、
    前記計数手段は、
    連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索手段により導出された中心座標の相対的な位置関係が一致しているか否かを判定する中心座標一致判定手段と、
    前記中心座標一致判定手段により、連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索手段により導出された中心座標の相対的な位置関係が一致していると判定されると、当該中心座標を更新する中心座標更新手段と、
    前記中心座標探索手段により導出された中心座標のうち、前記中心座標更新手段により更新されずに前記フレーム画像の所定の位置を通過した中心座標の数を、前記横送り搬送されている長尺物の本数として計数する本数計数手段と、を更に有することを特徴とする請求項2に記載の長尺物本数計数装置。
  4. 前記本数計数手段は、前記中心座標探索手段により導出された中心座標のうち、前記中心座標更新手段により更新されずに前記フレーム画像から消失した中心座標の数を、前記横送り搬送されている長尺物の本数として計数することを特徴とする請求項3に記載の長尺物本数計数装置。
  5. 前記計数手段は、
    前記中心座標一致判定手段により、連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索手段により導出された中心座標の当該領域における相対的な位置関係が一致していないと判定されると、当該一致していない中心座標の、前記横送り搬送される方向における、ずれが所定値以内であるか否かを判定する、ずれ判定手段を更に有し、
    前記中心座標更新手段は、前記ずれ判定手段により、前記一致していない中心座標の、前記横送り搬送される方向における、ずれが所定値以内である場合に、当該中心座標を更新することを特徴とする請求項3又は4に記載の長尺物本数計数装置。
  6. 前記計数手段は、
    前記中心座標一致判定手段により、連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索手段により導出された中心座標の当該領域における相対的な位置関係が一致していないと判定されると、当該一致していない中心座標が、前記フレーム画像から既に消去した中心座標であるか否かを判定する再進入判定手段を更に有し、
    前記本数計数手段は、前記再進入判定手段により、前記フレーム画像から既に消去したと判定された中心座標を、前記横送り搬送されている長尺物の本数の計数に含めないことを特徴とする請求項3〜5の何れか1項に記載の長尺物本数計数装置。
  7. 前記仮想円設定手段は、前記長尺物の端面の大きさとして予め想定されている長さの1/N倍(Nは2以上の数)の間隔で、複数の前記仮想円を、前記フレーム画像に対して設定することを特徴とする請求項1〜6の何れか1項に記載の長尺物本数計数装置。
  8. 前記微分画像生成手段は、前記中心座標候補を中心とし、且つ、長尺物の端面の大きさとして予め想定されている大きさに基づく直径を有する領域の夫々について、フレーム画像の各画素における輝度値の、縦方向と横方向の微分値を導出し、各画素の画素値として当該縦方向と横方向の微分値を有する微分画像を生成することを特徴とする請求項1〜7の何れか1項に記載の長尺物本数計数装置。
  9. 前記中心座標候補選択手段は、前記輝度総和導出手段により導出された輝度総和のうち未選択のものの中から最大値を有するものを抽出すると共に、抽出した輝度総和に対応する仮想円の範囲内に中心を有する仮想円の中に存在する前記輝度総和導出手段により導出された輝度総和を消去することを、未選択の輝度総和の中に閾値以上のものがなくなるまで繰り返し行い、その結果抽出された輝度総和に対応する仮想円の中心の座標を前記中心座標候補として導出することを特徴とする請求項1〜8の何れか1項に記載の長尺物本数計数装置。
  10. 横送り搬送されている複数の長尺物の本数をオンラインで計数する長尺物本数計数方法であって、
    前記横送り搬送されている長尺物の端面が照明された状態で撮像工程により撮像された、当該横送り搬送されている長尺物の端面を含む静止画像であるフレーム画像を取得する画像取得工程と、
    前記長尺物の端面の大きさとして予め想定されている大きさに基づく大きさを有する仮想円を、前記フレーム画像の複数の位置のそれぞれに対して設定する仮想円設定工程と、
    前記フレーム画像の領域のうち、前記仮想円設定工程により設定された仮想円の内部に含まれる領域の輝度値の総和を導出することを、前記フレーム画像の複数の位置のそれぞれに対して設定された複数の仮想円の夫々について行う輝度総和導出工程と、
    前記輝度総和導出工程により導出された輝度総和に基づいて、前記複数の仮想円の中心座標のうちから、前記長尺物の端面の中心位置の候補となる中心座標候補を選択する中心座標候補選択工程と、
    前記中心座標候補を中心とし、且つ、長尺物の端面の大きさとして予め想定されている大きさに基づく直径を有する領域の夫々について、フレーム画像の各画素における輝度値の微分値を導出し、各画素の画素値として当該微分値を有する微分画像を生成する微分画像生成工程と、
    前記微分画像生成工程により生成された微分画像の画素値に基づいて、前記長尺物の端面の中心位置の他の候補となる微分中心座標を導出することを、前記微分画像の夫々について行う微分中心座標導出工程と、
    前記微分中心座標のうち、前記中心座標候補との間の距離が閾値未満であるものを探索し、前記長尺物の端面の中心位置の座標である中心座標として導出する中心座標探索工程と、
    異なるタイミングで撮像された前記フレーム画像において前記中心座標探索工程により導出された中心座標を比較した結果に基づいて、前記横送り搬送されている複数の長尺物の本数を計数する計数工程と、を有することを特徴とする長尺物本数計数方法。
  11. 前記フレーム画像は、前記横送り搬送される方向において複数の領域に区画され、
    前記計数工程は、異なるタイミングで撮像された前記フレーム画像から前記中心座標探索工程により導出された中心座標を、前記複数の領域の単位で追跡した結果に基づいて、前記横送り搬送されている長尺物の本数を計数することを特徴とする請求項10に記載の長尺物本数計数方法。
  12. 前記フレーム画像は、前記横送り搬送される方向において、それぞれが同じ長さを有する複数の領域に区画され、
    前記フレーム画像は、少なくとも、前記領域の横送り搬送される方向の長さに対応する距離だけ前記長尺物が搬送されるタイミングで撮像され、
    前記計数工程は、
    連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索工程により導出された中心座標の相対的な位置関係が一致しているか否かを判定する中心座標一致判定工程と、
    前記中心座標一致判定工程により、連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索工程により導出された中心座標の相対的な位置関係が一致していると判定されると、当該中心座標を更新する中心座標更新工程と、
    前記中心座標探索工程により導出された中心座標のうち、前記中心座標更新工程により更新されずに前記フレーム画像の所定の位置を通過した中心座標の数を、前記横送り搬送されている長尺物の本数として計数する本数計数工程と、を更に有することを特徴とする請求項11に記載の長尺物本数計数方法。
  13. 前記本数計数工程は、前記中心座標探索工程により導出された中心座標のうち、前記中心座標更新工程により更新されずに前記フレーム画像から消失した中心座標の数を、前記横送り搬送されている長尺物の本数として計数することを特徴とする請求項12に記載の長尺物本数計数方法。
  14. 前記計数工程は、
    前記中心座標一致判定工程により、連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索工程により導出された中心座標の当該領域における相対的な位置関係が一致していないと判定されると、当該一致していない中心座標の、前記横送り搬送される方向における、ずれが所定値以内であるか否かを判定する、ずれ判定工程を更に有し、
    前記中心座標更新工程は、前記ずれ判定工程により、前記一致していない中心座標の、前記横送り搬送される方向における、ずれが所定値以内である場合に、当該中心座標を更新することを特徴とする請求項12又は13に記載の長尺物本数計数方法。
  15. 前記計数工程は、
    前記中心座標一致判定工程により、連続したタイミングで撮像された2つのフレーム画像間の、相互に対応する領域において、前記中心座標探索工程により導出された中心座標の当該領域における相対的な位置関係が一致していないと判定されると、当該一致していない中心座標が、前記フレーム画像から既に消去した中心座標であるか否かを判定する再進入判定工程を更に有し、
    前記本数計数工程は、前記再進入判定工程により、前記フレーム画像から既に消去したと判定された中心座標を、前記横送り搬送されている長尺物の本数の計数に含めないことを特徴とする請求項12〜14の何れか1項に記載の長尺物本数計数方法。
  16. 前記仮想円設定工程は、前記長尺物の端面の大きさとして予め想定されている長さの1/N倍(Nは2以上の数)の間隔で、複数の前記仮想円を、前記フレーム画像に対して設定することを特徴とする請求項10〜15の何れか1項に記載の長尺物本数計数方法。
  17. 前記微分画像生成工程は、前記中心座標候補を中心とし、且つ、長尺物の端面の大きさとして予め想定されている大きさに基づく直径を有する領域の夫々について、フレーム画像の各画素における輝度値の、縦方向と横方向の微分値を導出し、各画素の画素値として当該縦方向と横方向の微分値を有する微分画像を生成することを特徴とする請求項10〜16の何れか1項に記載の長尺物本数計数方法。
  18. 前記中心座標候補選択工程は、前記輝度総和導出工程により導出された輝度総和のうち未選択のものの中から最大値を有するものを抽出すると共に、抽出した輝度総和に対応する仮想円の範囲内に中心を有する仮想円の中に存在する前記輝度総和導出工程により導出された輝度総和を消去することを、未選択の輝度総和の中に閾値以上のものがなくなるまで繰り返し行い、その結果抽出された輝度総和に対応する仮想円の中心の座標を前記中心座標候補として導出することを特徴とする請求項10〜17の何れか1項に記載の長尺物本数計数方法。
  19. 請求項10〜18の何れか1項に記載の長尺物本数計数方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
JP2012170057A 2012-07-31 2012-07-31 長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム Active JP5774554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012170057A JP5774554B2 (ja) 2012-07-31 2012-07-31 長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012170057A JP5774554B2 (ja) 2012-07-31 2012-07-31 長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2014029615A JP2014029615A (ja) 2014-02-13
JP5774554B2 true JP5774554B2 (ja) 2015-09-09

Family

ID=50202138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012170057A Active JP5774554B2 (ja) 2012-07-31 2012-07-31 長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5774554B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6770811B2 (ja) * 2016-03-22 2020-10-21 山九株式会社 結束鋼管検査装置及び結束鋼管検査方法
CN108010076B (zh) * 2017-11-23 2020-03-31 南通大学 一种面向密集工业棒材图像检测的端面外观建模方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534207B2 (ja) * 2005-08-24 2010-09-01 住友金属工業株式会社 長尺材の計数方法及び計数装置

Also Published As

Publication number Publication date
JP2014029615A (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
JP6621836B2 (ja) 光パターンの強度変動を利用した体積内の物体の深さマッピング
JP5792157B2 (ja) 画像処理装置、方法、プログラム及び記録媒体
US11100666B2 (en) Image processing method and image capturing apparatus
TWI679612B (zh) 影像追蹤方法
US20060276964A1 (en) Behavior detector and behavior detection method for a vehicle
JP5875917B2 (ja) 移動体の画像判別装置および移動体の画像判別方法
JP2011163766A (ja) 画像処理方法および画像処理システム
JP2012220473A (ja) 3次元形状計測装置およびロボットシステム
CN106415192B (zh) 引线图像识别方法及识别装置以及图像处理用元件数据生成方法及生成装置
CN109584265A (zh) 一种目标跟踪方法及装置
JP2015173344A (ja) 物体認識装置
JP5774554B2 (ja) 長尺物本数計数装置、長尺物本数計数方法、及びコンピュータプログラム
US20240177260A1 (en) System and method for three-dimensional scan of moving objects longer than the field of view
KR102298652B1 (ko) 시차 결정 방법 및 장치
JP5367244B2 (ja) 目標検出装置および目標検出方法
JP2013149228A (ja) 位置検出装置、および位置検出プログラム
JP6104745B2 (ja) 穴検査装置
CN106874829B (zh) 提高监测系统的可靠性的方法
JP3349037B2 (ja) 移動体画像の取込方法と装置
KR102254564B1 (ko) 몸짓 인식을 위한 이미지 매트릭스를 생성하기 위한 모듈, 시스템 및 방법
JPH09185671A (ja) バーコード認識装置及び方法
JP2014235063A (ja) 情報処理装置および情報処理方法
JP2007188268A (ja) 画像上移動物体追跡方法及び装置
US20230218946A1 (en) Calculation Device, Calculation System, Calculation Method, and Calculation Program
JP6015035B2 (ja) 長尺体の長さ測定方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140919

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150701

R150 Certificate of patent or registration of utility model

Ref document number: 5774554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250