以下、図面を参照しながら、本発明の実施形態を説明する。
尚、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの(例えば、設計時に定められる公差の範囲内で異なるもの)も含むものとする。
(第1の実施形態)
まず、第1の実施形態を説明する。本実施形態では、時間の経過と共に位置が変更され、置かれる位置が時間の経過と共に変更される物品の位置を管理する場合を例示する。このような位置の管理は、トラッキングとも称される。トラッキングとは、対象物の位置を追跡して特定することである。本実施形態では、複数の製鉄所で製造された各種の厚板(例えば厚鋼板)に対して、熱処理や切断等の各種の処理を行う工場を含む場所において、当該厚板の位置を管理する場合を例示する。そこで、まず、本実施形態の適用対象の工場の概要を説明する。
<工場の概要>
図1は、本実施形態の適用対象の工場における製品の流れの一例を説明する図である。
図1において、製鉄所で製造された厚板は輸送船に荷積みされる。その後輸送船は、工場の近くの岸壁に着岸する。厚板は、輸送船から荷下ろしされ、輸送車両(トラック等)に荷積みされる。輸送車両により輸送された厚板は、工場に入荷すると、工場内の置場に置かれる。置場に置かれた厚板は、熱処理や切断(ガス切断)等の処理が施された後、倉庫に置かれる。その後、厚板は、工場から需要家に向けて出荷される。
<着想>
以上のようにして搬送される厚板の位置を、特許文献1、2に記載の技術のように、搬送機器の動作に基づいて管理すると、位置を管理することができる範囲に制約が生じる。そこで、本発明者らは、現品管理(各厚板の位置の管理)のために、厚板には、当該厚板の製造メーカによって管理されている情報が表示されていることに着目した。このような情報の表示位置を管理することは、厚板の位置を管理することと等価である。そして、このような厚板の製造メーカによって管理されている情報を特定することができれば、厚板を識別することができる。本実施形態は、このような思想に基づいてなされたものである。
<厚板に対して施される表示>
図2は、厚板に対する表示領域の一例を示す図である。尚、図2に示すx軸、y軸、z軸は、図2と、後述する図3A、図3B、図14~図15、図18~図19、図21との向きの関係を示すものであり、図4および図5に示すx-y-z座標の向きとは必ずしも対応しない。尚、x-y-z座標は、例えば、世界座標系で表される座標である。
図2において、表示領域201は、ステンシルによる表示領域である。図2に示す例では、ステンシルによる表示領域201は、厚板の板面に存在する。尚、図2に示す破線は仮想線であり、実際には表示されない。図2に示す例では、ラベル(サイドラベル)202は、厚板の側面(板厚部分)に貼り付けられる。
図3Aは、ステンシルによる表示内容の一例を示す図である。尚、前述したように図3Aに示すx-y-z座標は、図2等との向きの関係を示すものである。また、図3Aに示すx-y-z座標において、白丸(〇)の中に黒丸(●)を付している記号は、紙面の奥側から手前側に向かうことを示す。このようなx-y-z座標の表記は、その他の図でも同じである。
図3Aに示す例では、ステンシルによる表示には、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307が含まれる。
マーク301は、厚板の製造メーカを表すマークである。需要家名302は、厚板の需要家(購入者)を示す情報である。規格303は、厚板の規格を示す情報である。サイズ304は、厚板のサイズ(例えば、厚み×幅×長さ)を示す情報である。ID305は、厚板を一意に識別するための情報であり、図3Aに示す例では、板番号(厚板の識別番号)である。従って、同じIDが異なる厚板に付されることはない。需要家コード306は、厚板の製造メーカが需要家から厚板に対して付すことが指定された情報である。注文番号307は、需要家からの厚板の注文を識別するための番号の一部である。
マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、厚板に対して一般的に表示され得る情報である。尚、ID305以外の情報は、ステンシルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ステンシルによる表示に含まれていてもよい。
尚、例えば、需要家によって、需要家コード306の桁数が異なったり、厚板を製造する製鉄所によって規格303の表記方法が異なったりする。また、例えば、注文番号307は、需要家によって付される場合と付されない場合とがある。また、表示項目の大きさも、厚板を製造する製鉄所によって異なる場合がある。また、ステンシルによる表示領域の位置も、厚板を製造する製鉄所によって異なる場合がある。このように、ステンシルによる表示の内容、位置、および大きさは、厚板を製造する製鉄所および需要家等によって異なる。
マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、厚板の製造メーカで管理される情報である。また、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、人が識別可能な情報である。人が識別可能な情報とは、人が当該情報を見た場合に当該情報の意味を理解できることを指す。バーコードおよび2次元コードのように、情報の作成および読み取りに、機械によるエンコードおよびデコードが必要となる情報は、人が識別可能な情報ではない。具体的に、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、読み取りに機械によるデコードが不要な情報として、文字、数字、および記号の少なくとも1つを含み、読み取りに機械によるデコードが必要な情報を含まない。
図3Bは、ラベルによる表示内容の一例を示す図である。尚、前述したように図3Bに示すx-y-z座標は、図2等との向きの関係を示すものである。また、図3Bに示すx-y-z座標において、白丸の中に×(クロスマーク)を付している記号は、紙面の手前側から奥側に向かう方向を示す。このようなx-y-z座標の表記は、その他の図でも同じである。
図3Bに示す例では、ラベルによる表示には、規格311、ID312、サイズ313、納期314、および需要家コード315が含まれる。納期314は、厚板の納期を示す情報である。規格311、ID312、サイズ313、需要家コード315は、それぞれ、規格303、サイズ304、ID305、需要家コード306と同じものである。尚、ID312以外の情報は、ラベルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ラベルによる表示に含まれていてもよい。ラベルによる表示の内容、位置、および大きさも、ステンシルによる表示と同様に、厚板を製造する製鉄所および需要家等によって異なる。
ただし、同一の厚板に対する同一の表示項目が意味する内容は、ステンシルによる表示と、ラベルによる表示とで同じにする。従って、図3Aに示すステンシルによる表示と、図3Bに示すラベルによる表示とが同じ厚板に対して行われる場合、ステンシルにより表示されるID305と、ラベルにより表示されるID312とは同じ内容を意味するものとなる。また、ステンシルにより表示される規格303と、ラベルに表示される規格311とは同じ内容を意味するものとなる。サイズ313、需要家コード315についても、それぞれ、サイズ304、需要家コード306と同じ内容を意味するものになる。前述したように、規格303、ID305、サイズ304、および需要家コード306は、厚板の製造メーカで管理される情報である。従って、規格311、ID312、サイズ313、および需要家コード315も、厚板の製造メーカで管理される情報である。また、厚板の納期314も、厚板の製造メーカで管理される情報である。また、規格311、ID312、サイズ313、納期314、および需要家コード315は、人が識別可能な情報である。
尚、厚板には、以上のような表示の他に、例えば、刻印による表示が施されることがある。また、厚板には、手書きによる表示が施されることがある。
<厚板の搬送形態>
<<輸送船による輸送>>
図4は、輸送船に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。図4では、輸送船400に対して、ガントリークレーン410を用いて厚板を荷積みおよび荷下ろしされる場合を例示する。図5は、厚板420が荷役装置411で吊り上げられている様子をガータ412の延設方向(y軸方向)から見た図である。図4および図5に示すx-y-z座標は、図4および図5の向きの関係を示すものである。
ガントリークレーン410は、荷役装置(トロリー等)411、ガータ(横行桁)412、および脚構造物413を有する。荷役装置411は、搬送対象物を吊り上げた状態で、ガータ412の延設方向(y軸方向)に沿って移動する。図4では、厚板420が、荷役装置411で吊り上げられ移動する様子を示す。厚板420が荷役装置411で吊り上げられている様子をガータ412の延設方向(y軸方向)から見ると、図5に示すようになる。
尚、図4および図5では、荷役装置411により、1枚の厚板420が吊り上げられる様子を例示する。しかしながら、荷役装置411による厚板の搬送形態は、このような搬送形態に限定されない。図6A~図6Eは、厚板の搬送形態の第1~第5の例を示す図である。図6A~図6Eでは、荷役装置411をより簡略化して示す。
図6Aでは、水平面(x-y平面)方向に2枚の厚板が並べられた状態で荷役装置411により同時に搬送されている状態を例示する。図6Bでは、荷役装置411のtop側(x軸の負の方向側)において1枚の厚板が搬送されている状態を例示する。図6Cでは、荷役装置411のbottom側(x軸の正の方向側)において1枚の厚板が搬送されている状態を例示する。図6Dでは、荷役装置411の中央において1枚の厚板が搬送されている状態を例示する。図6Eでは、複数枚(2枚)の厚板が積み重ねられた状態で荷役装置411により同時に搬送されている状態を例示する。このように、本実施形態では、複数枚の厚板が積み重ねられた状態で同時に搬送されている場合がある。
以上のように、荷役装置411による厚板の搬送形態は限定されない。また、荷役装置411による厚板の吊り上げの手法は、マグネットによる磁気吸引力を利用した手法でも、ハッカーを利用した手法でも、その他の手法でもよい。
ガントリークレーン410自体は、公知の技術で説明することができるので、ここでは詳細な説明を省略する。
製鉄所で製造された厚板は、岸壁に運ばれ、ガントリークレーン410で搬送可能な所定の置場に置かれる。図4に示すように複数枚の厚板は、積み重ねられた状態で所定の置場に置かれる場合がある。厚板が1枚ずつ所定の置場に置かれる場合もある。また、図4等では、表記の都合上、複数枚の厚板の厚み(板厚)が同じである場合を例示する。しかしながら、複数枚の厚板の厚みが異なる場合がある。即ち、所定の置場に置かれる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。
図4では、厚板の板面が、厚板が置かれる面と平行となるように複数の厚板を重ねて置く場合を例示する。ただし、厚板を重ねて置く方法は、このような方法に限定されない。例えば、厚板の板面が、厚板が置かれる面と垂直または垂直に近い角度となるように複数の厚板を重ねて置く場合もある。このことは、岸壁の所定の置場以外の位置においても同じである。
本実施形態では、ガータ412および脚構造物413に、第1の撮像装置430a~430fが取り付けられている。第1の撮像装置430a~430fの数および位置は、厚板のステンシルによる表示領域201およびラベル202による表示領域としてできるだけ多くの厚板の表示領域が撮像されるように設定される。また、荷役装置411にも、第1の撮像装置430g~430mが取り付けられている。第1の撮像装置430a~430mの数および位置は、第1の撮像装置430a~430mの少なくとも1つの撮像装置で、ガントリークレーン410により搬送中の厚板420のステンシルによる表示領域201およびラベル202による表示領域の少なくとも一方が可及的に撮像されるように設定される。
第1の撮像装置430a~430mは、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。当該撮像条件の調整は、オペレータ(作業員)が第1の撮像装置を操作することにより行われても、外部装置からの指示に基づいて自動的に行われてもよい。また、例えば、ガータ412に取り付けられる第1の撮像装置430g~430mのうち、搬送中の厚板420に近い位置に取り付けられる第1の撮像装置430i~430mは、ファイバースコープカメラであってもよい。ファイバースコープカメラを用いれば、例えば、搬送中の厚板420のステンシルによる表示領域201およびラベル202による表示領域を接写することができる。
尚、第1の撮像装置によって撮像される撮像画像は、静止画像に限定されず、動画像であってもよい。第1の撮像装置によって撮像される撮像画像が動画像である場合、第1の撮像装置によって撮像された動画像から取り出された画像(すなわち、動画像のフレームの画像)が後述する物品管理装置1200で用いられる。このようにする場合、第1の撮像装置によって撮像された動画像から、第1の撮像装置で撮像される被写体にできるだけピントが合った静止画像が取り出されるようにするのが好ましい。このように撮像装置によって撮像される撮像画像が静止画像に限定されないことは、後述する第2の撮像装置~第7の撮像装置においても同じである。
製鉄所から搬送された厚板は、ガントリークレーン410の所定の置場に置かれる。ガントリークレーン410の所定の置場に置かれた厚板の、ステンシルによる表示領域201を含む領域が、第1の撮像装置430c~430fにより撮像される。オペレータ(作業員)は、ガントリークレーン410の操作室にある情報処理端末や、ガントリークレーン410のオペレータ(作業員)の手持ちの情報処理端末(タブレット端末等)を操作して、第1の撮像装置430c~430fに対してプレビュー画像の表示指示を行う。第1の撮像装置430c~430fは、プレビュー画像の表示指示に基づいて、プレビュー画像を、当該情報処理端末に送信する。そうすると、当該情報処理端末によりプレビュー画像が表示される。オペレータ(作業員)は、当該情報処理端末を操作して、撮影すべきステンシルによる表示領域が表示されたプレビュー画像を撮像している第1の撮像装置に対して撮像指示を行う。第1の撮像装置430c~430fは、撮像指示を受信すると、ステンシルによる表示領域201を含む領域の撮像画像を撮像する。尚、プレビュー画像は、オペレータ(作業員)による確認のために表示されるライブ画像であり、プレビュー画像の表示指示に基づいて表示されるものとする。撮像画像は、プレビュー画像が表示されているときに撮像指示に基づいて撮像される画像であるものとする。また、ここでは、プレビュー画像を表示する場合を例示するが、必ずしもプレビュー画像を表示する必要はない。
複数枚の厚板が積み重ねられて同時に搬送される場合、下にある厚板については、ステンシルによる表示領域201を含む領域を撮像することができない。この場合、ステンシルによる表示領域201を含む領域の撮像画像に代えて、ラベル202による表示領域を含む領域の撮像画像が撮像される。
厚板が置かれる位置によっては、ステンシルによる表示領域201およびラベル202による表示領域が、第1の撮像装置430c~430fの撮像範囲に含まれない場合がある。この場合、オペレータ(作業員)は、第1の撮像装置を備える無人航空機(ドローン)440a~440bを操作して、所望の厚板の、ステンシルによる表示領域201を含む領域(またはラベル202による表示領域を含む領域)の撮像画像を、第1の撮像装置を用いて撮像してもよい。また、オペレータ(作業員)の手持ちの第1の撮像装置により、所望の厚板の、ステンシルによる表示領域201を含む領域(またはラベル202による表示領域を含む領域)の撮像画像を撮像してもよい。尚、オペレータ(作業員)の手持ちの第1の撮像装置は、例えば、第1の撮像装置を備える情報端末装置(タブレット端末やスマートフォン等)であってもよい。
尚、前述した第1の撮像装置430c~430fによるプレビュー画像の表示と撮像画像の撮像は、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wにおいても同様に実行される。また、複数枚の厚板が積み重ねられて同時に搬送される場合に、ラベル202による表示領域を含む領域の撮像画像を撮像することは、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wにおいても同様に実行される。また、ステンシルによる表示領域201およびラベル202による表示領域が、第1の撮像装置430c~430fの撮像範囲に含まれない場合の撮像の方法は、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wについても同じである。従って、以下において、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wについてのこれらの詳細な説明を省略する。
厚板は、ガントリークレーン410の所定の置場に置かれた後、ガントリークレーン410により輸送船400に荷積みされる。複数枚の厚板が積み重ねられた状態で同時に輸送船400に荷積みされる場合がある。厚板が1枚ずつ輸送船400に荷積みされる場合もある。また、輸送船400に荷積みされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。
ガントリークレーン410により搬送中の厚板の、ステンシルによる表示領域201を含む領域の撮像画像が、荷役装置411に取り付けられている第1の撮像装置430g~430mにより撮像される。
厚板が輸送船400に荷積みされると、当該厚板の、ステンシルによる表示領域201を含む領域の撮像画像が、ガータ412に取り付けられている第1の撮像装置430a~430bまたは輸送船400に取り付けられている第1の撮像装置430nにより撮像される。輸送船400に取り付けられている第1の撮像装置430nも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。尚、図4では、表記の都合上、輸送船400に取り付けられる第1の撮像装置の数を1つとしている。しかしながら、輸送船400には、厚板が置かれる領域が撮像範囲に含まれるように複数の第1の撮像装置が取り付けられている。
以上のようにして厚板が荷積みされた輸送船400は、工場の近くの岸壁に着岸する。前述したように輸送船400から厚板が荷下ろしされる。前述したように本実施形態では、ガントリークレーン410を用いて厚板が荷下ろしされる。ガントリークレーン410により搬送中の厚板についても、輸送船400に荷積みする場合と同様にして撮像画像が撮像される。また、ガンドリークレーン410により荷下ろしされ、ガンドリークレーン410の所定の置場に置かれると、当該厚板についても、製鉄所から搬送されてガントリークレーン410の所定の置場に置かれる場合と同様にして撮像画像が撮像される。
<<輸送車両による輸送>>
ガンドリークレーン410の所定の置場に置かれた厚板は、輸送車両に荷積みされる。図7は、輸送車両に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。ガンドリークレーン410の所定の置場に置かれた厚板は、不図示のクレーン等を用いて輸送車両700に荷積みされる。図7に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両700に荷積みされる場合がある。ただし、厚板が1枚ずつ輸送車両700に荷積みされる場合もある。また、輸送車両700に荷積みされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。また、図6A~図6Eに示したようにして厚板を搬送して輸送車両700に荷積みしてもよい。
図8は、輸送車両700に厚板が荷積みされた状態の一例を示す図である。輸送車両700の待機位置に設置されている構造物に第1の撮像装置430o~430pが取り付けられている。第1の撮像装置430o~430pの数および位置は、輸送車両700に荷積みされた厚板のステンシルによる表示領域201およびラベル202による表示領域として可及的に多くの厚板の表示領域が撮像されるように設定される。また、輸送車両700にも第1の撮像装置430qが取り付けられている。第1の撮像装置430o~430qも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。
輸送車両700に荷積みされた厚板の、ステンシルによる表示領域201を含む領域が、第1の撮像装置430o~430qにより撮像される。
<<工場内における搬送>>
以上のようにして厚板が荷積みされた輸送車両700が工場に到着すると、輸送車両700から厚板が荷下ろしされる。輸送車両700に荷積みされた厚板は、不図示のクレーン等を用いて輸送車両700から荷下ろしされる。図7に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両700から荷下ろしされる場合がある。ただし、厚板が1枚ずつ輸送車両700から荷下ろしされる場合もある。また、輸送車両700から荷下ろしされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。また、図6A~図6Eに示したようにして厚板を搬送して輸送車両700から荷下ろしされてもよい。尚、輸送船400からガントリークレーン410の所定の置場に厚板を搬送する際に用いる搬送機器(ガントリークレーン410)と、輸送車両700から工場内の置場に厚板を搬送する際に用いる搬送機器(不図示のクレーン等)とは異なる搬送機器である。このように、或る搬送機器で或る置場に搬送された厚板は、当該或る搬送機器とは別の搬送機器で、当該或る搬送機器では搬送することができない別の置場に搬送される場合がある。このことは、工場内の各置場間等のその他の置場間において厚板を搬送する場合においても同じである。
図9A~図9Cは、工場内の置場に置かれた厚板の様子の第1~第3の例を示す図である。工場内の置場に設置されている構造物に第1の撮像装置430r~430wが取り付けられている。図9A~図9Cに示すように、厚板は、工場内の置場に様々な態様で置かれる。そこで、第1の撮像装置430r~430wの数および位置は、置場に置かれた厚板のステンシルによる表示領域201およびラベル202による表示領域として可及的に多くの厚板の表示領域が撮像されるように設定される。第1の撮像装置430r~430wも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。
工場内の置場に置かれた厚板の、ステンシルによる表示領域201を含む領域が、第1の撮像装置430r~430wにより撮像される。
厚板が入荷用の置場に置かれると、当該厚板の、ステンシルによる表示領域201(またはラベル202による表示領域)を含む領域が、前述したように第1の撮像装置430r~430wにより撮像される。
その後、厚板は、生産設備に搬送される。図10は、生産設備で厚板が処理される様子の一例を示す図である。図10において生産設備1000は、例えば、熱処理を行うための設備、および、ガス切断を行うための設備である。図10では、搬送ロール1001を用いて厚板1002a、1002bが搬送される場合を例示する。尚、置場と搬送ロール1001との間の厚板の搬送は、不図示の搬送装置等を用いることにより実現される。
工場の生産ラインに設置されている構造物に第1の撮像装置430x~430yが取り付けられている。第1の撮像装置430x~430yの数および位置は、厚板1002a、1002bのステンシルによる表示領域201が撮像されるように設定される。第1の撮像装置430x~430yも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。尚、搬送ロール1001上を搬送される厚板1002a、1002bは、重ねられることはないものとする。また、搬送ロール1001上の厚板1002a、1002bの搬送経路は、予め想定される。このため、本実施形態では、第1の撮像装置430x~430yにより、厚板1002a、1002bのラベル202による表示領域が撮像されないことはないものとする。ただし、第1の撮像装置を備える無人航空機を用いて、厚板1002a、1002bのラベル202による表示領域を撮像してもよい。尚、図10において、破線は、搬送ロール1001上の厚板1002a、1002bの搬送経路を示し、実在するものではない。
工場内の置場から搬送された厚板1002aは、搬送ロール1001に載せられ、搬送ロール1001により搬送される。生産設備1000に入る前に搬送ロール1001上を搬送中の厚板1002aの、ステンシルによる表示領域201を含む領域が、第1の撮像装置430xにより撮像される。また、生産設備1000において処理が終了して生産設備1000から出た後に、搬送ロール1001上を搬送中の厚板1002bの、ステンシルによる表示領域201を含む領域が、第1の撮像装置430yにより撮像される。
その後、厚板は、倉庫内において、図9A~図9Cに例示するような置場に置かれる。前述したように、工場内の置場に置かれた厚板の、ステンシルによる表示領域201(またはラベル202による表示領域)を含む領域が、第1の撮像装置430r~430wにより撮像される。出荷時においては、厚板は、倉庫から出荷用の置場に移動される。出荷用の置場に置かれた厚板の、ステンシルによる表示領域201(またはラベル202による表示領域)を含む領域が、第1の撮像装置430r~430wにより撮像される。
工場内の各置場においても、複数枚の厚板が積み重ねられた状態で置かれる場合がある。厚板が1枚ずつ工場内の各置場に置かれる場合もある。また、工場内の各置場に置かれる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。
図11は、元の厚板と、切断後の厚板の一例を示す図である。図11では、厚板1100が切断されて、厚板1110、1120、1130、1140が製造された場合を例示する。このようにして厚板1110、1120、1130、1140が製造された後、それぞれの厚板1110、1120、1130、1140に対して表示が施される。図11では、厚板1110、1120、1130、1140に対する表示領域1111、1121、1131、1141を示す。表示領域1111、1121、1131、1141には、厚板1110、1120、1130、1140のIDを含む情報が表示される。表示領域1111、1121、1131、1141には、例えば、ステンシルによる表示が行われる。ステンシルによる表示に加えて、刻印による表示およびラベルによる表示の少なくとも一方を行ってもよい。また、表示領域1111、1121、1131、1141における表示は、手書きによる表示であってもよい。
また、表示領域1111、1121、1131、1141に、元の厚板1100のIDが表示されていてもよい。表示領域1111、1121、1131、1141には、例えば、ステンシルによる表示が行われる。ただし、表示領域1111、1121、1131、1141における表示は、手書きによる表示であってもよい。このことは、表示領域201に対する表示や、ラベル202による表示についても同じである。以下では、表示領域1111、1121、1131、1141は、ステンシルによる表示領域であるものとする。
厚板1110、1120、1130、1140が製造された場合、例えば、オペレータ(作業員)の手持ちの第1の撮像装置により、所望の厚板の、ステンシルによる表示領域1111、1121、1131、1141を含む領域の撮像画像を撮像してもよい。尚、オペレータ(作業員)の手持ちの第1の撮像装置は、例えば、第1の撮像装置を備える情報端末装置(タブレット端末やスマートフォン等)であってもよい。また、オペレータ(作業員)は、第1の撮像装置を備える無人航空機を操作して、所望の厚板の、ステンシルによる表示領域1111、1121、1131、1141を含む領域の撮像画像を、当該第1の撮像装置により撮像してもよい。
以上のように本実施形態では、少なくとも、輸送船400に置かれたときと、輸送船400から荷下ろしされ輸送車両700に荷積みされたときと、ガントリークレーン410および工場の各置場に置かれたときに、各厚板の、ステンシルによる表示領域201、1111、1121、1131、1141を含む領域、ラベル202による表示領域を含む領域の撮像画像が得られる場合を例示する。
本実施形態では、以上のようにして撮像される撮像画像を用いて、物品管理装置により厚板の位置を自動的に特定する。尚、厚板が1枚ずつ搬送される場合には、ステンシルによる表示領域201を撮像することができるので、ラベル202による表示領域を含む領域の撮像画像は不要になる。以下の説明では、ステンシルによる表示およびラベル202による表示を総称する場合、必要に応じて、ステンシル(ラベル)による表示と表記する。また、ステンシルによる表示領域201、1111、1121、1131、1141およびラベル202による表示領域を総称する場合、必要に応じて、ステンシル(ラベル)による表示領域と表記する。
<物品管理装置>
図12は、物品管理装置1200の機能的な構成の一例を示す図である。物品管理装置1200のハードウェアは、例えば、CPU、ROM、RAM、HDD、および各種のインターフェースを備える情報処理装置、または専用のハードウェアを用いることにより実現される。図13は、物品管理装置1200により管理される管理テーブル1300の一例を示す図である。なお、前述したように本実施形態では、物品管理装置1200によりトラッキングが行われる。したがって、本実施形態では、物品管理装置1200は、トラッキング装置となる。
図12に示すように本実施形態では、物品管理装置1200は、第1の画像取得部1201と、認識部1202と、入手部1203と、照合部1204と、特定部1205と、位置導出部1206と、記憶部1207と、出力部1208と、第2の画像取得部1209と、を有する。
第1の画像取得部1201は、ステンシル(ラベル)による表示領域を含む領域の第1の撮像画像を取得する。認識部1202は、第1の画像取得部1201で取得された第1の撮像画像から、ステンシル(ラベル)による表示における表示項目の構成要素、位置等を認識する。入手部1203は、後述する管理テーブル1300において現品表示の欄のIDの欄に記憶されている情報を入手する。照合部1204は、認識部1202で認識された情報と、入手部1203で入手された情報とを照合する。特定部1205は、照合部1204における照合の結果に基づいて、管理テーブル1300において管理されている厚板から1つの厚板を特定する。本実施形態では、厚板の識別情報を取得する識別情報取得部1210は、認識部1202、入手部1203、照合部1204、および特定部1205を有する。位置導出部1206は、ステンシル(ラベル)による表示領域のx-y-z座標(三次元座標)を、特定部1205で特定された厚板の三次元位置として導出する。記憶部1207は、当該厚板の三次元位置を示す情報を管理テーブル1300に記憶する。出力部1208は、当該厚板の三次元位置を示す情報を出力する。第2の画像取得部1209は、位置導出部1206において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定するための第2の撮像画像を取得する。物品管理装置1200の詳細の一例については、図17のフローチャートを参照しながら後述する。
図13において、管理テーブル1300には、物品管理装置1200が厚板の位置を管理するために用いる情報が記憶される。管理テーブル1300に記憶される情報には、厚板の製造メーカで管理される情報が含まれる。ただし、管理テーブル1300に記憶される情報の一部は、流通等においても活用できる情報であってもよい。ここで、厚板の製造メーカで管理される情報とは厚板の製造メーカが設定または取得した情報である。厚板の製造メーカで管理される情報には、厚板の製造メーカの従業員であるオペレータが当該情報の意味を理解できる情報が含まれる。より具体的には、厚板の製造メーカで管理される情報は、例えば、厚板の製造メーカによって作成され、管理テーブル1300に記憶された情報である。本実施形態では、管理テーブル1300に記憶されている情報が、物品管理用データの一例であり、管理テーブル1300に各情報を格納することにより、物品管理用データのデータ構造の一例が実現される。
図13において、同一の列における情報が同一の厚板に対する識別情報になる(同一のNo.の下の欄は、同一の厚板に対する識別情報がそれぞれ記憶される欄になる)。
図13において、現品表示の欄には、ステンシル(ラベル)による表示の各表示項目に関する情報が記憶される。非現品表示の欄には、ステンシル(ラベル)による表示の各表示項目に関する情報以外の情報が記憶される。本実施形態では、現品表示の欄に記憶される情報が物品管理用データに含まれる表示情報の一例であり、非現品表示の欄に記憶される情報が物品管理用データに含まれる非表示情報の一例である。
管理テーブル1300の現品表示の欄に記憶される情報の一例について説明する。
現品表示の欄において、ステンシルの欄には、ステンシルに関する情報が記憶される。
ステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容および位置を示す情報が記憶される。尚、構成要素とは、文字、数字、記号、マーク等、表示項目を構成する個々の情報を指す。
ステンシルの欄の需要家名の欄には、ステンシルによる表示に含まれる需要家名302の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄のサイズの欄には、ステンシルによる表示に含まれるサイズ304の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の規格の欄には、ステンシルによる表示に含まれる規格303の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の需要家コードの欄には、ステンシルによる表示に含まれる需要家コード306の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の注文番号の欄には、ステンシルによる表示に含まれる注文番号307の構成要素の内容および位置を示す情報が記憶される。
以上のステンシルによる表示における表示項目の他に、ステンシルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル1300に記憶される。図13のステンシルの欄の追加情報の欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および/または削除されてもよい。
現品表示の欄において、ラベルの欄には、ラベルに関する情報が記憶される。
ラベルの欄のIDの欄には、ラベルによる表示に含まれるID312の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄のサイズの欄には、ラベルによる表示に含まれるサイズ313の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の規格の欄には、ラベルによる表示に含まれる規格311の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の納期の欄には、ラベルによる表示に含まれる納期314の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の需要家コードの欄には、ラベルによる表示に含まれる需要家コード315の構成要素の内容および位置を示す情報が記憶される。
以上のラベルによる表示における表示項目の他に、ラベルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル1300に記憶される。図13のラベルの欄の需要家コードの欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および/または削除されてもよい。
次に、管理テーブル1300の非現品表示の欄に記憶される情報の一例について説明する。
物品内位置の欄には、厚板における所定の位置を原点(基準)とした場合の表示領域の位置を示す情報が記憶される。
物品内位置の欄のステンシルの欄には、厚板における所定の位置を原点(基準)とした場合の、ステンシルによる表示領域の位置を示す情報が記憶される。
物品内位置の欄のラベルの欄には、厚板における所定の位置を原点(基準)とした場合の、ラベルによる表示領域の位置を示す情報が記憶される。
物品位置の欄には、厚板の三次元位置を示す情報が記憶される。物品位置の欄に記憶される情報は、物品管理装置1200により特定された厚板の三次元位置を示す情報である。従って、物品管理装置1200により特定される同一の厚板の三次元位置は、厚板の移動に伴い、x座標およびy座標だけでなくz座標も変わる場合がある。よって、物品管理装置1200により特定される同一の厚板の情報表示位置の三次元位置も、厚板の移動に伴い、x座標およびy座標(水平面方向の位置)だけでなくz座標(高さ方向の位置)も変わる場合がある。
登録時刻の欄には、厚板が現在の位置に置かれた日時(日付と時刻とから定まるタイミング)を示す情報が記憶される。
親IDの欄には、元の厚板のIDを示す情報が記憶される。工場において厚板が切断されることがある。元の厚板とは、切断前の厚板を指す。従って、親IDの欄に、元の厚板のIDを示す情報が記憶されている場合、当該親IDの欄と同一の列の欄に記憶されている情報は、切断後の厚板に対する情報になる。図11に示すようにして厚板1110、1120、1130、1140が製造された場合、管理テーブル1300において、当該厚板1110、1120、1130、1140に対する現品表示の欄には、表示領域1111、1121、1131、1141に表示される表示項目の構成要素の内容および位置を示す情報が記憶される。また、当該厚板1110、1120、1130、1140に対する親IDの欄には、厚板1100のIDを示す情報が記憶される。このように、本実施形態では、切断後の厚板の情報については、図13に示す管理テーブル1300において、新たな列(No)として管理される場合を例示する。管理テーブル1300において、現品表示および非現品表示の欄に、切断後の厚板に対する情報が記憶される。
ここで、例えば、厚板1110が切断されて更に別の複数の厚板が製造される場合がある。この場合、当該別の複数の厚板に対する親IDの欄には、厚板1110のIDを示す情報が記憶される。厚板1110に対する親IDの欄には、厚板1100のIDを示す情報が記憶されている。このように、親IDの欄に記憶されている情報をたどることにより、各厚板の変遷を特定することができる。このようにして或る厚板について、親IDの欄に記憶されている情報をたどることにより得られる厚板の並びを、当該厚板の切り板系列と称することとする。例えば、厚板1110の切り板系列は、厚板1100、1110となる。また、各厚板の親IDの欄には、例えば、その切り板系列が分かるように、直近の厚板のIDを示す情報だけでなく、その切り板系列に属する全ての厚板のIDを示す情報が記憶されていてもよい。この場合、何れのIDも製造メーカにおいて定義されたものが用いられる。
運搬具IDの欄には、厚板の運搬具のIDが記憶される。本実施形態では、運搬具が、輸送船400および輸送車両700である場合を例示する。
厚板が輸送船400に荷積みされると、物品管理装置1200は、例えば、以下のようにして輸送船400のIDを示す情報を記憶してもよい。
まず、物品管理装置1200は、当該厚板のIDと当該輸送船400のID(いわゆる船番)を取得する。そして、物品管理装置1200は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、物品管理装置1200は、特定した列の運搬具IDの欄に、取得した輸送船400のIDを示す情報を記憶する。
例えば、第1の撮像装置430a、430b、430nにより、ステンシルによる表示領域201またはラベル202による表示領域と、輸送船400のIDを示す情報が表示されている領域とを含む撮像画像を撮像してもよい。このようにする場合、物品管理装置1200は、当該撮像画像から、厚板のIDと輸送船400のIDとを認識して取得してもよい。
また、第1の撮像装置430a、430b、430nにより、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像と、輸送船400のIDを示す情報が表示されている領域を含む撮像画像とを撮像してもよい。例えば、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像の次に、輸送船400のIDを示す情報が表示されている領域を含む撮像画像が撮像されるものとしてもよい。このようにする場合、物品管理装置1200は、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像から認識されるIDと、輸送船400のIDを示す情報が表示されている領域を含む撮像画像から認識されるIDとを、厚板のIDと輸送船400のIDとして取得してもよい。
また、例えば、輸送船400のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送船400のIDとを入力してもよい。このようにする場合、当該情報処理端末から物品管理装置1200に、厚板のIDと輸送船400のIDとを送信することで、物品管理装置1200が、当該厚板のIDと当該輸送船400のIDとを取得してもよい。
また、厚板が輸送車両700に荷積みされると、物品管理装置1200は、例えば、以下のようにして輸送車両700のIDを示す情報を記憶してもよい。
まず、物品管理装置1200は、当該厚板のIDと当該輸送車両700のID(例えば、ナンバープレートの情報)を取得する。そして、物品管理装置1200は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、物品管理装置1200は、特定した列の運搬具IDの欄に、取得した輸送車両700のIDを示す情報を記憶する。
例えば、第1の撮像装置430o~430qにより、ステンシルによる表示領域201またはラベル202による表示領域と、輸送車両700のIDを示す情報が表示されている領域とを含む撮像画像を撮像してもよい。このようにする場合、物品管理装置1200は、当該撮像画像から、厚板のIDと輸送車両700のIDとを認識して取得してもよい。
また、第1の撮像装置430o~430qにより、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像と、輸送車両700のIDを示す情報が表示されている領域を含む撮像画像とを撮像してもよい。例えば、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像の次に、輸送車両700のIDを示す情報が表示されている領域を含む撮像画像が撮像されるものとしてもよい。このようにする場合、物品管理装置1200は、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像から認識されるIDと、輸送車両700のIDを示す情報が表示されている領域を含む撮像画像から認識されるIDとを、厚板のIDと輸送車両700のIDとして取得してもよい。
また、例えば、輸送車両700のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送車両700のIDとを入力してもよい。このようにする場合、当該情報処理端末から物品管理装置1200に、厚板のIDと輸送車両700のIDとを送信することで、物品管理装置1200が、当該厚板のIDと当該輸送車両700のIDとを取得してもよい。
管理テーブル1300のデータ構造は、管理テーブル1300の各欄に記憶される情報(例えば、物品位置および登録時刻)が、厚板が新たな位置に置かれる度に、情報が更新されるデータ構造でもよい。また、管理テーブル1300のデータ構造は、情報が追加されるデータ構造でもよい。後者の場合、物品の位置の履歴を追うことができる利点を有する。
次に、管理テーブル1300の現品表示の欄に記憶される内容と、非現品表示の欄の物品内位置の欄に記憶される内容の一例を、より具体的に説明する。
図14は、ステンシルの物品内位置と、ステンシルによる表示における各表示項目の構成要素の位置の一例を示す図である。図14では、図2に示す表示位置および図3Aに示す内容で、ステンシルによる表示がなされている場合を例示する。
図14では、直方体の厚板の8つの頂点のうち、図2に示す頂点203を原点とし、当該頂点203から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の長さ方向に沿う方向をx軸の正の方向とするx-y座標で、ステンシルの物品内位置と、ステンシルによる各表示項目の構成要素の位置とを表す。
本実施形態では、ステンシルによる表示における各表示項目の構成要素の位置のうち、x軸の最大値、x軸の最小値、y軸の最大値、およびy軸の最小値となる位置により定まる外接矩形の4つ頂点のうち、対角線上にある2つの頂点のx-y座標を、ステンシルの物品内位置とする。図14では、外接矩形の2つの頂点1401a、1401bのx-y座標(Ls10,Ws10)、(Ls11,Ws11)が、ステンシルの物品内位置であることを示す。尚、ここでは説明を簡単にするため、外接矩形は、物品内位置を表現する座標軸(図14に示す例ではx軸およびy軸)に平行な矩形であるものとする。
また、ステンシルによる表示における各表示項目の構成要素(文字、数字、記号、マーク)の重心(または図心)の位置のx-y座標を、当該構成要素の位置とする。図14では、ステンシルによる表示に含まれるID305の構成要素である5、6、3、4、9、7、-、0、1のy軸座標が、それぞれ、Ws1、Ws2、Ws3、Ws4、Ws5、Ws6、Ws7、Ws8、Ws9であり、x軸座標が、何れもLs1であることを示す。
以上のようにしてステンシルによる表示の各表示項目の各構成要素の位置がx-y座標で表される。
図15は、ラベルの物品内位置と、ラベルによる表示における各表示項目の構成要素の位置の一例を示す図である。図15では、図2に示す表示位置および図3Bに示す表示内容で、ラベルによる表示が行われている場合を例示する。
図15では、直方体の厚板の8つの頂点のうち、図2に示す頂点204を原点とし、当該頂点204から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の板厚方向に沿う方向をz軸の正の方向とするy-z座標で、ラベルの物品内位置と、ラベルによる各表示項目の構成要素の位置とを表す。
本実施形態では、ラベルが矩形状であるものとする。ラベルの4つの頂点のうち、対角線上にある2つの頂点のy-z座標を、ラベルの物品内位置とする。また、ラベルによる表示における各表示項目の構成要素の重心(または図心)の位置のy-z座標を、当該構成要素の位置とする。図15では、ラベルの2つの頂点1501a、1501bのy-z座標が、ラベルの物品内位置であることを示す。
前述したように、図13に示す管理テーブル1300において、現品表示の欄のステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容および位置を示す情報が記憶される。従って、図16Aに示すように、図14に示す例では、現品表示の欄のステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容として、「5」、「6」、「3」、「4」、「9」、「7」、「-」、「0」、「1」が記憶される。また、現品表示の欄のステンシルの欄のIDの欄には、当該構成要素の位置として、(Ls1,Ws1)、(Ls2,Ws1)、(Ls3,Ws1)、(Ls4,Ws1)、(Ls5,Ws1)、(Ls6,Ws1)、(Ls7,Ws1)、(Ls8,Ws1)、(Ls9,Ws1)が記憶される。
現品表示の欄のその他の表示項目の欄にも、ステンシルの欄のIDの欄と同様に、当該表示項目の構成要素の内容および位置を示す情報が記憶される。尚、ラベルの欄の各表示項目の構成要素の位置を示す情報は、x-y座標ではなく、y-z座標となる。
また、図16Bに示すように、図14に示す例では、非現品表示の欄の物品内位置の欄のステンシルの欄には、ステンシルの物品内位置を示す情報として、(Ls10,Ws10)、(Ls11,Ws11)が記憶される。
物品内位置の欄のラベルの欄にも、物品内位置の欄のステンシルの欄と同様に、ラベルの物品内位置を示す情報が記憶される。尚、前述したように、ラベルの物品内位置を示す情報は、x-y座標ではなく、y-z座標となる。
管理テーブル1300を作成するに際し、例えば、オペレータは、物品管理装置1200のユーザインターフェースを操作して、管理テーブル1300の各欄に記憶すべき情報を、物品管理装置1200に入力してもよい。また、物品管理装置1200は、工場の操業を管理するコンピュータ等の外部装置から、管理テーブル1300の各欄に記憶すべき情報を受信してもよい。
管理テーブル1300の現品表示の欄に記憶される情報と、非現品表示の欄の物品内位置および親IDの欄に記憶される情報は、厚板に対する表示が行われた後に定められる場合もあれば、厚板に対する表示が行われる前に定められている場合もある。従って、当該欄に記憶すべき情報が厚板に対する表示が行われる前に定められている場合には、物品管理装置1200は、例えば、前述したようにして当該欄に記憶すべき情報を取得して、管理テーブル1300の各欄に記憶する。
一方、非現品表示の欄の物品位置および登録時刻の欄に記憶される情報は、厚板に対する表示が行われる前に定めることができない場合がある。従って、物品管理装置1200は、例えば、当該欄に記憶すべき情報が得られたタイミングで、当該欄に記憶すべき情報を取得して、管理テーブル1300の各欄に記憶する。前述したように登録時刻の欄には、物品位置の欄に記憶される情報が変更された日時が記憶される。この場合、厚板が現在の位置に置かれた日時が登録時刻の欄に登録される。
尚、非現品表示の欄の項目について、当該項目の情報が取得されている場合に限り、当該項目の欄に情報が記憶され、当該項目の情報が取得されていない場合には、当該項目の欄に情報は記憶されない。また、登録時刻の欄に記憶されている日時から所定時間が経過しても物品位置の欄に記憶されている情報が更新されない場合、物品管理装置1200は、厚板の位置の特定が途絶えたと判断し、当該物品位置および登録時刻の欄に記憶されている情報をリセットするのが好ましい。また、同一の位置において、登録時刻の欄に記憶されている日時が早い厚板が、登録時刻の欄に記憶されている日時が遅い厚板よりも先に搬送されることはない(即ち、板の重なりがある場合、下にある板が突然なくなることはない)。このため、物品管理装置1200は、物品位置および登録時刻の欄に記憶されている情報のリセットを実行するに際し、以下のようにするのが好ましい。即ち、物品管理装置1200は、リセットする登録時刻の欄に記載されている日時よりも遅い日時が登録時刻の欄に記憶されている厚板であって、リセットする物品位置の欄に記憶されている三次元位置と同じ三次元位置の厚板がある場合、アラーム等で確認をするサインを出すことが望ましい。
次に、物品管理装置1200の機能の一例を説明する。図17は、本実施形態の物品管理装置1200の処理の一例を説明するフローチャートである。図17を参照しながら、物品管理装置1200の機能の一例を説明する。なお、前述したように本実施形態では、物品管理装置1200によりトラッキングが行われる。したがって、本実施形態では、図17で例示するフローチャートを用いて実現される物品管理方法は、トラッキング方法となる。
図17のステップS1701において、第1の画像取得部1201は、第1の撮像画像を取得する。第1の撮像画像は、第1の撮像装置430a~430y、無人航空機440a~440cが備える第1の撮像装置、およびオペレータ(作業員)の手持ちの第1の撮像装置のうち、何れか1つの第1の撮像装置で撮像された撮像画像である。第1の撮像画像は、第1の撮像装置から物品管理装置1200に直接送信されても、情報端末装置を介して第1の撮像装置から物品管理装置1200に送信されてもよい。図17のフローチャートによる処理は、第1の撮像装置430a~430y、無人航空機440a~440cが備える第1の撮像装置、およびオペレータ(作業員)の手持ちの第1の撮像装置のうち、何れか1つの撮像装置で撮像された撮像画像が物品管理装置1200で受信される度に実行される。本実施形態では、第1の撮像画像を撮像した第1の撮像装置のIDと、当該第1の撮像画像を撮像した際の撮像条件とが、第1の撮像画像と共に送信されるものとする。
第1の画像取得部1201は、第1の撮像画像と共に、当該第1の撮像画像を撮像した第1の撮像装置のIDと、当該第1の撮像画像を撮像した際の撮像条件と、当該第1の撮像画像の撮像日時と、を取得する。撮像条件には、撮像の際に撮像装置で設定される情報のうち、後述するようにしてステンシルによる表示領域またはラベルによる表示領域の位置を特定するために必要となる情報が含まれる。
また、第1の撮像画像を撮像したときの第1の撮像装置の位置が固定されていない場合、第1の撮像画像を撮像したときの第1の撮像装置の位置情報が、第1の撮像画像と共に送信される。例えば、無人航空機440a~440cが、GPS(Global Positioning System)を用いて、当該無人航空機の三次元座標(x-y-z座標)を測位することができる場合、当該無人航空機が備える第1の撮像装置の位置情報として、当該三次元座標が送信されるようにしてもよい。輸送船400に取り付けられている第1の撮像装置430n、荷役装置411に取り付けられている第1の撮像装置430g~430m、および輸送車両700に取り付けられている第1の撮像装置430qについても、無人航空機440a~440cと同様にして、当該第1の撮像装置の位置情報が第1の撮像画像と共に送信されるようにしてもよい。このことは、オペレータ(作業員)の手持ちの第1の撮像装置についても同じである。
尚、第1の撮像装置が、第1の撮像画像に含めるべき領域を撮像することができない場合、ステップS1701の処理に先立って、第1の撮像装置の撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)が調整される。
次に、ステップS1702において、認識部1202は、ステップS1701で取得された第1の撮像画像から、ステンシル(ラベル)による表示における表示項目の構成要素(文字、数字、記号、マーク)を認識する。表示項目の構成要素の内容を認識する処理は、例えば、公知のOCR(Optical character recognition)を用いた技術で実現することができるので、ここでは、その詳細な説明を省略する。尚、NN(Neural Network)等のAI(Artificial Intelligence)を用いた技術や、AIとOCRとを組み合わせた技術(いわゆるAI OCR)を用いて、ステップS1702の処理を実現してもよい。
また、認識部1202は、表示項目の構成要素が、ステンシルによる表示とラベルによる表示との何れのものであるのかを特定する。例えば、認識部1202は、ステップS1701で取得された第1の撮像画像に基づいてエッジ検出処理を行い、厚板のエッジを検出し、検出した結果に基づいて、厚板の領域を特定する。そして、認識部1202は、特定した領域が、厚板の板面部分と厚板の側面(板厚)部分との何れであるかを判定する。この判定は、例えば、特定した領域の縦横比に基づいて実現される。この判定の結果、特定した領域が、厚板の板面部分である場合、認識部1202は、表示項目の構成要素が、ステンシルによる表示のものであると認識する。一方、特定した領域が、厚板の側面(板厚)部分である場合、認識部1202は、表示項目の構成要素が、ラベルによる表示のものであると認識する。
また、認識部1202は、第1の撮像画像に基づいてエッジ検出処理を行い、矩形状のラベル202の領域が検出された場合に、表示項目の構成要素が、ラベルによる表示のものであると認識し、そうでない場合に、表示項目の構成要素が、ステンシルによる表示のものであると認識してもよい。
尚、本実施形態では、説明を簡単にするために、最上段にある厚板については、第1の撮像画像には、ラベル202による表示領域ではなくステンシルによる表示領域201が含まれるものとする。
また、認識部1202は、表示項目の位置を導出する。第1の認識部1202が表示項目の位置を導出する手法の一例を説明する。まず、認識部1202は、ステップS1701で取得された第1の撮像画像に基づいてエッジ検出処理を行い、厚板のエッジを検出する。そして、認識部1202は、第1の撮像画像における物品内位置の原点(厚板における所定の位置)を検出する。認識部1202は、例えば、直方体の厚板の8つの頂点のうち、ステンシル(ラベル)による表示領域と物品内位置の原点との位置関係として予め設定された位置関係に基づいて、撮像画像における物品内位置の原点(厚板における所定の位置)となる頂点を導出する。
ステンシル(ラベル)による表示領域と物品内位置の原点との位置関係として、例えば、以下のような情報が物品管理装置1200に予め設定されていてもよい。即ち、ステンシル(ラベル)による表示の表示項目の構成要素を、当該構成要素の頂部が上側に位置するように見た場合に、ステンシル(ラベル)による表示と同一面において、ステンシル(ラベル)による表示の右下側に位置する頂点が、物品内位置の原点であるという情報が物品管理装置1200に予め設定されていてもよい。認識部1202は、ステンシル(ラベル)による表示における表示項目の構成要素の位置として、撮像画像における物品内位置の原点を基準とする位置を導出する。ステップS1702の処理が終了すると、ステップS1703の処理が実行される。
ステップS1703において、入手部1203は、記憶部1207に記憶されている管理テーブル1300において現品表示の欄のIDの欄に記憶されている情報を入手する。
次に、ステップS1704において、照合部1204は、ステップS1702において認識された情報と、ステップS1703において入手された情報とを照合する。ステップS1702において認識された情報が、ステンシルによる表示の情報であると認識された場合、照合部1204は、ステップS1703において入手された情報のうち、現品表示の欄のステンシルの欄のIDの欄に記憶されている情報と、ステップS1702において認識された情報とを照合する。一方、ステップS1702において認識された情報が、ラベルによる表示の情報であると認識された場合、照合部1204は、ステップS1703において入手された情報のうち、現品表示の欄のラベルの欄のIDの欄に記憶されている情報と、ステップS1702において認識された情報とを照合する。
次に、ステップS1705において、特定部1205は、ステップS1703の照合の結果に基づいて、管理テーブル1300において管理されている厚板から1つの厚板を特定する。具体的に、特定部1205は、ステップS1703において入手された情報の中から、ステップS1702において認識された情報と一致する情報を特定する。
ここで、一致とは、ステップS1702で認識された情報に、現品表示の欄のステンシルの欄またはラベルの欄のIDの欄に記憶されている構成要素と、内容および並び順が完全に一致している部分があることを指す。図3Aおよび図3Bに示す例では、ステンシルまたはラベルにより表示されるID305、312の構成要素の内容は、5、6、3、4、9、7、-、0、1であり、並び順は、左から、5、6、3、4、9、7、-、0、1の順である。従って、特定部1205は、5、6、3、4、9、7、-、0、1が左からこの順で並んでいる情報を、管理テーブル1300において管理されているIDの欄から特定する。ステップS1702で認識された情報において、これらの構成要素の一部が欠けている場合だけでなく、これらの構成要素以外の構成要素が並んでいる場合にも、当該ステップS1702で認識された情報は、現品表示の欄のステンシルの欄またはラベルの欄のIDの欄に記憶されている構成要素と、内容および並び順が完全に一致している情報ではないものとする。
次に、ステップS1706において、位置導出部1206は、ステップS1701で取得された情報に基づいて、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知であるか否かを判定する。本実施形態では、ガータ412および脚構造物413に取り付けられている第1の撮像装置430a~430f、輸送車両700の待機位置に設置されている構造物に取り付けられている第1の撮像装置430o~430p、工場内の置場に設置されている構造物に取り付けられている第1の撮像装置430r~430w、および工場の生産ラインに設置されている構造物に取り付けられている第1の撮像装置430x~430yの三次元位置は既知であるものとする。これらの第1の撮像装置のそれぞれについて、第1の撮像装置のIDと、当該第1の撮像装置の位置情報(三次元座標(x-y-z座標))と、が相互に関連付けられて物品管理装置1200に予め登録されているものとする。位置導出部1206は、ステップS1701で取得された第1の撮像装置のIDと同じIDと関連付けられている位置情報(三次元座標)が物品管理装置1200に予め登録されている場合、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知であると判定し、そうでない場合、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知でないと判定する。
ステップS1706の判定の結果、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知でない場合、ステップS1707の処理が実行される。ステップS1707において、位置導出部1206は、第1の撮像画像を撮像した第1の撮像装置の位置情報をステップS1701で取得したか否かを判定する。この判定の結果、第1の撮像画像を撮像した第1の撮像装置の位置情報をステップS1701で取得していない場合、処理は、後述するステップS1712に進む。
ステップS1706の判定の結果、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知である場合と、ステップS1707の判定の結果、第1の撮像画像を撮像した第1の撮像装置の位置情報をステップS1701で取得した場合には、ステップS1708の処理が実行される。ステップS1708において、位置導出部1206は、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができるか否かを判定する。尚、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができる場合の具体例については後述する。ステップS1708の判定の結果、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができない場合、処理は、後述するステップS1712に進む。
一方、ステップS1708の判定の結果、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができた場合、ステップS1709の処理が実行される。ステップS1709において、位置導出部1206は、ステンシル(ラベル)による表示領域の三次元座標(x-y-z座標)を、ステップS1705で特定された厚板の三次元位置として導出する。
次に、ステップS1710において、記憶部1207は、ステップS1705で特定された厚板に対する情報として管理テーブル1300の非現品表示の欄の物品位置の欄に記憶されている情報を、ステップS1709で導出された厚板の三次元位置を示す情報に更新する。このように本実施形態では、管理テーブル1300の非現品表示の欄の物品位置の欄に記憶される情報が、情報表示位置である場合を例示する。また、本実施形態では、ステップS1709で導出された厚板の三次元位置を示す情報が、位置導出手段により新たに導出された情報表示位置の一例である。また、ステップS1710の処理が行われる前に管理テーブル1300の非現品表示の欄の物品位置の欄に記憶されている情報が、記憶媒体に既に記憶されている情報表示位置の一例である。管理テーブル1300の非現品表示の欄の物品位置の欄に記憶される情報は、ステンシル(ラベル)による表示領域のx-y-z座標である。従って、情報表示位置は、三次元位置である。前述したように、同一の厚板の情報表示位置は、当該厚板の位置の移動に伴い、x座標およびy座標だけでなくz座標(高さ方向の位置)も変化する。本実施形態では、ステップS1710の処理により、存在する位置が変わる厚板の位置を追跡することが可能になる。
次に、ステップS1711において、出力部1208は、ステップS1705で特定された厚板の三次元位置を示す情報を出力する。例えば、出力部1208は、ステップS1705で特定された厚板の三次元位置を示す情報を、コンピュータディスプレイに表示させる。そして、図17のフローチャートによる処理が終了する。
ここで、ステップS1709においてステンシル(ラベル)による表示領域の三次元位置を導出する方法の一例を、図2に示したステンシルによる表示領域201を例に挙げて説明する。図2に示す例では、ステンシルによる表示領域201は、厚板の板面の領域のうち、厚板の幅方向(y軸方向)の中央付近の領域であって、厚板の長さ方向の一端側(x軸の負の方向側)の領域にある。本実施形態では、ステンシルによる表示領域201の三次元位置が、情報表示位置の一例である。
図18は、ステンシルによる表示領域201の三次元位置を導出する方法の一例を説明する図である。
図18において、点Pは、第1の撮像装置の三次元位置を示す(点Pのx-y-z座標は(xp,yp,zp)である)。第1の撮像装置の三次元位置は、例えば、第1の撮像装置の主点である。図18に示す例では、z軸は、厚板の表面(ステンシルによる表示領域201が形成されている面)に垂直な方向であるものとする。また、y軸は、ステンシルによる表示領域201において同一の表示項目の構成要素が並ぶ方向に平行な方向であるものとする。また、x軸は、ステンシルによる表示領域201において異なる表示項目が並ぶ方向に平行な方向であるものとする。また、x軸、y軸、z軸は相互に垂直であるものとする。また、ここでは、説明を簡単にするために、厚板の幅方向はy軸に平行であり、厚板の長さ方向はx軸に平行であるものとする。
点Sは、ステンシルによる表示領域201の4つの頂点のうち、x軸の負の方向側に位置し、且つ、y軸の正の方向側に位置する頂点の位置を示す(点Sのx-y-z座標は(xs,ys,zs)である)。点Oは、(x-y平面に対する)点Pの垂線の足(点Pの垂線とx-y平面との交点)である。図18に示す例では、点Oが原点であるものとする。点Qは、点Oを通り且つx軸に平行な直線と、点Sを通り且つy軸に平行な直線との交点である。
∠OPQをβ(rad)とし、線分OPの長さ(点Oから点Pまでの距離)をHとすると、線分OQの長さ(点Oから点Qまでの距離)Lは、以下の(1)式で表される。
L=Htanβ ・・・(1)
また、∠OPSをα(rad)とすると、線分OSの長さ(点Oから点Sまでの長さ)lは、以下の(2)式で表される。そして、線分SQの長さ(点Sから点Qまでの距離)wyは、以下の(3)式で表される。
l=Htanα ・・・(2)
wy=(l2-L2)0.5 ・・・(3)
従って、点Sのx-y-z座標S(xs,ys,zs)は、以下の(4)式で表される。
S(xs,ys,zs)=(L,wy,0) ・・・(4)
本実施形態では、線分OPの長さH、∠OPQ(=β)、∠OPS(=α)が定まった時に、位置導出部1206が、点Sのx-y-z座標(xs,ys,zs)を、ステンシルによる表示領域201の位置として導出する場合を例示する。
線分OPの長さHは、点Pのz座標zpから、ステンシルによる表示領域201のz座標zsを減算した値である。従って、ステンシルによる表示領域201のz座標(ステンシルによる表示領域201の高さ方向(z軸方向)の位置)が特定されていれば、線分OPの長さHを導出することができる。尚、図18では、ステンシルによる表示領域201のz座標zsが0(ゼロ)である場合を例示するので、線分OPの長さHは、点Pのz座標zpに等しい。
第1の撮像画像における点Sの位置は、例えば、以下のようにして導出される。位置導出部1206は、ステップS1702で認識されたステンシルによる表示項目の構成要素のうち、x軸の最大値、x軸の最小値、y軸の最大値、およびy軸の最小値となる位置により定まる外接矩形を導出する。そして、位置導出部1206は、導出した外接矩形の頂点のうち、ステンシルによる表示項目の構成要素の頂部が上側に位置するように見た場合に、例えば左下側(x軸の負の方向側およびy軸の正の方向側)に位置する頂点の位置を、第1の撮像画像における点Sの位置として導出する。尚、第1の撮像画像においてラベルによる表示がなされている場合、位置導出部1206は、矩形状のラベルの頂点のうち、ラベルによる表示項目の構成要素の頂部が上側に位置するように見た場合に、例えば左下側に位置する頂点を、第1の撮像画像における点Sの位置として導出する。
第1の撮像画像における点Qの位置は、第1の撮像画像における点Sの位置を通り且つy軸に平行な直線上の位置であって、撮像時の水平画角(y軸方向の画角)の中心に対応する位置となる。尚、点Qの特定は、例えば、以下のようにして行ってもよい。即ち、レーザポインタ等で点Pからレーザ光を照射して、点Sの位置を通り、且つ、y軸に平行な直線を、厚板の板面のうちステンシルによる表示領域201が形成されている面に表示する。また、レーザポインタ等で点Pからレーザ光を照射して、点Oを通り、且つ、x軸に平行な直線を、厚板の板面のうちステンシルによる表示領域201が形成されている面に表示する。このようにする場合、レーザ光により表示される2つの直線の交点が点Qとなる。従って、位置導出部1206は、レーザ光により表示される2つの直線の交点が表示されている状態で撮像された第1の撮像画像から点Qを特定してもよい。このようにすれば、点P、点O、および点Qがx-z平面上(y=0の平面上)にある場合、厚板の板面のうちステンシルによる表示領域201が形成されている面がx-y平面に対して傾いていても、点Qの位置を特定することができる。
∠OPS(=α)、∠OPQ(=β)、および∠SPQ(=δ)は、例えば、位置導出部1206によって、以下のようにして導出されてもよい。まず、位置導出部1206は、第1の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)の測定値に基づいて、線分PSおよび点PQの長さを導出する。そして、位置導出部1206は、ステンシルによる表示領域201が形成されている面がx-y平面であり、線分QSがy軸方向に延びる直線であるものとして、点Sおよび点Qの位置を特定する。そして、位置導出部1206は、点P、点S、点Qの位置に基づいて、∠OPS(=α)、∠OPQ(=β)、および∠SPQ(=δ)を導出する。
また、例えば、位置導出部1206は、第1の撮像装置から点Sに向けて照射されたレーザ光の角度と、第1の撮像装置から点Qに向けて照射されたレーザ光の角度と、第1の撮像装置から点Sから点Qまでレーザ光が走査されたときの走査角度とに基づいて、∠OPS(=α)、∠OPQ(=β)、および∠SPQ=(=δ)を導出してもよい。
また、位置導出部1206は、厚板の板面のうちステンシルによる表示領域201が形成されている面と点Oとを含む領域に格子状のレーザ光を照射した状態で撮像された第1の撮像画像において格子状に並んでいる矩形の数を計数することにより、∠OPS(=α)、∠OPQ(=β)、および∠SPQ(=δ)を導出してもよい。このようにする場合、1つの矩形のx軸方向の長さは、例えば、∠OPS(=α)および∠OPQ(=β)が1rad変化すると変化するx軸方向の長さであり、y軸方向の長さは、例えば、∠SPQ(=δ)が1rad変化すると変化するy軸方向の長さである。点Oに対応する位置にある矩形から、点S、Qに対応する矩形までの矩形の数の計数の結果に基づいて、∠OPS(=α)、∠OPQ(=β)が導出される。また、点Sに対応する位置にある矩形から点Qに対応する位置にある矩形までの矩形の数の計数の結果に基づいて、∠SPQ(=δ)が導出される。矩形の数の計数は、第1の撮像画像に対する画像処理の結果に基づいて行われる。
尚、表示領域1111、1121、1131、1141の位置についても、図18を参照しながら説明した手法と同様に導出される。また、ステンシルによる表示領域201と、ラベル202による表示領域とは、厚板において配置される面が異なるだけであるので、ラベル202による表示領域の位置についても、図18を参照しながら説明した手法に倣って導出することができる。従って、ここでは、その詳細な説明を省略する。
次に、ステップS1708において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができると判定される場合の一例を説明する。
第1の例として、まず、位置導出部1206は、レーザ距離計を用いて第1の撮像装置からステンシルによる表示領域までの高さ方向(z軸方向)の距離を導出する。そして、位置導出部1206は、第1の撮像装置の高さ方向(z軸方向)の位置から、当該距離を減算した位置を、ステンシルによる表示領域201の高さ方向(z軸方向)の位置として導出する。
第2の例として、位置導出部1206は、管理テーブル1300の物品位置の欄に記憶されている、厚板の位置を示す情報と、管理テーブル1300の登録時刻の欄に記憶されている、厚板が現在の位置に置かれた日時を示す情報と、を用いて、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する。このようにしてステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する方法の一例を説明する。尚、ここでは、管理テーブル1300の物品位置の欄に記憶されている、厚板の三次元位置を、必要に応じて、物品位置と称する。また、ここでは、説明を簡単にするため、積み重ねられている複数の厚板のうち最下段にある厚板が地面に置かれているものとする。
まず、位置導出部1206は、ステップS1705で特定された厚板以外の厚板から、ステップS1701で取得された第1の撮像画像を撮像した第1の撮像装置の撮像範囲(x-y座標)に少なくとも一部が含まれる厚板を、管理テーブル1300に記憶されている物品位置に基づいて特定する。
ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する場合には、ステップS1705で特定された厚板は最上段にある。従って、位置導出部1206は、ステップS1701で取得された第1の撮像画像を撮像した第1の撮像装置の撮像範囲(x-y座標)に少なくとも一部が含まれる厚板は、ステップS1705で特定された厚板の下にあると判断する。この場合、ステップS1705で特定された厚板の下にある厚板の情報として管理テーブル1300に記憶されているサイズ(厚み)の全てと、ステップS1705で特定された厚板の厚みとを加算した値が、ステンシルによる表示領域201の高さ方向(z軸方向)の位置となる。
一方、ラベルによる表示領域の高さ方向(z軸方向)の位置を導出する場合には、位置導出部1206は、前述したようにして特定された厚板のうち、ステップS1705で特定された厚板の情報として管理テーブル1300の登録時刻の欄に記憶されている日時よりも遅い日時が登録時刻の欄に記憶されている厚板が、ステップS1705で特定された厚板の下にある厚板であると判断する。この場合、ステップS1705で特定された厚板の下にある厚板の情報として管理テーブル1300に記憶されているサイズ(厚み)の全ての加算値と、ステップS1705で特定された厚板の情報として管理テーブル1300に記憶されている物品内位置のz座標の値とを加算した値が、ラベル202による表示領域の高さ方向(z軸方向)の位置となる。
第3の例として、第1の撮像画像に高さ方向(z軸方向)を特定することが可能な情報が表示されている場合、位置導出部1206は、当該情報に基づいて、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出することができる。このようにしてステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する方法の一例を説明する。例えば、位置導出部1206は、高さ方向(z軸方向)の位置を示す目盛りが表示された構造物が第1の撮像画像に含まれる場合、第1の撮像画像から当該構造物の当該目盛りを認識する。例えば、位置導出部1206は、第1の撮像画像に対してエッジ検出処理を実行してオブジェクトのエッジを抽出し、抽出したオブジェクトから、当該構造物を抽出する。例えば、オブジェクトの輪郭を示す情報と、当該オブジェクトの名称とが相互に関連付けられた情報を物品管理装置1200に予め登録しておく。このようにする場合、位置導出部1206は、前述したようにして抽出されたオブジェクトのエッジと、当該情報とを比較することにより、当該構造物に対応するオブジェクトを抽出してもよい。また、位置導出部1206は、NN(Neural Network)等のAI(Artificial Intelligence)を用いて、前述したようにして抽出されたオブジェクトから、当該構造物を抽出してもよい。
そして、位置導出部1206は、第1の撮像画像におけるステンシル(ラベル)による表示領域の位置と、第1の撮像画像における当該構造物に表示されている目盛りの位置とに基づいて、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する。尚、第1の撮像画像において目盛りに付されている数字は、ステンシル(ラベル)による表示項目の構成要素を認識する手法と同様の手法で認識される。
第4の例として、位置導出部1206は、第2の画像取得部1209で取得される第2の撮像画像を用いて、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出してもよい。この場合、図17のフローチャートにおいて、ステップS1708の処理が開始されるタイミングよりも前に、第2の画像取得部1209により第2の撮像画像を取得するステップが追加される。第2の撮像画像は、第1の撮像画像を撮像した第1の撮像装置(ステンシル(ラベル)による表示領域を含む領域を撮像する撮像装置)とは別の第2の撮像装置で撮像された撮像画像である。第2の撮像画像は、ステップS1701で取得された第1の撮像画像を撮像した第1の撮像装置と、ステップS1705で特定される厚板との双方を含む。このようにしてステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する方法の一例を説明する。
図19は、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する方法の一例を説明する図である。
図19に示す例においても、図18と同様に、点Pは、第1の撮像装置の位置を示す(点Pのx-y-z座標は(xp,yp,zp)である)。また、z軸は、厚板の表面(ステンシルによる表示領域201が形成されている面)に垂直な方向である。また、y軸は、ステンシルによる表示領域201において同一の表示項目の構成要素が並ぶ方向に平行な方向である。また、x軸は、ステンシルによる表示領域201において異なる表示項目が並ぶ方向に平行な方向である。また、x軸、y軸、z軸は相互に垂直であるものとする。ここでも、説明を簡単にするために、厚板の幅方向はy軸に平行であり、厚板の長さ方向はx軸に平行であるものとする。
また、点O’は、(x-y平面に対する)点Pの垂線と、厚板の表面(ステンシルによる表示領域201が形成されている面)を含む平面と、の交点である(点O’は図18の点Oに対応する)。点Oは、(x-y平面に対する)点Pの垂線の足(点Pの垂線とx-y平面との交点)である。図19に示す例では、点Oが原点であるものとする。点Rは、第2の撮像装置の三次元位置を示す(点Rのx-y-z座標は(xr,yr,zr)である)。第2の撮像装置の三次元位置は、例えば、第2の撮像装置の主点の位置である。
第2の撮像装置の三次元位置は、物品管理装置1200で特定することが可能であるものとする。例えば、第2の撮像装置の三次元位置が固定である場合、第2の撮像装置のIDと、当該第2の撮像装置の三次元座標(x-y-z座標)と、が相互に関連付けられて物品管理装置1200に予め登録される。また、第2の撮像装置の三次元位置が固定でない場合、例えば、第2の撮像装置は、GPSを用いて測位された当該第2の撮像装置の三次元座標(x-y-z座標)と当該第2の撮像装置のIDとを送信する。この場合、第2の画像取得部1209は、第2の撮像装置から送信されたこれらの情報を取得する。
図19に示す例では、説明を簡単にするため、積み重ねられている複数の厚板のうち最下段にある厚板が地面に置かれているものとする。点Dは、ステンシルによる表示領域201が形成されている面の頂点のうち、点Rに最も近い位置にある頂点である。点Bは、積み重ねられている複数の厚板のうち最下段にある厚板の底面の頂点のうち、点Rに最も近い位置にある頂点である。
図19において、∠BRD(=φB)および∠PRO(=φP)は、例えば、第2の撮像画像における点P、点B、および点Dの位置と、当該第2の撮像画像の主点と、に基づいて定められる。第2の撮像画像における点Pと、第2の撮像画像の主点とを結ぶ直線により、線分RPが延びる方向が特定される。第2の撮像画像における点Bと、第2の撮像画像の主点とを結ぶ直線により、線分RBが延びる方向が特定される。第2の撮像画像における点Dと、第2の撮像画像の主点とを結ぶ直線により、線分RDが延びる方向が特定される。∠BRD(=φB)は、線分RBが延びる方向と、線分RDが延びる方向と、に基づいて定められる。∠PRO(=φP)は、線分RPが延びる方向と、y軸方向と、に基づいて定められる。
また、例えば、位置導出部1206は、第2の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)の測定値に基づいて、線分RPの長さ(点Rから点Pまでの距離)および線分RD(点Rから点Dまでの距離)の長さを導出する。そして、位置導出部1206は、第2の撮像装置の高さ方向(z軸方向)の位置(zr)と、線分RPの長さと、∠PRO(=φP)とに基づいて、第1の撮像装置の高さ方向(z軸方向)の位置(zp)を導出する(zp=zr+線分RPの長さ×sinφP)。同様に、位置導出部1206は、第2の撮像装置の高さ方向(z軸方向)の位置(zr)と、線分RDの長さと、∠BRD(=φB)に基づいて、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する。
尚、図19では、第2の撮像装置(点R)の高さ方向(z軸方向)の位置が0(ゼロ)である場合を例示する。また、以上のように第2の撮像画像を用いれば、位置導出部1206は、ステンシルによる表示領域201の高さ方向(z軸方向)の位置だけでなく、第1の撮像装置の高さ方向(z軸方向)の位置(zp)を導出することができる。また、位置導出部1206は、高さ方向(z軸方向)の位置だけでなく、第1の撮像装置のx軸方向の位置(xp)およびy軸方向の位置(yp)も導出することができる。例えば、xp、ypは、線分RPが延びる方向と、yr+線分RPの長さ×cosφPとに基づいて導出される。即ち、線分RPが延びる方向と、yr+線分RPの長さ×cosφPとに基づいて、点R、Pを結ぶベクトルが導出される。当該ベクトルのx軸成分の長さ、y軸成分の長さが、xp、ypとなる。
また、ここでは、第2の撮像装置により撮像される第2の撮像画像に点P(第1の撮像装置)が含まれる場合を例に挙げて説明した。しかしながら、第1の撮像装置(点P)と第2の撮像装置(点R)との相対的な位置関係(∠PRO(=φP)等)を導出することができれば、必ずしもこのようにする必要はない。このようにする場合、例えば、第1の撮像装置および第2の撮像装置と異なる少なくとも1つの撮像装置で撮像された撮像画像を用いる。このようにする場合の具体例を説明する。まず、第1の撮像装置および第2の撮像装置に加えて第3の撮像装置を配置する。第3の撮像装置は、点P(第1の撮像装置)および点R(第2の撮像装置)を撮像範囲に含み、点Dを撮像範囲に含まないものとする。また、第3の撮像装置の位置を示す点を不図示のR'とする。また、第2の撮像装置の位置を示す点Rの位置と第3の撮像装置の位置を示す点R'の位置との一方または両方が予め定められているものとする。この場合、位置導出部1206は、第3の撮像装置により撮像される第3の撮像画像に基づいて、点R'から点R、点Pを見たときの仰角または俯角を導出する。そして、位置導出部1206は、導出した仰角または俯角に基づいて、∠PRO(=φP)を導出する。角度、方向、および長さの導出は、図19を参照しながら説明した手法と同様の手法で実現される。また、第3の撮像装置の撮像範囲に点P(第1の撮像装置)が含まれ、点R(第2の撮像装置)が含まれていない場合には、例えば、点R'(第3の撮像装置)および点R(第2の撮像装置)を撮像範囲に含む第4の撮像装置により撮像された第4の撮像画像を更に用いればよい。一方、例えば、第3の撮像装置の撮像範囲に点R(第2の撮像装置)が含まれ、点P(第1の撮像装置)が含まれていない場合には、例えば、点R'(第3の撮像装置)および点P(第1の撮像装置)を撮像範囲に含む第5の撮像装置により撮像された第5の撮像画像を更に用いればよい。
また、位置導出部1206は、点P(第1の撮像装置)の位置を、第1の撮像装置を撮像範囲に含む第6の撮像装置により撮像される第6の撮像画像を用いて特定してもよい。この場合、第2の撮像装置、第3の撮像装置、および第4の撮像装置の少なくとも1つの撮像範囲に第6の撮像装置が含まれるものとする。また、第6の撮像装置の位置を示す点を不図示のP’とする。また、第1の撮像装置の位置を示す点Pの位置と第6の撮像装置の位置を示す点P’の位置との一方または両方が予め定められているものとする。この場合、例えば、前述した説明において、第1の撮像装置および点Pに代えて第6の撮像装置および点P’を用いた計算が行われる。そして、例えば、この計算の結果と、第6の撮像画像と、点Pおよび点P’の一方または両方の位置と、に基づいて、第1の撮像装置(点P)と第2の撮像装置(点R)との相対的な位置関係(∠PRO(=φP)等)が導出される。
以上のようにすれば、第2の撮像装置の撮像範囲に第1の撮像装置と厚板との双方を含めるように第2の撮像装置を配置することができない場合であっても、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出することができる。尚、第3~第6の撮像画像は、例えば、第2の画像取得部1209により取得される。ただし、第2の画像取得部1209とは別に、第3~第6の撮像画像を個別に取得する第3~第6の画像取得部を用いてもよい。このようにする場合、図17のフローチャートにおいて、ステップS1708の処理が開始されるタイミングよりも前のタイミングであって、第2の画像取得部1209により第2の撮像画像を取得するステップが実行されるタイミングとは別のタイミングに、第3~第6の撮像画像を個別に取得するステップが追加される。尚、第2の撮像画像等を取得しなくても、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができる場合には、第2の画像取得部1209は不要になる。
第5の例として、位置導出部1206は、搬送テーブル1001に置かれている厚板1002a、1002bの、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を、搬送テーブル1001の位置と、厚板1002a、1002bの情報として管理テーブル1300に記憶されているサイズ(厚み)とに基づいて導出してもよい。このようにする場合、搬送テーブル1001の位置は、物品管理装置1200に予め登録される。
例えば、以上の例の少なくとも1つの例において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出することができる場合、ステップS1708において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができると判定される。
また、厚板が運搬具にある場合、ステップS1709において、位置導出部1206は、運搬具における厚板の三次元位置を取得する。本実施形態では、運搬具は、輸送船400および輸送車両700である。そこで、本実施形態では、運搬具が、輸送船400および輸送車両700である場合を例示する。
例えば、厚板が輸送船400に荷積みされると、位置導出部1206は、当該厚板のIDと当該輸送船400における当該厚板の三次元位置を示す情報とを取得する。そして、位置導出部1206は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、位置導出部1206は、特定した列の物品位置の欄に、取得した輸送船400における厚板の三次元位置を示す情報を記憶する。例えば、輸送船400のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送船400における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末から物品管理装置1200に、厚板のIDと輸送船400における当該厚板の三次元位置を示す情報とを送信することで、位置導出部1206は、当該厚板のIDと当該輸送船400における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル(ラベル)による表示領域のx-y-z座標である。
また、厚板が輸送車両700に荷積みされると、位置導出部1206は、当該厚板のIDと当該輸送車両700における厚板の三次元位置を示す情報とを取得する。そして、位置導出部1206は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、位置導出部1206は、特定した列の物品位置の欄に、取得した輸送車両700における厚板の三次元位置を示す情報を記憶する。例えば、輸送車両700のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送車両700における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末から物品管理装置1200に、厚板のIDと当該輸送車両700における当該厚板の三次元位置を示す情報とを送信することで、位置導出部1206は、当該厚板のIDと当該輸送車両700における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル(ラベル)による表示領域のx-y-z座標である。
以上のように運搬具における厚板の三次元位置を取得することにより、各厚板を搬送する運搬具を特定することができる。また、運搬具により厚板が搬送中であるときの厚板の三次元位置を正確に特定することができる。
第6の例として、撮像素子の画素数およびサイズ(各画素の長さ[m/画素])と、撮像素子から主点までの距離である焦点距離と、がわかっている撮像装置を用いて、ステンシル(ラベル)による表示領域の実空間における位置を取得することで、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出してもよい。
ステンシルによる表示領域201が長方形であり、その長辺および短辺の実空間の長さが物品管理装置1200に予め記憶されている場合を例に挙げ、図20Aと図20Bとを用いて第6の例を説明する。なお、前述したように、第1の撮像装置のセンサの画素数の情報と、当該センサのサイズの情報と、撮影時に用いられる光学倍率ごとの焦点距離と、が物品管理装置1200に予め記憶されている。焦点距離は、撮像時に決められる情報である。
図20Aは、ステンシルによる表示領域201を含む第1の撮像画像の一例を示す図である。ステンシルによる表示領域201は正面から撮像されると、第1の撮像画像において長方形になる。一方、ステンシルによる表示領域201は斜めから撮像されると、図20Aの破線(仮想線)のように第1の撮像画像において不等辺四角形となる場合がある。図20Bは、第1の撮像装置の内部とステンシルによる表示領域201との幾何学的関係の一例を示す図である。図20Bにおいて、まず、位置導出部1206は、撮像素子2002に撮像されたステンシルによる表示領域201’の四隅の頂点2002a~2002dの位置を特定する。次に、位置導出部1206は、ステンシルによる表示領域201’の四隅の頂点2002a~2002dと、主点FPと、を結ぶ直線を、ステンシルによる表示領域201側に延長した直線2003a~2003dを特定する。次に、位置導出部1206は、主点FPが、頭頂点であり、直線2003a~2003dが、主点FPを一端とする4つの辺であり、底面の寸法が、ステンシルによる表示領域201(長方形)の長辺および短辺の実空間の長さである四角錘2001を特定する。前述したように、ステンシルによる表示領域201を長方形としたときの当該長方形の長辺および短辺の実空間の長さは、物品管理装置1200に予め記憶されている。位置導出部1206は、このようにして特定した四角錘2001に基づいて、ステンシルによる表示領域201と主点FP(第1の撮像装置)との3次元的な位置関係を導出する。
ここでは、説明を容易にするため、ステンシルによる表示領域の形状が、予め寸法がわかっている長方形である場合を例示した。しかしながら、第6の例の手法において、第1の撮像装置との三次元的な位置関係を導出する対象となる表示領域の形状は、長方形である場合に限定されない。例えば、形状と大きさとが予めわかっている文字、記号、マークなどの表示であっても、図20Bに示すステンシルによる表示領域201を当該表示の表示領域に置き替えれば、当該表示の位置と主点(第1の撮像装置)との3次元的な位置関係を導出することができる。
更には、ここでは、第1の撮像装置との三次元的な位置関係を導出する対象となる表示領域が平面である場合を例示した。しかしながら、第6の例の手法において、第1の撮像装置との三次元的な位置関係を導出する対象となる表示領域は平面に限定されない。当該表示領域の面の形状が既知であれば、当該表示領域と第1の撮像装置との三次元的な位置関係を導出することができる。例えば、円柱状の物品の表面になされた表示の表示領域と、第1の撮像装置と、の三次元的な位置関係を位置導出部1206が導出する場合には、図20Bを参照しながら説明した長方形の長辺および短辺の寸法に代えて、当該表示領域の形状および寸法と、当該表示領域の表示面の曲率と、が予め物品管理装置1200に記憶されていればよい。これらの情報によって、図20Bを参照しながら説明した第6の例の手法における四角錘の底面に相当するものを特定することができるからである。
図17の説明に戻り、ステップS1708において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができないと判定された場合には、ステップS1712の処理が実行される。ステップS1712において、出力部1208は、厚板の三次元位置を特定することができないことを示す情報と、当該厚板を撮像した第1の撮像装置のIDとを出力する。例えば、出力部1208は、厚板の三次元位置を特定することができないことを示す情報と、当該厚板を撮像した第1の撮像装置のIDとを、コンピュータディスプレイに表示させる。これらの情報が出力されると、オペレータ(作業員)は、該当する第1の撮像装置が存在する位置まで出向き、該当する厚板の三次元位置を特定する。また、オペレータ(作業員)は、該当する第1の撮像装置のプレビュー画像から、該当する厚板の三次元位置を特定してもよい。
次に、ステップS1713において、記憶部1207は、オペレータ(作業員)により特定された厚板の三次元位置を示す情報を入力し、当該厚板に対する情報として管理テーブル1300の非現品表示の欄の物品位置の欄に記憶されている情報を、当該入力した情報に更新する。尚、厚板の三次元位置を示す情報の入力の形態として、物品管理装置1200のユーザインターフェースの操作による入力、外部装置から送信された情報の受信、および可搬型の記憶媒体に記憶された情報の読み出しのうち、少なくとも1つを採用することができる。そして、図17のフローチャートによる処理が終了する。
<まとめ>
以上のように本実施形態では、物品管理装置1200は、厚板に表示されている情報であって、当該厚板の製造メーカによって管理されている情報がステンシル(ラベル)により表示された表示領域を含む領域の第1の撮像画像を取得する。物品管理装置1200は、当該取得した第1の撮像画像と、当該第1の撮像画像を撮像した第1の撮像装置の位置と、に基づいて、ステンシル(ラベル)による表示領域の三次元位置を導出し、当該三次元位置を示す情報を、当該厚板のIDと関連付けて記憶媒体に記憶する。従って、例えば、各種の搬送装置(輸送船400、輸送車両700、搬送テーブル1001等)を用いて厚板を搬送したり、厚板を作業員が搬送したりする場合や、置場番地が定められていない置場に厚板が置かれる場合や、厚板が積み重ねられて置かれる場合であっても、厚板の位置を管理することができる。よって、厚板の位置を適切に管理することができる。
また、本実施形態では、物品管理装置1200は、ステンシル(ラベル)による表示領域の三次元位置と、厚板のIDとが、相互に関連付けられて記憶媒体に既に記憶されている場合に、ステンシル(ラベル)による表示領域の三次元位置を新たに導出した場合、記憶媒体に既に記憶されているステンシル(ラベル)による表示領域の三次元位置を、新たに導出した三次元位置に更新する。したがって、時間の経過と共に存在する位置(場所)が変わる厚板の位置の追跡精度を向上させることができる。
また、本実施形態では、物品管理装置1200は、第1の撮像画像に基づいて、ステンシル(ラベル)による表示領域に表示されている情報(ID305、312)を認識する。そして、物品管理装置1200は、認識した情報と、管理テーブル1300に記憶されている情報(ID)とを照合し、照合した結果に基づいて、厚板を特定する。従って、位置の管理対象となる厚板そのものを、第1の撮像画像に基づいて確実に特定することができる。よって、例えば、搬送機器の動作に基づいて、厚板の三次元位置を特定する場合に比べ、厚板の位置を高精度に特定することができる。
また、本実施形態では、物品管理装置1200は、第1の撮像画像を撮像した第1の撮像装置と異なる第2の撮像装置により撮像された第2の撮像画像を取得する。第2の撮像画像には、第1の撮像画像と、(位置の管理対象となる)厚板とが含まれる。物品管理装置1200は、当該取得した第2の撮像画像と、第2の撮像装置の位置と、に基づいて、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する。そして、物品管理装置1200は、ステンシルによる表示領域201の高さ方向(z軸方向)の位置と、第1の撮像画像と、当該第1の撮像画像を撮像した第1の撮像装置の位置と、に基づいて、ステンシルによる表示領域201の三次元位置を、厚板の三次元位置として導出する。従って、第1の撮像画像や第1の撮像装置が備えるセンサを用いても、厚板の高さ方向の位置を導出することができない場合でも、厚板の位置を管理することができる。
また、本実施形態では、ステンシルによる表示およびラベルによる表示を、人が識別可能な情報とする。従って、オペレータ(作業員)による現品管理が容易になる。よって、現品管理の利便性が向上する。
また、本実施形態では、ステンシルによる表示およびラベルによる表示に、厚板ごとに個別に定められる情報(厚板に固有の情報)が含まれるようにした。従って、第1の撮像画像に基づいて、厚板を一意に識別することができる。よって、厚板の識別を容易に且つ迅速に行うことができる。
また、本実施形態では、物品管理装置1200は、ステンシル(ラベル)による表示領域の位置として、三次元座標(x-y-z座標)を導出する。従って、例えば、複数の厚板が積み重ねられている場合であっても、厚板の位置を管理することができる。
<変形例>
<<第1の変形例>>
ステップS1709において第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する方法は、図18を参照しながら説明した手法に限定されない。例えば、位置導出部1206は、管理テーブル1300において物品内位置を定める際の原点の位置を、第1の撮像画像から導出する。そして、位置導出部1206は、導出した原点の位置と、管理テーブル1300の物品内位置の欄に記憶されている情報と、に基づいて、第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する。このようにして第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する手法の一例を、ステンシルによる表示領域201を例に挙げて説明する。
図21は、ステンシルによる表示領域201の位置を導出する方法の一例を説明する図である。図21では、図18と同様に、点Sのx-y-z座標S(xs,ys,zs)を、ステンシルによる表示領域201の位置として導出する場合を例示する。図14を参照しながら説明したように、ステンシルの物品内位置は、図2に示す頂点203を原点とし、当該頂点203から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の長さ方向に沿う方向をx軸の正の方向とするx-y座標で表される。従って、図21の点Eの位置が、ステンシルの物品内位置の原点となる。点Fは、厚板の頂点のうち、点Eに対して幅方向(y軸方向)に並ぶ点である(点Eと点Fとで厚板の幅方向に沿う一辺が形成される)。点Tは、線分EFに対する点Pの垂線の足(点Pの垂線と線分EFとの交点)である。点Pおよび点Oは、図18に示したものと同じである。
図21において、線分PTの長さをhpとする。また、線分PFの長さをh1とし、∠FPTをθ1(rad)とし、線分PEの長さをh2とし、∠EPTをθ2(rad)とし、∠EPFをθ(rad)(θ=θ1+θ2)とする。また、線分FTの長さをw01とし、線分ETの長さをw02とする。
そうすると、点Eのx座標xeは、点Pのx座標xpに、線分OTの長さlpを加算した値(xe=xp+lp)になる。点Eのy座標yeは、点Pのy座標ypから、線分ETの長さw 02を減算した値(ye=yp-w 02)になる。従って、線分OTの長さlpと、線分ETの長さw 02とが導出されれば、点Eの位置(ステンシルの物品内位置の原点)のx-y座標(xe,ye)が導出される。
線分OTの長さlpは、以下の(5)式で表される。
lp=√(hp
2-H2)=√(h1
2cos2θ1-H2)=√(h2
2cos2θ2-H2) ・・・(5)
線分ETの長さw 02は、以下の(6)式で表される。
w 02=h2sinθ2 ・・・(6)
従って、例えば、線分PEの長さh2および∠EPT(=θ2)が導出されれば、線分OTの長さlpおよび線分ETの長さw 02が導出される。尚、線分OPの長さHは、図18を参照しながら説明したようにして導出される。
第1の撮像画像における点Tの位置は、第1の撮像画像における線分EF上の位置であって、撮像時の水平画角(y軸方向の画角)の中心に対応する位置となる。∠EPT(=θ2)は、例えば、ステップS1701で取得した第1の撮像画像における点Eおよび点Tの位置と、当該第1の撮像画像の主点と、に基づいて定められる。第1の撮像画像における点Eと、第1の撮像画像の主点とを結ぶ直線により、線分PEが延びる方向が特定される。第1の撮像画像における点Tと、第1の撮像画像の主点とを結ぶ直線により、線分PTが延びる方向が特定される。∠EPT(=θ2)は、線分PEが延びる方向と、線分PTが延びる方向と、に基づいて定められる。
線分PEの長さh2は、例えば、第1の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)を用いて導出される。この他、線分OPの長さHと、∠OPEとに基づいて、線分PEの長さh2を導出してもよい。
以上のようにして、点Eのx座標xeおよびy座標yeが導出される。そして、位置導出部1206は、ステップS1705で特定された厚板のラベルの情報として管理テーブル1300の物品内位置の欄に記憶されている情報から、点Sに対応する位置のx-y座標(Ls10,Ws10)を読み出す。そして、位置導出部1206は、点Eのx座標xeにLS10を加算した値を点Sのx座標xsとして導出する(xs=xe+LS10)。また、位置導出部1206は、点Eのy座標xyにWS10を加算した値を点Sのy座標ysとして導出する(ys=ye+WS10)。
また、例えば、厚板が置かれている場所、ステンシル(ラベル)による表示領域の位置、および厚板が置かれている方向の少なくとも1つによっては、ステンシル(ラベル)による表示領域と、第1の撮像装置と、の幾何学的な位置関係を表す数式が図18および図21を参照しながら説明した式にならない場合がある。例えば、複数の厚板が貨車に積み重ねられており、且つ、当該複数の厚板の一部を撮像装置で撮像することができない場合、当該複数の厚板のうちの最も上に置かれている厚板の高さ方向の位置が定まらない場合がある。また、ステンシル(ラベル)による表示領域と、第1の撮像装置と、の幾何学的な位置関係を表す数式が複雑になる場合がある。そこで、例えば、第1の撮像装置は、輝度画像および距離画像を第1の撮像画像として撮像してもよい。なお、輝度画像は、本実施形態でこれまでに説明した撮像画像である。輝度画像は、被写体からの反射光の強度(被写体の明るさ)の情報を有し、撮像装置から被写体までの距離の情報を有していない。距離画像は、撮像装置から被写体までの距離の情報を有する。尚、第1の撮像装置は、輝度画像の画素の位置と、距離画像の画素の位置と、が相互に対応するように、輝度画像および距離画像を撮像する。また、距離画像を測定する方法としては、TOF(Time Of Flight)方式やパターン照射方式等、公知の方法をもちいればよい。
このようにする場合、位置導出部1206は、輝度画像に基づいて、ステンシル(ラベル)による表示領域に対応する画素を特定する。例えば、位置導出部1206は、ステンシル(ラベル)の画像を予めテンプレート画像として記憶する。位置導出部1206は、輝度画像とテンプレート画像とのパターンマッチングを行うことにより、輝度画像から、ステンシル(ラベル)による表示領域を特定する。位置導出部1206は、距離画像の領域のうち、輝度画像から特定したステンシル(ラベル)による表示領域に対応する領域を特定する。位置導出部1206は、距離画像から特定した領域の画素値を抽出する。距離画像の画素値は、第1の撮像装置から被写体までの距離を示す値である。このようにして距離画像から抽出した画素値は、第1撮像装置からステンシル(ラベル)による表示領域までの距離を示す。このようにして位置導出部1206は、距離画像から抽出した画素値に基づいて、第1の撮像装置からステンシル(ラベル)による表示領域の所定の位置までの距離を得ることができる。位置導出部1206は、第1の撮像装置の三次元位置(x-y-z座標)と、第1の撮像画像を撮像したときの第1の撮像装置の姿勢と、第1の撮像装置からステンシル(ラベル)による表示領域の所定の位置までの距離と、に基づいて、ステンシル(ラベル)による表示領域の所定の位置の三次元位置(x-y-z座標)を導出する。
<<第2の変形例>>
本実施形態のように、需要家名302、規格303、サイズ304、ID305、需要家コード306、注文番号307、規格311、ID312、サイズ313、納期314、および需要家コード315を、人が識別可能な情報とすれば、オペレータ(作業員)による現品管理が容易になるので好ましい。しかしながら、需要家名302、規格303、サイズ304、ID305、需要家コード306、注文番号307、規格311、ID312、サイズ313、納期314、および需要家コード315の少なくとも1つを、バーコードや2次元コードのように、人が識別可能でない情報に変換(エンコード)された情報としてもよい。
<<第3の変形例>>
本実施形態では、図3A、図3Bに示すように、ステンシルにより表示されるID305と、ラベルにより表示されるID312とが同じである場合を例示した。しかしながら、これらのIDの表現および記載内容が異なる場合がある。例えば、IDにおいて“ハイフン”がない形式もある。このような場合、これらのID(ステンシルによるID、ラベルによるID)が同一の厚板に対するものであることを示す情報を管理テーブル1300に記憶させる。ID以外の表示項目についても、同一の表示項目の表現および記載内容が、ステンシルによる表示およびラベルによる表示で異なる場合がある。例えば、ステンシルおよびラベルの双方に規格が表示される場合、例えば、ラベルには規格の略称が表示される場合がある。また、ステンシルによる表示とラベルによる表示とで需要者コードの桁数が異なる場合があるが、需要者コードは製造メーカで管理されている。また、サイズについても、寸法の全ての桁を示さない場合がある。このような場合にも、それら異なる表現および記載内容が同等の意味であることを示す情報を管理テーブル1300に記憶させる。
<<第4の変形例>>
本実施形態では、ステンシル(ラベル)による表示領域の三次元位置(x-y-z座標)を、厚板の三次元位置として導出する場合を例示した。しかしながら、厚板の三次元位置は、ステンシル(ラベル)による表示領域の三次元位置(x-y-z座標)に限定されない。例えば、物品管理装置1200は、厚板の表面に表示されている1つの要素のみを認識し、認識した要素の位置(例えば重心または図心)のx-y-z座標を、厚板の三次元位置としてもよい。要素は、文字、数字、記号、マーク等、1つの情報として扱われる情報である。例えば、要素は、認識部1202で1つの情報として認識される情報である。物品管理装置1200は、例えば、ステンシル(ラベル)による表示における表示項目の構成要素のうちの1つの要素を認識してもよい。また、物品管理装置1200は、ステンシル(ラベル)による表示における表示項目の構成要素とは別の1つの要素を認識してもよい。物品管理装置1200は、このように1つの要素の三次元位置を厚板の三次元位置として導出する場合、例えば、認識した1つの要素の外接矩形をステンシルによる表示領域201と見なして本実施形態で説明した処理を行う。
また、物品管理装置1200は、厚板の表面に表示されている2つ以上の要素のみを認識してもよい。厚板の表面に表示されている2つ以上の要素は、例えば、ステンシル(ラベル)による表示における表示項目の構成要素のうちの2つ以上の構成要素である。ただし、厚板の表面に表示されている2つ以上の要素は、ステンシル(ラベル)による表示における表示項目の全ての構成要素ではないものとする。また、厚板の表面に表示されている2つ以上の要素は、ステンシル(ラベル)による表示における表示項目の構成要素とは別の要素であってもよい。物品管理装置1200は、このように2つ以上の要素の三次元位置を厚板の三次元位置として導出する場合、例えば、厚板の表面に表示されている2つ以上の要素の外接矩形をステンシルによる表示領域201と見なして本実施形態で説明した処理を行う。
また、同じ大きさの文字であっても、撮像装置から遠い位置にある文字の方が、撮像装置から近い位置にある文字よりも小さく撮像される。このことを利用して位置導出部1206は、第1の撮像画像に映し出されている情報の位置および大きさに基づいて、物品の三次元位置を導出してもよい。
<<第5の変形例>>
また、物品管理装置1200は、方向導出部を有していてもよい。方向導出部は、物品の一表面における複数の三次元位置(x-y-z)に基づいて、当該物品が置かれている方向を特定する情報を導出する。例えば、方向導出部は、図14に示す外接矩形の2つの頂点1401a、1401bの三次元位置(x-y-z座標)に基づいて、厚板の板面と基準面とのなす角度を導出する。基準面は、例えば地面である。地面以外の面が基準面であってもよい。この場合、厚板の板面と基準面とのなす角度が、物品が置かれている方向を特定する情報の一例である。ただし、物品が置かれている方向を特定する情報は、物品の板面と基準面とのなす角度に限定されない。例えば、物品の板面に代えて、物品の対称軸(中心軸)が用いられてもよい。
また、方向導出部は、図14に示す外接矩形の2つの頂点1401a、1401bに代えてまたは加えて、ステンシル(ラベル)による表示項目の構成要素のうち、2つ以上の構成要素の三次元位置(x-y-z座標)を用いてもよい。また、方向導出部は、これらの三次元位置(x-y-z座標)に代えてまたは加えて、ステンシル(ラベル)による表示領域とは別の領域に表示された情報の三次元位置(x-y-z座標)を用いてもよい。
また、本変形例が採用される場合、図13に示す管理テーブル1300の非現品表示の欄に、物品が置かれている方向を特定する情報が記憶される欄が追加される。以下の説明では、物品が置かれている方向を特定する情報が記憶される欄を、物品方向の欄と称する。記憶部1207は、厚板が置かれている方向を特定する情報を、管理テーブル1300の当該厚板に対応する物品方向の欄に記憶する。これにより、厚板が置かれている方向を特定する情報と、当該厚板のIDおよび三次元位置等とが相互に関連付けて記憶される。
尚、厚板の板面が地面に対して傾いている場合、三次元位置(x-y-z座標)の導出対象の位置(点)の高さ方向(z軸方向)の位置は、例えば、以下のようにして導出される。まず、位置導出部1206は、レーザ距離計を用いて第1の撮像装置から三次元位置(x-y-z座標)の導出対象の情報(点)までの高さ方向(z軸方向)の距離を導出する。そして、位置導出部1206は、第1の撮像装置の高さ方向(z軸方向)の位置から、当該距離を減算した位置を、三次元位置(x-y-z座標)の導出対象の情報(点)の高さ方向(z軸方向)の位置として導出する。
また、位置導出部1206は、<<第1の変形例>>で説明したように、輝度画像および距離画像に基づいて、三次元位置(x-y-z座標)の導出対象の情報(点)の三次元位置(x-y-z座標)を導出してもよい。
<<第6の変形例>>
本実施形態では、ステンシル(ラベル)による表示領域のx-y-z座標を、ステンシル(ラベル)による表示領域の三次元位置として導出する場合を例示した。しかしながら、ステンシル(ラベル)による表示領域の三次元位置は、x-y-z座標に限定されない。例えば、ステンシル(ラベル)による表示領域の三次元位置は、第1の撮像装置の位置を基準とする相対的な三次元位置であってもよい。このようにする場合、撮像装置の三次元位置を示す点Pの座標(xp,yp,zp)を用いなくてもよい。尚、x-y-z座標の原点を、第1の撮像装置の三次元位置とする場合、ステンシル(ラベル)による表示領域の三次元位置は、x-y-z座標で表しても、第1の撮像装置の三次元位置を基準とする相対的な三次元位置を示すことになる。
<<第7の変形例>>
本実施形態では、識別情報取得部1210が、認識部1202、入手部1203、照合部1204、および特定部1205を有する場合を例示した。しかしながら、識別情報取得部1210は、位置導出部1206により導出された三次元位置に関連付ける厚板の識別情報を取得していれば、必ずしも、認識部1202、入手部1203、照合部1204、および特定部1205を有している必要はない。識別情報取得部1210は、例えば、認識部1202のみを有していてもよい。また、識別情報取得部1210は、例えば、入手部1203のみを有していてもよい。また、識別情報取得部1210は、例えば、認識部1202と入手部1203のみを有していてもよい。例えば、識別情報取得部1210は、認識部1202により認識されたIDを、厚板の識別情報として取得してもよい。この場合、識別情報取得部1210は、入手部1203、照合部1204および特定部1205を有していなくてもよい。また、例えば、位置の管理対象となる物品が予め1つに限定されている場合、識別情報取得部1210は、入手部1203により入手されたIDを、厚板の識別情報として取得してもよい。この場合、識別情報取得部1210は、認識部1202、照合部1204および特定部1205を有していなくてもよい。また、例えば、識別情報取得部1210は、認識部1202により認識された情報のみから厚板を特定する場合には認識部1202を利用し、位置の管理対象となる物品が予め1つに限定されている場合には入手部1203を利用してもよい。この場合、識別情報取得部1210は、照合部1204および特定部1205を有していなくてもよい(認識部1202および入手部1203のみを有していてもよい)。
<<第8の変形例>>
本実施形態では、管理テーブル1300が物品管理装置1200に記憶されている場合を例示した。しかしながら、管理テーブル1300は、物品管理装置1200の外部にあってもよい。
<<第9の変形例>>
本実施形態では、存在する位置が変わる物品が厚板である場合を例示した。しかしながら、存在する位置が変わる物品は、厚板に限定されない。例えば、存在する位置が変わる物品は、厚板以外の製造物であってもよい。存在する位置が変わる物品は、製造者によって管理されている情報が表示されている製造物であってもよい。製造物は、例えば、スラブ、ビレット、薄板コイル、または鋼管であってもよい。また、製造物以外の物品であってもよい。存在する位置が変わる物品は、例えば、コンテナであってもよい。
(第2の実施形態)
次に、第2の実施形態を説明する。第1の実施形態では、物品管理装置1200が、存在する位置が変わる物品の位置を管理する場合を例示した。本実施形態では、物品管理装置1200が、被据付領域に据え付けられた物品の位置を管理する場合について説明する。このように本実施形態では、位置の管理対象の物品は、存在する位置が変わることを前提としない物品であるものとする。このように本実施形態と第1の実施形態とは、位置の管理対象の物品が、存在する位置が変わることを前提とするか否かが異なることによる構成および処理が主として異なる。従って、本実施形態の説明において、第1の実施形態と同一の部分については図1~図21に付した符号と同一の符号を付す等して詳細な説明を省略する。
本実施形態の物品管理装置1200で管理される物品として、例えば、図22および図23に示す物品がある。
図22は、地面に据え付けられた構造物の鉄骨の一例を示す図である。図22に示す例では、被据付領域は地面である。構造物は、例えば、建物および橋梁である。尚、図22では、表記を簡単にするために、構造物の一部の鉄骨のみを簡略化して示す。また、図22では、地面に据え付けられた構造物の鉄骨を構成する構造材2201a~2201dのうち、梁部材となる構造材2201a~2201bの表面に、当該構造材2201a~2201bを一意に識別するための情報としてID2202a~2202bが表示されている場合を例示する。尚、構造材は、例えば、鋼材等の金属材である。構造材2201a~2201bは、H形鋼である。ID2202a~2202bは、ID305、312に対応する情報である。ID2202a~2202bは、例えば、ステンシル、手書き、および刻印のうち少なくとも何れか1つによって表示される。また、ID2202a~2202bは、ラベルによって表示されてもよい。また、ID2202a~2202b以外の情報が構造材2201a~2201bの表面に表示されていてもよい。
尚、図22では、表記を簡単にするため、構造材2201a~2201dのうち構造材2201a~2201bのみにID2202が表示される場合を例示する。しかしながら、構造材2201c~2201dの表面にも、当該構造材2201c~2201dを一意に識別するための情報(ID)を含む情報が表示されていてもよい。また、図22では、構造材2201aおよび構造材2201c~2201dの接続と、構造材2201bおよび構造材2201c~2201dの接続と、がそれぞれ溶接により行われている場合を例示する。しかしながら、構造材2201a~2201dの接続方法は溶接による方法に限定されない。例えば、2つの構造材は、スプライスプレートを用いて接続されてもよい。
図22に示す例では、構造材2201a~2201bが据え付けられてから、構造材2201a~2201bの塗装等により構造材2201a~2201bの表面が見えなくなる前に、ID2202a~2202bを含む構造材2201a~2201bの領域の撮像画像が、第1の撮像装置を用いて撮像される。このようにID2202a~2202b(物品を一意に識別するための情報)は、据え付け後に隠れて見えなくなる。第1の撮像画像の役割は、第1の実施形態で説明した第1の撮像画像の役割と同じである。第1の撮像装置として、例えば、オペレータ(作業員)の手持ちの第1の撮像装置が用いられる。また、第1の撮像装置として、無人航空機(ドローン)に備わる第1の撮像装置が用いられてもよい。尚、以下の説明では、ID2202a~2202bを含む構造材2201a~2201bの領域を、必要に応じて、構造材のID表示領域と称する。構造材のID表示領域が、第1の実施形態のステンシル(ラベル)による表示領域に対応する。
図23は、地中に据え付けられた管の一例を示す図である。図23に示す例では、被据付領域は地中である。管は、例えば、金属管、土管、塩ビ管および絶縁管のうちの少なくとも一つである。図23では、地中に据え付けられた管2301a~2301cのうち、管2301aの表面に、当該管2301aを一意に識別するための情報としてID2302が表示されている場合を例示する。ID2302は、ID305、312に対応する情報である。ID2302は、例えば、ステンシル、手書き、および刻印のうち少なくとも何れか1つによって表示される。また、ID2302は、ラベルによって表示されてもよい。また、第1の実施形態で説明したように、ID2302以外の情報が管2301aの表面に表示されていてもよい。
尚、図23では、表記を簡単にするため、管2301a~2301cのうち管2301aのみにID2302が表示される場合を例示する。しかしながら、管2301b~2301cの表面にも、当該管2301b~2301cを一意に識別するための情報(ID)を含む情報が表示されていてもよい。また、図23では、管2301a~2301cがジョイント部材2303a~2303bを用いて接続される場合を例示する。しかしながら、管2301a~2301cの接続方法はジョイント部材2303a~2303bを用いる方法に限定されない。
図23に示す例では、管2301aが据え付けられてから、穴2304を埋めて管2301a~2301cが見えなくなる前に、ID2302を含む管2301aの領域の撮像画像が、第1の撮像装置を用いて撮像される。このようにID2302(物品を一意に識別するための情報)は、据え付け後に隠れて見えなくなる。第1の撮像画像の役割は、第1の実施形態で説明した第1の撮像画像の役割と同じである。第1の撮像装置として、例えば、オペレータ(作業員)の手持ちの第1の撮像装置が用いられる。また、第1の撮像装置として、無人航空機(ドローン)に備わる第1の撮像装置が用いられてもよい。尚、以下の説明では、ID2302を含む管2301aの領域を、必要に応じて、管のID表示領域と称する。管のID表示領域が、第1の実施形態のステンシル(ラベル)による表示領域に対応する。
本実施形態の物品管理装置1200の機能的な構成の一例は、図12に示した第1の実施形態の物品管理装置1200の機能的な構成の一例と同じである。
また、本実施形態の物品管理装置1200により管理される管理テーブルの一例は、図24に示す管理テーブル2400である。尚、図面を含め以下の説明では、物品管理装置1200(記憶部1207)は、構造材(構造材2201a~2201b等)の位置を管理する場合、構造材(構造材2201a~2201b等)の位置を管理するために用いる情報を管理テーブル2400に記憶する。物品管理装置1200(記憶部1207)は、構造材(構造材2201a~2201b等)の位置を管理する場合、管(管2301a等)の位置を管理するために用いる情報を管理テーブル2400に記憶する必要はない。一方、物品管理装置1200(記憶部1207)は、管(管2301a等)の位置を管理する場合、管(管2301a等)の位置を管理するために用いる情報を管理テーブル2400に記憶する。物品管理装置1200(記憶部1207)は、管(管2301a等)の位置を管理する場合、構造材(構造材2201a~2201b等)の位置を管理するために用いる情報を管理テーブル2400に記憶する必要はない。また、図13と同様に、図24においても同一の列における情報が同一の構造材(管)に対する識別情報になる(同一のNo.の下の欄は、同一の構造材(管)に対する識別情報がそれぞれ記憶される欄になる)。以下の説明では、図面を含め、構造材(構造材2201a~2201b等)および管(管2301a等)を、必要に応じて位置固定物品と称する。
また、本実施形態の物品管理装置1200の処理の一例を説明するフローチャートは、図25に示すフローチャートである。尚、構造材の位置を管理する際の物品管理装置1200の処理の一例を説明するフローチャートと、管の位置を管理する際の物品管理装置1200の処理の一例を説明するフローチャートと、は別のフローチャートとなる。図25に示すフローチャートが、構造材の位置を管理する際の物品管理装置1200の処理の一例を説明するフローチャートである場合には、図25において「位置固定物品」は「構造材」を意味する。図25に示すフローチャートが、管の位置を管理する際の物品管理装置1200の処理の一例を説明するフローチャートである場合には、図25において「位置固定物品」は「管」を意味する。
図22および図23では、構造材2201a~2201bおよび管2301aにID2202a~2202b、2302のみが表示される場合を例示する。したがって、図24に示す管理テーブル2400において、現品表示の欄には、当該ID2202a~2202b、2302が記憶されるIDの欄のみを示す。しかしながら、構造材2201a~2201bおよび管2301aにID2202a~2202b、2302以外の情報が表示される場合には、当該情報が記憶される欄が、管理テーブル2400の現品表示の欄に含まれていてもよい。
管理テーブル2400の物品位置の欄には、位置固定物品の三次元位置を示す情報が記憶される。物品位置の欄に記憶される情報は、物品管理装置1200により特定された位置固定物品の三次元位置を示す情報である。本実施形態では、構造材のID表示領域の三次元位置、管のID表示領域の三次元位置が、それぞれ、構造材の三次元位置、管の三次元位置である場合を例示する。また、本実施形態では、構造材のID表示領域の三次元位置および管のID表示領域の三次元位置が情報表示位置の一例である。
管理テーブル2400の登録時刻の欄には、位置固定物品が現在の位置に置かれた日時(日付と時刻とから定まるタイミング)を示す情報が記憶される。なお、位置固定物品が現在の位置に置かれた日時とは、当該日時を取得するための動作が行われた日時を指すものとする。登録時刻の欄には、例えば、第1の撮像画像の撮像日時が記憶される。しかしながら、登録時刻の欄に記憶される情報は、第1の撮像画像の撮像日時に限定されない(このことは、第1の実施形態でも同じであるものとする)。例えば、オペレータが、物品管理装置1200のユーザインターフェースを操作することにより、位置固定物品が現在の位置に置かれた日時の情報を、物品管理装置1200に入力してもよい。本実施形態では、登録時刻の欄に記憶される情報が、物品が現在の位置に置かれた日時を取得するための動作が行われた日時の一例である。
前述したように、構造材2201a~2201bに表示されているID2202a~2202bは、塗装等により見えなくなる。また、管2301aに表示されているID2302は地中に埋められて見えなくなる。このような場合でも、オペレータは、登録時刻の欄に記憶されている情報により、位置固定物品が据え付けられてからの経過時間を把握することができる。したがって、例えば、位置固定物品が据え付けられてからの経過時間によって、位置固定物品の修理または交換が必要であるか否かを判断することができる。また、IDの欄および物品位置の欄に記憶されている情報により、どの位置固定物品がどの位置に存在するのかを、ID2202a~2202b、2302を視認することができる状態であるか否かに関わらず把握することができる。したがって、修理または交換が必要な位置固定物品が、どのような位置固定物品であり、どの位置にあるのかを把握することができる。よって、管理テーブル2400に記憶されている情報を、例えば、ID(物品を一意に識別するための情報)を視認することができない状態にある位置固定物品の修理および交換に役立てることができる。
尚、管理テーブル2400の非現品表示の欄には、物品位置の欄および登録時刻の欄以外の欄が含まれていてもよい。例えば、管理テーブル2400の非現品表示の欄には、第1の実施形態の管理テーブル1300と同様に、物品内位置の欄および親IDの欄が記憶されていてもよい。尚、第1の実施形態では、物品内位置が、厚板における所定の位置(頂点203、204)を原点とする位置である場合を例示した。位置固定物品の表面の所定の位置に、当該原点を示す印が表示されてもよい。当該印の表示には、例えば、塗料が用いられる。また、位置固定物品の対称軸(中心軸)に平行な直線が、位置固定物品の表面に表示されてもよい。当該直線の表示には、例えば、塗料が用いられる。このようにする場合、第1の撮像装置は、位置固定物品のID表示領域と、当該印と、当該直線と、を、含む第1の撮像画像を撮像する。このようにする場合、当該印が表示されている位置を原点とする位置が物品内位置になる。また、当該直線が図14および図15に示すy軸に対応する。尚、図14に示すx軸および図15に示すz軸に対応する直線が位置固定物品の表面に表示されていてもよい。また、管においては、管の外径に応じた曲率を考慮して図14に示すx軸および図15に示すz軸における原点からの距離が定められるようにする。
また、管理テーブル2400の非現品表示の欄には、第1の実施形態の<<第5の変形例>>で説明した物品方向の欄が含まれていてもよい。なお、管には板面がない。したがって、例えば、管の対称軸(中心軸)と基準面とのなす角度が物品方向の欄に記憶される。このようにする場合、例えば、ID2302は、複数の構成要素(図23に示す例では「4312」)が並ぶ方向が予め定められた方向(例えば管2301aの対称軸(中心軸)に平行な方向)となるように、管2301aの表面に表示されるようにする。
また、位置固定物品のIDと、当該位置固定物品の三次元位置と、が設計図面から特定される場合、物品位置とは別に物品想定位置の欄が管理テーブル2400の非現品表示の欄に含まれてもよい。物品想定位置の欄には、設計図面から特定される位置固定物品の三次元位置が記憶される。
第1の実施形態では、第1の画像取得部1201、認識部1202、入手部1203、照合部1204、特定部1205、位置導出部1206、記憶部1207、出力部1208、および第2の画像取得部1209は、ステンシル(ラベル)による表示領域を用いた処理を行う。これに対し本実施形態では、第1の画像取得部1201、認識部1202、入手部1203、照合部1204、特定部1205、位置導出部1206、記憶部1207、出力部1208、および第2の画像取得部1209は、構造材のID表示領域および管のID表示領域を用いた処理を行う。
したがって、本実施形態では、図25のステップS2505において、特定部1205は、ステップS2504の照合の結果に基づいて、管理テーブル2300において管理されている位置固定物品から1つの位置固定物品を特定する。
また、本実施形態では、位置導出部1206は、被据付領域に据え付けられた位置固定物品の三次元位置を導出する。したがって、例えば、どの位置固定物品がどの位置に据え付けられるのかが設計図面から予め想定される場合、図25のステップS2508の判定は実行されなくてもよい。このようにする場合、物品管理装置1200は、第2の画像取得部1209を有していなくてもよい。
また、ステップS2509において、位置導出部1206は、第1の実施形態と同様に、位置固定物品のID表示領域と、第1の撮像装置と、の幾何学的な位置関係を表す数式を用いて、位置固定物品の三次元位置を導出してもよい。なお、管のID表示領域と、第1の撮像装置と、の幾何学的な位置関係を表す数式は、管の表面の曲率を用いて表される。また、位置固定物品のID表示領域の情報(寸法)と、第1の撮像装置の情報(撮像素子の画素数およびサイズおよび焦点距離)と、を用いて位置固定物品のID表示領域と第1の撮像装置との三次元的な位置関係を導出してもよい。なお、第1の実施形態で説明したように、管のID表示領域と第1の撮像装置との三次元的な位置関係を導出する際には、位置固定物品のID表示領域の情報として、管のID表示領域の形状および寸法と、管の表面の曲率と、が用いられる。また、輝度画像および距離画像を用いて、位置固定物品の三次元位置を導出してもよい。
また、位置導出部1206は、以上のようにして導出した位置固定物品の三次元位置と、管理テーブルの非現品表示の欄の物品想定位置の欄に記憶されている三次元位置と、の差が所定の範囲内であるか否かを判定してもよい。この場合、以上のようにして導出した位置固定物品の三次元位置と、管理テーブルの非現品表示の欄の物品想定位置の欄に記憶されている三次元位置と、の差が所定の範囲内でない場合、ステップS2512の処理が行われるようにしてもよい。
また、位置導出部1206は、ステップS2509において以下の処理を行ってもよい。すなわち、位置導出部1206は、管理テーブルの非現品表示の欄の物品想定位置の欄のうち、ステップS2505で特定された位置固定物品に対応する欄に記憶されている三次元位置を、ステップS2505で特定された位置固定物品の三次元位置として導出してもよい。ただし、このようにして位置固定物品の三次元位置が導出されるようにすると、位置固定物品が設計通りの位置に据え付けられていない場合に、位置固定物品の三次元位置として正しい位置が導出されない場合がある。したがって、このようにして位置固定物品の三次元位置が導出されるようにする場合、作業員(オペレータ)は、S2511において出力される位置固定物品の三次元位置を示す情報に基づいて、当該三次元位置に当該位置固定物品が据え付けられているのかを確認するのが好ましい。
また、本実施形態では、位置導出部1206は、被据付領域に据え付けられた位置固定物品の三次元位置を導出する。したがって、ステップS2509において位置導出部1206によって位置固定物品の三次元位置が導出された後、当該位置固定物品の三次元位置は必ずしも更新される必要はない。図17のステップS1710、S1713に示す「更新」が図25のステップS2510、S2513において「記憶」となっているのはこのことを示す。ただし、ステップS2509において位置導出部1206によって位置固定物品の三次元位置が導出された後、当該位置固定物品の三次元位置が更新されてもよい。例えば、作業員(オペレータ)は、ステップS2511において出力される位置固定物品の三次元位置を示す情報に基づいて、当該三次元位置が明らかに実際の三次元位置と異なる場合、当該位置固定物品の三次元位置の再導出を物品管理装置1200に対して指示してもよい。この場合、図25のフローチャートによる処理が再び実行され、ステップS2510において、当該位置固定物品の三次元位置が更新され得る。
以上のように本実施形態では、物品管理装置1200は、地面・地中に据え付けられた位置固定物品に表示されている情報であって、当該位置固定物品の製造メーカによって管理されているIDが表示された表示領域を含む第1の撮像画像を取得する。物品管理装置1200は、当該取得した第1の撮像画像と、当該第1の撮像画像を撮像した第1の撮像装置の位置と、に基づいて、位置固定物品のID表示領域の三次元位置を導出し、当該三次元位置を示す情報を、当該位置固定物品のIDと関連付けて記憶媒体に記憶する。したがって、例えば、位置固定物品が据え付けられた後に、位置固定物品に表示されている情報を確認することが現実的に不可能になる場合であっても、どの位置固定物品がどの位置にあるのかを管理することができる。よって、被据付領域に据え付けられた位置固定物品の位置を適切に管理することができる。
尚、被据付領域に据え付けられた物品は、図22に示す構造材および図23に示す管に限定されない。また、本実施形態においても第1の実施形態で説明した種々の変形例を採用してもよい。
(その他の変形例)
尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。また、本発明の実施形態は、PLC(Programmable Logic Controller)により実現されてもよいし、ASIC(Application Specific Integrated Circuit)等の専用のハードウェアにより実現されてもよい。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
(ハードウェア)
物品管理装置1200のハードウェアの一例について説明する。図26において、物品管理装置1200は、CPU2601、主記憶装置2602、補助記憶装置2603、通信回路2604、信号処理回路2605、画像処理回路2606、I/F回路2607、ユーザインターフェース2608、ディスプレイ2609、およびバス2610を有する。
CPU2601は、物品管理装置1200の全体を統括制御する。CPU2601は、主記憶装置2602をワークエリアとして用いて、補助記憶装置2603に記憶されているプログラムを実行する。主記憶装置2602は、データを一時的に格納する。補助記憶装置2603は、CPU2601によって実行されるプログラムの他、各種のデータを記憶する。なお、CPU以外のプロセッサ(例えばGPU)が用いられてもよい。
通信回路2604は、物品管理装置1200の外部との通信を行うための回路である。通信回路2604は、物品管理装置1200の外部と無線通信を行っても有線通信を行ってもよい。
信号処理回路2605は、通信回路2604で受信された信号や、CPU2601による制御に従って入力した信号に対し、各種の信号処理を行う。
画像処理回路2606は、CPU2601による制御に従って入力した信号に対し、各種の画像処理を行う。この画像処理が行われた信号は、例えば、ディスプレイ2609に出力される。
ユーザインターフェース2608は、オペレータが物品管理装置1200に対して指示を行う部分である。ユーザインターフェース2608は、例えば、ボタン、スイッチ、およびダイヤル等を有する。また、ユーザインターフェース2608は、ディスプレイ2609を用いたグラフィカルユーザインターフェースを有していてもよい。
ディスプレイ2609は、画像処理回路2606から出力された信号に基づく画像を表示する。I/F回路2607は、I/F回路2607に接続される装置との間でデータのやり取りを行う。図26では、I/F回路2607に接続される装置として、ユーザインターフェース2608およびディスプレイ2609を示す。しかしながら、I/F回路2607に接続される装置は、これらに限定されない。例えば、可搬型の記憶媒体がI/F回路2607に接続されてもよい。また、ユーザインターフェース2608の少なくとも一部およびディスプレイ2609は、物品管理装置1200の外部にあってもよい。
出力部1208は、例えば、通信回路2604および信号処理回路2605と、画像処理回路2606、I/F回路2607、およびディスプレイ2609との少なくとも何れか一方を用いることにより実現される。
尚、CPU2601、主記憶装置2602、補助記憶装置2603、信号処理回路2605、画像処理回路2606、およびI/F回路2607は、バス2610に接続される。これらの構成要素間の通信は、バス2610を介して行われる。また、物品管理装置1200のハードウェアは、前述した物品管理装置1200の機能を実現することができれば、図26に示すものに限定されない。