JP7310889B2 - 走行車、走行車システム及び走行車検出方法 - Google Patents

Description

本発明の一側面は、走行車、走行車システム及び走行車検出方法に関する。

複数の搬送車が、予め定められた経路を走行する搬送車システムが知られている。例えば、特許文献１には、センサによって搬送車（走行車）を監視し、走行車までの距離と残走行距離とを比較して、残走行距離が走行車までの距離よりも短い場合には、低速で走行を続行させる搬送車システム（走行車システム）が開示されている。

特開平１１－２０２９４０号公報

上記従来の走行車システムでは、直線区間において前方の台車までの距離を計測する直線車間センサの他に、曲線区間において前方の台車までの距離を計測するカーブ車間センサが設けられている。このような複数のセンサを備えることは、コスト高の一因となっていた。

そこで、本発明の一側面の目的は、コストの低減を図ることができる走行車、走行車システム及び走行車検出方法を提供することにある。

本発明の一側面に係る走行車は、予め定められた走行経路に沿って走行する走行車であって、自己の走行車の後方に位置する後方走行車から視認可能なシンボルが設けられている本体部と、撮像範囲が自己の走行車の前方となるように本体部に設けられている撮像部と、撮像部によって取得された撮像画像からシンボルの抽出を試みると共に、シンボルの抽出の有無に基づいて自己の走行車の前方に位置する前方走行車の有無を判別する判別部と、を備え、本体部には、シンボルとしての大シンボルと、大シンボルよりも面積が小さな小シンボルと、が設けられており、大シンボルは、自己の走行車から所定距離未満に位置する後方走行車に備わる撮像部の撮像範囲に全体が収まらないサイズに形成されており、小シンボルは、自己の走行車からの距離が上記所定距離未満であっても後方走行車に備わる撮像部の撮像範囲に全体が収まるサイズに形成されており、判別部は、大シンボルの全体及び小シンボルの全体の少なくとも一方が撮像画像の中から抽出されたとき、前方走行車が存在すると判定する。

本発明の一側面に係る走行車検出方法は、撮像範囲が自己の走行車の前方となるように設けられている撮像部が取得する撮像画像に基づいて、自己の前方に位置する前方走行車を検出する走行車検出方法であって、自己の走行車の後方に位置する後方走行車から視認可能な走行車の部位に、自己の走行車から所定距離未満に位置する後方走行車に備わる撮像部の撮像範囲に全体が収まらないサイズに形成された大シンボルと、自己の走行車からの距離が上記所定距離未満であっても後方走行車に備わる撮像部の撮像範囲に全体が収まるサイズに形成された小シンボルとを設ける設置工程と、撮像部によって前方走行車の撮像画像を取得する撮像工程と、撮像画像の中から大シンボルの全体及び小シンボルの全体の抽出を試みる抽出工程と、抽出工程において、大シンボルの全体及び小シンボルの全体の少なくとも一方が抽出されたとき、前方走行車が存在すると判定する判定工程と、を含む。

ここでいう、「撮像範囲にシンボルの全体が収まる」には、判別部によって抽出されるサイズに撮像される場合だけでなく、判別部によって抽出されないようなサイズに撮像される場合も含まれる。上記の走行車及び走行車検出方法では、直線区間及び曲線区間のそれぞれの区間に対応するように設けられているセンサが前方の走行車を捉える範囲と比べて広い範囲を撮像範囲とする撮像部を備えている。このため、従来のように直線区間及び曲線区間のそれぞれの区間に撮像部を設けることなく、一つの撮像部にて、両区間に位置する前方走行車を捉えることができる。一方、上記の走行車及び走行車検出方法には、撮像部そのものは距離を計測する機能は有していないものの、撮像部による前方走行車のシンボルの撮像画像に基づいて前方走行車との距離を判定する判別部が前方走行車との距離を判定する。これにより、一つの撮像部によって、直線区間及び曲線区間のそれぞれの区間に対応するように設けられている従来の距離センサと同等の役割を果たすことが可能となる。このような結果、コストの低減を図ることができる。

本発明の一側面に係る走行車では、判別部は、大シンボルのみを抽出できた場合に第一状態にあり、小シンボル及び大シンボルの両方を抽出できた場合に第二状態にあり、小シンボルのみを抽出できた場合に第三状態にあるとそれぞれ判定すると共に、第二状態と判定された場合の自己の走行車から前方走行車までの距離は、第一状態と判定された場合よりも近いと判定し、第三状態と判定された場合の自己の走行車から前方走行車までの距離は、第二状態と判定された場合よりも近いと判定してもよい。この構成では、撮像物までの距離を測定する機能を持たない撮像部を用いる場合であっても、前方走行車までの距離を、三段階（遠距離、中距離、近距離）で取得することができる。

本発明の一側面に係る走行車では、小シンボルは、二色からなる図形であってもよい。この構成では、判別部は、撮像画像から小シンボルとしてのシンボルを抽出し易くなる。

本発明の一側面に係る走行車では、小シンボルは、二次元コードであってもよい。この構成では、走行車により多くの情報を提供することができるので、走行車をより細かに制御することが可能となる。

本発明の一側面に係る走行車では、小シンボルは、撮像部までの距離を判別部に提供することができるＡＲマーカとしてもよい。この場合、判別部は、前方走行車との相対距離を取得することができるので、走行車をより細かに制御することが可能となる。

本発明の一側面に係る走行車では、大シンボルは、二色からなる図形であってもよい。この構成では、判別部は、撮像画像から大シンボルとしてのシンボルを抽出し易くなる。

本発明の一側面に係る走行車では、大シンボルは、二次元コードであってもよい。この構成では、走行車により多くの情報を提供することができるので、走行車をより細かに制御することが可能となる。

本発明の一側面に係る走行車では、大シンボルは、撮像部までの距離を判別部に提供することができるＡＲマーカであってもよい。この場合、判別部は、前方走行車との相対距離を取得することができるので、走行車をより細かに制御することが可能となる。

本発明の一側面に係る走行車では、大シンボルは、本体部に複数設けられていてもよい。この構成では、冗長性を持たせることができるので、判別部は大シンボルからより正確に情報を取得できるようになる。

本発明の一側面に係る走行車では、本体部は、走行車の走行方向における前後に前面部及び後面部を有しており、大シンボルは、後面部の外観であり、判別部は、後面部の外観画像を認識する画像認識装置の認識結果に基づいて大シンボルを抽出し、画像認識装置は、後面部の外観画像から検出された複数の画像特徴のそれぞれをパーツとして予め記憶するメモリと、入力画像から複数の画像特徴を検出する特徴検出部と、特徴検出部で検出した複数の当該画像特徴のそれぞれについて対応するパーツをメモリから選出し、選出した複数のパーツを用いて復元画像を生成する復元部と、復元部で生成した復元画像が入力画像と一致するか否かをマッチング処理により判定し、復元画像が入力画像と一致すると判定した場合に、入力画像が後面部の外観画像であると認識する判定部と、を有している。

この構成では、復元画像を生成する際、後面部の画像から検出されたパーツを用いている。そのため、後面部の外観画像以外が入力画像として入力された場合には、入力画像を復元画像として正しく生成することができない。したがって、入力画像と復元画像とが一致するか否かを判定することで、入力画像と後面部の外観画像との一致ないし不一致（入力画像が後面部の外観画像かそれ以外か）を高い確度で判定することができる。すなわち、後面部の外観画像を高い確度で認識することが可能となる。

本発明の一側面に係る走行車では、撮像部は、ＬＩＤＡＲ（Light Detection and Ranging）、ステレオカメラ、ＴＯＦカメラ及びミリ波レーダから選ばれる一つであってもよい。この構成では、判別部は、小シンボル及び大シンボルまでの距離をより正確に算出することが可能となる。この結果、走行車をより細かに制御することが可能となる。

本発明の一側面に係る走行車システムでは、上述の走行車を複数備えていてもよい。この構成の走行車システムのそれぞれの走行車は、直線区間及び曲線区間のそれぞれの区間に対応するように設けられているセンサが前方の走行車を捉える範囲と比べて広い範囲を撮像範囲とする撮像部を備えているので、従来のように直線区間及び曲線区間のそれぞれの区間に撮像部を設ける必要はない。従来のように直線区間及び曲線区間のそれぞれの区間に撮像部を設けることなく、両区間に位置する前方走行車を捉えることができる。一方、この構成では、撮像部そのものは距離を計測する機能は有していないものの、撮像部による前方走行車のシンボルの撮像画像に基づいて前方走行車との距離を判定する判別部が前方走行車との距離を取得する。これにより、一つの撮像部によって、直線区間及び曲線区間のそれぞれの区間に対応するように設けられているセンサと同等の役割を果たすことが可能となる。この結果、走行車一台のコストの低減を図ることができ、ひいては走行車システム全体のコストの低減を図ることができる。

本発明の一側面によれば、コストの低減を図ることができる。

図１は、第一実施形態に係る走行車システムを示す概略構成図である。 図２は、第一実施形態に係る走行車を示す側面図である。 図３は、図１の走行車の本体部を走行方向後方から見た後面図である。 図４は、図１の走行車の機能構成を示すブロック図である。 図５は、第一実施形態に係る走行車検出方法を示すフローチャートである。 図６は、第二実施形態に係る走行車の機能構成を示すブロック図である。 図７は、図６の画像認識装置の特徴検出部により入力画像から複数の画像特徴を検出する一例を説明する図である。 図８は、図６の画像認識装置の復元部により復元画像を生成する一例を説明する図である。 図９（ａ）は、撮像画像の一例を示す図である。図９（ｂ）は、奥行距離データの一例を示す図である。 図１０（ａ）は、入力画像の一例を示す図である。図１０（ｂ）は、図９（ａ）の入力画像から復元された復元画像を示す図である。 図１１は、図１１（ａ）は、入力画像の一例を示す図である。図１１（ｂ）は、図１１（ａ）の入力画像から復元された復元画像を示す図である。 図１２（ａ）は、入力画像の一例を示す図である。図１２（ｂ）は、図１２（ａ）の入力画像から復元された復元画像を示す図である。図１２（ｃ）は、入力画像の一例を示す図である。図１２（ｄ）は、図１２（ｃ）の入力画像から復元された復元画像を示す図である。図１２（ｅ）は、入力画像の一例を示す図である。図１２（ｆ）は、図１２（ｅ）の入力画像から復元された復元画像を示す図である。図１２（ｇ）は、入力画像の一例を示す図である。図１２（ｈ）は、図１２（ｇ）の入力画像から復元された復元画像を示す図である。図１２（ｉ）は、入力画像の一例を示す図である。図１２（ｊ）は、図１２（ｉ）の入力画像から復元された復元画像を示す図である。 図１３は、変形例に係る走行車の本体部を走行方向後方から見た後面図である。

以下、図面を参照して、本発明の一側面の好適な一実施形態について詳細に説明する。なお、図面の説明において、同一要素には同一符号を付し、重複する説明を省略する。

（第一実施形態）
主に、図１～図５を用いて第一実施形態について説明する。走行車システム１は、軌道（予め定められた走行経路）４に沿って移動可能な天井走行車６を用いて、物品１０を載置部９，９間で搬送するためのシステムである。物品１０には、例えば、複数の半導体ウェハを格納するＦＯＵＰ（Front Opening Unified Pod）及びガラス基板を格納するレチクルポッド等のような容器、並びに一般部品等が含まれる。ここでは、例えば、天井走行車６（以下、単に「走行車６」と称する。）が、工場の天井等に敷設された一方通行の軌道４に沿って走行する走行車システム１を例に挙げて説明する。図１に示されるように、走行車システム１は、軌道４、複数の載置部９、及び複数の走行車６を備える。

図２に示されるように、軌道４は、例えば、作業者の頭上スペースである天井付近に敷設されている。軌道４は、例えば天井から吊り下げられている。軌道４は、走行車６を走行させるための予め定められた走行路である。

図１及び図２に示されるように、載置部９は、軌道４に沿って配置され、走行車６との間で物品１０の受け渡し可能な位置に設けられている。載置部９には、バッファ及び受渡ポートが含まれる。バッファは、物品１０が一時的に載置される載置部である。バッファは、例えば、目的とする受渡ポートに他の物品１０が載置されている等の理由により、走行車６が搬送している物品１０をその受渡ポートに移載できない場合に、物品１０が仮置きされる載置部である。受渡ポートは、例えば洗浄装置、成膜装置、リソグラフィ装置、エッチング装置、熱処理装置、平坦化装置をはじめとする半導体の処理装置（図示せず）に対して物品１０の受渡を行うための載置部である。なお、処理装置は、特に限定されず、種々の装置であってもよい。

例えば、載置部９は、軌道４の側方に配置されている。この場合、走行車６は、横送り部２４で昇降駆動部２８等を横送りし、昇降台３０を僅かに昇降させることにより、載置部９との間で物品１０を受け渡しする。なお、図示はしないが載置部９は、軌道４の直下に配置されてもよい。この場合、走行車６は、昇降台３０を昇降させることにより、載置部９との間で物品１０を受け渡しする。

図２に示されるように、走行車６は、軌道４に沿って走行し、物品１０を搬送する。走行車６は、物品１０を移載可能に構成されている。走行車６は、天井走行式無人搬送車である。走行車システム１が備える走行車６の台数は、特に限定されず、複数である。図２及び図３に示されるように、走行車６は、走行部１８と、本体部７と、撮像部８と、シンボル７０と、制御部５０と、を有する。

走行部１８は、モータ等を含んで構成され、走行車６を軌道４に沿って走行させる。本体部７は、本体フレーム２２と、横送り部２４と、θドライブ２６と、昇降駆動部２８と、昇降台３０と、落下防止カバー３３，３３と、を有する。

本体フレーム２２は、横送り部２４、θドライブ２６、昇降駆動部２８及び昇降台３０を支持する。横送り部２４は、θドライブ２６、昇降駆動部２８及び昇降台３０を一括して、軌道４の走行方向と直角な方向に横送りする。θドライブ２６は、昇降駆動部２８及び昇降台３０の少なくとも何れかを水平面内で所定の角度範囲内で回動させる。昇降駆動部２８は、昇降台３０をワイヤ、ロープ及びベルト等の吊持材の巻取りないし繰出しによって昇降させる。昇降台３０には、チャックが設けられており、物品１０の把持又は解放が自在とされている。落下防止カバー３３は、図示しない爪等を出没させて、搬送中に物品１０が落下することを防止する。落下防止カバー３３は、走行車６の走行方向の前後に設けられる前面カバー３３ａ及び後面カバー３３ｂを有している。

撮像部８は、撮像範囲が自己の走行車６の前方となるように本体部７の前面カバー３３ａに設けられている。撮像部８は、レンズ及び当該レンズから入ってきた光を電気信号に変換する撮像素子等を含む装置である。撮像部８によって取得された撮像画像は、後段にて詳述される制御部５０によって取得される。

図３に示されるように、シンボル７０は、自己の走行車６の後方に位置する後方走行車６から視認可能となるように後面カバー３３ｂに設けられている。シンボル７０は、一対の大面積シンボル（大シンボル）７１,７１と、一対の大面積シンボル７１，７１のそれぞれよりも面積が小さな小面積シンボル（小シンボル）７３とを有している。

一対の大面積シンボル７１，７１のそれぞれは、自己の走行車６から所定距離未満（例えば、０．５ｍ）に位置する後方走行車６に備わる撮像部８の撮像範囲に全体が収まらないサイズに形成されている。一対の大面積シンボル７１，７１は、後面カバー３３ｂの上方に左右方向に配列されている。大面積シンボル７１は、二色からなる（モノクロ）図形である。

小面積シンボル７３は、自己の走行車６からの距離が上記所定距離未満であっても後方走行車６に備わる撮像部８の撮像範囲に全体が収まるサイズに形成されている。小面積シンボル７３は、後面カバー３３ｂの上方に設けられる一対の大面積シンボル７１，７１の下方に設けられている。小面積シンボル７３は、二色からなる（モノクロ）図形である。小面積シンボル７３は、後面カバー３３ｂに直接描かれていてもよいし、小面積シンボル７３が描かれたプレート等が後面カバー３３ｂに固定されてもよい。また、小面積シンボル７１は大面積シンボル７１，７１の下方に設けられることに限定されず、例えば上方に設けられても構わない。

なお、ここでいう、「撮像範囲に小面積シンボル７３の全体が収まる」には、後段にて詳述する判別部５１によって抽出（認識）されるサイズに撮像される場合だけでなく、判別部５１によって抽出（認識）されないようなサイズに撮像される場合も含まれる。すなわち、撮像範囲に小面積シンボル７３が設置されていた位置が含まれていればよい。また、焦点の一致の有無も、問わないものとする。更に、ここでいう「距離が上記所定距離未満であっても」には、前後の走行車６，６同士が互いに接近可能な距離が下限値となり得る場合がある。

制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなる電子制御ユニットである。制御部５０は、走行車６における各種動作を制御する。具体的には、図４に示されるように、制御部５０は、走行部１８と、横送り部２４と、θドライブ２６と、昇降駆動部２８と、昇降台３０と、を制御する。制御部５０は、例えばＲＯＭに格納されているプログラムがＲＡＭ上にロードされてＣＰＵで実行されるソフトウェアとして構成することができる。制御部５０は、電子回路等によるハードウェアとして構成されてもよい。制御部５０では、ＣＰＵ、ＲＡＭ及びＲＯＭ等のハードウェアと、プログラム等のソフトウェアとが協働することによって、下記に示す判別部５１と、走行制御部５３と、が形成される。制御部５０は、軌道４の通信線（フィーダー線）等を利用して、コントローラ６０と通信を行う。

判別部５１は、撮像部８によって取得された撮像画像からシンボル７０の抽出を試みると共に、シンボル７０の抽出の有無に基づいて前方走行車６の有無を判別する。判別部５１は、大面積シンボル７１，７１のそれぞれの全体及び小面積シンボル７３の全体の少なくとも一方が撮像画像の中から抽出されたとき、前方走行車６が存在すると判定する。

より詳細には、判別部５１は、大面積シンボル７１，７１の少なくとも一方のみを抽出できた場合に第一状態にあり、小面積シンボル７３及び大面積シンボル７１，７１の少なくとも一方を抽出できた場合に第二状態にあり、小面積シンボル７３のみを抽出できた場合に第三状態にあるとそれぞれ判定する。そして、判別部５１は、第二状態と判定された場合の自己の走行車６から前方走行車６までの距離は、第一状態と判定された場合よりも近いと判定し、第三状態と判定された場合の自己の走行車６から前方走行車６までの距離は、第二状態と判定された場合よりも近いと判定する。

走行制御部５３は、例えば、第一状態にあることを判定すると、通常の移動速度よりも遅い第一速度にて走行するように走行部１８を制御する。また、走行制御部５３は、第二状態にあることを判定すると、第一速度よりも遅く、かつ、いつでも停止できる速度である第二速度にまで減速するように走行部１８を制御する。また、走行制御部５３は、第三状態にあることを判定すると、完全に停止するように走行部１８を制御する。この制御は一例であり、本発明の一側面は上記方式に限定されるものではない。

コントローラ６０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等からなる電子制御ユニットである。コントローラ６０は、例えばＲＯＭに格納されているプログラムがＲＡＭ上にロードされてＣＰＵで実行されるソフトウェアとして構成することができる。コントローラ６０は、電子回路等によるハードウェアとして構成されてもよい。コントローラ６０は、走行車６に物品１０を搬送させる搬送指令を送信する。

次に、制御部５０により実施される走行車検出方法を説明する。

走行車検出方法は、撮像範囲が自己の走行車６の前方となるように設けられている撮像部８が取得する撮像画像に基づいて、自己の前方に位置する前方走行車６を検出判定する方法である。図５に示されるように、自己の走行車６の後方に位置する後方走行車６から視認可能な走行車６の部位である後面カバー３３ｂに、大面積シンボル７１と、小面積シンボル７３とを設置する（ステップＳ１：設置工程）。

大面積シンボル７１は、自己の走行車６から所定距離未満（例えば、０．５ｍ）に位置する後方走行車６に備わる撮像部８の撮像範囲に全体が収まらないサイズに形成されている。小面積シンボル７３は、自己の走行車６からの距離が上記所定距離未満であっても後方走行車６に備わる撮像部８の撮像範囲に全体が収まるサイズに形成されている。設置工程Ｓ１では、二つの大面積シンボル７１，７１を並べて配置し、小面積シンボル７３を大面積シンボル７１，７１の下方に配置する。大面積シンボル７１は、後面カバー３３ｂに直接描くことによって設置してもよいし、大面積シンボル７１が描かれたプレート等を後面カバー３３ｂに固定することによって設置してもよい。また、後面カバー３３ｂにＬＥＤ（Light Emitting Diode）やＬＣＤ（Liquid Crystal Display等のディスプレイを設置し、このディスプレイ上に表示される映像により大面積シンボル７１及び小面積シンボル７３を表示しても構わない。

次に、撮像部８は、前方の走行車６を撮像する（ステップＳ２：撮像工程）。撮像部８による撮像は、例えば、所定の間隔（制御周期）で実行されてもよい。次に、制御部５０は、撮像画像の中から大面積シンボル７１，７１の全体及び小面積シンボル７３の全体の抽出を試みる。具体的には、制御部５０は、公知のパターンマッチング等の手法によって算出される一致率に基づいて、大面積シンボル７１，７１の全体及び小面積シンボル７３の全体の抽出を実行する。

次に、制御部５０は、抽出工程Ｓ２において、大面積シンボル７１，７１の全体及び小面積シンボル７３の全体の少なくとも一方が抽出されたとき、前方走行車６が存在すると判定する（ステップＳ４：判定工程）。

次に、上記第一実施形態の走行車システム１の作用効果について説明する。一般的に、撮像部８の撮像範囲は、距離センサの検知範囲と比べて広い。上記第一実施形態の走行車６では、直線区間及び曲線区間のそれぞれの区間に対応するように設けられている従来のセンサが前方の走行車６を捉える範囲と比べて広い範囲を撮像範囲とする撮像部８を備えている。このため、従来のように直線区間及び曲線区間のそれぞれの区間に対応した距離センサをそれぞれ設けることなく、一つの撮像部８によって両区間に位置する前方走行車６を捉えることができる。一方、上記第一実施形態の構成では、撮像部８そのものは距離を計測する機能は有していないものの、撮像部８による前方走行車６の大面積シンボル７１，７１及び小面積シンボル７３の撮像画像に基づいて前方走行車６との距離を判定する判別部５１が前方走行車６との距離を取得する。これにより、一つの撮像部８によって、直線区間及び曲線区間のそれぞれの区間に対応するように設けられている従来の距離センサと同等の役割を果たすことが可能となる。この結果、コストの低減を図ることができる。

上記第一実施形態の走行車システム１では、判別部５１は、大面積シンボル７１のみを抽出できた場合に第一状態、小面積シンボル７３及び大面積シンボル７１の両方を抽出できた場合に第二状態、及び小面積シンボル７３のみを抽出できた場合に第三状態にあるとそれぞれ判定すると共に、第一状態と判定された場合の自己の走行車６から前方走行車６までの距離は、第二状態と判定された場合よりも近いと判定し、第二状態と判定された場合の自己の走行車６から前方走行車６までの距離は、第三状態と判定された場合よりも近いと判定してもよい。この構成では、距離を測定する機能を持たない撮像部８を用いる場合であっても、前方走行車６までの距離を、三段階（遠距離、中距離、近距離）の範囲で取得することができる。

上記第一実施形態の走行車システム１では、小面積シンボル７３は、二色からなる図形を採用しているので、判別部５１は、撮像画像から小面積シンボル７３としてのシンボルを抽出し易くなる。

上記第一実施形態の走行車システム１では、大面積シンボル７１，７１は、二色からなる図形を採用しているので、判別部５１は、撮像画像から大面積シンボル７１，７１としてのシンボルを抽出し易くなる。

上記第一実施形態の走行車システム１では、大面積シンボル７１，７１は、後面カバー３３ｂに二つ設けられているので、大面積シンボル７１，７１から得られる情報に冗長性を持たせることができる。これにより、判別部５１は大面積シンボル７１，７１からより正確に情報を取得できるようになる。

（第二実施形態）
次に、主に、図１、２、６～１１を用いて第二実施形態について説明する。なお、第二実施形態では、第一実施形態と異なる部分のみ詳細に説明し、同じ部分の説明を省略する。第二実施形態の走行車１０６には、第一実施形態の走行車６と比べて大きく異なる点が三点存在する。一点目は、撮像部８が、距離画像を取得する点である。二点目は、第一実施形態では二色からなる図形を大面積シンボル７１，７１としているのに対し、第二実施形態では後面カバー３３ｂの外観を大面積シンボル７１Ａ（図９（ａ）参照）としている点である。三点目は、第二実施形態の制御部１５０は、第一実施形態の制御部５０の機能に加え、走行車１０６の後面カバー３３ｂの外観画像を認識する機能を有している点である。以下、第一実施形態と異なる制御部１５０について説明する。

上述したとおり、撮像部８は、距離画像を取得する。このような撮像部８の例には、ＬＩＤＡＲ（Light Detection and Ranging）、ステレオカメラ、ＴＯＦカメラ及びミリ波レーダ等の、距離計測機能を有する装置が含まれる。このような装置から取得される画像は、距離画像、三次元距離画像、三次元情報を有する画像とも称される。

制御部１５０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等からなる電子制御ユニットである。制御部１５０は、走行車１０６における各種動作を制御する。具体的には、図６に示されるように、制御部１５０は、走行部１８と、横送り部２４と、θドライブ２６と、昇降駆動部２８と、昇降台３０と、を制御する。制御部１５０は、例えばＲＯＭに格納されているプログラムがＲＡＭ上にロードされてＣＰＵで実行されるソフトウェアとして構成することができる。制御部１５０は、電子回路等によるハードウェアとして構成されてもよい。制御部１５０では、ＣＰＵ、ＲＡＭ及びＲＯＭ等のハードウェアと、プログラム等のソフトウェアとが協働することによって、上述した判別部５１及び走行制御部５３を形成する。

制御部１５０は、判別部５１及び走行制御部５３に加えて、走行車１０６の後面カバー３３ｂの外観画像を認識する画像認識装置１００を構成する。詳細には、制御部１５０は、ＣＰＵ、ＲＡＭ及びＲＯＭ等のハードウェアと、プログラム等のソフトウェアとが協働することによって、下記に示す画像切出し部６１、特徴検出部６２、復元部６３、及び判定部６４と、メモリＭと、によって画像認識装置１００を構成する。

メモリＭは、後面カバー３３ｂの外観画像から検出（抽出）された複数の画像特徴のそれぞれをパーツとして予め記憶する。特定画像から複数の画像特徴を検出する手法としては、特に限定されず、種々の公知手法を採用することができる。例えば後面カバー３３ｂの外観画像を画像フィルタに通すことで、複数の画像特徴を検出してもよい。メモリＭは、複数のパーツのそれぞれに付与されたラベルを、パーツラベルとしてパーツとともに予め記憶する。パーツは、後述するように、復元部６３による画像復元の種として機能する。

画像特徴とは、画像の特徴を構成するものであって、画像の特徴量又は特徴点とも称される。複数のパーツの取得は、ディープラーニングによって得られる学習済みモデル（ＡＩ；人工知能）を利用して行ってもよい。ラベルは、付与対象を識別するための情報を示すものである。ラベルとしては特に限定されず、例えば番号である。

画像切出し部６１は、撮像部８によって取得された撮像画像から入力画像を切り出す。具体的には、画像切出し部６１は、撮像画像における奥行距離が所定範囲内の点群（似た距離を持つ点の塊）を、オブジェクト（物体候補）とする。画像切出し部６１は、撮像画像における当該オブジェクトの画像を入力画像として切り出す。所定範囲は特に限定されず、予め設定することができる。撮像画像からの入力画像の切出しは、ディープラーニングによって得られる学習済みモデル（ＡＩ；人工知能）、例えばＹｏｌｏＶ３等を利用して行ってもよい。

特徴検出部６２は、入力画像から複数の画像特徴を検出する。入力画像から複数の画像特徴を検出する手法としては、特に限定されず、種々の公知手法を採用することができる。例えば特徴検出部６２は、入力画像を画像フィルタに通すことで、複数の画像特徴を検出してもよい。特徴検出部６２は、複数の画像特徴のそれぞれにラベルとして選出用ラベルを付与する。特徴検出部６２は、複数の画像特徴のそれぞれの特徴強度を検出する。特徴強度は、その画像特徴が入力画像に関係する強さを示す指標である。特徴強度は、入力画像おいて画像特徴が寄与する程度を示すことができる。

復元部６３は、特徴検出部６２で検出した複数の画像特徴のそれぞれについて、対応するパーツをメモリＭから選出する。復元部６３は、特徴検出部６２で検出した複数の画像特徴の選出用ラベルに一致するパーツラベルのパーツを、メモリＭから選出する。復元部６３は、選出した複数のパーツを用いて復元画像を生成する。復元部６３は、特徴検出部６２で検出した複数の画像特徴の特徴強度を更に用いて復元画像を生成する。複数のパーツを用いて復元画像を生成する手法としては特に限定されず、種々の公知手法、例えばディープニューラルネットワークで構成されたオートエンコーダ等を用いることができる。

判定部６４は、復元部６３で生成した復元画像が入力画像と一致するか否かをマッチング処理により判定する。判定部６４は、復元画像が入力画像と一致すると判定した場合に、入力画像が後面カバー３３ｂの外観画像であると認識する。マッチング処理としては特に限定されず、種々の公知手法、例えばＬ２ノルム等を用いることができる。判定部６４は、復元画像の入力画像に対する類似度を算出し、当該類似度が閾値よりも大きい場合に、復元画像が入力画像と一致すると判定してもよい。

次に、特徴検出部６２により入力画像から複数の画像特徴を検出する一例を、図７を参照して説明する。

図７に示されるように、ここでの説明では、便宜上、「数字の７」の画像を入力画像として用いている。特徴検出部６２により、入力画像Ｉ１から複数の画像特徴が検出される。図示する例では、選出用ラベルＬＳが「２０」の画像特徴Ｇ１、選出用ラベルＬＳが「２７」の画像特徴Ｇ２、選出用ラベルＬＳが「５１」の画像特徴Ｇ３、及び、選出用ラベルＬＳが「５８」の画像特徴Ｇ４が検出されている。そして、これらが画像特徴の検出結果Ｈとして取得される。画像特徴の検出結果Ｈでは、画像特徴Ｇ１～Ｇ４それぞれの特徴強度が明度として示されている。このように、入力画像Ｉ１から複数の画像特徴Ｇ１～Ｇ４を機械的に検出することができる。

次に、複数の画像特徴Ｇ１～Ｇ４に基づいて復元部６３により画像を復元する一例を、図８を参照して説明する。

図８に示されるように、復元部６３により、画像特徴の検出結果Ｈに基づいて、複数の画像特徴Ｇ１～Ｇ４（図７参照）の選出用ラベルＬＳに一致するパーツラベルＬＰのパーツＰ１～Ｐ４が、メモリＭから選出される。復元部６３により、選出された複数のパーツＰ１～Ｐ４を用いて復元画像Ｏ１が生成される。このように、複数の画像特徴Ｇ１～Ｇ４から復元画像Ｏ１を復元することができる。

次に、上述した画像認識装置１００により実施される画像認識方法により特定画像を認識する場合の一例を説明する。以下においては、走行車１０６の後面カバー３３ｂの外観を特定画像として認識する場合を例示する。

図９（ａ）に示されるように、撮像部８により、自己の走行車１０６の前方に位置する走行車１０６を含む撮像画像Ｋ１を取得する。図９（ｂ）に示されるように、画像切出し部６１により、撮像画像Ｋ１における奥行距離データＫ２を算出し、その奥行距離が所定範囲内の点群をオブジェクトＯＢとする。図９（ａ）及び図１０（ａ）に示されるように、撮像画像Ｋ１における当該オブジェクトＯＢの画像を、入力画像Ｉ２として切り出す。

図１０（ｂ）に示されるように、特徴検出部６２により入力画像Ｉ２から複数の画像特徴を検出し、復元部６３により復元画像Ｏ２を生成する。判定部６４により図１０（ｂ）の復元画像Ｏ２が図１０（ａ）の入力画像Ｉ２と一致するか否かをマッチング処理により判定する。図１０（ａ）及び図１０（ｂ）に示す例では、復元画像Ｏ２が入力画像Ｉ２と一致する（類似度が閾値以上）と判定し、入力画像Ｉ２が特定画像（走行車１０６の後面カバー３３ｂの外観画像）であると認識する。

一方、図１１（ａ）に示されるように、走行車１０６の後面カバー３３ｂの外観以外の画像（例えば、ユーザの体等の画像）が入力画像Ｉ３として入力される場合、図１１（ｂ）に示されるように、復元部６３により生成された復元画像Ｏ３は、入力画像Ｉ３を復元するものではなく、顕著な画像の崩れ及びぼやけを有する。よってこの例では、復元画像Ｏ２が入力画像Ｉ２と一致しない（類似度が閾値未満）と判定し、入力画像Ｉ３が特定画像（走行車１０６の後面カバー３３ｂの外観画像）であると認識しない。

図１２（ａ）～図１２（ｊ）は、特徴検出部６２及び復元部６３のノイズに対するロバスト性を説明する各図である。画像認識装置１００及びその画像認識方法によれば、特徴検出部６２により入力画像Ｉ４（図１２（ａ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ４（図１２（ｂ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ５（図１２（ｃ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ５（図１２（ｄ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ６（図１２（ｅ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ６（図１２（ｆ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ７（図１２（ｇ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ７（図１２（ｈ）参照）を生成することができる。特徴検出部６２により入力画像Ｉ８（図１２（ｉ）参照）から複数の画像特徴を検出し、復元部６３により復元画像Ｏ８（図１２（ｊ）参照）を生成することができる。これらの結果から、画像認識装置１００及びその画像認識方法によれば、入力画像Ｉ４～Ｉ８がノイズを有していても、特徴を捉える能力があり、精度よく復元画像Ｏ４～Ｏ８が生成されることを確認することができる。

以上、画像認識装置１００では、復元画像を生成する際、特定画像から検出されたパーツを用いている。そのため、以下の（ｉ）、（ii）及び（iii）に示すパターンで画像の復元がなされる。
（ｉ）特定画像が入力画像の場合には、入力画像が復元画像として精度よく復元される。
（ii）特定画像以外の入力画像が入力された場合には、入力画像と復元画像とが一致しない。
（iii）特に、特定画像の画像特徴を有するが特定画像ではない不正解画像が入力画像として入力された場合には、入力画像と復元画像とが一致せずに、復元画像として特定画像が復元される。

したがって、画像認識装置１００によれば、入力画像Ｉ１～Ｉ８と復元画像Ｏ１～Ｏ８とが一致するか否かを判定することで、入力画像Ｉ１～Ｉ８と特定画像との一致ないし不一致（入力画像Ｉ１～Ｉ８が特定画像かそれ以外か）を高い確度で判定することができる。すなわち、特定画像を高い確度で認識することが可能となる。入力画像Ｉ１～Ｉ８について特定画像の画像特徴を満たせば特定画像であると判定するだけでは、上記（iii）の場合には誤認識してしまうが、画像認識装置１００及びその画像認識方法では、そのような誤認識を回避することができる。

判別部５１は、大面積シンボル７１Ａの全体及び小面積シンボル７３の全体の少なくとも一方が撮像画像の中から抽出されたとき、前方走行車１０６が存在すると判定する。大面積シンボル７１Ａの認識は、上記の画像認識装置１００によって行われ、判別部５１は、後面カバー３３ｂの外観画像を認識する画像認識装置１００の認識結果に基づいて大面積シンボル７１Ａを抽出する。小面積シンボル７３の抽出方法については、上記第一実施形態と同様であるので、説明を省略する。大面積シンボル７１Ａ及び小面積シンボル７３の抽出結果に基づいて、第一状態、第二状態、及び第三状態を判定する判別部５１における制御、当該判定結果に基づいて走行部１８を制御する走行制御部５３における制御も、上記実施形態と同様であるので、説明を省略する。

上記第二実施形態における走行車１０６の構成においても、上記第一実施形態に係る走行車６と同様の効果を奏することができる。更に、第二実施形態では、前方走行台車の背面、及び側面像全体をシンボルとして利用できるため、第一実施形態に比べて、より長距離でかつロバストな検出が可能となる。

以上、本発明の一側面の一実施形態について説明したが、本発明の一側面は上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。

（変形例１）
上記第一実施形態の走行車６及び走行車システム１では、レンズ及び当該レンズから入ってきた光を電気信号に変換する撮像素子等を含む撮像部８であって、対象物との距離を計測する機能を有さない撮像部８を備える例を挙げて説明したが、これに限定されない。撮像部８は、第二実施形態で適用したような、例えば、ＬＩＤＡＲ（Light Detection and Ranging）、ステレオカメラ、ＴＯＦカメラ及びミリ波レーダ等の、距離計測機能を有する装置を適用してもよい。

この場合には、上述のような大面積シンボル７１及び小面積シンボル７３が設けられていない障害物までの距離も正確に取得することが可能となる。これにより、一般的に走行車６に設けられている障害物センサの役割を兼ねることが可能となる。この結果、一つの撮像部８にて、従来の直線車間センサ、カーブ車間センサ、及び障害物センサを兼ねることができるので、更なるコストの低減を図ることができる。

（変形例２）
上記実施形態では、距離画像としての撮像画像から入力画像を切り出したが、このような画像切出し工程及び画像切出し部６１は無くてもよい。撮像部８としては、例えば一般的な単眼カメラを用いてもよい。入力画像は、距離画像であってもよいし、二次元画像であってもよい。

（変形例３）
上記実施形態及び変形例３の走行車６及び走行車システム１では、大面積シンボル７１，７１及び小面積シンボル７３の少なくとも一方が二色の図形として形成されている例を挙げて説明したが、例えば、二次元コードであってもよい。二次元コードの例にはＱＲコード（登録商標）が含まれる。この場合には、大面積シンボル７１，７１及び小面積シンボル７３からより多くの情報を取得することができるので、判別部５１は、走行車６をより細かに制御することが可能となる。一例として、ＱＲコードにユニーク番号を含ませることで前方走行車６を特定できるため、前方走行車の走行状態又は位置をコントローラ６０に伝えることができる。よって、前方走行車６が通信不良等の理由によりコントローラ６０が応答しない場合でも、コントローラ６０は後方走行車６から与えられる情報により前方走行車６の状態を知ることができる。

更に、大面積シンボル７１，７１及び小面積シンボル７３は、二次元コードの一種であるＡＲマーカであってもよい。この場合、判別部５１は、前方走行車６までの相対距離を算出することが可能となる。すなわち、上記実施形態のように、前方走行車６までの距離が、遠距離範囲（第一状態）にある、中距離範囲（第二状態）にある、又は近距離範囲（第三状態）にあるといったような範囲で取得される場合と比べて、より正確な距離の算出が可能となる。この変形例に係る走行車６及び走行車システム１では、判別部５１は、前方走行車６との相対距離を取得することができるので、走行車６をより細かに制御することが可能となる。

（その他の変形例）
上記実施形態及び変形例の走行車６及び走行車システム１では、大面積シンボル７１，７１が二つ設けられている例を挙げて説明したが、図１３に示されるように、一つだけ設けられてもよい。

上記実施形態及び変形例では、走行車６（１０６）を制御する制御部５０が個々の走行車６（１０６）の本体部７に設けられている例を挙げて説明したが、本体部７から分離され、有線又は無線によって通信可能な位置に配置されてもよい（例えば、コントローラ６０）。このような場合、制御部５０は、複数の走行車６（１０６）ごとに設けられるのではなく、複数の走行車６を一括して制御するような制御部として設けられてもよい。

上記実施形態及び変形例の走行車６（１０６）及び走行車システム１では、走行車の一例として天井走行車を挙げて説明したが、走行車のその他の例には、地上又は架台に配設された軌道を走行する無人走行車及びスタッカークレーン等が含まれる。

上記実施形態及び変形例の走行車６は、大面積シンボル７１及び小面積シンボル７３が後面カバー３３ｂに設けられている例を挙げて説明したが、後方走行車６（１０６）から視認できる位置であれば設置位置は問わない。

１…走行車システム、４…軌道、６，１０６…天井走行車（走行車）、７…本体部、８…撮像部、１８…走行部、３３ａ…前面カバー、３３ｂ…後面カバー、５０，１５０…制御部、５１…判別部、５３…走行制御部、６０…コントローラ、６１…画像切出し部、６２…特徴検出部、６３…復元部、６４…判定部、７０…シンボル、７１，７１Ａ…大面積シンボル、７３…小面積シンボル、１００…画像認識装置。

Claims (11)

1. 軌道に沿って一方向に走行する走行車であって、
   自己の走行車の後方に位置する後方走行車から視認可能なシンボルが設けられている本体部と、
   撮像範囲が自己の走行車の前方となるように前記本体部に設けられている撮像部と、
   前記撮像部によって取得された撮像画像から前記シンボルの抽出を試みると共に、前記シンボルの抽出の有無に基づいて自己の走行車の前方に位置する前方走行車の有無を判別する判別部と、
   前記軌道を走行する走行部を制御する走行制御部と、
   を備え、
   前記本体部には、前記シンボルとしての大シンボルと、前記大シンボルよりも面積が小さな小シンボルと、が設けられており、
   前記大シンボルは、自己の走行車から所定距離未満に位置する前記後方走行車に備わる前記撮像部の撮像範囲に全体が収まらないサイズに形成されており、
   前記小シンボルは、自己の走行車からの距離が前記所定距離未満であっても前記後方走行車に備わる前記撮像部の撮像範囲に全体が収まるサイズに形成されており、
   前記判別部は、前記大シンボルの全体及び前記小シンボルの全体の少なくとも一方が前記撮像画像の中から抽出されたとき、前記前方走行車が存在すると判定し、
   前記判別部は、前記大シンボルのみを抽出できた場合に第一状態にあり、前記小シンボル及び前記大シンボルの両方を抽出できた場合に第二状態にあり、前記小シンボルのみを抽出できた場合に第三状態にあるとそれぞれ判定すると共に、前記第二状態と判定された場合の自己の走行車から前記前方走行車までの距離は、前記第一状態と判定された場合よりも近いと判定し、前記第三状態と判定された場合の自己の走行車から前記前方走行車までの距離は、前記第二状態と判定された場合よりも近いと判定し、
   前記走行制御部は、前記判別部によって前記第一状態にあることが判定されると、通常の移動速度よりも遅い第一速度にて走行するように前記走行部を制御し、前記判別部によって前記第二状態にあることが判定されると、前記第一速度よりも遅い第二速度にまで減速するように前記走行部を制御し、前記判別部によって第三状態にあることが判定されると、完全に停止するように前記走行部を制御する、走行車。
2. 前記小シンボルは、二色からなる図形である、請求項１記載の走行車。
3. 前記小シンボルは、二次元コードである、請求項１又は２記載の走行車。
4. 前記小シンボルは、前記撮像部までの距離を前記判別部に提供することができるＡＲマーカである、請求項１～３の何れか一項記載の走行車。
5. 前記大シンボルは、二色からなる図形である、請求項１～４の何れか一項に記載の走行車。
6. 前記大シンボルは、二次元コードである、請求項１～５の何れか一項記載の走行車。
7. 前記大シンボルは、前記撮像部までの距離を前記判別部に提供することができるＡＲマーカである、請求項１～６の何れか一項記載の走行車。
8. 前記大シンボルは、前記本体部に複数設けられている、請求項１～７の何れか一項記載の走行車。
9. 前記本体部は、前記走行車の走行方向における前後に前面部及び後面部を有しており、
   前記大シンボルは、前記後面部の外観であり、
   前記判別部は、前記後面部の外観画像を認識する画像認識装置の認識結果に基づいて、前記大シンボルを抽出し、
   前記画像認識装置は、
   前記後面部の外観画像から検出された複数の画像特徴のそれぞれをパーツとして予め記憶するメモリと、
   入力画像から複数の画像特徴を検出する特徴検出部と、
   前記特徴検出部で検出した複数の当該画像特徴のそれぞれについて対応する前記パーツを前記メモリから選出し、選出した複数の前記パーツを用いて復元画像を生成する復元部と、
   前記復元部で生成した前記復元画像が前記入力画像と一致するか否かをマッチング処理により判定し、前記復元画像が前記入力画像と一致すると判定した場合に、前記入力画像が前記後面部の外観画像であると認識する判定部と、を有している、請求項８記載の走行車。
10. 前記撮像部は、ＬＩＤＡＲ（Light Detection and Ranging）、ステレオカメラ、ＴＯＦカメラ及びミリ波レーダから選ばれる一つである、請求項１～９の何れか一項記載の走行車。
11. 請求項１～１０の何れか一項記載の走行車を複数備えている、走行車システム。

Images