JP3921968B2 - 位置検出方法及び位置検出装置 - Google Patents
位置検出方法及び位置検出装置 Download PDFInfo
- Publication number
- JP3921968B2 JP3921968B2 JP2001212095A JP2001212095A JP3921968B2 JP 3921968 B2 JP3921968 B2 JP 3921968B2 JP 2001212095 A JP2001212095 A JP 2001212095A JP 2001212095 A JP2001212095 A JP 2001212095A JP 3921968 B2 JP3921968 B2 JP 3921968B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- pattern
- position detection
- patterns
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Pallets (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マークを撮影して得た画像データを画像認識処理することにより位置を検出する位置検出方法及び位置検出装置に関するものである。
【０００２】
【従来の技術】
従来、この種の位置検出方法として、例えば一定間隔を開けたカメラ２台を使って同一の物体を認識し、それぞれの画像上での物体の２次元座標を利用して実際の物体の３次元座標を求める手法（ステレオカメラ）が知られている。しかし、この手法ではカメラを２台使用しており、処理系も複雑になるので、高コストになってしまう。
【０００３】
また特開平１１−８５３８５号公報には、複数の発光体を設置して、複数の発光体の点灯を認識して位置を検出する装置が開示されている。しかし、この位置検出方法では、これらの発光体をタイミングをずらして発光させたりしなければならず、こちらも複雑なシステムになってしまう。また発光体を利用するので明るい場所では位置検出をすることができない。また発光体ではなく黒点などの点を表示しておけば、明るい場所でも検出することはできるが、点であると、ある程度距離が離れるとその点を認識するのが困難となり、比較的近距離での位置検出にしか使用できない。
【０００４】
さらに丸や四角などの図形のパターンをマークに使い、パターンマッチングによりマークを認識して位置を検出する手法も知られている。すなわち、所定の図形のマークをパターンマッチングにより認識し、画面上におけるマークの位置座標と大きさを求めて、これらの値を基に幾何学的な相似関係からマークとカメラとの相対位置座標を計算する。
【０００５】
【発明が解決しようとする課題】
しかしながら、マークとカメラの距離の違いによって画面上におけるマークの大きさが異なるため、マークがどんな大きさであっても認識されるようにするため、大きさの異なる多数のテンプレートを用意する必要があった。例えば図１９に示すように、マーク９０が丸形「●」のパターンであるとき、撮影されたマーク９０が遠近の違いにより大きさがまちまちであっても、それがマーク９０であると確実に認識されるように、同図に示すように種々の大きさの多数のテンプレート９１を用意しておく必要があった。そして、種々の大きさのテンプレート９１の１つずつについてパターンマッチング処理を行い、画像データ中にテンプレート９１と一致したパターンがあると、その位置からマーク９０の位置を算出するとともに、その一致したテンプレート９１の大きさからマーク９０の大きさを認識する。しかし、このようなスケール処理は、多数のテンプレート９１を用意するとともに、テンプレート９１の１つずつについてパターンマッチング処理をする必要があるため、マークを認識するまでにかなり長い処理時間がかかるという問題があった。
【０００６】
例えば米国特許５５８６６２０号には、フォークリフトなどの産業車両の分野において、フォークを高所で位置合わせする操作を支援する目的で、キャリッジにフォーク前方を撮影するカメラを取り付け、カメラで撮影した画像を運転席から表示装置の画面を通して見られるようにした技術が開示されている。
【０００７】
このような技術にさらに位置検出機能を追加することも考えられる。すなわち、例えば棚やパレットに位置検出用のマークを設け、フォーク前方を撮影した画像データを画像認識処理することでマークの位置および大きさを算出し、これらの算出値を基に求めたフォークの目標位置に対するずれ量などの情報を、数値表示や音声アナウンスなどで運転者に知らせる技術を導入する。
【０００８】
この場合、フォークを上昇させるときにカメラも一緒に移動しながら撮影され、画面上で動いてゆくマークを位置検出することになる。しかし、スケール処理に時間がかかり位置検出結果が遅れるタイムラグが生じると、フォークとマークの現実の位置関係と、画像処理上の位置関係がずれてしまう。このような画像処理上の位置関係が現実のものとずれることが原因で、フォークの位置合わせを的確に支援できなくなるという問題が発生する。このため、マークの位置をほぼリアルタイムに検出できるようにするため、スケール処理など処理時間の長くかかる技術を用いなくても、マークを認識できる画像処理技術が必要であった。
【０００９】
本発明は前記課題を解決するためになされたものであって、その目的は、マークの認識処理速度を速くすることができ、位置の検出時間を短くすることができる位置検出方法及び位置検出装置を提供することにある。
【００１０】
第２の目的は、第１の目的を達成するとともに、撮影位置とマークとの実座標系における相対位置を効率よく検出することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、マークをカメラで撮影して得た画像データをパターンマッチング処理することで、前記マークのパターンを画像認識して位置を割り出す位置検出方法であって、前記マークは、連続的に拡大しても常にそのパターンの模様の中に元のサイズのパターンが一つだけ含まれるよう、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつとともに、各々の放射中心間の距離が既知の値に定められた２つの前記パターンを有しており、前記２つのパターンを画像認識して該パターンの各々の放射中心点と該二点間の距離とを算出して、これらの値を基に撮影画面上における前記マークの位置と大きさを割り出すことを要旨とする。
【００１２】
この発明によれば、撮影距離の違いなどにより撮影されたマークの大きさが変わっても、そのパターンの中にはテンプレートと同サイズのパターンが含まれるので、パターンマッチング処理するときに用いるテンプレートが少なく済む。このため、画像認識の処理速度が速くなり、位置検出の処理時間が短縮される。また、既知の距離だけ離れた２つのパターンの位置（放射中心点）とその距離が分かるため、これらの値を基にマークの位置と大きさを求めることが可能となる。
【００１３】
請求項２に記載の発明は、マークをカメラで撮影して得た画像データをパターンマッチング処理することで、前記マークのパターンを画像認識して位置を割り出す位置検出方法であって、前記マークは、連続的に拡大しても常にそのパターンの模様の中に元のサイズのパターンが一つだけ含まれるよう、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつとともに、各々の放射中心間の距離が既知の値に定められた２つの前記パターンを有しており、前記２つのパターンを画像認識して該パターンの各々の放射中心点と該二点間の距離とを算出して、これらの値を基に前記カメラと前記マークの相対位置を算出することを要旨とする。
【００１４】
この発明によれば、撮影距離の違いなどにより撮影されたマークの大きさが変わっても、そのパターンの中にはテンプレートと同サイズのパターンが含まれるので、パターンマッチング処理するときに用いるテンプレートが少なく済む。このため、画像認識の処理速度が速くなり、位置検出の処理時間が短縮される。また、既知の距離だけ離れた２つのパターンの位置（放射中心点）とその距離が分かるため、これらの値を基にカメラとマークの実座標系における相対位置が算出される。
請求項３に記載の発明は、請求項１又は２に記載の位置検出方法において、前記マークは、一点を中心に放射状に真っ直ぐ延びる３本以上の境界線のみによって色分けされたパターンをもつことを要旨とする。
【００１５】
この発明によれば、請求項１又は２の発明の作用に加え、境界線が２本の場合に比べてマーク以外のものをパターンと認識する誤認識が減る。
【００２０】
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の位置検出方法において、前記２つのパターンは、同一の模様であることを要旨とする。
この発明によれば、２つのパターンを認識するのにテンプレートが１つで済む。
【００２１】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の位置検出方法において、前記パターンは、４本以上の偶数本の前記境界線によって前記一点を中心とする周方向に交互に濃淡で色分けされていることを要旨とする。
【００２２】
この発明によれば、パターンがさほど単純ではない模様であることと、濃淡で比較的コントラストがはっきりしたパターンなので、パターン以外のものをパターンと認識する誤認識や、パターンをパターンとして認識できない認識漏れが減る。
【００２３】
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の位置検出方法において、前記パターンマッチング処理で用いられるテンプレートは、前記画像データ上に映し出されるマークが認識されなければならない最小サイズにあるときのそのパターンサイズ以下のサイズに設定されていることを要旨とする。
【００２４】
この発明によれば、認識されなければならないサイズのマークのパターンは全て認識可能となる。
【００３０】
請求項７に記載の発明は、位置検出対象に設けられるとともに２つのパターンを有するマークを撮影する撮影手段と、一点を中心として放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンからなるテンプレートを記憶する記憶手段と、前記マークを撮影手段で撮影して得た画像データを前記テンプレートを用いたパターンマッチング処理することで前記マークの２つのパターンを画像認識する画像認識手段と、前記認識された２つのパターンの各々の放射中心点と両二点間の距離とを算出して前記マークの位置と大きさを割り出す位置演算手段とを備えたことを要旨とする。
【００３１】
この発明によれば、パターンマッチング処理する場合、マークにはテンプレートと同じパターンを有するものが使用される。撮影距離の違いによって撮影されたマークの大きさが変わっても、そのマークの各パターン中にはテンプレートと同じ大きさのパターンが含まれるため、パターンマッチング処理に必要なテンプレートの数が少なく済む。従って、パターンマッチング処理時間が短く済む。また、マークの２つのパターンの放射中心点と両二点間距離とが求められ、これらの値を基にマークの位置と大きさが割り出される。
【００３２】
請求項８に記載の発明は、位置検出対象に設けられるとともに２つのパターンを有するマークを撮影する撮影手段と、一点を中心として放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンからなるテンプレートを記憶する記憶手段と、前記マークを撮影手段で撮影して得た画像データを前記テンプレートを用いたパターンマッチング処理することで前記マークの２つのパターンを画像認識する画像認識手段と、前記認識された２つのパターンの各々の放射中心点と両二点間の距離とを算出して前記マークと撮影位置との相対位置を割り出す位置演算手段とを備えたことを要旨とする。
【００３３】
この発明によれば、パターンマッチング処理する場合、マークにはテンプレートと同じパターンを有するものが使用される。撮影距離の違いによって撮影されたマークの大きさが変わっても、そのマークの各パターン中にはテンプレートと同じ大きさのパターンが含まれるため、パターンマッチング処理に必要なテンプレートの数が少なく済む。従って、パターンマッチング処理時間が短く済む。また、マークの２つのパターンの放射中心点と両二点間距離とが求められ、これらの値を基にマークと撮影位置との相対位置が割り出される。
【００３４】
請求項９に記載の発明は、請求項７又は８に記載の位置検出装置において、前記２つのパターンは、同一のパターンであることを要旨とする。
【００３５】
この発明によれば、２つのパターンを１つのテンプレートで認識することが可能になる。
請求項１０に記載の発明は、請求項７〜９のいずれか一項に記載の位置検出装置において、前記パターンは、４本以上の偶数本の前記境界線によって前記一点を中心とする周方向に交互に濃淡で色分けされていることを要旨とする。なお、ここでいう「濃淡」とは、淡色には白が含まれ、濃色には黒が含まれる。以下の請求項も同様である。
【００３６】
この発明によれば、パターンがさほど単純ではない模様であるので、パターン以外のものをパターンと認識する誤認識が減る。また濃淡の色分けによってコントラストがはっきりするので、マークのパターンを認識できない認識漏れが減る。
【００３７】
請求項１１に記載の発明は、請求項１０に記載の位置検出装置において、前記濃淡の色分けは、黒と白の色分けであることを要旨とする。
この発明によれば、黒と白の色分けによってコントラストがはっきりするので、マークのパターンを認識できない認識漏れが一層減る。
【００３８】
請求項１２に記載の発明は、請求項７〜１１のいずれか一項に記載の位置検出装置において、前記マークが位置検出対象に設けられた状態において、前記パターンは水平線に対し斜めに延びている境界線を有することを要旨とする。
【００３９】
この発明によれば、境界線が水平線に対し斜めに走るため、縦と横のみに走る場合に比べ、パターン以外のものをパターンと認識するの誤認識が減る。
請求項１３に記載の発明は、請求項７〜１２のいずれか一項に記載の位置検出装置において、前記テンプレートは、前記画像データ上に映し出されるマークが認識されなければならない最小サイズにあるときのそのパターンサイズ以下のサイズに設定されている。
【００４０】
この発明によれば、認識されなければならないサイズのマークのパターンは全て認識可能となる。
【００５４】
【発明の実施の形態】
以下、本発明をフォークリフトの位置検出装置に具体化した一実施形態を図面に従って説明する。
【００５５】
図１に示すように、産業車両としてのリーチ型フォークリフトトラック（以下、フォークリフトという）１は、荷役具としてのフォーク２を用いて荷役作業をするために使用される。このフォークリフト１では、車体３の前部から前方へ延出する左右一対のリーチレグ４の先端部に左右の前輪（従動輪）５がそれぞれ取付けられており、後輪である駆動操舵輪６は、車体３に配備されたバッテリ７を電源として駆動される走行用モータ８の動力により走行駆動される。車体３の後部右部分には立席タイプの運転席９が設けられ、ハンドル１０を操作することで駆動操舵輪６は操舵される。
【００５６】
車体３の前側には、荷役装置（マスト装置）１１がリーチシリンダ１２の駆動により左右のリーチレグ４に沿って前後方向に移動（リーチ動作）可能に装備されている。荷役装置１１は多段式（本例では３段式）マスト１３と、左右一対のリフトシリンダ１４（片側のみ図示）とを備え、荷役用のキャリッジ１５はリフトシリンダ１４が駆動されることによりスライド伸縮するマスト１３に沿って昇降する。フォーク２は例えば最高約６メートルまで上昇する。
【００５７】
フォークリフト１には、高所（高揚高範囲）におけるフォーク２の位置合わせ操作を支援する荷役操作支援装置（フォーク位置決め操作支援装置）２０が設けられている。荷役操作支援装置２０は、キャリッジ１５を構成するサイドシフタ１６の前面中央部に縦長に延びた状態に組付けられたカメラ昇降装置２１を備える。カメラ昇降装置２１は、キャリッジ１５の前面中央部に組付けられたハウジング２２内に格納される格納位置と、ハウジング２２の下端から突出する下降位置間を昇降する昇降式のカメラユニット２３を備えている。カメラユニット２３はその下端部に撮影手段としてのＣＣＤカメラ２４を内蔵し、撮影部（レンズ部）２４Ａからフォーク前方の荷役作業エリアの撮影が可能となっている。また格納位置からでも、ハウジング２２の前面下部に形成された撮影窓２２Ａを通してフォーク２の前方の荷役作業エリアをカメラ２４によって撮影できるようになっている。つまりカメラ２４によって格納位置と下降位置の二位置からフォーク２の正面（前方）を撮影できる。サイドシフタ１６は左右に移動可能となっており、そのサイドシフト時はフォーク２とともにカメラ昇降装置２１も一緒に左右にシフトするようになっている。
【００５８】
また、ルーフ２７には運転席９に立つ運転者からよく見える位置に表示装置（液晶ディスプレイ装置（ＬＣＤ））２８が取り付けられている。表示装置２８の画面には、荷役作業時にカメラ２４によって撮影されたフォーク２の前方エリア（棚やパレット）の画像が映し出されるようになっている。
【００５９】
図２に示すように、フォークリフト１が例えば工場内に立設された棚３０に対して荷取りまたは荷置き作業をするときには、まずフォーク２を目標とする格納部３１の高さまで上昇させる。棚３０の格納部３１には荷３２を載置したパレット３３が格納されている。荷取作業時にはフォーク２をパレット３３の差込穴３３Ａに相対するよう位置合わせをする。一方、荷置作業時にはフォーク２を格納部３１の棚面（荷置面）３４Ａの上方所定高さ（棚面３４Ａから例えば１０〜２０ｃｍ上方の高さ）の位置に位置合わせする。本実施形態では、このような高所での荷役作業をする際に、カメラ２４が撮影したフォーク２の前方エリアの画像を表示装置２８の画面上で見られるとともに、その画像データを画像認識処理することによりフォーク２の目標位置に対するずれ量を算出して、フォーク２の位置合わせ作業を支援する。
【００６０】
図３に示すように、本実施形態では、位置検出対象である棚３０またはパレット３３に対するフォーク２の相対位置を求めるため、棚３０とパレット３３には位置合わせの目標とするマークＭ１，Ｍ２が付されている。すなわち、パレット３３の側面（正面）には２つの差込穴３３Ａ間の中央にパレット位置検出用のマークＭ１が貼り付けまたは印刷されている。一方、棚３０の棚部（ビーム）３４にはその正面中央に棚位置検出用のマークＭ２が貼り付けまたは印刷されている。本実施形態では、マークＭ１，Ｍ２は貼付用シート３５でできており、この荷役システムを採用するユーザまたはメーカが、貼付用シート３５を棚３０やパレット３３に貼付して使用する。ここで、パレット３３に付されたマークＭ１と、棚３０に付されたマークＭ２は図形は同じだが、白黒が反転した模様となっている。このマークＭ１，Ｍ２の模様の理由など詳しい内容は後述する。
【００６１】
図４は、カメラ２４で撮影されて表示装置２８の画面２８Ａに表示された画像を示す。画面２８Ａの中央にはマークＭ１，Ｍ２があるべき位置を指す目標マーク３８が表示される。この目標マーク３８がパレット３３に付されたマークＭ１に一致するようフォーク２を移動させることにより、フォーク２は差込穴３３Ａに一致する。一方、この目標マーク３８が棚部３４に付されたマークＭ２に一致するようフォーク２を移動させることにより、フォーク２は荷置きに最適な位置に位置合わせされる。本実施形態では、カメラ２４で撮影された画像データを画像認識処理することで、画像上のマークＭ１，Ｍ２を位置検出する。
【００６２】
図５は、マークとテンプレートを示す。同図（ａ）はパレット位置検出用のマークＭ１を示し、同図（ｃ）は棚位置検出用のマークＭ２を示す。また同図（ｂ）がマークＭ１用のテンプレートＴ１、同図（ｄ）がマークＭ２用のテンプレートＴ２である。
【００６３】
マークＭ１は同じパターンＰ１，Ｐ１を２個並べて構成され、マークＭ２は同じパターンＰ２，Ｐ２を２個並べて構成されている。ここで、マークというのは、同図（ａ），（ｃ）の全体の模様、パターンというのはマークを構成する２つの模様を指す。画像認識処理としてパターンマッチング処理を採用する本実施形態では、パターンマッチング処理で使うテンプレートＴ１，Ｔ２にはパターンＰ１，Ｐ２と同じ模様が使用される。つまりテンプレートＴ１はパターンＰ１と同じ模様を有し、テンプレートＴ２はパターンＰ２と同じ模様を有する。
【００６４】
パターンＰ１，Ｐ２はいずれも正方形の４頂点を対角に結ぶ２本の対角線を境界線とする４つの領域を白と黒で色分けされた模様である。但し、四角形の辺に相当する外形線は模様の一部ではない。この模様を言い換えれば、一点を中心として放射状に真っ直ぐ延びる４本の境界線によって白と黒に色分けされた模様である。パターンＰ１，Ｐ２の境界線はすべて中心（放射中心）を通る直線である。マークＭ１，Ｍ２のパターンＰ１，Ｐ２は、互いに白と黒が反転している模様である。
【００６５】
パターンＰ１，Ｐ２の模様の特徴は、連続的に拡大しても常にそのパターンの中に元のサイズのパターンが含まれる模様である。言い換えれば、模様の大きさが連続的に変わっても中心部分（放射中心部分）のパターンが変化しない模様である。このような特徴をもつパターンＰ１，Ｐ２とテンプレートＴ１，Ｔ２を用いていることから、画面２８Ａ上に映し出されるマークＭ１，Ｍ２のサイズが撮影距離に応じて変化しても、常にその撮影されたパターンＰ１，Ｐ２の中心部分にはテンプレートＴ１，Ｔ２と同じサイズのパターンができる。つまりテンプレートＴ１，Ｔ２と相似な図形でテンプレートＴ１，Ｔ２より大きなものは、その中心部がテンプレートＴ１，Ｔ２そのものと同じパターンである。このため、マークＭ１，Ｍ２がどのようなサイズで映し出されても、マーク１つにつき１つのテンプレートＴ１，Ｔ２を用いたパターンマッチングによりマークＭ１，Ｍ２を認識できることになる。
【００６６】
またパターンＰ１，Ｐ２の模様は、境界線が水平線に対して斜め（この例では４５度）に走っている。例えば工場内には、棚３０の柱や棚面３４Ａ、パレット３３の上面や側面、荷物３２の側面や上面など、縦や横の線（ライン）が比較的多い。しかし、パターンＰ１，Ｐ２の境界線が水平線に対して斜めに走っていることから、この種の縦や横のラインをマークＭ１，Ｍ２と誤認識することをより確実に低く抑えることが可能である。
【００６７】
図８は、マーク１つに１つのテンプレートで済むパターンマッチング処理を説明するものである。同図（ａ）はテンプレートＴ１を示し、同図（ｂ）〜（ｄ）は、カメラとマークの距離に応じて画面上に映し出される種々の大きさのパターンＰ１を示す。同図（ｂ）は標準サイズの５０％の大きさ、同図（ｃ）は標準サイズ、同図（ｄ）は標準サイズの２倍の大きさのそれぞれパターンＰ１を示す。
【００６８】
例えばテンプレートＴ１の大きさを同図（ａ）に示すように標準の５０％の大きさに設定しておく。こうすれば、標準の５０％以上の大きさに映っているマークＭ１を、その大きさが標準より大きくても小さくても全て認識することが可能になる。このため、テンプレートＴ１，Ｔ１の大きさを、マークＭ１，Ｍ２が認識される必要がある最小サイズのときのパターンサイズ（パターンＰ１，Ｐ２の大きさ）以下の大きさに設定しておけば、認識する必要がある大きさのマークＭ１，Ｍ２を全て認識することが可能となる。本実施形態では、荷役作業時に画面上に映し出されるマークの大きさを予測して、上記の点を考慮してテンプレートＴ１，Ｔ２の大きさが設定してある。
【００６９】
図８に示すようなパターンＰ１は、１つのテンプレートＴ１を用いたパターンマッチング処理により認識されるので、画面２８Ａの画像データ上（画面座標系）においてパターンＰ１の中心（放射中心）の位置（座標）を計算できる。これによりパターンＰ１の位置を検出することが可能である。但し、パターン１つでは、パターンの位置は分かるがその大きさまでは分からない。そのため、本実施形態では、図５に示したように２つのパターンＰ１，Ｐ１（Ｐ２，Ｐ２）を配置したマークＭ１，Ｍ２を採用し、２つのパターンの各位置（座標）を基にマークの位置および大きさ、さらにはマークとカメラとの相対位置関係を求めるようにしている。本実施形態では、マークの位置・大きさと、マークとカメラの相対位置関係とを求めるため、２つのパターンＰ１，Ｐ１の位置（中心座標）とこの二点間の距離とを求めるようにしている。
【００７０】
図７は画面上に設定された画面座標系を示す。画面座標系では座標を画素の単位で取り扱い、同図におけるＨは画面２８Ａの横方向画素数であり、Ｖは画面２８Ａの縦方向画素数である。同図に示すような画面上の画像データに対しテンプレートＴ１を用いてパターンマッチング処理をする。そしてマークＭ１の重心（Ｉ，Ｊ）とパターンの中心間距離Ｄを求める。
【００７１】
まず図９を用いてマークの位置および大きさを求める処理方法を説明する。同図（ａ）に示すようにパターンＰ１を２個並べたマークＭ１であるため、マークＭ１中の２箇所でマッチングし、２つのパターンＰ１，Ｐ１の各中心座標が計算される。この２点の座標が決まると、同図（ｂ）に示すようにパターンＰ１，Ｐ１の中心間距離Ｄを計算する。距離Ｄが分かると同図（ｃ）に示すようにマークＭ１の大きさを計算できる。本実施形態では、パターンＰ１が正方形（但し辺無し）であり、これを２つ並べたものがマークＭ１であることから、パターン中心間距離Ｄを用いて、マークＭ１の大きさは縦Ｄ、横２Ｄと計算できる。また２つのパターンＰ１，Ｐ１の中心座標を基にマークＭ１の重心座標（Ｉ，Ｊ）を計算する。本実施形態では、算出されたマークＭ１の位置および大きさのデータを基に画面２８Ａ上に表示されているマークＭ１に輪郭線を強調する表示処理を施し、認識中のマークＭ１を運転者に視覚的に知らせる手法を採用している。
【００７２】
また本実施形態では、フォーク２の操作を支援するためにフォーク２の位置合わせ目標位置に対するずれ量を算出し、フォーク１を自動で位置合わせするフォーク位置決め制御を採用している。この場合、画面座標系だけでなくカメラ２４とマークＭとの実座標系の相対位置座標を計算する必要がある。本実施形態では、図６に示すような実座標系の３次元座標を想定している。すなわち、マークＭの重心を原点Ｏとし、マークＭに垂直な方向でカメラ２４と逆の向きにＸ軸、Ｘ軸を水平面内で反時計回りに９０度回転した方向にＹ軸、鉛直方向にＺ軸をとる。そしてこの実座標系でカメラ２４の相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を求め、この相対座標を基にフォーク２の位置ずれ量を算出する。
【００７３】
相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を求めるために、図７に示す画面座標系において計算したマークＭ１の重心座標（Ｉ，Ｊ）とパターンＰ１，Ｐ１の中心間距離Ｄを使用する。そして画面座標系の座標（Ｉ，Ｊ）と距離Ｄの値を用いて、幾何変換を行って実座標系の相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を計算する。この計算方法については後述する。
【００７４】
次に、荷役操作支援装置２０の電気的構成を説明する。
図１０に示すように、荷役操作支援装置２０はコントローラ４０を備える。
コントローラ４０は、カメラ昇降制御部４１，画像制御部４２、荷役制御部４３、駆動回路４４，４５を備えている。
【００７５】
カメラ昇降制御部４１には、電動アクチュエータ４７、上限位置検知スイッチ４８，下限位置検知スイッチ４９が電気的に接続されている。カメラ昇降制御部４１は、荷役制御部４３からの起動の指示に基づき電動アクチュエータ４７の制御を行う。上限位置検知スイッチ４８はカメラユニット２３が上限位置に達したことを検知するもので、下限位置検知スイッチ４９はカメラユニット２３が下限位置に達したことを検知するものである。各位置検知スイッチ４８，４９によって、カメラユニット２３の上限エンドと下限エンドが検知されたときに、電動アクチュエータ４７の駆動が停止される。
【００７６】
ＣＣＤカメラ２４からの映像信号（画像信号）は、画像制御部４２に入力される。画像制御部４２は、画像生成部５０および画像処理部５１を備える。画像生成部５０は映像信号から画像データを生成して表示装置２８の画面２８Ａに撮影画像を表示させる。また画像制御部４２は、音声アナウンスなどのための音声合成処理を行ってスピーカ５３に音声信号を出力する。また画像処理部５１には画像生成部５０から画像データが入力される。
【００７７】
画像処理部５１は、画像生成部５０で生成された画像データを基に画像上のマークＭ１，Ｍ２の位置を割り出す画像認識処理と、その認識結果に基づきフォーク２の自動位置制御に必要な画面座標系のデータを計算する演算処理を行う。画像処理部５１は、画像認識手段としての画像認識処理部５５、記憶手段としてのテンプレート記憶部５６および画像演算部５７を備えている。
【００７８】
画像認識処理部５５はパターンマッチング処理による画像認識処理を行う。テンプレート記憶部５６には、パターンマッチング処理に使用するテンプレートＴ１，Ｔ２のデータが記憶されている。本実施形態では、図５（ｂ），（ｄ）に示すテンプレートＴ１，Ｔ２が記憶されている。画像認識処理部５５は、画像データ上にテンプレートＴ１（Ｔ２）と一致するパターンがあるかどうかを調べるパターンマッチング処理を行い、テンプレートＴ１（Ｔ２）と一致するパターンがあればそれをマークＭ１（Ｍ２）のパターンＰ１（Ｐ２）と認識する。画像演算部５７は、画像認識されることでパターンＰ１（Ｐ２）の位置が決まると、それぞれの位置座標（Ｉ1，Ｊ1），（Ｉ2，Ｊ2）を基に、マークＭ１（Ｍ２）に関する重心座標（Ｉ，Ｊ）と中心間距離Ｄを計算する。画像処理部５１の処理内容については後述する。
【００７９】
荷役制御部４３には、荷役用の各レバー６１〜６４の操作を検知する各センサ６５〜６８、操作ボタンスイッチ６９、揚高センサ７０および荷重センサ７１が電気的に接続されている。また荷役制御部４３は、駆動回路４４を介して荷役モータ７２、各種電磁比例弁７３〜７６のソレノイドと電気的に接続されている。各種電磁比例弁７３〜７６は、オイルコントロールバルブ７７に組付けられており、これらが比例制御されることにより荷役系の油圧制御が行われる。荷役モータ７２は荷役ポンプ（油圧ポンプ）７８を駆動するためのもので、荷役ポンプ７８の駆動によってオイルコントロールバルブ７７に作動油を供給する。荷役制御部４３は、各センサ６５〜６８からの信号を基に電磁比例弁７３〜７６の電流値制御と荷役モータ７２の駆動制御を行う。各レバー６１〜６４の操作に応じてそれぞれ対応するシリンダ１２，１４，７９，８０が駆動され、フォーク２の昇降操作、リーチ操作、サイドシフト操作、ティルト操作が可能となっている。
【００８０】
荷役制御部４３は、フォーク位置決め制御実行中においては画像処理部５１からのデータを基にリフト用電磁比例弁７３とサイドシフト用電磁比例弁７５を電流値制御して、リフトシリンダ１４とサイドシフトシリンダ７９を駆動制御する。荷役制御部４３は、このフォーク位置決め制御のために、相対座標算出部８１、制御量算出部８２、制御量指令部８３および荷役駆動制御部８４を備えている。相対座標算出部８１は、画像演算部５７で算出されたデータを基にマークＭを原点とする実座標系におけるカメラ２４の相対位置座標（Ｘｃ，Ｙｃ，Ｚｃ）を計算する。制御量算出部８２は相対位置座標（Ｘｃ，Ｙｃ，Ｚｃ）から制御量を求める。制御量指令部８３は荷役駆動制御部８４に制御量を指令する。荷役駆動制御部８４は、制御量の指令を受けると駆動回路４４を介してリフト用電磁比例弁７３とサイドシフト用電磁比例弁７５を電流値制御して、フォーク２の位置合わせに必要なその制御量だけリフトシリンダ１４とサイドシフトシリンダ７９を駆動制御する。なお、各制御部４１，４２，４３は、マイクロコンピュータおよびメモリ（ＲＯＭ）等に格納されたプログラムデータによって構成される。また、画像演算部５７及び相対座標算出部８１により位置演算手段が構成される。
【００８１】
操作ボタンスイッチ６９は、例えばリフトレバー６１のノブに設けられ、フォーク位置決め制御を行うときに運転者が操作するものである。荷役制御部４３は、操作ボタンスイッチ６９が操作された操作信号を入力すると起動準備モードに入る。本実施形態では、フォーク２が設定揚高（例えば約２メートル）以上の高さにあるときに限り、フォーク位置決め制御が行われるように設定されている。この起動準備モードに入った後、荷役制御部４３は、揚高センサ７０の検出値から分かるフォーク２の揚高を基にカメラ昇降制御部４１を起動させるかどうかを判断する。揚高センサ７０の検出値に基づきフォーク２の検出揚高が設定揚高以上にあるときだけフォーク位置決め制御の実行モード（自動位置決めモード）に入る。つまり、揚高が設定高さ以上であるときがカメラ昇降制御部４１の起動条件となる。
【００８２】
そして起動条件成立後、荷重センサ７１の検出値から分かるフォーク２上の荷重（積載重量）を基に起動させるときの荷役モードを判断する。ところで、本実施形態では、荷役モードとして荷取モードと荷置モードを用意し、そのモードに応じてカメラユニット２３の昇降位置（撮影位置）を切り替えるようにしている。つまり、フォーク２上に荷の無い荷取り時は、カメラユニット２３が格納位置に保持されたままでも撮影できるが、フォーク２上に荷がある荷置き時は荷が撮影の邪魔になるため、カメラユニット２３を下降位置に配置させるようにしている。荷取モードか荷置モードかは、荷重センサ７１の検出信号を基にフォーク２上の荷の有無から判断する。荷役制御部４３は、フォーク２上に荷が無いと判断したときは荷取モードを設定し、フォーク２上に荷があると判断したときは荷置モードを設定する。
【００８３】
カメラ昇降制御部４１は、荷役制御部４３からの起動の指示に従って電動アクチュエータ４７を制御し、荷取りモードでの起動の指示を受けたときはカメラユニット２３を格納位置に配置された状態に保持する。一方、荷置きモードでの起動の指示を受けたときは電動アクチュエータ４７を駆動させてカメラユニット２３を下降位置に配置する。
【００８４】
また荷役制御部４３は、操作ボタンスイッチ６９の操作を検知して起動準備モードに入ると、その旨を画像制御部４２に伝える。画像処理部５１では、荷取モードであればパレット位置検出用のマークＭ１を認識対象とし、荷置モードであれば棚位置検出用のマークＭ２を認識対象とする画像認識処理を実行する。つまり画像処理部５１は、パターンマッチング処理時に、荷取モードであればテンプレートＴ１を使用し、荷置モードであればテンプレートＴ２を使用する。
【００８５】
図１２は、画像認識処理からフォーク位置制御までの制御処理の流れを説明するものである。
まず画像データを取得すると、画像認識処理部５５がテンプレート記憶部５６からテンプレートＴを読み出してパターンマッチング処理を行う。画像演算部５７は、画像認識処理部５５で認識されたパターンの位置を基にマークＭの重心座標（Ｉ，Ｊ）とパターン中心間距離Ｄを画面座標系（画素レベル）で算出する。ここで算出されたデータＩ，Ｊ，Ｄは、相対座標算出部８１に送られる。
【００８６】
相対座標算出部８１は、データＩ，Ｊ，Ｄを基に、実座標系におけるカメラ２４の相対座標ＯＣ（Ｘc,Ｙc,Ｚc) を算出する。ここで、図１１に示すように、カメラ位置Ｃ、フォーク位置Ｆ、パレット位置Ｐ、マーク重心位置（原点）Ｏとすると、ベクトルＦＰ＝ベクトルＯＰ−ベクトルＯＣ−ベクトルＣＦの関係にあり、ベクトルＣＦ，ＯＰは既知情報である。制御量算出部８２は、既知情報（ベクトルＣＦ，ＯＰ）を用いてベクトルＦＰを求める。
【００８７】
そして、制御量指令部８３は、ベクトルＦＰが「０」になるような制御量指令値を荷役駆動制御部８４に送る。但し、本実施形態では、フォーク２の上下方向および左右方向についてのみ自動位置制御をすることとしており、前後方向（リーチ方向）については運転者の操作に任せている。このため、制御量指令部８３は、ベクトルＦＰのうちＹＺ成分を「０」とするよう算出したフォーク２の上下方向および左右方向の各シフト量を制御量指令値として荷役駆動制御部８４に出力する。荷役駆動制御部８４はこの制御量指令値を基に駆動回路４４を介してリフトシリンダ１４およびサイドシフトシリンダ７９を駆動制御する。これによりフォーク２は上下方向および左右方向については自動で位置合わせされる。この結果、フォーク２は荷取モードの際はパレット３３の差込穴３３Ａに位置決めされ、荷置モードの際は棚面３４Ａから所定距離上方の目標位置に位置合わせされる。なお、フォーク２のリーチ動作も自動制御で行ってもよい。
【００８８】
次に、Ｉ，Ｊ，Ｄ値からカメラ２４とマークＭ１の相対位置座標（Ｘc，Ｙc，Ｚc）を算出する計算方法について説明する。
図１３は、実座標系でカメラとマークを上から見た図を示す。また図１４は、実座標系と画面座標系について相似関係にあることを示す。同図左側がＹＺ平面内で、カメラ２４に映っている部分を示したもので、同図右側が実際にカメラ２４に映っている画像のＩＪ平面を示す。像の歪みを考慮しなければ、これらの２つの像は相似関係にある。
【００８９】
表１は、実座標系と画面座標系の相似関係を示したものである。
【００９０】
【表１】
実座標系において撮影範囲の横幅は、２Ｌ・tanαで示され、これは画面座標系では画面２８Ａの横方向画素数Ｈとなる。ここで、図１３に示すように、αは、カメラ２４の水平画角の２分の１である。またＬは、カメラ２４とＹＺ平面間の距離であり、｜Ｘc｜に等しい（Ｌ＝｜Ｘc｜）。また、実座標系におけるマークＭ１内の２つのパターンＰ１，Ｐ１の中心間距離ｄは、画面座標系では中心間距離Ｄとなる。つまり実座標系と画面座標系の相似比は、ｄ：Ｄとなる。また、マークＭ１の中心（重心）である原点Ｏから像の中心までの横座標については、実座標系のＹcが、画面座標系のＩ−Ｈ／２に相当する。マークＭ１の中心（重心）である原点Ｏから像の中心までの縦座標については、実座標系のＺcが、画面座標系のＪ−Ｖ／２に相当する。但し、Ｖは、画面２８Ａの縦方向画素数である。
【００９１】
表１の相似関係を用いれば、カメラの座標（Ｘc，Ｙc，Ｚc）は次式より算出される。
Ｘc＝−Ｌ＝−Ｈｄ／（２Ｄtanα）
Ｙc＝ｄ／Ｄ（Ｉ−Ｈ／２）
Ｚc＝ｄ／Ｄ（Ｊ−Ｖ／２）
ここで、Ｈ，Ｖ，α，ｄ値は既知の値であるため、Ｉ，Ｊ，Ｄ値を算出すれば、座標（Ｘｃ，Ｙｃ，Ｚｃ）が求まる。
【００９２】
次に図１５を用いて、マーク平面（ＹＺ平面）内でのマーク回転角θを計算する方法を説明する。まず画像処理によりマークＭ１内に２つあるパターンＰ１，Ｐ１の中心座標（Ｉ1，Ｊ1）と（Ｉ2，Ｊ2）が求まる。次にパターンＰ１、Ｐ１の中心座標を用いて次の関係式が成り立つ。すなわち、tanθ＝[（Ｊ2−Ｊ1）／（Ｉ2−Ｉ1）] である。この関係式を用いてマークＭ１の回転角θを求める。
【００９３】
ここで、たとえフォーク２が正規の位置に位置合わせされても、車体の姿勢に対しパレット３３が僅か（２，３度）に傾いているだけでフォーク２はパレット３３の差込穴３３Ａに差し込まれない。本実施形態では、このような理由からフォーク２の上下方向と左右方向の位置制御は自動で行うが、パレット３３の差込穴３３Ａにフォーク２を挿入する最後のリーチ動作は運転者自身が判断して操作するようにしている。このようにパレット３３が僅か（２，３度）に傾いているときには、画面２８Ａ上の表示や音声アナウンスによってその旨を運転者に報知する。
【００９４】
この実施の形態では、以下の効果が得られる。
（１）パターンを連続的に拡大しても常にそのパターンの中に元のサイズのパターンが含まれることになる模様をパターンとするテンプレートＴ１，Ｔ２を採用した。そして、テンプレートＴ１，Ｔ２と同じ模様のパターンをマークＭ１，Ｍ２に採用した。このため、撮影画像上のマークＭ１（Ｍ２）の大きさが遠近の違いによって変化しても、その大きさの異なるパターンＰ１（Ｐ２）を１つのテンプレートＴ１（Ｔ２）によって認識することができる。従って、パターンＰ１（Ｐ２）を認識する処理時間がかなり短縮される。この結果、パターンＰ１（Ｐ２）の位置を短時間で割り出すことができる。
【００９５】
（２）マークＭ１（Ｍ２）を２つのパターンＰ１（Ｐ２）を並べて形成し、パターンＰ１，Ｐ１（Ｐ２，Ｐ２）の中心間距離Ｄを算出するようにしたので、画面上におけるマークＭ１（Ｍ２）の位置だけでなくマークＭ１（Ｍ２）の大きさも検出することができる。
【００９６】
（３）マークＭ１（Ｍ２）を２つのパターンＰ１（Ｐ２）を並べて形成し、パターンＰ１，Ｐ１（Ｐ２，Ｐ２）の中心間距離Ｄを算出するようにしたので、マークＭ１（Ｍ２）とカメラ２４との実座標系の３次元相対位置座標（Ｘc，Ｙc，Ｚc）を求めることができる。よって、フォーク２とパレット３３の差込穴３３Ａまたは棚面３４Ａから所定距離上方の目標位置との位置ずれ量を求めることができる。これによりフォーク２の目標位置に対する位置合わせを支援する自動制御をすることができる。
【００９７】
（４）また２つのパターンＰ１、Ｐ１（Ｐ２，Ｐ２）の各中心座標を使ってマークＭ１（Ｍ２）の傾き（回転角）θを検出することもできる。よって、フォークリフト１の車体３が左右に傾いていたり、パレット３３が傾いていたときには、フォーク２をパレット３３の差込穴３３Ａに差し込むことができない旨の警告を運転者に発することができる。
【００９８】
（５）マークＭ１，Ｍ２を構成するパターンＰ１，Ｐ２は、一点を中心として放射状に真っ直ぐ延びる複数本の境界線によって色分けされた模様からなる。よって、撮影されたマークの撮影画像上の大きさが遠近の違いによって変化しても、そのパターンＰ１（Ｐ２）の位置を１つのテンプレートＴ１（Ｔ２）によって認識することができ、パターンＰ１（Ｐ２）を認識する処理時間がかなり短縮される。また、パターンＰ１，Ｐ２は、一点を中心とする周方向に交互に白と黒の配色を付したので、コントラストがはっきりしてパターン以外のものをパターンと誤認識したり、パターンが認識されない認識漏れが減る。
【００９９】
（６）パターンＰ１，Ｐ２は、一点を中心として放射状に真っ直ぐ延びた４本の境界線によって色分けされた模様である。このようにパターンＰ１，Ｐ２は、例えば２本の境界線で色分けされた模様に比べ比較的複雑な図形となるため、工場内に存在する他の図形をマークと誤検出することが減る。
【０１００】
（７）マークＭ１（Ｍ２）は、同一のパターンＰ１（Ｐ２）を２つ並べて形成されている。よって、２つのパターンＰ１（Ｐ２）を共通の１つのテンプレートＴ１（Ｔ２）により認識できるので、マークＭ１（Ｍ２）１つにつき１つのテンプレートＴ１（Ｔ２）を用意するだけで済む。
【０１０１】
（８）テンプレートＴ１，Ｔ２は、画像データ上に映し出されるマークＭ１，Ｍ２が認識されなければならない最小サイズにあるときのパターンサイズ以下のサイズに設定されている。よって、マークＭ１（Ｍ２）とカメラ２４の距離によって撮影画像上のマークＭ１（Ｍ２）の大きさが変化しても、その際に最も小さなマークサイズに合わせてテンプレートＴ１，Ｔ２のサイズを設定しているので、マークＭ１（Ｍ２）１つにつきテンプレートＴ１（Ｔ２）が１つで済む。
【０１０２】
（９）マークＭ１，Ｍ２をパレット３３または棚３０に付した状態において、パターンＰ１，Ｐ２の境界線が水平線に対し斜めに延びるような模様のパターンＰ１，Ｐ２を採用したので、工場内に比較的多くある縦や横の線をマークＭ１，Ｍ２と誤検出する恐れをより確実に抑えることができる。
【０１０３】
なお、実施の形態は上記に限定されず、次の態様で実施することもできる。
○ ２つのパターンＰ１，Ｐ１（Ｐ２，Ｐ２）を横に並べる構成に限定されない。例えば図１６に示すように、パターンＰ１，Ｐ２を縦方向に２つずつ並べてマークＭ３，Ｍ４を構成することもできる。マークが付される箇所の形状や種々の制限などにより縦長の方が都合がよい場合には同図のようなパターン配列をとることが好ましい。
【０１０４】
○ パターンは前記実施形態の模様に限定されない。例えば図１７に示すようなパターンＰ５〜Ｐ１０を持つマークＭ５〜Ｍ１０を採用することができる。これらどのパターンも、連続的に拡大しても常にそのパターンの中に元のサイズのパターンが含まれる模様である。言い換えれば、パターンの大きさが連続的に変わっても中心部分のパターンが変化しない模様である。さらに詳しくは、一点を中心として放射状に真っ直ぐ延びる複数本の境界線によって色分けされた模様である。これらの例では色分けは黒と白の二色である。同図（ａ），（ｂ）は、４本の境界線によって白と黒に色分けされている。外形形状が（ａ）は四角形、（ｂ）は丸形である。同図（Ｃ）は、外形が四角形で、８本の境界線によって白と黒に色分けされている。同図（ｄ）は外形が六角形で、６本の境界線によって白と黒に色分けされている。同図（ｅ）は外形が丸形で、４本の境界線によって白と黒に色分けされている。境界線が水平面に対して斜め（この例では４５度）に走っている。同図（ｆ）は外形が四角形で、４本の境界線によって白と黒に色分けされている。境界線は四角形の対角線を少し回転させた傾きとなっている。同図（ｃ），（ｄ），（ｅ），（ｆ）は、境界線が水平線に対して斜めに走っているので、縦や横の線（ライン）が比較的多い工場内で、パターン以外のものをパターンと誤認識してしまう不都合を一層確実に抑えることができる。よって、位置検出の精度を上げることができる。同図では各マークはパターンを横方向に２つ並ぶ構成であるが、もちろん縦方向に２つ並ぶ構成でもよい。またテンプレートＴ５〜Ｔ１０は、前記実施形態と同様に認識しなければならない最小サイズ以下のサイズに設定され、例えば標準サイズの５０％サイズに設定してある。
【０１０５】
○ マークを構成する２つのパターンは隣接していることに限定されない。例えば図１８に示すように２つのパターンＰ１，Ｐ１を離して配置することもできる。２つのパターンの中心間距離（放射中心間距離）を一定（既知の値）に設定しておけば、座標（Ｘｃ，Ｙｃ，Ｚｃ）は計算できる。例えばパターンを２つ並べたサイズのマークを貼るだけの十分なスペースを確保できない場合、このようにパターンを分離配置することでパターンのサイズを小さくせずに済ませられ、例えばマークの認識可能な距離を長く設定することができる。
【０１０６】
○ １つのマークにつきテンプレートは１つに限定されない。例えば標準サイズと、標準サイズの５０％の２つ用意しても構わない。テンプレートを複数用意しても、従来技術で述べたスケール処理に比べテンプレート数は少なく済むので、認識処理時間は短縮できる。もちろん、テンプレートの数は３つ、４つ、５つ以上でも構わない。
【０１０７】
○ 境界線は３本でもよい。白と黒など２色の色分けはできないが、３色の色分けはすることができる。例えば白、黒、灰の３色でもよい。またカラー画像であれば、なるべく色調の異なる３色を適宜使用できる。
【０１０８】
○ 境界線は２本でもよい。境界線が２本であってもその２本のなす角度が１８０°以外であれば、中心点（放射中心点）が特定され、画像認識をすることはできる。白と黒の二色の色分けも可能である。
【０１０９】
○ 前記実施形態では２色で色分けしたが、色分けは２色に限定されない。３色、４色、５色以上であっても構わない。３色以上であっても色の違いを認識できる色の組合せであればパターンを認識することはできる。
【０１１０】
○ マークの２つのパターンは同一であることに限定されない。２つのパターンは模様が異なるものであっても構わない。この場合、１つのマークの認識に２つのテンプレートを用意する必要があるが、スケール処理に比べれば処理速度を短くすることはできる。また同じ模様で異なるサイズの２つのパターンを設けてもよい。
【０１１１】
○ 前記実施形態では、境界線が一点で交わるパターンの中心をパターンの位置座標として計算したが、パターンの位置座標はパターンの中心である必要はない。一点を中心として放射状に真っ直ぐ延びる境界線の放射中心であればよい。例えば放射中心がパターンの中心からずれていても構わない。放射中心座標であれば、パターンの大きさが撮影距離に応じて変化しても、パターンの位置を正確に算出することができる。
【０１１２】
○ マークの位置はその重心座標に限定されず、２つのパターンの中心座標のうち一方をそのままマークの位置座標として採用しても構わない。
○ マークは位置検出対象に付されていることに限定されない。位置検出対象と既知の所定位置関係にあるものにマークを付せば、位置検出対象を位置検出することはできる。前記実施形態では、パレットに付されたマークを位置検出することによりパレットを検出し、棚に付されたマークを位置検出することにより棚面上方の所定位置を検出するようにした。これとは逆に、パレットに付されたマークを位置検出することにより棚面上方位置を検出し、棚に付されたマークを位置検出することによりパレットを位置検出するようにしてもよい。パレットの棚面上における左右方向の位置のばらつきが許容される範囲であればこのような構成も可能である。
【０１１３】
○ 前記実施形態では、マークとカメラの距離が変わることが前提であるため、２つのパターンを並べたマークを採用していたが、例えばマークとカメラの距離が一定（固定）である場合は、パターン１つのマークを採用し、実座標系におけるマークとカメラとの相対位置を検出するようにしてもよい。例えば位置検出対象が列状に並んでいるその列に沿って一定距離を保ったままカメラを移動させてマークを位置検出する場合、あるいはこの逆で固定したカメラから一定距離離れた撮影域を通過する位置検出対象を位置検出する場合が挙げられる。また、例えば距離センサを用いてカメラと位置検出対象（例えば棚やパレット）との距離を得るようにすれば、マークとカメラとの実座標系の相対位置座標を求めることができる。
【０１１４】
○ 産業車両はリーチ型フォークに限定されない。カウンタバランス型フォークリフトでもよい。また荷役用のマストを備えたフォークリフト以外の産業車両であってもよい。無人フォークリフトに採用することもできる。さらに無人搬送車に適用してもよい。また産業車両や荷役システム以外の分野で、位置検出方法または位置検出装置を使用しても構わない。
【０１１５】
前記実施形態及び別例等から把握される技術的思想を、以下に記載する。
（１）前記マークは前記パターンを１つだけ有し、該１つのパターンを画像認識して該パターンに一義的に定まる点の位置を撮影画面上における前記マークの位置として割り出す。
【０１１６】
（２）前記マークは前記パターンを２つ有し、該２つのパターンを画像認識して該２つのパターンごとに一義的に定まる各点とこの二点間の距離とを求め、これらの値を基に前記カメラと前記マークの相対位置を算出する。
【０１１７】
（３）前記位置検出方法は、産業車両における位置検出において用いられる。
（４）前記テンプレートは、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつ。
【０１１８】
（５）前記境界線の本数は３本以上である。
（６）前記境界線が一点で交わる交点は前記パターンのほぼ中心に位置する。
【０１１９】
（７）前記位置検出装置は、産業車両における位置検出において用いられる。
（８）前記パレットと、前記前記棚と、前記産業車両とを備えた荷役システム。
【０１２０】
（９）前記パレットに付されたマークのパターンと、前記棚に付されたマークのパターンは、共に黒と白の二色からなるパターンで、互いに白と黒が反転したパターンである。
【０１２１】
【発明の効果】
以上詳述したように各請求項の発明によれば、マークのパターンの認識処理速度を速くすることができ、位置検出の処理時間を短くすることができる。
【０１２２】
請求項２〜６及び８〜１３の発明によれば、さらに撮影位置とマークとの実座標系における相対位置を効率よく検出することができる。
【図面の簡単な説明】
【図１】 一実施形態におけるフォークリフトの斜視図。
【図２】 棚に対する荷役作業の様子を示す側面図。
【図３】 格納部の正面図。
【図４】 画面図。
【図５】 マークとテンプレートを示す正面図。
【図６】 実座標系を説明する斜視図。
【図７】 画面座標系を説明する画面図。
【図８】 テンプレートの説明図。
【図９】 位置検出手法を説明する説明図。
【図１０】 荷役操作支援装置の電気的構成を示すブロック図。
【図１１】 位置制御方法を説明する説明図。
【図１２】 位置制御方法の処理の流れを説明する説明図。
【図１３】 実座標系を説明する平面図
【図１４】 実座標系と画面座標系の相似関係を示す説明図。
【図１５】 回転角の算出方法を説明する画面図。
【図１６】 別例のマークを示す正面図。
【図１７】 図１６と異なる別例の正面図。
【図１８】 別例のマークを付した棚とパレットの正面図。
【図１９】 従来のパターンマッチング処理の説明図。
【符号の説明】
１…産業車両としてのフォークリフト、２…荷役具としてのフォーク、３…車体、１１…荷役装置、１３…マスト、１５…キャリッジ、２３…カメラユニット、２４…撮影手段としてのカメラ、２８…表示装置、２８Ａ…画面、３０…位置検出対象としての棚、３３…位置検出対象としてのパレット、４０…コントローラ、５０…画像生成部、５１…画像処理部、５５…画像認識手段としての画像認識処理部、５６…記憶手段としてのテンプレート記憶部、５７…位置演算手段を構成する画像演算部、８１…位置演算手段を構成する相対座標算出部、Ｍ１〜Ｍ１０…マーク、Ｐ１〜Ｐ１０…パターン、Ｔ１，Ｔ２…テンプレート、Ｄ…放射中心間の距離としての中心間距離。
【発明の属する技術分野】
本発明は、マークを撮影して得た画像データを画像認識処理することにより位置を検出する位置検出方法及び位置検出装置に関するものである。
【０００２】
【従来の技術】
従来、この種の位置検出方法として、例えば一定間隔を開けたカメラ２台を使って同一の物体を認識し、それぞれの画像上での物体の２次元座標を利用して実際の物体の３次元座標を求める手法（ステレオカメラ）が知られている。しかし、この手法ではカメラを２台使用しており、処理系も複雑になるので、高コストになってしまう。
【０００３】
また特開平１１−８５３８５号公報には、複数の発光体を設置して、複数の発光体の点灯を認識して位置を検出する装置が開示されている。しかし、この位置検出方法では、これらの発光体をタイミングをずらして発光させたりしなければならず、こちらも複雑なシステムになってしまう。また発光体を利用するので明るい場所では位置検出をすることができない。また発光体ではなく黒点などの点を表示しておけば、明るい場所でも検出することはできるが、点であると、ある程度距離が離れるとその点を認識するのが困難となり、比較的近距離での位置検出にしか使用できない。
【０００４】
さらに丸や四角などの図形のパターンをマークに使い、パターンマッチングによりマークを認識して位置を検出する手法も知られている。すなわち、所定の図形のマークをパターンマッチングにより認識し、画面上におけるマークの位置座標と大きさを求めて、これらの値を基に幾何学的な相似関係からマークとカメラとの相対位置座標を計算する。
【０００５】
【発明が解決しようとする課題】
しかしながら、マークとカメラの距離の違いによって画面上におけるマークの大きさが異なるため、マークがどんな大きさであっても認識されるようにするため、大きさの異なる多数のテンプレートを用意する必要があった。例えば図１９に示すように、マーク９０が丸形「●」のパターンであるとき、撮影されたマーク９０が遠近の違いにより大きさがまちまちであっても、それがマーク９０であると確実に認識されるように、同図に示すように種々の大きさの多数のテンプレート９１を用意しておく必要があった。そして、種々の大きさのテンプレート９１の１つずつについてパターンマッチング処理を行い、画像データ中にテンプレート９１と一致したパターンがあると、その位置からマーク９０の位置を算出するとともに、その一致したテンプレート９１の大きさからマーク９０の大きさを認識する。しかし、このようなスケール処理は、多数のテンプレート９１を用意するとともに、テンプレート９１の１つずつについてパターンマッチング処理をする必要があるため、マークを認識するまでにかなり長い処理時間がかかるという問題があった。
【０００６】
例えば米国特許５５８６６２０号には、フォークリフトなどの産業車両の分野において、フォークを高所で位置合わせする操作を支援する目的で、キャリッジにフォーク前方を撮影するカメラを取り付け、カメラで撮影した画像を運転席から表示装置の画面を通して見られるようにした技術が開示されている。
【０００７】
このような技術にさらに位置検出機能を追加することも考えられる。すなわち、例えば棚やパレットに位置検出用のマークを設け、フォーク前方を撮影した画像データを画像認識処理することでマークの位置および大きさを算出し、これらの算出値を基に求めたフォークの目標位置に対するずれ量などの情報を、数値表示や音声アナウンスなどで運転者に知らせる技術を導入する。
【０００８】
この場合、フォークを上昇させるときにカメラも一緒に移動しながら撮影され、画面上で動いてゆくマークを位置検出することになる。しかし、スケール処理に時間がかかり位置検出結果が遅れるタイムラグが生じると、フォークとマークの現実の位置関係と、画像処理上の位置関係がずれてしまう。このような画像処理上の位置関係が現実のものとずれることが原因で、フォークの位置合わせを的確に支援できなくなるという問題が発生する。このため、マークの位置をほぼリアルタイムに検出できるようにするため、スケール処理など処理時間の長くかかる技術を用いなくても、マークを認識できる画像処理技術が必要であった。
【０００９】
本発明は前記課題を解決するためになされたものであって、その目的は、マークの認識処理速度を速くすることができ、位置の検出時間を短くすることができる位置検出方法及び位置検出装置を提供することにある。
【００１０】
第２の目的は、第１の目的を達成するとともに、撮影位置とマークとの実座標系における相対位置を効率よく検出することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、マークをカメラで撮影して得た画像データをパターンマッチング処理することで、前記マークのパターンを画像認識して位置を割り出す位置検出方法であって、前記マークは、連続的に拡大しても常にそのパターンの模様の中に元のサイズのパターンが一つだけ含まれるよう、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつとともに、各々の放射中心間の距離が既知の値に定められた２つの前記パターンを有しており、前記２つのパターンを画像認識して該パターンの各々の放射中心点と該二点間の距離とを算出して、これらの値を基に撮影画面上における前記マークの位置と大きさを割り出すことを要旨とする。
【００１２】
この発明によれば、撮影距離の違いなどにより撮影されたマークの大きさが変わっても、そのパターンの中にはテンプレートと同サイズのパターンが含まれるので、パターンマッチング処理するときに用いるテンプレートが少なく済む。このため、画像認識の処理速度が速くなり、位置検出の処理時間が短縮される。また、既知の距離だけ離れた２つのパターンの位置（放射中心点）とその距離が分かるため、これらの値を基にマークの位置と大きさを求めることが可能となる。
【００１３】
請求項２に記載の発明は、マークをカメラで撮影して得た画像データをパターンマッチング処理することで、前記マークのパターンを画像認識して位置を割り出す位置検出方法であって、前記マークは、連続的に拡大しても常にそのパターンの模様の中に元のサイズのパターンが一つだけ含まれるよう、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつとともに、各々の放射中心間の距離が既知の値に定められた２つの前記パターンを有しており、前記２つのパターンを画像認識して該パターンの各々の放射中心点と該二点間の距離とを算出して、これらの値を基に前記カメラと前記マークの相対位置を算出することを要旨とする。
【００１４】
この発明によれば、撮影距離の違いなどにより撮影されたマークの大きさが変わっても、そのパターンの中にはテンプレートと同サイズのパターンが含まれるので、パターンマッチング処理するときに用いるテンプレートが少なく済む。このため、画像認識の処理速度が速くなり、位置検出の処理時間が短縮される。また、既知の距離だけ離れた２つのパターンの位置（放射中心点）とその距離が分かるため、これらの値を基にカメラとマークの実座標系における相対位置が算出される。
請求項３に記載の発明は、請求項１又は２に記載の位置検出方法において、前記マークは、一点を中心に放射状に真っ直ぐ延びる３本以上の境界線のみによって色分けされたパターンをもつことを要旨とする。
【００１５】
この発明によれば、請求項１又は２の発明の作用に加え、境界線が２本の場合に比べてマーク以外のものをパターンと認識する誤認識が減る。
【００２０】
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の位置検出方法において、前記２つのパターンは、同一の模様であることを要旨とする。
この発明によれば、２つのパターンを認識するのにテンプレートが１つで済む。
【００２１】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の位置検出方法において、前記パターンは、４本以上の偶数本の前記境界線によって前記一点を中心とする周方向に交互に濃淡で色分けされていることを要旨とする。
【００２２】
この発明によれば、パターンがさほど単純ではない模様であることと、濃淡で比較的コントラストがはっきりしたパターンなので、パターン以外のものをパターンと認識する誤認識や、パターンをパターンとして認識できない認識漏れが減る。
【００２３】
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の位置検出方法において、前記パターンマッチング処理で用いられるテンプレートは、前記画像データ上に映し出されるマークが認識されなければならない最小サイズにあるときのそのパターンサイズ以下のサイズに設定されていることを要旨とする。
【００２４】
この発明によれば、認識されなければならないサイズのマークのパターンは全て認識可能となる。
【００３０】
請求項７に記載の発明は、位置検出対象に設けられるとともに２つのパターンを有するマークを撮影する撮影手段と、一点を中心として放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンからなるテンプレートを記憶する記憶手段と、前記マークを撮影手段で撮影して得た画像データを前記テンプレートを用いたパターンマッチング処理することで前記マークの２つのパターンを画像認識する画像認識手段と、前記認識された２つのパターンの各々の放射中心点と両二点間の距離とを算出して前記マークの位置と大きさを割り出す位置演算手段とを備えたことを要旨とする。
【００３１】
この発明によれば、パターンマッチング処理する場合、マークにはテンプレートと同じパターンを有するものが使用される。撮影距離の違いによって撮影されたマークの大きさが変わっても、そのマークの各パターン中にはテンプレートと同じ大きさのパターンが含まれるため、パターンマッチング処理に必要なテンプレートの数が少なく済む。従って、パターンマッチング処理時間が短く済む。また、マークの２つのパターンの放射中心点と両二点間距離とが求められ、これらの値を基にマークの位置と大きさが割り出される。
【００３２】
請求項８に記載の発明は、位置検出対象に設けられるとともに２つのパターンを有するマークを撮影する撮影手段と、一点を中心として放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンからなるテンプレートを記憶する記憶手段と、前記マークを撮影手段で撮影して得た画像データを前記テンプレートを用いたパターンマッチング処理することで前記マークの２つのパターンを画像認識する画像認識手段と、前記認識された２つのパターンの各々の放射中心点と両二点間の距離とを算出して前記マークと撮影位置との相対位置を割り出す位置演算手段とを備えたことを要旨とする。
【００３３】
この発明によれば、パターンマッチング処理する場合、マークにはテンプレートと同じパターンを有するものが使用される。撮影距離の違いによって撮影されたマークの大きさが変わっても、そのマークの各パターン中にはテンプレートと同じ大きさのパターンが含まれるため、パターンマッチング処理に必要なテンプレートの数が少なく済む。従って、パターンマッチング処理時間が短く済む。また、マークの２つのパターンの放射中心点と両二点間距離とが求められ、これらの値を基にマークと撮影位置との相対位置が割り出される。
【００３４】
請求項９に記載の発明は、請求項７又は８に記載の位置検出装置において、前記２つのパターンは、同一のパターンであることを要旨とする。
【００３５】
この発明によれば、２つのパターンを１つのテンプレートで認識することが可能になる。
請求項１０に記載の発明は、請求項７〜９のいずれか一項に記載の位置検出装置において、前記パターンは、４本以上の偶数本の前記境界線によって前記一点を中心とする周方向に交互に濃淡で色分けされていることを要旨とする。なお、ここでいう「濃淡」とは、淡色には白が含まれ、濃色には黒が含まれる。以下の請求項も同様である。
【００３６】
この発明によれば、パターンがさほど単純ではない模様であるので、パターン以外のものをパターンと認識する誤認識が減る。また濃淡の色分けによってコントラストがはっきりするので、マークのパターンを認識できない認識漏れが減る。
【００３７】
請求項１１に記載の発明は、請求項１０に記載の位置検出装置において、前記濃淡の色分けは、黒と白の色分けであることを要旨とする。
この発明によれば、黒と白の色分けによってコントラストがはっきりするので、マークのパターンを認識できない認識漏れが一層減る。
【００３８】
請求項１２に記載の発明は、請求項７〜１１のいずれか一項に記載の位置検出装置において、前記マークが位置検出対象に設けられた状態において、前記パターンは水平線に対し斜めに延びている境界線を有することを要旨とする。
【００３９】
この発明によれば、境界線が水平線に対し斜めに走るため、縦と横のみに走る場合に比べ、パターン以外のものをパターンと認識するの誤認識が減る。
請求項１３に記載の発明は、請求項７〜１２のいずれか一項に記載の位置検出装置において、前記テンプレートは、前記画像データ上に映し出されるマークが認識されなければならない最小サイズにあるときのそのパターンサイズ以下のサイズに設定されている。
【００４０】
この発明によれば、認識されなければならないサイズのマークのパターンは全て認識可能となる。
【００５４】
【発明の実施の形態】
以下、本発明をフォークリフトの位置検出装置に具体化した一実施形態を図面に従って説明する。
【００５５】
図１に示すように、産業車両としてのリーチ型フォークリフトトラック（以下、フォークリフトという）１は、荷役具としてのフォーク２を用いて荷役作業をするために使用される。このフォークリフト１では、車体３の前部から前方へ延出する左右一対のリーチレグ４の先端部に左右の前輪（従動輪）５がそれぞれ取付けられており、後輪である駆動操舵輪６は、車体３に配備されたバッテリ７を電源として駆動される走行用モータ８の動力により走行駆動される。車体３の後部右部分には立席タイプの運転席９が設けられ、ハンドル１０を操作することで駆動操舵輪６は操舵される。
【００５６】
車体３の前側には、荷役装置（マスト装置）１１がリーチシリンダ１２の駆動により左右のリーチレグ４に沿って前後方向に移動（リーチ動作）可能に装備されている。荷役装置１１は多段式（本例では３段式）マスト１３と、左右一対のリフトシリンダ１４（片側のみ図示）とを備え、荷役用のキャリッジ１５はリフトシリンダ１４が駆動されることによりスライド伸縮するマスト１３に沿って昇降する。フォーク２は例えば最高約６メートルまで上昇する。
【００５７】
フォークリフト１には、高所（高揚高範囲）におけるフォーク２の位置合わせ操作を支援する荷役操作支援装置（フォーク位置決め操作支援装置）２０が設けられている。荷役操作支援装置２０は、キャリッジ１５を構成するサイドシフタ１６の前面中央部に縦長に延びた状態に組付けられたカメラ昇降装置２１を備える。カメラ昇降装置２１は、キャリッジ１５の前面中央部に組付けられたハウジング２２内に格納される格納位置と、ハウジング２２の下端から突出する下降位置間を昇降する昇降式のカメラユニット２３を備えている。カメラユニット２３はその下端部に撮影手段としてのＣＣＤカメラ２４を内蔵し、撮影部（レンズ部）２４Ａからフォーク前方の荷役作業エリアの撮影が可能となっている。また格納位置からでも、ハウジング２２の前面下部に形成された撮影窓２２Ａを通してフォーク２の前方の荷役作業エリアをカメラ２４によって撮影できるようになっている。つまりカメラ２４によって格納位置と下降位置の二位置からフォーク２の正面（前方）を撮影できる。サイドシフタ１６は左右に移動可能となっており、そのサイドシフト時はフォーク２とともにカメラ昇降装置２１も一緒に左右にシフトするようになっている。
【００５８】
また、ルーフ２７には運転席９に立つ運転者からよく見える位置に表示装置（液晶ディスプレイ装置（ＬＣＤ））２８が取り付けられている。表示装置２８の画面には、荷役作業時にカメラ２４によって撮影されたフォーク２の前方エリア（棚やパレット）の画像が映し出されるようになっている。
【００５９】
図２に示すように、フォークリフト１が例えば工場内に立設された棚３０に対して荷取りまたは荷置き作業をするときには、まずフォーク２を目標とする格納部３１の高さまで上昇させる。棚３０の格納部３１には荷３２を載置したパレット３３が格納されている。荷取作業時にはフォーク２をパレット３３の差込穴３３Ａに相対するよう位置合わせをする。一方、荷置作業時にはフォーク２を格納部３１の棚面（荷置面）３４Ａの上方所定高さ（棚面３４Ａから例えば１０〜２０ｃｍ上方の高さ）の位置に位置合わせする。本実施形態では、このような高所での荷役作業をする際に、カメラ２４が撮影したフォーク２の前方エリアの画像を表示装置２８の画面上で見られるとともに、その画像データを画像認識処理することによりフォーク２の目標位置に対するずれ量を算出して、フォーク２の位置合わせ作業を支援する。
【００６０】
図３に示すように、本実施形態では、位置検出対象である棚３０またはパレット３３に対するフォーク２の相対位置を求めるため、棚３０とパレット３３には位置合わせの目標とするマークＭ１，Ｍ２が付されている。すなわち、パレット３３の側面（正面）には２つの差込穴３３Ａ間の中央にパレット位置検出用のマークＭ１が貼り付けまたは印刷されている。一方、棚３０の棚部（ビーム）３４にはその正面中央に棚位置検出用のマークＭ２が貼り付けまたは印刷されている。本実施形態では、マークＭ１，Ｍ２は貼付用シート３５でできており、この荷役システムを採用するユーザまたはメーカが、貼付用シート３５を棚３０やパレット３３に貼付して使用する。ここで、パレット３３に付されたマークＭ１と、棚３０に付されたマークＭ２は図形は同じだが、白黒が反転した模様となっている。このマークＭ１，Ｍ２の模様の理由など詳しい内容は後述する。
【００６１】
図４は、カメラ２４で撮影されて表示装置２８の画面２８Ａに表示された画像を示す。画面２８Ａの中央にはマークＭ１，Ｍ２があるべき位置を指す目標マーク３８が表示される。この目標マーク３８がパレット３３に付されたマークＭ１に一致するようフォーク２を移動させることにより、フォーク２は差込穴３３Ａに一致する。一方、この目標マーク３８が棚部３４に付されたマークＭ２に一致するようフォーク２を移動させることにより、フォーク２は荷置きに最適な位置に位置合わせされる。本実施形態では、カメラ２４で撮影された画像データを画像認識処理することで、画像上のマークＭ１，Ｍ２を位置検出する。
【００６２】
図５は、マークとテンプレートを示す。同図（ａ）はパレット位置検出用のマークＭ１を示し、同図（ｃ）は棚位置検出用のマークＭ２を示す。また同図（ｂ）がマークＭ１用のテンプレートＴ１、同図（ｄ）がマークＭ２用のテンプレートＴ２である。
【００６３】
マークＭ１は同じパターンＰ１，Ｐ１を２個並べて構成され、マークＭ２は同じパターンＰ２，Ｐ２を２個並べて構成されている。ここで、マークというのは、同図（ａ），（ｃ）の全体の模様、パターンというのはマークを構成する２つの模様を指す。画像認識処理としてパターンマッチング処理を採用する本実施形態では、パターンマッチング処理で使うテンプレートＴ１，Ｔ２にはパターンＰ１，Ｐ２と同じ模様が使用される。つまりテンプレートＴ１はパターンＰ１と同じ模様を有し、テンプレートＴ２はパターンＰ２と同じ模様を有する。
【００６４】
パターンＰ１，Ｐ２はいずれも正方形の４頂点を対角に結ぶ２本の対角線を境界線とする４つの領域を白と黒で色分けされた模様である。但し、四角形の辺に相当する外形線は模様の一部ではない。この模様を言い換えれば、一点を中心として放射状に真っ直ぐ延びる４本の境界線によって白と黒に色分けされた模様である。パターンＰ１，Ｐ２の境界線はすべて中心（放射中心）を通る直線である。マークＭ１，Ｍ２のパターンＰ１，Ｐ２は、互いに白と黒が反転している模様である。
【００６５】
パターンＰ１，Ｐ２の模様の特徴は、連続的に拡大しても常にそのパターンの中に元のサイズのパターンが含まれる模様である。言い換えれば、模様の大きさが連続的に変わっても中心部分（放射中心部分）のパターンが変化しない模様である。このような特徴をもつパターンＰ１，Ｐ２とテンプレートＴ１，Ｔ２を用いていることから、画面２８Ａ上に映し出されるマークＭ１，Ｍ２のサイズが撮影距離に応じて変化しても、常にその撮影されたパターンＰ１，Ｐ２の中心部分にはテンプレートＴ１，Ｔ２と同じサイズのパターンができる。つまりテンプレートＴ１，Ｔ２と相似な図形でテンプレートＴ１，Ｔ２より大きなものは、その中心部がテンプレートＴ１，Ｔ２そのものと同じパターンである。このため、マークＭ１，Ｍ２がどのようなサイズで映し出されても、マーク１つにつき１つのテンプレートＴ１，Ｔ２を用いたパターンマッチングによりマークＭ１，Ｍ２を認識できることになる。
【００６６】
またパターンＰ１，Ｐ２の模様は、境界線が水平線に対して斜め（この例では４５度）に走っている。例えば工場内には、棚３０の柱や棚面３４Ａ、パレット３３の上面や側面、荷物３２の側面や上面など、縦や横の線（ライン）が比較的多い。しかし、パターンＰ１，Ｐ２の境界線が水平線に対して斜めに走っていることから、この種の縦や横のラインをマークＭ１，Ｍ２と誤認識することをより確実に低く抑えることが可能である。
【００６７】
図８は、マーク１つに１つのテンプレートで済むパターンマッチング処理を説明するものである。同図（ａ）はテンプレートＴ１を示し、同図（ｂ）〜（ｄ）は、カメラとマークの距離に応じて画面上に映し出される種々の大きさのパターンＰ１を示す。同図（ｂ）は標準サイズの５０％の大きさ、同図（ｃ）は標準サイズ、同図（ｄ）は標準サイズの２倍の大きさのそれぞれパターンＰ１を示す。
【００６８】
例えばテンプレートＴ１の大きさを同図（ａ）に示すように標準の５０％の大きさに設定しておく。こうすれば、標準の５０％以上の大きさに映っているマークＭ１を、その大きさが標準より大きくても小さくても全て認識することが可能になる。このため、テンプレートＴ１，Ｔ１の大きさを、マークＭ１，Ｍ２が認識される必要がある最小サイズのときのパターンサイズ（パターンＰ１，Ｐ２の大きさ）以下の大きさに設定しておけば、認識する必要がある大きさのマークＭ１，Ｍ２を全て認識することが可能となる。本実施形態では、荷役作業時に画面上に映し出されるマークの大きさを予測して、上記の点を考慮してテンプレートＴ１，Ｔ２の大きさが設定してある。
【００６９】
図８に示すようなパターンＰ１は、１つのテンプレートＴ１を用いたパターンマッチング処理により認識されるので、画面２８Ａの画像データ上（画面座標系）においてパターンＰ１の中心（放射中心）の位置（座標）を計算できる。これによりパターンＰ１の位置を検出することが可能である。但し、パターン１つでは、パターンの位置は分かるがその大きさまでは分からない。そのため、本実施形態では、図５に示したように２つのパターンＰ１，Ｐ１（Ｐ２，Ｐ２）を配置したマークＭ１，Ｍ２を採用し、２つのパターンの各位置（座標）を基にマークの位置および大きさ、さらにはマークとカメラとの相対位置関係を求めるようにしている。本実施形態では、マークの位置・大きさと、マークとカメラの相対位置関係とを求めるため、２つのパターンＰ１，Ｐ１の位置（中心座標）とこの二点間の距離とを求めるようにしている。
【００７０】
図７は画面上に設定された画面座標系を示す。画面座標系では座標を画素の単位で取り扱い、同図におけるＨは画面２８Ａの横方向画素数であり、Ｖは画面２８Ａの縦方向画素数である。同図に示すような画面上の画像データに対しテンプレートＴ１を用いてパターンマッチング処理をする。そしてマークＭ１の重心（Ｉ，Ｊ）とパターンの中心間距離Ｄを求める。
【００７１】
まず図９を用いてマークの位置および大きさを求める処理方法を説明する。同図（ａ）に示すようにパターンＰ１を２個並べたマークＭ１であるため、マークＭ１中の２箇所でマッチングし、２つのパターンＰ１，Ｐ１の各中心座標が計算される。この２点の座標が決まると、同図（ｂ）に示すようにパターンＰ１，Ｐ１の中心間距離Ｄを計算する。距離Ｄが分かると同図（ｃ）に示すようにマークＭ１の大きさを計算できる。本実施形態では、パターンＰ１が正方形（但し辺無し）であり、これを２つ並べたものがマークＭ１であることから、パターン中心間距離Ｄを用いて、マークＭ１の大きさは縦Ｄ、横２Ｄと計算できる。また２つのパターンＰ１，Ｐ１の中心座標を基にマークＭ１の重心座標（Ｉ，Ｊ）を計算する。本実施形態では、算出されたマークＭ１の位置および大きさのデータを基に画面２８Ａ上に表示されているマークＭ１に輪郭線を強調する表示処理を施し、認識中のマークＭ１を運転者に視覚的に知らせる手法を採用している。
【００７２】
また本実施形態では、フォーク２の操作を支援するためにフォーク２の位置合わせ目標位置に対するずれ量を算出し、フォーク１を自動で位置合わせするフォーク位置決め制御を採用している。この場合、画面座標系だけでなくカメラ２４とマークＭとの実座標系の相対位置座標を計算する必要がある。本実施形態では、図６に示すような実座標系の３次元座標を想定している。すなわち、マークＭの重心を原点Ｏとし、マークＭに垂直な方向でカメラ２４と逆の向きにＸ軸、Ｘ軸を水平面内で反時計回りに９０度回転した方向にＹ軸、鉛直方向にＺ軸をとる。そしてこの実座標系でカメラ２４の相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を求め、この相対座標を基にフォーク２の位置ずれ量を算出する。
【００７３】
相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を求めるために、図７に示す画面座標系において計算したマークＭ１の重心座標（Ｉ，Ｊ）とパターンＰ１，Ｐ１の中心間距離Ｄを使用する。そして画面座標系の座標（Ｉ，Ｊ）と距離Ｄの値を用いて、幾何変換を行って実座標系の相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を計算する。この計算方法については後述する。
【００７４】
次に、荷役操作支援装置２０の電気的構成を説明する。
図１０に示すように、荷役操作支援装置２０はコントローラ４０を備える。
コントローラ４０は、カメラ昇降制御部４１，画像制御部４２、荷役制御部４３、駆動回路４４，４５を備えている。
【００７５】
カメラ昇降制御部４１には、電動アクチュエータ４７、上限位置検知スイッチ４８，下限位置検知スイッチ４９が電気的に接続されている。カメラ昇降制御部４１は、荷役制御部４３からの起動の指示に基づき電動アクチュエータ４７の制御を行う。上限位置検知スイッチ４８はカメラユニット２３が上限位置に達したことを検知するもので、下限位置検知スイッチ４９はカメラユニット２３が下限位置に達したことを検知するものである。各位置検知スイッチ４８，４９によって、カメラユニット２３の上限エンドと下限エンドが検知されたときに、電動アクチュエータ４７の駆動が停止される。
【００７６】
ＣＣＤカメラ２４からの映像信号（画像信号）は、画像制御部４２に入力される。画像制御部４２は、画像生成部５０および画像処理部５１を備える。画像生成部５０は映像信号から画像データを生成して表示装置２８の画面２８Ａに撮影画像を表示させる。また画像制御部４２は、音声アナウンスなどのための音声合成処理を行ってスピーカ５３に音声信号を出力する。また画像処理部５１には画像生成部５０から画像データが入力される。
【００７７】
画像処理部５１は、画像生成部５０で生成された画像データを基に画像上のマークＭ１，Ｍ２の位置を割り出す画像認識処理と、その認識結果に基づきフォーク２の自動位置制御に必要な画面座標系のデータを計算する演算処理を行う。画像処理部５１は、画像認識手段としての画像認識処理部５５、記憶手段としてのテンプレート記憶部５６および画像演算部５７を備えている。
【００７８】
画像認識処理部５５はパターンマッチング処理による画像認識処理を行う。テンプレート記憶部５６には、パターンマッチング処理に使用するテンプレートＴ１，Ｔ２のデータが記憶されている。本実施形態では、図５（ｂ），（ｄ）に示すテンプレートＴ１，Ｔ２が記憶されている。画像認識処理部５５は、画像データ上にテンプレートＴ１（Ｔ２）と一致するパターンがあるかどうかを調べるパターンマッチング処理を行い、テンプレートＴ１（Ｔ２）と一致するパターンがあればそれをマークＭ１（Ｍ２）のパターンＰ１（Ｐ２）と認識する。画像演算部５７は、画像認識されることでパターンＰ１（Ｐ２）の位置が決まると、それぞれの位置座標（Ｉ1，Ｊ1），（Ｉ2，Ｊ2）を基に、マークＭ１（Ｍ２）に関する重心座標（Ｉ，Ｊ）と中心間距離Ｄを計算する。画像処理部５１の処理内容については後述する。
【００７９】
荷役制御部４３には、荷役用の各レバー６１〜６４の操作を検知する各センサ６５〜６８、操作ボタンスイッチ６９、揚高センサ７０および荷重センサ７１が電気的に接続されている。また荷役制御部４３は、駆動回路４４を介して荷役モータ７２、各種電磁比例弁７３〜７６のソレノイドと電気的に接続されている。各種電磁比例弁７３〜７６は、オイルコントロールバルブ７７に組付けられており、これらが比例制御されることにより荷役系の油圧制御が行われる。荷役モータ７２は荷役ポンプ（油圧ポンプ）７８を駆動するためのもので、荷役ポンプ７８の駆動によってオイルコントロールバルブ７７に作動油を供給する。荷役制御部４３は、各センサ６５〜６８からの信号を基に電磁比例弁７３〜７６の電流値制御と荷役モータ７２の駆動制御を行う。各レバー６１〜６４の操作に応じてそれぞれ対応するシリンダ１２，１４，７９，８０が駆動され、フォーク２の昇降操作、リーチ操作、サイドシフト操作、ティルト操作が可能となっている。
【００８０】
荷役制御部４３は、フォーク位置決め制御実行中においては画像処理部５１からのデータを基にリフト用電磁比例弁７３とサイドシフト用電磁比例弁７５を電流値制御して、リフトシリンダ１４とサイドシフトシリンダ７９を駆動制御する。荷役制御部４３は、このフォーク位置決め制御のために、相対座標算出部８１、制御量算出部８２、制御量指令部８３および荷役駆動制御部８４を備えている。相対座標算出部８１は、画像演算部５７で算出されたデータを基にマークＭを原点とする実座標系におけるカメラ２４の相対位置座標（Ｘｃ，Ｙｃ，Ｚｃ）を計算する。制御量算出部８２は相対位置座標（Ｘｃ，Ｙｃ，Ｚｃ）から制御量を求める。制御量指令部８３は荷役駆動制御部８４に制御量を指令する。荷役駆動制御部８４は、制御量の指令を受けると駆動回路４４を介してリフト用電磁比例弁７３とサイドシフト用電磁比例弁７５を電流値制御して、フォーク２の位置合わせに必要なその制御量だけリフトシリンダ１４とサイドシフトシリンダ７９を駆動制御する。なお、各制御部４１，４２，４３は、マイクロコンピュータおよびメモリ（ＲＯＭ）等に格納されたプログラムデータによって構成される。また、画像演算部５７及び相対座標算出部８１により位置演算手段が構成される。
【００８１】
操作ボタンスイッチ６９は、例えばリフトレバー６１のノブに設けられ、フォーク位置決め制御を行うときに運転者が操作するものである。荷役制御部４３は、操作ボタンスイッチ６９が操作された操作信号を入力すると起動準備モードに入る。本実施形態では、フォーク２が設定揚高（例えば約２メートル）以上の高さにあるときに限り、フォーク位置決め制御が行われるように設定されている。この起動準備モードに入った後、荷役制御部４３は、揚高センサ７０の検出値から分かるフォーク２の揚高を基にカメラ昇降制御部４１を起動させるかどうかを判断する。揚高センサ７０の検出値に基づきフォーク２の検出揚高が設定揚高以上にあるときだけフォーク位置決め制御の実行モード（自動位置決めモード）に入る。つまり、揚高が設定高さ以上であるときがカメラ昇降制御部４１の起動条件となる。
【００８２】
そして起動条件成立後、荷重センサ７１の検出値から分かるフォーク２上の荷重（積載重量）を基に起動させるときの荷役モードを判断する。ところで、本実施形態では、荷役モードとして荷取モードと荷置モードを用意し、そのモードに応じてカメラユニット２３の昇降位置（撮影位置）を切り替えるようにしている。つまり、フォーク２上に荷の無い荷取り時は、カメラユニット２３が格納位置に保持されたままでも撮影できるが、フォーク２上に荷がある荷置き時は荷が撮影の邪魔になるため、カメラユニット２３を下降位置に配置させるようにしている。荷取モードか荷置モードかは、荷重センサ７１の検出信号を基にフォーク２上の荷の有無から判断する。荷役制御部４３は、フォーク２上に荷が無いと判断したときは荷取モードを設定し、フォーク２上に荷があると判断したときは荷置モードを設定する。
【００８３】
カメラ昇降制御部４１は、荷役制御部４３からの起動の指示に従って電動アクチュエータ４７を制御し、荷取りモードでの起動の指示を受けたときはカメラユニット２３を格納位置に配置された状態に保持する。一方、荷置きモードでの起動の指示を受けたときは電動アクチュエータ４７を駆動させてカメラユニット２３を下降位置に配置する。
【００８４】
また荷役制御部４３は、操作ボタンスイッチ６９の操作を検知して起動準備モードに入ると、その旨を画像制御部４２に伝える。画像処理部５１では、荷取モードであればパレット位置検出用のマークＭ１を認識対象とし、荷置モードであれば棚位置検出用のマークＭ２を認識対象とする画像認識処理を実行する。つまり画像処理部５１は、パターンマッチング処理時に、荷取モードであればテンプレートＴ１を使用し、荷置モードであればテンプレートＴ２を使用する。
【００８５】
図１２は、画像認識処理からフォーク位置制御までの制御処理の流れを説明するものである。
まず画像データを取得すると、画像認識処理部５５がテンプレート記憶部５６からテンプレートＴを読み出してパターンマッチング処理を行う。画像演算部５７は、画像認識処理部５５で認識されたパターンの位置を基にマークＭの重心座標（Ｉ，Ｊ）とパターン中心間距離Ｄを画面座標系（画素レベル）で算出する。ここで算出されたデータＩ，Ｊ，Ｄは、相対座標算出部８１に送られる。
【００８６】
相対座標算出部８１は、データＩ，Ｊ，Ｄを基に、実座標系におけるカメラ２４の相対座標ＯＣ（Ｘc,Ｙc,Ｚc) を算出する。ここで、図１１に示すように、カメラ位置Ｃ、フォーク位置Ｆ、パレット位置Ｐ、マーク重心位置（原点）Ｏとすると、ベクトルＦＰ＝ベクトルＯＰ−ベクトルＯＣ−ベクトルＣＦの関係にあり、ベクトルＣＦ，ＯＰは既知情報である。制御量算出部８２は、既知情報（ベクトルＣＦ，ＯＰ）を用いてベクトルＦＰを求める。
【００８７】
そして、制御量指令部８３は、ベクトルＦＰが「０」になるような制御量指令値を荷役駆動制御部８４に送る。但し、本実施形態では、フォーク２の上下方向および左右方向についてのみ自動位置制御をすることとしており、前後方向（リーチ方向）については運転者の操作に任せている。このため、制御量指令部８３は、ベクトルＦＰのうちＹＺ成分を「０」とするよう算出したフォーク２の上下方向および左右方向の各シフト量を制御量指令値として荷役駆動制御部８４に出力する。荷役駆動制御部８４はこの制御量指令値を基に駆動回路４４を介してリフトシリンダ１４およびサイドシフトシリンダ７９を駆動制御する。これによりフォーク２は上下方向および左右方向については自動で位置合わせされる。この結果、フォーク２は荷取モードの際はパレット３３の差込穴３３Ａに位置決めされ、荷置モードの際は棚面３４Ａから所定距離上方の目標位置に位置合わせされる。なお、フォーク２のリーチ動作も自動制御で行ってもよい。
【００８８】
次に、Ｉ，Ｊ，Ｄ値からカメラ２４とマークＭ１の相対位置座標（Ｘc，Ｙc，Ｚc）を算出する計算方法について説明する。
図１３は、実座標系でカメラとマークを上から見た図を示す。また図１４は、実座標系と画面座標系について相似関係にあることを示す。同図左側がＹＺ平面内で、カメラ２４に映っている部分を示したもので、同図右側が実際にカメラ２４に映っている画像のＩＪ平面を示す。像の歪みを考慮しなければ、これらの２つの像は相似関係にある。
【００８９】
表１は、実座標系と画面座標系の相似関係を示したものである。
【００９０】
【表１】
【００９１】
表１の相似関係を用いれば、カメラの座標（Ｘc，Ｙc，Ｚc）は次式より算出される。
Ｘc＝−Ｌ＝−Ｈｄ／（２Ｄtanα）
Ｙc＝ｄ／Ｄ（Ｉ−Ｈ／２）
Ｚc＝ｄ／Ｄ（Ｊ−Ｖ／２）
ここで、Ｈ，Ｖ，α，ｄ値は既知の値であるため、Ｉ，Ｊ，Ｄ値を算出すれば、座標（Ｘｃ，Ｙｃ，Ｚｃ）が求まる。
【００９２】
次に図１５を用いて、マーク平面（ＹＺ平面）内でのマーク回転角θを計算する方法を説明する。まず画像処理によりマークＭ１内に２つあるパターンＰ１，Ｐ１の中心座標（Ｉ1，Ｊ1）と（Ｉ2，Ｊ2）が求まる。次にパターンＰ１、Ｐ１の中心座標を用いて次の関係式が成り立つ。すなわち、tanθ＝[（Ｊ2−Ｊ1）／（Ｉ2−Ｉ1）] である。この関係式を用いてマークＭ１の回転角θを求める。
【００９３】
ここで、たとえフォーク２が正規の位置に位置合わせされても、車体の姿勢に対しパレット３３が僅か（２，３度）に傾いているだけでフォーク２はパレット３３の差込穴３３Ａに差し込まれない。本実施形態では、このような理由からフォーク２の上下方向と左右方向の位置制御は自動で行うが、パレット３３の差込穴３３Ａにフォーク２を挿入する最後のリーチ動作は運転者自身が判断して操作するようにしている。このようにパレット３３が僅か（２，３度）に傾いているときには、画面２８Ａ上の表示や音声アナウンスによってその旨を運転者に報知する。
【００９４】
この実施の形態では、以下の効果が得られる。
（１）パターンを連続的に拡大しても常にそのパターンの中に元のサイズのパターンが含まれることになる模様をパターンとするテンプレートＴ１，Ｔ２を採用した。そして、テンプレートＴ１，Ｔ２と同じ模様のパターンをマークＭ１，Ｍ２に採用した。このため、撮影画像上のマークＭ１（Ｍ２）の大きさが遠近の違いによって変化しても、その大きさの異なるパターンＰ１（Ｐ２）を１つのテンプレートＴ１（Ｔ２）によって認識することができる。従って、パターンＰ１（Ｐ２）を認識する処理時間がかなり短縮される。この結果、パターンＰ１（Ｐ２）の位置を短時間で割り出すことができる。
【００９５】
（２）マークＭ１（Ｍ２）を２つのパターンＰ１（Ｐ２）を並べて形成し、パターンＰ１，Ｐ１（Ｐ２，Ｐ２）の中心間距離Ｄを算出するようにしたので、画面上におけるマークＭ１（Ｍ２）の位置だけでなくマークＭ１（Ｍ２）の大きさも検出することができる。
【００９６】
（３）マークＭ１（Ｍ２）を２つのパターンＰ１（Ｐ２）を並べて形成し、パターンＰ１，Ｐ１（Ｐ２，Ｐ２）の中心間距離Ｄを算出するようにしたので、マークＭ１（Ｍ２）とカメラ２４との実座標系の３次元相対位置座標（Ｘc，Ｙc，Ｚc）を求めることができる。よって、フォーク２とパレット３３の差込穴３３Ａまたは棚面３４Ａから所定距離上方の目標位置との位置ずれ量を求めることができる。これによりフォーク２の目標位置に対する位置合わせを支援する自動制御をすることができる。
【００９７】
（４）また２つのパターンＰ１、Ｐ１（Ｐ２，Ｐ２）の各中心座標を使ってマークＭ１（Ｍ２）の傾き（回転角）θを検出することもできる。よって、フォークリフト１の車体３が左右に傾いていたり、パレット３３が傾いていたときには、フォーク２をパレット３３の差込穴３３Ａに差し込むことができない旨の警告を運転者に発することができる。
【００９８】
（５）マークＭ１，Ｍ２を構成するパターンＰ１，Ｐ２は、一点を中心として放射状に真っ直ぐ延びる複数本の境界線によって色分けされた模様からなる。よって、撮影されたマークの撮影画像上の大きさが遠近の違いによって変化しても、そのパターンＰ１（Ｐ２）の位置を１つのテンプレートＴ１（Ｔ２）によって認識することができ、パターンＰ１（Ｐ２）を認識する処理時間がかなり短縮される。また、パターンＰ１，Ｐ２は、一点を中心とする周方向に交互に白と黒の配色を付したので、コントラストがはっきりしてパターン以外のものをパターンと誤認識したり、パターンが認識されない認識漏れが減る。
【００９９】
（６）パターンＰ１，Ｐ２は、一点を中心として放射状に真っ直ぐ延びた４本の境界線によって色分けされた模様である。このようにパターンＰ１，Ｐ２は、例えば２本の境界線で色分けされた模様に比べ比較的複雑な図形となるため、工場内に存在する他の図形をマークと誤検出することが減る。
【０１００】
（７）マークＭ１（Ｍ２）は、同一のパターンＰ１（Ｐ２）を２つ並べて形成されている。よって、２つのパターンＰ１（Ｐ２）を共通の１つのテンプレートＴ１（Ｔ２）により認識できるので、マークＭ１（Ｍ２）１つにつき１つのテンプレートＴ１（Ｔ２）を用意するだけで済む。
【０１０１】
（８）テンプレートＴ１，Ｔ２は、画像データ上に映し出されるマークＭ１，Ｍ２が認識されなければならない最小サイズにあるときのパターンサイズ以下のサイズに設定されている。よって、マークＭ１（Ｍ２）とカメラ２４の距離によって撮影画像上のマークＭ１（Ｍ２）の大きさが変化しても、その際に最も小さなマークサイズに合わせてテンプレートＴ１，Ｔ２のサイズを設定しているので、マークＭ１（Ｍ２）１つにつきテンプレートＴ１（Ｔ２）が１つで済む。
【０１０２】
（９）マークＭ１，Ｍ２をパレット３３または棚３０に付した状態において、パターンＰ１，Ｐ２の境界線が水平線に対し斜めに延びるような模様のパターンＰ１，Ｐ２を採用したので、工場内に比較的多くある縦や横の線をマークＭ１，Ｍ２と誤検出する恐れをより確実に抑えることができる。
【０１０３】
なお、実施の形態は上記に限定されず、次の態様で実施することもできる。
○ ２つのパターンＰ１，Ｐ１（Ｐ２，Ｐ２）を横に並べる構成に限定されない。例えば図１６に示すように、パターンＰ１，Ｐ２を縦方向に２つずつ並べてマークＭ３，Ｍ４を構成することもできる。マークが付される箇所の形状や種々の制限などにより縦長の方が都合がよい場合には同図のようなパターン配列をとることが好ましい。
【０１０４】
○ パターンは前記実施形態の模様に限定されない。例えば図１７に示すようなパターンＰ５〜Ｐ１０を持つマークＭ５〜Ｍ１０を採用することができる。これらどのパターンも、連続的に拡大しても常にそのパターンの中に元のサイズのパターンが含まれる模様である。言い換えれば、パターンの大きさが連続的に変わっても中心部分のパターンが変化しない模様である。さらに詳しくは、一点を中心として放射状に真っ直ぐ延びる複数本の境界線によって色分けされた模様である。これらの例では色分けは黒と白の二色である。同図（ａ），（ｂ）は、４本の境界線によって白と黒に色分けされている。外形形状が（ａ）は四角形、（ｂ）は丸形である。同図（Ｃ）は、外形が四角形で、８本の境界線によって白と黒に色分けされている。同図（ｄ）は外形が六角形で、６本の境界線によって白と黒に色分けされている。同図（ｅ）は外形が丸形で、４本の境界線によって白と黒に色分けされている。境界線が水平面に対して斜め（この例では４５度）に走っている。同図（ｆ）は外形が四角形で、４本の境界線によって白と黒に色分けされている。境界線は四角形の対角線を少し回転させた傾きとなっている。同図（ｃ），（ｄ），（ｅ），（ｆ）は、境界線が水平線に対して斜めに走っているので、縦や横の線（ライン）が比較的多い工場内で、パターン以外のものをパターンと誤認識してしまう不都合を一層確実に抑えることができる。よって、位置検出の精度を上げることができる。同図では各マークはパターンを横方向に２つ並ぶ構成であるが、もちろん縦方向に２つ並ぶ構成でもよい。またテンプレートＴ５〜Ｔ１０は、前記実施形態と同様に認識しなければならない最小サイズ以下のサイズに設定され、例えば標準サイズの５０％サイズに設定してある。
【０１０５】
○ マークを構成する２つのパターンは隣接していることに限定されない。例えば図１８に示すように２つのパターンＰ１，Ｐ１を離して配置することもできる。２つのパターンの中心間距離（放射中心間距離）を一定（既知の値）に設定しておけば、座標（Ｘｃ，Ｙｃ，Ｚｃ）は計算できる。例えばパターンを２つ並べたサイズのマークを貼るだけの十分なスペースを確保できない場合、このようにパターンを分離配置することでパターンのサイズを小さくせずに済ませられ、例えばマークの認識可能な距離を長く設定することができる。
【０１０６】
○ １つのマークにつきテンプレートは１つに限定されない。例えば標準サイズと、標準サイズの５０％の２つ用意しても構わない。テンプレートを複数用意しても、従来技術で述べたスケール処理に比べテンプレート数は少なく済むので、認識処理時間は短縮できる。もちろん、テンプレートの数は３つ、４つ、５つ以上でも構わない。
【０１０７】
○ 境界線は３本でもよい。白と黒など２色の色分けはできないが、３色の色分けはすることができる。例えば白、黒、灰の３色でもよい。またカラー画像であれば、なるべく色調の異なる３色を適宜使用できる。
【０１０８】
○ 境界線は２本でもよい。境界線が２本であってもその２本のなす角度が１８０°以外であれば、中心点（放射中心点）が特定され、画像認識をすることはできる。白と黒の二色の色分けも可能である。
【０１０９】
○ 前記実施形態では２色で色分けしたが、色分けは２色に限定されない。３色、４色、５色以上であっても構わない。３色以上であっても色の違いを認識できる色の組合せであればパターンを認識することはできる。
【０１１０】
○ マークの２つのパターンは同一であることに限定されない。２つのパターンは模様が異なるものであっても構わない。この場合、１つのマークの認識に２つのテンプレートを用意する必要があるが、スケール処理に比べれば処理速度を短くすることはできる。また同じ模様で異なるサイズの２つのパターンを設けてもよい。
【０１１１】
○ 前記実施形態では、境界線が一点で交わるパターンの中心をパターンの位置座標として計算したが、パターンの位置座標はパターンの中心である必要はない。一点を中心として放射状に真っ直ぐ延びる境界線の放射中心であればよい。例えば放射中心がパターンの中心からずれていても構わない。放射中心座標であれば、パターンの大きさが撮影距離に応じて変化しても、パターンの位置を正確に算出することができる。
【０１１２】
○ マークの位置はその重心座標に限定されず、２つのパターンの中心座標のうち一方をそのままマークの位置座標として採用しても構わない。
○ マークは位置検出対象に付されていることに限定されない。位置検出対象と既知の所定位置関係にあるものにマークを付せば、位置検出対象を位置検出することはできる。前記実施形態では、パレットに付されたマークを位置検出することによりパレットを検出し、棚に付されたマークを位置検出することにより棚面上方の所定位置を検出するようにした。これとは逆に、パレットに付されたマークを位置検出することにより棚面上方位置を検出し、棚に付されたマークを位置検出することによりパレットを位置検出するようにしてもよい。パレットの棚面上における左右方向の位置のばらつきが許容される範囲であればこのような構成も可能である。
【０１１３】
○ 前記実施形態では、マークとカメラの距離が変わることが前提であるため、２つのパターンを並べたマークを採用していたが、例えばマークとカメラの距離が一定（固定）である場合は、パターン１つのマークを採用し、実座標系におけるマークとカメラとの相対位置を検出するようにしてもよい。例えば位置検出対象が列状に並んでいるその列に沿って一定距離を保ったままカメラを移動させてマークを位置検出する場合、あるいはこの逆で固定したカメラから一定距離離れた撮影域を通過する位置検出対象を位置検出する場合が挙げられる。また、例えば距離センサを用いてカメラと位置検出対象（例えば棚やパレット）との距離を得るようにすれば、マークとカメラとの実座標系の相対位置座標を求めることができる。
【０１１４】
○ 産業車両はリーチ型フォークに限定されない。カウンタバランス型フォークリフトでもよい。また荷役用のマストを備えたフォークリフト以外の産業車両であってもよい。無人フォークリフトに採用することもできる。さらに無人搬送車に適用してもよい。また産業車両や荷役システム以外の分野で、位置検出方法または位置検出装置を使用しても構わない。
【０１１５】
前記実施形態及び別例等から把握される技術的思想を、以下に記載する。
（１）前記マークは前記パターンを１つだけ有し、該１つのパターンを画像認識して該パターンに一義的に定まる点の位置を撮影画面上における前記マークの位置として割り出す。
【０１１６】
（２）前記マークは前記パターンを２つ有し、該２つのパターンを画像認識して該２つのパターンごとに一義的に定まる各点とこの二点間の距離とを求め、これらの値を基に前記カメラと前記マークの相対位置を算出する。
【０１１７】
（３）前記位置検出方法は、産業車両における位置検出において用いられる。
（４）前記テンプレートは、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつ。
【０１１８】
（５）前記境界線の本数は３本以上である。
（６）前記境界線が一点で交わる交点は前記パターンのほぼ中心に位置する。
【０１１９】
（７）前記位置検出装置は、産業車両における位置検出において用いられる。
（８）前記パレットと、前記前記棚と、前記産業車両とを備えた荷役システム。
【０１２０】
（９）前記パレットに付されたマークのパターンと、前記棚に付されたマークのパターンは、共に黒と白の二色からなるパターンで、互いに白と黒が反転したパターンである。
【０１２１】
【発明の効果】
以上詳述したように各請求項の発明によれば、マークのパターンの認識処理速度を速くすることができ、位置検出の処理時間を短くすることができる。
【０１２２】
請求項２〜６及び８〜１３の発明によれば、さらに撮影位置とマークとの実座標系における相対位置を効率よく検出することができる。
【図面の簡単な説明】
【図１】 一実施形態におけるフォークリフトの斜視図。
【図２】 棚に対する荷役作業の様子を示す側面図。
【図３】 格納部の正面図。
【図４】 画面図。
【図５】 マークとテンプレートを示す正面図。
【図６】 実座標系を説明する斜視図。
【図７】 画面座標系を説明する画面図。
【図８】 テンプレートの説明図。
【図９】 位置検出手法を説明する説明図。
【図１０】 荷役操作支援装置の電気的構成を示すブロック図。
【図１１】 位置制御方法を説明する説明図。
【図１２】 位置制御方法の処理の流れを説明する説明図。
【図１３】 実座標系を説明する平面図
【図１４】 実座標系と画面座標系の相似関係を示す説明図。
【図１５】 回転角の算出方法を説明する画面図。
【図１６】 別例のマークを示す正面図。
【図１７】 図１６と異なる別例の正面図。
【図１８】 別例のマークを付した棚とパレットの正面図。
【図１９】 従来のパターンマッチング処理の説明図。
【符号の説明】
１…産業車両としてのフォークリフト、２…荷役具としてのフォーク、３…車体、１１…荷役装置、１３…マスト、１５…キャリッジ、２３…カメラユニット、２４…撮影手段としてのカメラ、２８…表示装置、２８Ａ…画面、３０…位置検出対象としての棚、３３…位置検出対象としてのパレット、４０…コントローラ、５０…画像生成部、５１…画像処理部、５５…画像認識手段としての画像認識処理部、５６…記憶手段としてのテンプレート記憶部、５７…位置演算手段を構成する画像演算部、８１…位置演算手段を構成する相対座標算出部、Ｍ１〜Ｍ１０…マーク、Ｐ１〜Ｐ１０…パターン、Ｔ１，Ｔ２…テンプレート、Ｄ…放射中心間の距離としての中心間距離。
Claims (13)
- マークをカメラで撮影して得た画像データをパターンマッチング処理することで、前記マークのパターンを画像認識して位置を割り出す位置検出方法であって、
前記マークは、連続的に拡大しても常にそのパターンの模様の中に元のサイズのパターンが一つだけ含まれるよう、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつとともに、各々の放射中心間の距離が既知の値に定められた２つの前記パターンを有しており、
前記２つのパターンを画像認識して該パターンの各々の放射中心点と該二点間の距離とを算出して、これらの値を基に撮影画面上における前記マークの位置と大きさを割り出すことを特徴とする位置検出方法。 - マークをカメラで撮影して得た画像データをパターンマッチング処理することで、前記マークのパターンを画像認識して位置を割り出す位置検出方法であって、
前記マークは、連続的に拡大しても常にそのパターンの模様の中に元のサイズのパターンが一つだけ含まれるよう、一点を中心に放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンをもつとともに、各々の放射中心間の距離が既知の値に定められた２つの前記パターンを有しており、
前記２つのパターンを画像認識して該パターンの各々の放射中心点と該二点間の距離とを算出して、これらの値を基に前記カメラと前記マークの相対位置を算出することを特徴とする位置検出方法。 - 請求項１又は２に記載の位置検出方法において、
前記マークは、一点を中心に放射状に真っ直ぐ延びる３本以上の境界線のみによって色分けされたパターンをもつ位置検出方法。 - 請求項１〜３のいずれか一項に記載の位置検出方法において、
前記２つのパターンは、同一の模様である位置検出方法。 - 請求項１〜４のいずれか一項に記載の位置検出方法において、
前記パターンは、４本以上の偶数本の前記境界線によって前記一点を中心とする周方向に交互に濃淡で色分けされている位置検出方法。 - 請求項１〜５のいずれか一項に記載の位置検出方法において、
前記パターンマッチング処理で用いられるテンプレートは、前記画像データ上に映し出されるマークが認識されなければならない最小サイズにあるときのそのパターンサイズ以下のサイズに設定されている位置検出方法。 - 位置検出対象に設けられるとともに２つのパターンを有するマークを撮影する撮影手段と、
一点を中心として放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンからなるテンプレートを記憶する記憶手段と、
前記マークを前記撮影手段で撮影して得た画像データを前記テンプレートを用いたパターンマッチング処理することで前記マークの２つのパターンを画像認識する画像認識手段と、
前記認識された２つのパターンの各々の放射中心点と両二点間の距離とを算出して前記マークの位置と大きさを割り出す位置演算手段と
を備えた位置検出装置。 - 位置検出対象に設けられるとともに２つのパターンを有するマークを撮影する撮影手段と、
一点を中心として放射状に真っ直ぐ延びる複数本の境界線のみによって色分けされたパターンからなるテンプレートを記憶する記憶手段と、
前記マークを前記撮影手段で撮影して得た画像データを前記テンプレートを用いたパターンマッチング処理することで前記マークの２つのパターンを画像認識する画像認識手段と、
前記認識された２つのパターンの各々の放射中心点と両二点間の距離とを算出して前記マークと撮影位置との相対位置を割り出す位置演算手段と
を備えた位置検出装置。 - 請求項７又は８に記載の位置検出装置において、
前記２つのパターンは、同一のパターンである位置検出装置。 - 請求項７〜９のいずれか一項に記載の位置検出装置において、
前記パターンは、４本以上の偶数本の前記境界線によって前記一点を中心とする周方向に交互に濃淡で色分けされている位置検出装置。 - 請求項１０に記載の位置検出装置において、
前記濃淡の色分けは、黒と白の色分けである位置検出装置。 - 請求項７〜１１のいずれか一項に記載の位置検出装置において、
前記マークが位置検出対象に設けられた状態において、前記パターンは水平線に対し斜めに延びている境界線を有する位置検出装置。 - 請求項７〜１２のいずれか一項に記載の位置検出装置において、
前記テンプレートは、前記画像データ上に映し出されるマークが認識されなければならない最小サイズにあるときのそのパターンサイズ以下のサイズに設定されている位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212095A JP3921968B2 (ja) | 2001-07-12 | 2001-07-12 | 位置検出方法及び位置検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212095A JP3921968B2 (ja) | 2001-07-12 | 2001-07-12 | 位置検出方法及び位置検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003028614A JP2003028614A (ja) | 2003-01-29 |
| JP3921968B2 true JP3921968B2 (ja) | 2007-05-30 |
Family
ID=19047306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001212095A Expired - Lifetime JP3921968B2 (ja) | 2001-07-12 | 2001-07-12 | 位置検出方法及び位置検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3921968B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110127569A (zh) * | 2019-04-08 | 2019-08-16 | 国以贤智能科技（上海）有限公司 | 视觉找孔的方法及叉车 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2707912C (en) | 2007-12-03 | 2016-01-05 | Shimane Prefectural Government | Image recognition device and image recognition method |
| JP4418841B2 (ja) | 2008-01-24 | 2010-02-24 | キヤノン株式会社 | 作業装置及びその校正方法 |
| JP2010189130A (ja) * | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | フォークリフトの荷役支援装置 |
| JP5278352B2 (ja) * | 2010-02-26 | 2013-09-04 | 株式会社デンソー | 車両用画像処理装置 |
| KR101415975B1 (ko) | 2012-07-19 | 2014-07-04 | 한국콘베어공업주식회사 | 포크리프트의 포크 자동 제어장치 및 제어방법 |
| US11455737B2 (en) | 2012-12-06 | 2022-09-27 | The Boeing Company | Multiple-scale digital image correlation pattern and measurement |
| CN103148783B (zh) * | 2013-03-06 | 2016-03-02 | 江南大学 | 一种气门摇臂安装位置的自动检测方法 |
| JP5858447B2 (ja) * | 2014-05-29 | 2016-02-10 | ニチユ三菱フォークリフト株式会社 | ピッキングリフトの安全装置 |
| CN106672859B (zh) * | 2017-01-05 | 2018-11-09 | 深圳市有光图像科技有限公司 | 一种基于叉车视觉识别托盘的方法及叉车 |
| JP6917756B2 (ja) * | 2017-04-17 | 2021-08-11 | 日鉄テックスエンジ株式会社 | 測位システム、装置、方法及びプログラム |
| CN109429060B (zh) * | 2017-07-07 | 2020-07-28 | 京东方科技集团股份有限公司 | 瞳孔距离测量方法、可穿戴眼部设备及存储介质 |
| JP6858104B2 (ja) * | 2017-09-11 | 2021-04-14 | Ｋｙｂ株式会社 | 情報処理装置及び情報処理方法 |
| KR102080578B1 (ko) * | 2017-12-12 | 2020-02-24 | 한국기계연구원 | 자율작업기계 및 자율작업기계 변위측정방법 |
| JP6696102B1 (ja) * | 2019-05-20 | 2020-05-20 | 東芝エレベータ株式会社 | 画像処理装置およびマーカ |
| JP7152604B2 (ja) * | 2019-05-30 | 2022-10-12 | 日揮グローバル株式会社 | 位置合わせ方法および位置合わせ装置 |
| JP7415429B2 (ja) * | 2019-10-18 | 2024-01-17 | 株式会社豊田自動織機 | 荷役車両の荷役作業支援装置 |
| JP7351265B2 (ja) * | 2020-06-26 | 2023-09-27 | 株式会社豊田自動織機 | 認識装置及び認識方法 |
| JP7414772B2 (ja) * | 2021-06-04 | 2024-01-16 | プライムプラネットエナジー＆ソリューションズ株式会社 | 対象物の変位量測定方法および変位量測定装置 |
| CN113674212B (zh) * | 2021-07-26 | 2024-05-24 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN113808188B (zh) * | 2021-08-17 | 2023-09-19 | 苏州市路远智能装备有限公司 | 元件的拍摄方法 |
-
2001
- 2001-07-12 JP JP2001212095A patent/JP3921968B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110127569A (zh) * | 2019-04-08 | 2019-08-16 | 国以贤智能科技（上海）有限公司 | 视觉找孔的方法及叉车 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003028614A (ja) | 2003-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3921968B2 (ja) | 位置検出方法及び位置検出装置 | |
| US7010404B2 (en) | Position control apparatus and position control method for cargo carrying apparatus in industrial vehicle | |
| EP1408001B1 (en) | Industrial vehicle equipped with material handling work controller | |
| US7204338B2 (en) | Handle knob for industrial vehicle | |
| WO2016181733A1 (ja) | フォークリフト | |
| JP4882176B2 (ja) | 産業車両における荷役支援報知装置及び産業車両 | |
| US11718513B2 (en) | Position and posture estimation system | |
| US10981764B2 (en) | Industrial truck having a fork and a fork arm camera and method for operating such an industrial truck | |
| US20220363528A1 (en) | Operation assisting apparatus for load handling vehicle | |
| WO2020039817A1 (ja) | フォークリフト用荷役作業支援装置 | |
| JP2003212489A (ja) | 産業車両における荷役機器の自動位置制御装置、産業車両及び荷役機器の自動位置制御方法 | |
| JP7268575B2 (ja) | 荷役車両の操作支援装置 | |
| JP7192706B2 (ja) | 位置姿勢推定装置 | |
| JP4961643B2 (ja) | 産業車両における荷役制御装置及び産業車両 | |
| JP3858703B2 (ja) | 産業車両における荷役作業支援装置及び産業車両 | |
| JP3900902B2 (ja) | 産業車両における荷役作業支援装置及び産業車両 | |
| JP2003155199A (ja) | 産業車両の音声報知装置及び産業車両 | |
| JP3900887B2 (ja) | 産業車両の作業モード切替装置及び産業車両 | |
| JP2022112068A (ja) | 荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラム | |
| JP2003089500A (ja) | 荷役レバー及び産業車両 | |
| WO2020095602A1 (ja) | フォークリフトの遠隔操作システム | |
| JP3941521B2 (ja) | 産業車両の標識選定装置及び産業車両 | |
| JP2021042071A (ja) | フォークリフトのサイドシフト制御装置 | |
| JP2023101128A (ja) | 荷役車両及び判定プログラム | |
| WO2022130896A1 (ja) | フォークリフト |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3921968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |