JP7029728B2 - 搬送システム、搬送装置、計算機、学習方法 - Google Patents

Description

本発明は、パレットを搬送対象とする搬送装置に関する。

フォークリフトなどの搬送装置は、予め決められた形状を有するパレットを搬送対象とする。パレットには、穴（フォークポケット）が設けられており、搬送装置には、フォークポケットに挿入可能なフォークが設けられる。

搬送装置のオペレータは、フォークの高さを調節し、ステアリング操作を行いながら搬送装置を走行させて、フォークポケットにフォークを挿入する必要がある。

ところが不慣れなオペレータにとって、フォークを、うまくフォークポケットに挿入することは容易でない。もし、フォークがフォークポケット以外の場所に衝突すると、パレット上の荷物が崩れるかもしれない。またフォークポケットにフォークが挿入されたとしても、フォークポケットの内壁にフォークがぶつかると、パレットがずれたり、フォークに好ましくない応力が加わるおそれがある。

特開２０１７－１５１６５０号公報

本発明者らは、フォークリフトに、パレットの特定箇所を検出可能な検出装置を搭載することを検討した。検出装置は、画像を取得するセンサと、センサの出力画像にもとづいて特定箇所を検出可能に構成された識別器（あるいは分類器ともいう）を備える。識別器は、予め取得した教師データあるいは学習データにもとづいて、機械学習によって構成される。教師データは、典型的には、特定部位を含む画像データである。識別器に、十分な識別力を獲得させるためには、撮影方向や撮影距離を変えて撮影した膨大な数の教師データが必要となる。

センサが取得する画像は、周囲の環境光などの影響を大きく受ける。したがって教師データの取得は実際にフォークリフトが使用される環境下において取得することが好ましい。具体的には、フォークリフトの使用環境下で、サービスマンやユーザ（以下、人間という）がパレットの画像を多数撮影し、人間が、各画像の中から手作業で特定部位を指定し、教師データとして計算機に与える必要があるため、人間の労力が大きく、学習に必要なコストが非常に高くなることを意味する。

またフォークリフトが搬送対象とするパレットの種類が多い場合、パレット毎に教師データを用意する必要があるため、学習に要するコストはさらに跳ね上がる。

本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、学習に必要な労力や時間を削減可能な搬送システム、搬送装置、計算機、学習方法の提供にある。

本発明のある態様の搬送システムは、パレット、マーカ、搬送装置、計算機を備える。パレットは、搬送装置による搬送対象であり、特定部位を有する。マーカは、学習時において、パレットの所定位置に取り付けられる。搬送装置は、（i）学習時においてアクティブとなり、パレットを撮影して第１画像データを生成する第１センサと、（ii）学習時および通常使用時においてアクティブとなり、パレットを撮像して第２画像データを生成する第２センサと、（iii）通常使用時においてアクティブとなり、第２画像データの中からパレットの特定部位を検出できるように機械学習によって構成される識別器と、を有する。計算機は、プロセッサを含み、プロセッサは、学習時において、第１画像データにもとづいて第２画像データの中からマーカの位置を検出し、第２画像データから、パレットの特定部位を含む部分を教師データとして切り出し、教師データを使用して機械学習を行い、識別器に必要な情報を生成する。

学習時において、パレットには、特定部位を基準とする所定の位置に、マーカが取り付けられる。そしてマーカを取り付けた状態で、搬送装置を実際に運用しながら、教師データの生成に必要な多数の画像データセットを自動的に蓄積できる。そして蓄積された多数の画像データセットそれぞれについて、マーカを頼りにして特定部位を自動で検出でき、教師データの生成を自動化することができる。これにより、学習に必要な労力や時間を削減できる。

マーカは立体マーカであり、第１センサは測距センサであってもよい。これにより、マーカの形状にもとづいて、マーカを検出でき、それを頼りに、特定部位の位置を検出できる。

マーカは平面マーカであり、第１センサはカメラであってもよい。これによりマーカのパターンや形状にもとづいて、マーカを検出でき、それを頼りに、特定部位の位置を検出できる。

第１センサと第２センサは同一のセンサであってもよい。この場合、ハードウェアのコストを下げることができる。また、第１画像と第２画像は兼用することができるため、データ容量を削減できる。

第１センサと第２センサは異なるセンサであってもよい。この場合、マーカは、第１センサによって検出可能であるが、第２センサによっては検出不能であってもよく、この場合、マーカを、特定部位に直接取り付けてもよい。

複数のマーカが、パレットの特定部位に対して対称な位置に取り付けられてもよい。これにより、複数のマーカの位置関係から、特定部位の位置を推定することができる。

特定部位は、パレットのセンターであってもよい。パレットには、フォークポケット（穴）が設けられており、隣接するフォークポケットの境界には、桁が存在する。この桁は、パレットのセンターに位置するため、パレットのセンターを特定部位とすることで、フォークポケットの位置検出を容易化できる。

学習時において、プロセッサは、第２画像データから、特定部位を含まない範囲を、特定部位でない教師データとして切り出してもよい。

搬送システムは、学習の完了を通知する手段をさらに備えてもよい。

マーカは、パレットの姿勢を特定可能な態様で、パレットに取り付けられてもよい。たとえばマーカは、特定の方向を示す形状を有してもよい。あるいは複数のマーカを、方向性を有するように配置してもよい。

パレットの種類ごとに、異なるマーカが取り付けられてもよい。これにより、複数種類のパレットについて、教師データの生成に必要な画像データを同時に取得できる。

学習時において、フォークのパレットの穴への挿入をトリガとして、それより前に第１センサ、第２センサにより撮影された第１画像データ、第２画像データを取り込んでもよい。フォークのパレットの穴への挿入は、（i）フォークの一部がパレットの穴の接触したこと、あるいは（ii）フォークが穴へ完全に挿入されたことなどを含む。「それより前」とは、第１画像データにマーカが写っており、第２画像データに特定部位が写っている程度に、時間的に過去を意味する。これにより、無駄な画像データが蓄積されるのを防止できる。

搬送装置は、学習時のモードと通常使用時のモードを切り替えるスイッチをさらに備えてもよい。

本発明の別の態様はパレットを搬送する搬送装置に関する。搬送装置は、学習時においてアクティブとなり、所定位置にマーカが取り付けられたパレットを撮影して第１画像データを生成する第１センサと、学習時および通常使用時においてアクティブとなり、パレットを撮像して第２画像データを生成する第２センサと、通常使用時においてアクティブとなり、第２画像データの中からパレットの特定部位を検出できるように機械学習によって構成される識別器と、を備える。

本発明の別の態様は、パレットを搬送する搬送装置の機械学習に使用される計算機に関する。搬送装置は、学習時においてアクティブとなり、所定位置にマーカが取り付けられた前記パレットを撮影して第１画像データを生成する第１センサと、学習時および通常使用時においてアクティブとなり、前記パレットを撮像して第２画像データを生成する第２センサと、通常使用時においてアクティブとなり、第２画像データの中からパレットの特定部位を検出できるように機械学習によって構成される識別器と、を備える。計算機はプロセッサを備える。プロセッサは、第１画像データにもとづいて第２画像データの中からマーカの位置を検出するステップと、第２画像データから、パレットの特定部位を含む部分を教師データとして切り出すステップと、教師データを使用して機械学習を行い、識別器に必要な情報を生成するステップと、を実行する。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、学習に必要な労力や時間を削減できる。

搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。 フォークリフトの操縦席の一例を示す図である。 図３（ａ）～（ｈ）は、フォークリフトが搬送対象とするパレットを示す図である。 実施の形態に係る搬送システムのブロック図である。 第１画像データと第２画像データにもとづく教師データの生成を説明する図である。 距離画像の一例を示す図である。 図７（ａ）～（ｃ）は、立体マーカを示す図である。 図８（ａ）～（ｃ）は、平面マーカを示す図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。フォークリフト６００は、車体（シャーシ）６０２、フォーク６０４、可動部（昇降体あるいはリフト）６０６、マスト６０８、車輪６１０、６１２を備える。マスト６０８は車体６０２の前方に設けられる。可動部６０６は、油圧アクチュエータ（図１に不図示）などの動力源によって駆動され、マスト６０８に沿って昇降する。可動部６０６には、荷物を支持するためのフォーク６０４が取り付けられている。フォークリフト６００は、２本のフォーク６０４が図示しないパレットの穴（フォークポケット）に挿入された状態で、パレットを搬送する。フォーク６０４の根元には、キャリッジスイッチ６２０、フォークスイッチ６２２が設けられる。キャリッジスイッチ６２０は、フォーク６０４がパレットの穴に奥まで挿入されると、パレットによって押される。フォークスイッチ６２２は、パレットをすくったときに押される。

図２は、フォークリフトの操縦席７００の一例を示す図である。操縦席７００は、イグニッションスイッチ７０２、ステアリングホイール７０４、リフトレバー７０６、アクセルペダル７０８、ブレーキペダル７１０、ダッシュボード７１４、前後進レバー７１２を備える。

イグニッションスイッチ７０２は、フォークリフト６００の起動用のスイッチである。ステアリングホイール７０４は、フォークリフト６００の操舵を行うための操作手段である。リフトレバー７０６は、可動部６０６を上下に移動させるための操作手段である。アクセルペダル７０８は、走行用の車輪の回転を制御する操作手段であり、オペレータが踏み込み量を調節することでフォークリフト６００の走行が制御される。オペレータがブレーキペダル７１０を踏み込むと、ブレーキがかかる。前後進レバー７１２は、フォークリフト６００の走行方向を、前進と後進で切りかえるためのレバーである。そのほか、図示しないインチングペダルが設けられてもよい。

オペレータは、車体の位置制御に関して、ステアリングホイール７０４とアクセルペダル７０８、ブレーキペダル７１０を操作し、フォーク６０４の位置制御に関して、リフトレバー７０６を操作する必要がある。

図３（ａ）～（ｈ）は、フォークリフト６００が搬送対象とするパレットを示す図である。パレット８００は、上板８０６、穴８０２、桁８０４を有する。パレット８００の形状は、ＪＩＳ規格により定められるほか、目的や用途に応じて多種多様な形状のものが存在する。図３（ａ）～（ｈ）はそれぞれ、ＪＩＳ規格でＳ２，ＳＵ２，ＤＰ４，Ｒ４，ＲＷ２，Ｄ２，ＤＵ２，Ｄ４と表記される。図３（ａ）～（ｈ）に示すように、一概にパレットといっても、さまざまな形状、構造が存在しており、不慣れなオペレータにとって、複数の操作入力手段（７０４，７０６，７０８，７１０，７０６）を正確に操作して、フォークポケットに正確にフォークを挿入することは容易でない。

以下では、パレットの荷すくい動作を支援可能な構成について説明する。図４は、実施の形態に係る搬送システムのブロック図である。

搬送システム４００は、搬送装置であるフォークリフト３００、パレット４１０、マーカ４２０、計算機４３０を備える。

フォークリフト３００は、運転支援のために、パレット４１０の特定部位４１２の位置を検出可能な識別器３１０を備える。識別器３１０は、演算処理装置（ＣＰＵ）やメモリを有するマイコンと、マイコンが実行するソフトウェアプログラムで構成することができる。

識別器３１０は機械学習によって構成される。学習済みの識別器３１０を用いて、特定部位４１２の位置を特定する動作を、通常動作と称し、そのときの信号や処理の流れを実線で示す。また識別器３１０を機械学習するために必要なデータを収集し、また機械学習を行う処理を、学習と称し、そのときの信号や処理の流れを一点鎖線で示す。識別器３１０の形式やアルゴリズムは特に限定されないが、一実施例において、識別器３１０は、線形ＳＶＭ（Support Vector Machine）とＨＯＧ（Histograms of Oriented Gradients）特徴量の組み合わせで構成される。線形ＳＶＭは、入力が、２クラスのいずれかに属するかを判定可能な識別器として広く用いられる。

パレット４１０は、穴４１４に加えて特定部位４１２を有する。特定部位４１２は、フォークリフト３００が穴４１４を検出する際の手がかりとすべき部位である。たとえば、特定部位４１２は、２つの穴４１４の中央に位置する桁でありうる。桁の位置を検出できれば、フォークリフト３００は、パレット４１０の寸法から穴４１４の位置を計算することができる。

初めに、識別器３１０が学習済みであるとして、通常動作を説明する。通常動作に関連して、フォークリフト３００は、第２センサ３０４および識別器３１０を備える。第２センサ３０４は、車体の前方、たとえばフォークあるいは可動部に取り付けられており、通常動作時においてアクティブとなり、車両前方のパレット４１０を撮像して第２画像データＩＭＧ２を生成する。

学習済みの識別器３１０は、通常使用時においてアクティブとなり、第２画像データＩＭＧ２の中からパレット４１０の特定部位４１２の位置を検出する。フォークリフト３００は、特定部位４１２の位置情報を運転支援に活用する。運転支援の一例として、たとえばフォークリフト３００は、特定部位４１２の位置から、穴４１４の位置を計算する。そしてディスプレイを用いて、視覚的にオペレータに穴４１４の位置を知らせる。あるいはフォークリフト３００は、穴４１４と、現在のフォークの位置関係から、フォークを、穴に干渉無く挿入可能であるか判定することができる。

続いて、学習について説明する。本実施の形態において、学習は、フォークリフト３００が実際に使用される環境下で、実際に搬送対象とするパレットを利用して行われる。学習に関連して、搬送システム４００は、マーカ４２０および計算機４３０を備える。学習時において、マーカ４２０は、複数のパレット４１０それぞれの所定位置に取り付けられる。所定位置とは、特定部位４１２を特定可能な位置をいう。図４においてマーカ４２０を単なる円として示すが、その限りでなく、マーカ４２０は、他の部分と区別できるような形状、色、パターン、それらの任意の組み合わせを有するものとする。

たとえば図４に示すように、複数のマーカ４２０を、特定部位４１２を中心として対象な位置に取り付けてもよい。これにより、２個のマーカ４２０の中点が、特定部位４１２の位置を表す。

２個のマーカ４２０を同一高さに取り付けるとよい。これにより、２個のマーカ４２０を結ぶ線にもとづいて、パレット４１０の傾き（すなわち姿勢）を検出できる。

フォークリフト３００は、学習に関連して、第１センサ３０２およびデータ取得部３２０を備える。

第１センサ３０２およびデータ取得部３２０は、着脱可能であってもよく、学習時にのみフォークリフト３００の車体に取り付けてもよい。この場合、第１センサ３０２とデータ取得部３２０をユニット化（モジュール化）してもよい。

あるいは第１センサ３０２およびデータ取得部３２０の少なくとも一方を、フォークリフト３００に固定的に取り付けてもよい。

なお、第１センサ３０２は、必ずしも第２センサ３０４と別のハードウェアであることを意味するものではなく、後述するようにそれらは同一のセンサであり得、この場合、第１センサ、第２センサの名称は、単なる機能・用途の違いを表しているに過ぎない。

フォークリフト３００は、学習モードと通常動作モードが手動で切り替えるための操作手段を有してもよい。オペレータが学習モードにセットすると、フォークリフト３００は、以下で説明する動作を開始する。

第１センサ３０２は、学習時（学習モード）においてアクティブとなり、パレット４１０を撮影して第１画像データＩＭＧ１を生成する。第１センサ３０２は、マーカ４２０に対して感度を有しており、第１画像データＩＭＧ１には、マーカ４２０が写る。

第２センサ３０４は、学習時においてもアクティブとなり、パレット４１０を撮像して第２画像データＩＭＧ２を生成する。第２センサ３０４は、マーカ４２０に対して感度を有してもよいし、有しなくてもよい。

第１センサ３０２および第２センサ３０４による撮像あるいは画像の取り込みは、フォークリフト３００が、マーカが取り付けられたパレット４１０に接近し、正対したときに自動で行うとよい。

たとえば第１センサ３０２、第２センサ３０４によって常時撮影を行うようにし、フォーク６０４が穴４１４に挿入されたことをトリガとして、それより前の所定時間（たとえば数秒）の間に撮影された画像データ、あるいはそれより前に撮影された所定数枚の画像データを取り込むようにしてもよい。フォーク６０４が穴４１４に挿入されたことは、図１のキャリッジスイッチ６２０やフォークスイッチ６２２にもとづいて検出することができる。

あるいはフォーク６０４の先端付近にセンサ（スイッチ）を設け、フォーク先端がパレット４１０と接触したことをトリガーとして、それ以降の数秒の間に撮影された画像データを取り込んでもよい。あるいは操縦席に、学習時の撮影のトリガとなるシャッターボタンを設けてもよい。

これらの処理により、マーカ４２０および特定部位４１２を含む画像データを集中的に蓄積することができ、それらが写っていない無駄な画像データを削減できる。図４に戻る。

画像取り込み（あるいは撮影）のトリガーは、フォークリフト３００の動作にもとづいて発生してもよい。たとえば、所定時間（たとえば数秒間）にわたる連続したリフトアップおよび停車（もしくは微速走行）が発生した場合、その直前あるいは直後に、フォークリフト３００とパレット４１０が正対している可能性が高い。

かくしてデータ取得部３２０は、学習モードにおいて、第１画像データＩＭＧ１と第２画像データＩＭＧ２のセットを取得する。データ取得部３２０は、記録媒体を内蔵し、第１画像データＩＭＧ１と第２画像データＩＭＧ２のセットを蓄積してもよい。フォークリフト３００は、十分なデータの蓄積をオペレータやサービスマンに知らせる通知手段３３０を備えてもよい。

十分なデータが蓄積された後、データ取得部３２０から、それまでに取得したデータが読み出され、計算機４３０に入力される。計算機４３０への入力は、オペレータが手動で行ってもよい。

あるいはデータ取得部３２０は、有線あるいは無線のインタフェースを含んでもよく、第１画像データＩＭＧ１と第２画像データＩＭＧ２を含むデータを、計算機４３０に自動で、あるいはマニュアルで送信可能に構成されてもよい。

計算機４３０は、データ取得部３２０によって取得されたデータの処理に用いられる。計算機４３０は、ネットワーク経由で接続されるサーバであってもよいし、ローカルのコンピュータであってもよい。あるいは、計算機４３０の機能を、フォークリフト３００に搭載してもよい。

計算機４３０は、プロセッサやメモリを含み、メモリにロードされたプログラムを実行することにより、予め決められた処理を実行する。プロセッサは、学習時において以下の処理を実行する。

（i）第１画像データＩＭＧ１にもとづいて、第２画像データＩＭＧ２の中からマーカ４２０の位置を検出する。
（ii）第２画像データＩＭＧ２から、パレット４１０の特定部位４１２を含む部分を教師データとして切り出す。この教師データには、「特定部位」というラベル（タグ）が付与される。

なお計算機４３０のプロセッサは、以下の処理を行ってもよい。
（iv）第２画像データＩＭＧ２から、特定部位４１２を含まない範囲を、ランダムに、あるいはある規則にしたがって、教師データとして切り出す。こうして得られる教師データには、「特定部位でない」というラベルが付与される。

図５は、第１画像データと第２画像データにもとづく教師データの生成を説明する図である。第１画像データＩＭＧ１には、マーカ４２０が写っている。画像処理によってマーカ４２０の位置が特定され、マーカ４２０の位置情報にもとづいて、特定部位４１２の位置（たとえば中心座標ｐ（ｕ，ｖ））あるいはその範囲が特定される。

そして第２画像データＩＭＧ２における特定部位４１２の中心座標ｐ’あるいはその範囲が特定される。第１センサ３０２と第２センサ３０４が別々のセンサである場合、視差や画素数の差分が考慮される。

第２画像データＩＭＧ２における特定部位４１２が検出されると、それを包含する矩形領域が、「特定部位」のラベル付きの教師データＩＭＧ３として切り出される。

なお、第２センサ３０４がマーカ４２０に対して感度を有する場合、第２画像データＩＭＧ２に、マーカ４２０が写ることとなる。この場合には、矩形領域のサイズは、特定部位４１２を含むが、マーカ４２０を含まないサイズとする。なぜなら、教師データＩＭＧ３がマーカ４２０を含むと、マーカ４２０を考慮した学習が行われてしまい、マーカ４２０を取り外したときの識別率が低下するからである。

また、特定部位４１２を包含しない矩形領域が、「特定部位でない」のラベル付きの教師データＩＭＧ４として切り出される。

以上が教師データの生成処理である。計算機４３０のプロセッサは、さらに以下の処理を実行する。
（iii）教師データＩＭＧ３，ＩＭＧ４を使用して機械学習を行い、識別器３１０に必要な情報を生成する。
生成された情報（パラメータ）は、識別器３１０に書き戻される。これにより識別器３１０は、学習済みとなり、通常動作が可能となる。

以上が搬送システム４００の構成および動作である。この搬送システム４００によれば、搬送システム４００にマーカ４２０を取り付けた状態で、フォークリフト３００を実際に運用しながら、教師データの生成に必要な多数の画像データＩＭＧ１，ＩＭＧ２のセットを自動的に蓄積できる。そして蓄積された多数の画像データセットそれぞれについて、マーカ４２０を頼りにして特定部位４１２を自動で検出でき、教師データＩＭＧ３，ＩＭＧ４の生成を自動化することができる。これにより、人間の作業を大幅に減らすことができ、学習に必要な労力や時間を削減できる。

以下、第１センサと第２センサの組み合わせについて、いくつかの実施例をもとに説明する。

（実施例１）
実施例１において、第１センサ３０２と第２センサ３０４は、いずれも測距センサである。この場合、２つのセンサを１個減らしてもよい。つまり、第１センサ３０２を省略して、学習時には、第２センサ３０４の出力を、第１画像および第２画像として処理を行えばよい。

測距センサとしては、ＴｏＦカメラ、ＬｉＤＡＲ、ストラクチャードライト法を用いたセンサ、ステレオカメラなどを用いることができる。測距センサは、車両前方に位置する構造物や物品等の３次元点群データを含む測距データを生成する。測距データは、距離画像に変換される。図６は、距離画像の一例を示す図である。距離画像とは、縦横に複数ピクセルを有する画像データであって、画素値が距離を表すデータをいう。なお、測距センサの出力が距離画像である場合、変換処理は不要である。

この実施例１において、マーカ４２０は測距センサによって検出可能でなければならず、従って立体マーカが用いられる。図７（ａ）～（ｃ）は、立体マーカを示す図である。図７（ａ）には半球体のマーカ４２０が示される。図７（ｂ）のマーカは半円柱であり、図７（ｃ）のマーカは四角錐である。マーカの形状はこれらに限定されず、その他、球体、多角柱体、多角錘体、円錐などを用いることができる。マーカ４２０は、パレット４１０が存在する環境において、周囲に存在しない形状を選ぶとよい。

（実施例２）
実施例２において、第１センサ３０２は単眼カメラであり、第２センサ３０４は測距センサである。この場合、マーカ４２０は、単眼カメラにより撮影可能な平面マーカあるいは立体マーカである。図８（ａ）～（ｃ）は、平面マーカを示す図である。図８（ａ）のマーカ４２０は、三角形である。マーカの形状はそのほか、多角形や円形、楕円形、星形、任意のアルファベットや文字、それらの組み合わせであってもよい。マーカ４２０は、パレット４１０が存在する環境において、周囲に存在しない形状等を選ぶとよい。平面マーカは、たとえば白黒のストライプの画像エッジをマーカとして利用するような態様も含む。

マーカ４２０は、その形状に特徴を有してもよいし、その模様やパターンに特徴を有してもよく、コードを用いてもよい。図８（ｂ）のマーカ４２０は、バーコードである。そのほか、ＱＲコード（登録商標）など他のコードを用いてもよい。図８（ｃ）は、模様付きのマーカを示す。

第１センサ３０２がカラーカメラである場合、平面マーカは、色情報を含むことができる。

マーカ４２０を平坦な２次元とすれば、第２センサ３０４はマーカ４２０に対して不感となる。このことは、第２画像データＩＭＧ２には、マーカ４２０が写らないことを意味する。つまり教師データＩＭＧ３の矩形領域は、マーカ４２０を含んでも構わない。さらに言えば、マーカ４２０を、直接、特定部位４１２の位置に取り付けることも可能であり、マーカ４２０の位置から、特定部位４１２の位置を探す処理を省略できる。

（実施例３）
実施例３において、第１センサ３０２は測距センサであり、第２センサ３０４は単眼カメラである。この場合、マーカ４２０は、測距センサによって撮影可能な立体マーカである。

マーカ４２０を透明とすれば、第２センサ３０４をマーカ４２０に対して不感とすることができる。このことは、第２画像データＩＭＧ２には、マーカ４２０が写らないことを意味する。つまり教師データＩＭＧ３の矩形領域は、マーカ４２０を含んでも構わない。さらに言えば、マーカ４２０を、直接、特定部位４１２の位置に取り付けることも可能であり、マーカ４２０の位置から、特定部位４１２の位置を探す処理を省略できる。

（実施例４）
実施例４において、第１センサ３０２と第２センサ３０４は、いずれも単眼カメラである。この場合、２つのセンサを１個減らしてもよい。つまり、第１センサ３０２を省略して、学習時には、第２センサ３０４の出力を、第１画像および第２画像として処理を行えばよい。

マーカ４２０は、平坦な平面マーカを選ぶことができる。マーカ４２０は、その形状に特徴を有してもよいし、その模様やパターンに特徴を有してもよく、パレット４１０が存在する環境において、周囲に存在しない形状等を選ぶとよい。第１センサ３０２がカラーカメラである場合、平面マーカは、色情報を含むことができる。

以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。

（変形例１）
フォークリフト３００の使用環境において、複数の種類のパレットが併用されるケースがある。このようなケースでは、複数種類のパレットそれぞれについて、特定部位を検出できるように識別器３１０を学習させる必要がある。そこで、パレットの種類ごとに、異なる種類のマーカを取り付け、第１画像データＩＭＧ１からマーカ４２０を検出するときに、マーカ４２０の種類を併せて判定する。そして、第２画像データＩＭＧ２から切り出された教師データＩＭＧ３に、マーカ４２０の種類に対応するパレットの種類をタグ付けしておく。これにより、識別器３１０は、複数の種類のパレットについて、特定部位を判定可能になるとともに、そのパレットの種類を特定できるようになる。

（変形例２）
識別器３１０を多層のニューラルネットワークで構成し、深層学習を用いてもよい。

（変形例３）
マーカとして、自らが発光するアクティブマーカを用いてもよい。

実施の形態では、データ取得部３２０において、第１画像データＩＭＧ１および第２画像データＩＭＧ２の蓄積を行い、教師データの切り出しは、計算機４３０において行うこととしたがその限りでない。データ取得部３２０がプロセッサなどの演算手段を有する場合、教師データの切り出しは、データ取得部３２０において行ってもよい。

（変形例５）
実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト（ハンドパレット）やＡＧＶ（Automatic Guided Vehicle）、フォークローダー（フォーク付きのホイルローダー）など、パレットを取り扱うさまざまな搬送装置に適用することができる。

６００ フォークリフト
６０２ 車体
６０４ フォーク
６０６ 可動部
６０８ マスト
６１０，６１２ 車輪
７００ 操縦席
７０２ イグニッションスイッチ
７０４ ステアリングホイール
７０６ リフトレバー
７０８ アクセルペダル
７１０ ブレーキペダル
７１２ 前後進レバー
７１４ ダッシュボード
３００ フォークリフト
３０２ 第１センサ
３０４ 第２センサ
３１０ 識別器
３２０ データ取得部
８００ パレット
８０２ 穴
８０４ 桁
４００ 搬送システム
４１０ パレット
４１２ 特定部位
４１４ 穴
４２０ マーカ
４３０ 計算機
ＩＭＧ１ 第１画像データ
ＩＭＧ２ 第２画像データ
ＩＭＧ３ 教師データ
ＩＭＧ４ 教師データ

Claims (15)

1. 特定部位を有するパレットと、
   学習時において、前記パレットの所定位置に取り付けられるマーカと、
   （i）学習時においてアクティブとなり、前記パレットを撮影して第１画像データを生成する第１センサと、（ii）学習時および通常使用時においてアクティブとなり、前記パレットを撮像して第２画像データを生成する第２センサと、（iii）通常使用時においてアクティブとなり、前記第２画像データの中から前記パレットの前記特定部位を検出できるように機械学習によって構成される識別器と、を有する搬送装置と、
   学習時において、前記第１画像データにもとづいて前記第２画像データの中から前記マーカの位置を検出し、前記第２画像データから、前記パレットの特定部位を含む部分を教師データとして切り出し、前記教師データを使用して機械学習を行い、前記識別器に必要な情報を生成するプロセッサを含む計算機と、
   を備えることを特徴とする搬送システム。
2. 前記マーカは立体マーカであり、前記第１センサは測距センサであることを特徴とする請求項１に記載の搬送システム。
3. 前記マーカは平面マーカであり、前記第１センサはカメラであることを特徴とする請求項１に記載の搬送システム。
4. 前記第１センサと前記第２センサは同一のセンサであることを特徴とする請求項１から３のいずれかに記載の搬送システム。
5. 複数の前記マーカが、前記パレットの前記特定部位に対して対称な位置に取り付けられることを特徴とする請求項１から４のいずれかに記載の搬送システム。
6. 前記特定部位は、前記パレットのセンターであることを特徴とする請求項１から５のいずれかに記載の搬送システム。
7. 学習時において、前記プロセッサは、前記第２画像データから、前記特定部位を含まない範囲を、前記特定部位でない教師データとして切り出すことを特徴とする請求項１から６のいずれかに記載の搬送システム。
8. 学習の完了を通知する手段をさらに備えることを特徴とする請求項１から７のいずれかに記載の搬送システム。
9. 前記マーカは、前記パレットの姿勢を特定可能な態様で、前記パレットに取り付けられることを特徴とする請求項１から８のいずれかに記載の搬送システム。
10. 前記パレットの種類ごとに、異なるマーカが取り付けられることを特徴とする請求項１から９のいずれかに記載の搬送システム。
11. 学習時において、フォークの前記パレットの穴への挿入をトリガとして、それより前に前記第１センサ、前記第２センサにより撮影された前記第１画像データ、前記第２画像データを取り込むことを特徴とする請求項１から１０のいずれかに記載の搬送システム。
12. 前記搬送装置は、前記学習時のモードと前記通常使用時のモードを切り替えるスイッチをさらに備えることを特徴とする請求項１から１１のいずれかに記載の搬送システム。
13. パレットを搬送する搬送装置であって、
    学習時においてアクティブとなり、所定位置にマーカが取り付けられた前記パレットを撮影して第１画像データを生成する第１センサと、
    学習時および通常使用時においてアクティブとなり、前記パレットを撮像して第２画像データを生成する第２センサと、
    通常使用時においてアクティブとなり、前記第２画像データの中から前記パレットの特定部位を検出できるように機械学習によって構成される識別器と、
    を備えることを特徴とする搬送装置。
14. パレットを搬送する搬送装置の機械学習に使用される計算機であって、
    前記搬送装置は、
    学習時においてアクティブとなり、所定位置にマーカが取り付けられた前記パレットを撮影して第１画像データを生成する第１センサと、
    学習時および通常使用時においてアクティブとなり、前記パレットを撮像して第２画像データを生成する第２センサと、
    通常使用時においてアクティブとなり、前記第２画像データの中から前記パレットの特定部位を検出できるように機械学習によって構成される識別器と、
    を備え、
    前記計算機はプロセッサを備え、前記プロセッサは、
    前記第１画像データにもとづいて前記第２画像データの中から前記マーカの位置を検出するステップと、
    前記第２画像データから、前記パレットの特定部位を含む部分を教師データとして切り出すステップと、
    前記教師データを使用して機械学習を行い、前記識別器に必要な情報を生成するステップと、
    を実行することを特徴とする計算機。
15. パレットを搬送する搬送装置の学習方法であって、
    前記搬送装置に搭載される第１センサによって、所定位置にマーカが取り付けられた前記パレットを撮影して第１画像データを生成するステップと、
    前記搬送装置に搭載される第２センサによって、前記パレットを撮像して第２画像データを生成するステップと、
    前記第１画像データにもとづいて前記第２画像データの中から前記マーカの位置を検出するステップと、
    前記第２画像データから、前記パレットの特定部位を含む部分を教師データとして切り出すステップと、
    前記教師データを使用して機械学習を行い、前記第１画像データの中から前記特定部位を検出可能な識別器に必要な情報を生成するステップと、
    を備えることを特徴とする学習方法。

Images