JP7300646B2 - Conveyor - Google Patents
Conveyor Download PDFInfo
- Publication number
- JP7300646B2 JP7300646B2 JP2019145554A JP2019145554A JP7300646B2 JP 7300646 B2 JP7300646 B2 JP 7300646B2 JP 2019145554 A JP2019145554 A JP 2019145554A JP 2019145554 A JP2019145554 A JP 2019145554A JP 7300646 B2 JP7300646 B2 JP 7300646B2
- Authority
- JP
- Japan
- Prior art keywords
- pallet
- image
- detection target
- distance
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Description
本発明は、パレットを搬送対象とする搬送装置に関する。
BACKGROUND OF THE
フォークリフトなどの搬送装置は、予め決められた形状を有するパレットを搬送対象とする。パレットには、穴(フォークポケット)が設けられており、搬送装置には、フォークポケットに挿入可能なフォークが設けられる。 A transportation device such as a forklift transports a pallet having a predetermined shape. The pallet is provided with holes (fork pockets), and the transport device is provided with forks that can be inserted into the fork pockets.
搬送装置のオペレータは、フォークの高さを調節し、ステアリング操作を行いながら搬送装置を走行させて、フォークポケットにフォークを挿入する必要がある。 An operator of the carrier device must adjust the height of the forks, operate the carrier device while performing a steering operation, and insert the forks into the fork pockets.
ところが不慣れなオペレータにとって、フォークを、うまくフォークポケットに挿入することは容易でない。もし、フォークがフォークポケット以外の場所に衝突すると、パレット上の荷物が崩れるかもしれない。またフォークポケットにフォークが挿入されたとしても、フォークポケットの内壁にフォークがぶつかると、パレットがずれたり、フォークに好ましくない応力が加わるおそれがある。 However, it is not easy for an inexperienced operator to successfully insert the fork into the fork pocket. If the forks collide with anything other than the fork pockets, the load on the pallet may collapse. Also, even if the forks are inserted into the fork pockets, if the forks collide with the inner walls of the fork pockets, the pallet may shift or unfavorable stress may be applied to the forks.
本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、オペレータの操作を支援可能な搬送装置の提供にある。 The present invention has been made in view of such problems, and one exemplary purpose of certain aspects thereof is to provide a transport apparatus capable of assisting an operator's operation.
本発明のある態様は、搬送装置に関する。搬送装置は、測距センサと、(i)測距センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、(ii)距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように機械学習により得られた識別器を有する演算部と、を備える。 One aspect of the present invention relates to a conveying device. The transport device can acquire a distance sensor, (i) a distance image in which pixel values represent distances based on the output of the distance sensor, and (ii) based on the distance image, a pallet or a specific part of the pallet. and a computing unit having a discriminator obtained by machine learning so that a certain detection target can be specified.
TOF(Time Of Flight)センサ、LiDAR(Light Detection and Ranging)、ステレオカメラやストラクチャカメラなどの測距センサにより得られる3次元点群データを、2次元の距離画像にマッピングし、距離画像を入力とする識別器を構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータを支援することができる。 3D point cloud data obtained by ranging sensors such as TOF (Time Of Flight) sensors, LiDAR (Light Detection and Ranging), stereo cameras, and structure cameras is mapped to a 2D range image, and the range image is input. By constructing a discriminator that does so, it is possible to improve the accuracy of specifying the pallet or its part. The operator can be assisted by reflecting the obtained detection result in the operation of the conveying apparatus or notifying the operator.
検出対象は、パレットの穴と穴を区切る桁を含んでもよい。パレットには、さまざまな形状や構造が存在するところ、それらには穴と穴を区切る桁が共通して存在する。そこで、桁を検出対象とした識別器を搭載することで、さまざまなパレットについて、穴の位置を検出できる。 The object to be detected may include pallet holes and girders separating the holes. Pallets come in a variety of shapes and structures, and they all have holes and girders separating the holes. Therefore, it is possible to detect the positions of holes in various pallets by installing a discriminator that detects girders.
演算部は、予め保持しているパレットの幾何学的な情報にもとづいて、穴の位置を特定してもよい。 The calculation unit may specify the positions of the holes based on the geometric information of the pallet held in advance.
検出対象であるパレットまたはパレットの特定部位を特定した後に、その結果を利用して、距離画像にもとづいてパレットの穴を特定してもよい。元の距離画像から直接、パレットの穴を特定するように識別器を構成すると、精度が低下する場合がある。そこで、パレットあるいはパレットの特定部位を特定する識別器を構成し、さらにその結果をベースとして穴を特定する識別器を構成することにより、穴の識別精度を高めることができる。 After specifying the pallet or the specific part of the pallet to be detected, the result may be used to specify the hole in the pallet based on the range image. Constructing the classifier to identify pallet holes directly from the original range image may result in reduced accuracy. Therefore, by configuring a discriminator that identifies a pallet or a specific portion of the pallet, and further configuring a discriminator that identifies a hole based on the result, it is possible to improve the hole identification accuracy.
搬送装置は、パレットの穴の位置を、オペレータに視覚的に表示する表示部をさらに備えてもよい。これによりオペレータは表示部を見ることで、直感的に、穴の位置を知ることができる。 The transport device may further comprise a display for visually indicating to the operator the positions of the holes in the pallet. Accordingly, the operator can intuitively know the position of the hole by looking at the display unit.
搬送装置は、現在の状態で搬送装置を走行させたときに、フォークがパレットの穴に挿入可能か否かをオペレータに通知する通知部をさらに備えてもよい。通知は、視覚的に行ってもよいし、聴覚的に行ってもよい。 The conveying device may further include a notification unit that notifies the operator whether or not the forks can be inserted into the holes of the pallet when the conveying device is run in the current state. Notification may be made visually or audibly.
演算部は、識別器によって距離画像の中から検出対象の存在位置を示す位置情報を生成してもよい。演算部は、位置情報に応じたテンプレート画像を利用したテンプレートマッチングにより、検出対象の位置を相対的に高い精度で検出してもよい。すなわち前処理として、識別器によって粗い位置検出を行い、特定部位の粗い存在位置あるいは存在範囲を絞り込む。次のステップとして、絞り込まれた範囲内で、存在範囲に適したテンプレート画像を用いたテンプレートマッチングを行うことにより、検出対象の位置を正確に検出できる。 The computing unit may generate position information indicating the existing position of the detection target from the range image by using the discriminator. The calculation unit may detect the position of the detection target with relatively high accuracy by template matching using a template image corresponding to the position information. That is, as preprocessing, a classifier performs rough position detection to narrow down the rough existence position or existence range of a specific portion. As the next step, by performing template matching using a template image suitable for the existence range within the narrowed down range, the position of the detection target can be accurately detected.
複数のテンプレート画像を予め用意しておいてもよい。演算部は、識別器の出力にもとづいて検出対象の位置を特定し、複数のテンプレート画像の中から、特定した位置に対応するひとつを選択してもよい。 A plurality of template images may be prepared in advance. The calculation unit may specify the position of the detection target based on the output of the discriminator, and select one image corresponding to the specified position from among the plurality of template images.
演算部は、テンプレート画像を、検出対象の存在位置にもとづいてリアルタイムで生成してもよい。 The calculation unit may generate the template image in real time based on the existing position of the detection target.
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。 It should be noted that arbitrary combinations of the above-described constituent elements and mutually replacing the constituent elements and expressions of the present invention in methods, devices, systems, etc. are also effective as aspects of the present invention.
本発明によれば、オペレータの操作を支援できる。 According to the present invention, an operator's operation can be supported.
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。 BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described below based on preferred embodiments with reference to the drawings. The same or equivalent constituent elements, members, and processes shown in each drawing are denoted by the same reference numerals, and duplication of description will be omitted as appropriate. Moreover, the embodiments are illustrative rather than limiting the invention, and not all features and combinations thereof described in the embodiments are necessarily essential to the invention.
図1は、搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。フォークリフト600は、車体(シャーシ)602、フォーク604、昇降体(リフト)606、マスト608、車輪610、612を備える。マスト608は車体602の前方に設けられる。昇降体606は、油圧アクチュエータ(図1に不図示)などの動力源によって駆動され、マスト608に沿って昇降する。昇降体606には、荷物を支持するためのフォーク604が取り付けられている。フォークリフト600は、2本のフォーク604が図示しないパレットの穴(フォークポケット)に挿入された状態で、パレットを搬送する。
FIG. 1 is a perspective view showing an external view of a forklift, which is one mode of a transport device. The
図2は、フォークリフトの操縦席700の一例を示す図である。操縦席700は、イグニッションスイッチ702、ステアリングホイール704、リフトレバー706、アクセルペダル708、ブレーキペダル710、ダッシュボード714、前後進レバー712を備える。
FIG. 2 is a diagram showing an example of a
イグニッションスイッチ702は、フォークリフト600の起動用のスイッチである。ステアリングホイール704は、フォークリフト600の操舵を行うための操作手段である。リフトレバー706は、昇降体606を上下に移動させるための操作手段である。アクセルペダル708は、走行用の車輪の回転を制御する操作手段であり、オペレータが踏み込み量を調節することでフォークリフト600の走行が制御される。オペレータがブレーキペダル710を踏み込むと、ブレーキがかかる。前後進レバー712は、フォークリフト600の走行方向を、前進と後進で切りかえるためのレバーである。そのほか、図示しないインチングペダルが設けられてもよい。
The
オペレータは、車体の位置制御に関して、ステアリングホイール704とアクセルペダル708、ブレーキペダル710を操作し、フォーク604の位置制御に関して、リフトレバー706を操作する必要がある。
The operator needs to operate the
図3(a)~(h)は、フォークリフト600が搬送対象とするパレットを示す図である。パレット800は、上板806、穴802、桁804を有する。パレット800の形状は、JIS規格により定められるほか、目的や用途に応じて多種多様な形状のものが存在する。図3(a)~(h)はそれぞれ、JIS規格でS2,SU2,DP4,R4,RW2,D2,DU2,D4と表記される。図3(a)~(h)に示すように、一概にパレットといっても、さまざまな形状、構造が存在しており、不慣れなオペレータにとって、複数の操作入力手段(704,706,708,710,706)を正確に操作して、フォークポケットに正確にフォークを挿入することは容易でない。
3A to 3H are diagrams showing pallets to be transported by the
以下では、パレットの荷すくい動作を支援可能な構成について説明する。図4は、実施の形態に係るフォークリフト300の機能ブロック図である。図4には、荷すくい動作の支援に関連するブロックのみが示され、その他のブロックは省略している。
A configuration capable of assisting the scooping operation of a pallet will be described below. FIG. 4 is a functional block diagram of the
フォークリフト300は、測距センサ302、カメラ303、通知手段304、コントローラ310を備える。測距センサ302は、フォークリフト前方300に取り付けられ、車両前方の距離情報を取得する。その限りでないが測距センサ302としては、ToFカメラ、LiDAR、ストラクチャードライト法を用いたセンサ、ステレオカメラなどを用いることができる。測距センサ302は、車両前方に位置する構造物や物品等の3次元点群データを含む測距データD1を生成する。
The
図5(a)、(b)は、測距センサ302の設置箇所を説明する図である。図5(a)は、上から見た図である。フォークを挿入すべき穴の位置を検出する必要があることから、左右方向に関して、測距センサ302は、2本のフォークの中央に配置することが好ましい。これにより、フォークをパレットに挿入する際に、測距センサ302によって、パレットを正面から撮影することが可能となる。特に、後述のように桁を含む特定部位を検出対象とする場合に、フォークの中央に測距センサ302を配置しておくことで、特定部位の距離画像をうまく撮影することができる。
5(a) and 5(b) are diagrams for explaining the installation location of the
図5(b)は横から見た図である。上下方向に関しては、302cで示すようにフォーク604と同じ高さとしてもよいが、それよりわずかに上側の位置302a(あるいは下側の位置302b)に設けるとよい。これにより、パレット800の上板806の上面S1(あるいは上板806の下面S2)を確実に捉えることが可能となるからである。また、この位置は、フォークの高さの最終的な調整の局面において、フォークやその他の車両構造物に遮蔽されにくいという利点もある。
FIG. 5B is a side view. With respect to the vertical direction, it may be at the same height as the
図4に戻る。カメラ303は、フォークリフト300の前方を撮影する。カメラ303の撮影した画像データD3は、ディスプレイ306に表示される。なお図4においては、カメラ303と測距センサ302を別個の機能ブロックとして示すが、必ずしもハードウェアとして測距センサ302と独立していることを意味するものでなく、測距センサ302は、カメラ303を兼ねていてもよい。たとえば測距センサ302がTOFカメラやステレオカメラである場合、それから1次的に得られる単眼画像(赤外線強度分布や可視光モノクロ画像、可視光カラー画像)を、画像データD3として用いることができる。
Return to FIG. A
コントローラ310は、フォークリフト300を統合的に制御する。コントローラ310は、距離画像取得部330および識別器340を備える。距離画像取得部330は、点群データを含む測距データD1にもとづいて、距離画像D2を生成する。距離画像D2とは、縦横に複数ピクセルを有する画像データであって、画素値が距離を表すデータをいう。図6は、距離画像の一例を示す図である。なお、測距センサ302の出力が距離データである場合、距離画像取得部330の処理は簡略化され、あるいは省略される。
図4に戻る。識別器340は、距離画像D2にもとづいて、パレットまたはパレットの特定部位を特定できるように、機械学習により構成される。
Return to FIG. The
処理部350は、識別器340の検出結果にもとづいて、パレットの穴の位置を特定する。そして検出した結果にもとづいて、通知手段304を制御し、オペレータに通知する。通知手段304は、ディスプレイ306やスピーカ308を含みうる。ディスプレイ306は、視覚的にパレットの穴の位置やその他の情報をオペレータに通知するために用いられる。スピーカ308は、オペレータに聴覚的にパレットの位置やその他の情報を通知するために用いることができる。通知手段304による通知については後述する。
The
識別器340および処理部350は、演算処理装置(CPU)やメモリを有するマイコン320と、マイコン320が実行するソフトウェアプログラムで構成することができる。さらに距離画像取得部330も、マイコン320の機能として実装することができる。したがって距離画像取得部330、識別器340、処理部350は、必ずしも別個のハードウェアとして認識されるものではなく、演算処理装置とソフトウェアプログラムの組み合わせにより実現される機能を表す。
The
あるいは距離画像取得部330と識別器340を別個のハードウェアで構成してもよい。たとえば測距センサ302とマイコン320のインタフェースとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などのハードウェア(チップ)が搭載される場合がある。この場合、距離画像取得部330の処理を、このハードウェアに実行させてもよい。
Alternatively, the distance
以上がフォークリフト300の構成である。このフォークリフト300によれば、測距センサにより得られる距離画像を入力とする識別器を機械学習により構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータの操作を支援することができる。
The above is the configuration of the
なお、パレットやその特定部位を検出する別の方法として、3次元点群データを用いて、特徴的な部位をパターンマッチングによって検出する方法も考えられる。ところがこの方法は、対象物を常に同じ方向から測定する必要があり、特徴的な部位の3次元点群データを高密度に精度よく測ることが難しいという問題点がある。 As another method for detecting a pallet and its specific parts, a method of detecting characteristic parts by pattern matching using three-dimensional point group data is also conceivable. However, this method has the problem that the object must always be measured from the same direction, and it is difficult to measure three-dimensional point cloud data of characteristic parts with high density and accuracy.
続いて識別器340の具体例と、その学習について説明する。一実施例において、識別器340は、線形SVM(Support Vector Machine)とHOG(Histograms of Oriented Gradients)特徴量の組み合わせで構成される。線形SVMは、入力が、2クラスのいずれかに属するかを判定可能な識別器として広く用いられる。一般的な画像処理の分野において、線形SVMの入力は、画素値が輝度である画像データであるが、本実施の形態では、距離画像を入力としたところが異なっている。
Next, a specific example of the
線形SVMは、2個の穴のペアを直接検出するように学習することもできる。ただし、図3(a)~(h)に示したように、穴の形状やサイズは、パレットの種類によってさまざまである。具体的には、穴の横幅は、パレットによって異なっている。またパレットは下板を有するものもあれば、有しないものもあり、したがって穴は下側が開放されている場合と閉じている場合がある。このことから、穴を直接的な識別対象として学習した識別器では、十分に高い識別率が得られない場合がある。 A linear SVM can also be trained to detect pairs of two holes directly. However, as shown in FIGS. 3(a) to 3(h), the shape and size of the holes vary depending on the type of pallet. Specifically, the width of the hole differs depending on the pallet. Also, some pallets have bottom plates, some do not, so the holes may be open or closed at the bottom. For this reason, there are cases where a classifier that learns holes directly as objects to be classified cannot obtain a sufficiently high classification rate.
そこで本発明者らは、さらなる識別率の改善のために、パレット800の穴802と穴802を区切る桁804に着目し、桁804を含む一部分(特定部位)を検出対象として識別器340を構成することとした。桁804は、パレット800の規格によらずに、パレットの必須の構成要素であり、検出対象として好適であり、高い識別率が期待できる。
Therefore, in order to further improve the identification rate, the present inventors focused on the
図7(a)、(b)は、検出対象である特定部位801を模式的に示す図である。特定部位801は、上板806の一部と、下板808の一部と、桁804および2つの穴802を含む。この特定部位801は、向かい合わせの2個のコの字形状を含むものと把握できる。図8は、図7(a)の特定部位801の距離画像を示す図である。
FIGS. 7A and 7B are diagrams schematically showing a
なお図3(b)等に示すように、下板が存在しないパレットも存在する。そこで図7(b)に示すように、下板808を除いたT字形状を特定部位801として識別器340を学習させてもよい。
As shown in FIG. 3(b), etc., some pallets do not have a lower plate. Therefore, as shown in FIG. 7(b), the
処理部350には、パレットの幾何学的な情報が保持されている。処理部350は、識別器340が特定した特定部位801の位置と、幾何学的な情報にもとづいて、演算処理によって、フォークを挿入すべき2個の穴の位置を特定することができる。たとえば、幾何学的な情報は、パレットのセンターの位置(座標)と、穴の位置の相対的な位置関係を含みうる。処理部350は、識別器340の出力にもとづいて、パレット800のセンター位置を検出し、センター位置から、左右に所定量オフセットした位置を、フォークを挿入すべき穴の位置とすることができる。
The
図7(c)は、別のパレットの一部分を示す図である。パレットは、3個の(あるいはそれより多い)穴を有する場合もあり、その場合、1個のパレットが、2個の(あるいはそれより多い)桁を含み、1個のパレットについて、2個の特定部位801が隣接して検出される場合もありえる。この場合、2個の特定部位801のセンター(すなわち2個の桁804のセンター)を、パレット800全体のセンター位置と判定してもよい。
FIG. 7(c) is a diagram showing a portion of another palette. A pallet may have three (or more) holes, in which case one pallet contains two (or more) girders and two girders per pallet. It is also possible that the
続いて、通知手段304について説明する。図9は、ディスプレイ306を利用した運転支援を説明する図である。ディスプレイ306には、図4のカメラ303が撮影した画像データD3が表示される。処理部350は、この画像データD3とオーバーラップする形で、パレット800の穴あるいはその外形を強調する図形810を表示してもよい。図9に示すようにカメラ303が撮影する画像データD3には、2本のフォーク604が写っていることが好ましい。これにより、オペレータは、ディスプレイ306を見ながら、フォーク604と穴の位置との相対的な関係を直感的に把握できる。
Next, the notification means 304 will be described. FIG. 9 is a diagram illustrating driving assistance using the
さらに通知手段304は、現在の状態(ステアリング角、アクセルの開度)でフォークリフトを走行させたときに、フォーク604がパレット800の穴802に挿入可能か否かをオペレータに通知してもよい。この通知は、図9のディスプレイ306を用いて行うことができ、たとえば、挿入可能な場合、図形810を第1の色(たとえば青)で描画し、挿入不可能な場合、図形810を第2の色(たとえば赤)で描画してもよい。
Further, the notification means 304 may notify the operator whether or not the
図形810の描画色の制御に加えて、あるいはそれに変えて、スピーカ308を利用して、挿入可能か否かをオペレータに報知してもよい。
In addition to controlling the drawing color of the graphic 810, or in place of it, the
以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。 The present invention has been described above based on the examples. It should be understood by those skilled in the art that the present invention is not limited to the above embodiments, and that various design changes and modifications are possible, and that such modifications are within the scope of the present invention. By the way. Such modifications will be described below.
(変形例1)
図10は、変形例1に係るコントローラ310Aの一部のブロック図である。この変形例では、2個の識別器340,342が用いられる。前段の識別器340は、距離画像D2を入力として受け、パレットまたはパレットの特定部位を識別可能に構成される。後段の識別器342は、識別器340の識別結果を利用して、穴を特定するように学習されている。たとえば前段の識別器340によりパレットが特定されると、距離画像D2のうち、パレットの部分が、後段の識別器342に入力される。後段の識別器342は、局所的な距離画像から、穴を特定可能に構成される。元の距離画像から直接、パレットの穴を特定するように識別器を構成すると、精度が低下する場合がある。そこで、パレットあるいはパレットの特定部位を特定する識別器を構成し、さらにその結果をベースとして穴を特定する識別器を構成することにより、穴の識別精度を高めることができる。この変形例では、処理部350にパレットの幾何学的な情報を保持しなくてよいという利点がある。
(Modification 1)
FIG. 10 is a block diagram of part of the controller 310A according to
(変形例2)
識別器340を多層のニューラルネットワークで構成し、深層学習を用いてもよい。
(Modification 2)
The
(変形例3)
測距センサによってある物体(被写体)を撮影する際に、物体と測距センサの位置関係によって、物体の見え方は大きく異なる。図11は、パレット800と測距センサ302の相対的な位置関係を示す図である。たとえばパレット800m#(#=l,c,r)は、測距センサ302と同じ高さに位置しており、パレット800u#は、測距センサ302より高い位置に存在しており、パレット800l#は、測距センサ302より低い位置に存在している。
(Modification 3)
When an object (subject) is photographed by a distance measuring sensor, the appearance of the object greatly differs depending on the positional relationship between the object and the distance measuring sensor. FIG. 11 is a diagram showing the relative positional relationship between the
図12は、図11の各パレット800を測距センサ302によって撮影して得られる距離画像を示す図である。パレット800と測距センサ302の相対的な位置関係に応じて、識別器340による検出対象である特定部位(桁804)の像も大きく異なる。もし、識別器340の学習段階において、特定の位置関係にあるパレット800##(たとえば正対する800mc)の特定部位801##のみを含むような教師データ群を用いて、識別器340の機械学習を行ったとすると、別の位置関係にあるパレット800**(ただし**≠##)の特定部位801**の位置検出精度が低下するおそれがある。この問題は、測距センサ302の視野角が広い場合に顕著に表れる。
FIG. 12 is a diagram showing a distance image obtained by photographing each
フォーク604を、パレット800の穴802に干渉なく挿入するためには、フォーク604とパレット800の相対的な位置を数cmより高い精度で制御する必要があり、そのためには特定部位801を同じ数cmの高い精度で位置検出する必要がある。なお本発明者らが検討したところ、識別器340の学習段階において、さまざまな相対位置関係にあるパレットの特定部位801を撮影しておき、それらを教師データとして機械学習を行うと、識別器340によって特定部位801を見つけやすくなるものの、位置検出精度はそれほど高くならない場合がある。
In order to insert the
変形例3ではこの問題を解決し、位置検出精度を高めるための手法を説明する。図13は、変形例3に係るコントローラ310Bのブロック図である。コントローラ310Bは、マイコン320Bを備える。マイコン320Bは、識別器340および処理部350に加えて、パターンマッチング処理部360と、テンプレート画像生成部362を備える。
Modification 3 will explain a technique for solving this problem and improving the position detection accuracy. FIG. 13 is a block diagram of a
識別器340については上述したとおりであり、事前の機械学習に得られた予測モデルを用いて、特定部位801を検出可能に構成されている。なお上述のように、この変形例3では、識別器340における特定部位801の位置検出精度がそれほど高くない場合を想定する。
識別器340は、元の距離画像D2のうち検出した特定部位801を含む一部分である、部分距離画像D4を抽出し、パターンマッチング部360に与える。また識別器340は、テンプレート画像生成部362に対して、検出した特定部位の位置情報D5を生成し、テンプレート画像生成部362に供給する。位置情報D5は、検出した特定部位の座標であってもよいし、元の距離画像D2を複数の範囲に分割したときに、特定部位を含む範囲を示すデータであってもよい。
The
テンプレート画像生成部362は、位置情報D5にもとづいて、テンプレート画像D6を生成する。なおこのテンプレート画像D6は、距離画像であることに留意されたい。位置情報D5が与えられると、特定部位と測距センサ302の相対的な位置関係がわかるため、その位置関係において、測距センサ302によって特定部位を撮影したときに得られるであろう距離画像を推定できる。テンプレート画像生成部362は、この位置関係に応じた距離画像をテンプレート画像としてパターンマッチング部360に供給する。
パターンマッチング部360は、位置情報に応じたテンプレート画像D6を利用して、テンプレートマッチングにより、部分距離画像D4の中から、検出対象である特定部位の位置を検出し、最終的な位置情報D7を出力する。
The
以上が変形例3に係るコントローラ310Bの構成である。つづてその動作を説明する。図14(a)~(c)は、変形例3に係るコントローラ310Bの処理を説明する図である。図14(a)は、あるシチュエーションにおいて得られた距離画像D2を示す。この距離画像D2が識別器340に入力され、パレット800の特定部位801が検出される。ただしその位置検出精度はそれほど高くはなく、特定部位801のおおよその位置が検出される。
The above is the configuration of the
識別器340が検出した特定部位801の位置を含むように、注目領域(ROI:Region Of Interest)が設定され、ROIが部分距離画像D4としてパターンマッチング部360に供給される。図14(b)には、部分距離画像D4が示される。部分距離画像D4は、特定部位801が存在しうる範囲であり、たとえば識別器340による検出位置Pを中心とする矩形領域とすることができる。
A region of interest (ROI) is set so as to include the position of the
テンプレート画像生成部362には、図14(c)に示すような複数のテンプレート画像D6_1~D6_Nが用意されている。テンプレート画像生成部362は、複数のテンプレート画像D6_1~D6_Nの中から、位置情報D5に応じたひとつを選択する。選択されたテンプレート画像D6_iは、特定部位801が存在しうる範囲に適したものとなっている。
図14(d)に示すように、パターンマッチング部360は、テンプレートマッチングにより、部分距離画像D4のなかから、テンプレート画像D6_9を検出し、特定部位801の位置を高精度に検出する。以上がコントローラ310Bの動作である。
As shown in FIG. 14(d), the
このようにコントローラ310Bによれば、前処理として、識別器340によって粗い位置検出を行い、特定部位の粗い存在位置あるいは存在範囲を絞り込む。次のステップとして絞り込まれた範囲内で、存在範囲に適したテンプレート画像を用いたテンプレートマッチングを行うことにより、検出対象の位置を正確に検出できる。
In this way, according to the
(変形例4)
図15(a)~(c)は、変形例4に係るコントローラの処理を説明する図である。図15(a)は、あるシチュエーションにおいて得られた距離画像D2を示す。この距離画像D2が識別器340に入力され、パレット800の特定部位801が検出される。ただしその位置検出精度はそれほど高くはない。たとえば距離画像D2は複数の範囲900_1~900_N(この例ではN=9)に分割されており、識別器340は、複数の範囲900_1~900_Nのうち、特定部位801を含む範囲900を、注目領域(ROI:Region Of Interest)とし、ROIを部分距離画像D4としてパターンマッチング部360に供給する。またROIの位置を示す位置情報D5を、テンプレート画像生成部362に出力する。
(Modification 4)
15A to 15C are diagrams for explaining the processing of the controller according to Modification 4. FIG. FIG. 15(a) shows a distance image D2 obtained in a certain situation. This distance image D2 is input to the
テンプレート画像生成部362には、複数の範囲900_1~900_9それぞれに対応するテンプレート画像D6_1~D6_9が用意されている。テンプレート画像生成部362は、現在のROIが9番目の領域であるから、それに対応するテンプレート画像D6_9を選択し、パターンマッチング部360に供給する。
Template images D6_1 to D6_9 corresponding to a plurality of ranges 900_1 to 900_9 are prepared in the template
パターンマッチング部360は、テンプレートマッチングにより、部分距離画像D4のなかから、テンプレート画像D6_9を検出し、特定部位801の位置を高精度に検出する。以上がコントローラ310Bの動作である。
The
このようにコントローラ310Bによれば、前処理として、識別器340によって粗い位置検出を行い、特定部位の粗い存在位置あるいは存在範囲を絞り込む。そして絞り込まれた範囲内で、より適切なテンプレート画像を用いることにより、検出対象の位置を正確に検出できる。
In this way, according to the
(変形例5)
テンプレート画像生成部362は、テンプレート画像D6を、位置情報D5にもとづいてリアルタイムで生成してもよい。テンプレート画像生成部362には、パレット800の3次元モデルのデータを格納しておく。そして、仮想的な3次元空間内に、測距センサとパレット800のモデルを配置し、測距センサによって撮影されるであろう特定部分の距離画像を生成することができる。この場合、さらに位置検出精度を高めることができる。
(Modification 5)
The
(変形例6)
変形例3や4では、測距センサ302とパレット800の、水平方向/垂直方向に関する相対的な位置関係の違いについて議論した。変形例6では、測距センサ302とパレット800の奥行き方向の距離の違いについて検討する。測距センサ302からの見え方は、パレット800と測距センサ302の奥行き方向の距離によっても変化する。たとえばパレット800と測距センサ302が正対する場合であっても、それらの距離が変化すると、特定部位801の距離画像の大きさが変化する。
(Modification 6)
Modifications 3 and 4 discussed differences in the relative positional relationship between the
そこで位置情報D5は、測距センサ302と特定部位801の奥行き方向の距離情報を含んでもよい。テンプレート画像生成部362は、奥行き方向の距離に応じたテンプレート画像を生成することができる。最も簡易には、奥行きの方向の距離に応じてテンプレート画像を拡大・縮小してもよい。
Therefore, the position information D5 may include distance information between the
(変形例7)
実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト(ハンドパレット)やAGV(Automatic Guided Vehicle)、フォークローダー(フォーク付きのホイルローダー)など、パレットを取り扱うさまざまな搬送装置に適用することができる。
(Modification 7)
In the embodiments, a forklift was described as an example of a transport device, but the application of the present invention is not limited to that. It can be applied to various conveying devices that handle pallets.
600 フォークリフト
602 車体
604 フォーク
606 昇降体
608 マスト
610 前輪
612 後輪
700 操縦席
702 イグニッションスイッチ
704 ステアリングホイール
706 リフトレバー
708 アクセルペダル
710 ブレーキペダル
712 前後進レバー
714 ダッシュボード
300 フォークリフト
302 測距センサ
303 カメラ
304 通知手段
306 ディスプレイ
308 スピーカ
310 コントローラ
320 マイコン
330 距離画像取得部
340 識別器
350 処理部
360 パターンマッチング部
362 テンプレート画像生成部
D1 測距データ
D2 距離画像
D3 画像データ
D4 部分距離画像
D5 位置情報
D6 テンプレート画像
800 パレット
801 特定部位
802 穴
804 桁
600
Claims (8)
(i)前記測距センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、(ii)前記距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように機械学習により構成された識別器を有する演算部と、
を備え、
前記演算部は、前記識別器によって前記距離画像の中から前記検出対象の存在位置を示す位置情報を生成し、
前記演算部は、前記位置情報に応じたテンプレート画像を利用したテンプレートマッチングにより、前記検出対象の位置を相対的に高い精度で検出することを特徴とする搬送装置。 a ranging sensor;
(i) It is possible to acquire a distance image in which pixel values represent distances based on the output of the distance measuring sensor, and (ii) Based on the distance image, it is possible to specify a detection target, which is a pallet or a specific part of the pallet. A calculation unit having a discriminator configured by machine learning in
with
The calculating unit generates position information indicating the existing position of the detection target from the distance image by the classifier,
The conveying device, wherein the calculation unit detects the position of the detection target with relatively high accuracy by template matching using a template image corresponding to the position information.
前記演算部は、前記識別器の出力にもとづいて前記検出対象の位置を特定し、前記複数のテンプレート画像の中から、特定した位置に対応するひとつを選択することを特徴とする請求項1から6のいずれかに記載の搬送装置。 A plurality of template images are prepared in advance,
2. The operation unit specifies the position of the detection target based on the output of the discriminator, and selects one of the plurality of template images corresponding to the specified position. 7. The conveying device according to any one of 6 .
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148358 | 2018-08-07 | ||
JP2018148358 | 2018-08-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020023397A JP2020023397A (en) | 2020-02-13 |
JP7300646B2 true JP7300646B2 (en) | 2023-06-30 |
Family
ID=69618232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145554A Active JP7300646B2 (en) | 2018-08-07 | 2019-08-07 | Conveyor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7300646B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7086148B2 (en) | 2020-08-31 | 2022-06-17 | 三菱ロジスネクスト株式会社 | Pallet detectors, forklifts, pallet detection methods, and programs |
KR102409821B1 (en) * | 2020-10-19 | 2022-06-20 | 시그널시스템 주식회사 | Pallet hole detection device and detection method |
JP7544649B2 (en) | 2021-03-31 | 2024-09-03 | 住友重機械工業株式会社 | Cargo Handling System |
WO2023033550A1 (en) * | 2021-08-31 | 2023-03-09 | 주식회사 파인에스엔에스 | Apparatus for providing forklift interface on basis of image analysis, and operation method therefor |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346654A (en) | 2004-06-07 | 2005-12-15 | Glory Ltd | Image recognition device, image recognition method and program making computer execute the method |
JP2007084162A (en) | 2005-09-20 | 2007-04-05 | Toyota Industries Corp | Cargo handling supporting device of fork lift |
JP2010189130A (en) | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | Cargo handling support device for forklift |
JP2015225453A (en) | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | Object recognition device and object recognition method |
US20160090283A1 (en) | 2014-09-25 | 2016-03-31 | Bt Products Ab | Fork-Lift Truck |
JP2017151650A (en) | 2016-02-23 | 2017-08-31 | 村田機械株式会社 | Object state specification method, object state specification apparatus, and conveyance vehicle |
US20170316253A1 (en) | 2016-04-27 | 2017-11-02 | Crown Equipment Corporation | Pallet detection using units of physical length |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143659A (en) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | Object detector |
-
2019
- 2019-08-07 JP JP2019145554A patent/JP7300646B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346654A (en) | 2004-06-07 | 2005-12-15 | Glory Ltd | Image recognition device, image recognition method and program making computer execute the method |
JP2007084162A (en) | 2005-09-20 | 2007-04-05 | Toyota Industries Corp | Cargo handling supporting device of fork lift |
JP2010189130A (en) | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | Cargo handling support device for forklift |
JP2015225453A (en) | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | Object recognition device and object recognition method |
US20160090283A1 (en) | 2014-09-25 | 2016-03-31 | Bt Products Ab | Fork-Lift Truck |
JP2017151650A (en) | 2016-02-23 | 2017-08-31 | 村田機械株式会社 | Object state specification method, object state specification apparatus, and conveyance vehicle |
US20170316253A1 (en) | 2016-04-27 | 2017-11-02 | Crown Equipment Corporation | Pallet detection using units of physical length |
Also Published As
Publication number | Publication date |
---|---|
JP2020023397A (en) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7300646B2 (en) | Conveyor | |
KR102326097B1 (en) | Pallet detection using units of physical length | |
US11216673B2 (en) | Direct vehicle detection as 3D bounding boxes using neural network image processing | |
JP7103077B2 (en) | Remote control system for forklifts | |
JP6649796B2 (en) | Object state specifying method, object state specifying apparatus, and carrier | |
US11718513B2 (en) | Position and posture estimation system | |
US20160330434A1 (en) | Control method of a depth camera | |
JPH05201298A (en) | Vehicle surrounding monitor device | |
US20200311964A1 (en) | Object detection device and object detection method | |
WO2021079790A1 (en) | Operation assistance device for cargo handling vehicle | |
JP7426881B2 (en) | Cargo handling support system | |
US20230237809A1 (en) | Image processing device of person detection system | |
JP7192706B2 (en) | Position and orientation estimation device | |
JP2022136849A (en) | Container measurement system | |
CN112416000A (en) | Unmanned formula car environment sensing and navigation method and steering control method | |
WO2022004495A1 (en) | Obstacle detection device and obstacle detection method | |
JP7488991B2 (en) | Industrial Vehicles | |
JP7236705B2 (en) | Method of generating teacher data used for learning transport equipment | |
JP2018178878A (en) | Industrial vehicle | |
JP2022112068A (en) | Loading operation support device, carrier device, loading operation support method, and loading operation support program | |
JP2020142903A (en) | Image processing apparatus and control program | |
JP2022098320A (en) | Work support device for forklift | |
JP2022152449A (en) | Method for generating teacher data used for learning of transport device | |
JP2024006357A (en) | Method for generating teacher data used for learning of transport device | |
EP4216177A1 (en) | Image processing device of person detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7300646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |