JP6893198B2 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP6893198B2 JP6893198B2 JP2018169756A JP2018169756A JP6893198B2 JP 6893198 B2 JP6893198 B2 JP 6893198B2 JP 2018169756 A JP2018169756 A JP 2018169756A JP 2018169756 A JP2018169756 A JP 2018169756A JP 6893198 B2 JP6893198 B2 JP 6893198B2
- Authority
- JP
- Japan
- Prior art keywords
- fork
- forklift
- image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Description
(実施形態1における処理の概要)
実施形態1のフォークリフト制御装置1による処理の概要を図2に基づいて説明する。図2は、フォークリフト制御装置1による処理の概要について説明するための図である。フォークリフト制御装置1は、フォークリフト3のフォーク30を、パレット800のフォークポケットFPに容易に位置合わせするための情報処理装置の一例である。
フォークリフト制御装置1の要部構成について図1に基づいて説明する。図1は、フォークリフト制御装置1の要部構成の一例を示すブロック図である。図1に示されるように、フォークリフト制御装置1は、フォークリフト制御装置1の各部を統括して制御する制御部10と、フォークリフト制御装置1が使用する各種データを記憶する記憶部20を備えている。制御部10には、撮影制御部101、入力データ生成部102、検出部103、およびフォークリフト制御部104が含まれている。
入力データ生成部102は、検出部103が使用する学習済みモデルに入力する入力データを生成する。より詳細には、入力データ生成部102は、撮影装置4からIMG1を取得して、IMG1から入力データを生成する。本実施形態では、撮影装置4から取得したIMG1をそのまま入力データとする例を説明する。
検出部103は、機械学習により生成された学習済みモデルを用いて、IMG1からフォークポケットFPを検出する。この学習済みモデルの生成には、例えば、フォークポケットが写った画像から上記の入力データと同様にして生成した入力データと、該画像におけるフォークポケットが写っている領域を示す正解データとを対応付けた教師データを用いることができる。
以上のようにして生成された学習済みモデルに対し、入力データ生成部102がIMG1から生成した入力データを入力すると、学習済みモデルはIMG1においてフォークポケットFPが写っている可能性のある領域を示す出力データを出力する。また、学習済みモデルは、上記可能性の高さを示す確率値についても出力する。検出部103は、これらの出力データに基づいて、フォークポケットFPが写っている領域を検出する。例えば、検出部103は、フォークポケットFPが写っている可能性が閾値以上である領域を、IMG1におけるフォークポケットFPが写っている領域として検出してもよい。
フォークリフト制御装置1が実行する処理の流れを図3に基づいて説明する。図3は、フォークリフト制御装置1が実行する処理(情報処理方法)の一例を示すフローチャートである。
以上のように、検出部103は、パレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、IMG1からフォークポケットFPを検出する。そして、フォークリフト制御部104は、検出部103が検出したフォークポケットFPに、フォーク30を位置合わせするための所定の処理を実行する。それゆえ、フォークリフト制御装置1によれば、上述の通り、レーザ光の照射装置を用いなくとも、フォーク30をフォークポケットFPに容易に位置合わせすることができる。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図5は、ガイド画像の例を示す図である。図5の(a)は、運転者Mによるフォーク30の位置合わせ開始時におけるIMG2を示す。図5の(b)は、運転者Mによるフォーク30の位置合わせ終了時におけるIMG2を示す。ここでは、図2のように配置された撮影装置4にてパレット800等を撮影したIMG1が動画像であり、IMG2がIMG1に情報を重畳することにより生成した、いわゆるAR(Augmented Reality)画像である例を説明する。なお、図5では説明を分かりやすくするため、爪部31a・31b等の写り方について、図2のように配置された撮影装置4で実際に撮影した画像とは異なる態様で示している。
(1)フォーク30の爪部31a・31bの位置を示す情報(具体的には、図5の点PT1、線分LV1、および線分LH1)。
(2)フォークポケットFPa・FPbの位置を示す情報(具体的には、図5の点PT2、線分LV2、および線分LH2)。
(3)フォーク30の垂直方向の移動量を示す情報(具体的には、図5の矢印GV)。
(4)フォーク30の水平方向の移動量を示す情報(具体的には、図5の矢印GH)。
以上のように、実施形態2では、位置合わせ補助部204は、フォーク30をフォークポケットFPに挿入可能な位置に移動させる操作を行うように運転者Mをガイドする。つまり、実施形態2では、フォークポケットFPにフォーク30を位置合わせするための所定の処理は、フォーク30をフォークポケットFPに挿入可能な位置に移動させる操作を行うように運転者Mをガイドする処理である。該処理によれば、運転者Mは、該ガイドに従って、フォークポケットFPにフォーク30を容易に位置合わせすることができる。
上記各実施形態の検出部103は、学習済みモデルの出力データに加えて、フォークポケットFPの外観的特徴についても考慮してフォークポケットFPを検出してもよい。例えば、フォークポケットFPは、図2のIMG1の例で示したように、(1)水平方向に並んだ2つの孔部(FPaとFPb)で構成されている。また、(2)各孔部の形状は長方形状である。さらに、(3)フォークポケットFPはIMG1においてパレット800の内側に位置する。
上記各実施形態で説明した情報処理装置(フォークリフト制御装置1および位置合わせ補助装置2)の実行する処理の一部は、該情報処理装置と通信接続された1または複数の装置に実行させてもよい。例えば、検出部103の実行する処理の一部を、情報処理装置と通信接続されたAIサーバに実行させてもよい。この場合、例えば、情報処理装置は、入力データをAIサーバに送信し、該AIサーバから出力データを受信してフォークポケットFPを検出する。
フォークリフト制御装置1および位置合わせ補助装置2の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
2 位置合わせ補助装置(情報処理装置)
3 フォークリフト
30 フォーク
103 検出部
104 フォークリフト制御部(処理実行部)
204 位置合わせ補助部(処理実行部)
800 パレット
900 積荷(荷役対象物)
M 運転者
IMG1 荷役対象物が載置されたパレットを撮影した画像
FP,FPa,FPb フォークポケット
Claims (2)
- 情報処理装置であって、
荷役対象物を載置するパレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、フォークリフトが荷役を行う対象である荷役対象物が載置されたパレットを該フォークリフトに取り付けられた撮影装置によって撮影した画像からフォークポケットを検出する検出部と、
上記検出部が検出した上記フォークポケットに、上記フォークリフトのフォークを位置合わせするための所定の処理を実行する処理実行部と、を備えており、
上記所定の処理は、上記フォークリフトのフォークを、上記検出部が検出した上記フォークポケットに挿入可能な位置に移動させる操作を行うように、上記フォークリフトの運転者を案内する処理であり、
上記処理実行部は、上記パレットを撮影した上記画像に、上記フォークと上記フォークポケットとの、水平方向および垂直方向のずれの程度を示す情報を重畳したガイド画像を生成し、上記ガイド画像を表示装置に表示させ、
上記情報処理装置は、上記撮影装置を制御する撮影制御部をさらに備えており、
上記撮影制御部は、上記フォークのティルト操作が検出されたことを契機として、上記撮影装置に上記画像の撮影を行わせることを特徴とする情報処理装置。 - 情報処理装置による情報処理方法であって、
荷役対象物を載置するパレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、フォークリフトが荷役を行う対象である荷役対象物が載置されたパレットを該フォークリフトに取り付けられた撮影装置によって撮影した画像からフォークポケットを検出する検出ステップと、
上記検出ステップにおいて検出された上記フォークポケットに、上記フォークリフトのフォークを位置合わせするための所定の処理を実行する処理実行ステップと、を含んでおり、
上記所定の処理は、上記フォークリフトのフォークを、上記検出ステップにおいて検出された上記フォークポケットに挿入可能な位置に移動させる操作を行うように、上記フォークリフトの運転者を案内する処理であり、
上記処理実行ステップは、上記パレットを撮影した上記画像に、上記フォークと上記フォークポケットとの、水平方向および垂直方向のずれの程度を示す情報を重畳したガイド画像を生成し、上記ガイド画像を表示装置に表示させるステップを含んでおり、
上記情報処理方法は、上記撮影装置を制御する撮影制御ステップをさらに含んでおり、
上記撮影制御ステップは、上記フォークのティルト操作が検出されたことを契機として、上記撮影装置に上記画像の撮影を行わせるステップを含んでいることを特徴とする情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169756A JP6893198B2 (ja) | 2018-09-11 | 2018-09-11 | 情報処理装置および情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169756A JP6893198B2 (ja) | 2018-09-11 | 2018-09-11 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020040790A JP2020040790A (ja) | 2020-03-19 |
JP6893198B2 true JP6893198B2 (ja) | 2021-06-23 |
Family
ID=69797572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018169756A Active JP6893198B2 (ja) | 2018-09-11 | 2018-09-11 | 情報処理装置および情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6893198B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537096B (zh) * | 2021-07-21 | 2023-08-15 | 常熟理工学院 | 基于ros的agv叉车库位托盘识别及辅助定位方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59116399U (ja) * | 1983-01-24 | 1984-08-06 | 日立造船株式会社 | フオ−クリフトトラツク |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JPH11322294A (ja) * | 1998-05-13 | 1999-11-24 | Shinko Electric Co Ltd | 車両運転支援装置及び産業用車両 |
JP4882176B2 (ja) * | 2001-07-18 | 2012-02-22 | 株式会社豊田自動織機 | 産業車両における荷役支援報知装置及び産業車両 |
JP4666154B2 (ja) * | 2005-09-20 | 2011-04-06 | 株式会社豊田自動織機 | フォークリフトにおける荷役作業支援装置 |
JP2010189130A (ja) * | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | フォークリフトの荷役支援装置 |
-
2018
- 2018-09-11 JP JP2018169756A patent/JP6893198B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020040790A (ja) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6613343B1 (ja) | 判定装置および判定方法 | |
JP6338424B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
CN107666546A (zh) | 图像拍摄对位方法和系统 | |
JP6893198B2 (ja) | 情報処理装置および情報処理方法 | |
CN115524347A (zh) | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 | |
JP6586497B1 (ja) | 差込制御装置および差込制御方法 | |
EP3407696B1 (en) | Mounting apparatus and image processing method | |
JP6674515B2 (ja) | 判定装置および判定方法 | |
JP6722733B2 (ja) | 判定装置および判定方法 | |
JP3891697B2 (ja) | プレスブレーキの曲げ角度検出方法および曲げ角度検出装置 | |
JP4715653B2 (ja) | レーザポインタ位置判定システムおよびレーザポインタ位置判定方法 | |
EP3647236A1 (en) | Projection instruction device, baggage sorting system, and projection instruction method | |
JP2020010166A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP2020040812A (ja) | 出力制御装置および出力制御方法 | |
US11291149B2 (en) | Electronic component mounting machine and production line | |
JP2020037464A (ja) | 判定装置および判定方法 | |
JP4860452B2 (ja) | テンプレートマッチングを用いたマーク位置決め方法及び装置 | |
JPH07263897A (ja) | 部品認識装置及び部品実装装置 | |
US20220326716A1 (en) | Movement control method, movement control apparatus, movement control system, and program | |
CN104740870A (zh) | 指向辨识系统控制指向标志移动的方法 | |
JPH08285526A (ja) | 画像認識方式 | |
JP2014106109A (ja) | 検査装置、検査方法、検査プログラムおよび記録媒体 | |
JPH095022A (ja) | 画像認識によるパターン位置出し方法及び装置 | |
JP2013062378A (ja) | 位置決め装置、および位置決め方法 | |
CN113784875B (zh) | 相机位置检测装置和方法、相机单元以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200807 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200820 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200825 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201002 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201006 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210119 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210413 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210427 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210525 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6893198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |