JP7375800B2 - 荷役機、車載装置、方法、及びプログラム - Google Patents

荷役機、車載装置、方法、及びプログラム Download PDF

Info

Publication number
JP7375800B2
JP7375800B2 JP2021179753A JP2021179753A JP7375800B2 JP 7375800 B2 JP7375800 B2 JP 7375800B2 JP 2021179753 A JP2021179753 A JP 2021179753A JP 2021179753 A JP2021179753 A JP 2021179753A JP 7375800 B2 JP7375800 B2 JP 7375800B2
Authority
JP
Japan
Prior art keywords
transported
management device
work management
height
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021179753A
Other languages
English (en)
Other versions
JP2022009953A (ja
Inventor
淳 内村
秀明 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021179753A priority Critical patent/JP7375800B2/ja
Publication of JP2022009953A publication Critical patent/JP2022009953A/ja
Priority to JP2023183844A priority patent/JP2023182848A/ja
Application granted granted Critical
Publication of JP7375800B2 publication Critical patent/JP7375800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00Type of vehicles
    • B60L2200/40Working vehicles
    • B60L2200/42Fork lift trucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Description

本発明は、荷役機、車載装置、方法、及びプログラムに関する。
近年、自動運転技術やロボット技術の発展に伴い、レーザやレーダを活用した空間認識技術の精度が向上し、また、空間認識センサの低価格化が進んでいる。一方、フォークリフト等の荷役機において、荷役作業を管理する装置が用いられている。
例えば、特許文献1には、コンテナとの距離が所定値に達した事を検出し、検出された距離が所定値に達した事をオペレータに告知することが記載されている。
例えば、特許文献2には、カメラにより撮影されたマークの画面上の位置からフォーク2と荷役対象の左右・上下のずれ量を算出し、そのずれ量を無くすようにフォーク2を荷役対象に自動で位置合わせするフォーク自動位置合わせ制御が行われることが記載されている。
特開2000-335896号公報 特開2003-128395号公報
しかしながら、特許文献1記載の技術は、フォーク自体がコンテナに衝突してしまい、コンテナにフォークを差し込めずに運搬できない、という問題がある。また、特許文献2記載の技術では、荷役対象にマークを付さなければならず、マークが付されていない荷役対象を運搬できない、という問題がある。
以上に例示したように、特許文献1-2記載の技術は、運搬対象を適切に運搬できない場合がある。
そこで、本発明の一態様は、運搬対象を適切に運搬できることを目的としている。
本発明の一態様は、運搬対象を把持するための差込爪の高さを上下させる第1の動作を行う手段と、電磁波の水平走査により物体までの距離をセンシングする空間認識装置に対して、当該物体における前記水平走査の高さを上下させる第2の動作を、前記第1の動作と異なるタイミングで行わせる手段と、前記空間認識装置により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置を検出する手段と、を備える荷役機である。
また本発明の一態様は、運搬対象を把持するための差込爪の高さを上下させる第1の動作を行う荷役機に搭載される車載装置であって、電磁波の水平走査により物体までの距離をセンシングする空間認識装置に対して、当該物体における前記水平走査の高さを上下させる第2の動作を、前記第1の動作と異なるタイミングで行う手段と、前記空間認識装置により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置を検出する手段と、を備える車載装置である。
また本発明の一態様は、運搬対象を把持するための差込爪の高さを上下させる第1の動作を行い、電磁波の水平走査により物体までの距離をセンシングする空間認識装置に対して、当該物体における前記水平走査の高さを上下させる第2の動作を、前記第1の動作と異なるタイミングで行わせ、前記空間認識装置により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置を検出する、ことを含む方法である。
また本発明の一態様は、コンピュータに、運搬対象を把持するための差込爪の高さを上下させる第1の動作を行う処理と、電磁波の水平走査により物体までの距離をセンシングする空間認識装置に対して、当該物体における前記水平走査の高さを上下させる第2の動作を、前記第1の動作と異なるタイミングで行わせる処理と、前記空間認識装置により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置を検出する処理と、を実行させるプログラムである。
本発明の一態様によれば、運搬対象を適切に運搬できるという効果が得られる。
本発明の実施形態に係る運搬作業を説明する説明図である。 本実施形態に係る作業管理装置の固定位置の一例を表す概略図である。 本実施形態に係るセンシングの一例を表す概略図である。 本実施形態に係るセンシングの一例を表す別の概略図である。 本実施形態に係るセンシング結果の一例を表す模式図である。 本実施形態に係るずれ判定の一例を示す図である。 本実施形態に係るずれ判定の別の一例を示す概略図である。 本実施形態に係るずれ判定の別の一例を示す概略図である。 本実施形態に係るずれ判定の別の一例を示す概略図である。 本実施形態に係るずれ判定の別の一例を示す概略図である。 本実施形態に係るフォークリフトの動作の一例を示すフロー図である。 本実施形態に係る作業管理装置のハードウェア構成を示す概略構成図である。 本実施形態に係る作業管理装置の論理構成を示す概略ブロック図である。 本実施形態に係る作業管理装置の論理構成を示す別の概略ブロック図である。 本実施形態の変形例に係る正対判定の一例を示す概略図である。 本実施形態の変形例に係る挿入タイミング予測の一例を示す概略図である。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
<運搬作業について>
図1は、本発明の実施形態に係る運搬作業を説明する説明図である。
フォークリフトF1は、荷役機の一例である。フォークリフトF1には、フォークF101、F102が設けられている。フォークF101、F102は、差込爪の一例である。
フォークリフトF1は、フォークF101、F102を、荷物又はパレット等の運搬対象に差し込むことで、運搬対象を把持して運搬する。つまり、荷役機には、運搬対象に差し込むことで、運搬対象を把持する差込爪が設けられている。
コンテナ20は、運搬対象又は差込対象の一例である。コンテナ20は、荷物等を内部に納めるための容器である。コンテナ20には、フォークポケット201、202の開口部(差込部;凹部であっても良い)が設けられている。フォークポケット201、202は、それぞれ、フォークF101、F102を差し込む穴又は凹部である。フォークポケット201、202は、差込対象の一例である。
差込時又は運搬時にフォークリフトF1と対向する面(「差込面211」とも称する)は、フォークポケット201、202を有する。フォークポケット201、202は、運搬対象の正面(差込面211)から背面へ(図1ではY軸の正方向)、それぞれフォークF101、F102を差し込まれ、その先端部を背面から突き出させる穴又は凹部である。
図1では、フォークポケット201、202は、差込面211の下部において、差込面211の法線方向に真っ直ぐ伸びる穴である。
フォークF101、F102が、それぞれ、フォークポケット201、202に真っ直ぐに差し込まれた場合、フォークリフトF1は、コンテナ20を適切に(バランス良く、安定させて)把持して運搬することができる。
なお、コンテナ20やフォークポケット201、202の寸法等は、標準規格(例えば、JIS)で定められている。また、運搬対象は、コンテナ20に限らず、パレットであっても良いし、パレットとパレットに載せられた荷物の両方であっても良い。ここで、パレットとは、荷物を載せるための荷役台をいう。パレットには、フォークポケットが設けられている。また、フォークポケットは、3個以上(例えば、4個)あってもよい。
作業管理装置1は、荷役機に取り付けられ、固定されている。作業管理装置1は、例えばレーザセンサ等の空間認識センサを備える。本実施形態では、空間認識センサがレーザセンサである場合について説明する。つまり、作業管理装置1(空間認識センサ)は、レーザ光を照射して反射光を受光し、自装置から各物体までの距離Rをセンシングする。作業管理装置1は、センシング対象の範囲に対して、これを繰り返す。作業管理装置1は、例えば、レーザ光の照射方向と各物体までの距離Rによって、空間を認識する(図3~図6参照)。
作業管理装置1は、空間認識センサから得たセンシング情報に基づいて、コンテナ20(又は差込面211)を検出する。作業管理装置1は、センシング情報に基づいて、コンテナ20(又は差込面211)のフォークポケット201、202と、フォークF101、F102との位置関係がずれていないか否かを判定するずれ判定を行う。
ここで、位置関係とは、例えば、フォークリフトF1とコンテナ20が対向する方向と垂直な面(XZ平面)における位置関係(面に射影した位置関係)であるが、本発明はこれに限らず、XY平面やYZ平面における位置関係であっても良い。なお、フォークリフトF1とコンテナ20が対向する方向とは、フォークF101、F102を差し込む方向、又は、フォークリフトF1の進行方向(真っ直ぐに進む場合)でもある。
作業管理装置1は、判定結果を出力する。例えば、作業管理装置1は、ずれていると判定した場合、警告(例えば、警告音、警告光、警告画像、案内等)を出力する。
これにより、作業管理装置1は、例えば、作業者等に、フォークポケット201、202と、フォークF101、F102がずれている(単に「フォークがずれている」ともいう)か否かを知らせることができる。つまり、作業者等は、警告に応じてフォークリフトF1の位置やフォークF101、F102の位置(例えば高さ)を変更できる。その結果、作業者等は、フォークF101、F102をフォークポケット201、202に、正確に差し込ませることができる。
荷台L1は、搬出先の一例である。荷台L1は、トラックやトレーラの荷台、貨物列車の貨車等である。荷台L1には、緊締装置L11~L14が設けられている。緊締装置は、コンテナ20を繋いだり固定したりするために用いられる器具である。
コンテナ20は、フォークリフトF1に把持されて運搬され、荷台L1に載せられ、緊締装置L11~L14で荷台L1に固定される。
なお、図1に示す座標軸X、Y、Zは、本実施形態及びその変形例の各図において、共通する座標軸である。
<フォークリフトについて>
図2は、本実施形態に係る作業管理装置1の固定位置の一例を表す概略図である。
図2は、フォークリフトF1の正面図である。
フォークレールF11、F12(フィンガーバー)は、フォークF101、F102を取り付けるレールである。なお、フォークF101又はフォークF102は、フォークレールF11、F12に沿ってスライドさせられることにより、フォークF101とフォークF102の間隔を調整できる。
バックレストF13は、フォークレールF11、F12に取り付けられている。バックレストF13は、把持されたコンテナ20が崩れる、又はフォークリフトF1側へ落下することを防止する機構である。
マストF14は、フォークF101、F102を上下させるためのレールである。フォークレールF11、F12が、マストF14に沿って上下させられることで、フォークF101、F102が上下させられる。
作業管理装置1は、フォークレールF11の(X軸方向の)中央部分であって、フォークレールF11の下面側(下側)に固定されている。ただし、作業管理装置1は、フォークレールF11等の上面側(上側)に取り付けられても良い。また、作業管理装置1は、フォークレールF12、バックレストF13、マストF14、又はフォークリフトF1の車体に取り付けられていても良い。また、作業管理装置1又は空間認識センサは、複数個、取り付けられても良い。
なお、作業管理装置1がフォークレールF11、フォークレールF12、バックレストF13に固定されている場合、空間認識装置が照射するレーザ光を遮られることなく、コンテナ20に照射できる。この場合、フォークレールF11、フォークレールF12、バックレストF13は、フォークF101、F102やコンテナ20と一緒に上下するので、これらと作業管理装置1との相対的な位置関係を固定できる。
<センシングについて>
以下、作業管理装置1(空間認識センサ)によるセンシングについて説明する。
なお、本実施形態では、レーザ光の照射方式について、作業管理装置1がラスタースキャンを行う場合について説明するが、本発明はこれに限らず、他の照射方式(例えば、リサージュスキャン)であっても良い。
図3は、本実施形態に係るセンシングの一例を表す概略図である。
この図は、順次、照射されたレーザ光を、フォークリフトF1の上面側から見た場合の図である。なお、図3において、レーザ光の投射方向について、XY平面に投影した場合の角度(極座標の偏角)をθとする。Y軸に平行な軸であって、作業管理装置1(照射口)を通る軸(後述する初期光軸)を、θ=0とする。
作業管理装置1は、水平方向に(他の偏角φを一定にしたまま)、順次、レーザ光を照射することで、水平方向の走査を行う。
より具体的には、作業管理装置1は、偏角θの正方向に向かって、順次(例えば、等角度Δθ毎に)、レーザ光を照射する。作業管理装置1は、水平方向において特定範囲(XY平面に射影した偏角が-θmax≦θ≦θmaxの範囲)にレーザ光を照射(「水平走査」とも称する)した後、鉛直方向にレーザ光の照射方向をずらし、偏角θの負方向に向かって、レーザ光を照射する。
この偏角θの負方向の水平走査が完了した場合、作業管理装置1は、鉛直方向にレーザ光の照射方向を、さらにずらし、再度、X軸の正方向に水平走査を行う。
図4は、本実施形態に係るセンシングの一例を表す別の概略図である。
この図は、レーザ光の照射を、フォークリフトF1の側面側から見た場合の図である。なお、図3における水平走査は、図4の矢印の1本に相当する。
図4において、レーザ光の投射方向について、YZ平面に投影した場合の角度(極座標の偏角)をφとする。Y軸に平行な軸であって、作業管理装置1(照射口)を通る軸(初期光軸)を、φ=0とする。
作業管理装置1は、1回の水平走査毎に、偏角φの方向に等角度Δφだけ、レーザ光をずらす。より具体的には、作業管理装置1は、偏角θの正方向の水平走査を行った後、偏角φの正方向に等角度Δφだけ、レーザ光の照射方向をずらす。その後、作業管理装置1は、偏角θの負方向の水平走査を行った後、偏角φの正方向に等角度Δφだけ、さらに、レーザ光の照射方向をずらす。
作業管理装置1は、この動作を繰り返し、偏角φの正方向において、特定範囲(-φmax(例えば、φmax=90°)≦φ≦0の範囲)を照射する。なお、作業管理装置1は、特定範囲だけ照射をずらした後(φ=0)、偏角φの負方向に逆転させても良い。
なお、作業管理装置1は、別の順序や別の座標系で、レーザ光を照射しても良い。
図5は、本実施形態に係るセンシング結果の一例を表す模式図である。
図5は、図3、図4のセンシングの一例について、センシング結果を示すセンシング情報を表す。センシング情報は、例えば空間座標である。作業管理装置1は、この空間座標を、レーザ光の照射方向(偏角θ及び偏角φ)と反射元(物体)の距離Rに基づいて計算する。この空間座標は、センシング範囲において、反射元の位置を表す座標である。図5は、この空間座標を模式的に表す図である。
図5において、作業管理装置1は、コンテナ20、そのフォークポケット201、202、及び、フォークF101、F102を検出している。なお、符号Gを付した面は、路面Gである。
作業管理装置1は、第1検出処理によって、コンテナ20(少なくとも差込面211の一部)と、そのフォークポケット201、202を検出する。第1検出処理の一例では、例えば、作業管理装置1は、平ら又は略平らな面(凹凸を有する面も含む)を平面とし、地面又は床面に対して垂直(鉛直方向)又は略垂直に立っている平面を検出する。作業管理装置1は、この平面において、フォークポケット201、202を検出した場合、この平面をコンテナ20の差込面211であると判定する。
ここで、作業管理装置1は、例えば、検出した平面又は平面の下部において、レーザ光の反射光を検出しない部分、レーザ光の反射光の受信レベルが低い部分を、フォークポケット201、202として検出する。
なお、作業管理装置1は、検出した平面又は平面の下部において、平面までの距離に対して所定値以上の距離が変わる(遠くにある)部分を、フォークポケット201、202として検出しても良い。
また、作業管理装置1は、センシング情報とポケット位置情報を用いて、検出した平面から、フォークポケット201、202を検出しても良い。ここで、ポケット位置情報とは、コンテナ20の寸法と、コンテナ20におけるフォークポケット201、202の位置又は寸法(形状)との組合せを示す情報、又は、この組合せのパターンを示す情報である。つまり、作業管理装置1は、ポケット位置情報に基づいてフォークポケット201、202が存在する位置に、例えば、レーザ光の反射光の受信レベルが低い部分が所定の割合以上存在する場合は、ポケット位置情報に基づくフォークポケット201、202が存在すると判定しても良い。
作業管理装置1は、第2検出処理によって、フォークF101、F102を検出する。第2検出処理の一例では、例えば、作業管理装置1は、XY平面に平行又は略平行の面のうち、Y軸方向に特定の長さ以上、伸びる平面であって、X軸方向に特定の幅より小さい部分を、フォークF101、F102として検出する。なお、作業管理装置1は、フォークF101、F102の位置及び形状を予め記憶しても良い。
<ずれ判定>
図6は、本実施形態に係るずれ判定の一例を示す概略図である。
図6は、ずれ判定において、フォークがずれていないと判定される場合の図である。図6は、図5のセンシング情報を、XZ平面へ射影した図である。図6では、作業管理装置1が検出した物体(反射元)を実線で表す。
なお、作業管理装置1は、図2の位置に取り付けられた場合、フォークF101、F102の上面F1011、F1021を検出するが、フォークF101、F102の下面や側面は検出できない場合がある。この場合、例えば、作業管理装置1は、予め定めた厚み情報を記憶し、厚み情報が示す厚みを、フォークF101、F102の厚み(側面の長さ;Z軸方向の長さ)とする。作業管理装置1は、検出したフォークF101、F102の上面F1011、F1021から、厚み方向(Z軸方向)に、厚み情報が示す厚みだけ、フォークF101、F102が存在すると推定する。
具体的には、作業管理装置1は、フォークF101、F102について、図6の破線で示す形状を推定する。ただし、本発明はこれに限らず、作業管理装置1は、別の空間認識装置により、フォークF101、F102の下面や側面を検出させても良い。
図6では、フォークF101、F102は、それぞれ、フォークポケット201、202の範囲内に位置する。このときには、フォークリフトF1は、Y軸方向に真っ直ぐ前進する場合、フォークF101、F102を、コンテナ20にぶつけずに、それぞれ、フォークポケット201、202に差し込むことができる。
作業管理装置1は、図6のように、XZ平面の射影において、フォークF101、F102が、それぞれ、フォークポケット201、202の範囲内に位置する場合、フォークポケット201、202とフォークF101、F102がずれていない(フォークがずれていない)と判定する。
なお、作業管理装置1は、XZ平面の射影において、フォークF101、F102(の表面;外面)とフォークポケット201、202(の表面;内面)の隙間(X軸方向又はZ軸方向の隙間の長さ)が予め定めた距離以上ある場合に、フォークがずれていないと判定しても良い。換言すれば、作業管理装置1は、XZ平面の射影において、フォークF101、F102とフォークポケット201、202の隙間が予め定めた距離より小さい場合に、フォークがずれていると判定しても良い。
また、作業管理装置1は、XZ平面の射影において、フォークF101、F102の中心(対角線の交点)が、それぞれ、フォークポケット201、202の中心(対角線の交点)と予め定めた範囲内にある場合、フォークがずれていないと判定し、予め定めた範囲内にない場合、フォークがずれていると判定しても良い。予め定めた範囲とは、2点間の距離であっても良いし、X成分又はZ成分の距離であっても良い。
図7は、本実施形態に係るずれ判定の別の一例を示す概略図である。
図7は、ずれ判定において、フォークがずれていると判定される場合の図である。図7は、センシング情報を、XZ平面へ射影した図である。図7では、作業管理装置1が検出した物体(反射元)を実線で表す。
図7では、フォークF101、F102は、それぞれ、フォークポケット201、202の範囲外に位置する。具体的には、フォークF101、F102は、それぞれ、フォークポケット201、202の上方向(Z軸の正方向)に位置する。このときには、フォークリフトF1は、Y軸方向に真っ直ぐ前進する場合、フォークF101、F102を、コンテナ20(差込面211)にぶつけてしまい、フォークポケット201、202に差し込むことができない。
作業管理装置1は、図7のように、XZ平面の射影において、フォークF101がフォークポケット201の範囲外に位置する場合、又は、フォークF102がフォークポケット202の範囲外に位置する場合、フォークがずれていると判定する。
ここで、作業管理装置1は、フォークF101又はF102が、それぞれ、フォークポケット201又は202の上下方向(Z軸方向)にずれている場合、ずれの種別として、フォークが「高さ方向」にずれていると判定しても良い。また、作業管理装置1は、ずれ量として、高さ方向に「d1」だけ、ずれていると判定しても良い。また、作業管理装置1は、ずれの種別又はずれ量に基づく情報を出力させても良い。
図8は、本実施形態に係るずれ判定の別の一例を示す概略図である。
図8は、ずれ判定において、フォークがずれていると判定される場合の図である。図8は、センシング情報を、XZ平面へ射影した図である。図8では、作業管理装置1が検出した物体(反射元)を実線で表す。
図8では、フォークF101、F102は、それぞれ、フォークポケット201、202の範囲外に位置する。具体的には、フォークF101、F102は、それぞれ、フォークポケット201、202の右方向(X軸の正方向)に位置する。このときには、フォークリフトF1は、Y軸方向に真っ直ぐ前進する場合、フォークF101、F102を、コンテナ20(差込面211)にぶつけてしまい、フォークポケット201、202に差し込むことができない。
作業管理装置1は、図8のように、XZ平面の射影において、フォークF101がフォークポケット201の範囲外に位置する場合、及び、フォークF102がフォークポケット202の範囲外に位置する場合、フォークがずれていると判定する。
ここで、作業管理装置1は、フォークF101又はF102が、それぞれ、フォークポケット201又は202の左右方向(X軸方向)にずれている場合、ずれの種別として、フォークが「横方向」にずれていると判定しても良い。また、作業管理装置1は、ずれ量として、横方向に「d2」だけ、ずれていると判定しても良い。また、作業管理装置1は、ずれの種別又はずれ量に基づく情報を出力させても良い。
図9は、本実施形態に係るずれ判定の別の一例を示す概略図である。
図9は、ずれ判定において、フォークがずれていると判定される場合の図である。図9は、センシング情報を、XZ平面へ射影した図である。図9では、作業管理装置1が検出した物体(反射元)を実線で表す。
図9では、フォークF101、F102のいずれか一方は、それぞれ、フォークポケット201、202の範囲外に位置する。具体的には、フォークF101は、フォークポケット201の右方向(X軸の正方向)に位置する。このときには、フォークリフトF1は、Y軸方向に真っ直ぐ前進する場合、フォークF101を、コンテナ20(差込面211)にぶつけてしまい、フォークポケット201に差し込むことができない。
図9は、フォークF101とF102の間隔が、フォークポケット201、202の間隔に適合していないことを示し、図9の例の場合、フォークF101とF102の間隔を広げる必要がある。
作業管理装置1は、図9のように、XZ平面の射影において、フォークF101がフォークポケット201の範囲外に位置する、又は、フォークF102がフォークポケット202の範囲外に位置する、のいずれか一方の場合、フォークがずれていると判定する。
この場合、作業管理装置1は、ずれの種別として、フォークの「幅」がずれていると判定しても良い。また、作業管理装置1は、ずれ量として、横方向に「d3」だけ、ずれていると判定しても良い。また、作業管理装置1は、ずれの種別又はずれ量に基づく情報を出力させても良い。
図10は、本実施形態に係るずれ判定の別の一例を示す概略図である。
図10は、ずれ判定において、フォークがずれていると判定される場合の図である。図10は、センシング情報を、XZ平面へ射影した図である。図10では、作業管理装置1が検出した物体(反射元)を実線で表す。
図10は、コンテナ20には、4個のフォークポケット201、202、203、204が設けられている。この場合、フォークリフトF1は、左右方向(X軸方向;コンテナ20の幅方向)において、コンテナ20の中心線(対称軸Lc)に線対称なフォークポケット201と202の組合せ、又は、フォークポケット203と204の組合せのいずれか一方に、フォークF101とF102を差し込んで把持する必要がある。
図10では、フォークF101、F102は、それぞれ、コンテナ20の中心線に線対称でない組合せ(「不適切なポケットの組合せ」とも称する)のフォークポケット201、202、203、204の範囲内に位置する。具体的には、フォークF101、F102は、それぞれ、フォークポケット202、204の範囲内に位置する。このときには、フォークリフトF1は、Y軸方向に真っ直ぐ前進する場合、フォークF101、F102をフォークポケット202、204に差し込むことができる。しかし、フォークF101とF102の間にコンテナ20の中心が位置しないため、フォークリフトF1は、コンテナ20をバランス良く把持することができない。
作業管理装置1は、図10のように、XZ平面の射影において、フォークF101、F102が不適切なポケットの組合せの範囲内に位置する場合、フォークがずれている、つまり、適切なポケットの組合せからずれていると判定する。
この場合、作業管理装置1は、ずれの種別として、フォークが「適切なポケットの組合せ」からずれている、又は、「不適切なポケットの組合せ」であると判定しても良い。
なお、作業管理装置1は、検出したフォークポケットの数と並び順に基づいて、適切なポケットの組合せを選択しても良い。一例として、作業管理装置1は、フォークリフトが2爪フォークのときにフォークポケットを4個検出した場合、X軸方向に、2番目と3番目のフォークポケットの組合せ、又は、1番目と4番目のフォークポケットの組合せを、適切なポケットの組合せとして選択する。
<フォークリフトの動作>
図11は、本実施形態に係るフォークリフトF1の動作の一例を示すフロー図である。
(ステップS101)作業員等の操作により、フォークリフトF1は、エンジンを始動させる(ACC ON)。その後、ステップS102へ進む。
(ステップS102)作業管理装置1等の車載機は、電力が供給される、又は、エンジンが始動されたことを示す情報を取得することで、起動する。その後、ステップS103、S104、S05へ進む。
(ステップS103)作業管理装置1は、空間認識センサを用いて、空間を表すセンシング情報を取得する。具体的には、レーザ光の照射し、物体までの距離をセンシングする(センサ走査)。その後、ステップS106へ進む。
(ステップS104)作業管理装置1は、フォークリフトF1(作業管理装置1)の位置を示す位置情報を取得する。位置情報は、例えば、GNSS(全球測位衛星システム)の測位結果である。ただし、位置情報は、他の無線通信(例えば、無線LANやRFIDタグ)を用いた測位結果であっても良い。その後、ステップS106へ進む。
(ステップS105)作業管理装置1は、フォークリフトF1の状態又は作業員等による操作を示す車両情報を取得する。その後、ステップS106へ進む。
ここで、車両情報は、例えば、フォークリフトF1の速度、ステアリング角、アクセル操作、ブレーキ操作、ギヤ(前進、後進、高速、低速等)、メーカー、車種、車両識別情報等、フォークリフトF1が出力可能なデータである。また、車両情報には、フォークF101、F102の位置(高さ)、把持している運搬対象の有無、やその重量、或いはリフトチェーンの負荷状況、フォークF101、F102の種類等を示すフォーク情報、又は、作業員(運転手)の識別情報、作業場(倉庫や工場)や企業の識別情報、把持した(運搬した)運搬対象の識別情報(例えば、運搬対象に貼付されたRFID等で取得)等を示す作業情報等が含まれても良い。
(ステップS106)作業管理装置1は、ステップS103で取得したセンシング情報、ステップS104で取得した位置情報、及び、ステップS105で取得した車両情報を関連付ける(関連付けたデータを「関連付けデータ」とも称する)。例えば、作業管理装置1は、作業管理装置1の装置識別情報、取得日時とともに、センシング情報、位置情報、及び車両情報を関連付ける。その後、ステップS107へ進む。
(ステップS107)作業管理装置1は、ステップS106で関連付けた関連付けデータに基づいて、危険やイベントの有無を判定する。例えば、作業管理装置1は、関連付けデータに基づいて、上記のずれ判定を行う。危険やイベントがあると判定された場合(yes)、ステップS108へ進む。一方、危険やイベントがないと判定された場合(no)、ステップS109へ進む。
(ステップS108)作業管理装置1は、ステップS107で判定した危険やイベントの種類、又は、この種類と関連付けデータに基づいて、警告(案内を含む)を出力する。その後、ステップS109へ進む。
(ステップS109)作業管理装置1は、関連付けデータ、ステップS107の判定結果を示す判定情報、又は、ステップS108の警告の出力結果を示す出力情報を、関連付け、関連付けたデータを記録装置等に記録する。その後、ステップS110へ進む。
(ステップS110)作業管理装置1は、ステップS109で関連付けたデータを、サーバ等へ送信する。その後、ステップS111へ進む。
なお、このサーバは、例えば、作業場や企業において、複数のフォークリフトF1からのデータを、総合的に収集して管理する情報処理装置である。サーバに送信されたデータは、統計処理機能や機械学習機能により、分析される。サーバに送信されたデータ、又は、分析結果のデータは、運転の教育等に用いられる。例えば、運搬対象の積載が上手い、又は効率的な作業員の運転データは、お手本として用いられる。一方、運搬対象の破損や落下等があった場合には、そのときのデータは、原因究明や改善に用いられる。
(ステップS111)作業員等の操作により、フォークリフトF1のエンジンが停止された場合(yes)、ステップS112へ進む。一方、フォークリフトF1のエンジンが停止されていない場合(no)、ステップS103、S104、S05へ進む。つまり、作業管理装置1は、センシング等による情報の取得、データの関連付け、記録、送信を、エンジンが停止するまで行う。
(ステップS112)作業管理装置1等の車載機は、電力の供給が停止する、又は、エンジンが停止されたことを示す情報を取得することで、停止する又はスリープ状態となる。その後、本動作は終了する。
<作業管理装置の構成について>
図12は、本実施形態に係る作業管理装置1のハードウェア構成を示す概略構成図である。この図において、作業管理装置1は、CPU(Central Processing Unit)111、IF(Interface)112、通信モジュール113、センサ114(例えば、空間認識センサ)、ROM(Read Only Memory)121、RAM(Random Access Memory)122、及び、HDD(Hard Disk Drive)123を含んで構成される。
IF112は、例えば、フォークリフトF1の一部(運転席、車体、マストF14等)や作業管理装置1に設けられた出力装置(ランプやスピーカ、タッチパネルディスプレイ等)である。通信モジュール113は、通信アンテナを介して信号の送受信を行う。通信モジュール113は、例えば、GNSS受信機や無線LAN等の通信チップである。センサ114は、例えば、レーザ光を照射し、受信した反射光に基づくセンシングを行う。
図13は、本実施形態に係る作業管理装置1のハードウェア構成を示す概略構成図である。この図において、作業管理装置1は、センサ部101、車両情報取得部102、GNSS受信部103、解析部104、制御部105、出力部106、記録部107、及び、通信部108を含んで構成される。
センサ部101は、空間認識センサである。センサ部101は、例えばレーザ光によって、自装置から各物体までの距離Rをセンシングする。センサ部101は、レーザ光の照射方向(偏角θ、φ)及びセンシングした距離Rに基づいて、空間を認識する。なお、空間を認識するとは、周囲の物体を含む空間について、3次元座標を生成することをいうが、本発明はこれに限らず、2次元座標を生成することであっても良い。センサ部101は、センシング情報(例えば、座標情報)を生成し、制御部105へ出力する。
車両情報取得部102は、フォークリフトF1から車両情報を取得し、取得した車両情報を制御部105へ出力する。
GNSS受信部103は、位置情報を取得し、取得した位置情報を制御部105へ出力する。
解析部104は、センサ部101が出力したセンシング情報、車両情報取得部102が出力した車両情報、GNSS受信部が出力した位置情報を、制御部105から取得する。解析部104は、取得したセンシング情報、車両情報、位置情報を関連付けることで、関連付けデータを生成する。解析部104は、生成した関連付けデータを解析する。
例えば、解析部104は、センシング情報に基づく第1検出処理によって、平面とフォークポケット201、202を検出することで、差込面211(コンテナ20)を検出する。また、解析部104は、センシング情報に基づく第2検出処理によって、フォークF101、F102を検出する。
制御部105は、センサ部101が出力したセンシング情報、車両情報取得部102が出力した車両情報、GNSS受信部が出力した位置情報を取得し、例えば解析部104を用いて分析し、分析結果に基づいて判定を行う。
例えば、制御部105は、危険やイベントの有無の判定を行う。制御部105は、この判定の1つとして、上述のずれ判定を行う。
具体的には、制御部105は、センシング情報における位置関係であって、フォークF101、F102とフォークポケット201、202の位置関係に基づいて、フォークがずれているか否かを判定する。例えば、制御部105は、XZ平面へ射影した場合に、フォークF101、F102は、それぞれ、フォークポケット201、202の範囲内に位置するか否かを判定することで、フォークがずれているか否かを判定する。
制御部105は、判定結果又は、判定結果と関連付けデータに基づいて、出力部106から警告(案内を含む)を出力させる。なお、出力部106は、ずれの種別又はずれ量に基づく情報を出力しても良い。
制御部105は、判定結果を示す判定情報、及び関連付けデータを記録部107に記録するとともに、通信部108を介してサーバ等へ送信する。
なお、センサ部101は、図12のセンサ114で実現される。同様に、車両情報取得部102及びGNSS受信部103は、例えば、通信モジュール113で実現される。解析部104及び制御部105は、例えば、CPU111、ROM121、RAM122、又はHDD123で実現される。
(本実施形態のまとめ)
以上のように、本実施形態では、作業管理装置1は、フォークリフトF1(荷役機)に搭載される車載装置である。作業管理装置1(フォークリフトF1)では、図14に示すように、解析部104が空間認識センサ(空間認識装置)から取得したセンシング情報に基づいて、フォークF101、F102(差込爪)を差し込むコンテナ20(差込対象)を検出する。制御部105は、センシング情報に基づいて、フォークポケット201、202の開口部(差込部)とフォークF101、F102の位置関係がずれていないか否かを判定する、ずれ判定を行う。
これにより、作業管理装置1は、フォークF101、F102をフォークポケット201、202に、確実に差し込むことができ、運搬対象を適切に運搬できる。例えば、フォークリフトF1は、フォークポケット201、202が損傷又は破壊されてしまうことを防止できる。また、フォークリフトF1は、コンテナ20を適切に(バランス良く、安定させて)把持して運搬することができ、コンテナ20を落下させることを防止できる。
また例えば、作業管理装置1は、マークが付されていないコンテナ20であっても、フォークF101、F102をフォークポケット201、202に、確実に差し込むことができ、運搬対象を適切に運搬できる。ただし、作業管理装置1は、マークと併用しても良いし、マークが付されているコンテナ20を把持しても良い。
<変形例A1>
上記実施形態において、制御部105(フォークリフトF1又は作業管理装置1)は、センシング情報に基づいてフォークポケット201、202の開口部を有する差込面211に正対していると判定(「正対判定」とも称する)した後に、ずれ判定、又はずれ判定に基づく警告(「ずれ判定等」とも称する)を行っても良い。例えば、制御部105は、少なくとも1回の正対判定の後にずれ判定等を行い、少なくとも1回の正対判定の前には、ずれ判定等を行わなくてもよい。
これにより、作業管理装置1は、フォークリフトF1とコンテナ20(差込面211)を正対させ、正しい向きで対向させた上で、フォークがずれているか否かを判定できる。つまり、フォークリフトF1は、ずれなく、真っ直ぐに、フォークポケット201、202にフォークF101、F102を差し込むことができる。
以下、作業管理装置1が、センシング情報を用いて、正対判定を行う場合の一例について説明する。ただし、本発明はこれに限らず、作業管理装置1は、他の正対判定(例えば、RFIDを用いた正対判定や撮像画像に基づく正対判定)を行っても良い。
<正対判定>
図15は、本実施形態に係る正対判定の一例を示す概略図である。
図15(a)は、フォークリフトF1がコンテナ20に正対している場合の図である。図15(a)は、図5のセンシング情報を、XY平面へ射影した図である。
図15(b)は、フォークリフトF1がコンテナ20に正対していない場合の図である。図15(b)は、図6のセンシング情報を、XY平面へ射影した図である。
図15(a)、(b)において、実線はレーザ光を表す。また、図15(a)、(b)において、便宜上、コンテナ20、フォークF101、F102、及び作業管理装置1の射影を破線で記載している。
図15(a)において、作業管理装置1は、偏角θが-θP1≦θ≦θP1+mの範囲で、平面211を検出している。 図15(b)において、作業管理装置1は、偏角θが-θP2≦θ≦θP2+nの範囲で、平面211を検出している。なお、θのiは、1回の水平走査において、レーザ光を照射した順番、つまり、照射回数を表す。例えば、θ=-θmax+i×Δθである。
作業管理装置1は、検出した平面211において、フォークポケット201、202を検出した場合、この平面211を、コンテナ20の差込面(差込面211)であると判定する。
作業管理装置1は、フォークリフトF1が差込面211(コンテナ20)に正対しているか否かを判定する正対判定を、センシング情報に基づいて行う。例えば、作業管理装置1は、差込面211が基準面B1に平行か否か(傾いていないか否か)を判定することで、正対判定を行う。ここで、基準面B1とは、XZ平面に平行な平面であり、フォークリフトF1が真っ直ぐに進む場合に、その進行方向に垂直な面である。例えば、基準面B1は、このような面のうち、作業管理装置1(投射口)を含む平面である。
正対判定の具体例として、作業管理装置1は、作業管理装置1から物体(反射元)までの距離Rに基づいて、フォークリフトF1の基準面B1から差込面211までの距離L(「基準距離L」とも称する)を算出する。ここで、距離Rは、i回目の照射で検出した距離Rであって、作業管理装置1から物体(反射元)までの距離Rを表す。
例えば、作業管理装置1は、照射方向がθ、φの場合、物体までの距離Rを検出した場合、基準距離L=Rcos|φ|×cos|θ|として算出する。ここで、φは、上記のi番目の照射を行ったときの偏角φを表す。
作業管理装置1は、差込面211において、基準距離Lと基準距離L(i≠j)の差ΔLi,j=|L-L|に基づいて、正対判定を行う。一例として、作業管理装置1は、隣り合う基準距離Lと基準距離Li+1の差ΔLi+1,i=|Li+1-L|に基づいて、正対判定を行う。
この場合、作業管理装置1は、差込面211において、差ΔLi+1,iの全てが閾値T1以内である場合、フォークリフトF1が差込面211(コンテナ20)に正対していると判定する。
一方、作業管理装置1は、差込面211において、差ΔLi+1,iの少なくとも1つが閾値T1より大きい値である場合、フォークリフトF1が差込面211(コンテナ20)に正対していないと判定する。
図15(a)において(完全に正対している場合)、P1≦i≦P1+mの範囲で、Lは同じ値となる。この場合、例えばP1≦i≦P1+m-1の範囲で、差ΔLi+1,i=|Li+1-L|=0≦T1となる。この場合、作業管理装置1は、フォークリフトF1が差込面211(コンテナ20)に正対していると判定する。
図15(b)において、P2≦i≦P2+nの範囲で、Lは異なる値であり、例えば、Lはiの単調増加関数となる。この場合、例えばP1≦i≦P1+m-1の範囲で、差ΔLi+1,i=|Li+1-L|>T1となる。この場合、作業管理装置1は、フォークリフトF1が差込面211(コンテナ20)に正対していないと判定する。
<変形例A2>
上記実施形態において、制御部105(フォークリフトF1又は作業管理装置1)は、フォークF101、F102がフォークポケット201、202の開口部又はその近傍に位置するタイミングt(「挿入タイミングt」とも称する)に基づいて、ずれ判定等を行っても良い。例えば、制御部105は、挿入タイミングtよりも所定の時間t1だけ前に、ずれ判定等を行う。
これにより、作業管理装置1は、警告の必要性が低い場合にまで、警告を出力することを防止できる。なお、挿入タイミングtは、コンテナ20にフォークF101、F102が挿入され始めるタイミングでもある。また、挿入タイミングtは、算出時点から、フォークF101、F102がフォークポケット201、202の開口部に位置するまでの時間を表す。
具体的には、制御部105は、フォークF101、F102の先端とフォークポケット201、202の開口部(又は差込面211)との距離dと車両情報の車両速度に基づいて、挿入タイミングtを予測する(「挿入タイミング予測」とも称する)。制御部105は、挿入タイミングtよりも、所定の時間t1だけ前に、ずれ判定等を行う。観点すれば、制御部105は、挿入タイミングtよりも、所定の時間t1だけ前になるまでは、ずれ判定等を行わない。
図16は、本実施形態の変形例に係る挿入タイミング予測の一例を示す概略図である。
図16(a)、(b)は、センシング情報を、XY平面へ射影した図である。図16(a)、(b)において、距離dC1、dC2は距離dであり、長さf1はフォークF101、F102の長さ(Y軸方向の長さ)である。
図16(b)は、図16(a)の場合より、フォークリフトF1がコンテナ20に近づいた場合の図である。車両速度が同じときには、図16(b)の場合は、図16(a)の場合よりも、挿入タイミングt(挿入開始までに要する時間)が短い。
制御部105は、例えば、差込面211と基準面B1との距離から、長さf1を差し引くことで、距離dを算出する。なお、制御部105は、差込面211と基準面B1との距離として、照射方向が基準面B1の法線方向、つまり、θ=0、φ=0の場合に測定した基準距離Lを、距離dとしても良い。なお、制御部105は、長さf1を検出しても良いし、予め記憶しても良い。
制御部105は、算出した距離dを車両速度で除算することで、挿入タイミングtを算出する。制御部105は、算出した挿入タイミングtが、予め記憶する時間t1以内である場合にはずれ判定等を行い、時間t1より大きい場合にはずれ判定等を行わない。
<変形例A3>
上記実施形態において、制御部105(フォークリフトF1又は作業管理装置1)は、フォークF101、F102とフォークポケット201、202の開口部の相対的な位置関係に基づいて、ずれ判定等を行っても良い。
これにより、作業管理装置1は、警告の必要性が低い場合にまで、警告を出力することを防止できる。
具体的には、制御部105は、フォークF101、F102の先端の位置と、フォークポケット201、202の開口部(又は差込面211)との位置とに基づいて、ずれ判定等を行う。例えば、制御部105は、距離dが所定の距離d11(例えば1m)以下になった場合に、ずれ判定等を行う。観点すれば、制御部105は、距離dが所定の距離d11より大きい(遠い)場合に、ずれ判定等を行わない。
なお、制御部105は、例えば、フォークF101の先端とフォークF102の先端との中点から、差込面211までの距離dを用いる(図16参照)が、本発明はこれに限られない。制御部105は、距離dとして、フォークF101の先端又はフォークF102の先端のいずれか一方から差込面211までの距離を用いても良いし、フォークF101の先端に予め定めた距離f11を加算又は減算した値を用いても良い。また、差込面211までの距離は、差込面211の法線方向に限られず、基準面B1の法線方向、つまり、フォークリフトの進行方向又はフォークF101、F102の(軸方向)伸びる方向であっても良い。また、差込面211までの距離とは、差込面211の中心線(図10の対称軸Lc)までの距離であっても良い。この場合、差込面211は、基準距離Lに基づいて差込面211の辺を検出して中心線を算出しても良いし、エッジ検出等によって差込面211の辺を検出して中心線を算出しても良い。
<変形例A4>
上記実施形態において、制御部105(フォークリフトF1又は作業管理装置1)は、挿入タイミングtに基づいて、ずれ判定に基づく警告を変化させても良い。
例えば、制御部105は、フォークがずれていると判定したとき、挿入タイミングtがt2より大きい場合には、挿入タイミングtがt2以下である場合と比較して、より目立たない警告(小さな出力、例えば、小さい音や暗い光、時間や回数が少ない音や光の点滅、間隔の広い音や光の点滅等)で警告を行う。一方、制御部105は、フォークがずれていると判定したとき、挿入タイミングtがt2以下である場合には、挿入タイミングtがt2より大きい場合と比較して、より目立つ警告(大きな出力、例えば、大きい音や明るい光、時間や回数が多い音や光の点滅、間隔の狭い音や光の点滅等)で警告を行う。
<変形例A5>
上記実施形態において、制御部105(フォークリフトF1又は作業管理装置1)は、フォークF101、F102とフォークポケット201、202の開口部の相対的な位置関係に基づいて、ずれ判定に基づく警告を変化させても良い。
例えば、制御部105は、フォークがずれていると判定したとき、距離dが所定の距離d12より大きい(遠い)場合には、距離dが距離d12より小さい(近い)場合と比較して、より目立たない警告(小さな出力、例えば、小さい音や暗い光、時間や回数が少ない音や光の点滅、間隔の広い音や光の点滅等)で警告を行う。
一方、制御部105は、フォークがずれていると判定したとき、距離dが所定の距離d12以下である(近い)場合には、距離dが所定の距離d12より大きい(遠い)場合と比較して、より目立つ警告(大きな出力、例えば、大きい音や明るい光、時間や回数が多い音や光の点滅、間隔の狭い音や光の点滅等)で警告を行う。
<変形例B1:出力又はずれ判定の条件>
上記実施形態において、制御部105(フォークリフトF1又は作業管理装置1)は、ずれ判定を行う又は行わない条件を設定されても良い。
制御部105は、下記の第1条件が満たされた場合に、ずれ判定に基づく警告を行い、第1条件を満たさない場合には、ずれ判定に基づく警告を行わなくても良い。また、制御部105は、第1条件が満たされた場合に、ずれ判定又はセンシングを行い、第1条件が満たされない場合には、ずれ判定又はセンシングを行わなくても良い。
また、制御部105は、第1条件に基づいて、ずれ判定に基づく警告や、ずれ判定又はセンシング(以下、警告等と称する)の間隔を変更しても良い。
第1条件は、例えば、上述のように、コンテナ20とフォークリフトF1の距離が閾値よりも小さい(近接している)という条件である。
第1条件は、例えば、位置情報や車両情報に基づく条件であっても良い。例えば、制御部105は、倉庫等において、予め定めた位置(範囲)にフォークリフトF1が入った場合に、警告等を行い、それ以外の位置では警告等を行わなくても良い。
例えば、制御部105は、ギヤが前進の場合に警告等を行い、それ以外は警告等を行わなくても良い。
例えば、制御部105は、車両速度が閾値より遅い場合に警告等を行い、それ以外は警告等を行わなくても良い。逆に、制御部105は、車両速度が閾値より速い場合に警告等を行い、それ以外は警告等を行わなくても良い。
例えば、制御部105は、ステアリング角が閾値より小さい場合に警告等を行い、それ以外は警告等を行わなくても良い。
第1条件は、例えば、フォーク情報や作業情報に基づく条件であっても良い。
例えば、制御部105は、把持している運搬対象が無い場合、警告等を行い、把持している運搬対象が有る場合、警告等を行わなくても良い。制御部105は、フォークF101、F102の位置(高さ)が閾値より低い場合、警告等を行い、フォークF101、F102の位置(高さ)が閾値より高い場合、警告等を行わなくても良い。
例えば、制御部105は、特定の作業員が運転する場合、警告等を行い、それ以外の場合、警告等を行わなくても良い。
第1条件は、例えば、フォークF101、F102が差し込まれるときという条件であっても良い。
例えば、制御部105は、フォークF101、F102が差し込まれる場合、警告等を行い、フォークF101、F102が抜き出される場合、警告等を行わなくても良い。また、制御部105は、ギヤが前進の場合に警告等を行い、ギヤが後進の場合に警告等を行わなくても良い。
なお、図2に示したように、作業管理装置1がフォークリフトF1のX軸方向の中央部分に固定されている場合、フォークリフトF1が適切にコンテナ20を把持しようとするとき、フォークF101とフォークF102の中央部分、又は、フォークポケット201とフォークポケット202の中央部分に、作業管理装置1を位置させることができる。
また、作業管理装置1がフォークレールF11やバックレストF13に固定されている場合、作業管理装置1は、フォークレールF12に固定された場合と比較して、よりフォークF101、F102を認識し易くなる。つまり、作業管理装置1とフォークF101、F102が高さ方向(X軸方向)に離れるので、作業管理装置1は、フォークF101、F102の長さ方向(Y軸方向)の形状を、より多く認識できる(図3、図5参照)。
また、作業管理装置1がフォークレールF11やF12に固定されている場合、作業管理装置1は、バックレストF13に固定された場合と比較して、よりフォークポケット201、202を認識し易くなる。つまり、作業管理装置1とフォークポケット201、202が高さ方向に近づくので、作業管理装置1は、フォークポケット201、202へのレーザ光等の照射角度(高さ方向の角度)を、より水平(差込面に対して垂直)に近くできる。
なお、正対判定とは、フォークF101とフォークF102が、コンテナ20又は差込面211に垂直であるか否かを判定することであっても良い。
また、空間認識センサは、レーザ光以外を用いて空間認識を行っても良い。例えば、作業管理装置1は、レーザ光以外の電波を用いて空間認識を行っても良いし、例えば、撮像画像を用いて空間認識を行っても良い。例えば、空間認識センサは、単眼カメラ、ステレオカメラ、赤外線カメラ、ミリ波レーダ、光学レーザ、LiDAR(Light Detection And Ranging、Laser Imaging Detection And Ranging)、(超)音波センサ等であっても良い。
また、作業管理装置1は、フォークポケット201、202同士が水平方向に位置していない場合、つまり、鉛直方向にずれている場合には、警告等を出力しても良い。
また、作業管理装置1は、自動運転装置と接続されていても良いし、自動運転装置の一部であっても良い。つまり、作業管理装置1は、ずれ判定を行い、フォークがずれないようにフォークリフトF1を自動運転しても良い。例えば、作業管理装置1は、ずれ判定の結果、「高さ方向」にずれている場合には、フォークF101とフォークF102を昇降させ、高さを上下させる。例えば、作業管理装置1は、ずれ判定の結果、「横方向」にずれている場合には、ステアリング角、ギヤ、アクセル、ブレーキを調整して、フォークリフトF1の位置が横方向にずれるように調整する。
また、作業管理装置1は、路面Gや壁、所定距離より遠い位置にある物体を、検出対象(センシング情報)から除いても良い。作業管理装置1は、各面への射影する場合に、これらを射影対象から除く。
なお、作業管理装置1は、コンテナ20や荷台L1、フォークF101、F102を検出する場合、エッジ検出を用いても良い。ここで、エッジ検出で検出されるエッジは、例えば、距離R、又は、その変化率が大きい箇所である。
具体的なエッジ検出として、作業管理装置1は、検出された物体について、各座標軸での偏微分が閾値以上になる部分をエッジとしても良い。また例えば、作業管理装置1は、検出した平面同士の交じわる部分や、逆方向に隣接又は近接する点同士の距離Rの差が閾値以上になる部分、レーザ光の反射光を検出しない部分と隣接する部分、レーザ光の反射光の受信レベルが低い部分と隣接する部分を、エッジとしても良い。作業管理装置1は、その他の方式でエッジ検出を行っても良い。
[付記]
(1)物体までの距離をセンシングする空間認識装置から取得したセンシング情報に基づいて、差込爪の空間座標と、差込爪を差し込む差込部の空間座標とを検出する解析部と、検出された前記差込爪の位置及び形状と、検出された前記差込部の位置及び形状とに基づいて、前記差込部と前記差込爪の位置関係がずれていないか否かを判定するずれ判定を行う制御部と、を備える車載装置。
(2)前記解析部は、前記センシング情報に基づいて差込部を有する差込面の空間座標を検出し、前記制御部は、検出された前記差込面に正しい向きで対向していると判定した後に、前記ずれ判定、又は前記ずれ判定に基づく警告を行う(1)に記載の車載装置。
(3)前記制御部は、前記差込爪が前記差込部に挿入されるタイミングに基づいて、前記ずれ判定、又は前記ずれ判定に基づく警告を行う(1)又は(2)に記載の車載装置。
(4)前記制御部は、前記差込爪と前記差込部の位置関係に基づいて、前記ずれ判定、又は前記ずれ判定に基づく警告を行う(1)から(3)のいずれかに記載の車載装置。
(5)前記制御部は、前記差込爪が前記差込部に挿入されるタイミングに基づいて、前記ずれ判定に基づく警告を変化させる(1)から(4)のいずれかに記載の車載装置。
(6)前記制御部は、前記差込爪と前記差込部の位置関係に基づいて、前記ずれ判定に基づく警告を変化させる(1)から(5)のいずれかに記載の車載装置。
(7)(1)から(6)のいずれかに記載の車載装置を備える荷役機。
(8)物体までの距離をセンシングする空間認識装置から取得したセンシング情報に基づいて検出された差込爪の空間座標と差込爪を差し込む差込部の空間座標とに基づいて、前記差込部と前記差込爪の位置関係がずれていないか否かを判定する制御回路。
(9)解析部が、物体までの距離をセンシングする空間認識装置から取得したセンシング情報に基づいて、差込爪の空間座標と、差込爪を差し込む差込部の空間座標とを検出する解析過程と、制御部が、検出された前記差込爪の位置及び形状と、検出された前記差込部の位置及び形状とに基づいて、前記差込部と前記差込爪の位置関係がずれていないか否かを判定するずれ判定を行う制御過程と、を有する制御方法。
(10)コンピュータに、物体までの距離をセンシングする空間認識装置から取得したセンシング情報に基づいて、差込爪の空間座標と、差込爪を差し込む差込部の空間座標とを検出する解析手段、検出された前記差込爪の位置及び形状と、検出された前記差込部の位置及び形状とに基づいて、前記差込部と前記差込爪の位置関係がずれていないか否かを判定するずれ判定を行う制御手段、を実行させるためのプログラム。
なお、上記の作業管理装置1は、各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
F1・・・フォークリフト、F101、F102・・・フォーク、F11、F12・・・フォークレール、F13・・・バックレスト、F14・・・マスト、20・・・コンテナ、201、202・・・フォークポケット、211・・・差込面、1・・・作業管理装置、111・・・CPU、112・・・IF、113・・・通信モジュール、114・・・センサ、121・・・ROM、122・・・RAM、123・・・HDD、101・・・センサ部、102・・・車両情報取得部、103・・・GNSS受信部、104・・・解析部、105・・・制御部、106・・・出力部、107・・・記録部、108・・・通信部

Claims (9)

  1. 運搬対象を把持するための差込爪と、電磁波の水平走査により物体までの距離をセンシングする空間認識装置と、を備える荷役機であって、
    前記空間認識装置は、前記荷役機において前記差込爪の動作と連動しない位置に取り付けられ、前記差込爪の動作とは独立して前記物体における前記水平走査の高さを上下させる機構を備え、
    前記荷役機は、
    前記空間認識装置に対して、前記物体における前記水平走査の高さを上下させる第1の動作を行わせる手段と、
    前記空間認識装置の前記第1の動作により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置及び形状を表す空間座標を検出する手段と、
    検出した前記差込部の空間座標に基づいて前記差込爪の高さを上下させる第2の動作を行う手段と、
    を備え
    前記第2の動作により高さを上下させた前記差込爪を前記運搬対象の差込部に差し込むことで、前記運搬対象を把持する、
    荷役機。
  2. 検出された前記差込部が横方向にずれていると判定した場合に、機体の位置を移動させる、
    請求項1に記載の荷役機。
  3. 検出された前記差込部が高さ方向にずれていると判定した場合に、前記差込爪の高さを上下させる、
    請求項2記載の荷役機。
  4. 検出された2以上の前記差込部の間の距離と、2以上の前記差込爪の間の距離とが整合するか否かを判定する、
    請求項2乃至のいずれか1項に記載の荷役機。
  5. 検出された前記差込部に前記差込爪を差し込んだ場合に前記運搬対象をバランスよく把持できるか否かを判定する、
    請求項2乃至のいずれか1項に記載の荷役機。
  6. 検出された3以上の前記差込部に2以上の前記差込爪を差し込む組合せの中から、前記運搬対象をバランスよく把持できる組合せを選択する、
    請求項に記載の荷役機。
  7. 運搬対象を把持するための差込爪と、電磁波の水平走査により物体までの距離をセンシングする空間認識装置と、を備える荷役機に搭載される車載装置であって、
    前記空間認識装置は、前記荷役機において前記差込爪の動作と連動しない位置に取り付けられ、前記差込爪の動作とは独立して前記物体における前記水平走査の高さを上下させる機構を備え、
    前記車載装置は、
    前記空間認識装置に対して、前記物体における前記水平走査の高さを上下させる第1の動作を行わせる手段と、
    前記空間認識装置の前記第1の動作により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置及び形状を表す空間座標を検出する手段と、
    検出した前記差込部の空間座標に基づいて前記差込爪の高さを上下させる第2の動作を行う手段と、
    を備え、
    前記第2の動作により高さを上下させた前記差込爪を前記運搬対象の差込部に差し込むことで、前記運搬対象を把持する、
    車載装置。
  8. 運搬対象を把持するための差込爪と、電磁波の水平走査により物体までの距離をセンシングする空間認識装置と、を備え、を備える荷役機において使用される方法であって、
    前記空間認識装置は、前記荷役機において前記差込爪の動作と連動しない位置に取り付けられ、前記差込爪の動作とは独立して前記物体における前記水平走査の高さを上下させる機構を備え、
    前記方法は、
    前記空間認識装置に対して、前記物体における前記水平走査の高さを上下させる第1の動作を行わせ、
    前記空間認識装置の前記第1の動作により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置及び形状を表す空間座標を検出し、
    検出した前記差込部の空間座標に基づいて前記差込爪の高さを上下させる第2の動作を行い、
    前記第2の動作により高さを上下させた前記差込爪を前記運搬対象の差込部に差し込むことで、前記運搬対象を把持することを含む方法。
  9. 運搬対象を把持するための差込爪と、電磁波の水平走査により物体までの距離をセンシングする空間認識装置と、を備える荷役機を制御するコンピュータに、
    前記空間認識装置は、前記荷役機において前記差込爪の動作と連動しない位置に取り付けられ、前記差込爪の動作とは独立して前記物体における前記水平走査の高さを上下させる機構を備え、
    前記コンピュータは、
    前記空間認識装置に対して、前記物体における前記水平走査の高さを上下させる第1の動作を行わせる処理と、
    前記空間認識装置の前記第1の動作により取得した物体との距離に基づいて、前記差込爪を差し込む前記運搬対象の差込部の位置及び形状を表す空間座標を検出する処理と、
    検出した前記差込部の空間座標に基づいて前記差込爪の高さを上下させる第2の動作を行う手段と、
    を実行させ
    前記第2の動作により高さを上下させた前記差込爪を前記運搬対象の差込部に差し込むことで、前記運搬対象を把持するプログラム。
JP2021179753A 2017-03-22 2021-11-02 荷役機、車載装置、方法、及びプログラム Active JP7375800B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021179753A JP7375800B2 (ja) 2017-03-22 2021-11-02 荷役機、車載装置、方法、及びプログラム
JP2023183844A JP2023182848A (ja) 2017-03-22 2023-10-26 荷役機、車載装置、方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017056011A JP6972599B2 (ja) 2017-03-22 2017-03-22 車載装置、荷役機、制御回路、制御方法、及びプログラム
JP2021179753A JP7375800B2 (ja) 2017-03-22 2021-11-02 荷役機、車載装置、方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017056011A Division JP6972599B2 (ja) 2017-03-22 2017-03-22 車載装置、荷役機、制御回路、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023183844A Division JP2023182848A (ja) 2017-03-22 2023-10-26 荷役機、車載装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022009953A JP2022009953A (ja) 2022-01-14
JP7375800B2 true JP7375800B2 (ja) 2023-11-08

Family

ID=63584250

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017056011A Active JP6972599B2 (ja) 2017-03-22 2017-03-22 車載装置、荷役機、制御回路、制御方法、及びプログラム
JP2021179753A Active JP7375800B2 (ja) 2017-03-22 2021-11-02 荷役機、車載装置、方法、及びプログラム
JP2023183844A Pending JP2023182848A (ja) 2017-03-22 2023-10-26 荷役機、車載装置、方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017056011A Active JP6972599B2 (ja) 2017-03-22 2017-03-22 車載装置、荷役機、制御回路、制御方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023183844A Pending JP2023182848A (ja) 2017-03-22 2023-10-26 荷役機、車載装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200377351A1 (ja)
JP (3) JP6972599B2 (ja)
WO (1) WO2018173675A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6880884B2 (ja) * 2017-03-22 2021-06-02 日本電気株式会社 車載装置、荷役機、制御回路、制御方法、及びプログラム
JP7126204B2 (ja) * 2019-01-08 2022-08-26 住友ナコ フォ-クリフト株式会社 搬送装置
JP7156174B2 (ja) 2019-05-27 2022-10-19 株式会社豊田自動織機 フォークリフトの荷役制御装置
US11650596B2 (en) * 2019-05-31 2023-05-16 Cascade Corporation Load alignment aid
WO2021064443A1 (en) * 2019-09-30 2021-04-08 Power Stow International Aps Airport vehicle having an anti-collision system and method for operating a vehicle having an anti-collision system
DE102021203671B4 (de) 2021-04-14 2023-02-09 Zf Friedrichshafen Ag Verfahren zur Zustandsüberwachung eines Hubwagens eines Staplerfahrzeugs
US12084330B2 (en) * 2021-08-27 2024-09-10 Deere & Company Work vehicle fork alignment system and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005089013A (ja) 2003-09-12 2005-04-07 Nippon Yusoki Co Ltd フォークリフト
JP2006528122A (ja) 2003-05-26 2006-12-14 ダイムラークライスラー・アクチェンゲゼルシャフト フォークリフトの荷物支持手段上の可動センサ装置
JP2008290811A (ja) 2007-05-22 2008-12-04 Nippon Yusoki Co Ltd フォークピッチの自動調整装置
JP2013230903A (ja) 2012-04-27 2013-11-14 Hitachi Ltd フォークリフト
US20160090283A1 (en) 2014-09-25 2016-03-31 Bt Products Ab Fork-Lift Truck
JP2016204067A (ja) 2015-04-16 2016-12-08 株式会社豊田中央研究所 フォークリフト
JP2017019596A (ja) 2015-07-08 2017-01-26 株式会社豊田自動織機 無人フォークリフトにおける荷取り時の走行制御方法及び荷取り時の走行制御装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59116399U (ja) * 1983-01-24 1984-08-06 日立造船株式会社 フオ−クリフトトラツク
JPH08301596A (ja) * 1995-05-01 1996-11-19 Lion Corp 無人フォークリフトによる指定物の搬出方法および無人フォークリフト
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法
JP4882176B2 (ja) * 2001-07-18 2012-02-22 株式会社豊田自動織機 産業車両における荷役支援報知装置及び産業車両
DE102008043433A1 (de) * 2008-11-04 2010-05-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Beladen eines Laderaums mit einem Transportfahrzeug
JP2013086959A (ja) * 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
US20170015537A1 (en) * 2015-07-13 2017-01-19 George R. Bosworth, III Lifting fork positioning system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006528122A (ja) 2003-05-26 2006-12-14 ダイムラークライスラー・アクチェンゲゼルシャフト フォークリフトの荷物支持手段上の可動センサ装置
JP2005089013A (ja) 2003-09-12 2005-04-07 Nippon Yusoki Co Ltd フォークリフト
JP2008290811A (ja) 2007-05-22 2008-12-04 Nippon Yusoki Co Ltd フォークピッチの自動調整装置
JP2013230903A (ja) 2012-04-27 2013-11-14 Hitachi Ltd フォークリフト
US20160090283A1 (en) 2014-09-25 2016-03-31 Bt Products Ab Fork-Lift Truck
JP2016204067A (ja) 2015-04-16 2016-12-08 株式会社豊田中央研究所 フォークリフト
JP2017019596A (ja) 2015-07-08 2017-01-26 株式会社豊田自動織機 無人フォークリフトにおける荷取り時の走行制御方法及び荷取り時の走行制御装置

Also Published As

Publication number Publication date
JP6972599B2 (ja) 2021-11-24
JP2018158777A (ja) 2018-10-11
JP2023182848A (ja) 2023-12-26
US20200377351A1 (en) 2020-12-03
JP2022009953A (ja) 2022-01-14
WO2018173675A1 (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP7375800B2 (ja) 荷役機、車載装置、方法、及びプログラム
JP6880884B2 (ja) 車載装置、荷役機、制御回路、制御方法、及びプログラム
JP6822255B2 (ja) 車載装置、制御回路、制御方法、及びプログラム
JP6972600B2 (ja) 車載装置、荷役機、制御回路、制御方法、及びプログラム
US9279882B2 (en) Machine sensor calibration system
US8918302B2 (en) Machine sensor calibration system
JP6649796B2 (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
CN107539191A (zh) 包括操纵系统的车辆
JP4944840B2 (ja) 誘導システム及び誘導方法
JP2022028342A (ja) 無人搬送車システム
CN110929475B (zh) 对象的雷达简档的注释
JP7207046B2 (ja) 自律移動装置、誘導システムおよび自律移動装置の移動方法
JP2021160931A (ja) 荷役システム
JP2021086205A (ja) 識別部材、自律移動装置、連結システムおよび連結方法
US20230415800A1 (en) Rail transportation system, method for controlling rail transportation system, and trackside facility shape measurement system
KR20190001860A (ko) 대상체 표면 감지장치
JP7287329B2 (ja) フォークリフト
JP2021060737A (ja) 識別部材、識別部材を用いた自律走行装置と搬送対象物の連結システム及び識別部材を用いた自律走行装置と搬送対象物の連結方法
WO2022168377A1 (ja) 荷物搬送システム、並びに荷物搬送システムにおいて用いられる方法およびコンピュータプログラム
WO2024014194A1 (ja) 経路設定方法、プログラム及び経路設定システム
US20230184933A1 (en) Radar systems and method for backing a trailer
JP2022026702A (ja) エッジ検出装置
JP2020155131A (ja) 識別部材、識別部材の検出装置、自律移動装置、検出方法およびプログラム
JP2020154470A (ja) 自律移動装置、自律移動装置の移動制御方法および自律移動装置と搬送対象車との連結制御方法
JP2021154841A (ja) ホームドア制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R151 Written notification of patent or utility model registration

Ref document number: 7375800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151