JP7268575B2 - 荷役車両の操作支援装置 - Google Patents

Description

本発明は、荷役車両の操作支援装置に関する。

荷役車両は、荷役装置に積載された荷の搬送を行う。モニタに表示された撮像画像によって荷役車両の操作を支援する荷役車両の操作支援装置としては、例えば、特許文献１に記載されている。特許文献１に記載の荷役車両の操作支援装置は、カメラと、カメラにより撮像された撮像画像が表示されるモニタと、画像制御部と、を備える。画像制御部は、モニタにカメラによって撮像された撮像画像を表示させる。画像制御部は、画像認識によって撮像画像中からパレットや棚に付されたマーカーを検出し、マーカーの位置から目標位置を認識する。目標位置とは、荷役装置による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に荷役装置の位置合わせをする対象となる位置である。画像制御部は、荷役装置を目標位置に位置合わせするためのガイドを撮像画像に重畳して表示する。荷役車両の操作者は、モニタに表示された撮像画像及びガイドを見ながら荷役車両を操作することができる。

特開２００３－１５５１９８号公報

荷役車両の操作支援装置を用いて荷役装置を目標位置に位置合わせする場合、まず、操作者は、モニタに表示される撮像画像を見ながら大まかに荷役装置の位置合わせを行う。その後、操作者は、モニタに表示されるガイドを見ながら荷役装置の位置を調整する。これにより、効率的に荷役装置の位置合わせを行えると考えられる。特許文献１では、マーカーの検出、即ち、目標位置の検出によりガイドが表示される。従って、ガイドにより撮像画像が視認しにくくなり、荷役装置の位置合わせが行いにくくなる場合が生じ得る。

本発明の目的は、荷役装置を目標位置に位置合わせしやすい荷役車両の操作支援装置を提供することにある。

上記課題を解決する荷役車両の操作支援装置は、荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、前記荷役車両の前方を撮像するカメラと、前記荷役車両の操作者に視認可能な位置に配置されており、前記カメラにより撮像された撮像画像が表示されるモニタと、前記荷役装置による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に前記荷役装置の位置合わせをする対象となる目標位置と、前記荷役装置との相対距離を導出する相対距離導出部と、前記相対距離が予め定められた閾値未満の場合に前記荷役装置を前記目標位置に位置合わせするためのガイドを前記撮像画像に重畳して表示し、前記相対距離が前記閾値以上の場合に前記ガイドを非表示にするガイド表示部と、を備える。

ガイド表示部は、目標位置と荷役装置との相対距離が閾値未満の場合にガイドを撮像画像に重畳して表示する。目標位置と荷役装置との相対距離が閾値以上の場合にはガイドは非表示なので、目標位置と荷役装置との相対距離が閾値未満になるまではガイドによってモニタの撮像画像が視認しにくくなることが抑制されている。荷役車両の操作者は、目標位置と荷役装置との相対距離が閾値以上の場合にはモニタの撮像画像、目標位置と荷役装置との相対距離が閾値未満になるとモニタのガイドを見て荷役装置の位置合わせを行うことができる。従って、目標位置と荷役装置との相対距離が閾値以上の場合であってもモニタにガイドが表示される場合に比べて、荷役装置を目標位置に位置合わせしやすくなる。

上記荷役車両の操作支援装置について、前記ガイドは、前記荷役装置の現在位置と前記目標位置との差を示すインジケータであってもよい。
荷役装置の現在位置と目標位置との差を把握しやすく、更に荷役装置を目標位置に位置合わせしやすくなる。

上記荷役車両の操作支援装置について、前記ガイド表示部は、前記撮像画像に写る前記目標位置に沿うように前記ガイドを表示してもよい。
荷役車両の操作者は、モニタの撮像画像を見ながら荷役車両を操作する際に、目標位置と荷役装置との位置関係を確認しながら荷役車両の操作を行う。目標位置に沿うようにガイドを表示することで、モニタにガイドを表示したときの視線移動が少ない。このため、更に、荷役装置を目標位置に位置合わせしやすくなる。

本発明によれば、荷役装置を目標位置に位置合わせしやすい。

遠隔操作システムの概略構成図。 フォークリフト、及び遠隔操作装置の概略構成図。 遠隔操作システムで行われる処理を示すフローチャート。 目標位置と荷役装置との相対距離が閾値以上の場合のモニタを示す概略図。 目標位置と荷役装置との相対距離が閾値未満の場合のモニタを示す概略図。 変形例のインジケータが表示されたモニタを示す図。 インジケータの動きを示す図。

以下、荷役車両の操作支援装置の一実施形態について説明する。
図１に示すように、遠隔操作システム１０は、荷役車両としてのフォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。フォークリフト２０は荷の搬送等が行われる作業場に配置される。遠隔操作装置５０は操作室にいる操作者による操作によりフォークリフト２０を遠隔操作するための部材である。操作室は、作業場を直接視認できない場所、あるいは、作業場を直接視認しにくい場所である。なお、以下の説明において、前後左右とは、フォークリフト２０の前後左右である。フォークリフト２０の左右方向とは、フォークリフト２０の車幅方向である。

本実施形態のフォークリフト２０はリーチ式である。なお、フォークリフト２０としては、カウンタ式のものが用いられてもよい。フォークリフト２０は、車体２１と、車体２１に設けられた車輪２２と、車体２１の前方に向けて延びたリーチレグ２３と、車体２１の前方に設けられた荷役装置２４と、を備える。リーチレグ２３は、左右方向に離間して一対設けられている。荷役装置２４は、リーチレグ２３に対して起立したマスト２５と、マスト２５に取り付けられたバックレスト２６と、バックレスト２６に取り付けられたフォーク２７と、を備える。フォーク２７は、左右方向に離間して一対設けられている。フォーク２７は、荷が積載される部材である荷役具である。

図１及び図２に示すように、フォークリフト２０は、フォークリフト２０に走行動作を行わせる駆動機構２８と、フォークリフト２０に荷役動作を行わせる荷役機構２９と、メインコントローラ３１と、荷役操作部３２と、を備える。

駆動機構２８は、車輪２２を回転させる駆動源、及びフォークリフト２０の操舵を行う操舵機構などを含む。荷役機構２９は、マスト２５を動作させる油圧シリンダに作動油を供給する荷役ポンプ、荷役ポンプを駆動させる駆動源、作動油の流通を制御するバルブなどを含む。荷役機構２９は、マスト２５をリーチレグ２３に沿って前後方向に移動させるリーチ動作、マスト２５を傾動させるティルト動作、マスト２５を昇降させるリフト動作を荷役装置２４に行わせることができる。バックレスト２６及びフォーク２７は、マスト２５とともに移動、傾動、昇降する。荷役動作は、リーチ動作、ティルト動作、リフト動作のいずれか１つを含む動作である。

メインコントローラ３１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。メインコントローラ３１の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。メインコントローラ３１は、駆動機構２８及び荷役機構２９を制御することで、フォークリフト２０に走行動作及び荷役動作をさせる。

荷役操作部３２は、リーチ動作、ティルト動作、リフト動作に対応して個別に設けられており、荷役操作部３２に対応した荷役動作が行われる。荷役操作部３２は、フォークリフト２０の搭乗者によって操作される。図示は省略するが、フォークリフト２０は、荷役操作部３２の操作量を検出する操作量検出部を備え、操作量検出部の検出結果がメインコントローラ３１に出力される。また、図示は省略するが、フォークリフト２０は、搭乗者によって操作される走行操作部を備える。メインコントローラ３１は、荷役操作部３２及び走行操作部の操作に応じて駆動機構２８及び荷役機構２９の制御を行う。即ち、本実施形態のフォークリフト２０は、遠隔操作装置５０を用いた遠隔操作に加えて、フォークリフト２０の搭乗者による操作も可能なフォークリフトである。

フォークリフト２０は、カメラ４１と、画像処理部４２と、車両側無線機４３と、無線ユニット４４と、を備える。カメラ４１としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたものが挙げられる。

カメラ４１は、フォーク２７に荷が積載されていない状態で、水平画角及び垂直画角により規定される撮像範囲にフォーク２７が含まれるように取り付けられている。詳細にいえば、フォーク２７に荷が積載されていない状態で、カメラ４１の撮像範囲には２つのフォーク２７の先端が含まれるようにカメラ４１は取り付けられている。カメラ４１は、フォーク２７とともに昇降する部材に取り付けられている。本実施形態では、カメラ４１は、バックレスト２６に取り付けられている。カメラ４１は、フォーク２７よりも鉛直方向上方に設けられている。カメラ４１は、フォークリフト２０の前方を撮像する。カメラ４１は、荷役装置２４の前方を向いており、かつ、鉛直方向下方に向けて傾斜するように配置されている。従って、カメラ４１は、鉛直方向上方からフォーク２７を鳥瞰するように配置されているといえる。なお、荷役装置２４の前方とは、フォーク２７の向く方向ともいえる。

画像処理部４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。画像処理部４２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。画像処理部４２は、カメラ４１から所定の間隔で画像データを取得する。画像データは、例えば、ＲＧＢ形式のデータである。画像処理部４２は、カメラ４１から取得した画像データに対して画像処理を行う。画像処理部４２とメインコントローラ３１とは、ＣＡＮ：Controller Area NetworkやＬＩＮ：Local Interconnect Networkなどのプロトコルで互いに通信を行うことが可能である。

車両側無線機４３は、遠隔操作装置５０に画像データを送信するための通信インターフェースである。車両側無線機４３は、画像処理部４２から出力された画像データを変調して無線信号を生成する。車両側無線機４３は、無線信号を送信する。

無線ユニット４４は、遠隔操作装置５０と相互に通信を行うための通信インターフェースである。無線ユニット４４は、メインコントローラ３１や画像処理部４２から出力されたデータを変調して無線信号を生成する変調部と、遠隔操作装置５０から受信した無線信号を復調して、復調されたデータをメインコントローラ３１に出力する復調部と、を含む。無線ユニット４４は、フォークリフト２０の周辺の情報や、フォークリフト２０の情報を遠隔操作装置５０に送信する。フォークリフト２０の周辺の情報としては、例えば、フォーク２７と荷との相対距離が挙げられる。フォークリフト２０の情報としては、例えば、フォークリフト２０の操舵角やフォークリフト２０の速度が挙げられる。

次に、遠隔操作装置５０について説明する。
図２に示すように、遠隔操作装置５０は、フォークリフト２０を操作するための操作部５１と、操作コントローラ５２と、第１無線機５３と、第２無線機５４と、表示コントローラ５５と、モニタ５６と、を備える。操作部５１、操作コントローラ５２、表示コントローラ５５、及びモニタ５６は、操作室に設けられている。第１無線機５３及び第２無線機５４は、作業場に設けられている。

操作部５１は、操作室にいる操作者によって操作される。操作部５１は、例えば、傾倒可能なレバー式の操作部である。操作部５１は、遠隔操作装置５０によりフォークリフト２０を操作する際に用いられる。操作部５１には、フォークリフト２０を走行動作させる際に操作される走行操作部と、フォークリフト２０を荷役動作させる際に操作される荷役操作部と、が含まれる。操作部５１の操作量は、図示しない操作量検出部により検出され、操作コントローラ５２に出力される。

操作コントローラ５２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。操作コントローラ５２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。操作コントローラ５２は、操作部５１の操作量に応じて指令を生成する。

第１無線機５３は、無線ユニット４４と相互に通信を行うための通信インターフェースである。第１無線機５３は、操作コントローラ５２から出力されたデータを変調して無線信号を生成する変調部と、無線ユニット４４から受信した無線信号を復調して、復調されたデータを操作コントローラ５２に出力する復調部と、を含む。

操作コントローラ５２は、操作部５１の操作量に応じた指令を含むデータを第１無線機５３に出力することで、第１無線機５３及び無線ユニット４４を介してメインコントローラ３１に指令を与えることができる。メインコントローラ３１は、操作コントローラ５２からの指令を受信すると、指令に従って駆動機構２８及び荷役機構２９を制御する。これにより、操作室にいる操作者は、フォークリフト２０を遠隔操作することが可能である。また、操作コントローラ５２は、第１無線機５３を介してフォークリフト２０の周辺の情報やフォークリフト２０の情報を認識可能である。本実施形態では、フォークリフト２０は、操作室にいる操作者に操作される。操作室にいる操作者が、荷役車両の操作者となる。

第２無線機５４は、車両側無線機４３からの画像データを受信するための通信インターフェースである。第２無線機５４は、車両側無線機４３から受信した無線信号を復調し、復調された画像データを表示コントローラ５５に出力する。

表示コントローラ５５は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。表示コントローラ５５の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。表示コントローラ５５は、第２無線機５４から取得した画像データをモニタ５６に出力する。また、表示コントローラ５５は、フォークリフト２０の運転に必要となる情報を表示するためのデータをモニタ５６に出力することも可能である。表示コントローラ５５と操作コントローラ５２とは、互いの情報を取得可能に構成されている。

モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示するディスプレイである。モニタ５６は、操作室にいる操作者が視認可能な位置に配置されている。モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示することで、操作者にカメラ４１に撮像されている撮像画像を視認させることができる。また、モニタ５６には、フォークリフト２０の操作を支援するためのガイドも表示される。操作室にいる操作者は、モニタ５６を見ながらフォークリフト２０を操作することが可能である。

次に、モニタ５６への表示を行うために遠隔操作システム１０で行われる処理について図３に従って説明する。以下の説明において、フォークリフト２０によって荷取り作業を行う場合を例に挙げて説明する。荷取り作業とは、フォーク２７に荷を積載する作業である。即ち、図４に示すように、パレット７１の孔７２にフォーク２７を差し込んだ後にフォーク２７を上昇させることでフォーク２７にパレット７１を支持させる作業である。なお、荷とは、フォーク２７に積載される物である。パレット７１のみがフォーク２７に積載されていればパレット７１が荷であり、搬送物が積載されたパレット７１がフォーク２７に積載されていれば搬送物及びパレット７１が荷である。

図４に示すパレット７１は、矩形平板状であり、フォーク２７が挿入される孔７２を備える平パレットである。パレットは、ポストパレットやメッシュパレット等であってもよい。パレット７１は、２つの孔７２の開口する面である側面にマーカー７３，７４を備える。マーカー７３，７４としては、パレット７１自体に印されたものであってもよいし、パレット７１とは別体のマーカー７３，７４をパレット７１に取り付けたものであってもよい。本実施形態では、同一の側面に開口する２つの孔７２の並ぶ方向に間隔を開けて２つのマーカー７３，７４がパレット７１に設けられている。マーカー７３，７４は、四角枠の内側にパターンが設けられたものである。２つのマーカー７３，７４同士は、パターンが異なる。前述したように、荷取り作業では、パレット７１の孔７２にフォーク２７を差し込み、フォーク２７を上昇させることでパレット７１をフォーク２７で支持する。本実施形態では、一例として、目標位置となる孔７２の高さに、荷役装置２４の一部であるフォーク２７の高さを位置合わせする場合について説明する。荷役装置２４の位置合わせをする対象となる目標位置はパレット７１の孔７２となる。

図３に示すように、ステップＳ１において、画像処理部４２は、フォーク２７とパレット７１との相対距離を導出する。本実施形態では、画像処理部４２は、フォーク２７とパレット７１の孔７２との鉛直方向の相対距離、即ち、フォーク２７とパレット７１の孔７２との相対高さを導出する。フォーク２７とパレット７１の孔７２との相対高さは、例えば、フォーク２７の先端における鉛直方向の中心位置と、パレット７１の孔７２における鉛直方向の中心位置との鉛直方向の離間距離である。以下、ステップＳ１で行われる処理について詳細に説明を行う。

画像処理部４２は、カメラ４１から取得した画像データにパレット７１が存在するか否かを判定する。画像データにパレット７１が存在するか否かの判定は、画像データにマーカー７３，７４が存在するか否かを判定することで行われる。画像処理部４２は、画像データからマーカー７３，７４を画像認識する画像認識処理を行う。画像認識処理としては、例えば、画像処理部４２のＲＯＭ等に予め記憶されたテンプレート画像と画像データとの比較を行い、テンプレート画像に一致する度合いが高い領域を探索するパターンマッチングが用いられる。テンプレート画像は、例えば、隣接する画素間における輝度値の差を示すデータである。

画像データからマーカー７３，７４が抽出されると、画像処理部４２は、フォーク２７とパレット７１との前後方向の相対距離を導出する。マーカー７３，７４の寸法は既知であるため、画像処理部４２は、マーカー７３，７４を認識すると、画像データにおけるマーカー７３，７４の寸法に基づきカメラ４１からマーカー７３，７４までの距離を導出することができる。カメラ４１とフォーク２７との位置関係は既知であるため、画像処理部４２はカメラ４１からマーカー７３，７４までの距離に基づき、フォーク２７とパレット７１との前後方向の相対距離を導出することができる。フォーク２７とパレット７１との前後方向の相対距離は、例えば、フォーク２７の先端と、パレット７１の側面のうちフォークリフト２０側の面＝パレット７１の前面との前後方向の離間距離である。

画像処理部４２は、フォーク２７とパレット７１との前後方向の相対距離を導出すると、フォーク２７とパレット７１の孔７２との相対高さを導出する。画像データにおけるフォーク２７とパレット７１の孔７２との上下方向の離間距離は、フォーク２７とパレット７１との前後方向の相対距離によって変化する。言い換えれば、フォーク２７とパレット７１との前後方向の相対距離と、画像データにおけるフォーク２７とパレット７１の孔７２との上下方向への離間距離には相関がある。画像処理部４２は、フォーク２７とパレット７１との前後方向の相対距離と、画像データにおけるフォーク２７とパレット７１の孔７２との上下方向の離間距離との相関から、フォーク２７とパレット７１の孔７２との相対高さを導出することができる。例えば、フォーク２７とパレット７１との前後方向の相対距離を把握できれば、画像データにおけるフォーク２７とパレット７１の孔７２との間の画素数を実空間上でのフォーク２７とパレット７１の孔７２との相対高さに換算することができる。これにより、画像処理部４２は、フォーク２７とパレット７１の孔７２との相対高さを導出可能である。ステップＳ１の処理を行うことで、画像処理部４２は、相対距離導出部として機能している。

次に、ステップＳ２において、画像処理部４２は、ステップＳ１で導出したフォーク２７とパレット７１の孔７２との相対高さを含むデータを無線ユニット４４から無線送信する。なお、画像処理部４２は、フォーク２７とパレット７１の孔７２との相対高さをメインコントローラ３１に出力することでメインコントローラ３１に無線送信を行わせてもよい。

次に、ステップＳ３において、表示コントローラ５５は、フォーク２７とパレット７１の孔７２との相対高さが、予め定められた閾値未満か否かを判定する。閾値は、遠隔操作システム１０のユーザーが任意の値を設定することができる。なお、表示コントローラ５５は、フォーク２７とパレット７１の孔７２との相対高さを操作コントローラ５２から取得してもよいし、第１無線機５３から取得してもよい。ステップＳ３の判定結果が肯定の場合、表示コントローラ５５はステップＳ４の処理を行う。一方で、ステップＳ３の判定結果が否定の場合、表示コントローラ５５はステップＳ５の処理を行う。

図３及び図５に示すように、ステップＳ４において、表示コントローラ５５は、モニタ５６に表示される撮像画像ＩにインジケータＩ１を重畳して表示させる。インジケータＩ１は、荷役装置２４を目標位置に位置合わせするためのガイドであり、本実施形態ではフォーク２７の高さをパレット７１の孔７２の高さに位置合わせするためのガイドである。インジケータＩ１は、目標位置であるパレット７１の孔７２とフォーク２７の現在位置との差を示すものである。インジケータＩ１は、撮像画像Ｉ中で撮像画像Ｉの上下方向に延びる基準表示Ｂと、基準表示Ｂ中を撮像画像Ｉの上下方向に移動する位置表示Ｐと、を備える。基準表示Ｂは、撮像画像Ｉの上下方向の中心に、孔７２の位置を示す表示である孔表示Ｂ１を備える。基準表示Ｂは、孔表示Ｂ１と孔表示Ｂ１以外の部分とで色彩や模様等が変更されており、操作者が孔表示Ｂ１と孔表示Ｂ１以外の部分とを識別可能にされている。位置表示Ｐは、フォーク２７の鉛直方向の現在位置、即ち、フォーク２７の現在高さを示す表示である。位置表示Ｐは、フォーク２７の現在高さによって位置が変化する。孔表示Ｂ１と位置表示Ｐとの位置関係は、パレット７１の孔７２とフォーク２７との位置関係を所定の縮尺で表現したものである。孔表示Ｂ１と位置表示Ｐとが重なり合っていれば、パレット７１の孔７２とフォーク２７の高さは一致しているといえる。孔表示Ｂ１と、位置表示Ｐとの位置関係から操作者は、パレット７１の孔７２の高さとフォーク２７の現在高さとの差を認識することができる。

表示コントローラ５５は、撮像画像Ｉにおけるパレット７１の孔７２に沿う位置にインジケータＩ１を重畳して表示させる。表示コントローラ５５は、撮像画像Ｉにおけるパレット７１の孔７２及びフォーク２７と、インジケータＩ１とを見る際の操作者の視線移動が少なくなる位置にインジケータＩ１の表示を行うといえる。なお、表示コントローラ５５は、マーカー７３，７４の位置から撮像画像Ｉ中のパレット７１の座標を認識することができるため、パレット７１の孔７２に沿うようにインジケータＩ１を表示させることができる。

なお、インジケータＩ１の重畳表示は、表示コントローラ５５がインジケータＩ１を示すＯＳＤ：On Screen Displayデータを生成し、このＯＳＤデータを画像データに合成することで行われる。

図３及び図４に示すように、ステップＳ５において、表示コントローラ５５は、インジケータＩ１を非表示にする。詳細に言えば、表示コントローラ５５は、前回の制御周期でインジケータＩ１が表示されていれば、インジケータＩ１を非表示に切り替え、前回の制御周期でインジケータＩ１が非表示の場合にはインジケータＩ１の非表示を維持する。これにより、モニタ５６には、インジケータＩ１の表示されていない撮像画像Ｉが表示されることになる。なお、ステップＳ１で画像データからパレット７１を抽出できない場合にも、インジケータＩ１は非表示とされる。ステップＳ３、ステップＳ４、及びステップＳ５の処理を行うことで、表示コントローラ５５はガイド表示部として機能している。

上記した処理が所定の制御周期で繰り返し行われることで、フォーク２７とパレット７１の孔７２との相対高さが閾値未満の場合にはモニタ５６に撮像画像Ｉに重畳してインジケータＩ１が表示され、フォーク２７とパレット７１の孔７２との相対高さが閾値以上の場合にはモニタ５６にインジケータＩ１が表示されなくなる。閾値は、インジケータＩ１の表示と非表示とを切り替えるための閾値であり、インジケータＩ１によるフォーク２７の位置調整を行うと想定される位置にフォーク２７がある場合にインジケータＩ１が表示されるように設定されている。

上記したように、モニタ５６に撮像画像ＩとインジケータＩ１とを表示することで、操作者がフォークリフト２０を操作する際に、操作者の支援を行うことができる。本実施形態のように、遠隔操作システム１０に用いられる荷役車両の操作支援装置６０は、モニタ５６に撮像画像Ｉ及びインジケータＩ１を表示するための部材であるカメラ４１、画像処理部４２、車両側無線機４３、第２無線機５４、表示コントローラ５５、及びモニタ５６を備えているといえる。

本実施形態の作用について説明する。
表示コントローラ５５は、目標位置となるパレット７１の孔７２と、フォーク２７との相対高さが閾値未満の場合にインジケータＩ１を撮像画像Ｉに重畳して表示する。パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合にはインジケータＩ１は非表示なので、パレット７１の孔７２とフォーク２７との相対高さが閾値未満になるまではインジケータＩ１によってモニタ５６の撮像画像Ｉが視認しにくくなることが抑制されている。

また、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合であってもインジケータＩ１が表示されていると、撮像画像Ｉを見ながら大まかにフォーク２７の位置合わせをした後に、インジケータＩ１によってフォーク２７の位置を調整する際に、インジケータＩ１を見つけにくい。また、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合であってもインジケータＩ１が表示されていると、操作者が情報過多に陥りやすく、必要な情報の選択に要する時間が長くなる。

これに対して、パレット７１の孔７２とフォーク２７との相対高さが閾値未満の場合にインジケータＩ１を撮像画像Ｉに重畳して表示すると、パレット７１の孔７２とフォーク２７との相対高さが閾値以上から閾値未満に切り替わった段階でインジケータＩ１が表示されることになる。操作者は、モニタ５６の表示の変化から、インジケータＩ１を見つけやすく、操作の効率化を図ることができる。また、インジケータＩ１はフォーク２７の位置合わせを行う必要のあるときに表示されるため、操作者が情報過多に陥りにくく、操作の円滑化が図られる。

本実施形態の効果について説明する。
（１）表示コントローラ５５は、パレット７１の孔７２とフォーク２７との相対高さが閾値未満の場合にインジケータＩ１の表示を行っている。操作者は、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合にはモニタ５６の撮像画像Ｉ、パレット７１の孔７２とフォーク２７との相対高さが閾値未満になるとモニタ５６のインジケータＩ１を見てフォーク２７の位置合わせを行うことができる。従って、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合であってもモニタ５６にインジケータＩ１が重畳して表示される場合に比べて、荷役装置２４を目標位置に位置合わせしやすくなる。

（２）荷役装置２４の位置合わせのためのガイドとして、フォーク２７の現在位置と目標位置であるパレット７１の孔７２の位置との差を示すインジケータＩ１を表示している。操作者がフォーク２７の現在位置とパレット７１の孔７２の位置との差を把握しやすく、更に荷役装置２４を位置合わせしやすくなる。

（３）表示コントローラ５５は、撮像画像Ｉに写るパレット７１の孔７２に沿うようにインジケータＩ１を表示している。操作者は、モニタ５６の撮像画像Ｉを見ながらフォークリフト２０を操作する際は、目標位置と荷役装置２４との位置関係を把握しながらフォークリフト２０の操作を行う。目標位置となるパレット７１の孔７２に沿うようにインジケータＩ１を表示することで、モニタ５６にインジケータＩ１を表示したときの操作者の視線移動が少ない。このため、更に、荷役装置２４を目標位置に位置合わせしやすくなる。

実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○インジケータＩ１は、撮像画像Ｉのいずれの位置に表示されていてもよい。例えば、モニタ５６に表示される撮像画像Ｉの四隅のいずれか等、操作者による撮像画像Ｉの視認を阻害しにくい位置に表示されるようにしてもよい。言い換えれば、インジケータＩ１は、パレット７１の孔７２に沿うように表示されていなくてもよい。

○ガイドは、荷役装置２４の現在位置と目標位置との差を示すインジケータＩ１でなくてもよい。例えば、ガイドは、撮像画像Ｉ上においてフォーク２７の孔７２の位置となる部分にラインなどを表示したものであってもよい。操作者は、撮像画像Ｉ上でのフォーク２７の位置をガイドに合わせることで、フォーク２７の位置合わせを行うことができる。

○画像処理部４２は、画像認識によるマーカー７３，７４の抽出に代えて、画像認識によるパレット７１の抽出によってフォーク２７とパレット７１との前後方向の相対距離を導出してもよい。画像処理部４２は、パターンマッチングでパレット７１の前面と類似する領域を画像データから抽出する。これにより、画像処理部４２は、画像データからパレット７１を抽出することができる。画像処理部４２は、画像データからパレット７１を抽出した後には、実施形態と同様の処理によってフォーク２７とパレット７１との前後方向の相対距離を導出する。

○目標位置は、荷役装置２４による荷置き作業を行う際に荷役装置２４の位置合わせをする対象であってもよい。荷置き作業とは、荷役装置２４に積載された荷を目標位置に置く作業である。荷置き作業では、荷役装置２４に積載された荷を目標位置の鉛直方向上方に位置させた後に、フォーク２７を下降させる。荷が目標位置に置かれた後には、フォークリフト２０を後退させることで、フォーク２７を荷から離間させる。

フォーク２７によって支持したパレット７１をラックに載置する場合を一例として説明する。ラックは、柱に棚板を支持させたものであり、複数の棚板が鉛直方向に並んで設けられている。フォークリフト２０は、フォーク２７から棚板にパレット７１を移載する。棚板は、荷役装置２４の位置合わせをする対象となる目標位置となる。棚板を目標位置とする場合、実施形態と同様のマーカー７３，７４を棚板に設けてもよい。画像処理部４２は、画像認識により画像データからマーカー７３，７４を抽出することで、棚板を認識することができる。また、画像処理部４２は画像認識による棚板の抽出によって棚板を認識してもよい。画像処理部４２は、棚板を認識すると、実施形態と同様の手法によりフォーク２７と棚板との前後方向の相対距離を導出し、パレット７１と棚板との相対高さを導出する。詳細にいえば、パレット７１の寸法は規格で定まっており、既知であるため、画像処理部４２は、フォーク２７と棚板との前後方向の相対距離と、画像データでのパレット７１と棚板の上下方向の離間距離から、パレット７１と棚板との相対高さを導出することができる。なお、パレット７１と棚板との相対高さとは、例えば、パレット７１の下面と棚板の上面との鉛直方向の離間距離である。画像処理部４２は、パレット７１と棚板との相対高さを車両側無線機４３から無線送信する。

表示コントローラ５５は、パレット７１と棚板との相対高さが閾値未満の場合には、インジケータを表示する。インジケータは、例えば、パレット７１の現在位置と、目標位置との差を表すものである。

なお、荷役装置２４のフォーク２７を昇降させることによりパレット７１の鉛直方向の位置は定まるため、パレット７１と棚板との位置合わせは、荷役装置２４を棚板に位置合わせしていると捉えることができる。

このように、荷役車両の操作支援装置６０は、荷置き作業を行う際にも、目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えることができる。荷役車両の操作支援装置６０は、荷取り作業を行う際にのみ目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えてもよい。荷役車両の操作支援装置６０は、荷置き作業を行う際にのみ目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えてもよい。荷役車両の操作支援装置６０は、荷置き作業を行う際にも、荷取り作業を行う際にも目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えてもよい。即ち、荷役車両の操作支援装置６０は、荷役装置２４による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に用いられるものであればよい。

○インジケータとしては、荷役装置２４と目標位置との左右方向の位置合わせ、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせ、及び荷役装置２４と目標位置との前後方向の位置合わせを行うためのものが表示されてもよい。

例えば、荷役装置２４とパレット７１との位置合わせを行う場合で、荷役装置２４とパレット７１との左右方向の位置合わせをする場合、目標位置はパレット７１の左右方向の中心位置となる。荷役装置２４と目標位置の左右方向の位置合わせは、荷役装置２４の左右方向の中心位置と、パレット７１の左右方向の中心位置とが前後方向に重なるようにすることで行われる。画像処理部４２は、２つのマーカー７３，７４の中心位置をパレット７１の左右方向の中心位置として検出可能である。

目標位置に対する荷役装置２４の傾きを小さくするための位置合わせとは、荷役装置２４と目標位置との水平方向に対する傾きの差を小さくするための位置合わせである。言い換えれば、荷役装置２４と目標位置との水平方向に対する角度ずれを小さくするための位置合わせといえる。例えば、荷役装置２４とパレット７１との位置合わせを行う場合で、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせをする場合、目標位置はパレット７１の左右方向の中心位置となる。目標位置に対する荷役装置２４の傾きとは、荷役装置２４の左右方向の中心位置を前後方向に通過する中心線と、パレット７１の左右方向の中心位置を前後方向に通過する中心線とのずれ角である。目標位置に対する荷役装置２４の傾きを小さくするための位置合わせをする場合、上記した２つの中心線の角度差が小さくなるように位置合わせが行われる。目標位置に対する荷役装置２４の傾きは、２つのマーカー７３，７４の寸法の差から導出することができる。目標位置に対する荷役装置２４の傾きが小さい場合、２つのマーカー７３，７４の寸法の差が小さい。目標位置に対する荷役装置２４の傾きが大きいほど２つのマーカー７３，７４の寸法の差は大きくなる。このため、２つのマーカー７３，７４の寸法比から目標位置に対する荷役装置２４の傾きを導出可能である。

図６には、荷役装置２４とパレット７１との左右方向の位置合わせ、及び目標位置に対する荷役装置２４の傾きを小さくするための位置合わせを行うためのインジケータＩ２の一例を示す。インジケータＩ２は、撮像画像Ｉ上で撮像画像Ｉの上下方向に延びる第１基準線Ｌ１と、撮像画像Ｉ上で撮像画像Ｉの横方向に延びる第２基準線Ｌ２と、を備える。第１基準線Ｌ１と第２基準線Ｌ２とは直交している。第１基準線Ｌ１は、パレット７１の中心線を示している。インジケータＩ２は、矢印Ａと、撮像画像Ｉ上で矢印Ａに直交する荷役線Ｌ３と、を備える。矢印Ａの向きは、荷役装置２４の向く方向を示しており、矢印Ａと荷役線Ｌ３との交点Ｐ２は、荷役装置２４の左右方向の中心位置を示している。矢印Ａの傾きと第１基準線Ｌ１の傾きの差は、パレット７１に対する荷役装置２４の傾きを示している。第１基準線Ｌ１と第２基準線Ｌ２との交点Ｐ１と、矢印Ａと荷役線Ｌ３との交点Ｐ２との横方向の差は、荷役装置２４とパレット７１との左右方向のずれを示している。図６に示すように、矢印Ａと第１基準線Ｌ１とが重なり合うと、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせがされたといえる。２つの交点Ｐ１，Ｐ２同士が重なり合うと、荷役装置２４とパレット７１とが左右方向に位置合わせされたといえる。この状態は、パレット７１にフォークリフト２０が正対している状態といえる。

一方で、図７に示すように、矢印Ａの傾きと第１基準線Ｌ１との傾きが異なると、目標位置に対する荷役装置２４の傾きが大きく、角度ずれが生じているといえる。２つの交点Ｐ１，Ｐ２同士に差があると、荷役装置２４とパレット７１に左右方向の位置ずれが生じているといえる。操作者は、インジケータＩ２を見ながら、矢印Ａと第１基準線Ｌ１とが重なり合い、２つの交点Ｐ１，Ｐ２同士が重なり合うように操作を行うことで、荷役装置２４をパレット７１に位置合わせすることができる。

なお、上記したインジケータＩ２は、フォーク２７とパレット７１との鉛直方向の位置合わせが完了した後に表示されるようにしてもよい。この場合、フォーク２７とパレット７１との相対高さが予め定められた閾値未満の場合にインジケータＩ２は表示されるといえる。フォーク２７とパレット７１との鉛直方向の位置合わせが完了した後に上記したインジケータＩ２を表示する場合、閾値としては、フォーク２７とパレット７１との鉛直方向の位置合わせが完了したと判定できる値に設定される。例えば、フォーク２７の高さとパレット７１の孔７２の高さとが一致した場合に表示コントローラ５５は、インジケータＩ２を表示させる。

また、上記したインジケータＩ２は、フォーク２７とパレット７１との前後方向の相対距離が予め定められた閾値未満となった場合に表示されるようにしてもよい。この場合の閾値としては、フォーク２７とパレット７１との前後方向の大まかな位置合わせが終わり、インジケータＩ１による調整を行うことが好ましいと考えられる値に設定される。

なお、上記したインジケータＩ２と実施形態のインジケータＩ１とは、両方が表示されるようにしてもよいし、いずれか一方が表示されるようにしてもよい。インジケータＩ１としては、荷役装置２４と目標位置との左右方向の位置合わせ、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせ、荷役装置２４と目標位置との前後方向の位置合わせ、及び荷役装置２４と目標位置との鉛直方向の位置合わせの少なくとも１つをガイドするものが表示されればよい。

○荷役車両の操作支援装置は、操作者としてフォークリフト２０の搭乗者を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置＝運転席から視認可能な位置に配置される。また、フォークリフト２０に表示コントローラ５５を設けて、インジケータＩ１の表示を行えるようにする。画像データを遠隔操作装置５０に送信する必要がないため、遠隔操作装置５０、車両側無線機４３、及び無線ユニット４４は設けられていなくてもよい。この場合、荷役車両の操作支援装置は、カメラ４１と、フォークリフト２０に設けられたモニタ５６と、目標位置と荷役装置２４との相対距離を導出する画像処理部４２と、モニタ５６に撮像画像Ｉを表示する表示コントローラ５５と、を備えていればよい。

○目標位置と荷役装置２４との相対距離の導出は、表示コントローラ５５によって行われてもよい。表示コントローラ５５は、車両側無線機４３から送られてきた画像データから、目標位置と荷役装置２４との相対距離を導出する。実施形態の画像処理部４２と同様の処理を表示コントローラ５５が行うことで、目標位置と荷役装置２４との相対距離を導出可能といえる。即ち、目標位置と荷役装置２４との相対距離の導出は、フォークリフト２０側で行われてもよいし、遠隔操作装置５０側で行われてもよい。

○フォークリフト２０は、メインコントローラ３１及び画像処理部４２に代えて、メインコントローラ３１の機能及び画像処理部４２の機能の両方を備えた１つの装置を備えていてもよい。

○遠隔操作装置５０は、操作コントローラ５２及び表示コントローラ５５に代えて、操作コントローラ５２の機能及び表示コントローラ５５の機能の両方を備えた１つの装置を備えていてもよい。

○荷役車両の操作支援装置は、操作室にいる操作者、及びフォークリフト２０の搭乗者の両方を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置にも設けられる。フォークリフト２０が搭乗者により操作されている場合には、フォークリフト２０の搭乗者の視認可能なモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びインジケータＩ１を表示する。フォークリフト２０が操作室にいる操作者により操作されている場合には、操作室のモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びインジケータＩ１を表示する。

○フォークリフト２０は、人が搭乗できないフォークリフトであってもよい。言い換えれば、フォークリフト２０は、遠隔操作装置５０による操作専用のフォークリフトであってもよい。

○カメラ４１は、フォーク２７とともに昇降する部材とは異なる部材、即ち、フォーク２７が昇降しても昇降しない部材に取り付けられていてもよい。カメラ４１がフォーク２７とともに昇降する部材とは異なる部材に取り付けられている場合であっても、フォーク２７とパレット７１との前後方向の相対距離は実施形態と同様に導出できる。撮像画像Ｉに写るパレット７１の上面は、カメラ４１とパレット７１との高さの差が小さいほど大きくなる。フォーク２７とパレット７１との前後方向の相対距離と、撮像画像Ｉに写るパレット７１の上面の寸法からカメラ４１とパレット７１との高さの差を導出することができる。路面からカメラ４１までの高さであるカメラ４１の設置高さは既知であるため、路面からのパレット７１の高さを導出することができる。フォークリフト２０は、揚高センサを備えており、揚高センサによって路面からのフォーク２７の高さを検出することができる。従って、メインコントローラ３１は、画像処理部４２から路面からのパレット７１の高さを取得し、揚高センサによって検出される路面からのフォーク２７の高さとの差分を導出することで、フォーク２７とパレット７１の孔７２との相対高さを導出することができる。

また、前述したように、カメラ４１がフォーク２７とともに昇降する部材とは異なる部材に取り付けられている場合であっても、フォーク２７とパレット７１との前後方向の相対距離は導出できる。従って、フォーク２７とパレット７１との前後方向の相対距離を閾値としてインジケータの表示と非表示を切り替える場合であっても、カメラ４１は、フォーク２７とともに昇降する部材とは異なる部材に取り付けられていてもよい。

○カメラ４１としては、目標位置を撮像できるように配置されていればよく、配置位置は適宜変更してもよい。また、カメラ４１の数は適宜変更してもよい。
○荷役具としてフォーク２７以外を用いてもよい。例えば、荷役具は、クランプやラムなどのアタッチメントでもよい。

○荷役車両の操作支援装置としては、クレーン車等、フォークリフト２０以外の荷役車両の操作する操作者を支援するためのものであってもよい。

Ｉ１，Ｉ２…ガイドとしてのインジケータ、２０…荷役車両としてのフォークリフト、２４…荷役装置、４１…カメラ、４２…相対距離導出部としての画像処理部、５５…ガイド表示部としての表示コントローラ、５６…モニタ、６０…荷役車両の操作支援装置。

Claims (2)

1. 荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、
   前記荷役車両を遠隔操作するための指令を前記荷役車両に送信する第１無線機と、
   前記荷役車両の前方を撮像するカメラと、
   前記カメラにより撮像された撮像画像を示す画像データを受信する第２無線機と、
   前記荷役車両を遠隔操作する操作者に視認可能な位置に配置されており、前記カメラにより撮像された前記撮像画像が表示されるモニタと、
   前記荷役装置による荷取り作業を行う際に前記荷役装置の位置合わせをする対象となる目標位置と、前記荷役装置との相対高さを導出する相対距離導出部と、
   前記相対高さが予め定められた閾値未満の場合に前記荷役装置を前記目標位置に位置合わせするためのガイドを前記撮像画像に重畳して表示し、前記相対高さが前記閾値以上の場合に前記ガイドを非表示にするガイド表示部と、を備え、
   前記ガイドは、前記荷役装置の現在位置と前記目標位置との差を示すインジケータであり、
   前記ガイドは、
   前記撮像画像中で前記撮像画像の上下方向に延びる基準表示と、
   前記基準表示中を前記撮像画像の上下方向に移動する位置表示であって前記現在位置を示す位置表示と、を備え、
   前記基準表示は、前記目標位置であるパレットの孔を示す孔表示を備える荷役車両の操作支援装置。
2. 前記ガイド表示部は、前記撮像画像に写る前記目標位置に沿うように前記ガイドを表示する請求項１に記載の荷役車両の操作支援装置。

Images