WO2019208174A1 - 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法 - Google Patents

産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法 Download PDF

Info

Publication number
WO2019208174A1
WO2019208174A1 PCT/JP2019/015179 JP2019015179W WO2019208174A1 WO 2019208174 A1 WO2019208174 A1 WO 2019208174A1 JP 2019015179 W JP2019015179 W JP 2019015179W WO 2019208174 A1 WO2019208174 A1 WO 2019208174A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
industrial vehicle
image
remote
unit
Prior art date
Application number
PCT/JP2019/015179
Other languages
English (en)
French (fr)
Inventor
井上順治
比嘉孝治
岡本浩伸
小野琢磨
神谷知典
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Publication of WO2019208174A1 publication Critical patent/WO2019208174A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

産業車両用遠隔システム(10)は、無線通信を行う車両通信部(72)を有するフォークリフト(20)と、車両通信部(72)と無線通信を行うリモート通信部(71)及びモニタ(51)を有するリモート装置(50)とを備えている。ここで、産業車両用遠隔システム(10)は、フォークリフト(20)の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なっている複数視点画像のうち視点選択動作に対応した対象画像を選択し、当該対象画像がモニタ(51)に表示されるように構成されている。

Description

産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法
 本発明は、産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法に関する。
 例えば特許文献1には、産業車両用遠隔システムの一種として、フォークリフトを遠隔操作する産業用車両テレオペレーティングシステムについて記載されている。特許文献1に記載の産業用車両テレオペレーティングシステムは、フォークリフトにTVカメラを設置し、当該TVカメラで撮影された立体画像を、フォークリフトから離れた位置に設置されたドーム状のスクリーンに投影することにより視覚的臨場感を提供するように構成されている。また、TVカメラは、頭部の動きに追従して回動するように構成されている。
特開平6-339153号公報
 ここで、視覚的臨場感を提供する観点に着目すれば、頭部の動きに対するTVカメラの応答性を高めるために、TVカメラを任意の角度に配置できるようにし、搭乗者から見た任意の視点の画像を得られるようにすることが考えられる。しかしながら、任意の視点の画像が得られるような自由度が高い産業車両用遠隔システムでは、例えば所望の箇所が確認できる適切な視点を探すのが煩雑であったり、意図しない視点が変更したりする場合があり得る。
 本発明は、上述した事情を鑑みてなされたものであり、その目的は産業車両の周囲の確認作業を好適に行うことができる産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法を提供することである。
 上記目的を達成する産業車両用遠隔システムは、無線通信を行う車両通信部を有する産業車両と、前記車両通信部と無線通信を行うリモート通信部及び画像を表示する表示部を有するリモート装置と、を備え、当該リモート装置を用いて前記産業車両を遠隔操作又は遠隔監視するものであって、作業者の視点選択動作を検知する動作検知部と、前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、前記選択部によって選択された前記対象画像を前記表示部に表示させる表示制御部と、を備えていることを特徴とする。
 かかる構成によれば、作業者の視点選択動作によって表示部に表示される対象画像が変更される。これにより、表示部を確認する作業者としては、視点選択動作を行うことによって、表示部に所望の画像を表示させることができる。
 特に、本構成では、視点が固定された複数視点の画像から対象画像が選択されるため、表示部に表示される画像の視点はある程度固定されている。これにより、自由度の高い任意の視点の画像が表示部に表示される構成と比較して、所望の画像を表示させるために適切な視点を探したり、意図しない視点の変更が行われたりする不都合を抑制できる。したがって、遠隔操作又は遠隔監視において、産業車両の周囲の確認作業を好適に行うことができる。
 上記産業車両用遠隔システムについて、前記複数視点の画像は、第1視点画像と、前記第1視点画像とは視点が異なる画像であって、前記第1視点画像の撮影範囲と一部重なる撮影範囲の第2視点画像と、を含むとよい。
 かかる構成によれば、第1視点画像と第2視点画像とで撮影範囲が一部重なっているため、視点選択動作を行うことによって、例えば産業車両の進行方向に存在する対象物を異なる角度から見ることができる。これにより、遠隔監視又は遠隔操作において、死角を減らすことができ、安全性の向上を図ることができる。
 上記産業車両用遠隔システムについて、前記第1視点画像は、撮影範囲に前記産業車両の構成部材が含まれることによって第1死角領域が形成された画像であり、前記第2視点画像は、前記第1死角領域の少なくとも一部が撮影された画像であるとよい。
 かかる構成によれば、視点選択動作を行うことによって、第1視点画像で確認できない領域を確認することができる。これにより、遠隔監視又は遠隔操作において、作業者が確認できない死角を減らすことができ、安全性の向上を図ることができる。
 特に、本構成では、表示部に表示される視点が固定されているため、第1死角領域を確認するために適切な視点の画像を第2視点画像として設定しておくことにより、第1死角領域の確認を好適に行うことができる。これにより、第1死角領域を確認するための視点の調整の煩雑さを抑制できる。
 上記産業車両用遠隔システムについて、前記動作検知部は、前記視点選択動作として、作業者の頭部の動きを検知するものであるとよい。
 かかる構成によれば、頭部の動きに合わせて、表示部に表示される対象画像が変更される。これにより、例えば上から覗き込む又は下から見上げるといった直感的な動作で対象画像を切り替えることができ、産業車両の周囲の確認作業を容易に行うことができる。
 ここで、上記のように視点選択動作として頭部の動きが採用されている場合、適切な視点を探すために頭部を移動又は回転させ続けたり、適切な視点を維持するために頭部の位置を維持し続けたりする必要が生じ得るため、作業者の負担が増加するおそれがある。
 この点、本構成では、表示部に表示される視点が固定されているため、適切な視点を探すために頭部を移動又は回転させ続ける必要がなく、比較的簡単な動作で適切な視点の対象画像を得ることができる。また、頭部が多少動いても、適切な視点の画像が表示される状態を維持できる。これにより、作業者の負担の軽減を図ることができる。
 上記産業車両用遠隔システムについて、前記産業車両は、カメラと、前記カメラを移動又は回転させる移動機構と、前記カメラによって撮影される画像が前記対象画像となるように前記移動機構を駆動制御する駆動制御部と、を備えているとよい。
 かかる構成によれば、カメラが移動又は回転することによって、表示部に対象画像を表示させることができる。これにより、視点の数だけカメラを用意する必要がないため、カメラの数を削減できる。
 上記産業車両用遠隔システムについて、前記産業車両は、前記カメラが前記各視点の画像を撮影するための位置及び角度がそれぞれ記憶されたカメラ位置角度データを有しており、前記駆動制御部は、前記カメラ位置角度データに基づいて、前記カメラが前記対象画像に対応する位置に前記対象画像に対応した角度で配置されるように前記移動機構を駆動制御するとよい。
 かかる構成によれば、対象画像が撮影される視点にカメラが自動で配置される。これにより、作業者としてはカメラの位置や角度について具体的に指示する必要がないため、産業車両の周囲の確認作業の容易化を図ることができる。
 上記産業車両用遠隔システムについて、前記産業車両は、前記複数視点の画像を撮影する複数のカメラを備え、前記選択部は、前記複数のカメラによって撮影される前記複数視点の画像のうち前記対象画像を選択するものであるとよい。
 かかる構成によれば、対象画像を撮影するためにカメラを移動させたり回転させたりする必要がない。これにより、カメラの移動等に要するタイムラグに起因して表示部に対象画像が表示されることが遅れるといった不都合を抑制できる。
 上記目的を達成する産業車両は、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置に設けられたリモート通信部と無線通信を行う車両通信部を備え、当該リモート装置を用いた遠隔操作又は遠隔監視が行われるものであって、前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、前記選択部によって選択された前記対象画像が前記表示部に表示されるように前記リモート装置に対して指示する対象画像指示部と、を備えていることを特徴とする。
 上記目的を達成するリモート装置は、産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、を有するものであって、前記産業車両を遠隔操作又は遠隔監視するのに用いられるものであって、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部と、前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、前記選択部によって選択された前記対象画像を前記表示部に表示させる表示制御部と、を備えていることを特徴とする。
 上記目的を達成する産業車両用遠隔プログラムは、産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置を用いて、前記産業車両を遠隔操作又は遠隔監視するためのものであって、前記産業車両を、前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、前記選択部によって選択された前記対象画像が前記表示部に表示されるように前記リモート装置に対して指示する対象画像指示部と、として機能させることを特徴とする。
 上記目的を達成する産業車両用遠隔プログラムは、産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置を用いて、前記産業車両を遠隔操作又は遠隔監視するためのものであって、前記リモート装置を、前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、前記選択部によって選択された前記対象画像を前記表示部に表示させる表示制御部と、として機能させることを特徴とする。
 上記目的を達成する産業車両用遠隔方法は、産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置を用いて、前記産業車両を遠隔操作又は遠隔監視するものであって、前記リモート装置又は前記産業車両が、前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択ステップと、前記選択ステップによって選択された前記対象画像を前記表示部に表示させる表示制御ステップと、を備えていることを特徴とする。
 上記各構成によれば、作業者の視点選択動作によって表示部に表示される対象画像が変更される。これにより、表示部を確認する作業者としては、視点選択動作を行うことによって、表示部に所望の画像を表示させることができる。
 特に、本構成では、視点が固定された複数視点の画像から対象画像が選択されるため、表示部に表示される画像の視点はある程度固定されている。これにより、自由度の高い任意の視点の画像が表示部に表示される構成と比較して、所望の画像を表示させるために適切な視点を探したり、意図しない視点の変更が行われたりする不都合を抑制できる。したがって、遠隔操作又は遠隔監視において、産業車両の周囲の確認作業を好適に行うことができる。
 この発明によれば、産業車両の周囲の確認作業を好適に行うことができる。
産業車両用遠隔システムの概略図。 第1実施形態において前方から運転室付近を見た場合のフォークリフトを模式的に示す正面図。 産業車両用遠隔システムの第1実施形態の電気的構成を示すブロック図。 視点制御処理のフローチャート。 対象画像選択データのデータ構造を説明するための概念図。 座標範囲と対象画像との関係を説明するための説明図。 カメラ位置角度データのデータ構造を説明するための概念図。 各視点画像に対応する位置及び角度に配置されたカメラを後方から見た模式図。 頭部が基準位置に配置されている場合のリモート装置の上面図。 第1視点画像の撮影範囲を模式的に示す上面図。 頭部が基準位置から右方向に移動した場合のリモート装置の上面図。 第4視点画像の撮影範囲を模式的に示す上面図。 第2実施形態において前方から運転室付近を見た場合のフォークリフトを模式的に示す正面図。 産業車両用遠隔システムの第2実施形態の電気的構成を示すブロック図。 選択表示処理を示すフローチャート。 周辺カメラを示す模式図。 別例の産業車両用遠隔システムの電気的構成を示すブロック図。
 (第1実施形態)
 以下、本産業車両用遠隔システム等の第1実施形態について説明する。
 図1に示すように、産業車両用遠隔システム10は、産業車両としてのフォークリフト20と、フォークリフト20を監視又は遠隔操作するのに用いられるリモート装置50とを備えている。
 フォークリフト20は、例えば搭乗者が起立した状態で搭乗可能なリーチ式である。フォークリフト20は、機台21と、車輪22と、機台21に対して前方に向けて延びた左右一対のリーチレグ23と、リーチレグ23に対して起立したマスト24と、リフトブラケット25を介してマスト24に取り付けられたフォーク26と、を備えている。
 リーチレグ23は、機台21における前方の下端部から前方に向けて延びている。車輪22は、リーチレグ23の先端部及び機台21の後端部にそれぞれ左右一対ずつ設けられている。
 マスト24は、機台21に対して前方に離間した位置に配置されている。マスト24は、リーチレグ23に対して前後方向に移動可能な状態で当該リーチレグ23に取り付けられている。また、マスト24は、リーチレグ23に対して前後方向に傾斜可能に構成されている。
 本実施形態では、マスト24は、フォークリフト20の左右方向に離間して2本起立した左マスト24aと右マスト24bとを有している。両マスト24a,24bは、当該両マスト24a,24bの先端部に設けられた連結フレーム27によって連結されている。
 フォーク26は、マスト24の前後方向の移動に伴って前後方向に移動し、マスト24の傾斜に伴って傾く。また、フォーク26は、マスト24の延設方向、詳細には上下方向に移動可能に構成されている。
 なお、説明の便宜上、以降の説明において、フォークリフト20の左右方向をX方向とし、フォークリフト20の前後方向をY方向とし、フォークリフト20の上下方向(換言すれば鉛直方向)をZ方向とする。
 図1及び図2に示すように、機台21は、機台本体31と、機台本体31から起立した起立フレーム32と、起立フレーム32に取り付けられた屋根33と、を有している。
 機台本体31は、例えば略直方体形状である。機台本体31には、後方から搭乗者が搭乗できるように後方に開口した凹部が形成されている。
 機台本体31の上面には、車両操作部34が設けられており、車両操作部34を操作することによってフォークリフト20を直接操作することが可能となっている。すなわち、本実施形態のフォークリフト20は、当該フォークリフト20に搭乗した搭乗者が車両操作部34を用いて直接操作する有人操作が可能である。
 起立フレーム32は、機台本体31の上面から上方に向けて起立している。起立フレーム32は、X方向に離間して2つ設けられている。2つの起立フレーム32は、機台21の上面のうちX方向の両端部に配置されている。両起立フレーム32は、マスト24よりも高く延びている。
 屋根33は、X方向及びY方向に延びた板状である。屋根33は、両起立フレーム32の先端部に接続されており、両起立フレーム32の先端部から後方に延びている。
 機台21には、搭乗者が搭乗する運転室35が形成されている。運転室35は、機台本体31と起立フレーム32と屋根33とによって囲まれた空間と、機台本体31の凹部によって形成された空間とによって構成されている。
 本実施形態では、運転室35の前方にマスト24が配置されている。このため、運転室35内から前方を見た場合には、視界にマスト24が入り込む。これにより、一部が死角となる。
 フォークリフト20は、カメラ41と、カメラ41を移動及び回転させる移動機構42とを備えている。
 カメラ41は、フォークリフト20の周囲を撮影するものである。本実施形態では、カメラ41は、運転室35内に配置される。カメラ41は、移動機構42を介して屋根33に取り付けられている。
 移動機構42は、カメラ41を移動可能な状態で保持するものである。本実施形態では、移動機構42は、カメラ41をX方向、Y方向及びZ方向に移動させることが可能に構成されているとともに、カメラ41の向き(角度)を変更可能に構成されている。
 移動機構42の具体的な構成は任意であるが、本実施形態では、例えば移動機構42は、屋根33の下面に取り付けられたガイドレール43と、ガイドレール43に取り付けられたカメラアクチュエータ44とを備えている。
 ガイドレール43はX方向に延びている。ガイドレール43には、X方向に延びたガイド溝43aが形成されている。
 カメラアクチュエータ44は、カメラ41を移動及び回転させるものである。カメラアクチュエータ44は、ガイド溝43aに沿って移動可能な状態でガイドレール43に取り付けられている。カメラアクチュエータ44は、当該カメラアクチュエータ44をガイド溝43aに沿って移動させる移動アクチュエータ(移動駆動部)44aと、カメラ41をX方向、Y方向及びZ方向の3方向に移動可能な状態でカメラ41を保持する可動アーム44bと、を備えている。
 可動アーム44bの基端部は移動アクチュエータ44aに連結されており、可動アーム44bの先端部はカメラ41に連結されている。可動アーム44bは、例えば可動式の複数の関節(軸)を有するロボットアームであり、当該複数の関節を回転させたり直動させたりすることによって、可動アーム44bの先端部の位置を変更可能に構成されている。これにより、カメラ41の位置を変更することができる。
 また、カメラ41が取り付けられている可動アーム44bの先端部は、X軸、Y軸及びZ軸の3軸を中心に回転可能に構成されている。これにより、カメラ41の角度を任意に変更可能となっている。
 かかる構成によれば、カメラ41によって、運転室35内の搭乗者の視点に対応した画像を撮影できる。また、移動アクチュエータ(移動駆動部)44a及び可動アーム44bを駆動することによって、カメラ41の位置や角度を変更することができ、それを通じてフォークリフト20の周囲を異なる視点で撮影することができる。これにより、カメラ41の画像を確認することによって、運転室35に搭乗することなく、搭乗者視点でフォークリフト20の周囲を確認することができる。
 図1に示すように、リモート装置50は、表示部としてのモニタ51と、リモート操作部52と、を備えている。モニタ51は、少なくともカメラ41の画像を表示するものである。
 リモート操作部52は、フォークリフト20に対して指示を与えるのに用いられるものである。リモート操作部52の具体的な構成は任意であるが、例えばレバーやスイッチ等を有している。
 かかる構成によれば、作業者はモニタ51の画像を確認することにより、フォークリフト20から離れた位置、例えばフォークリフト20を直接視認することができないような遠隔地からフォークリフト20の作業を監視できる。また、必要に応じてリモート操作部52を操作することによって、フォークリフト20を遠隔操作することも可能となっている。
 産業車両用遠隔システム10は、作業者の視点選択動作を検知する動作検知部としての動作検知センサ60を備えている。本実施形態では、動作検知センサ60は、視点選択動作として作業者の身体の一部の動きを検知するものである。動作検知センサ60は、例えば頭部に装着されるものであり、視点選択動作として作業者の頭部の動きを検知する。詳細には、動作検知センサ60は、基準位置に対する頭部の位置変化を検知するものであり、頭部が基準位置に配置されている場合の規定ポイントを原点として当該規定ポイントの位置変化を3次元の動作座標(Dx,Dy,Dz)として検知する。
 X動作座標Dxは、作業者の左右方向における頭部の動きを示すパラメータである。X動作座標Dxは、作業者の動きに応じて正(+)又は負(-)の値となる。例えば、作業者がモニタ51を正面から視認している状況において、X動作座標Dxは、作業者の頭部が基準位置から作業者の右方向に移動した場合には正の値となり、作業者の頭部が基準位置から作業者の左方向に移動した場合には負の値となる。また、左右方向におけるX動作座標Dxの絶対値は、基準位置からの作業者の頭部の移動距離を示す。
 Y動作座標Dyは、作業者の前後方向における頭部の動きを示すパラメータである。Y動作座標Dyは、作業者の動きに応じて正(+)又は負(-)の値となる。例えば、作業者がモニタ51を正面から視認している状況において、Y動作座標Dyは、作業者の頭部が基準位置から前方(換言すればモニタ51に近づく方向)に移動した場合には正の値となり、作業者の頭部が基準位置から後方(換言すればモニタ51から離れる方向)に移動した場合には負の値となる。また、Y動作座標Dyの絶対値は、前後方向における基準位置からの作業者の頭部の移動距離を示す。
 Z動作座標Dzは、作業者の上下方向における頭部の動きを示すパラメータである。Z動作座標Dzは、作業者の動きに応じて正(+)又は負(-)の値をとなる。例えば、Z動作座標Dzは、作業者の頭部が基準位置から上方に移動した場合には正の値となり、作業者の頭部が基準位置から下方に移動した場合には負の値となる。また、Z動作座標Dzの絶対値は、上下方向における基準位置からの作業者の頭部の移動距離を示す。
 かかる構成によれば、各動作座標Dx,Dy,Dzの正負及び絶対値に基づいて頭部の動きの方向と、動きの大きさを把握できる。なお、頭部の動きがない場合には、各動作座標Dx,Dy,Dzは「0」となる。
 また、動作検知センサ60は、頭部の回転を検知する。例えば、動作検知センサ60は、基準位置に対するX軸、Y軸、Z軸を回転中心とする回転角度を検知する。なお、動作検知センサ60の具体的な構成は任意であるが、例えば3軸のジャイロセンサ及び3軸の加速度センサ等で構成されている。
 ちなみに、動作検知センサ60は、基準設定操作が行われることによって当該基準設定操作が行われた時点の頭部の位置を基準位置として設定する。これにより、作業者が任意の位置を基準位置に設定することができる。なお、基準設定操作の具体的な操作内容は任意であるが、例えば動作検知センサ60又はリモート装置50に設けられた基準スイッチを操作することが考えられる。
 次に、産業車両用遠隔システム10の電気的構成について説明する。
 図3に示すように、リモート装置50とフォークリフト20とは無線通信可能に構成されている。詳細には、リモート装置50は、無線通信を行うリモート通信部71を有しており、フォークリフト20は、リモート通信部71と無線通信を行う車両通信部72を有している。
 リモート通信部71及び車両通信部72は、無線通信を行う通信インターフェースであり、例えば1つ以上の専用のハードウェア回路、及び、コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサ(制御回路)の少なくとも一方によって実現されている。
 リモート通信部71は、通信範囲内に登録済みのフォークリフト20が存在する場合には、当該フォークリフト20の車両通信部72との通信接続(ペアリング)を確立する。これにより、リモート装置50とフォークリフト20との間で信号のやり取りが可能となる。
 本実施形態では、リモート通信部71及び車両通信部72間の無線通信形式は、Wi-Fi(換言すればIEEE802.11規格の無線LAN)である。両通信部71,72は、パケット通信によって信号の送受信を行う。
 なお、Wi-Fiには、IEEE802.11aやIEEE802.11ac等といった複数の規格が存在するが、リモート通信部71及び車両通信部72間の無線通信形式は、上記複数の規格のうちいずれでもよい。
 更に、車両通信部72とリモート通信部71との間の無線通信形式については、Wi-Fiに限られず、任意であり、例えばBluetooth(登録商標)及びZigbee(登録商標)等であってもよい。
 フォークリフト20は、走行アクチュエータ81と、荷役アクチュエータ82と、車両メモリ83と、車両CPU84と、を備えている。
 走行アクチュエータ81は、フォークリフト20の走行に用いられるものであり、具体的には車輪22を回転駆動させるとともに操舵角(進行方向)を変更するものである。
 荷役アクチュエータ82は、走行とは異なる動作を行うものであり、本実施形態では荷役動作を行うものである。詳細には、荷役アクチュエータ82は、マスト24及びフォーク26を駆動させるものである。
 車両メモリ83には、各アクチュエータ44,81,82を駆動制御するためのプログラムが記憶されている。例えば、車両メモリ83には、走行及び荷役動作を自動で行うための自動運転プログラム83aと、有人操作を行うための有人操作プログラム83bと、リモート装置50を用いた遠隔操作を行うための遠隔操作プログラム83cと、が記憶されている。
 車両CPU84は、車両通信部72と電気的に接続されている。車両CPU84は、車両通信部72が受信した信号に対応した処理を実行したり、車両通信部72を用いて各種信号をリモート通信部71に送信したりする。
 車両CPU84は、車両メモリ83及び各アクチュエータ44,81,82に電気的に接続されている。車両CPU84は、車両メモリ83に記憶されている各種プログラムを実行することにより、各アクチュエータ44,81,82を駆動制御する。
 例えば、車両CPU84は、自動運転プログラム83aを実行することにより、自動で走行及び荷役動作の双方が行われるように両アクチュエータ81,82を駆動制御する。これにより、フォークリフト20の自動運転が行われる。
 例えば、車両CPU84は、有人操作プログラム83bを実行することにより、車両操作部34の操作に対応させて両アクチュエータ81,82駆動制御を行う。これにより、有人操作が行われる。
 リモート装置50は、モニタ51及びリモート通信部71の他に、リモートメモリ91と、操作検知センサ92と、リモートCPU93と、入力部94と、を備えている。
 リモートメモリ91には、リモートCPU93が実行する各種プログラムが記憶されている。例えば、リモートメモリ91には、遠隔操作に関する指令である遠隔操作指令を送信するためのリモート制御プログラム91aが記憶されている。
 操作検知センサ92は、リモートCPU93と電気的に接続されている。操作検知センサ92は、リモート操作部52の操作を検知し、その検知結果をリモートCPU93に対して出力する。
 リモートCPU93は、リモート通信部71と電気的に接続されている。リモートCPU93は、リモート通信部71が受信した信号に対応した処理を実行したり、リモート通信部71を用いて各種信号を車両通信部72に送信したりする。
 例えば、リモートCPU93は、リモートメモリ91に記憶されているリモート制御プログラム91aを実行することにより、リモート通信部71を用いて、操作検知センサ92の検知結果に対応した遠隔操作指令を車両通信部72に向けて送信する。
 この場合、車両CPU84は、車両メモリ83に記憶されている遠隔操作プログラム83cを実行することにより、車両通信部72によって受信された遠隔操作指令に基づいて両アクチュエータ81,82を駆動制御する。これにより、フォークリフト20の遠隔操作が行われる。
 なお、遠隔操作指令の具体的な構成は任意であるが、例えば遠隔操作指令は、走行速度、加速度、操舵角、フォーク26の動作速度、及びフォーク26の角度等の指令値が設定された信号であるとよい。
 産業車両用遠隔システム10は、フォークリフト20のカメラ41によって撮影された画像を、リモート装置50のモニタ51に表示させるように構成されている。
 詳細には、カメラ41は、車両CPU84に電気的に接続されており、撮影された画像データを車両CPU84に出力している。
 車両CPU84は、車両メモリ83に記憶されている画像送信処理プログラム83dを実行することにより、車両通信部72を用いて、カメラ41によって撮影された画像(詳細には画像に関するデータ)が設定された画像信号SG1をリモート通信部71に向けて送信する。これにより、画像信号SG1が送信される。
 リモートメモリ91には、モニタ51に画像を表示させるための表示制御プログラム91bが記憶されている。リモートCPU93は、表示制御プログラム91bを実行することにより、リモート通信部71によって受信された画像信号SG1に設定された画像をモニタ51に表示させる。これにより、カメラ41にて撮影された画像がモニタ51に表示される。
 本実施形態では、表示制御プログラム91bを実行して、モニタ51に画像信号SG1に設定された画像を表示させるステップが「表示制御ステップ」に対応し、表示制御プログラム91bを実行するリモートCPU93が「表示制御部」に対応する。
 なお、車両CPU84は、カメラ41によって撮影された画像データを、無線通信に適した形式に符号化処理などを行ってもよい。この場合、リモートCPU93は、符号化されたデータを復元する復元処理を実行する。すなわち、画像信号SG1とは、カメラ41によって撮影された画像データが設定された信号でもよいし、当該画像データに対して各種加工が行われた加工データが設定された信号でもよい。
 ちなみに、本実施形態では、カメラ41は常時撮影しており、車両CPU84は画像送信処理を定期的に実行する。これにより、リモート装置50としては、カメラ41の画像を定期的に取得している。そして、リモートCPU93は、表示制御プログラム91bを常時実行することにより、モニタ51の表示画像を、新たに取得した画像に順次更新する。これにより、モニタ51には最新の画像が表示される。
 なお、モニタ51に表示させるカメラ41の撮影画像を確認することによって遠隔操作又は遠隔監視を行う点に鑑みれば、モニタ51にカメラ41の画像を表示させるための画像送信処理プログラム83d及び表示制御プログラム91bは、リモート装置50を用いてフォークリフト20を遠隔操作又は遠隔監視するためのプログラムであると言える。
 換言すれば、本実施形態の産業車両用遠隔方法は、フォークリフト20に設けられた車両通信部72と無線通信を行うリモート通信部71及びモニタ51を有するリモート装置50を用いて、フォークリフト20を遠隔操作又は遠隔監視するものであって、特にモニタ51に表示される画像を確認することにより遠隔操作又は遠隔監視を行う。
 ここで、本実施形態の産業車両用遠隔システム10は、互いに視点が異なる複数視点の画像としての複数視点画像P1~P9のうち、モニタ51を見ている作業者の視点選択動作に対応した対象画像Paを選択し、当該対象画像Paをモニタ51に表示させるように構成されている。この点について以下に詳細に説明する。
 リモート装置50は、動作検知センサ60の検知結果が入力される入力部94を備えている。入力部94は、動作検知センサ60と電気的に接続されているとともに、リモートCPU93と電気的に接続されている。
 動作検知センサ60は、その検知結果、詳細には基準位置からの頭部の変化量及び変化方向を示す座標情報と、基準位置に対する頭部の回転量及び回転方向を示す回転情報とを含む信号を入力部94に向けて送信する。当該信号は、入力部94を介してリモートCPU93に入力される。これにより、リモートCPU93は、視点選択動作を把握できる。なお、本実施形態における座標情報は、各動作座標Dx,Dy,Dzが設定された情報である。
 ちなみに、動作検知センサ60と入力部94との具体的な接続態様は任意であり、有線通信接続でもよいし、無線通信接続でもよい。例えば、動作検知センサ60と入力部94とが有線通信によって接続される場合、入力部94はケーブルが接続されるコネクタであり、動作検知センサ60と入力部94とが無線通信によって接続される場合、入力部94は無線通信ユニットである。
 本実施形態では、リモートCPU93は、リモート通信部71を用いて、動作検知センサ60の検知結果、詳細には座標情報及び回転情報が設定された検知信号SG2を車両通信部72に向けて繰り返し送信する。これにより、車両CPU84は、車両通信部72によって受信される検知信号SG2に基づいて、視点選択動作の動作態様を把握できる。
 車両メモリ83には、視点選択動作に基づいてカメラ41が撮影する視点が切り替わるように移動機構42(詳細にはカメラアクチュエータ44)の駆動制御を行う視点制御処理を実行するための視点制御処理プログラム100が記憶されている。車両CPU84は、車両通信部72が検知信号SG2を受信する度に、視点制御処理プログラム100を読み出し、視点制御処理を実行する。
 図4を用いて視点制御処理について説明する。
 図4に示すように、車両CPU84は、まずステップS101にて、視点選択動作を把握する。詳細には、車両CPU84は、検知信号SG2に含まれる座標情報を把握する。
 なお、座標情報の把握処理の具体的な構成は任意であるが、一例としては以下の構成が考えられる。すなわち、車両メモリ83(詳細には視点制御処理プログラム100)には、座標情報が記憶される座標記憶領域が設けられている。車両CPU84は、車両通信部72によって検知信号SG2が受信される度に、座標記憶領域に記憶されている情報を、当該検知信号SG2に含まれる座標情報に更新する。これにより、座標記憶領域には最新の座標情報が記憶されている。かかる構成において、車両CPU84は、ステップS101では、座標記憶領域に記憶されている記憶情報に基づいて、最新の座標情報(詳細には各動作座標Dx,Dy,Dz)を把握する。
 続くステップS102では、車両CPU84は、複数視点画像P1~P9のうち動作検知センサ60によって検知された視点選択動作に対応した画像である対象画像Paを選択する対象画像選択処理を実行する。複数視点画像P1~P9とは、互いに視点が異なる複数視点の画像である。対象画像選択処理では、車両CPU84は、視点制御処理プログラム100に記憶されている対象画像選択データ101を参照して、複数視点画像P1~P9のうちステップS101にて把握された視点選択動作(詳細には座標情報)に対応する視点の画像を選択する。
 対象画像選択データ101及び複数視点の画像について詳細に説明する。
 図5に示すように、本実施形態では、対象画像選択データ101は、各視点画像P1~P9に対して座標範囲が対応させて設定されているテーブルデータである。座標範囲は、視点画像P1~P9ごとに異なっており、各座標範囲は互いに重ならないように設定されている。車両CPU84は、対象画像選択データ101を参照することによって、各動作座標Dx,Dy,Dzが含まれる座標範囲を特定し、当該座標範囲に対応する画像を対象画像Paとして選択する。
 各視点画像P1~P9と座標範囲との関係について説明する。なお、本実施形態では、説明の便宜上、Y動作座標Dyについては対象画像Paの選択条件から除外する。
 図5及び図6に示すように、第1視点画像P1に対応して設定されている座標範囲は、X動作座標Dxの絶対値がX閾値座標Dxthよりも小さい、又は、Z動作座標Dzの絶対値がZ閾値座標Dzthよりも小さい範囲である(|Dx|<Dxth、又は、|Dz|<Dzth)。当該座標範囲には原点が含まれる。すなわち、頭部が、X方向にX閾値座標Dxth以上動いていない、又は、Z方向にZ閾値座標Dzth以上動いていない場合には、対象画像Paとして第1視点画像P1が選択される。
 第2視点画像P2に対応して設定されている座標範囲は、X動作座標Dxの絶対値がX閾値座標Dxthよりも小さく、且つ、Z動作座標DzがZ閾値座標Dzth以上の範囲である(|Dx|<Dxth、且つ、Dz≧Dzth)。すなわち、頭部が、X方向に動いておらず、上方に動いた場合には、対象画像Paとして第2視点画像P2が選択される。
 第3視点画像P3に対応して設定されている座標範囲は、X動作座標Dxの絶対値がX閾値座標Dxthよりも小さく、且つ、Z動作座標Dzが負のZ閾値座標Dzth以下の範囲である(|Dx|<Dxth、且つ、Dz≦-Dzth)。すなわち、頭部が、X方向に動いておらず、下方に動いた場合には、対象画像Paとして第3視点画像P3が選択される。
 第4視点画像P4に対応して設定されている座標範囲は、X動作座標DxがX閾値座標Dxth以上であり、且つ、Z動作座標Dzの絶対値がZ閾値座標Dzthよりも小さい範囲である(Dx≧Dxth、且つ、|Dz|<Dzth)。すなわち、作業者がモニタ51を視認している状態で、作業者の頭部が、Z方向に動いておらず、右方向に動いた場合には、対象画像Paとして第4視点画像P4が選択される。
 第5視点画像P5に対応して設定されている座標範囲は、X動作座標DxがX閾値座標Dxth以上であり、且つ、Z動作座標DzがZ閾値座標Dzth以上の範囲である(Dx≧Dxth、且つ、Dz≧Dzth)。すなわち、作業者がモニタ51を視認している状態で、作業者の頭部が、右斜め上方向に移動した場合には、対象画像Paとして第5視点画像P5が選択される。
 第6視点画像P6に対応して設定されている座標範囲は、X動作座標DxがX閾値座標Dxth以上であり、且つ、Z動作座標Dzが負のZ閾値座標Dzth以下の範囲である(Dx≧Dxth、且つ、Dz≦-Dzth)。すなわち、作業者がモニタ51を視認している状態で、作業者の頭部が、右斜め下方向に移動した場合には、対象画像Paとして第6視点画像P6が選択される。
 第7視点画像P7に対応して設定されている座標範囲は、X動作座標Dxが負のX閾値座標Dxth以下であり、且つ、Z動作座標Dzの絶対値がZ閾値座標Dzthよりも小さい範囲である(Dx≦-Dxth、且つ、|Dz|<Dzth)。すなわち、作業者がモニタ51を視認している状態で、作業者の頭部が、Z方向に動いておらず、左方向に動いた場合には、対象画像Paとして第7視点画像P7が選択される。
 第8視点画像P8に対応して設定されている座標範囲は、X動作座標Dxが負のX閾値座標Dxth以下であり、且つ、Z動作座標DzがZ閾値座標Dzth以上の範囲である(Dx≦-Dxth、且つ、Dz≧Dzth)。すなわち、作業者がモニタ51を視認している状態で、作業者の頭部が左斜め上方向に移動した場合には、対象画像Paとして第8視点画像P8が選択される。
 第9視点画像P9に対応して設定されている座標範囲は、X動作座標Dxが負のX閾値座標Dxth以下であり、且つ、Z動作座標Dzが負のZ閾値座標Dzth以下の範囲である(Dx≦-Dxth、且つ、Dz≦-Dzth)。すなわち、作業者がモニタ51を視認している状態で、作業者の頭部が左斜め下方向に移動した場合には、対象画像Paとして第9視点画像P9が選択される。
 なお、X閾値座標Dxth及びZ閾値座標Dzthの具体的な値は任意である。また、第1視点画像P1と第4視点画像P4との境界となるX閾値座標Dxthと、第1視点画像P1と第7視点画像P7との境界となる負のX閾値座標Dxthとは、絶対値が同一となっているが、これに限られず、絶対値が異なっていてもよい。第1視点画像P1と第2視点画像P2との境界となるZ閾値座標Dzthと、第1視点画像P1と第3視点画像P3との境界となる負のZ閾値座標Dzthとについても同様である。
 図4に示すように、車両CPU84は、ステップS102にて対象画像Paを選択した後は、ステップS103に進む。ステップS103では、車両CPU84は、視点制御処理プログラム100に記憶されているカメラ位置角度データ102(図3参照)を参照して、対象画像Paに対応するカメラ41の位置及び角度である対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出する。
 図7に示すように、カメラ位置角度データ102は、各視点画像P1~P9に対応させてカメラ41の位置及びカメラ41の角度が設定されたテーブルデータである。詳細には、カメラ位置角度データ102には、第n視点画像Pn(n=1~9)に対応させて、第nカメラ位置(Pxn,Pyn,Pzn)(n=1~9)と第nカメラ角度(θxn,θyn,θzn)(n=1~9)とが設定されている。
 各カメラ位置(Px1,Py1,Pz1)~(Px9,Py9,Pz9)は、カメラ41が配置される位置を示すパラメータであり、本実施形態では3次元座標パラメータである。本実施形態では、各カメラ位置(Px1,Py1,Pz1)~(Px9,Py9,Pz9)は運転室35内の予め定められた位置である。各カメラ位置(Px1,Py1,Pz1)~(Px9,Py9,Pz9)はそれぞれ異なっている。
 各カメラ角度(θx1,θy1,θz1)~(θx9,θy9,θz9)は、カメラ41の向きを示すパラメータであり、本実施形態では3次元角度パラメータである。詳細には、Xカメラ角度θx1~θx9はX軸に対する角度を示し、Yカメラ角度θy1~θy9はY軸に対する角度を示し、Zカメラ角度θz1~θz9はZ軸に対する角度を示す。
 車両CPU84は、カメラ位置角度データ102を参照することにより、対象画像Paに対応する対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出する。
 図7及び図8に示すように、第1カメラ位置(Px1,Py1,Pz1)及び第1カメラ角度(θx1,θy1,θz1)は、第1視点画像P1の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が中央位置から正面前方を見た場合の視点に対応している。
 第2カメラ位置(Px2,Py2,Pz2)及び第2カメラ角度(θx2,θy2,θz2)は、第2視点画像P2の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が中央上方位置から見下ろした場合の視点に対応している。
 第3カメラ位置(Px3,Py3,Pz3)及び第3カメラ角度(θx3,θy3,θz3)は、第3視点画像P3の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が中央下方位置から見上げた場合の視点に対応している。
 ちなみに、第1Xカメラ座標Px1、第2Xカメラ座標Px2及び第3Xカメラ座標Px3は、両マスト24a,24bの間の座標である。そして、第2Yカメラ座標Py2は、連結フレーム27よりも上方の座標である。
 第4カメラ位置(Px4,Py4,Pz4)及び第4カメラ角度(θx4,θy4,θz4)は、第4視点画像P4の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が右中央位置から正面前方を見た場合の視点に対応している。
 第5カメラ位置(Px5,Py5,Pz5)及び第5カメラ角度(θx5,θy5,θz5)は、第5視点画像P5の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が右上位置から斜め左下方向に見下ろした場合の視点に対応している。
 第6カメラ位置(Px6,Py6,Pz6)及び第6カメラ角度(θx6,θy6,θz6)は、第6視点画像P6の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が右下位置から斜め左上方向に見上げた場合の視点に対応している。
 ちなみに、第4Xカメラ座標Px4、第5Xカメラ座標Px5及び第6Xカメラ座標Px6は、運転室35に搭乗する搭乗者から見て右マスト24bよりも右の座標である。そして、第5Yカメラ座標Py5は、連結フレーム27よりも上方の座標である。
 第7カメラ位置(Px7,Py7,Pz7)及び第7カメラ角度(θx7,θy7,θz7)は、第7視点画像P7の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が左中央位置から正面前方を見た場合の視点に対応している。
 第8カメラ位置(Px8,Py8,Pz8)及び第8カメラ角度(θx8,θy8,θz8)は、第8視点画像P8の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が左上位置から斜め右下方向に見下ろした場合の視点に対応している。
 第9カメラ位置(Px9,Py9,Pz9)及び第9カメラ角度(θx9,θy9,θz9)は、第9視点画像P9の視点に対応したカメラ41の位置及び角度であり、本実施形態では運転室35内の搭乗者が左下位置から斜め右上方向に見上げた場合の視点に対応している。
 ちなみに、第7Xカメラ座標Px7、第8Xカメラ座標Px8及び第9Xカメラ座標Px9は、運転室35に搭乗する搭乗者から見て左マスト24aよりも左の座標である。そして、第8Yカメラ座標Py8は、連結フレーム27よりも上方の座標である。
 以上のとおり、各カメラ位置(Px1,Py1,Pz1)~(Px9,Py9,Pz9)及び各カメラ角度(θx1,θy1,θz1)~(θx9,θy9,θz9)は予め定められた固定値である。このため、各視点画像P1~P9は、視点が予め固定された画像である。すなわち、各視点画像P1~P9は、視点が予め固定され且つ当該視点が互いに異なった画像であると言える。このため、車両CPU84は、視点が固定されている複数視点画像P1~P9のうち視点選択動作に対応したものを対象画像Paとして選択しているとも言える。
 ちなみに、本実施形態では、各視点画像P1~P9の少なくとも2つの視点画像については、撮影範囲が互いに一部重なっている。例えば、第1視点画像P1の撮影範囲と第4視点画像P4の撮影範囲とは一部重なっている。
 図4に示すように、車両CPU84は、ステップS103の処理の実行後は、ステップS104にて、カメラ41が対象カメラ位置(Pxa,Pya,Pza)の位置にて対象カメラ角度(θxa,θya,θza)の向きに配置されるようにカメラアクチュエータ44を駆動制御する。そして、車両CPU84は、視点制御処理を終了する。
 かかる構成によれば、作業者による視点選択動作(本実施形態では頭部の動き)に応じて、カメラ41の位置及び角度が変更される。これにより、車両通信部72からリモート通信部71に向けて送信される画像信号SG1に設定される画像が変更される。したがって、リモート装置50が取得する画像も変更され、その結果モニタ51に表示される画像が変更される。
 例えば、作業者が頭部を基準位置からX閾値座標Dxth以上だけ右方向に移動させた場合、カメラ41は第4カメラ位置(Px4,Py4,Pz4)の位置に第4カメラ角度(θx4,θy4,θz4)の向きで配置される。これにより、第4視点画像P4が設定された画像信号SG1が送信され、モニタ51には第4視点画像P4が表示される。
 ここで、本実施形態では、ステップS102の対象画像選択処理が「選択ステップ」に対応し、当該対象画像選択処理を実行する車両CPU84が「選択部」に対応する。また、ステップS104の処理を実行する車両CPU84が「駆動制御部」に対応する。
 また、本実施形態では、画像送信処理プログラム83d及び視点制御処理プログラム100が「産業車両用遠隔プログラム」に対応する。画像送信処理プログラム83d及び視点制御処理プログラム100は、フォークリフト20(詳細には車両CPU84)を、複数視点画像P1~P9のうち対象画像Paがモニタ51に表示されるようにする画像制御部として機能させるプログラムとも言える。詳細には、視点制御処理プログラム100は、複数視点画像P1~P9のうち対象画像Paを選択するプログラムであり、画像送信処理プログラム83dは、選択された対象画像Paがモニタ51に表示されるようにリモート装置50に指示するプログラムである。
 更に、車両CPU84が車両通信部72を用いて対象画像Paが設定された画像信号SG1を送信することにより、モニタ51に対象画像Paが表示されることに着目すれば、車両CPU84は、対象画像Paがモニタ51に表示されるようにリモート装置50に対して指示する対象画像指示部と言える。
 なお、車両CPU84が視点制御処理を実行することによって、予め固定された互いに異なる複数視点画像P1~P9を取得できる点に鑑みれば、カメラ41、カメラアクチュエータ44及びカメラアクチュエータ44を駆動制御する車両CPU84は、複数視点画像P1~P9を取得するように構成された画像取得部とも言える。
 次に本実施形態の作用について図9~図12を用いて説明する。
 図9に示すように、作業者がモニタ51の正面にいる状態で基準設定操作が行われ、基準位置(規定ポイント)が設定されたとする。この場合、作業者の頭部が移動していない状況では、第1視点画像P1がモニタ51に表示される。
 ここで、図10に示すように、カメラ41の撮影範囲にフォークリフト20の構成部材や構造物が含まれている場合、確認することができない死角領域が形成される。本実施形態では、運転室35の前方には、フォークリフト20の構成部材としてのマスト24が配置されているため、運転室35内に配置されるカメラ41の前方にもマスト24が配置されることとなる。このため、第1視点画像P1の撮影範囲にはマスト24が含まれ、当該マスト24によって第1視点画像P1には第1死角領域Ad1が形成される。すると、例えば第1死角領域Ad1内に障害物Wが配置されている場合、モニタ51を視認している作業者は、障害物Wを確認することができない。
 これに対して、例えば図11に示すように、作業者が頭部を右方向に移動させると、図12に示すように、カメラ41が第4視点画像P4に対応する位置に配置される。この場合、第4視点画像P4には第2死角領域Ad2が形成される。両マスト24a,24bの位置は変わらないため、第1死角領域Ad1と第2死角領域Ad2とは異なっている。このため、第4視点画像P4には、第1死角領域Ad1の一部が撮影されている。したがって、第1視点画像P1では確認できなかった障害物Wを確認することができる。
 ちなみに、上記説明では、第1視点画像P1と第4視点画像P4とで説明したが、これに限られず、他の視点画像についても同様である。すなわち、本実施形態では、各視点画像P1~P9にはそれぞれ死角領域が形成されており、各視点画像P1~P9の死角領域はそれぞれ異なっている。そして、各視点画像P1~P9は、ある視点画像の死角領域の少なくとも一部が他の視点画像の撮影範囲に含まれるように視点が異なっている。換言すれば、各視点画像P1~P9は、第1の死角領域が形成された第1の視点画像と、第1の死角領域の少なくとも一部が撮影された第2の視点画像とを含むと言える。
 ちなみに、仮に第1視点画像P1によって障害物Wが確認された場合であっても、障害物Wによって生じた死角については第1視点画像P1からは確認することはできない。この点、本実施形態によれば、既に説明したとおり、第1視点画像P1の撮影範囲と第4視点画像P4の撮影範囲とは一部重なっているため、第1視点画像P1の撮影範囲内に含まれる障害物Wは、第4視点画像P4の撮影範囲内に含まれる場合がある。そして、第4視点画像P4は、第1視点画像P1とは異なる視点の画像である。このため、第4視点画像P4を確認することにより、障害物Wによって生じた第1視点画像P1の死角領域についても確認できる。
 なお、念のために説明すると、本実施形態では、複数視点画像P1~P9のうち任意の1つの視点画像が「第1視点画像」に対応し、それとは異なる視点画像が「第2視点画像」に対応する。第1視点画像P1のみが「第1視点画像」に対応し、第4視点画像P4(又は第2視点画像P2)のみが「第2視点画像」に対応しているわけではない。
 以上詳述した本実施形態によれば以下の効果を奏する。
 (1-1)産業車両用遠隔システム10は、無線通信を行う車両通信部72を有する産業車両としてのフォークリフト20と、車両通信部72と無線通信を行うリモート通信部71を有するリモート装置50とを備え、リモート装置50を用いてフォークリフト20を遠隔操作又は遠隔監視するものである。リモート装置50は、画像を表示する表示部としてのモニタ51を備えている。
 かかる構成において、産業車両用遠隔システム10は、作業者による視点選択動作を検知する動作検知センサ60を備えている。そして、産業車両用遠隔システム10の車両CPU84は、フォークリフト20の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なっている複数視点画像P1~P9のうち、動作検知センサ60によって検知された視点選択動作に対応した対象画像Paを選択する対象画像選択処理を実行する。
 また、産業車両用遠隔システム10は、対象画像Paをモニタ51に表示させるように構成されている。本実施形態では、車両CPU84は、車両通信部72を用いて、対象画像Paが設定された画像信号SG1をリモート通信部71に向けて送信する画像信号送信処理を実行する。そして、リモートCPU93は、画像信号SG1に設定されている対象画像Paをモニタ51に表示させる表示制御プログラム91bを実行する。
 かかる構成によれば、作業者の視点選択動作によってモニタ51に表示される対象画像Paが変更される。これにより、モニタ51を確認する作業者としては、視点選択動作を行うことによって、モニタ51に所望の画像を表示させることができる。したがって、遠隔操作又は遠隔監視において、フォークリフト20の周囲の確認作業を好適に行うことができる。
 ここで、仮にモニタ51に表示される画像が自由度の高い任意の視点の画像であって、作業者の動きに追従してモニタ51に表示される画像の視点が自由に変更されるように構成されている場合、作業者としては所望の画像を表示させるために適切な視点を探したり、多少の動きで意図しない視点の変更が行われたりする不都合が懸念される。また、モニタ51に自由度の高い任意の視点の画像が表示される構成では、モニタ51を確認している作業者が酔ってしまうことも懸念される。
 これに対して、本実施形態では、視点が固定された複数視点画像P1~P9の中から対象画像Paが選択されるため、モニタ51に表示される画像の視点はある程度固定されることとなる。したがって、上記不都合を抑制しつつ、フォークリフト20の周囲の確認作業を行うことができる。
 (1-2)複数視点画像P1~P9は、撮影範囲にフォークリフト20の構成部材としてのマスト24が含まれることによって第1死角領域Ad1が形成された第1視点画像P1と、第1視点画像P1とは視点が異なる画像であって、第1死角領域Ad1の少なくとも一部が撮影された第4視点画像P4とを含む。
 かかる構成によれば、視点選択動作を行うことによって、第1視点画像P1で確認できない領域を確認することができる。これにより、遠隔監視又は遠隔操作において、作業者が確認できない死角を減らすことができ、安全性の向上を図ることができる。
 また、本実施形態では、モニタ51に表示される視点が固定されているため、第1死角領域Ad1を確認するために適切な視点を予め設定しておくことにより、第1死角領域Ad1の確認を好適に行うことができる。これにより、第1死角領域Ad1を確認するための視点の調整の煩雑さを抑制できる。
 特に、例えば視点選択動作が身体の動き(例えば手や頭の動き)である場合であって当該視点選択動作に応じて視点が自由に変更される構成においては、第1死角領域Ad1を確認できる適切な視点の画像を得るために当該適切な視点を探したり、無理な体勢のまま姿勢を保持したりする必要が生じるという不都合が懸念される。この点、本実施形態では、視点が固定されているため、作業者が適切な視点を探す必要がなく、多少の動きがあっても適切な視点を維持できる。これにより、上記不都合を抑制できる。
 (1-3)複数視点画像P1~P9は、互いに撮影範囲が一部重なっている2つの視点画像を含む。例えば、第1視点画像P1及び第4視点画像P4は互いに撮影範囲が一部重なっている。これにより、第1視点画像P1で障害物Wが確認された場合には、第4視点画像P4を確認することにより、第1視点画像P1において障害物Wによって生じた死角を確認できる。つまり、対象物(例えばフォークリフト20の進行方向にある障害物W)を異なる角度から確認することができる。したがって、例えば障害物Wの影にいる作業者などを確認できる。よって、安全性の向上を図ることができる。
 (1-4)動作検知センサ60は、視点選択動作として、作業者の頭部の動きを検知する。そして、車両CPU84及びリモートCPU93は、動作検知センサ60によって検知された頭部の動きに対応した対象画像Paをモニタ51に表示させる。
 かかる構成によれば、頭部の動きに合わせて、モニタ51に表示される対象画像Paが変更される。これにより、例えば上から覗き込む又は下から見上げるといった直感的な動作で対象画像Paを切り替えることができ、フォークリフト20の周囲の確認作業を容易に行うことができる。
 ここで、上記のように視点選択動作として頭部の動きが採用されている場合、適切な視点を探すために頭部を移動又は回転させ続けたり、適切な視点を維持するために頭部の位置を維持し続けたりする必要が生じ得るため、作業者の負担が増加するおそれがある。
 この点、本実施形態では、モニタ51に表示される視点が固定されているため、適切な視点を探すために頭部を移動又は回転させ続ける必要がなく、比較的簡単な動作で適切な視点の対象画像Paを得ることができる。また、頭部が多少動いても、適切な視点の画像が表示される状態を維持できる。これにより、作業者の負担の軽減を図ることができる。
 (1-5)フォークリフト20は、カメラ41と、カメラ41を移動及び回転させる移動機構42と、を備えている。車両CPU84は、ステップS104にて、モニタ51に表示される画像が対象画像Paとなるように移動機構42(詳細にはカメラアクチュエータ44)を駆動制御する。
 かかる構成によれば、カメラ41が移動及び回転することによって、モニタ51に対象画像Paを表示させることができる。これにより、視点の数だけカメラ41を用意する必要がないため、カメラ41の数を削減できる。
 (1-6)フォークリフト20(詳細には車両メモリ83)は、視点画像P1~P9を撮影するためのカメラ位置(Px1,Py1,Pz1)~(Px9,Py9,Pz9)及びカメラ角度(θx1,θy1,θz1)~(θx9,θy9,θz9)が記憶されたカメラ位置角度データ102を有している。車両CPU84は、カメラ位置角度データ102に基づいて、カメラ41が対象画像Paに対応する対象カメラ位置(Pxa,Pya,Pza)に、対象画像Paに対応する対象カメラ角度(θxa,θya,θza)で配置されるようにカメラアクチュエータ44を駆動制御する。
 かかる構成によれば、対象画像Paが撮影される視点にカメラ41が自動で配置される。これにより、作業者としてはカメラ41の位置や角度について具体的に指示する必要がないため、フォークリフト20の周囲の確認作業の容易化を図ることができる。
 (1-7)フォークリフト20は、モニタ51を有するリモート装置50に設けられたリモート通信部71と無線通信を行う車両通信部72を備え、当該リモート装置50によって遠隔操作又は遠隔監視が行われるものである。そして、フォークリフト20の車両CPU84は、複数視点画像P1~P9のうち視点選択動作に対応した対象画像Paがモニタ51に表示されるようにリモート装置50に対して指示するものである。詳細には、車両CPU84は、複数視点画像P1~P9の中から対象画像Paを選択し、車両通信部72を用いて、対象画像Paが設定された画像信号SG1をリモート通信部71に向けて送信することにより、対象画像Paがモニタ51に表示されるようにリモート装置50に対して指示している。これにより、(1-1)の効果を奏する。
 (1-8)産業車両用遠隔プログラムとしての画像送信処理プログラム83d及び視点制御処理プログラム100は、リモート装置50を用いてフォークリフト20を遠隔操作又は遠隔監視するためのプログラムである。視点制御処理プログラム100は、車両CPU84を、複数視点画像P1~P9のうち対象画像Paを選択するものとして機能させる。画像送信処理プログラム83dは、車両CPU84を、対象画像Paがモニタ51に表示されるようにリモート装置50に対して指示するものとして機能させる。これにより、(1-1)の効果を奏する。
 (1-9)産業車両用遠隔方法は、リモート装置50に設けられたモニタ51に表示される画像を用いてフォークリフト20の遠隔操作又は遠隔監視を行う。産業車両用遠隔方法は、車両CPU84が、複数視点画像P1~P9のうち対象画像Paを選択する選択ステップ(ステップS102)と、リモートCPU93が対象画像Paをモニタ51に表示させる表示制御ステップ(表示制御プログラム91bの実行ステップ)を備えている。これにより、(1-1)の効果を奏する。
(第2実施形態)
 本実施形態では、複数視点画像P1~P9を取得するための構成、及び、対象画像Paを選択する処理の実行主体等が第1実施形態と異なっている。その異なる点について以下に説明する。
 図13に示すように、本実施形態では、フォークリフト20は、複数視点画像P1~P9を撮影する複数のカメラ111~119を備えている。複数のカメラ111~119は、互いに離間した位置に設けられており、視点画像P1~P9を撮影する位置及び角度で配置されている。つまり、本実施形態では、各視点画像P1~P9を同時に取得することが可能となっている。なお、カメラの数は、「9」に限られず、「2」以上であれば任意である。
 なお、各カメラ111~119は、位置及び角度が決められた状態で機台21に固定されている。例えば、第1カメラ111~第3カメラ113は、屋根33に固定され当該屋根33から下方に延びたカメラ固定フレーム120によって固定されており、第4カメラ114~第9カメラ119は、起立フレーム32に固定されている。
 図14に示すように、各カメラ111~119は車両CPU84に接続されている。本実施形態の画像送信処理では、車両CPU84は、車両通信部72を用いて、複数視点画像P1~P9が設定された画像信号SG1をリモート通信部71に送信する。
 ここで、本実施形態では、リモートメモリ91には、表示制御プログラム91bに代えて、選択表示処理を実行するための選択表示処理プログラム121が記憶されている。リモートCPU93は、選択表示処理プログラム121を読み出し、選択表示処理を実行することにより、複数視点画像P1~P9のうち、動作検知センサ60によって検知された視点選択動作に対応した対象画像Paを選択してモニタ51に表示させる。
 選択表示処理プログラム121は、リモート装置50のモニタ51に表示される画像を用いてフォークリフト20を遠隔操作又は遠隔監視するためのプログラムである。本実施形態では、選択表示処理プログラム121が「産業車両用遠隔プログラム」に対応する。
 選択表示処理について図15を用いて説明する。
 図15に示すように、リモートCPU93は、まずステップS201にて、動作検知センサ60の検知結果に基づいて視点選択動作を把握する。詳細には、リモートCPU93は、動作検知センサ60の検知結果に含まれる座標情報を把握する。
 その後、リモートCPU93は、ステップS202にて、各視点画像P1~P9のうち視点選択動作に対応した対象画像Paを選択する。詳細には、リモートCPU93は、対象画像選択データ101を参照することにより、座標情報に対応した対象画像Paを選択する。なお、対象画像選択データ101は、第1実施形態と同様であるため、詳細な説明を省略する。
 続くステップS203では、リモートCPU93は、ステップS202にて選択された対象画像Paをモニタ51に表示させて、本選択表示処理を終了する。
 本実施形態では、ステップS202の処理が「選択ステップ」に対応し、ステップS202の処理を実行するリモートCPU93が「選択部」に対応する。そして、ステップS203の処理が「表示制御ステップ」に対応し、ステップS203の処理を実行するリモートCPU93が「表示制御部」に対応する。
 以上詳述した本実施形態によれば、以下の作用効果を奏する。
 (2-1)リモート装置50は、車両通信部72と無線通信を行うリモート通信部71とモニタ51とを有し、モニタ51に表示される画像を用いてフォークリフト20を遠隔操作又は遠隔監視するものである。リモート装置50は、動作検知センサ60の検知結果である検知信号SG2が入力される入力部94と、リモートCPU93と、を備えている。リモートCPU93は、複数視点画像P1~P9のうち動作検知センサ60の検知結果に対応した対象画像Paを選択する選択ステップ(ステップS202)と、選択された対象画像Paをモニタ51に表示させる表示制御ステップ(ステップS203)と、を備えている。
 換言すれば、選択表示処理プログラム121は、リモートCPU93を、複数視点画像P1~P9のうち対象画像Paを選択し、その選択された対象画像Paをモニタ51に表示させるものとして機能させる。これにより、(1-1)の効果を奏する。
 (2-2)フォークリフト20は、複数視点画像P1~P9を撮影する複数のカメラ111~119を備えている。リモートCPU93は、複数のカメラ111~119によって撮影された複数視点画像P1~P9のうち対象画像Paを選択する。
 かかる構成によれば、対象画像Paを撮影するためにカメラを移動させたり回転させたりする必要がない。これにより、カメラの移動等に要するタイムラグに起因してモニタ51に対象画像Paが表示されることが遅れるといった不都合を抑制できる。
 なお、上記各実施形態は以下のように変更してもよい。
 ○ 図16及び図17に示すように、リモート装置50は、フォークリフト20外に設けられ且つフォークリフト20を撮影する周辺カメラ131の画像を取得する周辺画像取得部132を備えていてもよい。
 図16に示すように、周辺カメラ131は、例えばフォークリフト20が走行などを行う工場や作業場等の設備に設けられている監視カメラなどである。周辺カメラ131は、フォークリフト20の走行ルートの周辺に設けられた定点カメラである。
 ここで、周辺カメラ131で撮影された画像は、各視点画像P1~P9とは異なる視点の画像である。以降の説明において、周辺カメラ131で撮影された画像を第10視点画像P10という。
 図17に示すように、周辺画像取得部132は、有線又は無線にて周辺カメラ131と電気的に接続されており、周辺カメラ131によって撮影された第10視点画像P10が入力されるものである。周辺画像取得部132は、リモートCPU93と電気的に接続されており、周辺画像取得部132によって取得された第10視点画像P10は、リモートCPU93に入力される。これにより、リモートCPU93は、第10視点画像P10を把握できる。
 なお、周辺画像取得部132の具体的な構成は任意であるが、例えば周辺画像取得部132と周辺カメラ131とが有線にて接続される構成においては、周辺画像取得部132はコネクタであり、両者が無線にて接続される構成においては、周辺画像取得部132は無線の受信装置である。
 かかる構成において、産業車両用遠隔システム10は、各視点画像P1~P10のうち視点選択動作に対応した対象画像Paがモニタ51に表示されるように構成されていてもよい。例えば、リモートCPU93は、頭部が基準位置からY閾値座標Dythよりもモニタ51に対して後方に動いた場合(Dy≦-Dyth)には、第10視点画像P10をモニタ51に表示させてもよい。これにより、搭乗者の視点に対応した画像だけでなく、フォークリフト20外からフォークリフト20を見た場合の画像を確認できる。
 すなわち、フォークリフト20の周囲が撮影される複数視点画像とは、搭乗者の視点に対応した画像に限られず、フォークリフト20外からフォークリフト20を撮影した画像を含む。
 ○ 各実施形態において、対象画像選択データ101に設定される座標範囲に、Y動作座標Dyに関する条件が追加設定されていてもよい。例えば、複数視点画像として視点がY方向に異なるY方向視点画像を複数用意し、車両CPU84又はリモートCPU93は、各動作座標Dx,Dy,Dzの全てに基づいて、複数視点画像P1~P9及びY方向視点画像の中から対象画像Paを選択してもよい。
 一方、車両CPU84は、X動作座標Dxのみに基づいて、第1視点画像P1、第4視点画像P4、及び第7視点画像P7の中から対象画像Paを選択してもよい。要は、車両CPU84は、複数視点の画像のうち各動作座標Dx,Dy,Dzの少なくとも1つに基づいて対象画像Paを選択すればよい。
 ○ 車両CPU84又はリモートCPU93は、頭部の回転に基づいて対象画像Paを選択する構成でもよい。
 ○ 車両CPU84又はリモートCPU93は、Y動作座標Dyに基づいて、カメラ41のズームイン/ズームアウトを行ってもよい。例えば、車両CPU84は、頭部がモニタ51に近づいたことに基づいてズームインを行う一方、頭部がモニタ51から離れることに基づいてズームアウトを行う構成でもよい。
 ○ 第1実施形態では、車両CPU84は、検知信号SG2に基づいて、対象画像Paを選択し、当該対象画像Paに対応する対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出したが、これに限られない。例えば、車両CPU84は、各座標範囲に対応付けてカメラ位置及びカメラ角度が設定されたテーブルデータを参照することにより、座標情報から直接対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出してもよい。
 この場合、座標情報から直接対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出する処理が「選択ステップ」に対応し、当該処理を実行する車両CPU84が「選択部」に対応する。第2実施形態についても同様である。
 要は、産業車両用遠隔システム10は、視点選択動作に対応した対象画像Paがモニタ51に表示されるように構成されていれば、車両CPU84及びリモートCPU93の具体的な処理構成については任意である。
 ○ 第1実施形態において、カメラ41は、運転室35外に配置されてもよい。
 ○ カメラアクチュエータ44は、例えばカメラ41を円方向に移動させる構成でもよいし、球面に沿って移動させる構成でもよい。また、カメラアクチュエータ44は、カメラ41を多面体の辺に沿って移動させる構成でもよいし、X,Y,Z方向に等間隔に移動させる構成でもよい。つまり、カメラ41の移動軌跡や配置可能な位置に制限があってもよい。
 ○ カメラアクチュエータ44は、カメラ41を移動及び回転させるものであったが、これに限られず、カメラ41の移動又は回転を行うものであればよい。
 ○ 第1実施形態において、リモートCPU93が、視点選択動作に対応する対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出し、リモート通信部71を用いて、その導出結果をカメラ指示信号として車両通信部72に向けて送信してもよい。この場合、車両CPU84は、上記カメラ指示信号に基づいてカメラアクチュエータ44を駆動制御してもよい。要は、対象カメラ位置(Pxa,Pya,Pza)及び対象カメラ角度(θxa,θya,θza)を導出する実行主体は、フォークリフト20に限られず、リモート装置50でもよいし、フォークリフト20及びリモート装置50以外の制御装置(例えばサーバ等)でもよい。
 なお、視点選択動作に対応する対象画像Paの選択についても同様であり、リモートCPU93が選択してもよいし、車両CPU84が選択してもよいし、それ以外の制御装置が選択してもよい。
 例えば、リモートCPU93が、対象画像Paを選択し、リモート通信部71を用いて対象画像Paを指示する画像指示信号を送信し、車両CPU84が当該画像指示信号に基づいてカメラアクチュエータ44の駆動制御を行ってもよい。
 ○ リモート通信部71と車両通信部72とは、検知信号SG2又はカメラ指示信号の送受信と、画像信号SG1の送受信とが行われればよく、その具体的な構成は任意である。
 例えば、リモート通信部71は、検知信号SG2又はカメラ指示信号の送信に対応した無線ユニットと、画像信号SG1の受信に対応した無線ユニットとを別々に備えてもよい。同様に、車両通信部72は、検知信号SG2又はカメラ指示信号の受信に対応した無線ユニットと、画像信号SG1の送信に対応した無線ユニットとを別々に備えていてもよい。
 ○  フォークリフト20は、車両CPU84とは別に専用のGPUを備え、当該GPUが画像信号送信処理を実行する構成でもよい。同様に、リモート装置50は、リモートCPU93とは別に専用のGPUを備え、当該GPUが表示制御プログラム91b又は選択表示処理プログラム121を実行することにより、モニタ51に画像信号SG1に設定された画像を表示させる構成でもよい。
 ○ 予め設定されている視点画像の数は、2以上であれば任意である。例えば、視点画像の設定数は、1つのフォークリフト20あたり「2~20」でもよい。
 ○ フォークリフト20は、遠隔操作又は自動運転が可能である一方、有人操作が不可となるように構成されていてもよい。この場合、車両操作部34及び運転室35を省略してもよい。
 また、リモート装置50によるフォークリフト20の遠隔操作が行われない構成でもよい。この場合であっても、本産業車両用遠隔システム10によれば、自動運転中のフォークリフト20を監視できる。なお、遠隔操作が行われない場合には、リモート操作部52を省略してもよい。また、遠隔操作が行われる一方、自動運転が行われない構成でもよい。
 要は、産業車両用遠隔システム10は、フォークリフト20の遠隔監視又は遠隔操作を行うものであればよく、遠隔監視と遠隔操作との双方を行うものである必要はないし、有人操作を行うものでなくてもよい。
 ○ 動作検知センサ60は、リモート装置50の一部であってもよい。
 ○ 動作検知センサ60の検知対象である視点選択動作は、作業者の動きであれば任意であり、例えば指の動き、腕の動き、目線の動きなどでもよい。
 ○ モニタ51は複数でもよい。例えば複数のモニタ51が配列されていてもよい。複数のモニタ51の配列態様は任意であり、上下左右に配列されていてもよいし、作業者を囲むように上方から見てU字状に配列されていてもよい。
 かかる構成においては、産業車両用遠隔システム10は、例えば複数のモニタ51のうち対象モニタには対象画像Paのみが拡大表示され、その他のモニタには各種情報が表示されるように構成されていてもよい。
 また、産業車両用遠隔システム10は、各モニタ51に対象画像Paが表示されるように構成されていてもよい。この場合、作業者がどの方向を向いても対象画像Paを確認することができる。
 また、第2実施形態のように、複数の視点画像P1~P9を同時に取得できる構成にあっては、産業車両用遠隔システム10は、対象モニタに対象画像Paが表示され、その他のモニタに対象画像Pa以外が表示されるように構成されていてもよい。または、産業車両用遠隔システム10は、上記その他のモニタに予め定められた1又は複数の視点画像が常時表示されるように構成されてもよい。
 更に、産業車両用遠隔システム10は、視点選択動作に基づいて複数の対象画像Paを選択し、複数のモニタ51を用いて複数の対象画像Paを表示するように構成されていてもよい。これにより、1つのモニタ51で複数の対象画像Paを表示させる構成と比較して、各対象画像Paを大きく表示させることができるため、作業性の向上を図ることができる。
 ○ 各視点画像P1~P9は互いに撮影範囲が重なっていなくてもよい。
 ○ 産業車両は、フォークリフト20に限られず任意であり、フォーク26以外の動作対象物(換言すれば操作対象物)を1又は複数有するものでもよい。換言すれば、産業車両は、走行以外に操作対象物を有しており、走行と当該操作対象物の動作との双方が行われる車両であるとも言える。
 ○ 各実施形態及び各別例を適宜組み合わせてもよい。
 10  産業車両用遠隔システム
20  フォークリフト
21  機台
24  マスト(構成部材)
41,111~119  カメラ
42  移動機構
44  カメラアクチュエータ
50  リモート装置
51  モニタ(表示部)
60  動作検知センサ(動作検知部)
71  リモート通信部
72  車両通信部
83  車両メモリ
84  車両CPU
91  リモートメモリ
93  リモートCPU
94  入力部
100  視点制御処理プログラム
101  対象画像選択データ
102  カメラ位置角度データ
121  選択表示処理プログラム
P1~P9  視点画像
Pa  対象画像
Ad1  第1死角領域
As2  第2死角領域
SG1  画像信号
SG2  検知信号

 

Claims (12)

  1.  無線通信を行う車両通信部を有する産業車両と、
     前記車両通信部と無線通信を行うリモート通信部及び画像を表示する表示部を有するリモート装置と、
    を備え、当該リモート装置を用いて前記産業車両を遠隔操作又は遠隔監視する産業車両用遠隔システムであって、
     作業者の視点選択動作を検知する動作検知部と、
     前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、
     前記選択部によって選択された前記対象画像を前記表示部に表示させる表示制御部と、
    を備えていることを特徴とする産業車両用遠隔システム。
  2.  前記複数視点の画像は、
     第1視点画像と、
     前記第1視点画像とは視点が異なる画像であって、前記第1視点画像の撮影範囲と一部重なる撮影範囲の第2視点画像と、
    を含む請求項1に記載の産業車両用遠隔システム。
  3.  前記第1視点画像は、撮影範囲に前記産業車両の構成部材が含まれることによって第1死角領域が形成された画像であり、
     前記第2視点画像は、前記第1死角領域の少なくとも一部が撮影された画像である請求項2に記載の産業車両用遠隔システム。
  4.  前記動作検知部は、前記視点選択動作として、作業者の頭部の動きを検知するものである請求項1~3のうちいずれか一項に記載の産業車両用遠隔システム。
  5.  前記産業車両は、
     カメラと、
     前記カメラを移動又は回転させる移動機構と、
     前記カメラによって撮影される画像が前記対象画像となるように前記移動機構を駆動制御する駆動制御部と、
    を備えている請求項1~4のうちいずれか一項に記載の産業車両用遠隔システム。
  6.  前記産業車両は、前記カメラが前記各視点の画像を撮影するための位置及び角度がそれぞれ記憶されたカメラ位置角度データを有しており、
     前記駆動制御部は、前記カメラ位置角度データに基づいて、前記カメラが前記対象画像に対応する位置に前記対象画像に対応した角度で配置されるように前記移動機構を駆動制御する請求項5に記載の産業車両用遠隔システム。
  7.  前記産業車両は、前記複数視点の画像を撮影する複数のカメラを備え、
     前記選択部は、前記複数のカメラによって撮影される前記複数視点の画像のうち前記対象画像を選択するものである請求項1~4のうちいずれか一項に記載の産業車両用遠隔システム。
  8.  画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置に設けられたリモート通信部と無線通信を行う車両通信部を備え、当該リモート装置を用いた遠隔操作又は遠隔監視が行われる産業車両であって、
     前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、
     前記選択部によって選択された前記対象画像が前記表示部に表示されるように前記リモート装置に対して指示する対象画像指示部と、
    を備えていることを特徴とする産業車両。
  9.  産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、を有するものであって、前記産業車両を遠隔操作又は遠隔監視するのに用いられるリモート装置であって、
     作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部と、
     前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、
     前記選択部によって選択された前記対象画像を前記表示部に表示させる表示制御部と、
    を備えていることを特徴とするリモート装置。
  10.  産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置を用いて、前記産業車両を遠隔操作又は遠隔監視するための産業車両用遠隔プログラムであって、
     前記産業車両を、
     前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、
     前記選択部によって選択された前記対象画像が前記表示部に表示されるように前記リモート装置に対して指示する対象画像指示部と、
    として機能させることを特徴とする産業車両用遠隔プログラム。
  11.  産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置を用いて、前記産業車両を遠隔操作又は遠隔監視するための産業車両用遠隔プログラムであって、
     前記リモート装置を、
     前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択部と、
     前記選択部によって選択された前記対象画像を前記表示部に表示させる表示制御部と、
    として機能させることを特徴とする産業車両用遠隔プログラム。
  12.  産業車両に設けられた車両通信部と無線通信を行うリモート通信部と、画像を表示する表示部と、作業者の視点選択動作を検知する動作検知部の検知結果が入力される入力部とを有するリモート装置を用いて、前記産業車両を遠隔操作又は遠隔監視する産業車両用遠隔方法であって、
     前記リモート装置又は前記産業車両が、
     前記産業車両の周囲が撮影された画像であって視点が予め固定され且つ当該視点が互いに異なる複数視点の画像のうち、前記動作検知部によって検知された前記視点選択動作に対応した対象画像を選択する選択ステップと、
     前記選択ステップによって選択された前記対象画像を前記表示部に表示させる表示制御ステップと、
    を備えていることを特徴とする産業車両用遠隔方法。

     
PCT/JP2019/015179 2018-04-23 2019-04-05 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法 WO2019208174A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-082238 2018-04-23
JP2018082238A JP2019193033A (ja) 2018-04-23 2018-04-23 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法

Publications (1)

Publication Number Publication Date
WO2019208174A1 true WO2019208174A1 (ja) 2019-10-31

Family

ID=68294186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015179 WO2019208174A1 (ja) 2018-04-23 2019-04-05 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法

Country Status (2)

Country Link
JP (1) JP2019193033A (ja)
WO (1) WO2019208174A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223680A1 (ja) * 2022-05-17 2023-11-23 コベルコ建機株式会社 撮像機構、及び撮像機構を備える作業機械、及び作業機械を遠隔操作する作業機械の遠隔操作システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024079841A1 (ja) * 2022-10-13 2024-04-18 日本電気株式会社 状態認識装置、状態認識方法、コンピュータ可読媒体、タスク実行システム、及びタスク実行方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05289739A (ja) * 1992-04-06 1993-11-05 Shinko Electric Co Ltd 立体画像処理装置およびテレオペレーティングシステム
JPH0678308A (ja) * 1992-08-27 1994-03-18 Fujita Corp 無人走行車の視界を確保する方法
JPH09218713A (ja) * 1996-02-09 1997-08-19 Hitachi Constr Mach Co Ltd 遠隔操縦機械のカメラ方向制御装置
JP2006219894A (ja) * 2005-02-10 2006-08-24 Shin Caterpillar Mitsubishi Ltd 建設機械の遠隔操作におけるカメラ制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05289739A (ja) * 1992-04-06 1993-11-05 Shinko Electric Co Ltd 立体画像処理装置およびテレオペレーティングシステム
JPH0678308A (ja) * 1992-08-27 1994-03-18 Fujita Corp 無人走行車の視界を確保する方法
JPH09218713A (ja) * 1996-02-09 1997-08-19 Hitachi Constr Mach Co Ltd 遠隔操縦機械のカメラ方向制御装置
JP2006219894A (ja) * 2005-02-10 2006-08-24 Shin Caterpillar Mitsubishi Ltd 建設機械の遠隔操作におけるカメラ制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223680A1 (ja) * 2022-05-17 2023-11-23 コベルコ建機株式会社 撮像機構、及び撮像機構を備える作業機械、及び作業機械を遠隔操作する作業機械の遠隔操作システム

Also Published As

Publication number Publication date
JP2019193033A (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
JP7023492B2 (ja) 移動体の追従画像提示システム
JP2015174705A (ja) フォークリフト作業支援装置
WO2019208174A1 (ja) 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法
JP2017052053A (ja) 無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システム
JP2015043488A (ja) 遠隔操作装置及びそれを用いた遠隔施工方法
JP7213428B2 (ja) 産業車両用走行支援装置
JP2011101915A (ja) ロボットシステム
JP2019202877A (ja) 産業車両用遠隔操作システム
JP2006139525A (ja) 自律移動型ロボット
US20200361092A1 (en) Robot operating device, robot, and robot operating method
JP2006346827A (ja) ロボットの教示システム
JP7124675B2 (ja) フォークリフト用運転支援装置
WO2019208341A1 (ja) 産業車両用遠隔操作システム、産業車両、産業車両用遠隔操作プログラム、及び産業車両用遠隔操作方法
WO2019208266A1 (ja) 産業車両用遠隔操作システム、産業車両、産業車両用遠隔操作プログラム、産業車両用遠隔操作方法、及び遠隔操作装置
JP2021022802A (ja) 産業車両の遠隔操作システム
JP6959532B2 (ja) 産業車両用遠隔操作システム
WO2011148729A1 (ja) 移動機械の移動方法
JP4517085B2 (ja) ロボット遠隔制御システム
CN112959291A (zh) 一种全视角远程操作主从机器人手臂系统
JP7230626B2 (ja) ロボット装置
JPH08322120A (ja) 高所作業用ブームの位置決め方法および位置決め支援装置
JP2020043382A (ja) フォークリフト用遠隔操作システム
JPH07328971A (ja) Tvカメラ付マニピュレータ
JP2020036275A (ja) 産業車両用遠隔操作システム
WO2020049924A1 (ja) 産業車両用運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19792781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19792781

Country of ref document: EP

Kind code of ref document: A1