WO2020080501A1 - ショベルの表示装置 - Google Patents

Abstract

外部作業者からの指示を操作者に好適に伝達するショベルの表示装置を提供する。　通信部（Ｔ１）と、表示部（４１）と、キャビン（１０）内の音声を取得する音声取得部（９０Ｉ）と、音声取得部（９０Ｉ）で取得した音声を文字情報に変換する音声文字変換部（３０２）と、を備え、表示部（４１）は、通信部（Ｔ１）で取得した外部端末（２３）から送信された送信情報と、音声文字変換部（３０２）で変換された文字情報と、を時系列で表示する。

Description

ショベルの表示装置

　本発明は、ショベル（掘削機）の表示装置に関する。

　ショベルの周囲にいる外部作業者等がショベルの操作者に情報を伝達しようとする場合がある。特許文献１には、マイクロフォンにより収集された上部旋回体の周囲で発生する音を、運転室の内部で再生するスピーカを備えたショベルが開示されている。

特開２０１３－４７４２７号公報

　しかしながら、ショベルの作業現場は、ショベルのエンジンの駆動音や他の建築機械の動作音等が響いており、騒音の大きな環境となっている。このため、音声による指示は、騒音にかき消されて伝わりにくいという課題がある。

　そこで、本発明は、外部作業者からの指示をより確実に操作者に伝達するショベルの表示装置を提供することを目的とする。

　本発明の実施形態に係るショベルの表示装置は、通信部と、表示部と、キャビン内の音声を取得する音声取得部と、前記音声取得部で取得した音声を文字情報に変換する音声文字変換部と、を備え、前記表示部は、前記通信部で取得した外部端末から送信された送信情報と、前記音声文字変換部で変換された文字情報と、を時系列で表示する。

　本発明の実施形態によれば、外部作業者からの指示をより確実に操作者に伝達するショベルの表示装置を提供することができる。

情報伝達システムの構成例を示す図 ショベルの駆動制御系の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 ショベルの駆動制御系の構成例を示す図 表示装置の画像表示部の構成例を示す図

　以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

　本実施形態に係る情報伝達システム３００（適宜「システム３００」と称する。）について、図１を用いて説明する。図１は、本実施形態に係る情報伝達システム３００の構成例を示す図である。システム３００は、建設機械としてのショベルＰＳと、通信ネットワーク２００と、を備えている。

　最初に、図１を参照して、第１実施形態のショベルの全体構成について説明する。図１は第１実施形態のショベルの側面図である。

　ショベルＰＳの下部走行体１には、旋回機構２を介して旋回可能に上部旋回体３が搭載されている。上部旋回体３には、ブーム４が取り付けられている。ブーム４の先端には、アーム５が取り付けられている。アーム５の先端には、エンドアタッチメント（作業部位）としてバケット６が取り付けられている。エンドアタッチメントとしては、法面用バケット、浚渫用バケット、ブレーカ等が取り付けられてもよい。

　ブーム４、アーム５、及びバケット６は、アタッチメントの一例として掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。

　上部旋回体３には、運転室としてのキャビン１０が設けられ、エンジン１１等の動力源が搭載されている。エンジン１１等の動力源は、カバー３ａにより覆われている。キャビン１０内には、コントローラ３０、表示装置４０、音声出力装置４３、入力装置４５、記憶装置４７、及びゲートロックレバー４９が設けられている。キャビン１０の頂部には、ＧＰＳ装置（ＧＮＳＳ受信機）Ｐ１、及び通信装置Ｔ１が設けられている。

　コントローラ３０は、ショベルＰＳの駆動制御を行う主制御部として機能する制御装置である。コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成されている。コントローラ３０の各種機能は、ＣＰＵが内部メモリに格納されているプログラムを実行することで実現される。

　表示装置４０は、コントローラ３０からの指令に応じて各種の作業情報を含む画像を表示する。表示装置４０は、例えば、コントローラ３０に接続される車載液晶ディスプレイである。

　音声出力装置４３は、コントローラ３０からの音声出力指令に応じて各種音声情報を出力する。音声出力装置４３は、例えば、コントローラ３０に接続される車載スピーカである。音声出力装置４３は、ブザー等の警報器であってもよい。

　入力装置４５は、ショベルＰＳの操作者がコントローラ３０に各種情報を入力するための装置である。入力装置４５は、例えば、表示装置４０の表面に設けられるメンブレンスイッチを含む。入力装置４５は、タッチパネル等であってもよい。

　記憶装置４７は、各種情報を記憶する。記憶装置４７は、例えば、半導体メモリ等の不揮発性記憶媒体である。記憶装置４７は、コントローラ３０等が出力する各種情報を記憶する。

　ゲートロックレバー４９は、キャビン１０のドアと運転席との間に設けられ、ショベルＰＳが誤って操作されるのを防止する機構である。操作者が運転席に乗り込んでゲートロックレバー４９を引き上げると、コントローラ３０によりゲートロック弁４９ａ（後述する図２参照）が開状態に制御され、操作者はキャビン１０から退出できなくなると共に各種操作装置が操作可能になる。操作者がゲートロックレバー４９を押し下げると、コントローラ３０によりゲートロック弁４９ａが閉状態に制御され、操作者はキャビン１０から退出可能になると共に、各種操作装置は操作不能になる。

　ＧＰＳ装置Ｐ１は、ショベルＰＳの位置をＧＰＳ機能により検出し、位置データをコントローラ３０に供給する。

　通信装置Ｔ１は、ショベルＰＳの外部に向けて情報を発信する。

　撮像装置８０は、上部旋回体３のカバー３ａ上部に設けられている。撮像装置８０は、上部旋回体３からキャビン１０に向かって、前方を撮像する前方カメラ８０Ｆ、左側を撮像する左側カメラ８０Ｌ、右側を撮像する右側カメラ８０Ｒ、後方を撮像する後方カメラ８０Ｂを有する。前方カメラ８０Ｆ、左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂは、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラであり、それぞれ撮影した画像をキャビン１０内に設けられている表示装置４０に送る。

　集音装置９０は、キャビン１０の外部に配置され、キャビン１０の周囲の音を集音する外部マイクである左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、及び前方マイク９０Ｆを有する。また、集音装置９０は、キャビン１０の内部に配置され、キャビン１０の内部の音を集音する内部マイク９０Ｉを有する。左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、前方マイク９０Ｆ、及び内部マイク９０Ｉが集音する音には、例えば人間が発する言語音等の音声や、ショベルＰＳのエンジン音、作業現場の音等の機械音が含まれる。

　左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、それぞれ上部旋回体３からキャビン１０に向かって左方向、右方向、及び後方向からの音を捉える。本実施形態では、左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、上部旋回体３のカバー３ａ上部に設けられており、それぞれ左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂの近傍に配置されている。また、左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、コントローラ３０に接続されており、集音した音をコントローラ３０に送信する。このように左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂがそれぞれ左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂの近傍に配置されているため、配線の取り回しが容易である。なお、左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、例えばキャビン１０上部に配置されていてもよい。

　前方マイク９０Ｆは、上部旋回体３からキャビン１０に向かって前方向からの音を捉える。本実施形態では、前方マイク９０Ｆは、アーム５に配置されている。前方マイク９０Ｆは、コントローラ３０に接続されており、集音した音をコントローラ３０に送信する。なお、前方マイク９０Ｆは、例えばブーム４、バケット６に配置されていてもよく、キャビン１０上部に配置されていてもよい。

　内部マイク９０Ｉは、キャビン１０の内部の音、例えば操作者が発する音声を捉える。本実施形態では、内部マイク９０Ｉは、キャビン１０の内壁面に配置されている。内部マイク９０Ｉは、コントローラ３０に接続されており、集音した音をコントローラ３０に送信する。なお、内部マイク９０Ｉは、例えば表示装置４０に内蔵されていてもよい。

　左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、前方マイク９０Ｆ、及び内部マイク９０Ｉは、例えば、特定の方向に対しての音を捉えやすい単一指向性マイクであってよい。但し、全ての方向からの音を均等に捉える無指向性（全指向性）マイクを用いて、左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、及び前方マイク９０Ｆのうち２つ以上のマイクの機能を１つのマイクで実現してもよい。これにより、ショベルＰＳの周囲の音を集音するマイクの個数を削減できる。

　通信ネットワーク２００は、主に、基地局２１、サーバ２２、及び携帯通信端末２３で構成される。基地局２１、サーバ２２、及び携帯通信端末２３は、例えば、インターネットプロトコル等の通信プロトコルを用いて互いに接続され得る。ショベルＰＳ、基地局２１、サーバ２２、及び携帯通信端末２３のそれぞれは１つであってもよく複数であってもよい。携帯通信端末２３は、ノートパソコン、携帯電話、スマートフォン、マイク付きイヤフォン等を含む。

　基地局２１は、ショベルＰＳが送信する情報を受信する外部施設であり、例えば、衛星通信網、携帯電話通信網、インターネット網等を通じてショベルＰＳとの間で情報を送受信する。

　サーバ２２は、ショベルＰＳの管理装置として機能する。本実施形態では、サーバ２２は、管理センタ等の外部施設に設置される装置であり、ショベルＰＳおよび携帯通信端末２３が送信する情報を保存し且つ管理する。サーバ２２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、入力装置、ディスプレイ等を備えたコンピュータである。具体的には、サーバ２２は、通信ネットワーク２００を通じ、携帯通信端末２３から送信された情報を取得・保存するとともに、ショベルＰＳに情報を送信する。また、サーバ２２は、通信ネットワーク２００を通じ、ショベルＰＳから送信された情報を取得・保存するとともに、携帯通信端末２３に情報を送信する。

　携帯通信端末２３は、ショベルＰＳの支援装置として機能する。本実施形態では、携帯通信端末２３は、外部作業者が所持しており、ショベルＰＳのキャビン１０内の操作者に作業指示を伝達するための装置である。携帯通信端末２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、入力装置、ディスプレイ等を備えたコンピュータである。

　携帯通信端末２３は、表示部２３１と、表示画面生成部２３２と、音声入力部２３３と、音声文字変換部２３４と、他言語翻訳部２３５と、撮像部２３６と、通信部２３７と、を備えている。

　表示部２３１は、各種情報が表示される。表示画面生成部２３２は、表示部２３１に表示する表示画面を生成する。

　音声入力部２３３は、例えばマイク等で構成され、音声情報を取得する。なお、音声入力部２３３は、図示しない応答スイッチを備えていてもよい。応答スイッチが操作された際に音声入力部２３３は音声を取得する。これにより、音声入力部２３３は意図しない音声が入力されることを防止する。

　音声文字変換部２３４は、音声入力部２３３で入力された音声情報を文字情報に変換する。他言語翻訳部２３５は、音声文字変換部２３４で変換された文字情報を他言語に翻訳する。

　撮像部２３６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラであり、画像を取得する。

　通信部２３７は、通信ネットワーク２００を介してサーバ２２と通信する。具体的には、音声文字変換部２３４で変換された文字情報、他言語翻訳部２３５で翻訳された文字情報、撮像部２３６で撮像された画像は、通信部２３７を介して、サーバ２２に送信される。

　次に、図２を参照して、ショベルＰＳの駆動制御系の構成例について説明する。図２は、ショベルＰＳの駆動制御系の構成例を示す図である。図２中、機械的動力系、高圧油圧ライン、パイロットライン、及び電気駆動・制御系をそれぞれ二重線、太実線、破線、及び細実線で示す。

　表示装置４０は、コントローラ３０から供給される作業情報等を含む画像を表示する。表示装置４０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）等の通信ネットワーク、専用線等を介してコントローラ３０に接続されている。また、表示装置４０は、画像表示部４１に表示する画像を生成する変換処理部４０ａと、入力部としてのスイッチパネル４２と、を有する。

　変換処理部４０ａは、撮像装置８０から得られる画像データに基づいて画像表示部４１上に表示する撮影画像を含む画像を生成する。表示装置４０には、前方カメラ８０Ｆ、左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂのそれぞれから画像データが入力される。また、変換処理部４０ａは、コントローラ３０から表示装置４０に入力される各種のデータのうち画像表示部４１に表示させるデータを画像信号に変換する。コントローラ３０から表示装置４０に入力されるデータは、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、尿素水の残量を示すデータ、燃料の残量を示すデータ等を含む。変換処理部４０ａは、変換した画像信号を画像表示部４１に出力し、撮影画像や各種のデータに基づいて生成した画像を画像表示部４１に表示させる。なお、変換処理部４０ａは、表示装置４０ではなく、例えば、コントローラ３０に設けられてもよい。この場合、撮像装置８０（前方カメラ８０Ｆ、左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂ）はコントローラ３０に接続される。

　スイッチパネル４２は、各種ハードウェアスイッチを含むパネルである。スイッチパネル４２は、ライトスイッチ４２ａ、ワイパースイッチ４２ｂ、及びウィンドウォッシャスイッチ４２ｃを有する。

　ライトスイッチ４２ａは、キャビン１０の外部に取り付けられるライトの点灯・消灯を切り替えるためのスイッチである。ワイパースイッチ４２ｂは、ワイパーの作動・停止を切り替えるためのスイッチである。ウィンドウォッシャスイッチ４２ｃは、ウィンドウォッシャ液を噴射するためのスイッチである。

　表示装置４０は、蓄電池７０から電力の供給を受けて動作する。蓄電池７０は、エンジン１１のオルタネータ１１ａ（発電機）で発電した電力で充電される。蓄電池７０の電力は、コントローラ３０及び表示装置４０以外のショベルＰＳの電装品７２等にも供給される。また、エンジン１１のスタータ１１ｂは、蓄電池７０からの電力で駆動されてエンジン１１を始動させる。

　エンジン１１は、メインポンプ１４及びパイロットポンプ１５に接続され、エンジン制御装置（ＥＣＵ）７４により制御される。ＥＣＵ７４からは、エンジン１１の状態を示す各種のデータ（例えば、水温センサ１１ｃで検出される冷却水温（物理量）を示すデータ等）がコントローラ３０に常時送信される。コントローラ３０は内部の記憶部３０ａにこのデータを蓄積し、適宜、表示装置４０に送信できる。

　メインポンプ１４は、高圧油圧ラインを介して作動油をコントロールバルブ１７に供給するための油圧ポンプである。メインポンプ１４は、例えば、斜板式可変容量型油圧ポンプである。

　パイロットポンプ１５は、パイロットラインを介して各種油圧制御機器に作動油を供給するための油圧ポンプである。パイロットポンプ１５は、例えば、固定容量型油圧ポンプである。

　コントロールバルブ１７は、ショベルＰＳにおける油圧システムを制御する油圧制御装置である。コントロールバルブ１７は、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行用油圧モータ、及び旋回用油圧モータ等に、メインポンプ１４が吐出する作動油を選択的に供給する。なお、以下では、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行用油圧モータ、及び旋回用油圧モータを、「油圧アクチュエータ」という場合がある。

　操作レバー２６Ａ～２６Ｃは、キャビン１０内に設けられ、操作者によって油圧アクチュエータの操作に用いられる。操作レバー２６Ａ～２６Ｃが操作されると、パイロットポンプ１５から油圧アクチュエータのそれぞれに対応する流量制御弁のパイロットポートに作動油が供給される。各パイロットポートには、対応する操作レバー２６Ａ～２６Ｃの操作方向及び操作量に応じた圧力の作動油が供給される。

　本実施形態では、操作レバー２６Ａは、ブーム操作レバーである。操作者が操作レバー２６Ａを操作すると、ブームシリンダ７を油圧駆動させて、ブーム４を操作できる。操作レバー２６Ｂは、アーム操作レバーである。操作者が操作レバー２６Ｂを操作すると、アームシリンダ８を油圧駆動させて、アーム５を操作できる。操作レバー２６Ｃは、バケット操作レバーである。操作者が操作レバー２６Ｃを操作すると、バケットシリンダ９を油圧駆動させて、バケット６を操作できる。なお、ショベルＰＳには、操作レバー２６Ａ～２６Ｃの他に、走行用油圧モータや旋回用油圧モータ等を駆動させる操作レバー、操作ペダル等が設けられてもよい。

　コントローラ３０は、例えば以下で説明する各種のデータを取得する。コントローラ３０が取得したデータは、記憶部３０ａに格納される。

　可変容量式油圧ポンプであるメインポンプ１４のレギュレータ１４ａは、斜板角度を示すデータをコントローラ３０に送る。また、吐出圧力センサ１４ｂは、メインポンプ１４の吐出圧力を示すデータをコントローラ３０に送る。これらのデータ（物理量を表すデータ）は記憶部３０ａに格納される。また、メインポンプ１４が吸入する作動油が貯蔵されたタンクとメインポンプ１４との間の管路に設けられている油温センサ１４ｃは、管路を流れる作動油の温度を表すデータをコントローラ３０に送る。

　圧力センサ１５ａ，１５ｂは、操作レバー２６Ａ～２６Ｃが操作された際にコントロールバルブ１７に送られるパイロット圧を検出し、検出したパイロット圧を示すデータをコントローラ３０に送る。操作レバー２６Ａ～２６Ｃには、スイッチボタン２７が設けられている。操作者は、操作レバー２６Ａ～２６Ｃを操作しながらスイッチボタン２７を操作することで、コントローラ３０に指令信号を送ることができる。

　ショベルＰＳのキャビン１０内には、エンジン回転数調整ダイヤル７５が設けられている。エンジン回転数調整ダイヤル７５は、エンジン回転数を調整するためのダイヤルであり、例えば、エンジン回転数を段階的に切り替えることができる。本実施形態では、エンジン回転数調整ダイヤル７５は、ＳＰモード、Ｈモード、Ａモード、及びアイドリング（ＩＤＬＥ）モードの４段階にエンジン回転数を切り替えることができるように設けられている。エンジン回転数調整ダイヤル７５は、エンジン回転数の設定状態を示すデータをコントローラ３０に送る。なお、図２には、エンジン回転数調整ダイヤル７５によりＨモードが選択された状態が示されている。

　ＳＰモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、２番目に高いエンジン回転数を利用する。Ａモードは、燃費を優先させながら低騒音でショベルＰＳを稼働させたい場合に選択される回転数モードであり、３番目に高いエンジン回転数を利用する。アイドリングモードは、エンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。エンジン１１は、エンジン回転数調整ダイヤル７５で設定された回転数モードのエンジン回転数で一定回転数に制御される。

　次に、コントローラ３０の機能構成について説明する。図２に示されるように、コントローラ３０は、表示画面生成部３０１と、音声文字変換部３０２と、他言語翻訳部３０３と、を備えている。

　表示画面生成部３０１は、画像表示部４１に表示する表示画面を生成する。なお、表示画面の表示例については、図３等を用いて後述する。

　音声文字変換部３０２は、内部マイク９０Ｉで入力された音声情報を文字情報に変換する。なお、内部マイク９０Ｉには、マイクスイッチ９２が設けられており、マイクスイッチ９２が操作された際に入力された音声情報を文字情報に変換する。例えば、マイクスイッチ９２はモーメンタリ動作するスイッチであって、マイクスイッチ９２を操作している間、音声文字変換部３０２は内部マイク９０Ｉで入力された音声を取得する。マイクスイッチ９２の操作を解除すると、音声文字変換部３０２は音声の取得を停止する。なお、マイクスイッチ９２はオルタネイト動作するスイッチであってもよく、その他のスイッチであってもよい。これにより、内部マイク９０Ｉに意図しない音声が入力されることを防止する。

　また、内部マイク９０Ｉではなく、キャビン１０内の操作者が有するスマートフォン等の携帯通信端末のマイク機能を利用してもよい。この場合、操作者が有する携帯通信端末とコントローラ３０とは、近距離無線、若しくは、有線で接続されている。この場合、コントローラ３０内の音声文字変換部３０２を用いずとも、操作者が有する携帯通信端末に内蔵される音声文字変換機能を利用してもよい。

　他言語翻訳部３０３は、音声文字変換部３０２で変換された文字情報を他言語に翻訳する。音声文字変換部３０２で変換された文字情報、他言語翻訳部２３５で翻訳された文字情報は、通信装置Ｔ１を介して、サーバ２２に送信される。

　次に、図３を参照して、表示装置４０の画像表示部４１の構成例について説明する。図３は、表示装置４０の画像表示部４１の構成例を示す図である。図３の例では、画像表示部４１に、操作者と外部作業者とのやり取りが文字情報として表示されている状態を示す。

　まず、画像表示部４１について説明する。図３に示されるように、画像表示部４１は、日時表示領域４１ａ、走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、燃費表示領域４１ｄ、エンジン制御状態表示領域４１ｅ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、回転数モード表示領域４１ｉ、尿素水残量表示領域４１ｊ、作動油温表示領域４１ｋ、及び情報表示領域４１ｎを含む。

　走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、エンジン制御状態表示領域４１ｅ、及び回転数モード表示領域４１ｉは、ショベルＰＳの設定状態に関する情報である設定状態情報を表示する領域である。燃費表示領域４１ｄ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、尿素水残量表示領域４１ｊ、及び作動油温表示領域４１ｋは、ショベルＰＳの稼動状態に関する情報である稼動状態情報を表示する領域である。

　具体的には、日時表示領域４１ａは、現在の日時を表示する領域である。走行モード表示領域４１ｂは、現在の走行モードを表示する領域である。アタッチメント表示領域４１ｃは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域４１ｄは、コントローラ３０によって算出された燃費情報を表示する領域である。燃費表示領域４１ｄは、生涯平均燃費又は区間平均燃費を表示する平均燃費表示領域４１ｄ１、瞬間燃費を表示する瞬間燃費表示領域４１ｄ２を含む。

　エンジン制御状態表示領域４１ｅは、エンジン１１の制御状態を表示する領域である。冷却水温表示領域４１ｇは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域４１ｈは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。回転数モード表示領域４１ｉは、エンジン回転数調整ダイヤル７５によって設定された現在の回転数モードを画像で表示する領域である。尿素水残量表示領域４１ｊは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域４１ｋは、作動油タンク内の作動油の温度状態を表示する領域である。

　情報表示領域４１ｎは、携帯通信端末２３を所持した外部作業者と、ショベルＰＳの操作者との間のやり取りを文字情報として表示する。

　例えば、携帯通信端末２３を所持した外部作業者は、ショベルＰＳのキャビン１０内にいる操作者へ指示等の連絡をする際、携帯通信端末２３の音声入力部２３３に向けて発声する。音声入力部２３３は、外部作業者の音声を取得する。音声入力部２３３で取得された音声は、音声文字変換部２３４で文字情報に変換される。また、文字情報は、必要に応じて他言語翻訳部２３５で翻訳される。通信部２３７は、音声文字変換部２３４で変換された文字情報、他言語翻訳部２３５で翻訳された文字情報を、サーバ２２に送信する。また、表示画面生成部２３２は、これらの文字情報を表示部２３１の情報表示領域に文字情報として表示させる。

　サーバ２２は、携帯通信端末２３から取得した文字情報を保存するとともに、基地局２１を介して、ショベルＰＳに送信する。

　ショベルＰＳの表示画面生成部３０１は、携帯通信端末２３からの文字情報を画像表示部４１の情報表示領域４１ｎに文字情報４０１として表示させる。これにより、キャビン１０内の操作者は、表示装置４０の情報表示領域４１ｎを見ることにより、外部作業者の指示を受け取ることができる。

　操作者は、外部作業者へ回答や指示等の連絡をする際、マイクスイッチ９２をＯＮにして、内部マイク９０Ｉに向けて発声する。内部マイク９０Ｉは、操作者の音声を取得する。内部マイク９０Ｉで取得された音声は、音声文字変換部３０２で文字情報に変換される。また、文字情報は、必要に応じて他言語翻訳部３０３で翻訳される。通信装置Ｔ１は、音声文字変換部３０２で変換された文字情報、他言語翻訳部３０３で翻訳された文字情報を、基地局２１を介して、サーバ２２に送信する。また、表示画面生成部３０１は、これらの文字情報を画像表示部４１の情報表示領域４１ｎに文字情報４０２として表示させる。

　サーバ２２は、ショベルＰＳから取得した文字情報を保存するとともに、携帯通信端末２３に送信する。

　携帯通信端末２３の表示画面生成部２３２は、ショベルＰＳからの文字情報を表示部２３１の情報表示領域に文字情報として表示させる。これにより、外部作業者は、携帯通信端末２３の表示部２３１を見ることにより、操作者の指示を受け取ることができる。

　このように、本実施形態に係るショベルＰＳは、外部作業者の指示を文字情報として画像表示部４１の情報表示領域４１ｎに時系列で表示させることができる。これにより、ショベルＰＳは、騒音の大きな環境であるショベルＰＳの作業現場においても、ショベルＰＳの車外にいる外部作業者の指示等をキャビン１０内の操作者に伝達することができる。また、ショベルＰＳは、操作者からの返答を外部作業者に伝達することができる。

　外部作業者は、発声にて作業指示を行うことにより、指示が文字情報に変換され、ショベルＰＳの操作者に作業指示を伝達することができるので、作業指示が容易となる。また、ショベルＰＳの操作者は、発声にて返答することにより、返答が文字情報に変換され、外部作業者に返答を伝達することができるので、返答が容易になる。

　また、サーバ２２は、外部作業者の作業指示、操作者の返答等のログを管理することができる。

　また、他言語翻訳部２３５，３０３により文字情報が翻訳されるので、ショベルＰＳは、外部作業者とショベルＰＳの操作者の間で使用する言語が異なる場合でも、作業指示の伝達と返答を良好に行わせることができる。

　次に、図４及び図５を参照して、表示装置４０の画像表示部４１の構成例について説明する。図４及び図５は、表示装置４０の画像表示部４１の他の構成例を示す図である。図４及び図５の例では、画像表示部４１に、操作者と外部作業者とのやり取りの際、画像を添付する例を示す。また、キャビン１０内の操作者から死角となり、ショベルＰＳの撮像装置８０からも死角となるショベルＰＳの上部旋回体３の上面に人がいる場合を例に説明する。

　携帯通信端末２３を所持した外部作業者は、操作者への指示を携帯通信端末２３の音声入力部２３３に向けて発声する。また、外部作業者は、携帯通信端末２３の撮像部２３６で画像を撮像する。ここでは、ショベルＰＳの上部旋回体３の上面で作業する作業者を撮像する。音声入力部２３３は、外部作業者の音声を取得する。音声入力部２３３で取得された音声は、音声文字変換部２３４で文字情報に変換される。また、文字情報は、必要に応じて他言語翻訳部２３５で翻訳される。通信部２３７は、音声文字変換部２３４で変換された文字情報（必要に応じて他言語翻訳部２３５で翻訳された文字情報）と撮像部２３６で撮像された画像を、サーバ２２に送信する。また、表示画面生成部２３２は、これらの文字情報及び画像を表示部２３１の情報表示領域に文字情報び画像として表示させる。

　サーバ２２は、携帯通信端末２３から取得した文字情報及び画像を保存するとともに、基地局２１を介して、ショベルＰＳに送信する。

　ショベルＰＳの表示画面生成部３０１は、携帯通信端末２３からの文字情報を画像表示部４１の情報表示領域４１ｎに文字情報４１１として表示させる。また、表示画面生成部３０１は、携帯通信端末２３からの画像を画像表示部４１の情報表示領域４１ｎに縮小したサムネイル画像４１２として表示させる。

　また、操作者がサムネイル画像４１２を拡大表示させる操作を行うことにより、図５に示すように、表示画面生成部３０１は情報表示領域４１ｎに拡大された画像４１３を表示させる。なお、拡大させる操作とは、例えば、操作者が所定のキーワードを音声入力することによって行う。コントローラ３０は、内部マイク９０Ｉで取得した音声内容を識別する音声内容識別部を有している。音声内容識別部は、拡大させる操作に対応した音声指示が含まれているか否かを判定する。拡大させる操作に対応した音声指示が含まれている場合、音声内容識別部はその旨を表示画面生成部３０１に通知する。通知を受けた表示画面生成部３０１は、情報表示領域４１ｎに拡大された画像４１３を表示させる。なお、拡大表示させる操作は、サムネイル画像４１２をタップする操作であってもよく、所定のスイッチを操作するものであってもよく、特に限定されるものではない。

　このように、本実施形態に係るショベルＰＳは、携帯通信端末２３の撮像部２３６で撮像された画像を情報表示領域４１ｎに表示することができる。これにより、操作者は、操作者や撮像装置８０から死角となる位置についても、状態を確認することができる。

　また、送信される画像は、撮像部２３６で撮像された画像を一例に説明したが、これに限られるものではなく、携帯通信端末２３の記憶部に記憶されている画像、例えば、施工図、地図、作業量進捗グラフ、天気予報図等を送信してもよい。これにより、操作者と外部作業者の間で、円滑な情報のやり取りが行われる。

　次に、図６を参照して、表示装置４０の画像表示部４１の更に別の構成例について説明する。図６は、表示装置４０の画像表示部４１の更に別の構成例を示す図である。

　図６に示す構成では、情報表示領域４１ｎは、文字情報を表示する文字表示領域４１ｎ１と、文字情報以外の情報を表示させるためのタブ４２３を配置するタブ領域４１ｎ２と、を有している。表示画面生成部３０１は、携帯通信端末２３から送信された送信情報から、文字情報と、文字情報以外の情報である画像と、を識別する。

　文字表示領域４１ｎ１には、外部作業者や操作者の音声が文字に変換された文字情報や、ショベルＰＳ、サーバ２２、携帯通信端末２３が画像を送信した際のログの文字情報４２１，４２２が表示される。

　タブ領域４１ｎ２には、送信された画像のカテゴリごとのタブ４２３が設けられている。図６に示す例では、カテゴリとして「施工図」、「撮像画像」、「作業量進捗グラフ」及び「天気予報」が示されている。タブ４２３には「施工図」「撮像画像」「作業量進捗グラフ」「天気予報」等が選択ボタンとして表示される。ここで、操作者が「施工図」を画面タッチ等の操作により選択すると、後述する図７に示す施工図が画像表示領域４１ｎ３に表示される。操作者が「撮像画像」「作業量進捗グラフ」「天気予報」を選択した場合も、対応する画面へ切り替わる。また、カテゴリ内に複数枚の画像が存在する場合には、枚数表示部４２４にその枚数が表示される。また、操作者がタブ４２３の一つを選択することにより、情報表示領域４１ｎにタブ４２３に対応したカテゴリの画像が一覧表示されてもよい。

　例えば、サーバ２２がショベルＰＳに施工計画図を２枚送信した場合、文字表示領域４１ｎ１には、送信した旨の文字情報４２２が表示される。また、タブ領域４１ｎ２において、対応するタブ４２３の一つに強調表示４２５（なお、図６では、太線の一点鎖線で示す。）が付される。また、文字表示領域４１ｎ１には、文字情報４２２が新着のメッセージであることを示す新着表示４２６が付される。

　このように、本実施形態に係るショベルＰＳは、文字表示領域４１ｎ１に表示される文字情報のログが長くなっても、必要な画像を容易に表示させることができる。また、画像はカテゴリ分けされており、例えば、施工図のように作業に併せて何度も開く画像と、撮像画像のように一度参照してその後は開く可能性が低い画像と、で別々に管理される。これにより、送信された画像の枚数が増えても、操作者は、例えば、多数の画像の中から施工図を探すといった作業を行う必要がなく、画像を閲覧する際の作業性が向上する。

　次に、図７を参照して、表示装置４０の画像表示部４１の更に別の構成例について説明する。図７は、表示装置４０の画像表示部４１の更に別の構成例を示す図である。

　図７に示す構成では、情報表示領域４１ｎは、文字情報４３１を表示する文字表示領域４１ｎ１と、地図や施工図等の画像４３２を表示する画像表示領域４１ｎ３と、を有している。

　画像表示領域４１ｎ３には、例えば、地図や施工図等の画像４３２が常時表示される。また、画像表示領域４１ｎ３には、枚数表示４３３が表示される。枚数表示４３３は、例えば、受信した施工図２枚のうち１枚目が表示されていることを示す。

　このように、本実施形態に係るショベルＰＳは、画像表示領域４１ｎ３に地図や施工図等の画像４３２を常時表示させることができる。これにより、操作者は、作業をする際、地図や施工図を表示させるための操作を行う必要がなく、作業性を向上させることができる。

　次に、図８を参照して、表示装置４０の画像表示部４１の更に別の構成例について説明する。図８は、表示装置４０の画像表示部４１の更に別の構成例を示す図である。

　図８に示す構成では、情報表示領域４１ｎは、文字情報４４１，４４２を時系列に表示する文字表示領域４１ｎ１と、地図や施工図等の画像４３２を表示する画像表示領域４１ｎ３と、を有している。

　文字表示領域４１ｎ１には、サーバ２２が送信した際のログの文字情報４４１が表示される。例えば、サーバ２２が送信した天候情報が文字情報４４１として表示される。また、文字表示領域４１ｎ１には、ショベルＰＳ本体による判断結果が文字情報４４２として表示される。

　例えば、コントローラ３０は、ショベルＰＳの累積稼働時間に基づいて、定期メンテナンスの時期が来たか否かを判定する。定期メンテナンスの時期が来た場合、図８に示すように、その旨の文字情報４４２が文字表示領域４１ｎ１に表示される。

　また、コントローラ３０は、ショベルＰＳに設けられた各種センサの各種データに基づいて、ショベルＰＳがオーバーヒート等の警告する状態であるか否かを判定する。警告をする状態であると判定した場合、その旨の文字情報が文字表示領域４１ｎ１に表示される。

　また、コントローラ３０は、ショベルＰＳの連続作業時間に基づいて、連続作業時間が所定時間を超えたか否かを判定する。連続稼働時間が所定時間を超えた場合、操作者に休憩を促す旨の文字情報が文字表示領域４１ｎ１に表示される。

　また、コントローラ３０は、サーバ２２が送信した天候情報に基づいて、天候の変化を判定する。天候が変化する場合、その旨の文字情報が文字表示領域４１ｎ１に表示される。

　なお、ショベル本体による判断結果が文字情報として文字表示領域４１ｎ１に表示されるものとして説明したが、これに限られるものではなく、アイコン等の画像として情報表示領域４１ｎに表示する構成であってもよい。

　このように、本実施形態に係るショベルＰＳは、情報表示領域４１ｎにショベルＰＳ（コントローラ３０）による判断結果を表示させることができる。これにより、操作者は、ショベルＰＳ（コントローラ３０）による判断結果を容易に認識することができる。

　次に、図９を参照して、ショベルＰＳの駆動制御系の別の構成例について説明する。図９は、ショベルＰＳの駆動制御系の別の構成例を示す図である。

　図９に示すように、ショベルＰＳは、表示装置４０に加えて、第２の表示装置１４０を備えていてもよい。その他の構成は図２に示す構成と同様であり、重複する説明を省略する。

　第２の表示装置１４０は、ショベルＰＳ内（例えば、キャビン１０の内部）に配置されていてもよく、ショベルＰＳの外にいる作業者が携帯していてもよい。第２の表示装置１４０は、有線（例えば、ＣＡＮ、ＬＩＮ等の通信ネットワーク、専用線等）、近距離無線、または、通信ネットワーク２００を介してコントローラ３０に通信可能に接続される。また、第２の表示装置１４０は、蓄電池７０から電力の供給を受けて動作してもよく、内臓バッテリで動作してもよい。

　次に、図１０を参照して、第２の表示装置１４０の画像表示部１４１の構成例について説明する。図１０は、第２の表示装置１４０の画像表示部１４１の構成例を示す図である。

　図１０に示す構成では、情報表示領域１４１ｎは、文字情報４５１～４５３を時系列に表示する文字表示領域１４１ｎ１と、地図や施工図等の画像４５４を表示する画像表示領域１４１ｎ３と、を有している。

　文字表示領域１４１ｎ１には、ショベルＰＳ本体による判断結果が文字情報４５１～４５３として表示される。

　例えば、コントローラ３０は、ショベルＰＳに設けられた各種センサの各種データに基づいて、アタッチメントの負荷が所定値以上であるか否かを判定する。アタッチメントの負荷が所定値以上である場合、アタッチメントの負荷が増大した旨の文字情報４５１が文字表示領域１４１ｎ１に表示される。

　また、コントローラ３０は、例えば、現在の時刻、施工図、ショベルＰＳの作業履歴等に基づいて、作業の進捗を判定する。作業の進捗が予定よりも遅れている場合、作業の進捗が予定よりも遅れている旨の文字情報４５２が文字表示領域１４１ｎ１に表示される。

　また、ダンプトラック（図示せず）は、ダンプトラックの情報（例えば、位置情報）を通信ネットワーク２００を介して管理装置としてのサーバ２２に送信する。サーバ２２からダンプトラックの位置情報が通信ネットワーク２００を介してショベルＰＳのコントローラ３０に入力される。コントローラ３０は、ダンプトラックの位置情報に基づいて、ダンプトラックの到着予定時間を推定する。推定したダンプトラックの到着予定時間を示す文字情報４５３が文字表示領域１４１ｎ１に表示される。

　画像表示領域１４１ｎ３には、例えば、地図や施工図等の画像４５４が常時表示される。画像４５４には、本日の施工領域（施工目標）４５５が表示される。また、ショベルＰＳの作業履歴に基づいて、施工が完了した領域（実績完了領域）４５６が表示される。なお、図１０においては、実績完了領域４５６をハッチングで図示している。日時表示領域１４１ａは、現在の日時を表示する領域である。コントローラ３０は、現在の時刻、施工目標４５５、ショベルＰＳの作業履歴等に基づいて、現時刻における施工予定を推定する。画像表示領域１４１ｎ３には、現時刻における施工予定４５７が表示される。なお、図１０においては、現時刻における施工予定４５７を一点鎖線で図示している。また、画像表示領域１４１ｎ３には、枚数表示４５８が表示される。枚数表示４３３は、例えば、受信した施工図２枚のうち１枚目が表示されていることを示す。

　このように、本実施形態に係るショベルＰＳは、情報表示領域４１ｎに施工目標４５５、実績完了領域４５６、現時刻における施工予定４５７を表示させることができる。これにより、ショベルＰＳの操作者やショベルＰＳ外の作業者は、作業の進捗を容易に認識することができる。また、本実施形態に係るショベルＰＳは、情報表示領域１４１ｎにショベルＰＳ（コントローラ３０）による判断結果を表示させることができる。これにより、操作者は、ショベルＰＳ（コントローラ３０）による判断結果を容易に認識することができる。

　以上、本発明を実施するための形態について説明したが、上記内容は、発明の内容を限定するものではなく、本発明の範囲内で種々の変形及び改良が可能である。

　図４、図５では、外部作業者が撮影した画像を表示する事例を示したが、必ずしもこれに限られない。例えば、他のショベル等の建設機械に備えられた撮像装置により撮影された画像を表示してもよい。この場合、他のショベルの制御部において、ショベルの形状と人の形状、更には、それらの位置関係を判断して、ショベルＰＳへ画像と判断結果を送信する。このようにショベルＰＳの本体の撮像装置の画像だけでなく、他のショベルにおいて撮影された画像によりショベルＰＳの操作者は、ショベルＰＳの上において作業員が作業していることを把握することができる。また、他の建設機械による撮像画像を利用するだけでなく、作業現場に設置された定点カメラの画像を表示部に表示するようにしてもよい。

　図３～図８に示す画面は、表示装置４０に表示される場合を例に説明したが、これに限られるものではななく、第２の表示装置１４０、携帯通信端末２３に表示される構成であってもよい。また、図１０に示す画面は、第２の表示装置１４０に表示される場合を例に説明したが、これに限られるものではななく、表示装置４０、携帯通信端末２３に表示される構成であってもよい。

　マイクスイッチ９２を操作することにより、音声入力を受け付けるものとして説明したが、これに限られるものではない。例えば、音声文字変換部２３４，３０２は、所定の開始ワードを検知した場合、開始ワード以降の音声を入力として用いてもよい。

　本実施形態では、ショベルＰＳまたは携帯通信端末２３からサーバ２２に文字情報を送信する前に、文字情報を他言語翻訳部２３５，３０３で翻訳して、翻訳した文字情報を送信するものとして説明したが、これに限られるものではない。ショベルＰＳまたは携帯通信端末２３からサーバ２２に文字情報を送信し、サーバ２２から受信した文字情報を他言語翻訳部２３５，３０３で翻訳し、翻訳した文字情報を表示するようにしてもよい。

　また、画像表示部４１の情報表示領域４１ｎ、文字表示領域４１ｎ１、タブ領域４１ｎ２に表示される表示内容を、携帯通信端末２３やサーバ２２の表示画面と同期表示させてもよい。この場合、外部作業者や管理者が、ショベルの操作者が視認している内容を確認することができる。このため、操作者との意思疎通を確実に行うことができる。

　また、本実施形態では、ショベルＰＳと携帯通信端末２３は、サーバ２２を介して通信するものとして説明したが、これに限られるものではなく、例えば、ショベルＰＳと携帯通信端末２３で直接通信してもよい。

　尚、本願は、２０１８年１０月１７日に出願した日本国特許出願２０１８－１９５８０５号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。

１０　　　キャビン
２１　　　基地局
２２　　　サーバ
２３　　　携帯通信端末（外部端末）
３０　　　コントローラ
４０，１４０　　　表示装置（ショベルの表示装置）
４１　　　画像表示部（表示部）
４１ｎ　　情報表示領域
４１ｎ１　文字表示領域
４１ｎ２　タブ領域
４１ｎ３　画像表示領域
９０Ｉ　　内部マイク（音声取得部）
９２　　　マイクスイッチ
２００　　通信ネットワーク
２３１　　表示部
２３２　　表示画面生成部
２３３　　音声入力部
２３４　　音声文字変換部
２３５　　他言語翻訳部
２３６　　撮像部
２３７　　通信部
３００　　情報伝達システム
３０１　　表示画面生成部
３０２　　音声文字変換部
３０３　　他言語翻訳部
ＰＳ　　　ショベル
Ｔ１　　　通信装置（通信部）

Claims (10)

1. 　通信部と、表示部と、キャビン内の音声を取得する音声取得部と、前記音声取得部で取得した音声を文字情報に変換する音声文字変換部と、を備え、
   　前記表示部は、
   　前記通信部で取得した外部端末から送信された送信情報と、
   　前記音声文字変換部で変換された文字情報と、を時系列で表示する、
   ショベルの表示装置。
2. 　前記送信情報には、
   　文字情報、地図、施工図、撮像画像のうち少なくとも一つが含まれる、
   請求項１に記載のショベルの表示装置。
3. 　前記音声取得部による音声の取得と停止を切り替える切替部を備える、
   請求項１に記載のショベルの表示装置。
4. 　前記音声文字変換部で変換された文字情報を他言語の文字情報に翻訳する他言語翻訳部を備える、
   請求項１に記載のショベルの表示装置。
5. 　前記音声取得部で取得した音声内容を識別する音声内容識別部を更に備え、
   　前記表示部は、
   　前記音声内容識別部の識別結果に基づいて、前記表示部の表示画像を切り替える、
   請求項１に記載のショベルの表示装置。
6. 　前記送信情報から文字情報と文字情報以外の画像情報とを識別して、前記画像情報に対応するタブを前記表示部に表示する、
   請求項１に記載のショベルの表示装置。
7. 　前記表示部は、
   　地図または施工図を常時表示する表示領域を有する、
   請求項１に記載のショベルの表示装置。
8. 　通信部と、表示部と、を備え、
   　前記表示部は、
   　前記通信部で取得した外部端末から送信された送信情報と、
   　ショベルの制御部にて判断された判断結果を文字情報として時系列で表示する、
   ショベルの表示装置。
9. 　前記時系列で表示される文字情報には、他のショベルの制御部にて判断された判断結果も含まれる、
   請求項８に記載のショベルの表示装置。
10. 　前記時系列で表示される文字情報には、管理装置から送信されるダンプ情報も含まれる、
    請求項８に記載のショベルの表示装置。

Images