JP7175680B2 - 表示制御装置、表示制御システム、および表示制御方法 - Google Patents
表示制御装置、表示制御システム、および表示制御方法 Download PDFInfo
- Publication number
- JP7175680B2 JP7175680B2 JP2018163775A JP2018163775A JP7175680B2 JP 7175680 B2 JP7175680 B2 JP 7175680B2 JP 2018163775 A JP2018163775 A JP 2018163775A JP 2018163775 A JP2018163775 A JP 2018163775A JP 7175680 B2 JP7175680 B2 JP 7175680B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- image
- control device
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
- B60P1/00—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
- B60P1/04—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading with a tipping movement of load-transporting element
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/08—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles
- G01G19/12—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles having electrical weight-sensitive devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
Description
また、特許文献1には、積込車両の表示装置に運搬車両の積載量を表示する技術が開示されている。
本発明の態様は、遠隔操作に係る積込車両のオペレータに運搬車両の積載量を容易に認識させることができる表示制御装置、表示制御システム、および表示制御方法を提供することを目的とする。
《遠隔操作システム》
図1は、第1の実施形態に係る作業システムの構成を示す概略図である。
作業システム1は、遠隔操作によって動作する1または複数の積込車両100と、複数の運搬車両200と、管制装置300と、アクセスポイント400と、積込車両100を遠隔操作する1または複数の遠隔運転室500とを備える。
図2は、走行経路の例を表す図である。
運搬車両200には、走行すべき走行経路Rが設定される。走行経路Rは、2つのエリアA(例えば、積込場A1と排土場A2)を結ぶあらかじめ定められた接続経路R1、ならびにエリアA内の経路である進入経路R2、アプローチ経路R3および退出経路R4を有する。進入経路R2は、エリアA内において接続経路R1の一端である待機点P1と所定の切り返し点P2とを接続する経路である。アプローチ経路R3は、エリアA内の切り返し点P2と積込点P3または排土点P4とを接続する経路である。退出経路R4は、エリアA内の積込点P3または排土点P4と接続経路R1の他端である出口点P5とを接続する経路である。積込点P3は、積込車両100のオペレータの操作によって設定される点である。切り返し点P2は、積込点P3または排土点P4の位置に応じて管制装置300によって設定される点である。
遠隔運転室500は、運転席510、表示装置520、第1操作装置530、第2操作装置540、制御装置550を備える。
表示装置520は、運転席510に対向するように配置される。なお、本実施形態において対向とは、正面方向が平行になるように、または鈍角に交わるように向き合う状態をいう。表示装置520は、オペレータが運転席510に座ったときにオペレータの眼前に位置する。表示装置520は、図1に示すように、並べられた中央ディスプレイ521、左ディスプレイ522、右ディスプレイ523、上ディスプレイ524、下ディスプレイ525によって構成される。左ディスプレイ522は中央ディスプレイ521の左側に設けられる。右ディスプレイ523は中央ディスプレイ521の右側に設けられる。上ディスプレイ524は中央ディスプレイ521の上側に設けられる。下ディスプレイ525は中央ディスプレイ521の下側に設けられる。
なお、他の実施形態においては、表示装置520を構成するディスプレイの数はこれに限られない。例えば、表示装置520は1つのディスプレイによって構成されてもよい。また、表示装置520は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
第1の実施形態に係る運搬車両200は、ベッセルを備えるオフロードダンプトラックである。なお、他の実施形態に係る運搬車両200は、ダンプトラック以外の運搬車であってもよい。
運搬車両200は、位置方位演算器210、ペイロードメータ215、および制御装置220を備える。
また、制御装置220は、運搬車両200が進入指示信号に従って積込点P3に到着したときに、管制装置300に到着通知を送信する。
図3は、第1の実施形態に係る積込車両の外観図である。
第1の実施形態に係る積込車両100は、油圧ショベルである。なお、他の実施形態に係る積込車両100は、油圧ショベル以外の例えばホイールローダ等の積込車両であってもよい。
積込車両100は、油圧により駆動する作業機130と、作業機130を支持する旋回体120と、旋回体120を支持する走行体110とを備える。
アーム132は、ブーム131とバケット133とを連結する。アーム132の基端部は、ブーム131の先端部にピンを介して取り付けられる。
バケット133は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット133の基端部は、アーム132の先端部にピンを介して取り付けられる。
位置方位演算器124は、2つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体120の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器124は、ロータリーエンコーダやIMUの計測値に基づいて旋回体120が向く方位を検出してもよい。また、他の実施形態に係る積込車両100は、位置方位演算器124を備えなくてもよい。
図5は、第1の実施形態に係る管制装置の構成を示すブロック図である。
管制装置300は、運搬車両200の走行を管理する。
管制装置300は、プロセッサ3100、メインメモリ3200、ストレージ3300、インタフェース3400を備えるコンピュータである。ストレージ3300は、管制プログラムを記憶する。プロセッサ3100は、管制プログラムをストレージ3300から読み出してメインメモリ3200に展開し、管制プログラムに従った処理を実行する。管制装置300は、インタフェース3400を介して通信手段に接続される。
図6は、第1の実施形態に係る管制装置の動作方法を示すフローチャートである。
管制装置300は、所定の制御周期ごとに以下の処理を実行する。
車両情報収集部3101は、アクセスポイント400を介して運搬車両200から位置情報、方位情報および積載重量の情報を受信する(ステップS01)。車両情報収集部3101は、受信した位置情報、方位情報および積載重量の情報を車両情報記憶部3303に記憶させる(ステップS02)。また、通知受信部3104は、運搬車両200から、進入指示信号に従って積込点P3に到着したことを示す到着通知を受信したか否かを判定する(ステップS03)。
更新部3105は、受信した操作信号に発進指示信号が含まれるか否かを判定する(ステップS08)。更新部3105は、操作信号に発進指示信号が含まれる場合(ステップS08:YES)、車両情報記憶部3303において発進指示信号の宛先の運搬車両200に関連付けられたスタンバイ情報をFalseに更新する(ステップS09)。
《遠隔運転室の制御装置》
図7は、第1の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置550は、プロセッサ5100、メインメモリ5200、ストレージ5300、インタフェース5400を備えるコンピュータである。ストレージ5300は、プログラムを記憶する。プロセッサ5100は、プログラムをストレージ5300から読み出してメインメモリ5200に展開し、プログラムに従った処理を実行する。
画像切出部5102は、車体情報受信部5101が受信した前方カメラ122が撮像した画像G1から、中央ディスプレイ521に表示させるための中央画像G11、左ディスプレイ522に表示させるための左画像G12、右ディスプレイ523に表示させるための右画像G13、上ディスプレイ524に表示させるための上画像G14、下ディスプレイ525に表示させるための下画像G15をそれぞれ切り出す。各画像は、掘削対象の地形および作業機130の位置が、積込車両100のオペレータにとってに認識しやすくなるように切り出される。なお、表示装置520が1つのディスプレイから構成される場合、画像切出部5102は画像の切り出しを行わなくてもよい。
表示画像生成部5104は、例えば、積載重量受信部5103が受信した運搬車両200の積載重量を示す積載重量画像G2と、車体情報受信部5101が受信したバケット内部画像G3とを、画像切出部5102が切り出した右画像G13に配置することで、表示用右画像G13aを生成する。積載重量画像G2には、例えば、運搬車両200の積載重量、最大積載重量、および残り積載重量が含まれる。なお、図9の積載重量画像G2には、運搬車両200の側面図が描画されるが、当該側面図は例えば予めストレージ5300に記憶されているものであってよい。
図10は、第1の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。積込車両100の遠隔操作が開始されると、制御装置550は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部5101は、積込車両100の制御装置126から車体情報を受信する(ステップS21)。次に、画像切出部5102は、受信した車体情報のうち前方カメラ122が撮像した画像G1から、中央画像G11、左画像G12、右画像G13、上画像G14、および下画像G15をそれぞれ切り出す(ステップS22)。
このように、第1の実施形態に係る遠隔運転室500の制御装置550は、複数の運搬車両200のうち、積込車両100による積込作業対象である対象運搬車両において計測された積載重量を管制装置300から取得し、右画像G13上に積載重量画像G2を配置した表示用右画像G13aを、表示装置520に表示させる。これにより、制御装置550は、積込車両100のオペレータに運搬車両200の積載量を容易に認識させることができる。なお、他の実施形態においては、積載重量画像G2は、右画像G13以外の画像上に配置されてもよい。
Claims (4)
- 表示装置の表示制御装置であって、
積込車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
運搬車両に搭載された重量計によって計測された積載重量を取得する積載重量取得部と、
前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成する表示画像生成部と、
前記表示画像を前記表示装置に出力する表示制御部と
を備え、
前記積載重量取得部は、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する
表示制御装置。 - 前記積込車両に搭載されたセンサが計測した計測値を取得する計測値取得部を備え、
前記表示画像生成部は、前記撮像画像上に、前記積載重量を表す画像と前記計測値を表す画像とを配置した表示画像を生成する、
請求項1に記載の表示制御装置。 - 表示装置と、
積込車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
運搬車両に搭載された重量計によって計測された積載重量を取得する積載重量取得部と、
前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成する表示画像生成部と、
前記表示画像を前記表示装置に出力する表示制御部と
を備え、
前記積載重量取得部は、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する
表示制御システム。 - 表示装置の表示制御方法であって、
積込車両に搭載された撮像装置が撮像した撮像画像を取得するステップと、
運搬車両に搭載された重量計によって計測された積載重量を取得するステップと、
前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成するステップと、 前記表示画像を前記表示装置に表示させるステップと
を備え、
前記積載重量を取得するステップでは、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する
表示制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163775A JP7175680B2 (ja) | 2018-08-31 | 2018-08-31 | 表示制御装置、表示制御システム、および表示制御方法 |
US17/046,060 US11663748B2 (en) | 2018-08-31 | 2019-07-18 | Display control device, display control system, and display control method |
AU2019327038A AU2019327038B2 (en) | 2018-08-31 | 2019-07-18 | Display control device, display control system, and display control method |
PCT/JP2019/028255 WO2020044836A1 (ja) | 2018-08-31 | 2019-07-18 | 表示制御装置、表示制御システム、および表示制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163775A JP7175680B2 (ja) | 2018-08-31 | 2018-08-31 | 表示制御装置、表示制御システム、および表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020033850A JP2020033850A (ja) | 2020-03-05 |
JP7175680B2 true JP7175680B2 (ja) | 2022-11-21 |
Family
ID=69645220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163775A Active JP7175680B2 (ja) | 2018-08-31 | 2018-08-31 | 表示制御装置、表示制御システム、および表示制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11663748B2 (ja) |
JP (1) | JP7175680B2 (ja) |
AU (1) | AU2019327038B2 (ja) |
WO (1) | WO2020044836A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210268622A1 (en) | 2020-02-28 | 2021-09-02 | Sintokogio, Ltd. | Barrel polishing apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013113044A (ja) | 2011-11-30 | 2013-06-10 | Sumitomo (Shi) Construction Machinery Co Ltd | 建設機械用モニタシステム |
JP2016212055A (ja) | 2015-05-13 | 2016-12-15 | 日立建機株式会社 | 作業機械の荷重計測装置 |
JP2017089139A (ja) | 2015-11-04 | 2017-05-25 | 住友建機株式会社 | ショベル |
WO2018124144A1 (ja) | 2016-12-28 | 2018-07-05 | 株式会社小松製作所 | 作業車両、サーバ装置、積載重量管理システムおよび積載重量管理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5575703B2 (ja) * | 2011-06-07 | 2014-08-20 | 株式会社小松製作所 | ダンプトラックの積載量表示装置 |
CN103249896B (zh) | 2011-11-04 | 2014-12-03 | 株式会社小松制作所 | 装载系统及搬运机 |
AU2014262221C1 (en) | 2013-11-25 | 2021-06-10 | Esco Group Llc | Wear part monitoring |
US10324461B2 (en) | 2014-07-30 | 2019-06-18 | Yanmar Co., Ltd. | Remote control apparatus |
CA2976374C (en) | 2015-02-13 | 2023-08-01 | Esco Corporation | Monitoring ground-engaging products for earth working equipment |
JP6620011B2 (ja) * | 2015-12-25 | 2019-12-11 | 株式会社小松製作所 | 作業車両および表示制御方法 |
US10372126B2 (en) * | 2016-05-27 | 2019-08-06 | Cnh Industrial America Llc | Dynamic in-cabin autonomous vehicle control systems |
US20180179732A1 (en) * | 2016-12-22 | 2018-06-28 | Caterpillar Inc. | Realtime payload mapping for loader/hauler system optimization |
CN111902585A (zh) * | 2018-03-27 | 2020-11-06 | 住友重机械工业株式会社 | 挖土机 |
-
2018
- 2018-08-31 JP JP2018163775A patent/JP7175680B2/ja active Active
-
2019
- 2019-07-18 WO PCT/JP2019/028255 patent/WO2020044836A1/ja active Application Filing
- 2019-07-18 US US17/046,060 patent/US11663748B2/en active Active
- 2019-07-18 AU AU2019327038A patent/AU2019327038B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013113044A (ja) | 2011-11-30 | 2013-06-10 | Sumitomo (Shi) Construction Machinery Co Ltd | 建設機械用モニタシステム |
JP2016212055A (ja) | 2015-05-13 | 2016-12-15 | 日立建機株式会社 | 作業機械の荷重計測装置 |
JP2017089139A (ja) | 2015-11-04 | 2017-05-25 | 住友建機株式会社 | ショベル |
WO2018124144A1 (ja) | 2016-12-28 | 2018-07-05 | 株式会社小松製作所 | 作業車両、サーバ装置、積載重量管理システムおよび積載重量管理方法 |
Also Published As
Publication number | Publication date |
---|---|
US11663748B2 (en) | 2023-05-30 |
JP2020033850A (ja) | 2020-03-05 |
WO2020044836A1 (ja) | 2020-03-05 |
US20210174554A1 (en) | 2021-06-10 |
AU2019327038A1 (en) | 2020-10-22 |
AU2019327038B2 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7404414B2 (ja) | 作業機械制御装置および制御方法 | |
JP7216472B2 (ja) | 作業システムおよび制御方法 | |
CN110637132B (zh) | 作业系统、作业机械以及控制方法 | |
US11634889B2 (en) | Control device and control method | |
JP7175680B2 (ja) | 表示制御装置、表示制御システム、および表示制御方法 | |
JP7311667B2 (ja) | 作業システムおよび制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7175680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |