JP6612865B2 - 作業機の遠隔操作のための表示システム - Google Patents
作業機の遠隔操作のための表示システム Download PDFInfo
- Publication number
- JP6612865B2 JP6612865B2 JP2017522339A JP2017522339A JP6612865B2 JP 6612865 B2 JP6612865 B2 JP 6612865B2 JP 2017522339 A JP2017522339 A JP 2017522339A JP 2017522339 A JP2017522339 A JP 2017522339A JP 6612865 B2 JP6612865 B2 JP 6612865B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- remote control
- operator
- image
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 131
- 210000001508 eye Anatomy 0.000 claims description 114
- 238000004891 communication Methods 0.000 claims description 95
- 230000033001 locomotion Effects 0.000 claims description 70
- 210000003128 head Anatomy 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 29
- 238000005520 cutting process Methods 0.000 claims description 22
- 210000005252 bulbus oculi Anatomy 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000003111 delayed effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 23
- 238000005096 rolling process Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 5
- 238000002370 liquid polymer infiltration Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F5/00—Dredgers or soil-shifting machines for special purposes
- E02F5/02—Dredgers or soil-shifting machines for special purposes for digging trenches or ditches
- E02F5/14—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids
- E02F5/145—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids control and indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/08—Superstructures; Supports for superstructures
- E02F9/0858—Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Component Parts Of Construction Machinery (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Selective Calling Equipment (AREA)
Description
米国特許第6795109号
米国特許第8274550号
米国特許第6195204号
米国特許出願公開第2006/0103723号
米国特許出願公開第2007/0182812号
米国特許第8355041号
作業機の遠隔操作のための表示システムであって、水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、前記遠隔操作側の表示装置と、前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、操作者の眼球の動きを検知する視線検知部とを備え、前記カメラ部は、左目用および右目用の一対のカメラからなり、前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きを前記画像処理装置に前記無線通信により送信し、前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
作業機の遠隔操作のための表示システムであって、水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像を無線通信により送信する画像処理装置と、前記遠隔操作側の表示装置と、前記画像処理装置から送られてきた前記パノラマ画像を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、操作者の眼球の動きを検知する視線検知部とを備え、前記カメラ部は、左目用および右目用の一対のカメラからなり、前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
(3)第3態様の表示システム
作業機の遠隔操作のための表示システムであって、水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、前記遠隔操作側の表示装置と、前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置とを備え、前記カメラ部は、左目用および右目用の一対のカメラからなり、前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を操作者の視認角度に相当する所定の切り取り角度で切り取り、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の頭部の動きを検知し、検知した前記操作者の頭部の動きを前記遠隔制御装置に送信し、前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の頭部の動きを前記画像処理装置に前記無線通信により送信し、前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の頭部の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整し、前記表示装置は、当該表示システムにおいて予め準備されたデータベース、または、当該表示システムとは別の場所に設けられたデータベースに基づいて前記パノラマ画像の一部に対応する作業補助情報の一部を前記パノラマ画像の一部と共に前記パノラマ画像の一部に対応させて追加的に表示し、前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
図1は、第1実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略構成図である。
図8は、第2実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略構成図である。
第3実施形態に係る表示システム100は、第1実施形態に係る表示システム100において作業機側110の画像処理装置320で行っていた、パノラマ画像PI,PIの一部PIP,PIPの切り取り処理および調整処理を、遠隔操作側120の遠隔制御装置420で行うように構成したものである。
図12は、第4実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略構成図である。
図13は、第5実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略側面図である。
第6実施形態に係る表示システム100は、第1実施形態から第5実施形態に係る表示システム100〜100において、複数のカメラ部310〜310の周辺部(近傍或いは近接した位置)に設けられた照明装置350〜350,350〜350を備えたものである。
ところで、作業現場では、作業計画(例えばどの程度の深さや範囲で掘削するのかといった作業計画)、作業部220の回動範囲(具体的には上部体221の旋回範囲やブーム222、アーム223およびバケット224の揺動範囲)またはガス管や水道管等の埋設管の位置などを操作者500が予め認識して作業することは、作業の効率性や安全性といった作業性を向上させる上で極めて重要である。
110 作業機側
120 遠隔操作側
200 作業機
210 走行体
220 作業部
221 上部体
222 ブーム
223 アーム
224 バケット
230 遠隔操作装置
231 操作部
300 作業機側の構成要素
310 カメラ部
311 左目用のカメラ
311a レンズ
312 右目用のカメラ
312a レンズ
320 画像処理装置
321 制御部
322 記憶部
323 通信部
330 支持部材
331 支持体
331a 固定部材
332 支柱
340 支持部材
342 支持アーム
342a 第1支点
342b 第2支点
343 駆動部
350 照明装置
351 発光素子
400 遠隔操作側の構成要素
410 表示装置
411 視線検知部
420 遠隔制御装置
421 制御部
422 記憶部
423 通信部
500 操作者
510 頭部
CB1 接続ケーブル
CB2 接続ケーブル
D 表示画面
G 地面
H 着座高さ位置
IM 撮影画像
MAX 最大高さ位置
MIN 最小高さ位置
PI パノラマ画像
PIP パノラマ画像の一部
Q 作業補助情報
Q1 作業補助情報の一部
R 移動範囲
d 間隔
Δα 相対基準点
α 基準点
β 水平方向の切り取り角度
γ 垂直方向の切り取り角度
θp ピッチング角度
θr ローリング角度
θy ヨーイング角度
φp ピッチング基準角度
φr ローリング基準角度
φy ヨーイング基準角度
Claims (6)
- 作業機の遠隔操作のための表示システムであって、
水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、
前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、
前記遠隔操作側の表示装置と、
前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、
操作者の眼球の動きを検知する視線検知部と
を備え、
前記カメラ部は、左目用および右目用の一対のカメラからなり、
前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、
前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、
前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、
前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きを前記画像処理装置に前記無線通信により送信し、
前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。 - 請求項1に記載の作業機の遠隔操作のための表示システムであって、
前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。 - 作業機の遠隔操作のための表示システムであって、
水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、
前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、
前記遠隔操作側の表示装置と、
前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と
を備え、
前記カメラ部は、左目用および右目用の一対のカメラからなり、
前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を操作者の視認角度に相当する所定の切り取り角度で切り取り、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、
前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、
前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の頭部の動きを検知し、検知した前記操作者の頭部の動きを前記遠隔制御装置に送信し、
前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の頭部の動きを前記画像処理装置に前記無線通信により送信し、
前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の頭部の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整し、
前記表示装置は、当該表示システムにおいて予め準備されたデータベース、または、当該表示システムとは別の場所に設けられたデータベースに基づいて前記パノラマ画像の一部に対応する作業補助情報の一部を前記パノラマ画像の一部と共に前記パノラマ画像の一部に対応させて追加的に表示し、
前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。 - 請求項1から請求項3までの何れか1つに記載の作業機の遠隔操作のための表示システムであって、
前記複数のカメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられていることを特徴とする作業機の遠隔操作のための表示システム。 - 請求項1から請求項4までの何れか1つに記載の作業機の遠隔操作のための表示システムであって、
前記カメラ部の周辺部に照明装置が設けられていることを特徴とする作業機の遠隔操作のための表示システム。 - 作業機の遠隔操作のための表示システムであって、
水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、
前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像を無線通信により送信する画像処理装置と、
前記遠隔操作側の表示装置と、
前記画像処理装置から送られてきた前記パノラマ画像を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、
操作者の眼球の動きを検知する視線検知部と
を備え、
前記カメラ部は、左目用および右目用の一対のカメラからなり、
前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、
前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、
前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、
前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2014/002551 WO2016079557A1 (en) | 2014-11-17 | 2014-11-17 | Display system for remote control of working machine |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019198585A Division JP6857701B2 (ja) | 2019-10-31 | 2019-10-31 | 作業機、表示装置および作業機の遠隔操作のための表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018501684A JP2018501684A (ja) | 2018-01-18 |
JP6612865B2 true JP6612865B2 (ja) | 2019-11-27 |
Family
ID=52774284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017522339A Active JP6612865B2 (ja) | 2014-11-17 | 2014-11-17 | 作業機の遠隔操作のための表示システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10474228B2 (ja) |
EP (1) | EP3222042B1 (ja) |
JP (1) | JP6612865B2 (ja) |
CN (2) | CN111754750B (ja) |
WO (1) | WO2016079557A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10455184B2 (en) * | 2016-03-14 | 2019-10-22 | Sony Corporation | Display device and information processing terminal device |
US10539797B2 (en) * | 2016-05-06 | 2020-01-21 | Colopl, Inc. | Method of providing virtual space, program therefor, and recording medium |
KR102455257B1 (ko) * | 2017-03-07 | 2022-10-14 | 스미토모 겐키 가부시키가이샤 | 쇼벨 |
CN114482157A (zh) | 2017-03-07 | 2022-05-13 | 住友重机械工业株式会社 | 挖土机及施工机械的作业支援系统 |
JP6929674B2 (ja) * | 2017-03-22 | 2021-09-01 | 株式会社東京エネシス | 環境画像表示システム及び環境画像表示方法 |
CN108933920B (zh) * | 2017-05-25 | 2023-02-17 | 中兴通讯股份有限公司 | 一种视频画面的输出、查看方法及装置 |
TWI697692B (zh) | 2017-08-01 | 2020-07-01 | 緯創資通股份有限公司 | 近眼顯示系統及其操作方法 |
US11010975B1 (en) | 2018-03-06 | 2021-05-18 | Velan Studios, Inc. | Remote camera augmented reality system |
JP7060418B2 (ja) * | 2018-03-15 | 2022-04-26 | 株式会社デンソーテン | 車両遠隔操作装置及び車両遠隔操作方法 |
JP7014007B2 (ja) * | 2018-03-29 | 2022-02-01 | コベルコ建機株式会社 | 作業機械の遠隔操作システム |
JP7000957B2 (ja) * | 2018-03-29 | 2022-01-19 | コベルコ建機株式会社 | 作業機械操縦装置 |
EP3859090A4 (en) * | 2018-09-25 | 2022-05-18 | Hitachi Construction Machinery Co., Ltd. | OUTER PROFILE MEASUREMENT SYSTEM FOR EARTHWORKING MACHINE, OUTER PROFILE DISPLAY SYSTEM FOR EARTHWORKING MACHINE, CONTROL SYSTEM FOR EARTHWORKING MACHINE, AND EARTHWORKING MACHINE |
US11772556B2 (en) | 2018-10-31 | 2023-10-03 | Komatsu Ltd. | Display control system and display control method |
JP7151392B2 (ja) | 2018-11-07 | 2022-10-12 | コベルコ建機株式会社 | 建設機械の遠隔操作装置 |
SE1851590A1 (sv) | 2018-12-14 | 2020-06-15 | Brokk Ab | Fjärrstyrd demoleringsrobot med förbättrat användningsområde och ett förfarande för att åstadkomma en sådan demoteringsrobot. |
JP7160702B2 (ja) * | 2019-01-23 | 2022-10-25 | 株式会社小松製作所 | 作業機械のシステム及び方法 |
JP7287047B2 (ja) * | 2019-03-27 | 2023-06-06 | コベルコ建機株式会社 | 遠隔操作システムおよび遠隔操作サーバ |
JP7372061B2 (ja) * | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | 遠隔作業支援システム |
US11200654B2 (en) | 2019-08-14 | 2021-12-14 | Cnh Industrial America Llc | System and method for determining field characteristics based on a displayed light pattern |
JP7244197B2 (ja) * | 2019-12-04 | 2023-03-22 | 株式会社三井E&Sマシナリー | カメラ視野移動機構 |
JP7484401B2 (ja) * | 2020-05-13 | 2024-05-16 | コベルコ建機株式会社 | 作業機械の遠隔操作支援システム |
US11505919B2 (en) * | 2020-07-27 | 2022-11-22 | Caterpillar Inc. | Method for remote operation of machines using a mobile device |
EP4033035A1 (en) * | 2021-01-20 | 2022-07-27 | Volvo Construction Equipment AB | A system and method therein for remote operation of a working machine comprising a tool |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0556925A (ja) * | 1991-09-02 | 1993-03-09 | A T R Tsushin Syst Kenkyusho:Kk | 視線情報制御装置 |
JP3146080B2 (ja) * | 1993-01-08 | 2001-03-12 | 株式会社間組 | 掘削機運転装置 |
JPH08292394A (ja) * | 1995-01-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | 頭部搭載型画像表示装置 |
JP3604443B2 (ja) * | 1995-02-28 | 2004-12-22 | 株式会社島津製作所 | テレビジョンシステム |
JP2973867B2 (ja) * | 1995-05-26 | 1999-11-08 | 日本電気株式会社 | 視点追従型立体表示装置および視点追従方法 |
US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
US6665003B1 (en) | 1998-09-17 | 2003-12-16 | Issum Research Development Company Of The Hebrew University Of Jerusalem | System and method for generating and displaying panoramic images and movies |
US6795109B2 (en) | 1999-09-16 | 2004-09-21 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair |
US6831677B2 (en) | 2000-02-24 | 2004-12-14 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair |
US7477284B2 (en) | 1999-09-16 | 2009-01-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for capturing and viewing stereoscopic panoramic images |
AU1724901A (en) | 1999-12-31 | 2001-10-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair |
JP2004512701A (ja) | 2000-04-19 | 2004-04-22 | イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム | 立体パノラマ画像の撮像と表示を行うシステムと方法 |
JP2002345058A (ja) | 2001-05-14 | 2002-11-29 | Komatsu Ltd | 作業機械の遠隔操作装置 |
US7463280B2 (en) | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
JP4053960B2 (ja) * | 2003-10-07 | 2008-02-27 | 日立建機株式会社 | 移動式作業機の埋設物処理支援装置 |
JP4517336B2 (ja) * | 2004-02-24 | 2010-08-04 | マツダ株式会社 | シミュレーション装置及びその方法 |
JP2005308282A (ja) | 2004-04-20 | 2005-11-04 | Komatsu Ltd | 火器装置 |
US20070182812A1 (en) | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
US20060103723A1 (en) | 2004-11-18 | 2006-05-18 | Advanced Fuel Research, Inc. | Panoramic stereoscopic video system |
US20070002131A1 (en) | 2005-02-15 | 2007-01-04 | Ritchey Kurtis J | Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method |
US8004558B2 (en) * | 2005-04-07 | 2011-08-23 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
JP4561525B2 (ja) * | 2005-08-10 | 2010-10-13 | セイコーエプソン株式会社 | 表示装置および遊技機 |
US9344612B2 (en) | 2006-02-15 | 2016-05-17 | Kenneth Ira Ritchey | Non-interference field-of-view support apparatus for a panoramic facial sensor |
US9101279B2 (en) | 2006-02-15 | 2015-08-11 | Virtual Video Reality By Ritchey, Llc | Mobile user borne brain activity data and surrounding environment data correlation system |
US20100045773A1 (en) | 2007-11-06 | 2010-02-25 | Ritchey Kurtis J | Panoramic adapter system and method with spherical field-of-view coverage |
JP2008111269A (ja) | 2006-10-30 | 2008-05-15 | Komatsu Ltd | 画像表示システム |
JP2008144379A (ja) * | 2006-12-06 | 2008-06-26 | Shin Caterpillar Mitsubishi Ltd | 遠隔操縦作業機の画像処理システム |
JP2009117990A (ja) * | 2007-11-02 | 2009-05-28 | Sony Corp | 情報提示装置及び情報提示方法 |
US8615383B2 (en) * | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
JP2010256534A (ja) * | 2009-04-23 | 2010-11-11 | Fujifilm Corp | 全方位画像表示用ヘッドマウントディスプレイ装置 |
JP5393301B2 (ja) * | 2009-07-06 | 2014-01-22 | 住友建機株式会社 | 建設機械のモニター装置 |
CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
JP5269026B2 (ja) * | 2010-09-29 | 2013-08-21 | 日立建機株式会社 | 作業機械の周囲監視装置 |
KR101891786B1 (ko) * | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
CN202334770U (zh) * | 2011-12-04 | 2012-07-11 | 长安大学 | 工程机械用全景监控系统 |
CN102880292A (zh) * | 2012-09-11 | 2013-01-16 | 上海摩软通讯技术有限公司 | 移动终端及其操控方法 |
WO2014077046A1 (ja) * | 2012-11-13 | 2014-05-22 | ソニー株式会社 | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム |
US9715008B1 (en) * | 2013-03-20 | 2017-07-25 | Bentley Systems, Incorporated | Visualization of 3-D GPR data in augmented reality |
US9908048B2 (en) * | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
CN103345305B (zh) * | 2013-07-22 | 2016-08-31 | 百度在线网络技术(北京)有限公司 | 用于移动终端输入法的候选词控制方法、装置和移动终端 |
CN103472915B (zh) * | 2013-08-30 | 2017-09-05 | 深圳Tcl新技术有限公司 | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 |
CN103869977B (zh) * | 2014-02-19 | 2016-06-08 | 小米科技有限责任公司 | 图像显示方法、装置和电子设备 |
KR102250821B1 (ko) * | 2014-08-20 | 2021-05-11 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치 동작 방법 |
-
2014
- 2014-11-17 JP JP2017522339A patent/JP6612865B2/ja active Active
- 2014-11-17 CN CN202010638589.3A patent/CN111754750B/zh active Active
- 2014-11-17 WO PCT/IB2014/002551 patent/WO2016079557A1/en active Application Filing
- 2014-11-17 CN CN201480082777.5A patent/CN107111928B/zh not_active Expired - Fee Related
- 2014-11-17 US US15/524,823 patent/US10474228B2/en active Active
- 2014-11-17 EP EP14846772.3A patent/EP3222042B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3222042A1 (en) | 2017-09-27 |
US10474228B2 (en) | 2019-11-12 |
CN111754750B (zh) | 2022-03-01 |
JP2018501684A (ja) | 2018-01-18 |
WO2016079557A1 (en) | 2016-05-26 |
CN111754750A (zh) | 2020-10-09 |
EP3222042B1 (en) | 2022-07-27 |
CN107111928B (zh) | 2020-07-31 |
US20170322624A1 (en) | 2017-11-09 |
CN107111928A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6612865B2 (ja) | 作業機の遠隔操作のための表示システム | |
US9479732B1 (en) | Immersive video teleconferencing robot | |
JP6786378B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20160086306A1 (en) | Image generating device, image generating method, and program | |
JP2018528509A (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
US10917560B2 (en) | Control apparatus, movable apparatus, and remote-control system | |
US11228737B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
JP6540572B2 (ja) | 表示装置および表示制御方法 | |
CA2950822A1 (en) | System and method for remote monitoring at least one observation area | |
US20220132261A1 (en) | Information processing apparatus, information processing method, and program | |
JP6518645B2 (ja) | 情報処理装置および画像生成方法 | |
JP6857701B2 (ja) | 作業機、表示装置および作業機の遠隔操作のための表示システム | |
JP7287798B2 (ja) | リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム | |
JP7203157B2 (ja) | 映像処理装置およびプログラム | |
US11610343B2 (en) | Video display control apparatus, method, and non-transitory computer readable medium | |
JPWO2019176035A1 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
JP2018056845A (ja) | 作業支援装置、システム、方法及びプログラム | |
JP2018026706A (ja) | 画像処理装置、画像表示装置、画像処理システム、及び画像処理方法 | |
WO2023228331A1 (ja) | 遠隔機械操作システム、視覚提示装置、視覚提示方法およびプログラム | |
CN113167053A (zh) | 具有改进的应用领域的遥控拆除机器人及获得该拆除机器人的方法 | |
JP2019022121A (ja) | 画像処理装置、および画像処理装置の制御方法 | |
JP7148464B2 (ja) | 作業機械 | |
JP2012244311A (ja) | カメラ遠隔制御装置およびカメラ遠隔制御方法 | |
US11909945B2 (en) | Display control device, display control method, and program | |
JP6197405B2 (ja) | 情報処理装置、情報処理システム、および情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20170424 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6612865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |