JP6612865B2 - 作業機の遠隔操作のための表示システム - Google Patents

作業機の遠隔操作のための表示システム Download PDF

Info

Publication number
JP6612865B2
JP6612865B2 JP2017522339A JP2017522339A JP6612865B2 JP 6612865 B2 JP6612865 B2 JP 6612865B2 JP 2017522339 A JP2017522339 A JP 2017522339A JP 2017522339 A JP2017522339 A JP 2017522339A JP 6612865 B2 JP6612865 B2 JP 6612865B2
Authority
JP
Japan
Prior art keywords
eye
remote control
operator
image
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017522339A
Other languages
English (en)
Other versions
JP2018501684A (ja
Inventor
マルタ・ニッコリーニ
アントニオ・アルバ
慎吾 江口
順也 楠野
パオロ・トリピッキオ
エマヌエーレ・ルファルディ
カルロ・アルベルト・アヴィッツァーノ
パオロ・シモーネ・ガスパレッロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Publication of JP2018501684A publication Critical patent/JP2018501684A/ja
Application granted granted Critical
Publication of JP6612865B2 publication Critical patent/JP6612865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F5/00—Dredgers or soil-shifting machines for special purposes
    • E02F5/02—Dredgers or soil-shifting machines for special purposes for digging trenches or ditches
    • E02F5/14—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids
    • E02F5/145—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids control and indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/0858—Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、作業機を遠隔操作するために作業機から送られてくる画像を表示する表示システムに関する。
作業機を遠隔操作するために作業機から送られてくる画像を表示する表示システムとして、作業機が作業を行う作業現場から離れた場所で遠隔操作される作業機にカメラが設けられ、カメラで撮影した画像（動画像）を遠隔操作側に無線通信により送信し、得られた画像を遠隔操作側の表示装置にリアルタイムに表示する表示システムは、従来から知られている。
例えば、特許文献１は、作業機の周辺状況のパノラマ画像を表示装置にリアルタイムに表示する表示システムを開示している。
また、特許文献２は、電波法の制約から２．４ＧＨｚの小電力無線通信で建設機械に搭載されたカメラから送信されたデータに基づいて作業現場の画像を表示装置にリアルタイムに表示する表示システムを開示している。
特開２００８−１１１２６９号公報 特開２００２−３４５０５８号公報
ところで、作業機の遠隔操作のための表示システムにおいては、遠隔操作の操作性を向上させるという観点から、表示装置に表示される表示画像を操作者の視線の動きに追従させることが望まれる。
しかしながら、特許文献１は、切換ペダルの操作に応じてパノラマ画像を切換える表示システムを開示しているに過ぎず、表示装置に表示される表示画像を操作者の視線の動きに追従させる構成ではないので操作感覚が良いとは言えない。また、特許文献２についても、表示装置に表示される表示画像を操作者の視線の動きに追従させる表示システムを開示しているわけではない。
なお、本発明に関連する技術として、以下に示す特許文献を挙げることができるが、何れにしても、本発明を構成するものではない。
米国特許第６７９５１０９号
米国特許第８２７４５５０号
米国特許第６１９５２０４号
米国特許出願公開第２００６／０１０３７２３号
米国特許出願公開第２００７／０１８２８１２号
米国特許第８３５５０４１号
そこで、本発明は、作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる表示システムを提供することを目的とする。
本発明は、前記課題を解決するために、次の第１態様から第３態様の作業機の遠隔操作のための表示システムを提供する。
（１）第１態様の表示システム
作業機の遠隔操作のための表示システムであって、水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、前記遠隔操作側の表示装置と、前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、操作者の眼球の動きを検知する視線検知部とを備え、前記カメラ部は、左目用および右目用の一対のカメラからなり、前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きを前記画像処理装置に前記無線通信により送信し、前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
（２）第２態様の表示システム
作業機の遠隔操作のための表示システムであって、水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像を無線通信により送信する画像処理装置と、前記遠隔操作側の表示装置と、前記画像処理装置から送られてきた前記パノラマ画像を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、操作者の眼球の動きを検知する視線検知部とを備え、前記カメラ部は、左目用および右目用の一対のカメラからなり、前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
本発明において、前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられている態様を例示できる。
（３）第３態様の表示システム
作業機の遠隔操作のための表示システムであって、水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、前記遠隔操作側の表示装置と、前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置とを備え、前記カメラ部は、左目用および右目用の一対のカメラからなり、前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を操作者の視認角度に相当する所定の切り取り角度で切り取り、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の頭部の動きを検知し、検知した前記操作者の頭部の動きを前記遠隔制御装置に送信し、前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の頭部の動きを前記画像処理装置に前記無線通信により送信し、前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の頭部の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整し、前記表示装置は、当該表示システムにおいて予め準備されたデータベース、または、当該表示システムとは別の場所に設けられたデータベースに基づいて前記パノラマ画像の一部に対応する作業補助情報の一部を前記パノラマ画像の一部と共に前記パノラマ画像の一部に対応させて追加的に表示し、前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
本発明において、前記複数のカメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられている態様を例示できる。
本発明において、前記カメラ部の周辺部に照明装置が設けられている態様を例示できる。
本発明において、前記表示装置は、当該表示システムにおいて予め準備されたデータベース、または、当該表示システムとは別の場所に設けられたデータベースに基づいて前記パノラマ画像の一部に対応する作業補助情報の一部を前記パノラマ画像の一部と共に前記パノラマ画像の一部に対応させて追加的に表示する態様を例示できる。
本発明によると、作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる表示システムを提供することができる。
図１は、第１実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。 図２は、図１に示す作業機に設けられた支持部材における支持体および支持体に支持された複数のカメラ部の概略構成を示す斜視図である。 図３は、第１実施形態に係る表示システムにおける作業機側の画像処理装置のシステム構成を示すブロック図である。 図４は、画像処理装置によりパノラマ画像の一部を切り取る切り取り処理を説明するための説明図である。 図５は、第１実施形態に係る表示システムにおける遠隔操作側の遠隔制御装置のシステム構成を示すブロック図である。 図６は、画像処理装置により操作者の頭部の動きに応じてパノラマ画像の一部を調整する調整処理を説明するための説明図である。 図７は、第１実施形態に係る表示システムの制御動作の一例を示すフローチャートである。 図８は、第２実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。 図９は、第３実施形態に係る作業機の遠隔操作のための表示システムにおける作業機側の画像処理装置のシステム構成を示すブロック図である。 図１０は、第３実施形態に係る表示システムにおける遠隔操作側の遠隔制御装置のシステム構成を示すブロック図である。 図１１は、第３実施形態に係る表示システムの制御動作の一例を示すフローチャートである。 図１２は、第４実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。 図１３は、第５実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。 図１４は、第６実施形態に係る作業機の遠隔操作のための表示システムにおけるカメラ部を構成する一対のカメラおよび一対のカメラに設けられた照明装置の一例を正面から視た概略構成図である。 図１５は、第７実施形態に係る作業機の遠隔操作のための表示システムにおいて、パノラマ画像の一部に対応する作業補助情報の一部をパノラマ画像の一部と共にパノラマ画像の一部に対応させて追加的に表示装置に表示している表示画面の一例を示す表示図である。
以下、本発明に係る実施の形態について図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。
図１に示すように、作業機２００の遠隔操作のための表示システム１００は、作業機２００が作業を行う作業現場から離れた場所で遠隔操作される作業機２００にカメラ部３１０〜３１０が設けられ、カメラ部３１０〜３１０で撮影した画像（動画像）を遠隔操作側１２０に無線通信により送信し、得られた画像を遠隔操作側１２０の表示装置４１０にリアルタイムに表示する構成とされている。
表示システム１００では、作業機２００は、無人作業機とされており、作業現場から離れた場所で作業機２００を遠隔操作する操作者５００が表示装置４１０の表示画面を確認しながら遠隔操作側１２０から操作指令を送ることにより、遠隔操作される構成とされている。これにより、作業機２００は、人間が入っていけないような危険な作業現場（例えば汚染された作業現場）で作業することができる。
作業機２００は、水平方向に旋回可能かつ垂直方向に揺動可能な作業部２２０を有している。この例では、作業機２００は、建設作業機（具体的にはショベルカー）とされている。作業機２００は、クローラを構成する走行体２１０を有し、走行体２１０に対して作業部２２０が水平方向に（垂直方向に沿った軸線回りに）旋回可能に設けられている。作業部２２０は、走行体２１０に対して水平方向に旋回可能な上部体２２１と、上部体２２１に対して垂直方向に（水平方向に沿った軸線回りに）揺動可能なブーム２２２と、ブーム２２２に対して垂直方向に揺動可能なアーム２２３と、アーム２２３に対して垂直方向に揺動可能なバケット２２４とを有している。ここで、「水平方向」および「垂直方向」は、作業機２００が水平面に設置された場合での方向である。
なお、アーム２２３の先端部に取り付けられるアタッチメントは、この例では、バケット２２４とされているが、それに限定されるものではなく、アーム２２３の先端部には、作業内容に応じたアタッチメントを適宜交換することができる。
また、作業機２００は、この例では、ショベルカーとしたが、それに限定されるものではなく、他の建設作業機であってもよいし、農業作業機であってもよい。
作業機２００は、遠隔操作装置２３０をさらに有している。遠隔操作装置２３０は、作業機２００本体を遠隔操作するものであり、作業機２００本体と無線通信を行う構成とされている。遠隔操作装置２３０は、操作者５００による操作を受け付け、受け付けた操作に基づく操作指令を無線通信により作業機２００本体に送信する。遠隔操作装置２３０は、作業部２２０（具体的には上部体２２１、ブーム２２２、アーム２２３およびバケット２２４等の構成部材）を操作するための操作レバー等の操作部２３１を備えている。
表示システム１００は、作業機側１１０の構成要素３００と、遠隔操作側１２０の構成要素４００とで構成されている。
作業機側１１０の構成要素３００は、作業機２００に設けられた複数のカメラ部３１０〜３１０および画像処理装置３２０を備えている。遠隔操作側１２０の構成要素４００は、表示装置４１０および遠隔制御装置４２０を備えている。
作業機側１１０の構成要素３００は、支持部材３３０をさらに備えている。支持部材３３０は、下端部が作業機２００の作業部２２０における上部体２２１に支持される（この例では固定される）一方、上端部が複数のカメラ部３１０〜３１０を該複数のカメラ部３１０〜３１０が水平姿勢になるように支持する（この例では固定する）構成とされている。ここで、水平姿勢は、作業機２００が水平面に設置された場合での姿勢である。
支持部材３３０は、複数のカメラ部３１０〜３１０を支持する支持体３３１と、上端部で支持体３３１を支持する一方、下端部で上部体２２１に支持される支持台（この例では支柱３３２）とを有している。
図２は、図１に示す作業機２００に設けられた支持部材３３０における支持体３３１および支持体３３１に支持された複数のカメラ部３１０〜３１０の概略構成を示す斜視図である。なお、図２では、支持体３３１に設けられる複数（この例では５つ）のカメラ部３１０〜３１０のうち一部を支持体３３１から取り外した状態を示しており、実際には、複数（この例では５つ）のカメラ部３１０〜３１０の全てが支持体３３１に設けられる。
図２に示すように、複数のカメラ部３１０〜３１０は、何れも、左目用および右目用の一対のカメラ３１１，３１２からなっている。詳しくは、一対のカメラ３１１，３１２は、操作者５００の左目に相当する左目用のカメラ３１１および操作者５００の右目に相当する右目用のカメラ３１２で構成されている。一対のカメラ３１１，３１２は、レンズの中心位置の間隔ｄが平均的な人の瞳の中心位置の間隔と同じとされている。複数のカメラ部３１０〜３１０を構成する一対のカメラ３１１，３１２は、この例では、何れも同一タイプの小型デジタルビデオカメラとされている。
支持体３３１は、複数のカメラ部３１０〜３１０により撮影された撮影画像が所定の撮影面積比率でオーバーラップするように、複数のカメラ部３１０〜３１０を全方位的または略全方位的に支持する構成とされている。具体的には、支持体３３１は、左目用の複数のカメラ３１１〜３１１により撮影された左目用の撮影画像が所定の撮影面積比率でオーバーラップするように、左目用の複数のカメラ３１１〜３１１を全方位的または略全方位的に支持し、かつ、右目用の複数のカメラ３１２〜３１２により撮影された右目用の撮影画像が所定の撮影面積比率でオーバーラップするように、右目用の複数のカメラ３１２〜３１２を全方位的または略全方位的に支持する構成とされている。
詳しくは、支持体３３１は、カメラ部３１０が２つの場合には、予め定めた所定の距離をおいて相対する位置に２つのカメラ部３１０，３１０を設けることができ、カメラ部３１０が３つ以上の場合には、予め定めた所定の半径の仮想円上において放射状にかつ均等または略均等な位置に３つ以上のカメラ部３１０〜３１０を設けることができる。
具体的には、支持体３３１は、板状のものとされており、カメラ部３１０の数に応じた数の辺を有する形状とされている。支持体３３１は、例えば、カメラ部３１０が２つの場合には、平面視でカメラ部３１０，３１０が並設される方向に長い長尺状のものとすることができ、３つ以上の場合には、カメラ部３１０〜３１０の数と同じ数で同一距離の辺を有する正多角形状（具体的には３つのカメラ部３１０〜３１０では平面視で正三角形状、４つのカメラ部３１０〜３１０では平面視で正方形状、５つのカメラ部３１０〜３１０では平面視で正五角形状、…）のものとすることができる。また、支持体３３１は、平面視で円形状のものであってもよい。
この例では、カメラ部３１０〜３１０は、５つ（すなわちカメラ部３１０〜３１０を構成するカメラ３１１，３１２の合計台数は１０台）とされており、平面視で五角形状の支持体３３１に対して支持体３３１の中心位置から所定の半径の仮想円上において放射状にかつ均等または略均等な位置（各辺の中央位置）に固定部材３３１ａを介して固定されている。
このように、支持体３３１は、複数のカメラ部３１０〜３１０を相反する位置または放射状にかつ均等または略均等な位置に支持することで、複数のカメラ部３１０〜３１０全体として水平方向における３６０°の視界をカバーすることができる。なお、カメラ部３１０〜３１０を構成する一対のカメラ３１１，３１２の画角は、カメラ部３１０の配設位置によって適宜決定することができる。この例では、一対のカメラ３１１，３１２の垂直方向の画角は、１４０°（具体的には仮想水平面を基準として上下７０°ずつの角度）とされている。
複数のカメラ部３１０〜３１０（図１参照）は、作業機２００に設けられるべき座席（この例では、作業機２００が有人作業機であると想定した場合での作業者が運転する際に座る座席）の水平方向（具体的には前後方向および左右方向の双方）における位置に相当する配設位置に設けられている。また、複数のカメラ部３１０〜３１０は、カメラ部３１０におけるレンズの中心位置が作業機２００の仕向地（例えば欧米仕様やアジア仕様）の平均的な体格（例えば身長や座高）を有する作業者（例えば欧米人やアジア人の作業者）が作業機２００に設けられるべき座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられている。
この例では、上部体２２１の前部には、進行方向に向かって左右方向における中央部にブーム２２２が設けられていることから、支持部材３３０は、上部体２２１の前側の左右方向における一方側（図１の例では左側）に立設されている。
また、支持部材３３０は、作業者が作業機２００に設けられるべき座席に着座したと想定した場合での目線高さに相当する高さ位置に複数のカメラ部３１０〜３１０におけるレンズの中心位置が位置するように複数のカメラ部３１０〜３１０を支持するようになっている。
画像処理装置３２０は、この例では、作業機２００における作業部２２０に設けられている。但し、それに限定されるものではなく、画像処理装置３２０は、支持部材３３０や走行体２１０に設けられていてもよい。
画像処理装置３２０は、複数のカメラ部３１０〜３１０によって撮影された複数の撮影画像（動画像データ）に基づいてパノラマ画像（パノラマ動画像データ）を生成し、生成したパノラマ画像の一部を切り取り、切り取ったパノラマ画像の一部を無線通信により送信する構成とされている。画像処理装置３２０は、この例では、コンピュータ（具体的にはパーソナルコンピュータ）で構成されている。
図３は、第１実施形態に係る表示システム１００における作業機側１１０の画像処理装置３２０のシステム構成を示すブロック図である。
図３に示すように、画像処理装置３２０は、各種のプログラムや各種の演算処理等の処理を実行する制御部３２１と、各種データを記憶する記憶部３２２とを備えている。
画像処理装置３２０は、複数のカメラ部３１０〜３１０と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルＣＢ１を介して複数のカメラ部３１０〜３１０と電気的に接続されるようになっている。これにより、画像処理装置３２０は、複数のカメラ部３１０〜３１０によって撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭ（動画像データ）を受信することができる。
複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信インターフェースは、この例では、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェース（具体的にはＵＳＢ３．０規格対応のインターフェース）とされている。なお、複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信インターフェースは、ＵＳＢインターフェースに限定されるものではなく、他の何れの通信インターフェースであってもよい。また、複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
記憶部３２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリおよびハードディスク装置やフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部３２１により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース（例えば記録媒体やインターネット上のサーバ）からのプログラムを含むソフトウェアが予め格納（インストール）される。
また、画像処理装置３２０は、遠隔操作側１２０の遠隔制御装置４２０における通信部４２３と無線通信（この例では短距離無線通信）を行う通信部３２３をさらに備えている。
ここで、短距離無線通信としては、数メートルから１００メートル程度の短距離で通信を行う無線通信を例示でき、例えば、数十メートル〜１００メートル程度の短距離で通信を行う無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信や、数メートル〜数十メートル程度の短距離で通信を行う無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信を挙げることができる。
無線ＬＡＮ通信としては、例えば、ＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を挙げることができる。無線ＰＡＮ通信としては、例えば、ＩＥＥＥ８０２．１５規格の無線ＰＡＮ通信を挙げることができる。
通信部３２３は、遠隔制御装置４２０における通信部４２３との間で短距離無線通信を利用してデータの送受信を行うものであり、この例では、ＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を行うようになっている。
なお、画像処理装置３２０と遠隔制御装置４２０との間の通信は、短距離無線通信に限定されるものではなく、１００ｍ程度を超える遠距離無線通信であってもよい。
画像処理装置３２０は、複数のカメラ部３１０〜３１０を構成する一対のカメラ３１１〜３１１，３１２〜３１２によってそれぞれ撮影された左目用の撮影画像ＩＭ〜ＩＭ（動画像）および右目用の撮影画像ＩＭ〜ＩＭ（動画像）に基づいて左目用のパノラマ画像ＰＩ（パノラマ動画像）および右目用のパノラマ画像ＰＩ（パノラマ動画像）をそれぞれ生成する構成とされている。
パノラマ画像を生成する手法では、例えば、左目用のパノラマ画像ＰＩの場合、撮影画像ＩＭ〜ＩＭがオーバーラップするように全方位的または略全方位的に配置した左目用の複数のカメラ３１１〜３１１によりそれぞれ撮影された左目用の複数の撮影画像ＩＭ〜ＩＭのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、左目用のパノラマ画像ＰＩ（パノラマ動画像）を生成する。同様に、右目用のパノラマ画像ＰＩの場合、撮影画像ＩＭ〜ＩＭがオーバーラップするように全方位的または略全方位的に配置した右目用の複数のカメラ３１２〜３１２によりそれぞれ撮影された右目用の複数の撮影画像ＩＭ〜ＩＭのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、右目用のパノラマ画像ＰＩ（パノラマ動画像）を生成する。パノラマ画像ＰＩを生成する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。
画像処理装置３２０は、生成した左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを一旦記憶部３２２に格納する。
画像処理装置３２０は、記憶部３２２に格納した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取る切り取り処理を行う構成とされている。
図４は、画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を説明するための説明図である。なお、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩは、実質的に同じ構成であるため、図４では、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを１つの図で示し、それらの切り取り処理をまとめて説明する。
画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理は、図４に示すように、全方位的または略全方位的（この例では略全方位的）にパノラマ画像ＰＩ，ＰＩを構成した中空球体の中心に操作者５００の頭部５１０を配置することで、理解しやすくなる。
画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩを、予め定めた所定の基準点α（例えば作業機２００の前方のヨーイング基準角度φｙ、ローリング基準角度φｒ、ピッチング基準角度φｐ）を基準にして、操作者５００の視認角度に相当する予め定めた所定の切り取り角度（β，γ）で一部ＰＩＰ，ＰＩＰを切り取る構成とされている。切り取り角度（β，γ）は、記憶部３２２に予め設定（記憶）されている。
所定の基準点αとしては、例えば、複数のカメラ部３１０〜３１０のうちの一つのカメラ部３１０を作業機２００の前方位置に位置するように設けた場合、作業機２００の前方位置のカメラ部３１０から送られてきた画像の全体画素領域における中心画素を挙げることができる。また、所定の切り取り角度（β，γ）としては、平均的な人の視野角以下の角度に対応する角度とすることができ、例えば、水平方向の切り取り角度βで２００°程度以下、垂直方向の切り取り角度γで１２５°（具体的には仮想水平面を基準として下７５°および上５０°）程度以下を挙げることができる。
画像処理装置３２０（図３参照）は、切り取った左目用のパノラマ画像ＰＩ（パノラマ動画像データ）の一部ＰＩＰおよび右目用のパノラマ画像ＰＩ（パノラマ動画像データ）の一部ＰＩＰを遠隔操作側１２０の遠隔制御装置４２０に無線通信によりそれぞれ送信する構成とされている。詳しくは、画像処理装置３２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを圧縮し、リアルタイムで遠隔制御装置４２０に無線通信によりそれぞれ送信する。この例では、無線通信で送信されるデータは、暗号化されたデータとされている。
遠隔操作側１２０の遠隔制御装置４２０は、画像処理装置３２０から送られてきた左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ受信し、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信する構成とされている。遠隔制御装置４２０は、この例では、コンピュータ（この例ではタブレット型コンピュータ）で構成されている。
図５は、第１実施形態に係る表示システム１００における遠隔操作側１２０の遠隔制御装置４２０のシステム構成を示すブロック図である。
図５に示すように、遠隔制御装置４２０は、各種のプログラムや各種の演算処理等の処理を実行する制御部４２１と、各種データを記憶する記憶部４２２とを備えている。
遠隔制御装置４２０は、表示装置４１０と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルＣＢ２を介して表示装置４１０と電気的に接続されるようになっている。これにより、遠隔制御装置４２０は、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信することができる。
遠隔制御装置４２０と表示装置４１０との間の通信インターフェースは、この例では、高精細度マルチメディアインターフェース[ＨＤＭＩ（登録商標）：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ]とされている。なお、遠隔制御装置４２０と表示装置４１０との間の通信インターフェースは、ＨＤＭＩに限定されるものでなく、他の何れの通信インターフェースであってもよい。また、遠隔制御装置４２０と表示装置４１０との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
記憶部４２２は、ＲＡＭ等の揮発性メモリおよびフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部４２１により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース（例えば記録媒体やインターネット上のサーバ）からのプログラムを含むソフトウェアが予め格納（インストール）される。
また、遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０における通信部３２３と無線通信（この例では短距離無線通信）を行う通信部４２３をさらに備えている。
遠隔制御装置４２０における通信部４２３による無線通信は、画像処理装置３２０における通信部３２３による無線通信と同じ通信であり、ここでは、説明を省略する。
遠隔制御装置４２０は、この例では、タブレット型コンピュータとされているが、この他、例えば、ノート型コンピュータ、多機能型携帯電話機（所謂スマートフォン）、腕時計型端末装置や、衣服に装着可能な端末装置といった持ち運び可能な端末装置であってもよい。遠隔制御装置４２０は、表示装置４１０に設けられてもよい。また、遠隔制御装置４２０は、持ち運び可能な端末装置の限定されるものではなく、卓上型のコンピュータであってもよい。また、操作者５００は、作業機２００を立った状態で遠隔操作してもよいし、座った状態で遠隔操作してもよい。
詳しくは、遠隔制御装置４２０は、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを一旦記憶部４２２に格納しつつ表示装置４１０にそれぞれ送信する構成とされている。
遠隔操作側１２０の表示装置４１０は、遠隔制御装置４２０から送られてきた左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ受信しつつ表示する構成とされている。詳しくは、表示装置４１０は、遠隔制御装置４２０からリアルタイムで送られてくる左目用のパノラマ画像ＰＩ（パノラマ動画像）の一部ＰＩＰおよび右目用のパノラマ画像ＰＩ（パノラマ動画像）の一部ＰＩＰを受信しながら再生（表示）するストリーミング再生を行うようになっている。
これにより、表示装置４１０は、リアルタイムで（生で）かつ３次元的な視界表示（いわゆる３Ｄ画像）を実現することができる。表示装置４１０による３次元的な視界表示を実現する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。
表示装置４１０（図１参照）は、この例では、操作者５００の頭部５１０（具体的には目の部分）に装着される構成とされている。詳しくは、表示装置４１０は、頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）とされている。なお、表示装置４１０は、頭部装着型表示装置（ＨＭＤ）に限定されるものではなく、卓上型表示装置（モニター）や、ビデオプロジェクタであってもよい。
遠隔操作側１２０の構成要素４００は、操作者５００の視線の動きを検知する視線検知部４１１（図１および図５参照）をさらに備えている。視線検知部４１１は、この例では、操作者５００（図１参照）の頭部５１０の姿勢を検知する姿勢検知部とされている。
視線検知部４１１は、図１に示すように、操作者５００の頭部５１０に装着され、頭部５１０の基準姿勢（例えば操作者５００が水平方向を視た姿勢）を基準にして、操作者５００の頭部５１０の垂直方向に沿った軸線ｙ回りのヨーイング（ｙａｗｉｎｇ）角度θｙ、前後方向に沿った軸線ｒ回りのローリング（ｒｏｌｌｉｎｇ）角度θｒおよび左右方向に沿った軸線ｐ回りのピッチング（ｐｉｔｃｈｉｎｇ）角度θｐを検知することができるようになっている。なお、基準姿勢の基準値は、操作者５００の頭部５１０を検知するに先立って予め設定しておくことができる。
視線検知部４１１は、本例のように姿勢検知部とした場合、例えば、３次元ジャイロセンサ、３次元重力加速度センサ、ロータリーエンコーダー、ポテンショメータ等の各種センサを用いることができる。視線検知部４１１は、従来公知のものを用いることができ、ここでは詳しい説明を省略する。
また、視線検知部４１１（図５参照）は、検知した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを遠隔制御装置４２０に送信するようになっている。
本実施の形態では、視線検知部４１１は、表示装置４１０に備えられている。すなわち、表示装置４１０は、視線検知部４１１を備え、視線検知部４１１により操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）を検知し、視線検知部４１１にて検知した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを遠隔制御装置４２０に送信するようになっている。
視線検知部４１１（この例では表示装置４１０）から遠隔制御装置４２０への操作者５００の頭部５１０の動きの送信は、遠隔制御装置４２０と表示装置４１０との間の通信と同様の通信とすることができる。また、視線検知部４１１（この例では表示装置４１０）から遠隔制御装置４２０への操作者５００の頭部５１０の動きの送信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
遠隔制御装置４２０は、視線検知部４１１（この例では表示装置４１０）から送られてきた操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを作業機側１１０の画像処理装置３２０に無線通信により送信する構成とされている。
作業機側１１０の画像処理装置３２０は、遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを受信し、受信した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）に応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整する構成とされている。
図６は、画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理を説明するための説明図である。なお、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩは、実質的に同じ構成であるため、図６では、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを１つの図で示し、それらの調整処理をまとめて説明する。
画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理は、図６に示すように、全方位的または略全方位的（この例では略全方位的）にパノラマ画像ＰＩ，ＰＩを構成した中空球体の中心に操作者５００の頭部５１０を配置することで、理解しやすくなる。
画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおける所定の基準点α（例えば作業機２００の前方のヨーイング基準角度φｙ、ローリング基準角度φｒ、ピッチング基準角度φｐ）から、受信した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）だけ移動させた相対基準点Δα（例えば作業機２００の前方の基準点に対する相対ヨーイング基準角度φｙ＋θｙ、相対ローリング基準角度φｒ＋θｒ、相対ピッチング基準角度φｐ＋θｐ）を算出する。
また、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る構成とされている。詳しくは、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩから、算出した相対基準点Δαを基準にして、操作者５００の視認角度に相当する切り取り角度（β，γ）で一部ＰＩＰ，ＰＩＰを切り取る構成とされている。
なお、この例では、視線検知部４１１は、操作者５００の頭部５１０の姿勢を検知する姿勢検知部とされているが、操作者５００の視線（眼球の動き）を検知する視線検知部であってもよい。この場合、画像処理装置３２０は、視線検知部からの応答速度が速すぎる場合には該応答速度を遅延させて調整処理または切り取り処理を行うようにすることができる。
図７は、第１実施形態に係る表示システム１００の制御動作の一例を示すフローチャートである。
第１実施形態に係る表示システム１００の制御動作では、図７に示すように、先ず、作業機側１１０の画像処理装置３２０は、複数のカメラ部３１０〜３１０で撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭによりパノラマ画像ＰＩ，ＰＩを生成する（ステップＳ１０１）。
次に、画像処理装置３２０は、生成したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を行う（ステップＳ１０２）。
次に、画像処理装置３２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを遠隔操作側１２０の遠隔制御装置４２０に無線通信により送信する（ステップＳ１０３）。
次に、遠隔操作側１２０の遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示装置４１０に送信する（ステップＳ１０４）。
次に、表示装置４１０は、遠隔制御装置４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示する（ステップＳ１０５）。
次に、表示装置４１０は、操作者５００の頭部５１０の動きを検知しながら遠隔制御装置４２０に送信する（ステップＳ１０６）。
次に、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きを受信しながら作業機側１１０の画像処理装置３２０に無線通信により送信する（ステップＳ１０７）。
次に、作業機側１１０の画像処理装置３２０は、遠隔操作側１２０の遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動きを受信しながら頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する（ステップＳ１０８）。
そして、第１実施形態に係る表示システム１００は、前記したステップＳ１０１〜Ｓ１０８の処理を処理動作が終了するまで繰り返す（ステップＳ１０９）。
以上説明した第１実施形態に係る表示システム１００によれば、画像処理装置３２０は、遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整するので、操作者５００の頭部５１０の動きに合わせて表示装置４１０に表示される３次元的な視界を調整することができ、従って、表示装置４１０に表示される表示画像を操作者５００の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを遠隔制御装置４２０に無線通信により送信するので、全てのパノラマ画像ＰＩ，ＰＩを遠隔制御装置４２０に無線通信により送信する場合に比べて、無線通信上のトラフィック負荷を低減させることができる。
ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。
この点、第１実施形態に係る表示システム１００では、画像処理装置３２０においてパノラマ画像ＰＩ，ＰＩ（全方位的な画像または略全方位的な画像）を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。
また、第１実施形態では、複数のカメラ部３１０〜３１０は、作業機２００に設けられるべき座席の水平方向（具体的には前後方向および左右方向の双方）における位置に相当する配設位置であって、該カメラ部３１０〜３１０におけるレンズの中心位置が作業機２００の仕向地の平均的な体格（例えば身長や座高）を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることで、作業者が実際に座席に着座した場合の視界と同様のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを表示装置４１０に表示することができる。
（第２実施形態）
図８は、第２実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。
図８に示すように、第２実施形態に係る表示システム１００は、第１実施形態に係る表示システム１００において、遠隔操作側１２０の遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を、複数の遠隔制御装置４２０〜４２０にそれぞれ対応する複数の表示装置４１０〜４１０としたものである。
第２実施形態に係る表示システム１００において、第１実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第１実施形態に係る表示システム１００とは異なる点を中心に説明する。
作業機側１１０の画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを切り取り、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを無線通信により遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０に送信するように構成されている。ここで、作業機側１１０の画像処理装置３２０と遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０との間の通信は、一つの伝送路で複数の信号を同時的に伝送する多重化通信とすることができる。多重化通信としては、それには限定されないが、例えば、周波数分割多重化（ＦＤＭ：Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）通信や時分割多重化（ＴＤＭ：Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）通信等の多重化通信を挙げることができる。
遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを、それぞれ対応する複数の表示装置４１０〜４１０に送信するように構成されている。
遠隔操作側１２０の複数の表示装置４１０〜４１０は、それぞれ対応する複数の遠隔制御装置４２０〜４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ表示する。複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）は、それぞれ対応する複数の操作者５００〜５００の頭部５１０〜５１０の動きをそれぞれ検知し、検知した複数の操作者５００〜５００の頭部５１０〜５１０の動きを、それぞれ対応する複数の遠隔制御装置４２０〜４２０に送信する。複数の遠隔制御装置４２０〜４２０は、それぞれ対応する複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きを画像処理装置３２０に無線通信により送信する。
作業機側１１０の画像処理装置３２０は、複数の遠隔制御装置４２０〜４２０から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ調整する。
また、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ切り取る。
第２実施形態に係る表示システム１００の処理の流れは、遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を複数の表示装置４１０〜４１０とした以外は図７に示す第１実施形態に係る表示システム１００の処理の流れと実質的に同じであり、ここでは説明を省略する。
第２実施形態に係る表示システム１００によれば、複数の操作者５００〜５００は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置４１０〜４１０に表示される表示画像を視認することができ、これにより、第１実施形態の如く、一人の操作者５００が表示装置４１０に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。
（第３実施形態）
第３実施形態に係る表示システム１００は、第１実施形態に係る表示システム１００において作業機側１１０の画像処理装置３２０で行っていた、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰの切り取り処理および調整処理を、遠隔操作側１２０の遠隔制御装置４２０で行うように構成したものである。
第３実施形態に係る表示システム１００において、第１実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第１実施形態に係る表示システム１００とは異なる点を中心に説明する。
図９は、第３実施形態に係る作業機２００の遠隔操作のための表示システム１００における作業機側１１０の画像処理装置３２０のシステム構成を示すブロック図である。また、図１０は、第３実施形態に係る表示システム１００における遠隔操作側１２０の遠隔制御装置４２０のシステム構成を示すブロック図である。
図９に示すように、作業機側１１０の画像処理装置３２０は、生成した左目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）および右目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）を遠隔操作側１２０の遠隔制御装置４２０に無線通信によりそれぞれ送信する構成とされている。
図１０に示すように、遠隔操作側１２０の遠隔制御装置４２０は、画像処理装置３２０から送られてきた左目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）および右目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）を受信し、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取り、切り取った左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信する構成とされている。
詳しくは、遠隔制御装置４２０は、受信した左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを一旦記憶部４２２に格納する。
遠隔制御装置４２０は、記憶部４２２に格納した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取る切り取り処理を行う構成とされている。
なお、遠隔制御装置４２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理は、図４に示す画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理と同様の処理であり、ここでは説明を省略する。
遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整する。
なお、遠隔制御装置４２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理は、図６に示す画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理と同様の処理であり、ここでは説明を省略する。
また、遠隔制御装置４２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰをそれぞれ切り取る。
図１１は、第３実施形態に係る表示システム１００の制御動作の一例を示すフローチャートである。
第３実施形態に係る表示システム１００の制御動作では、図１１に示すように、先ず、作業機側１１０の画像処理装置３２０は、複数のカメラ部３１０〜３１０で撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭによりパノラマ画像ＰＩ，ＰＩを生成する（ステップＳ２０１）。
次に、画像処理装置３２０は、生成したパノラマ画像ＰＩ，ＰＩを遠隔操作側１２０の遠隔制御装置４２０に無線通信により送信する（ステップＳ２０２）。
次に、遠隔操作側１２０の遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩを受信しながらパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を行う（ステップＳ２０３）。
次に、遠隔制御装置４２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを表示装置４１０に送信する（ステップＳ２０４）。
次に、表示装置４１０は、遠隔制御装置４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示する（ステップＳ２０５）。
次に、表示装置４１０は、操作者５００の頭部５１０の動きを検知しながら遠隔制御装置４２０に送信する（ステップＳ２０６）。
次に、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きを受信しながら頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する（ステップＳ２０７）。
そして、第３実施形態に係る表示システム１００は、前記したステップＳ２０１〜Ｓ２０７の処理を処理動作が終了するまで繰り返す（ステップＳ２０８）。
第３実施形態に係る表示システム１００によれば、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整するので、操作者５００の頭部５１０の動きに合わせて表示装置４１０に表示される３次元的な視界を調整することができ、従って、表示装置４１０に表示される表示画像を操作者５００の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理を遠隔操作側１２０の遠隔制御装置４２０で行うので、該調整処理を作業機側１１０の画像処理装置３２０で行う場合に比べて、遠隔操作側１２０の遠隔制御装置４２０から作業機側１１０の画像処理装置３２０に頭部５１０の動きを送信するための時間を短縮することができる。
ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。
この点、第３実施形態に係る表示システム１００では、遠隔制御装置４２０においてパノラマ画像ＰＩ，ＰＩ（全方位的な画像または略全方位的な画像）を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。
（第４実施形態）
図１２は、第４実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。
図１２に示すように、第４実施形態に係る表示システム１００は、第３実施形態に係る表示システム１００において、遠隔操作側１２０の遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を、複数の遠隔制御装置４２０〜４２０にそれぞれ対応する複数の表示装置４１０〜４１０としたものである。
第４実施形態に係る表示システム１００において、第３実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第３実施形態に係る表示システム１００とは異なる点を中心に説明する。
作業機側１１０の画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩ（全てのパノラマ画像ＰＩ，ＰＩのデータ）を無線通信により遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０に送信するように構成されている。ここで、作業機側１１０の画像処理装置３２０と遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０との間の通信は、第２実施形態の場合と同様であり、ここでは説明を省略する。
遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩをそれぞれ受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを切り取り、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを、それぞれ対応する複数の表示装置４１０〜４１０に送信するように構成されている。
遠隔操作側１２０の複数の表示装置４１０〜４１０は、それぞれ対応する複数の遠隔制御装置４２０〜４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ表示する。複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）は、それぞれ対応する複数の操作者５００〜５００の頭部５１０〜５１０の動きをそれぞれ検知し、検知した複数の操作者５００〜５００の頭部５１０〜５１０の動きを、それぞれ対応する複数の遠隔制御装置４２０〜４２０に送信する。
遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ調整する。
また、遠隔制御装置４２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ切り取る。
第４実施形態に係る表示システム１００の処理の流れは、遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を複数の表示装置４１０〜４１０とした以外は図１１に示す第３実施形態に係る表示システム１００の処理の流れと実質的に同じであり、ここでは説明を省略する。
第４実施形態に係る表示システム１００によれば、複数の操作者５００〜５００は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置４１０〜４１０に表示される表示画像を視認することができ、これにより、第３実施形態の如く、一人の操作者５００が表示装置４１０に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。
（第５実施形態）
図１３は、第５実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略側面図である。
図１３に示すように、第５実施形態に係る表示システム１００は、第１実施形態から第４実施形態に係る表示システム１００〜１００において、作業機２００に設けられた支持部材３３０に代えて、昇降可能および垂直方向に回動可能な支持部材３４０を設けたものである。
第５実施形態に係る表示システム１００において、第１実施形態から第４実施形態に係る表示システム１００〜１００と実質的に同じ構成要素には同一符号を付し、その説明を省略する。
支持部材３４０は、複数のカメラ部３１０〜３１０を支持する支持体３３１と、上端部で支持体３３１を複数のカメラ部３１０〜３１０が水平姿勢を維持するように支持する一方、下端部で上部体２２１に支持される支持台（この例では支持アーム３４２）とを有している。
支持アーム３４２は、この例では、上端部で支持体３３１を左右方向に沿った軸線（第１支点３４２ａ）回りに回動自在に支持する一方、下端部で上部体２２１に左右方向に沿った軸線（第２支点３４２ｂ）回りに回動自在に支持される構成とされている。詳しくは、支持アーム３４２は、左右方向に沿った軸線（第２支点３４２ｂ）回りの回動に拘わらず、第２支点３４２ｂが第１支点３４２ａよりも後方に位置するように構成されている。支持アーム３４２は、複数（この例では前後方向で２本）の支持アーム３４２〜３４２とされている。複数の支持アーム３４２〜３４２は、前後方向に沿って平行に並設された状態で支持体３３１を上下移動可能に支持する平行リンク構成とされている。複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとの間の距離は、複数のカメラ部３１０〜３１０が水平姿勢を維持する距離とされている。この例では、複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとは、水平方向に沿って設けられており、複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとの間の距離は、何れも同一距離とされている。これにより、支持部材３４０は、複数の支持アーム３４２〜３４２の左右方向に沿った軸線（第２支点３４２ｂ〜３４２ｂ）回りの回動に拘わらず、複数のカメラ部３１０〜３１０を水平姿勢に維持することができる。ここで、水平姿勢は、既述のとおり、作業機２００が水平面に設置された場合での姿勢である。
また、支持部材３４０は、支持アーム３４２〜３４２を駆動する駆動部３４３を備えている。駆動部３４３は、遠隔操作側１２０の遠隔操作装置２３０から操作指令が送信されることで作動し、支持アーム３４２〜３４２を回動および複数のカメラ部３１０〜３１０を昇降するようになっている。これにより、操作者５００は、支持アーム３４２〜３４２の回動動作を遠隔操作することにより、複数のカメラ部３１０〜３１０を昇降させることができる。
この例では、支持部材３４０は、カメラ部３１０〜３１０におけるレンズの中心位置の昇降方向における移動範囲Ｒが作業機２００の仕向地の平均的な体格（例えば身長や座高）を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置Ｈを含むように構成されている。ここで、画像処理装置３２０は、カメラ部３１０〜３１０におけるレンズの中心位置の昇降方向における現在の高さ位置を遠隔制御装置４２０に送信し、遠隔制御装置４２０は、現在の高さ位置を表示装置４１０に送信し、表示装置４１０は、カメラ部３１０〜３１０におけるレンズの中心位置の最大高さ位置ＭＡＸ、最小高さ位置ＭＩＮさらには着座高さ位置Ｈ等の各種の指標位置を表示した状態で、現在の高さ位置を表示するようになっていてもよい。これにより、操作者５００は、カメラ部３１０〜３１０におけるレンズの中心位置の現在の高さ位置を認識することが可能となる。
また、支持部材３４０は、カメラ部３１０〜３１０におけるレンズの中心位置が着座高さ位置Ｈに位置しているときに、カメラ部３１０〜３１０が作業機２００に設けられるべき座席の水平方向（具体的には前後方向）における位置に相当する配設位置に位置するように構成されている。
なお、支持アーム３４２は、上端部で支持体３３１を固定した状態で支持体３３１を昇降可能に支持する構成とされていてもよい。
第５実施形態に係る表示システム１００によれば、複数のカメラ部３１０〜３１０は、昇降可能および垂直方向に回動可能な支持部材３４０に設けられていることで、操作者５００は、必要に応じて複数のカメラ部３１０〜３１０におけるレンズの中心位置の高さ、ひいては、操作者５００の視野高さを調整することができる。その結果、例えば、操作者５００は、鳥瞰的な視野により作業機２００の周囲状況のより広い視野を把握することが可能となる。また、複数のカメラ部３１０〜３１０の高さ位置が低くなるように支持部材３４０を作動させることで、作業機２００は、たとえ作業現場が穴の中や天井が低い場所であっても該作業現場に容易に入っていくことが可能となる。さらに、操作者５００が周囲状況を直視して（直接確認して）操作している場合は、複数のカメラ部３１０〜３１０が作業機２００に納まるように支持部材３４０を作動させることで、複数のカメラ部３１０〜３１０を作業機２００に格納することができる。また、支持アーム３４２〜３４２は、第２支点３４２ｂ〜３４２ｂが第１支点３４２ａ〜３４２ａよりも後方に位置するように構成されていることで、カメラ部３１０〜３１０は作業部２２０における第１支点３４２ａ〜３４２ａより前方の作業状態を確実に撮影することが可能となる。
（第６実施形態）
第６実施形態に係る表示システム１００は、第１実施形態から第５実施形態に係る表示システム１００〜１００において、複数のカメラ部３１０〜３１０の周辺部（近傍或いは近接した位置）に設けられた照明装置３５０〜３５０，３５０〜３５０を備えたものである。
図１４は、第６実施形態に係る作業機２００の遠隔操作のための表示システム１００におけるカメラ部３１０を構成する一対のカメラ３１１，３１２および一対のカメラ３１１，３１２に設けられた照明装置３５０，３５０の一例を正面から視た概略構成図である。なお、複数のカメラ部３１０〜３１０にそれぞれ設けられる照明装置３５０〜３５０，３５０〜３５０は、何れも同じ構成であり、図１４では、複数のカメラ部３１０〜３１０のうちの１つのカメラ部３１０に設けられた照明装置３５０，３５０に代表させて示している。
図１４に示すように、照明装置３５０，３５０は、一対のカメラ３１１，３１２のレンズ３１１ａ，３１２ａの周縁部の少なくとも一部に（この例では全周にわたって）光出射側が被写体側を向くように設けられている。この例では、照明装置３５０，３５０は、一対のカメラ３１１，３１２のレンズ３１１ａ，３１２ａの周縁部の全周に亘ってそれぞれ設けられた複数（この例では８個）の発光素子３５１〜３５１，３５１〜３５１（具体的には発光ダイオード）を備えている。複数の発光素子３５１〜３５１，３５１〜３５１は、レンズ３１１ａ，３１２ａの周方向に沿って均等または略均等に設けられている。
第６実施形態に係る表示システム１００によれば、複数のカメラ部３１０〜３１０の周辺部に照明装置３５０〜３５０，３５０〜３５０が設けられていることで、照明装置３５０〜３５０，３５０〜３５０から照射される光により、複数のカメラ部３１０〜３１０によって撮影された撮影画像に影が入ることを効果的に防止することが可能となる。
（第７実施形態）
ところで、作業現場では、作業計画（例えばどの程度の深さや範囲で掘削するのかといった作業計画）、作業部２２０の回動範囲（具体的には上部体２２１の旋回範囲やブーム２２２、アーム２２３およびバケット２２４の揺動範囲）またはガス管や水道管等の埋設管の位置などを操作者５００が予め認識して作業することは、作業の効率性や安全性といった作業性を向上させる上で極めて重要である。
かかる観点から、第７実施形態に係る表示システム１００は、第１実施形態から第６実施形態に係る表示システム１００〜１００において、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑ（例えば作業計画、作業部２２０の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報）の一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示装置４１０に表示させて拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現する構成とされている。ここで、拡張現実は、現実環境の情報に現実環境に関連する視覚情報を付け加える技術、詳しくは、カメラ部３１０〜３１０で撮影された現実環境の映像にコンピュータによる現実環境に関連する映像をリアルタイムでカメラ部３１０〜３１０の映像の動きに合わせて合成する技術である。
図１５は、第７実施形態に係る作業機２００の遠隔操作のための表示システム１００において、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示装置４１０に表示している表示画面Ｄ，Ｄの一例を示す表示図である。図１５では、作業補助情報Ｑ，Ｑとして、地面Ｇ，Ｇの下に埋められた配管網の地図に基づいたガス管や水道管等の埋設管（作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１）の例を示している。また、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰは、実質的に同じ構成であるため、図１５では、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを１つの図で示し、それらの拡張現実の処理をまとめて説明する。
第１実施形態および第３実施形態での遠隔制御装置４２０，４２０または第１実施形態での画像処理装置３２０は、表示システム１００において予め準備されたデータベース（例えば遠隔制御装置４２０における記憶部４２２または画像処理装置３２０における記憶部３２２に予め格納されたデータベース）、または、表示システム１００とは別の場所に設けられたデータベース（例えばインターネット上のサーバからダウンロードされたデータベース）に基づいて切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１を切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに付加する構成とされている。
或いは、第１実施形態および第３実施形態での画像処理装置３２０，３２０または第３実施形態での遠隔制御装置４２０は、表示システム１００において予め準備されたデータベース（例えば遠隔制御装置４２０における記憶部４２２または画像処理装置３２０における記憶部３２２に予め格納されたデータベース）、または、表示システム１００とは別の場所に設けられたデータベース（例えばインターネット上のサーバからダウンロードされたデータベース）に基づいて切り取り処理前のパノラマ画像ＰＩ，ＰＩに対応する作業補助情報Ｑ，Ｑを切り取り処理前のパノラマ画像ＰＩ，ＰＩに対応させて切り取り処理前のパノラマ画像ＰＩ，ＰＩに付加する構成とされている。そして、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取り処理では、対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１も切り取る。
このデータベースとしては、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）モデルに存在するデータベースを挙げることができる。なお、パノラマ画像ＰＩ，ＰＩは、例えば、作業機２００における全地球測位システム（ＧＮＮＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を用いた位置情報（緯度、経度）を含んでいる。また、作業補助情報Ｑ，Ｑは、例えば、パノラマ画像ＰＩ，ＰＩの位置情報（緯度、経度）に対応した位置情報（緯度、経度）を含むパノラマ画像を構成する情報とされている。
そして、表示装置４１０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示する構成とされている。
これにより、操作者５００は、作業補助情報Ｑ，Ｑを予め認識することができる。例えば、操作者５００は、作業部２２０の回動位置（具体的には上部体２２１の旋回位置並びにブーム２２２、アーム２２３およびバケット２２４の揺動位置）が作業計画の所定の基準値に達しているか否か（例えば基準作業深さや所定の基準作業範囲を超えるか否か）、作業現場の作業範囲に達しているか否か（例えば作業現場の天井に接触するか否か）、また、作業現場の埋設物に達しているか否か（例えばガス管や水道管等の埋設管Ｑ１に接触するか否か）を認識することができる。
なお、かかる拡張現実を実現する構成は、従来公知の手法を用いて実現することができ、ここでは詳しい説明を省略する。
第７実施形態に係る表示システム１００によれば、表示装置４１０は、表示システム１００において予め準備されたデータベース、または、表示システム１００とは別の場所に設けられたデータベースに基づいてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示することで、操作者５００は、作業補助情報Ｑ，Ｑ（例えば作業計画、前記作業部の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報）を予め認識することができ、これにより、作業の効率性や安全性といった作業性を向上させることが可能となる。
本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
本発明は、作業機の遠隔操作のための表示システムに係るものであり、特に、表示装置に表示される表示画像を操作者の視線の動きに追従させるための用途に適用できる。
１００ 表示システム
１１０ 作業機側
１２０ 遠隔操作側
２００ 作業機
２１０ 走行体
２２０ 作業部
２２１ 上部体
２２２ ブーム
２２３ アーム
２２４ バケット
２３０ 遠隔操作装置
２３１ 操作部
３００ 作業機側の構成要素
３１０ カメラ部
３１１ 左目用のカメラ
３１１ａ レンズ
３１２ 右目用のカメラ
３１２ａ レンズ
３２０ 画像処理装置
３２１ 制御部
３２２ 記憶部
３２３ 通信部
３３０ 支持部材
３３１ 支持体
３３１ａ 固定部材
３３２ 支柱
３４０ 支持部材
３４２ 支持アーム
３４２ａ 第１支点
３４２ｂ 第２支点
３４３ 駆動部
３５０ 照明装置
３５１ 発光素子
４００ 遠隔操作側の構成要素
４１０ 表示装置
４１１ 視線検知部
４２０ 遠隔制御装置
４２１ 制御部
４２２ 記憶部
４２３ 通信部
５００ 操作者
５１０ 頭部
ＣＢ１ 接続ケーブル
ＣＢ２ 接続ケーブル
Ｄ 表示画面
Ｇ 地面
Ｈ 着座高さ位置
ＩＭ 撮影画像
ＭＡＸ 最大高さ位置
ＭＩＮ 最小高さ位置
ＰＩ パノラマ画像
ＰＩＰ パノラマ画像の一部
Ｑ 作業補助情報
Ｑ１ 作業補助情報の一部
Ｒ 移動範囲
ｄ 間隔
Δα 相対基準点
α 基準点
β 水平方向の切り取り角度
γ 垂直方向の切り取り角度
θｐ ピッチング角度
θｒ ローリング角度
θｙ ヨーイング角度
φｐ ピッチング基準角度
φｒ ローリング基準角度
φｙ ヨーイング基準角度

Claims (6)

  1. 作業機の遠隔操作のための表示システムであって、
    水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、
    前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、
    前記遠隔操作側の表示装置と、
    前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、
    操作者の眼球の動きを検知する視線検知部と
    を備え、
    前記カメラ部は、左目用および右目用の一対のカメラからなり、
    前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、
    前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、
    前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、
    前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きを前記画像処理装置に前記無線通信により送信し、
    前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
  2. 請求項１に記載の作業機の遠隔操作のための表示システムであって、
    前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
  3. 作業機の遠隔操作のための表示システムであって、
    水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、
    前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像の一部を無線通信により送信する画像処理装置と、
    前記遠隔操作側の表示装置と、
    前記画像処理装置から送られてきた前記パノラマ画像の一部を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と
    を備え、
    前記カメラ部は、左目用および右目用の一対のカメラからなり、
    前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像の一部を操作者の視認角度に相当する所定の切り取り角度で切り取り、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、
    前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、
    前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の頭部の動きを検知し、検知した前記操作者の頭部の動きを前記遠隔制御装置に送信し、
    前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の頭部の動きを前記画像処理装置に前記無線通信により送信し、
    前記画像処理装置は、前記遠隔制御装置から送られてきた前記操作者の頭部の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整し、
    前記表示装置は、当該表示システムにおいて予め準備されたデータベース、または、当該表示システムとは別の場所に設けられたデータベースに基づいて前記パノラマ画像の一部に対応する作業補助情報の一部を前記パノラマ画像の一部と共に前記パノラマ画像の一部に対応させて追加的に表示し、
    前記複数のカメラ部は、前記作業機に設けられるべき座席の水平方向における位置に相当する配設位置であって、該カメラ部におけるレンズの中心位置が前記作業機の仕向地の平均的な体格を有する作業者が前記座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
  4. 請求項１から請求項３までの何れか１つに記載の作業機の遠隔操作のための表示システムであって、
    前記複数のカメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
  5. 請求項１から請求項４までの何れか１つに記載の作業機の遠隔操作のための表示システムであって、
    前記カメラ部の周辺部に照明装置が設けられていることを特徴とする作業機の遠隔操作のための表示システム。
  6. 作業機の遠隔操作のための表示システムであって、
    水平方向に回転可能かつ垂直方向に揺動可能な作業部を有する作業機に設けられた複数のカメラ部と、
    前記作業機に設けられ、かつ、前記複数のカメラ部によって撮影された複数の撮影画像に基づいてパノラマ画像を生成し、生成した前記パノラマ画像を無線通信により送信する画像処理装置と、
    前記遠隔操作側の表示装置と、
    前記画像処理装置から送られてきた前記パノラマ画像を受信し、受信した前記パノラマ画像の一部を前記表示装置に送信する遠隔制御装置と、
    操作者の眼球の動きを検知する視線検知部と
    を備え、
    前記カメラ部は、左目用および右目用の一対のカメラからなり、
    前記画像処理装置は、前記一対のカメラによってそれぞれ撮影された前記左目用および右目用の撮影画像に基づいて前記左目用および右目用の前記パノラマ画像をそれぞれ生成し、生成した前記左目用および右目用の前記パノラマ画像を前記遠隔制御装置に前記無線通信によりそれぞれ送信し、
    前記遠隔制御装置は、前記画像処理装置から送られてきた前記左目用および右目用の前記パノラマ画像をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部を前記操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、切り取った前記左目用および右目用の前記パノラマ画像の一部を前記表示装置にそれぞれ送信し、
    前記表示装置は、前記操作者の頭部に装着される構成とされており、前記遠隔制御装置から送られてきた前記左目用および右目用の前記パノラマ画像の一部をそれぞれ受信し、受信した前記左目用および右目用の前記パノラマ画像の一部をそれぞれ表示し、前記操作者の眼球の動きを検知し、検知した前記操作者の眼球の動きを前記遠隔制御装置に送信し、
    前記遠隔制御装置は、前記表示装置から送られてきた前記操作者の眼球の動きに応じて、前記表示装置に送信する前記左目用および右目用の前記パノラマ画像の一部の前記切り取り角度をそれぞれ調整する調整処理を行い、前記視線検知部からの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
JP2017522339A 2014-11-17 2014-11-17 作業機の遠隔操作のための表示システム Active JP6612865B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/002551 WO2016079557A1 (en) 2014-11-17 2014-11-17 Display system for remote control of working machine

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019198585A Division JP6857701B2 (ja) 2019-10-31 2019-10-31 作業機、表示装置および作業機の遠隔操作のための表示システム

Publications (2)

Publication Number Publication Date
JP2018501684A JP2018501684A (ja) 2018-01-18
JP6612865B2 true JP6612865B2 (ja) 2019-11-27

Family

ID=52774284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017522339A Active JP6612865B2 (ja) 2014-11-17 2014-11-17 作業機の遠隔操作のための表示システム

Country Status (5)

Country Link
US (1) US10474228B2 (ja)
EP (1) EP3222042B1 (ja)
JP (1) JP6612865B2 (ja)
CN (2) CN107111928B (ja)
WO (1) WO2016079557A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017159063A1 (ja) * 2016-03-14 2019-01-17 ソニー株式会社 表示装置並びに情報処理端末装置
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP6957597B2 (ja) * 2017-03-07 2021-11-02 住友重機械工業株式会社 ショベル及びショベルの作業支援システム
EP3594416B1 (en) * 2017-03-07 2022-07-27 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP6929674B2 (ja) * 2017-03-22 2021-09-01 株式会社東京エネシス 環境画像表示システム及び環境画像表示方法
CN108933920B (zh) * 2017-05-25 2023-02-17 中兴通讯股份有限公司 一种视频画面的输出、查看方法及装置
TWI697692B (zh) 2017-08-01 2020-07-01 緯創資通股份有限公司 近眼顯示系統及其操作方法
US11010975B1 (en) 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7014007B2 (ja) * 2018-03-29 2022-02-01 コベルコ建機株式会社 作業機械の遠隔操作システム
JP7000957B2 (ja) 2018-03-29 2022-01-19 コベルコ建機株式会社 作業機械操縦装置
US11434623B2 (en) * 2018-09-25 2022-09-06 Hitachi Construction Machinery Co., Ltd. Work-implement external-shape measurement system, work-implement external-shape display system, work-implement control system and work machine
JP7420733B2 (ja) 2018-10-31 2024-01-23 株式会社小松製作所 表示制御システムおよび表示制御方法
JP7151392B2 (ja) * 2018-11-07 2022-10-12 コベルコ建機株式会社 建設機械の遠隔操作装置
SE1851590A1 (sv) 2018-12-14 2020-06-15 Brokk Ab Fjärrstyrd demoleringsrobot med förbättrat användningsområde och ett förfarande för att åstadkomma en sådan demoteringsrobot.
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP7287047B2 (ja) * 2019-03-27 2023-06-06 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム
US11200654B2 (en) 2019-08-14 2021-12-14 Cnh Industrial America Llc System and method for determining field characteristics based on a displayed light pattern
JP7244197B2 (ja) * 2019-12-04 2023-03-22 株式会社三井Ｅ＆Ｓマシナリー カメラ視野移動機構
JP7484401B2 (ja) * 2020-05-13 2024-05-16 コベルコ建機株式会社 作業機械の遠隔操作支援システム
US11505919B2 (en) * 2020-07-27 2022-11-22 Caterpillar Inc. Method for remote operation of machines using a mobile device
EP4033035A1 (en) * 2021-01-20 2022-07-27 Volvo Construction Equipment AB A system and method therein for remote operation of a working machine comprising a tool

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0556925A (ja) * 1991-09-02 1993-03-09 A T R Tsushin Syst Kenkyusho:Kk 視線情報制御装置
JP3146080B2 (ja) * 1993-01-08 2001-03-12 株式会社間組 掘削機運転装置
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
JP3604443B2 (ja) * 1995-02-28 2004-12-22 株式会社島津製作所 テレビジョンシステム
JP2973867B2 (ja) * 1995-05-26 1999-11-08 日本電気株式会社 視点追従型立体表示装置および視点追従方法
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
ATE420528T1 (de) 1998-09-17 2009-01-15 Yissum Res Dev Co System und verfahren zur erzeugung und darstellung von panoramabildern und filmen
US7477284B2 (en) 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
US6831677B2 (en) 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US6795109B2 (en) 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
WO2001079908A1 (en) 1999-12-31 2001-10-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
WO2001080545A2 (en) 2000-04-19 2001-10-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
JP2002345058A (ja) 2001-05-14 2002-11-29 Komatsu Ltd 作業機械の遠隔操作装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP4053960B2 (ja) 2003-10-07 2008-02-27 日立建機株式会社 移動式作業機の埋設物処理支援装置
JP4517336B2 (ja) * 2004-02-24 2010-08-04 マツダ株式会社 シミュレーション装置及びその方法
JP2005308282A (ja) 2004-04-20 2005-11-04 Komatsu Ltd 火器装置
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20060103723A1 (en) 2004-11-18 2006-05-18 Advanced Fuel Research, Inc. Panoramic stereoscopic video system
US20070002131A1 (en) 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
WO2006110584A2 (en) 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP4561525B2 (ja) * 2005-08-10 2010-10-13 セイコーエプソン株式会社 表示装置および遊技機
US9344612B2 (en) 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20100045773A1 (en) 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
JP2008111269A (ja) 2006-10-30 2008-05-15 Komatsu Ltd 画像表示システム
JP2008144379A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の画像処理システム
JP2009117990A (ja) * 2007-11-02 2009-05-28 Sony Corp 情報提示装置及び情報提示方法
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
JP2010256534A (ja) * 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP5393301B2 (ja) * 2009-07-06 2014-01-22 住友建機株式会社 建設機械のモニター装置
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
CN202334770U (zh) * 2011-12-04 2012-07-11 长安大学 工程机械用全景监控系统
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法
EP2922049A4 (en) 2012-11-13 2016-07-13 Sony Corp PICTURE DISPLAY DEVICE AND PICTURE DISPLAY METHOD, MOBILE BODY DEVICE, PICTURE DISPLAY SYSTEM AND COMPUTER PROGRAM
US9715008B1 (en) * 2013-03-20 2017-07-25 Bentley Systems, Incorporated Visualization of 3-D GPR data in augmented reality
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN103345305B (zh) * 2013-07-22 2016-08-31 百度在线网络技术（北京）有限公司 用于移动终端输入法的候选词控制方法、装置和移动终端
CN103472915B (zh) * 2013-08-30 2017-09-05 深圳Tcl新技术有限公司 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN103869977B (zh) * 2014-02-19 2016-06-08 小米科技有限责任公司 图像显示方法、装置和电子设备
KR102250821B1 (ko) * 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법

Also Published As

Publication number Publication date
JP2018501684A (ja) 2018-01-18
EP3222042B1 (en) 2022-07-27
CN111754750A (zh) 2020-10-09
US20170322624A1 (en) 2017-11-09
EP3222042A1 (en) 2017-09-27
CN107111928A (zh) 2017-08-29
CN111754750B (zh) 2022-03-01
CN107111928B (zh) 2020-07-31
US10474228B2 (en) 2019-11-12
WO2016079557A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
JP6612865B2 (ja) 作業機の遠隔操作のための表示システム
US9479732B1 (en) Immersive video teleconferencing robot
JP6786378B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20160086306A1 (en) Image generating device, image generating method, and program
JP2018528509A (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
US10917560B2 (en) Control apparatus, movable apparatus, and remote-control system
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP6540572B2 (ja) 表示装置および表示制御方法
CA2950822A1 (en) System and method for remote monitoring at least one observation area
US20220132261A1 (en) Information processing apparatus, information processing method, and program
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP6857701B2 (ja) 作業機、表示装置および作業機の遠隔操作のための表示システム
JP7287798B2 (ja) リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
JP7203157B2 (ja) 映像処理装置およびプログラム
US11610343B2 (en) Video display control apparatus, method, and non-transitory computer readable medium
JPWO2019176035A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
JP2018056845A (ja) 作業支援装置、システム、方法及びプログラム
JP2018026706A (ja) 画像処理装置、画像表示装置、画像処理システム、及び画像処理方法
WO2023228331A1 (ja) 遠隔機械操作システム、視覚提示装置、視覚提示方法およびプログラム
CN113167053A (zh) 具有改进的应用领域的遥控拆除机器人及获得该拆除机器人的方法
JP2019022121A (ja) 画像処理装置、および画像処理装置の制御方法
JP7148464B2 (ja) 作業機械
JP2012244311A (ja) カメラ遠隔制御装置およびカメラ遠隔制御方法
US11909945B2 (en) Display control device, display control method, and program
JP6197405B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191031

R150 Certificate of patent or registration of utility model

Ref document number: 6612865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350