JP6857701B2 - Work equipment, display devices and display systems for remote control of work equipment - Google Patents

Work equipment, display devices and display systems for remote control of work equipment Download PDF

Info

Publication number
JP6857701B2
JP6857701B2 JP2019198585A JP2019198585A JP6857701B2 JP 6857701 B2 JP6857701 B2 JP 6857701B2 JP 2019198585 A JP2019198585 A JP 2019198585A JP 2019198585 A JP2019198585 A JP 2019198585A JP 6857701 B2 JP6857701 B2 JP 6857701B2
Authority
JP
Japan
Prior art keywords
operator
remote control
image
image processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019198585A
Other languages
Japanese (ja)
Other versions
JP2020031435A (en
Inventor
マルタ・ニッコリーニ
アントニオ・アルバ
慎吾 江口
慎吾 江口
順也 楠野
順也 楠野
パオロ・トリピッキオ
エマヌエーレ・ルファルディ
カルロ・アルベルト・アヴィッツァーノ
パオロ・シモーネ・ガスパレッロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Priority to JP2019198585A priority Critical patent/JP6857701B2/en
Publication of JP2020031435A publication Critical patent/JP2020031435A/en
Application granted granted Critical
Publication of JP6857701B2 publication Critical patent/JP6857701B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、作業機、表示装置および作業機を遠隔操作するために作業機から送られてくる画像を表示する表示システムに関する。 The present invention relates to a work machine, a display device, and a display system that displays an image sent from the work machine for remote control of the work machine.

作業機を遠隔操作するために作業機から送られてくる画像を表示する表示システムとして、作業機が作業を行う作業現場から離れた場所で遠隔操作される作業機にカメラが設けられ、カメラで撮影した画像（動画像）を遠隔操作側に無線通信により送信し、得られた画像を遠隔操作側の表示装置にリアルタイムに表示する表示システムは、従来から知られている。 As a display system that displays images sent from the work machine to remotely control the work machine, a camera is installed in the work machine that is remotely controlled at a place away from the work site where the work machine works, and the camera is used. A display system that transmits a captured image (moving image) to a remote control side by wireless communication and displays the obtained image on a display device on the remote control side in real time has been conventionally known.

例えば、特許文献１は、作業機の周辺状況のパノラマ画像を表示装置にリアルタイムに表示する表示システムを開示している。 For example, Patent Document 1 discloses a display system that displays a panoramic image of the surrounding situation of a working machine on a display device in real time.

また、特許文献２は、電波法の制約から２．４ＧＨｚの小電力無線通信で建設機械に搭載されたカメラから送信されたデータに基づいて作業現場の画像を表示装置にリアルタイムに表示する表示システムを開示している。
特開２００８−１１１２６９号公報 特開２００２−３４５０５８号公報 Further, Patent Document 2 is a display system that displays an image of a work site on a display device in real time based on data transmitted from a camera mounted on a construction machine by 2.4 GHz low power wireless communication due to the restrictions of the Radio Law. Is disclosed.
Japanese Unexamined Patent Publication No. 2008-11169 JP-A-2002-345058

ところで、作業機の遠隔操作のための表示システムにおいては、遠隔操作の操作性を向上させるという観点から、表示装置に表示される表示画像を操作者の視線の動きに追従させることが望まれる。 By the way, in a display system for remote control of a work machine, it is desired to make a display image displayed on the display device follow the movement of the operator's line of sight from the viewpoint of improving the operability of remote control.

しかしながら、特許文献１は、切換ペダルの操作に応じてパノラマ画像を切換える表示システムを開示しているに過ぎず、表示装置に表示される表示画像を操作者の視線の動きに追従させる構成ではないので操作感覚が良いとは言えない。また、特許文献２についても、表示装置に表示される表示画像を操作者の視線の動きに追従させる表示システムを開示しているわけではない。 However, Patent Document 1 merely discloses a display system that switches a panoramic image according to an operation of a switching pedal, and does not have a configuration in which a display image displayed on a display device follows the movement of the operator's line of sight. Therefore, it cannot be said that the operation feeling is good. Further, Patent Document 2 does not disclose a display system for making a display image displayed on a display device follow the movement of the operator's line of sight.

なお、本発明に関連する技術として、以下に示す特許文献を挙げることができるが、何れにしても、本発明を構成するものではない。
米国特許第６７９５１０９号
米国特許第８２７４５５０号
米国特許第６１９５２０４号
米国特許出願公開第２００６／０１０３７２３号
米国特許出願公開第２００７／０１８２８１２号
米国特許第８３５５０４１号 The following patent documents can be mentioned as techniques related to the present invention, but in any case, they do not constitute the present invention.
U.S. Patent No. 6795109 U.S. Patent No. 8274550 U.S. Patent No. 6195204 U.S. Patent Application Publication No. 2006/01037223 U.S. Patent Application Publication No. 2007/0182812 U.S. Patent No. 8355041

そこで、本発明は、作業機、表示装置および作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる作業機、表示装置および表示システムを提供することを目的とする。 Therefore, the present invention is a display system for remote operation of a work machine, a display device, and the work machine, and the work machine capable of following the movement of the operator's line of sight with the display image displayed on the display device . It is an object of the present invention to provide a display device and a display system.

本発明は、前記課題を解決するために、次の第１態様および第２態様の作業機、表示装置並びに第１態様から第３態様の作業機の遠隔操作のための表示システムを提供する。 In order to solve the above problems, the present invention provides the following first and second aspects of the working machine, the display device, and the display system for remote control of the first to third aspects of the working machine.

（１）作業機
（１−１）第１態様の作業機
カメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、を備えた作業機であって、前記画像処理装置は、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機。 (1) Working machine
(1-1) Working machine of the first aspect
A camera unit, before subjected to cut processing to cut a predetermined cut angle corresponding to the viewing angle of the operator shadow image shooting taken by hear camera unit, the head of the pre-Symbol operator received from the external device or in accordance with the movement of the eyeball, the adjustment process of the cut angle adjustment of the photographing field image and the row cormorant image processing apparatus, a working machine wherein the image processing apparatus, prior Symbol operator working machine moving Kino response speed of the head or eye is characterized by performing the adjustment processing or the cut processing is delayed the response speed is faster than a predetermined response time.

（１−２）第２態様の作業機
カメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、を備えた作業機であって、前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機。 (1-2) Working machine of the second aspect
A camera unit, before subjected to cut that cut processing at a predetermined cut angle corresponding to the viewing angle of the operator shadow image shooting taken by hear camera unit, the head of the pre-Symbol operator received from the external device in accordance with the movement of the part or the eye, the adjustment process of the cut angle adjustment of the photographing field image and the row cormorant image processing apparatus, a working machine provided with a front asked camera unit, the camera unit working machine of lens is characterized in that the work skill of the working machine is provided at a height position you corresponding to eyes height at if sitting on the seat's seat.

（２）表示装置
作業機に設けられたカメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る画像処理装置から受信した前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知して、検知した前記操作者の頭部または眼球の動きを前記画像処理装置に送信する作業機の遠隔操作のための表示装置であって、前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示し、前記作業補助情報は、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示装置。 (2) Display device The photographed image received from the image processing device that crops the captured image captured by the camera unit provided in the work machine at a predetermined cropping angle corresponding to the viewing angle of the operator is displayed, and the operator A display device for remote operation of a working machine that detects the movement of the head or eyeball of an operator and transmits the detected movement of the head or eyeball of the operator to the image processing device. the work auxiliary information corresponding to the captured image is displayed in association with the captured image with the captured image, the work auxiliary information is remote work machine, wherein actuation range der Rukoto of the working machine Display device for operation.

（３）表示システム
（３−１）第１態様の表示システム
作業機の遠隔操作のための表示システムであって、前記作業機に設けられたカメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、を備え、前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整する調整処理を行い、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。 (3) Display system
(3-1) In the display system for the remote operation of the display system working machine of the first aspect, a camera unit provided on the working machine, manipulate the shadow image shooting captured by the camera unit and line cormorant image processing apparatus cut processing to cut a predetermined cut angle corresponding to the viewing angle of the person, before Symbol to display the camera image transmitted from the image processing apparatus, a head or eye movement of the operator and a display device to send before Symbol image processing apparatus detects, before Symbol image processing apparatus, according to the head or eye movements of the display device the operator sent from the display device performs adjustment processing of the cut angle adjustment of the photographing field image to be transmitted to, delaying the response speed is faster than the response speed is predetermined response speed of the operator's head or eye movement A display system for remote operation of a working machine, which comprises performing the adjustment process or the cutting process.

（３−２）第２態様の表示システム
作業機の遠隔操作のための表示システムであって、前記作業機に設けられたカメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、を備え、前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示し、前記作業補助情報は、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示システム。 (3-2) Display system of the second aspect A display system for remote operation of a work machine, in which an operator visually recognizes a camera unit provided in the work machine and a photographed image taken by the camera unit. An image processing device that performs cutting processing at a predetermined cutting angle corresponding to an angle and the captured image transmitted from the image processing device are displayed, and the movement of the operator's head or eyeball is detected and the image processing is performed. The image processing device includes a display device to be transmitted to the device, and the image processing device is the image of the captured image to be transmitted to the display device in response to the movement of the operator's head or eyeball sent from the display device. adjust the cut angle, the display device, the work auxiliary information corresponding to the captured image is displayed in association with the captured image with the captured image, the work auxiliary information, in operation range of the previous SL working machine A display system for remote control of work equipment, which is characterized by being present.

（３−３）第３態様の表示システム
作業機の遠隔操作のための表示システムであって、前記作業機に設けられたカメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、を備え、前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。 (3-3) In the display system for the remote operation of the display system working machine of the third aspect, a camera unit provided on the working machine, manipulate the shadow image shooting captured by the camera unit an image processing apparatus that performs cut processing that cut at a predetermined cut angle corresponding to the viewing angle of the person, before Symbol to display the camera image transmitted from the image processing apparatus, a head or eye movement of the operator and a display device to send before Symbol image processing apparatus detects, before Symbol image processing apparatus, according to the head or eye movements of the display device the operator sent from the display device the cut angle of the imaging field image to be transmitted to adjust the front asked camera unit, Looking height at If lens of the camera unit is created skill of the working machine is seated on the seat's seat display system for the remote operation of the working machine, characterized in that provided in the corresponding to that height.

本発明によると、作業機、表示装置および作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる作業機、表示装置および表示システムを提供することができる。 According to the present invention, the work machine, the display device, and the display system for remote control of the work machine, and the work machine and the display capable of following the movement of the line of sight of the operator with the display image displayed on the display device. Devices and display systems can be provided.

図１は、第１実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。FIG. 1 is a schematic configuration diagram schematically showing a display system for remote control of a working machine according to the first embodiment. 図２は、図１に示す作業機に設けられた支持部材における支持体および支持体に支持された複数のカメラ部の概略構成を示す斜視図である。FIG. 2 is a perspective view showing a schematic configuration of a support body in a support member provided in the work machine shown in FIG. 1 and a plurality of camera units supported by the support body. 図３は、第１実施形態に係る表示システムにおける作業機側の画像処理装置のシステム構成を示すブロック図である。FIG. 3 is a block diagram showing a system configuration of an image processing device on the work equipment side in the display system according to the first embodiment. 図４は、画像処理装置によりパノラマ画像の一部を切り取る切り取り処理を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining a cutting process for cutting a part of a panoramic image by an image processing device. 図５は、第１実施形態に係る表示システムにおける遠隔操作側の遠隔制御装置のシステム構成を示すブロック図である。FIG. 5 is a block diagram showing a system configuration of a remote control device on the remote control side in the display system according to the first embodiment. 図６は、画像処理装置により操作者の頭部の動きに応じてパノラマ画像の一部を調整する調整処理を説明するための説明図である。FIG. 6 is an explanatory diagram for explaining an adjustment process for adjusting a part of the panoramic image according to the movement of the operator's head by the image processing device. 図７は、第１実施形態に係る表示システムの制御動作の一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the control operation of the display system according to the first embodiment. 図８は、第２実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。FIG. 8 is a schematic configuration diagram schematically showing a display system for remote control of the work machine according to the second embodiment. 図９は、第３実施形態に係る作業機の遠隔操作のための表示システムにおける作業機側の画像処理装置のシステム構成を示すブロック図である。FIG. 9 is a block diagram showing a system configuration of an image processing device on the working machine side in the display system for remote control of the working machine according to the third embodiment. 図１０は、第３実施形態に係る表示システムにおける遠隔操作側の遠隔制御装置のシステム構成を示すブロック図である。FIG. 10 is a block diagram showing a system configuration of a remote control device on the remote control side in the display system according to the third embodiment. 図１１は、第３実施形態に係る表示システムの制御動作の一例を示すフローチャートである。FIG. 11 is a flowchart showing an example of the control operation of the display system according to the third embodiment. 図１２は、第４実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。FIG. 12 is a schematic configuration diagram schematically showing a display system for remote control of the working machine according to the fourth embodiment. 図１３は、第５実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。FIG. 13 is a schematic configuration diagram schematically showing a display system for remote control of the working machine according to the fifth embodiment. 図１４は、第６実施形態に係る作業機の遠隔操作のための表示システムにおけるカメラ部を構成する一対のカメラおよび一対のカメラに設けられた照明装置の一例を正面から視た概略構成図である。FIG. 14 is a schematic configuration diagram of a pair of cameras constituting the camera unit in the display system for remote control of the work machine according to the sixth embodiment and an example of a lighting device provided on the pair of cameras as viewed from the front. is there. 図１５は、第７実施形態に係る作業機の遠隔操作のための表示システムにおいて、パノラマ画像の一部に対応する作業補助情報の一部をパノラマ画像の一部と共にパノラマ画像の一部に対応させて追加的に表示装置に表示している表示画面の一例を示す表示図である。FIG. 15 shows a part of the work assistance information corresponding to a part of the panoramic image corresponding to a part of the panoramic image together with a part of the panoramic image in the display system for remote control of the work machine according to the seventh embodiment. It is a display figure which shows an example of the display screen which is additionally displayed on the display device.

以下、本発明に係る実施の形態について図面を参照しながら説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.

（第１実施形態）
図１は、第１実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。 (First Embodiment)
FIG. 1 is a schematic configuration diagram schematically showing a display system 100 for remote control of the work machine 200 according to the first embodiment.

図１に示すように、作業機２００の遠隔操作のための表示システム１００は、作業機２００が作業を行う作業現場から離れた場所で遠隔操作される作業機２００にカメラ部３１０〜３１０が設けられ、カメラ部３１０〜３１０で撮影した画像（動画像）を遠隔操作側１２０に無線通信により送信し、得られた画像を遠隔操作側１２０の表示装置４１０にリアルタイムに表示する構成とされている。 As shown in FIG. 1, in the display system 100 for remote control of the work machine 200, the camera units 310 to 310 are provided in the work machine 200 which is remotely controlled at a place away from the work site where the work machine 200 works. The image (moving image) taken by the camera units 310 to 310 is transmitted to the remote control side 120 by wireless communication, and the obtained image is displayed in real time on the display device 410 of the remote control side 120. ..

表示システム１００では、作業機２００は、無人作業機とされており、作業現場から離れた場所で作業機２００を遠隔操作する操作者５００が表示装置４１０の表示画面を確認しながら遠隔操作側１２０から操作指令を送ることにより、遠隔操作される構成とされている。これにより、作業機２００は、人間が入っていけないような危険な作業現場（例えば汚染された作業現場）で作業することができる。 In the display system 100, the work machine 200 is an unmanned work machine, and the operator 500 who remotely controls the work machine 200 at a place away from the work site checks the display screen of the display device 410 while checking the display screen of the display device 410 on the remote control side 120. It is configured to be operated remotely by sending an operation command from. As a result, the work machine 200 can work at a dangerous work site (for example, a contaminated work site) where humans cannot enter.

作業機２００は、水平方向に旋回可能かつ垂直方向に揺動可能な作業部２２０を有している。この例では、作業機２００は、建設作業機（具体的にはショベルカー）とされている。作業機２００は、クローラを構成する走行体２１０を有し、走行体２１０に対して作業部２２０が水平方向に（垂直方向に沿った軸線回りに）旋回可能に設けられている。作業部２２０は、走行体２１０に対して水平方向に旋回可能な上部体２２１と、上部体２２１に対して垂直方向に（水平方向に沿った軸線回りに）揺動可能なブーム２２２と、ブーム２２２に対して垂直方向に揺動可能なアーム２２３と、アーム２２３に対して垂直方向に揺動可能なバケット２２４とを有している。ここで、「水平方向」および「垂直方向」は、作業機２００が水平面に設置された場合での方向である。 The work machine 200 has a work unit 220 that can be swiveled in the horizontal direction and swings in the vertical direction. In this example, the work machine 200 is a construction work machine (specifically, an excavator car). The work machine 200 has a traveling body 210 constituting a crawler, and the working unit 220 is provided so as to be able to turn in the horizontal direction (around the axis along the vertical direction) with respect to the traveling body 210. The working unit 220 includes an upper body 221 that can turn horizontally with respect to the traveling body 210, a boom 222 that can swing vertically with respect to the upper body 221 (around the axis along the horizontal direction), and a boom. It has an arm 223 that can swing in the direction perpendicular to 222, and a bucket 224 that can swing in the direction perpendicular to the arm 223. Here, the "horizontal direction" and the "vertical direction" are the directions when the working machine 200 is installed on a horizontal plane.

なお、アーム２２３の先端部に取り付けられるアタッチメントは、この例では、バケット２２４とされているが、それに限定されるものではなく、アーム２２３の先端部には、作業内容に応じたアタッチメントを適宜交換することができる。 In this example, the attachment attached to the tip of the arm 223 is a bucket 224, but the attachment is not limited to this, and the tip of the arm 223 is appropriately replaced with an attachment according to the work content. can do.

また、作業機２００は、この例では、ショベルカーとしたが、それに限定されるものではなく、他の建設作業機であってもよいし、農業作業機であってもよい。 Further, the work machine 200 is not limited to the excavator car in this example, and may be another construction work machine or an agricultural work machine.

作業機２００は、遠隔操作装置２３０をさらに有している。遠隔操作装置２３０は、作業機２００本体を遠隔操作するものであり、作業機２００本体と無線通信を行う構成とされている。遠隔操作装置２３０は、操作者５００による操作を受け付け、受け付けた操作に基づく操作指令を無線通信により作業機２００本体に送信する。遠隔操作装置２３０は、作業部２２０（具体的には上部体２２１、ブーム２２２、アーム２２３およびバケット２２４等の構成部材）を操作するための操作レバー等の操作部２３１を備えている。 The working machine 200 further includes a remote control device 230. The remote control device 230 remotely controls the main body of the work machine 200, and is configured to perform wireless communication with the main body of the work machine 200. The remote control device 230 receives an operation by the operator 500 and transmits an operation command based on the received operation to the work machine 200 main body by wireless communication. The remote control device 230 includes an operation unit 231 such as an operation lever for operating the work unit 220 (specifically, constituent members such as the upper body 221 and the boom 222, the arm 223 and the bucket 224).

表示システム１００は、作業機側１１０の構成要素３００と、遠隔操作側１２０の構成要素４００とで構成されている。 The display system 100 is composed of a component 300 on the working machine side 110 and a component 400 on the remote control side 120.

作業機側１１０の構成要素３００は、作業機２００に設けられた複数のカメラ部３１０〜３１０および画像処理装置３２０を備えている。遠隔操作側１２０の構成要素４００は、表示装置４１０および遠隔制御装置４２０を備えている。 The component 300 of the work machine side 110 includes a plurality of camera units 310 to 310 and an image processing device 320 provided in the work machine 200. The component 400 of the remote control side 120 includes a display device 410 and a remote control device 420.

作業機側１１０の構成要素３００は、支持部材３３０をさらに備えている。支持部材３３０は、下端部が作業機２００の作業部２２０における上部体２２１に支持される（この例では固定される）一方、上端部が複数のカメラ部３１０〜３１０を該複数のカメラ部３１０〜３１０が水平姿勢になるように支持する（この例では固定する）構成とされている。ここで、水平姿勢は、作業機２００が水平面に設置された場合での姿勢である。 The component 300 of the work machine side 110 further includes a support member 330. The lower end of the support member 330 is supported (fixed in this example) by the upper body 221 of the working unit 220 of the working machine 200, while the upper end portion of the plurality of camera units 310 to 310 is supported by the plurality of camera units 310. ~ 310 is supported (fixed in this example) so as to be in a horizontal posture. Here, the horizontal posture is a posture when the work machine 200 is installed on a horizontal surface.

支持部材３３０は、複数のカメラ部３１０〜３１０を支持する支持体３３１と、上端部で支持体３３１を支持する一方、下端部で上部体２２１に支持される支持台（この例では支柱３３２）とを有している。 The support member 330 supports a support 331 that supports a plurality of camera units 310 to 310, and a support base that supports the support 331 at the upper end and is supported by the upper body 221 at the lower end (support 332 in this example). And have.

図２は、図１に示す作業機２００に設けられた支持部材３３０における支持体３３１および支持体３３１に支持された複数のカメラ部３１０〜３１０の概略構成を示す斜視図である。なお、図２では、支持体３３１に設けられる複数（この例では５つ）のカメラ部３１０〜３１０のうち一部を支持体３３１から取り外した状態を示しており、実際には、複数（この例では５つ）のカメラ部３１０〜３１０の全てが支持体３３１に設けられる。 FIG. 2 is a perspective view showing a schematic configuration of a support body 331 in a support member 330 provided in the work machine 200 shown in FIG. 1 and a plurality of camera units 310 to 310 supported by the support body 331. Note that FIG. 2 shows a state in which a part of the plurality of (five in this example) camera units 310 to 310 provided on the support 331 is removed from the support 331, and actually, the plurality (this). All of the camera units 310 to 310 (five in the example) are provided on the support 331.

図２に示すように、複数のカメラ部３１０〜３１０は、何れも、左目用および右目用の一対のカメラ３１１，３１２からなっている。詳しくは、一対のカメラ３１１，３１２は、操作者５００の左目に相当する左目用のカメラ３１１および操作者５００の右目に相当する右目用のカメラ３１２で構成されている。一対のカメラ３１１，３１２は、レンズの中心位置の間隔ｄが平均的な人の瞳の中心位置の間隔と同じとされている。複数のカメラ部３１０〜３１０を構成する一対のカメラ３１１，３１２は、この例では、何れも同一タイプの小型デジタルビデオカメラとされている。 As shown in FIG. 2, each of the plurality of camera units 310 to 310 includes a pair of cameras for the left eye and a pair of cameras for the right eye, 311, 312. Specifically, the pair of cameras 311, 312 is composed of a left-eye camera 311 corresponding to the left eye of the operator 500 and a right-eye camera 312 corresponding to the right eye of the operator 500. In the pair of cameras 311, 312, the distance d between the center positions of the lenses is the same as the distance between the center positions of the average human pupil. In this example, the pair of cameras 311, 312 constituting the plurality of camera units 310 to 310 are all small digital video cameras of the same type.

支持体３３１は、複数のカメラ部３１０〜３１０により撮影された撮影画像が所定の撮影面積比率でオーバーラップするように、複数のカメラ部３１０〜３１０を全方位的または略全方位的に支持する構成とされている。具体的には、支持体３３１は、左目用の複数のカメラ３１１〜３１１により撮影された左目用の撮影画像が所定の撮影面積比率でオーバーラップするように、左目用の複数のカメラ３１１〜３１１を全方位的または略全方位的に支持し、かつ、右目用の複数のカメラ３１２〜３１２により撮影された右目用の撮影画像が所定の撮影面積比率でオーバーラップするように、右目用の複数のカメラ３１２〜３１２を全方位的または略全方位的に支持する構成とされている。 The support 331 supports the plurality of camera units 310 to 310 in all directions or substantially omnidirectionally so that the captured images captured by the plurality of camera units 310 to 310 overlap at a predetermined shooting area ratio. It is composed. Specifically, the support 331 has a plurality of cameras for the left eye, 313-111, so that the captured images for the left eye captured by the plurality of cameras for the left eye, 331 to 111, overlap at a predetermined imaging area ratio. Is omnidirectionally or substantially omnidirectionally supported, and multiple cameras for the right eye are used so that the captured images for the right eye captured by the plurality of cameras 312 to 312 for the right eye overlap at a predetermined imaging area ratio. The cameras 312 to 312 are omnidirectionally or substantially omnidirectionally supported.

詳しくは、支持体３３１は、カメラ部３１０が２つの場合には、予め定めた所定の距離をおいて相対する位置に２つのカメラ部３１０，３１０を設けることができ、カメラ部３１０が３つ以上の場合には、予め定めた所定の半径の仮想円上において放射状にかつ均等または略均等な位置に３つ以上のカメラ部３１０〜３１０を設けることができる。 Specifically, when there are two camera units 310, the support 331 can be provided with two camera units 310 and 310 at positions facing each other at a predetermined distance, and there are three camera units 310. In the above case, three or more camera units 310 to 310 can be provided at positions radially and evenly or substantially evenly on a virtual circle having a predetermined radius.

具体的には、支持体３３１は、板状のものとされており、カメラ部３１０の数に応じた数の辺を有する形状とされている。支持体３３１は、例えば、カメラ部３１０が２つの場合には、平面視でカメラ部３１０，３１０が並設される方向に長い長尺状のものとすることができ、３つ以上の場合には、カメラ部３１０〜３１０の数と同じ数で同一距離の辺を有する正多角形状（具体的には３つのカメラ部３１０〜３１０では平面視で正三角形状、４つのカメラ部３１０〜３１０では平面視で正方形状、５つのカメラ部３１０〜３１０では平面視で正五角形状、…）のものとすることができる。また、支持体３３１は、平面視で円形状のものであってもよい。 Specifically, the support 331 has a plate shape and has a shape having a number of sides corresponding to the number of camera units 310. For example, when there are two camera units 310, the support 331 can be long and long in the direction in which the camera units 310 and 310 are arranged side by side in a plan view, and when there are three or more support bodies 331. Is a regular polygonal shape having the same number of sides as the number of camera units 310-310 and having sides of the same distance (specifically, the three camera units 310-310 have a regular triangular shape in a plan view, and the four camera units 310-310 have a regular polygonal shape. It can be a square shape in a plan view, and a regular pentagon shape in a plan view of the five camera units 310 to 310, ...). Further, the support 331 may have a circular shape in a plan view.

この例では、カメラ部３１０〜３１０は、５つ（すなわちカメラ部３１０〜３１０を構成するカメラ３１１，３１２の合計台数は１０台）とされており、平面視で五角形状の支持体３３１に対して支持体３３１の中心位置から所定の半径の仮想円上において放射状にかつ均等または略均等な位置（各辺の中央位置）に固定部材３３１ａを介して固定されている。 In this example, the number of camera units 310 to 310 is five (that is, the total number of cameras 311, 312 constituting the camera units 310 to 310 is ten) with respect to the pentagonal support 331 in a plan view. The support 331 is fixed radially and evenly or substantially evenly (center position of each side) on a virtual circle having a predetermined radius via a fixing member 331a.

このように、支持体３３１は、複数のカメラ部３１０〜３１０を相反する位置または放射状にかつ均等または略均等な位置に支持することで、複数のカメラ部３１０〜３１０全体として水平方向における３６０°の視界をカバーすることができる。なお、カメラ部３１０〜３１０を構成する一対のカメラ３１１，３１２の画角は、カメラ部３１０の配設位置によって適宜決定することができる。この例では、一対のカメラ３１１，３１２の垂直方向の画角は、１４０°（具体的には仮想水平面を基準として上下７０°ずつの角度）とされている。 In this way, the support 331 supports the plurality of camera units 310 to 310 at opposite positions or radially and evenly or substantially evenly, so that the plurality of camera units 310 to 310 as a whole have 360 ° in the horizontal direction. Can cover the field of view. The angles of view of the pair of cameras 311, 312 constituting the camera units 310 to 310 can be appropriately determined depending on the arrangement position of the camera units 310. In this example, the vertical angle of view of the pair of cameras 311, 312 is 140 ° (specifically, an angle of 70 ° above and below the virtual horizontal plane).

複数のカメラ部３１０〜３１０（図１参照）は、作業機２００に設けられるべき座席（この例では、作業機２００が有人作業機であると想定した場合での作業者が運転する際に座る座席）の水平方向（具体的には前後方向および左右方向の双方）における位置に相当する配設位置に設けられている。また、複数のカメラ部３１０〜３１０は、カメラ部３１０におけるレンズの中心位置が作業機２００の仕向地（例えば欧米仕様やアジア仕様）の平均的な体格（例えば身長や座高）を有する作業者（例えば欧米人やアジア人の作業者）が作業機２００に設けられるべき座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられている。 The plurality of camera units 310 to 310 (see FIG. 1) are seats to be provided in the work machine 200 (in this example, the worker sits when the work machine 200 is assumed to be a manned work machine). The seat) is provided at an arrangement position corresponding to the position in the horizontal direction (specifically, both the front-rear direction and the left-right direction). Further, the plurality of camera units 310 to 310 are workers (for example, height and sitting height) whose central position of the lens in the camera unit 310 has an average physique (for example, height and sitting height) of the destination of the work machine 200 (for example, Western specifications and Asian specifications). For example, it is provided at a seating height position corresponding to the line-of-sight height when it is assumed that a Westerner or an Asian worker) is seated in a seat to be provided in the work machine 200.

この例では、上部体２２１の前部には、進行方向に向かって左右方向における中央部にブーム２２２が設けられていることから、支持部材３３０は、上部体２２１の前側の左右方向における一方側（図１の例では左側）に立設されている。 In this example, since the boom 222 is provided at the center of the upper body 221 in the left-right direction toward the traveling direction, the support member 330 is on one side in the left-right direction on the front side of the upper body 221. It is erected (on the left side in the example of FIG. 1).

また、支持部材３３０は、作業者が作業機２００に設けられるべき座席に着座したと想定した場合での目線高さに相当する高さ位置に複数のカメラ部３１０〜３１０におけるレンズの中心位置が位置するように複数のカメラ部３１０〜３１０を支持するようになっている。 Further, the support member 330 has the center position of the lens in the plurality of camera units 310 to 310 at a height position corresponding to the line-of-sight height when the operator is assumed to be seated on the seat to be provided in the work machine 200. A plurality of camera units 310 to 310 are supported so as to be positioned.

画像処理装置３２０は、この例では、作業機２００における作業部２２０に設けられている。但し、それに限定されるものではなく、画像処理装置３２０は、支持部材３３０や走行体２１０に設けられていてもよい。 In this example, the image processing device 320 is provided in the working unit 220 of the working machine 200. However, the present invention is not limited to this, and the image processing device 320 may be provided on the support member 330 or the traveling body 210.

画像処理装置３２０は、複数のカメラ部３１０〜３１０によって撮影された複数の撮影画像（動画像データ）に基づいてパノラマ画像（パノラマ動画像データ）を生成し、生成したパノラマ画像の一部を切り取り、切り取ったパノラマ画像の一部を無線通信により送信する構成とされている。画像処理装置３２０は、この例では、コンピュータ（具体的にはパーソナルコンピュータ）で構成されている。 The image processing device 320 generates a panoramic image (panoramic moving image data) based on a plurality of captured images (moving image data) taken by the plurality of camera units 310 to 310, and cuts out a part of the generated panoramic image. , A part of the cut panoramic image is transmitted by wireless communication. In this example, the image processing device 320 is composed of a computer (specifically, a personal computer).

図３は、第１実施形態に係る表示システム１００における作業機側１１０の画像処理装置３２０のシステム構成を示すブロック図である。 FIG. 3 is a block diagram showing a system configuration of an image processing device 320 on the work equipment side 110 in the display system 100 according to the first embodiment.

図３に示すように、画像処理装置３２０は、各種のプログラムや各種の演算処理等の処理を実行する制御部３２１と、各種データを記憶する記憶部３２２とを備えている。 As shown in FIG. 3, the image processing device 320 includes a control unit 321 that executes processing such as various programs and various arithmetic processing, and a storage unit 322 that stores various data.

画像処理装置３２０は、複数のカメラ部３１０〜３１０と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルＣＢ１を介して複数のカメラ部３１０〜３１０と電気的に接続されるようになっている。これにより、画像処理装置３２０は、複数のカメラ部３１０〜３１０によって撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭ（動画像データ）を受信することができる。 The image processing device 320 has a predetermined communication interface for communicating with the plurality of camera units 310 to 310, and is electrically connected to the plurality of camera units 310 to 310 via the connection cable CB1 for the communication interface. It is designed to be connected to. As a result, the image processing device 320 can receive a plurality of captured images IM to IM and IM to IM (moving image data) captured by the plurality of camera units 310 to 310.

複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信インターフェースは、この例では、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェース（具体的にはＵＳＢ３．０規格対応のインターフェース）とされている。なお、複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信インターフェースは、ＵＳＢインターフェースに限定されるものではなく、他の何れの通信インターフェースであってもよい。また、複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。 In this example, the communication interface between the plurality of camera units 310 to 310 and the image processing device 320 is a universal serial bus (USB: Universal Serial Bus) interface (specifically, an interface compatible with the USB3.0 standard). ing. The communication interface between the plurality of camera units 310 to 310 and the image processing device 320 is not limited to the USB interface, and may be any other communication interface. Further, the communication between the plurality of camera units 310 to 310 and the image processing device 320 is not limited to the wired communication, and may be a short-range wireless communication.

記憶部３２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリおよびハードディスク装置やフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部３２１により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース（例えば記録媒体やインターネット上のサーバ）からのプログラムを含むソフトウェアが予め格納（インストール）される。 The storage unit 322 includes a volatile memory such as a RAM (Random Access Memory) and a non-volatile memory such as a hard disk device and a flash memory. The volatile memory is appropriately used as a work memory or the like when the control unit 321 executes various processes such as arithmetic processing. Software including programs from external resources (for example, a recording medium or a server on the Internet) is stored (installed) in the non-volatile memory in advance.

また、画像処理装置３２０は、遠隔操作側１２０の遠隔制御装置４２０における通信部４２３と無線通信（この例では短距離無線通信）を行う通信部３２３をさらに備えている。 Further, the image processing device 320 further includes a communication unit 323 that performs wireless communication (short-range wireless communication in this example) with the communication unit 423 of the remote control device 420 on the remote control side 120.

ここで、短距離無線通信としては、数メートルから１００メートル程度の短距離で通信を行う無線通信を例示でき、例えば、数十メートル〜１００メートル程度の短距離で通信を行う無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信や、数メートル〜数十メートル程度の短距離で通信を行う無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信を挙げることができる。 Here, as the short-range wireless communication, a wireless communication that communicates over a short distance of about several meters to 100 meters can be exemplified. For example, a wireless LAN (Local Area) that communicates at a short distance of about several tens of meters to 100 meters. Examples thereof include (Network) communication and wireless PAN (Personal Area Network) communication that communicates over a short distance of several meters to several tens of meters.

無線ＬＡＮ通信としては、例えば、ＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を挙げることができる。無線ＰＡＮ通信としては、例えば、ＩＥＥＥ８０２．１５規格の無線ＰＡＮ通信を挙げることができる。 Examples of the wireless LAN communication include wireless LAN communication of the IEEE802.11 standard. Examples of the wireless PAN communication include wireless PAN communication of the IEEE802.15 standard.

通信部３２３は、遠隔制御装置４２０における通信部４２３との間で短距離無線通信を利用してデータの送受信を行うものであり、この例では、ＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を行うようになっている。 The communication unit 323 transmits / receives data to / from the communication unit 423 of the remote control device 420 by using short-range wireless communication. In this example, the wireless LAN communication of the IEEE802.11 standard is performed. It has become.

なお、画像処理装置３２０と遠隔制御装置４２０との間の通信は、短距離無線通信に限定されるものではなく、１００ｍ程度を超える遠距離無線通信であってもよい。 The communication between the image processing device 320 and the remote control device 420 is not limited to short-range wireless communication, and may be long-range wireless communication exceeding about 100 m.

画像処理装置３２０は、複数のカメラ部３１０〜３１０を構成する一対のカメラ３１１〜３１１，３１２〜３１２によってそれぞれ撮影された左目用の撮影画像ＩＭ〜ＩＭ（動画像）および右目用の撮影画像ＩＭ〜ＩＭ（動画像）に基づいて左目用のパノラマ画像ＰＩ（パノラマ動画像）および右目用のパノラマ画像ＰＩ（パノラマ動画像）をそれぞれ生成する構成とされている。 The image processing device 320 is a captured image IM to IM (moving image) for the left eye and a captured image IM for the right eye, respectively, taken by a pair of cameras 311 to 311 and 312 to 312 constituting the plurality of camera units 310 to 310. The configuration is such that a panoramic image PI (panoramic moving image) for the left eye and a panoramic image PI (panoramic moving image) for the right eye are generated based on ~ IM (moving image).

パノラマ画像を生成する手法では、例えば、左目用のパノラマ画像ＰＩの場合、撮影画像ＩＭ〜ＩＭがオーバーラップするように全方位的または略全方位的に配置した左目用の複数のカメラ３１１〜３１１によりそれぞれ撮影された左目用の複数の撮影画像ＩＭ〜ＩＭのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、左目用のパノラマ画像ＰＩ（パノラマ動画像）を生成する。同様に、右目用のパノラマ画像ＰＩの場合、撮影画像ＩＭ〜ＩＭがオーバーラップするように全方位的または略全方位的に配置した右目用の複数のカメラ３１２〜３１２によりそれぞれ撮影された右目用の複数の撮影画像ＩＭ〜ＩＭのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、右目用のパノラマ画像ＰＩ（パノラマ動画像）を生成する。パノラマ画像ＰＩを生成する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。 In the method of generating a panoramic image, for example, in the case of a panoramic image PI for the left eye, a plurality of cameras for the left eye 31 to 311 arranged omnidirectionally or substantially omnidirectionally so that the captured images IM to IM overlap. A panoramic image PI (panoramic moving image) for the left eye is generated by synthesizing a common image in which the plurality of captured images IM to IM, which are overlapped with each other, are combined frame by frame. Similarly, in the case of the panoramic image PI for the right eye, the images for the right eye are taken by a plurality of cameras 312 to 312 for the right eye, which are arranged omnidirectionally or substantially omnidirectionally so that the captured images IM to IM overlap. A panoramic image PI (panoramic moving image) for the right eye is generated by synthesizing the overlapping common images of the plurality of captured images IM to IM for each frame. As a method for generating the panoramic image PI, a conventionally known method can be used, and detailed description thereof will be omitted here.

画像処理装置３２０は、生成した左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを一旦記憶部３２２に格納する。 The image processing device 320 temporarily stores the generated panoramic image PI for the left eye and the panoramic image PI for the right eye in the storage unit 322.

画像処理装置３２０は、記憶部３２２に格納した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取る切り取り処理を行う構成とされている。 The image processing device 320 is configured to perform a cutting process for cutting out a part PIP of the panoramic image PI for the left eye and a part PIP of the panorama image PI for the right eye stored in the storage unit 322.

図４は、画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を説明するための説明図である。なお、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩは、実質的に同じ構成であるため、図４では、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを１つの図で示し、それらの切り取り処理をまとめて説明する。 FIG. 4 is an explanatory diagram for explaining a cutting process for cutting out a part of the panoramic image PI and PI PIP and PIP by the image processing device 320. Since the panoramic image PI for the left eye and the panoramic image PI for the right eye have substantially the same configuration, FIG. 4 shows the panoramic image PI for the left eye and the panoramic image PI for the right eye in one figure. The cutting process will be described collectively.

画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理は、図４に示すように、全方位的または略全方位的（この例では略全方位的）にパノラマ画像ＰＩ，ＰＩを構成した中空球体の中心に操作者５００の頭部５１０を配置することで、理解しやすくなる。 As shown in FIG. 4, the cutting process for cutting out a part of the panoramic image PI and PI by the image processing device 320 is omnidirectional or substantially omnidirectional (in this example, substantially omnidirectional). , By arranging the head 510 of the operator 500 at the center of the hollow sphere constituting the PI, it becomes easy to understand.

画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩを、予め定めた所定の基準点α（例えば作業機２００の前方のヨーイング基準角度φｙ、ローリング基準角度φｒ、ピッチング基準角度φｐ）を基準にして、操作者５００の視認角度に相当する予め定めた所定の切り取り角度（β，γ）で一部ＰＩＰ，ＰＩＰを切り取る構成とされている。切り取り角度（β，γ）は、記憶部３２２に予め設定（記憶）されている。 The image processing device 320 operates the panoramic images PI and PI with reference to a predetermined reference point α (for example, a yawing reference angle φy in front of the working machine 200, a rolling reference angle φr, and a pitching reference angle φp). A part of PIP and PIP is cut out at a predetermined cutting angle (β, γ) corresponding to the viewing angle of the person 500. The cutting angles (β, γ) are preset (stored) in the storage unit 322.

所定の基準点αとしては、例えば、複数のカメラ部３１０〜３１０のうちの一つのカメラ部３１０を作業機２００の前方位置に位置するように設けた場合、作業機２００の前方位置のカメラ部３１０から送られてきた画像の全体画素領域における中心画素を挙げることができる。また、所定の切り取り角度（β，γ）としては、平均的な人の視野角以下の角度に対応する角度とすることができ、例えば、水平方向の切り取り角度βで２００°程度以下、垂直方向の切り取り角度γで１２５°（具体的には仮想水平面を基準として下７５°および上５０°）程度以下を挙げることができる。 As the predetermined reference point α, for example, when one of the plurality of camera units 310 to 310 is provided so as to be located at the front position of the work machine 200, the camera unit at the front position of the work machine 200 is provided. The central pixel in the entire pixel area of the image sent from 310 can be mentioned. Further, the predetermined cutting angle (β, γ) can be an angle corresponding to an angle equal to or less than the viewing angle of an average person. For example, the cutting angle β in the horizontal direction is about 200 ° or less in the vertical direction. The cutting angle γ of the above can be about 125 ° (specifically, 75 ° below and 50 ° above with respect to the virtual horizontal plane) or less.

画像処理装置３２０（図３参照）は、切り取った左目用のパノラマ画像ＰＩ（パノラマ動画像データ）の一部ＰＩＰおよび右目用のパノラマ画像ＰＩ（パノラマ動画像データ）の一部ＰＩＰを遠隔操作側１２０の遠隔制御装置４２０に無線通信によりそれぞれ送信する構成とされている。詳しくは、画像処理装置３２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを圧縮し、リアルタイムで遠隔制御装置４２０に無線通信によりそれぞれ送信する。この例では、無線通信で送信されるデータは、暗号化されたデータとされている。 The image processing device 320 (see FIG. 3) remotely controls a part PIP of the cut panoramic image PI (panoramic moving image data) for the left eye and a part PIP of the panoramic image PI (panoramic moving image data) for the right eye. It is configured to transmit data to each of the 120 remote control devices 420 by wireless communication. Specifically, the image processing device 320 compresses the cut panoramic images PI and some PIPs of the PIs and transmits them to the remote control device 420 in real time by wireless communication. In this example, the data transmitted by wireless communication is assumed to be encrypted data.

遠隔操作側１２０の遠隔制御装置４２０は、画像処理装置３２０から送られてきた左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ受信し、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信する構成とされている。遠隔制御装置４２０は、この例では、コンピュータ（この例ではタブレット型コンピュータ）で構成されている。 The remote control device 420 of the remote control side 120 receives a part PIP of the panoramic image PI for the left eye and a part PIP of the panorama image PI for the right eye sent from the image processing device 320, respectively, and receives the received PIP for the left eye. A part PIP of the panoramic image PI and a part PIP of the panoramic image PI for the right eye are transmitted to the display device 410, respectively. The remote control device 420 is composed of a computer (tablet computer in this example) in this example.

図５は、第１実施形態に係る表示システム１００における遠隔操作側１２０の遠隔制御装置４２０のシステム構成を示すブロック図である。 FIG. 5 is a block diagram showing a system configuration of a remote control device 420 on the remote control side 120 in the display system 100 according to the first embodiment.

図５に示すように、遠隔制御装置４２０は、各種のプログラムや各種の演算処理等の処理を実行する制御部４２１と、各種データを記憶する記憶部４２２とを備えている。 As shown in FIG. 5, the remote control device 420 includes a control unit 421 that executes processes such as various programs and various arithmetic processes, and a storage unit 422 that stores various data.

遠隔制御装置４２０は、表示装置４１０と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルＣＢ２を介して表示装置４１０と電気的に接続されるようになっている。これにより、遠隔制御装置４２０は、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信することができる。 The remote control device 420 has a predetermined communication interface that communicates with the display device 410, and is electrically connected to the display device 410 via the connection cable CB2 for the communication interface. There is. As a result, the remote control device 420 can transmit a part PIP of the panoramic image PI for the left eye and a part PIP of the panorama image PI for the right eye to the display device 410, respectively.

遠隔制御装置４２０と表示装置４１０との間の通信インターフェースは、この例では、高精細度マルチメディアインターフェース〔ＨＤＭＩ（登録商標）：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ〕とされている。なお、遠隔制御装置４２０と表示装置４１０との間の通信インターフェースは、ＨＤＭＩ（登録商標）に限定されるものでなく、他の何れの通信インターフェースであってもよい。また、遠隔制御装置４２０と表示装置４１０との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。 The communication interface between the remote control device 420 and the display device 410 is, in this example, a high-definition multimedia interface [HDMI®: High-Definition Multimedia Interface]. The communication interface between the remote control device 420 and the display device 410 is not limited to HDMI (registered trademark), and may be any other communication interface. Further, the communication between the remote control device 420 and the display device 410 is not limited to the wired communication, and may be a short-range wireless communication.

記憶部４２２は、ＲＡＭ等の揮発性メモリおよびフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部４２１により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース（例えば記録媒体やインターネット上のサーバ）からのプログラムを含むソフトウェアが予め格納（インストール）される。 The storage unit 422 includes a volatile memory such as RAM and a non-volatile memory such as a flash memory. The volatile memory is appropriately used as a work memory or the like when the control unit 421 executes various processes such as arithmetic processing. Software including programs from external resources (for example, a recording medium or a server on the Internet) is stored (installed) in the non-volatile memory in advance.

また、遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０における通信部３２３と無線通信（この例では短距離無線通信）を行う通信部４２３をさらに備えている。 Further, the remote control device 420 further includes a communication unit 423 that performs wireless communication (short-range wireless communication in this example) with the communication unit 323 of the image processing device 320 on the work equipment side 110.

遠隔制御装置４２０における通信部４２３による無線通信は、画像処理装置３２０における通信部３２３による無線通信と同じ通信であり、ここでは、説明を省略する。 The wireless communication by the communication unit 423 in the remote control device 420 is the same communication as the wireless communication by the communication unit 323 in the image processing device 320, and description thereof will be omitted here.

遠隔制御装置４２０は、この例では、タブレット型コンピュータとされているが、この他、例えば、ノート型コンピュータ、多機能型携帯電話機（所謂スマートフォン）、腕時計型端末装置や、衣服に装着可能な端末装置といった持ち運び可能な端末装置であってもよい。遠隔制御装置４２０は、表示装置４１０に設けられてもよい。また、遠隔制御装置４２０は、持ち運び可能な端末装置の限定されるものではなく、卓上型のコンピュータであってもよい。また、操作者５００は、作業機２００を立った状態で遠隔操作してもよいし、座った状態で遠隔操作してもよい。 In this example, the remote control device 420 is a tablet computer, but in addition to this, for example, a notebook computer, a multifunctional mobile phone (so-called smartphone), a wristwatch type terminal device, and a terminal that can be worn on clothes. It may be a portable terminal device such as a device. The remote control device 420 may be provided on the display device 410. Further, the remote control device 420 is not limited to a portable terminal device, and may be a desktop computer. Further, the operator 500 may remotely control the working machine 200 while standing, or may remotely control the working machine 200 while sitting.

詳しくは、遠隔制御装置４２０は、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを一旦記憶部４２２に格納しつつ表示装置４１０にそれぞれ送信する構成とされている。 Specifically, the remote control device 420 has a configuration in which a part PIP of the received panoramic image PI for the left eye and a part PIP of the panorama image PI for the right eye are temporarily stored in the storage unit 422 and transmitted to the display device 410, respectively. Has been done.

遠隔操作側１２０の表示装置４１０は、遠隔制御装置４２０から送られてきた左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ受信しつつ表示する構成とされている。詳しくは、表示装置４１０は、遠隔制御装置４２０からリアルタイムで送られてくる左目用のパノラマ画像ＰＩ（パノラマ動画像）の一部ＰＩＰおよび右目用のパノラマ画像ＰＩ（パノラマ動画像）の一部ＰＩＰを受信しながら再生（表示）するストリーミング再生を行うようになっている。 The display device 410 of the remote control side 120 is configured to display while receiving a part PIP of the panoramic image PI for the left eye and a part PIP of the panorama image PI for the right eye sent from the remote control device 420, respectively. ing. Specifically, the display device 410 is a partial PIP of the panoramic image PI (panoramic moving image) for the left eye and a partial PIP of the panoramic image PI (panoramic moving image) for the right eye sent from the remote control device 420 in real time. It is designed to perform streaming playback that plays (displays) while receiving.

これにより、表示装置４１０は、リアルタイムで（生で）かつ３次元的な視界表示（いわゆる３Ｄ画像）を実現することができる。表示装置４１０による３次元的な視界表示を実現する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。 As a result, the display device 410 can realize a real-time (live) and three-dimensional visual field display (so-called 3D image). As a method for realizing a three-dimensional field of view display by the display device 410, a conventionally known method can be used, and detailed description thereof will be omitted here.

表示装置４１０（図１参照）は、この例では、操作者５００の頭部５１０（具体的には目の部分）に装着される構成とされている。詳しくは、表示装置４１０は、頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）とされている。なお、表示装置４１０は、頭部装着型表示装置（ＨＭＤ）に限定されるものではなく、卓上型表示装置（モニター）や、ビデオプロジェクタであってもよい。 In this example, the display device 410 (see FIG. 1) is configured to be attached to the head 510 (specifically, the eye portion) of the operator 500. Specifically, the display device 410 is a head-mounted display device (HMD: Head Mounted Display). The display device 410 is not limited to the head-mounted display device (HMD), and may be a desktop display device (monitor) or a video projector.

遠隔操作側１２０の構成要素４００は、操作者５００の視線の動きを検知する視線検知部４１１（図１および図５参照）をさらに備えている。視線検知部４１１は、この例では、操作者５００（図１参照）の頭部５１０の姿勢を検知する姿勢検知部とされている。 The component 400 of the remote control side 120 further includes a line-of-sight detection unit 411 (see FIGS. 1 and 5) that detects the movement of the line of sight of the operator 500. In this example, the line-of-sight detection unit 411 is a posture detection unit that detects the posture of the head 510 of the operator 500 (see FIG. 1).

視線検知部４１１は、図１に示すように、操作者５００の頭部５１０に装着され、頭部５１０の基準姿勢（例えば操作者５００が水平方向を視た姿勢）を基準にして、操作者５００の頭部５１０の垂直方向に沿った軸線ｙ回りのヨーイング（ｙａｗｉｎｇ）角度θｙ、前後方向に沿った軸線ｒ回りのローリング（ｒｏｌｌｉｎｇ）角度θｒおよび左右方向に沿った軸線ｐ回りのピッチング（ｐｉｔｃｈｉｎｇ）角度θｐを検知することができるようになっている。なお、基準姿勢の基準値は、操作者５００の頭部５１０を検知するに先立って予め設定しておくことができる。 As shown in FIG. 1, the line-of-sight detection unit 411 is attached to the head 510 of the operator 500, and the operator is based on the reference posture of the head 510 (for example, the posture in which the operator 500 looks in the horizontal direction). Yawing angle θy around the axis y along the vertical direction of the head 510 of the 500, rolling angle θr around the axis r along the anteroposterior direction, and pitching around the axis p along the left-right direction. ) The angle θp can be detected. The reference value of the reference posture can be set in advance prior to detecting the head 510 of the operator 500.

視線検知部４１１は、本例のように姿勢検知部とした場合、例えば、３次元ジャイロセンサ、３次元重力加速度センサ、ロータリーエンコーダー、ポテンショメータ等の各種センサを用いることができる。視線検知部４１１は、従来公知のものを用いることができ、ここでは詳しい説明を省略する。 When the line-of-sight detection unit 411 is a posture detection unit as in this example, various sensors such as a three-dimensional gyro sensor, a three-dimensional gravitational acceleration sensor, a rotary encoder, and a potentiometer can be used. As the line-of-sight detection unit 411, a conventionally known one can be used, and detailed description thereof will be omitted here.

また、視線検知部４１１（図５参照）は、検知した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを遠隔制御装置４２０に送信するようになっている。 Further, the line-of-sight detection unit 411 (see FIG. 5) provides data on the detected movement of the head 510 of the operator 500 (specifically, the yawing angle θy, the rolling angle θr, and the pitching angle θp with respect to the reference posture of the head 510). Is to be transmitted to the remote control device 420.

本実施の形態では、視線検知部４１１は、表示装置４１０に備えられている。すなわち、表示装置４１０は、視線検知部４１１を備え、視線検知部４１１により操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）を検知し、視線検知部４１１にて検知した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを遠隔制御装置４２０に送信するようになっている。 In the present embodiment, the line-of-sight detection unit 411 is provided in the display device 410. That is, the display device 410 includes a line-of-sight detection unit 411, and the line-of-sight detection unit 411 moves the head 510 of the operator 500 (specifically, the yawing angle θy, the rolling angle θr, and the pitching angle with respect to the reference posture of the head 510. θp) is detected, and the data of the movement of the head 510 of the operator 500 detected by the line-of-sight detection unit 411 (specifically, the yawing angle θy, the rolling angle θr, and the pitching angle θp with respect to the reference posture of the head 510) is obtained. It is designed to transmit to the remote control device 420.

視線検知部４１１（この例では表示装置４１０）から遠隔制御装置４２０への操作者５００の頭部５１０の動きの送信は、遠隔制御装置４２０と表示装置４１０との間の通信と同様の通信とすることができる。また、視線検知部４１１（この例では表示装置４１０）から遠隔制御装置４２０への操作者５００の頭部５１０の動きの送信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。 The transmission of the movement of the head 510 of the operator 500 from the line-of-sight detection unit 411 (display device 410 in this example) to the remote control device 420 is the same as the communication between the remote control device 420 and the display device 410. can do. Further, the transmission of the movement of the head 510 of the operator 500 from the line-of-sight detection unit 411 (display device 410 in this example) to the remote control device 420 is not limited to wired communication, but is short-range wireless communication. You may.

遠隔制御装置４２０は、視線検知部４１１（この例では表示装置４１０）から送られてきた操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを作業機側１１０の画像処理装置３２０に無線通信により送信する構成とされている。 The remote control device 420 is the movement of the head 510 of the operator 500 (specifically, the yawing angle θy and the rolling angle with respect to the reference posture of the head 510) sent from the line-of-sight detection unit 411 (display device 410 in this example). The data of θr and the pitching angle θp) are transmitted to the image processing device 320 of the working machine side 110 by wireless communication.

作業機側１１０の画像処理装置３２０は、遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを受信し、受信した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）に応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整する構成とされている。 The image processing device 320 on the work equipment side 110 moves the head 510 of the operator 500 sent from the remote control device 420 (specifically, the yawing angle θy, the rolling angle θr, and the pitching with respect to the reference posture of the head 510. The display device receives the data of the angle θp) and responds to the movement of the head 510 of the operator 500 (specifically, the yawing angle θy, the rolling angle θr, and the pitching angle θp with respect to the reference posture of the head 510). A part of the panoramic image PI for the left eye and a part of the PIP of the panoramic image PI for the right eye to be transmitted to the 410 are adjusted respectively.

図６は、画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理を説明するための説明図である。なお、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩは、実質的に同じ構成であるため、図６では、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを１つの図で示し、それらの調整処理をまとめて説明する。 FIG. 6 is an explanatory diagram for explaining an adjustment process for adjusting a part of the panoramic image PI, PI, PIP, PIP according to the movement of the head 510 of the operator 500 by the image processing device 320. Since the panoramic image PI for the left eye and the panoramic image PI for the right eye have substantially the same configuration, FIG. 6 shows the panoramic image PI for the left eye and the panoramic image PI for the right eye in one figure. These adjustment processes will be described together.

画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理は、図６に示すように、全方位的または略全方位的（この例では略全方位的）にパノラマ画像ＰＩ，ＰＩを構成した中空球体の中心に操作者５００の頭部５１０を配置することで、理解しやすくなる。 As shown in FIG. 6, the adjustment process of adjusting the panoramic image PI, a part of the panoramic image PI, PIP, PIP according to the movement of the head 510 of the operator 500 by the image processing device 320 is omnidirectional or substantially omnidirectional. By arranging the head 510 of the operator 500 at the center of the hollow spheres constituting the panoramic images PI and PI (in this example, substantially omnidirectional), it becomes easy to understand.

画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおける所定の基準点α（例えば作業機２００の前方のヨーイング基準角度φｙ、ローリング基準角度φｒ、ピッチング基準角度φｐ）から、受信した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）だけ移動させた相対基準点Δα（例えば作業機２００の前方の基準点に対する相対ヨーイング基準角度φｙ＋θｙ、相対ローリング基準角度φｒ＋θｒ、相対ピッチング基準角度φｐ＋θｐ）を算出する。 The image processing device 320 receives the head of the operator 500 from the predetermined reference points α (for example, the yawing reference angle φy, the rolling reference angle φr, and the pitching reference angle φp in front of the working machine 200) in the panoramic images PI and PI. Relative reference point Δα (for example, relative yawing reference angle with respect to the reference point in front of the working machine 200) moved by 510 movements (specifically, yawing angle θy with respect to the reference posture of the head 510, rolling angle θr, and pitching angle θp). φy + θy, relative rolling reference angle φr + θr, relative pitching reference angle φp + θp) is calculated.

また、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る構成とされている。詳しくは、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩから、算出した相対基準点Δαを基準にして、操作者５００の視認角度に相当する切り取り角度（β，γ）で一部ＰＩＰ，ＰＩＰを切り取る構成とされている。 Further, the image processing device 320 is configured to cut out a part of the adjusted panoramic image PI, PI in the panoramic image PI, PI. Specifically, the image processing device 320 partially performs PIP, PIP at a cutting angle (β, γ) corresponding to the viewing angle of the operator 500 with reference to the relative reference point Δα calculated from the panoramic images PI, PI. It is designed to be cut out.

なお、この例では、視線検知部４１１は、操作者５００の頭部５１０の姿勢を検知する姿勢検知部とされているが、操作者５００の視線（眼球の動き）を検知する視線検知部であってもよい。この場合、画像処理装置３２０は、視線検知部からの応答速度が速すぎる場合には該応答速度を遅延させて調整処理または切り取り処理を行うようにすることができる。 In this example, the line-of-sight detection unit 411 is a posture detection unit that detects the posture of the head 510 of the operator 500, but is a line-of-sight detection unit that detects the line of sight (eye movement) of the operator 500. There may be. In this case, if the response speed from the line-of-sight detection unit is too fast, the image processing device 320 can delay the response speed to perform the adjustment process or the cutout process.

図７は、第１実施形態に係る表示システム１００の制御動作の一例を示すフローチャートである。 FIG. 7 is a flowchart showing an example of the control operation of the display system 100 according to the first embodiment.

第１実施形態に係る表示システム１００の制御動作では、図７に示すように、先ず、作業機側１１０の画像処理装置３２０は、複数のカメラ部３１０〜３１０で撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭによりパノラマ画像ＰＩ，ＰＩを生成する（ステップＳ１０１）。 In the control operation of the display system 100 according to the first embodiment, as shown in FIG. 7, first, the image processing device 320 on the working machine side 110 has a plurality of captured image IMs captured by the plurality of camera units 310 to 310. Panorama images PI and PI are generated by ~ IM and IM ~ IM (step S101).

次に、画像処理装置３２０は、生成したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を行う（ステップＳ１０２）。 Next, the image processing device 320 performs a cutting process for cutting out a part of the generated panoramic image PI, PI, PIP, PIP (step S102).

次に、画像処理装置３２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを遠隔操作側１２０の遠隔制御装置４２０に無線通信により送信する（ステップＳ１０３）。 Next, the image processing device 320 transmits the cut panoramic image PI, a part of the PI, PIP, PIP to the remote control device 420 on the remote control side 120 by wireless communication (step S103).

次に、遠隔操作側１２０の遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示装置４１０に送信する（ステップＳ１０４）。 Next, the remote control device 420 of the remote control side 120 transmits to the display device 410 while receiving the panoramic image PI, a part of the panoramic image PI, PIP, PIP sent from the image processing device 320 of the work machine side 110 ( Step S104).

次に、表示装置４１０は、遠隔制御装置４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示する（ステップＳ１０５）。 Next, the display device 410 displays while receiving the panoramic image PI, a part of the panoramic image PI, PIP, PIP sent from the remote control device 420 (step S105).

次に、表示装置４１０は、操作者５００の頭部５１０の動きを検知しながら遠隔制御装置４２０に送信する（ステップＳ１０６）。 Next, the display device 410 transmits to the remote control device 420 while detecting the movement of the head 510 of the operator 500 (step S106).

次に、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きを受信しながら作業機側１１０の画像処理装置３２０に無線通信により送信する（ステップＳ１０７）。 Next, the remote control device 420 receives the movement of the head 510 of the operator 500 sent from the display device 410 and transmits it to the image processing device 320 of the work machine side 110 by wireless communication (step S107).

次に、作業機側１１０の画像処理装置３２０は、遠隔操作側１２０の遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動きを受信しながら頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する（ステップＳ１０８）。 Next, the image processing device 320 of the work machine side 110 receives the movement of the head 510 of the operator 500 sent from the remote control device 420 of the remote control side 120, and panorama according to the movement of the head 510. Partial PIPs and PIPs of the image PIs and PIs are adjusted (step S108).

そして、第１実施形態に係る表示システム１００は、前記したステップＳ１０１〜Ｓ１０８の処理を処理動作が終了するまで繰り返す（ステップＳ１０９）。 Then, the display system 100 according to the first embodiment repeats the processes of steps S101 to S108 described above until the processing operation is completed (step S109).

以上説明した第１実施形態に係る表示システム１００によれば、画像処理装置３２０は、遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整するので、操作者５００の頭部５１０の動きに合わせて表示装置４１０に表示される３次元的な視界を調整することができ、従って、表示装置４１０に表示される表示画像を操作者５００の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを遠隔制御装置４２０に無線通信により送信するので、全てのパノラマ画像ＰＩ，ＰＩを遠隔制御装置４２０に無線通信により送信する場合に比べて、無線通信上のトラフィック負荷を低減させることができる。 According to the display system 100 according to the first embodiment described above, the image processing device 320 transmits to the display device 410 in response to the movement of the head 510 of the operator 500 sent from the remote control device 420. Since the partial PIP of the panoramic image PI for the left eye and the partial PIP of the panoramic image PI for the right eye are adjusted respectively, the three-dimensional display is displayed on the display device 410 according to the movement of the head 510 of the operator 500. The field of view can be adjusted, and therefore the display image displayed on the display device 410 can be made to follow the movement of the line of sight of the operator 500. This makes it possible to improve the operability of remote control. Moreover, since the image processing device 320 transmits some PIPs and PIPs of the panoramic images PI and PI to the remote control device 420 by wireless communication, all the panoramic image PIs and PIs are transmitted to the remote control device 420 by wireless communication. Compared with the case, the traffic load on wireless communication can be reduced.

ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。 By the way, in a display system configured to move the camera itself to display the display image on the display device, it takes time to move the camera when moving the display image to be displayed on the display device.

この点、第１実施形態に係る表示システム１００では、画像処理装置３２０においてパノラマ画像ＰＩ，ＰＩ（全方位的な画像または略全方位的な画像）を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。 In this regard, in the display system 100 according to the first embodiment, since the image processing device 320 has the panoramic images PI and PI (omnidirectional image or substantially omnidirectional image), the camera itself is moved. It is possible to eliminate the delay in the time required to move the camera as compared with the display system configured to display the display image on the display device.

また、第１実施形態では、複数のカメラ部３１０〜３１０は、作業機２００に設けられるべき座席の水平方向（具体的には前後方向および左右方向の双方）における位置に相当する配設位置であって、該カメラ部３１０〜３１０におけるレンズの中心位置が作業機２００の仕向地の平均的な体格（例えば身長や座高）を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることで、作業者が実際に座席に着座した場合の視界と同様のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを表示装置４１０に表示することができる。 Further, in the first embodiment, the plurality of camera units 310 to 310 are arranged at positions corresponding to positions in the horizontal direction (specifically, both the front-rear direction and the left-right direction) of the seats to be provided on the work machine 200. Therefore, the line-of-sight height when it is assumed that the center position of the lens in the camera units 310 to 310 is seated by a worker having an average physique (for example, height or sitting height) of the destination of the work machine 200. Since it is provided at the seating height position corresponding to, the display device 410 can display a part of the panoramic image PI, PI, PIP, PIP, which is the same as the view when the operator actually sits on the seat. it can.

（第２実施形態）
図８は、第２実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。 (Second Embodiment)
FIG. 8 is a schematic configuration diagram schematically showing a display system 100 for remote control of the work machine 200 according to the second embodiment.

図８に示すように、第２実施形態に係る表示システム１００は、第１実施形態に係る表示システム１００において、遠隔操作側１２０の遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を、複数の遠隔制御装置４２０〜４２０にそれぞれ対応する複数の表示装置４１０〜４１０としたものである。 As shown in FIG. 8, the display system 100 according to the second embodiment displays the remote control devices 420 on the remote control side 120 as a plurality of remote control devices 420 to 420 in the display system 100 according to the first embodiment. The device 410 is a plurality of display devices 410 to 410 corresponding to the plurality of remote control devices 420 to 420, respectively.

第２実施形態に係る表示システム１００において、第１実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第１実施形態に係る表示システム１００とは異なる点を中心に説明する。 In the display system 100 according to the second embodiment, substantially the same components as the display system 100 according to the first embodiment are designated by the same reference numerals, and are mainly different from the display system 100 according to the first embodiment. Explain to.

作業機側１１０の画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを切り取り、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを無線通信により遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０に送信するように構成されている。ここで、作業機側１１０の画像処理装置３２０と遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０との間の通信は、一つの伝送路で複数の信号を同時的に伝送する多重化通信とすることができる。多重化通信としては、それには限定されないが、例えば、周波数分割多重化（ＦＤＭ：Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）通信や時分割多重化（ＴＤＭ：Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）通信等の多重化通信を挙げることができる。 The image processing device 320 of the working machine side 110 cuts out a part of the panoramic image PI, PI, PIP to PIP, PIP to PIP, and partially cuts out the panoramic image PI, PI, PIP to PIP, PIP to PIP by wireless communication. It is configured to transmit to a plurality of remote control devices 420 to 420 on the remote control side 120. Here, the communication between the image processing device 320 on the work equipment side 110 and the plurality of remote control devices 420 to 420 on the remote control side 120 is a multiplexing communication in which a plurality of signals are simultaneously transmitted on one transmission line. Can be. The multiplexing communication is not limited to that, and examples thereof include multiplexing communication such as frequency division multiplexing (FDM) communication and time division multiplexing (TDM: Time Division Multiplexing) communication.

遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを、それぞれ対応する複数の表示装置４１０〜４１０に送信するように構成されている。 The plurality of remote control devices 420 to 420 on the remote control side 120 receive a part of the panoramic image PI, PI sent from the image processing device 320, PIP to PIP, and PIP to PIP, respectively, and receive the panoramic image PI, A part of the PIs, PIP to PIP and PIP to PIP, are configured to be transmitted to a plurality of corresponding display devices 410 to 410, respectively.

遠隔操作側１２０の複数の表示装置４１０〜４１０は、それぞれ対応する複数の遠隔制御装置４２０〜４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ表示する。複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）は、それぞれ対応する複数の操作者５００〜５００の頭部５１０〜５１０の動きをそれぞれ検知し、検知した複数の操作者５００〜５００の頭部５１０〜５１０の動きを、それぞれ対応する複数の遠隔制御装置４２０〜４２０に送信する。複数の遠隔制御装置４２０〜４２０は、それぞれ対応する複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きを画像処理装置３２０に無線通信により送信する。 The plurality of display devices 410 to 410 on the remote control side 120 receive and receive a part of the panoramic images PI and PI sent from the corresponding plurality of remote control devices 420 to 420, PIP to PIP and PIP to PIP. The panoramic images PI and a part of the PIs PIP to PIP and PIP to PIP are displayed respectively. The plurality of line-of-sight detection units 411 to 411 (in this example, the plurality of display devices 410 to 410) each detect the movements of the heads 510 to 510 of the corresponding plurality of operators 500 to 500, and the plurality of detected operations. The movements of the heads 510 to 510 of the persons 500 to 500 are transmitted to a plurality of remote control devices 420 to 420 corresponding to each. The plurality of remote control devices 420 to 420 are heads 510 of a plurality of operators 500 to 500 sent from a plurality of line-of-sight detection units 411 to 411 (in this example, a plurality of display devices 410 to 410) corresponding to each of the plurality of remote control devices 420 to 420. The movement of 510 is transmitted to the image processing device 320 by wireless communication.

作業機側１１０の画像処理装置３２０は、複数の遠隔制御装置４２０〜４２０から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ調整する。 The image processing device 320 of the work machine side 110 is a part of the panoramic images PI and PI according to the movements of the heads 510 to 510 of the plurality of operators 500 to 500 sent from the plurality of remote control devices 420 to 420. PIP to PIP and PIP to PIP are adjusted respectively.

また、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ切り取る。 Further, the image processing device 320 cuts out a part of the adjusted panoramic image PI, PI, PIP to PIP, and PIP to PIP in the panoramic image PI, PI, respectively.

第２実施形態に係る表示システム１００の処理の流れは、遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を複数の表示装置４１０〜４１０とした以外は図７に示す第１実施形態に係る表示システム１００の処理の流れと実質的に同じであり、ここでは説明を省略する。 The processing flow of the display system 100 according to the second embodiment is shown in FIG. 7, except that the remote control device 420 is a plurality of remote control devices 420 to 420 and the display device 410 is a plurality of display devices 410 to 410. It is substantially the same as the processing flow of the display system 100 according to the first embodiment, and description thereof will be omitted here.

第２実施形態に係る表示システム１００によれば、複数の操作者５００〜５００は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置４１０〜４１０に表示される表示画像を視認することができ、これにより、第１実施形態の如く、一人の操作者５００が表示装置４１０に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。 According to the display system 100 according to the second embodiment, the plurality of operators 500 to 500 visually recognize the display images displayed on the plurality of display devices 410 to 410 corresponding to each other at the same time in a desired field of view. This makes it possible to improve the safety of work as compared with the case where one operator 500 visually recognizes the display image displayed on the display device 410 as in the first embodiment.

（第３実施形態）
第３実施形態に係る表示システム１００は、第１実施形態に係る表示システム１００において作業機側１１０の画像処理装置３２０で行っていた、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰの切り取り処理および調整処理を、遠隔操作側１２０の遠隔制御装置４２０で行うように構成したものである。 (Third Embodiment)
The display system 100 according to the third embodiment is the panoramic image PI, a part of the PIP, PIP of the PI, cut out and processed by the image processing device 320 of the working machine side 110 in the display system 100 according to the first embodiment. The adjustment process is configured to be performed by the remote control device 420 on the remote control side 120.

第３実施形態に係る表示システム１００において、第１実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第１実施形態に係る表示システム１００とは異なる点を中心に説明する。 In the display system 100 according to the third embodiment, substantially the same components as the display system 100 according to the first embodiment are designated by the same reference numerals, and are mainly different from the display system 100 according to the first embodiment. Explain to.

図９は、第３実施形態に係る作業機２００の遠隔操作のための表示システム１００における作業機側１１０の画像処理装置３２０のシステム構成を示すブロック図である。また、図１０は、第３実施形態に係る表示システム１００における遠隔操作側１２０の遠隔制御装置４２０のシステム構成を示すブロック図である。 FIG. 9 is a block diagram showing a system configuration of an image processing device 320 on the work machine side 110 in the display system 100 for remote control of the work machine 200 according to the third embodiment. Further, FIG. 10 is a block diagram showing a system configuration of the remote control device 420 of the remote control side 120 in the display system 100 according to the third embodiment.

図９に示すように、作業機側１１０の画像処理装置３２０は、生成した左目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）および右目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）を遠隔操作側１２０の遠隔制御装置４２０に無線通信によりそれぞれ送信する構成とされている。 As shown in FIG. 9, the image processing device 320 on the work equipment side 110 generated a panoramic image PI for the left eye (data of all panoramic image PIs) and a panoramic image PI for the right eye (data of all panoramic image PIs). ) Is transmitted to the remote control device 420 of the remote operation side 120 by wireless communication.

図１０に示すように、遠隔操作側１２０の遠隔制御装置４２０は、画像処理装置３２０から送られてきた左目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）および右目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）を受信し、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取り、切り取った左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信する構成とされている。 As shown in FIG. 10, the remote control device 420 on the remote control side 120 has a panoramic image PI for the left eye (data of all panoramic image PIs) and a panoramic image PI for the right eye (data of all panoramic image PIs) sent from the image processing device 320. Received data of all panoramic image PIs), cut out a part of the received panoramic image PI for the left eye and a part of the panoramic image PI for the right eye, and cut out a part of the panoramic image PI for the left eye. And a part of the panoramic image PI for the right eye PIP is transmitted to the display device 410, respectively.

詳しくは、遠隔制御装置４２０は、受信した左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを一旦記憶部４２２に格納する。 Specifically, the remote control device 420 temporarily stores the received panoramic image PI for the left eye and the panoramic image PI for the right eye in the storage unit 422.

遠隔制御装置４２０は、記憶部４２２に格納した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取る切り取り処理を行う構成とされている。 The remote control device 420 is configured to perform a cutting process for cutting out a part PIP of the panoramic image PI for the left eye and a part PIP of the panorama image PI for the right eye stored in the storage unit 422.

なお、遠隔制御装置４２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理は、図４に示す画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理と同様の処理であり、ここでは説明を省略する。 The cutting process for cutting out a part of the panoramic image PI and PI by the remote control device 420 is the same as the cutting process for cutting out a part of the panoramic image PI and PI by the image processing device 320 shown in FIG. This is the process of, and the description thereof is omitted here.

遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整する。 The remote control device 420 transmits a part PIP of the panoramic image PI for the left eye and a panoramic image PI for the right eye to be transmitted to the display device 410 in response to the movement of the head 510 of the operator 500 sent from the display device 410. Adjust some PIPs of.

なお、遠隔制御装置４２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理は、図６に示す画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理と同様の処理であり、ここでは説明を省略する。 The adjustment process of adjusting the panoramic image PI, a part of the panoramic image PI, PIP, PIP according to the movement of the head 510 of the operator 500 by the remote control device 420 is performed by the image processing device 320 shown in FIG. This is the same process as the adjustment process for adjusting the panoramic image PI, a part of the PIP, and the PIP according to the movement of the head 510, and the description thereof will be omitted here.

また、遠隔制御装置４２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰをそれぞれ切り取る。 Further, the remote control device 420 cuts out some PIPs and PIPs of the adjusted panoramic images PI and PI in the panoramic images PI and PI, respectively.

図１１は、第３実施形態に係る表示システム１００の制御動作の一例を示すフローチャートである。 FIG. 11 is a flowchart showing an example of the control operation of the display system 100 according to the third embodiment.

第３実施形態に係る表示システム１００の制御動作では、図１１に示すように、先ず、作業機側１１０の画像処理装置３２０は、複数のカメラ部３１０〜３１０で撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭによりパノラマ画像ＰＩ，ＰＩを生成する（ステップＳ２０１）。 In the control operation of the display system 100 according to the third embodiment, as shown in FIG. 11, first, the image processing device 320 on the working machine side 110 has a plurality of captured image IMs captured by the plurality of camera units 310 to 310. Panorama images PI and PI are generated by ~ IM and IM ~ IM (step S201).

次に、画像処理装置３２０は、生成したパノラマ画像ＰＩ，ＰＩを遠隔操作側１２０の遠隔制御装置４２０に無線通信により送信する（ステップＳ２０２）。 Next, the image processing device 320 transmits the generated panoramic images PI and PI to the remote control device 420 on the remote control side 120 by wireless communication (step S202).

次に、遠隔操作側１２０の遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩを受信しながらパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を行う（ステップＳ２０３）。 Next, the remote control device 420 of the remote control side 120 cuts out a part of the panorama image PI, PI while receiving the panorama image PI, PI sent from the image processing device 320 of the work machine side 110. The cutting process is performed (step S203).

次に、遠隔制御装置４２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを表示装置４１０に送信する（ステップＳ２０４）。 Next, the remote control device 420 transmits the cut panoramic image PI, a part of the PIP, PIP of the PI to the display device 410 (step S204).

次に、表示装置４１０は、遠隔制御装置４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示する（ステップＳ２０５）。 Next, the display device 410 displays while receiving the panoramic image PI, a part of the panoramic image PI, PIP, PIP sent from the remote control device 420 (step S205).

次に、表示装置４１０は、操作者５００の頭部５１０の動きを検知しながら遠隔制御装置４２０に送信する（ステップＳ２０６）。 Next, the display device 410 transmits to the remote control device 420 while detecting the movement of the head 510 of the operator 500 (step S206).

次に、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きを受信しながら頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する（ステップＳ２０７）。 Next, the remote control device 420 receives the movement of the head 510 of the operator 500 sent from the display device 410, and receives some PIPs and PIPs of the panoramic images PI and PI according to the movement of the head 510. Adjust (step S207).

そして、第３実施形態に係る表示システム１００は、前記したステップＳ２０１〜Ｓ２０７の処理を処理動作が終了するまで繰り返す（ステップＳ２０８）。 Then, the display system 100 according to the third embodiment repeats the processes of steps S201 to S207 described above until the processing operation is completed (step S208).

第３実施形態に係る表示システム１００によれば、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整するので、操作者５００の頭部５１０の動きに合わせて表示装置４１０に表示される３次元的な視界を調整することができ、従って、表示装置４１０に表示される表示画像を操作者５００の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理を遠隔操作側１２０の遠隔制御装置４２０で行うので、該調整処理を作業機側１１０の画像処理装置３２０で行う場合に比べて、遠隔操作側１２０の遠隔制御装置４２０から作業機側１１０の画像処理装置３２０に頭部５１０の動きを送信するための時間を短縮することができる。 According to the display system 100 according to the third embodiment, the remote control device 420 transmits a panorama for the left eye to the display device 410 in response to the movement of the head 510 of the operator 500 sent from the display device 410. Since the partial PIP of the image PI and the partial PIP of the panoramic image PI for the right eye are adjusted respectively, the three-dimensional field of view displayed on the display device 410 is adjusted according to the movement of the head 510 of the operator 500. Therefore, the display image displayed on the display device 410 can be made to follow the movement of the line of sight of the operator 500. This makes it possible to improve the operability of remote control. Moreover, since the remote control device 420 of the remote control side 120 performs the adjustment process of adjusting the panoramic image PI, a part of the PIP of the PI, the PIP, PIP according to the movement of the head 510 of the operator 500, the adjustment process is performed by the working machine. Compared with the case where the image processing device 320 on the side 110 is used, the time for transmitting the movement of the head 510 from the remote control device 420 on the remote control side 120 to the image processing device 320 on the work machine side 110 can be shortened. it can.

ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。 By the way, in a display system configured to move the camera itself to display the display image on the display device, it takes time to move the camera when moving the display image to be displayed on the display device.

この点、第３実施形態に係る表示システム１００では、遠隔制御装置４２０においてパノラマ画像ＰＩ，ＰＩ（全方位的な画像または略全方位的な画像）を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。 In this regard, in the display system 100 according to the third embodiment, since the remote control device 420 has the panoramic images PI and PI (omnidirectional image or substantially omnidirectional image), the camera itself is moved. It is possible to eliminate the delay in the time required to move the camera as compared with the display system configured to display the display image on the display device.

（第４実施形態）
図１２は、第４実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。 (Fourth Embodiment)
FIG. 12 is a schematic configuration diagram schematically showing a display system 100 for remote control of the work machine 200 according to the fourth embodiment.

図１２に示すように、第４実施形態に係る表示システム１００は、第３実施形態に係る表示システム１００において、遠隔操作側１２０の遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を、複数の遠隔制御装置４２０〜４２０にそれぞれ対応する複数の表示装置４１０〜４１０としたものである。 As shown in FIG. 12, the display system 100 according to the fourth embodiment displays the remote control devices 420 on the remote control side 120 as a plurality of remote control devices 420 to 420 in the display system 100 according to the third embodiment. The device 410 is a plurality of display devices 410 to 410 corresponding to the plurality of remote control devices 420 to 420, respectively.

第４実施形態に係る表示システム１００において、第３実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第３実施形態に係る表示システム１００とは異なる点を中心に説明する。 In the display system 100 according to the fourth embodiment, substantially the same components as the display system 100 according to the third embodiment are designated by the same reference numerals, and are mainly different from the display system 100 according to the third embodiment. Explain to.

作業機側１１０の画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩ（全てのパノラマ画像ＰＩ，ＰＩのデータ）を無線通信により遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０に送信するように構成されている。ここで、作業機側１１０の画像処理装置３２０と遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０との間の通信は、第２実施形態の場合と同様であり、ここでは説明を省略する。 The image processing device 320 of the work machine side 110 is configured to transmit panoramic image PIs and PIs (data of all panoramic image PIs and PIs) to a plurality of remote control devices 420 to 420 of the remote control side 120 by wireless communication. Has been done. Here, the communication between the image processing device 320 on the work equipment side 110 and the plurality of remote control devices 420 to 420 on the remote control side 120 is the same as in the second embodiment, and description thereof will be omitted here. ..

遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩをそれぞれ受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを切り取り、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを、それぞれ対応する複数の表示装置４１０〜４１０に送信するように構成されている。 The plurality of remote control devices 420 to 420 on the remote control side 120 receive the panoramic images PI and PI sent from the image processing device 320, respectively, and a part of the received panoramic images PI and PI PIP to PIP, PIP to The PIP is cut out, and a part of the cut out panoramic image PI, PI, PIP to PIP, and PIP to PIP are configured to be transmitted to a plurality of corresponding display devices 410 to 410, respectively.

遠隔操作側１２０の複数の表示装置４１０〜４１０は、それぞれ対応する複数の遠隔制御装置４２０〜４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ表示する。複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）は、それぞれ対応する複数の操作者５００〜５００の頭部５１０〜５１０の動きをそれぞれ検知し、検知した複数の操作者５００〜５００の頭部５１０〜５１０の動きを、それぞれ対応する複数の遠隔制御装置４２０〜４２０に送信する。 The plurality of display devices 410 to 410 on the remote control side 120 receive and receive a part of the panoramic images PI and PI sent from the corresponding plurality of remote control devices 420 to 420, PIP to PIP and PIP to PIP. The panoramic images PI and a part of the PIs PIP to PIP and PIP to PIP are displayed respectively. The plurality of line-of-sight detection units 411 to 411 (in this example, the plurality of display devices 410 to 410) each detect the movements of the heads 510 to 510 of the corresponding plurality of operators 500 to 500, and the plurality of detected operations. The movements of the heads 510 to 510 of the persons 500 to 500 are transmitted to a plurality of remote control devices 420 to 420 corresponding to each.

遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ調整する。 The plurality of remote control devices 420 to 420 on the remote control side 120 are the heads of the plurality of operators 500 to 500 sent from the plurality of line-of-sight detectors 411 to 411 (in this example, the plurality of display devices 410 to 410). Partial PIP to PIP and PIP to PIP of the panoramic image PI and PI are adjusted according to the movements of 510 to 510, respectively.

また、遠隔制御装置４２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ切り取る。 Further, the remote control device 420 cuts out a part of the adjusted panoramic image PI, PI, PIP to PIP, and PIP to PIP in the panoramic image PI, PI, respectively.

第４実施形態に係る表示システム１００の処理の流れは、遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を複数の表示装置４１０〜４１０とした以外は図１１に示す第３実施形態に係る表示システム１００の処理の流れと実質的に同じであり、ここでは説明を省略する。 The processing flow of the display system 100 according to the fourth embodiment is shown in FIG. 11 except that the remote control device 420 is a plurality of remote control devices 420 to 420 and the display device 410 is a plurality of display devices 410 to 410. The processing flow of the display system 100 according to the third embodiment is substantially the same, and description thereof will be omitted here.

第４実施形態に係る表示システム１００によれば、複数の操作者５００〜５００は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置４１０〜４１０に表示される表示画像を視認することができ、これにより、第３実施形態の如く、一人の操作者５００が表示装置４１０に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。 According to the display system 100 according to the fourth embodiment, the plurality of operators 500 to 500 visually recognize the display images displayed on the plurality of display devices 410 to 410 corresponding to each other at the same time in a desired field of view. This makes it possible to improve the safety of work as compared with the case where one operator 500 visually recognizes the display image displayed on the display device 410 as in the third embodiment.

（第５実施形態）
図１３は、第５実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略側面図である。 (Fifth Embodiment)
FIG. 13 is a schematic side view schematically showing a display system 100 for remote control of the work machine 200 according to the fifth embodiment.

図１３に示すように、第５実施形態に係る表示システム１００は、第１実施形態から第４実施形態に係る表示システム１００〜１００において、作業機２００に設けられた支持部材３３０に代えて、昇降可能および垂直方向に回動可能な支持部材３４０を設けたものである。 As shown in FIG. 13, the display system 100 according to the fifth embodiment replaces the support member 330 provided in the work machine 200 in the display systems 100 to 100 according to the first to fourth embodiments. A support member 340 that can be raised and lowered and that can rotate in the vertical direction is provided.

第５実施形態に係る表示システム１００において、第１実施形態から第４実施形態に係る表示システム１００〜１００と実質的に同じ構成要素には同一符号を付し、その説明を省略する。 In the display system 100 according to the fifth embodiment, substantially the same components as the display systems 100 to 100 according to the first to fourth embodiments are designated by the same reference numerals, and the description thereof will be omitted.

支持部材３４０は、複数のカメラ部３１０〜３１０を支持する支持体３３１と、上端部で支持体３３１を複数のカメラ部３１０〜３１０が水平姿勢を維持するように支持する一方、下端部で上部体２２１に支持される支持台（この例では支持アーム３４２）とを有している。 The support member 340 supports the support 331 that supports the plurality of camera units 310 to 310 and the support 331 at the upper end portion so that the plurality of camera units 310 to 310 maintain the horizontal posture, while the upper end portion is the upper portion. It has a support base (support arm 342 in this example) supported by the body 221.

支持アーム３４２は、この例では、上端部で支持体３３１を左右方向に沿った軸線（第１支点３４２ａ）回りに回動自在に支持する一方、下端部で上部体２２１に左右方向に沿った軸線（第２支点３４２ｂ）回りに回動自在に支持される構成とされている。詳しくは、支持アーム３４２は、左右方向に沿った軸線（第２支点３４２ｂ）回りの回動に拘わらず、第２支点３４２ｂが第１支点３４２ａよりも後方に位置するように構成されている。支持アーム３４２は、複数（この例では前後方向で２本）の支持アーム３４２〜３４２とされている。複数の支持アーム３４２〜３４２は、前後方向に沿って平行に並設された状態で支持体３３１を上下移動可能に支持する平行リンク構成とされている。複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとの間の距離は、複数のカメラ部３１０〜３１０が水平姿勢を維持する距離とされている。この例では、複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとは、水平方向に沿って設けられており、複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとの間の距離は、何れも同一距離とされている。これにより、支持部材３４０は、複数の支持アーム３４２〜３４２の左右方向に沿った軸線（第２支点３４２ｂ〜３４２ｂ）回りの回動に拘わらず、複数のカメラ部３１０〜３１０を水平姿勢に維持することができる。ここで、水平姿勢は、既述のとおり、作業機２００が水平面に設置された場合での姿勢である。 In this example, the support arm 342 rotatably supports the support 331 around the axis (first fulcrum 342a) along the left-right direction at the upper end, while the support arm 342 along the upper body 221 at the lower end in the left-right direction. It is configured to be rotatably supported around the axis (second fulcrum 342b). Specifically, the support arm 342 is configured such that the second fulcrum 342b is located behind the first fulcrum 342a regardless of the rotation around the axis (second fulcrum 342b) along the left-right direction. The support arms 342 are a plurality of support arms 342 to 342 (two in the front-rear direction in this example). The plurality of support arms 342 to 342 have a parallel link configuration that supports the support 331 so as to be vertically movable in a state where the support arms 342 to 342 are arranged in parallel along the front-rear direction. The distance between the first fulcrum 342a to 342a and the second fulcrum 342b to 342b of the plurality of support arms 342 to 342 is a distance at which the plurality of camera units 310 to 310 maintain a horizontal posture. In this example, the first fulcrum 342a to 342a and the second fulcrum 342b to 342b of the plurality of support arms 342 to 342 are provided along the horizontal direction, and the first fulcrum 342a of the plurality of support arms 342 to 342 is provided. The distances between the ~ 342a and the second fulcrum 342b to 342b are all the same. As a result, the support member 340 maintains the plurality of camera units 310 to 310 in the horizontal posture regardless of the rotation around the axes (second fulcrum 342b to 342b) along the left-right direction of the plurality of support arms 342 to 342. can do. Here, the horizontal posture is the posture when the working machine 200 is installed on a horizontal surface as described above.

また、支持部材３４０は、支持アーム３４２〜３４２を駆動する駆動部３４３を備えている。駆動部３４３は、遠隔操作側１２０の遠隔操作装置２３０から操作指令が送信されることで作動し、支持アーム３４２〜３４２を回動および複数のカメラ部３１０〜３１０を昇降するようになっている。これにより、操作者５００は、支持アーム３４２〜３４２の回動動作を遠隔操作することにより、複数のカメラ部３１０〜３１０を昇降させることができる。 Further, the support member 340 includes a drive unit 343 that drives the support arms 342 to 342. The drive unit 343 operates by transmitting an operation command from the remote control device 230 on the remote control side 120, rotates the support arms 342 to 342, and moves the plurality of camera units 310 to 310 up and down. .. As a result, the operator 500 can move the plurality of camera units 310 to 310 up and down by remotely controlling the rotation operation of the support arms 342 to 342.

この例では、支持部材３４０は、カメラ部３１０〜３１０におけるレンズの中心位置の昇降方向における移動範囲Ｒが作業機２００の仕向地の平均的な体格（例えば身長や座高）を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置Ｈを含むように構成されている。ここで、画像処理装置３２０は、カメラ部３１０〜３１０におけるレンズの中心位置の昇降方向における現在の高さ位置を遠隔制御装置４２０に送信し、遠隔制御装置４２０は、現在の高さ位置を表示装置４１０に送信し、表示装置４１０は、カメラ部３１０〜３１０におけるレンズの中心位置の最大高さ位置ＭＡＸ、最小高さ位置ＭＩＮさらには着座高さ位置Ｈ等の各種の指標位置を表示した状態で、現在の高さ位置を表示するようになっていてもよい。これにより、操作者５００は、カメラ部３１０〜３１０におけるレンズの中心位置の現在の高さ位置を認識することが可能となる。 In this example, the support member 340 is seated by an operator whose movement range R in the ascending / descending direction of the center position of the lens in the camera unit 310-310 has an average physique (for example, height or sitting height) of the destination of the work machine 200. It is configured to include a seating height position H corresponding to the line-of-sight height when seated in. Here, the image processing device 320 transmits the current height position of the center position of the lens in the camera units 310 to 310 in the ascending / descending direction to the remote control device 420, and the remote control device 420 displays the current height position. It is transmitted to the device 410, and the display device 410 displays various index positions such as the maximum height position MAX of the center position of the lens, the minimum height position MIN, and the seating height position H in the camera units 310 to 310. Then, the current height position may be displayed. As a result, the operator 500 can recognize the current height position of the center position of the lens in the camera units 310 to 310.

また、支持部材３４０は、カメラ部３１０〜３１０におけるレンズの中心位置が着座高さ位置Ｈに位置しているときに、カメラ部３１０〜３１０が作業機２００に設けられるべき座席の水平方向（具体的には前後方向）における位置に相当する配設位置に位置するように構成されている。 Further, in the support member 340, when the center position of the lens in the camera units 310 to 310 is located at the seating height position H, the camera units 310 to 310 should be provided in the work machine 200 in the horizontal direction of the seat (specifically). It is configured to be located at an arrangement position corresponding to the position in the front-back direction).

なお、支持アーム３４２は、上端部で支持体３３１を固定した状態で支持体３３１を昇降可能に支持する構成とされていてもよい。 The support arm 342 may be configured to support the support body 331 so as to be able to move up and down with the support body 331 fixed at the upper end portion.

第５実施形態に係る表示システム１００によれば、複数のカメラ部３１０〜３１０は、昇降可能および垂直方向に回動可能な支持部材３４０に設けられていることで、操作者５００は、必要に応じて複数のカメラ部３１０〜３１０におけるレンズの中心位置の高さ、ひいては、操作者５００の視野高さを調整することができる。その結果、例えば、操作者５００は、鳥瞰的な視野により作業機２００の周囲状況のより広い視野を把握することが可能となる。また、複数のカメラ部３１０〜３１０の高さ位置が低くなるように支持部材３４０を作動させることで、作業機２００は、たとえ作業現場が穴の中や天井が低い場所であっても該作業現場に容易に入っていくことが可能となる。さらに、操作者５００が周囲状況を直視して（直接確認して）操作している場合は、複数のカメラ部３１０〜３１０が作業機２００に納まるように支持部材３４０を作動させることで、複数のカメラ部３１０〜３１０を作業機２００に格納することができる。また、支持アーム３４２〜３４２は、第２支点３４２ｂ〜３４２ｂが第１支点３４２ａ〜３４２ａよりも後方に位置するように構成されていることで、カメラ部３１０〜３１０は作業部２２０における第１支点３４２ａ〜３４２ａより前方の作業状態を確実に撮影することが可能となる。 According to the display system 100 according to the fifth embodiment, the plurality of camera units 310 to 310 are provided on the support member 340 that can be raised and lowered and that can be rotated in the vertical direction, so that the operator 500 is required. Accordingly, the height of the center position of the lens in the plurality of camera units 310 to 310, and by extension, the field of view height of the operator 500 can be adjusted. As a result, for example, the operator 500 can grasp a wider field of view of the surrounding situation of the work machine 200 from a bird's-eye view. Further, by operating the support member 340 so that the height positions of the plurality of camera units 310 to 310 are lowered, the work machine 200 can perform the work even if the work site is in a hole or a place where the ceiling is low. It will be possible to easily enter the site. Further, when the operator 500 directly looks at the surrounding situation (directly confirms) and operates the operation, a plurality of camera units 310 to 310 are operated by operating the support member 340 so as to fit in the work machine 200. The camera units 310 to 310 can be stored in the working machine 200. Further, the support arms 342 to 342 are configured such that the second fulcrums 342b to 342b are located behind the first fulcrums 342a to 342a, so that the camera units 310 to 310 are the first fulcrums in the working unit 220. It is possible to reliably photograph the working state in front of 342a to 342a.

（第６実施形態）
第６実施形態に係る表示システム１００は、第１実施形態から第５実施形態に係る表示システム１００〜１００において、複数のカメラ部３１０〜３１０の周辺部（近傍或いは近接した位置）に設けられた照明装置３５０〜３５０，３５０〜３５０を備えたものである。 (Sixth Embodiment)
The display system 100 according to the sixth embodiment is provided in the peripheral portion (near or close position) of the plurality of camera units 310 to 310 in the display systems 100 to 100 according to the first to fifth embodiments. It is equipped with lighting devices 350 to 350 and 350 to 350.

図１４は、第６実施形態に係る作業機２００の遠隔操作のための表示システム１００におけるカメラ部３１０を構成する一対のカメラ３１１，３１２および一対のカメラ３１１，３１２に設けられた照明装置３５０，３５０の一例を正面から視た概略構成図である。なお、複数のカメラ部３１０〜３１０にそれぞれ設けられる照明装置３５０〜３５０，３５０〜３５０は、何れも同じ構成であり、図１４では、複数のカメラ部３１０〜３１０のうちの１つのカメラ部３１０に設けられた照明装置３５０，３５０に代表させて示している。 FIG. 14 shows the pair of cameras 311, 312 and the lighting devices 350 provided on the pair of cameras 311, 312 that constitute the camera unit 310 in the display system 100 for remote control of the work machine 200 according to the sixth embodiment. It is a schematic block diagram which saw an example of 350 from the front. The lighting devices 350 to 350 and 350 to 350 provided in the plurality of camera units 310 to 310 have the same configuration, and in FIG. 14, one of the camera units 310 to 310 is the camera unit 310. It is shown as a representative of the lighting devices 350 and 350 provided in.

図１４に示すように、照明装置３５０，３５０は、一対のカメラ３１１，３１２のレンズ３１１ａ，３１２ａの周縁部の少なくとも一部に（この例では全周にわたって）光出射側が被写体側を向くように設けられている。この例では、照明装置３５０，３５０は、一対のカメラ３１１，３１２のレンズ３１１ａ，３１２ａの周縁部の全周に亘ってそれぞれ設けられた複数（この例では８個）の発光素子３５１〜３５１，３５１〜３５１（具体的には発光ダイオード）を備えている。複数の発光素子３５１〜３５１，３５１〜３５１は、レンズ３１１ａ，３１２ａの周方向に沿って均等または略均等に設けられている。 As shown in FIG. 14, in the lighting devices 350, 350, the light emitting side faces the subject side at least a part of the peripheral edge portion of the lenses 311a, 312a of the pair of cameras 311, 312 (over the entire circumference in this example). It is provided. In this example, the illumination devices 350, 350 are a plurality of (eight in this example) light emitting elements 351 to 351 provided over the entire circumference of the peripheral edges of the lenses 311a and 312a of the pair of cameras 311, 312, respectively. It is equipped with 351 to 351 (specifically, a light emitting diode). The plurality of light emitting elements 351 to 351 and 351 to 351 are provided evenly or substantially evenly along the circumferential direction of the lenses 311a and 312a.

第６実施形態に係る表示システム１００によれば、複数のカメラ部３１０〜３１０の周辺部に照明装置３５０〜３５０，３５０〜３５０が設けられていることで、照明装置３５０〜３５０，３５０〜３５０から照射される光により、複数のカメラ部３１０〜３１０によって撮影された撮影画像に影が入ることを効果的に防止することが可能となる。 According to the display system 100 according to the sixth embodiment, the lighting devices 350 to 350, 350 to 350 are provided in the peripheral portions of the plurality of camera units 310 to 310, so that the lighting devices 350 to 350, 350 to 350 are provided. It is possible to effectively prevent shadows from being cast on the captured images captured by the plurality of camera units 310 to 310 due to the light emitted from the camera units.

（第７実施形態）
ところで、作業現場では、作業計画（例えばどの程度の深さや範囲で掘削するのかといった作業計画）、作業部２２０の回動範囲（具体的には上部体２２１の旋回範囲やブーム２２２、アーム２２３およびバケット２２４の揺動範囲）またはガス管や水道管等の埋設管の位置などを操作者５００が予め認識して作業することは、作業の効率性や安全性といった作業性を向上させる上で極めて重要である。 (7th Embodiment)
By the way, at the work site, the work plan (for example, the work plan such as the depth and range of excavation), the rotation range of the work unit 220 (specifically, the rotation range of the upper body 221 and the boom 222, the arm 223 and It is extremely necessary for the operator 500 to recognize in advance the position of the bucket 224 or the position of the buried pipe such as the gas pipe or the water pipe and perform the work in order to improve the workability such as work efficiency and safety. is important.

かかる観点から、第７実施形態に係る表示システム１００は、第１実施形態から第６実施形態に係る表示システム１００〜１００において、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑ（例えば作業計画、作業部２２０の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報）の一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示装置４１０に表示させて拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現する構成とされている。ここで、拡張現実は、現実環境の情報に現実環境に関連する視覚情報を付け加える技術、詳しくは、カメラ部３１０〜３１０で撮影された現実環境の映像にコンピュータによる現実環境に関連する映像をリアルタイムでカメラ部３１０〜３１０の映像の動きに合わせて合成する技術である。 From this point of view, the display system 100 according to the seventh embodiment is the work assistance information corresponding to a part of the panoramic image PI, PI, PIP, PIP in the display systems 100 to 100 according to the first to sixth embodiments. Partial Q1 and Q1 of Q and Q (for example, work plan, rotation range of work unit 220 or position of buried pipe such as gas pipe and water pipe, and other supplementary information) are shown in panoramic images PI and PI. Along with some PIPs and PIPs, the panoramic image PI and some PIPs and PIPs of the PIs are additionally displayed on the display device 410 to realize augmented reality (AR). Here, augmented reality is a technique for adding visual information related to the real environment to information in the real environment. Specifically, the image of the real environment taken by the camera unit 310-310 is combined with the image related to the real environment by a computer in real time. This is a technique for synthesizing images according to the movement of images of the camera units 310 to 310.

図１５は、第７実施形態に係る作業機２００の遠隔操作のための表示システム１００において、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示装置４１０に表示している表示画面Ｄ，Ｄの一例を示す表示図である。図１５では、作業補助情報Ｑ，Ｑとして、地面Ｇ，Ｇの下に埋められた配管網の地図に基づいたガス管や水道管等の埋設管（作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１）の例を示している。また、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰは、実質的に同じ構成であるため、図１５では、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを１つの図で示し、それらの拡張現実の処理をまとめて説明する。 FIG. 15 shows, in the display system 100 for remote control of the work machine 200 according to the seventh embodiment, the panoramic images PI, a part of the PI, a part of the work assistance information Q, Q corresponding to the PIP, Q1, Q1. A display diagram showing an example of display screens D and D additionally displayed on the display device 410 in correspondence with the panoramic image PI and a part of the PI PIP and PIP and a part of the panoramic image PI and PI and the PIP and PIP. Is. In FIG. 15, as work assistance information Q, Q, buried pipes such as gas pipes and water pipes based on a map of the piping network buried under the ground G, G (part of work assistance information Q, Q Q1, An example of Q1) is shown. Further, since the partial PIP of the panoramic image PI for the left eye and the partial PIP of the panoramic image PI for the right eye have substantially the same configuration, in FIG. 15, a partial PIP of the panoramic image PI for the left eye and a partial PIP of the right eye A part of the panoramic image PI for PIP is shown in one figure, and the processing of their augmented reality will be described together.

第１実施形態および第３実施形態での遠隔制御装置４２０，４２０または第１実施形態での画像処理装置３２０は、表示システム１００において予め準備されたデータベース（例えば遠隔制御装置４２０における記憶部４２２または画像処理装置３２０における記憶部３２２に予め格納されたデータベース）、または、表示システム１００とは別の場所に設けられたデータベース（例えばインターネット上のサーバからダウンロードされたデータベース）に基づいて切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１を切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに付加する構成とされている。 The remote control devices 420, 420 in the first and third embodiments or the image processing device 320 in the first embodiment is a database prepared in advance in the display system 100 (for example, a storage unit 422 or a storage unit 422 in the remote control device 420). After cutting processing based on a database (database stored in advance in the storage unit 322 of the image processing device 320) or a database provided in a location different from the display system 100 (for example, a database downloaded from a server on the Internet). Panorama image PI, part of PI PIP, work assistance information corresponding to PIP Part of Q, Q Q1, Q1 after cutting processing Panorama image PI, part of PI corresponding to PIP, PIP after cutting processing The panoramic image PI and a part of the PI are added to the PIP and PIP.

或いは、第１実施形態および第３実施形態での画像処理装置３２０，３２０または第３実施形態での遠隔制御装置４２０は、表示システム１００において予め準備されたデータベース（例えば遠隔制御装置４２０における記憶部４２２または画像処理装置３２０における記憶部３２２に予め格納されたデータベース）、または、表示システム１００とは別の場所に設けられたデータベース（例えばインターネット上のサーバからダウンロードされたデータベース）に基づいて切り取り処理前のパノラマ画像ＰＩ，ＰＩに対応する作業補助情報Ｑ，Ｑを切り取り処理前のパノラマ画像ＰＩ，ＰＩに対応させて切り取り処理前のパノラマ画像ＰＩ，ＰＩに付加する構成とされている。そして、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取り処理では、対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１も切り取る。 Alternatively, the image processing devices 320, 320 in the first and third embodiments or the remote control device 420 in the third embodiment is a database prepared in advance in the display system 100 (for example, a storage unit in the remote control device 420). Cutting process based on 422 or a database stored in advance in the storage unit 322 of the image processing device 320, or a database provided in a location other than the display system 100 (for example, a database downloaded from a server on the Internet). The work assistance information Q and Q corresponding to the previous panoramic image PI and PI are added to the panoramic image PI and PI before the cutting process in correspondence with the panoramic image PI and PI before the cutting process. Then, in the process of cutting out the panoramic images PI and some PIPs and PIPs of the PIs, the corresponding work assistance information Q and Q1 and some parts Q1 and Q1 are also cut out.

このデータベースとしては、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）モデルに存在するデータベースを挙げることができる。なお、パノラマ画像ＰＩ，ＰＩは、例えば、作業機２００における全地球測位システム（ＧＮＮＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を用いた位置情報（緯度、経度）を含んでいる。また、作業補助情報Ｑ，Ｑは、例えば、パノラマ画像ＰＩ，ＰＩの位置情報（緯度、経度）に対応した位置情報（緯度、経度）を含むパノラマ画像を構成する情報とされている。 As this database, for example, a database existing in a CAD (Computer Aided Design) model can be mentioned. The panoramic images PI and PI include, for example, position information (latitude, longitude) using the Global Positioning System (GNNS) in the working machine 200. Further, the work assistance information Q, Q is, for example, information that constitutes a panoramic image including position information (latitude, longitude) corresponding to the position information (latitude, longitude) of the panorama images PI, PI.

そして、表示装置４１０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示する構成とされている。 Then, the display device 410 displays the panoramic image PI, a part of the PI, a part of the work assistance information Q, Q corresponding to the PIP, Q1 and Q1 together with the panoramic image PI, a part of the PI, and the panoramic image PI. It is configured to additionally display a part of PI corresponding to PIP and PIP.

これにより、操作者５００は、作業補助情報Ｑ，Ｑを予め認識することができる。例えば、操作者５００は、作業部２２０の回動位置（具体的には上部体２２１の旋回位置並びにブーム２２２、アーム２２３およびバケット２２４の揺動位置）が作業計画の所定の基準値に達しているか否か（例えば基準作業深さや所定の基準作業範囲を超えるか否か）、作業現場の作業範囲に達しているか否か（例えば作業現場の天井に接触するか否か）、また、作業現場の埋設物に達しているか否か（例えばガス管や水道管等の埋設管Ｑ１に接触するか否か）を認識することができる。 As a result, the operator 500 can recognize the work assistance information Q, Q in advance. For example, in the operator 500, the rotation position of the work unit 220 (specifically, the rotation position of the upper body 221 and the swing position of the boom 222, the arm 223, and the bucket 224) reaches a predetermined reference value in the work plan. Whether or not (for example, whether or not the standard work depth or the predetermined standard work range is exceeded), whether or not the work range of the work site is reached (for example, whether or not it touches the ceiling of the work site), and whether or not the work site It is possible to recognize whether or not it has reached the buried object (for example, whether or not it comes into contact with the buried pipe Q1 such as a gas pipe or a water pipe).

なお、かかる拡張現実を実現する構成は、従来公知の手法を用いて実現することができ、ここでは詳しい説明を省略する。 The configuration for realizing such augmented reality can be realized by using a conventionally known method, and detailed description thereof will be omitted here.

第７実施形態に係る表示システム１００によれば、表示装置４１０は、表示システム１００において予め準備されたデータベース、または、表示システム１００とは別の場所に設けられたデータベースに基づいてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示することで、操作者５００は、作業補助情報Ｑ，Ｑ（例えば作業計画、前記作業部の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報）を予め認識することができ、これにより、作業の効率性や安全性といった作業性を向上させることが可能となる。 According to the display system 100 according to the seventh embodiment, the display device 410 has a panoramic image PI, based on a database prepared in advance in the display system 100 or a database provided at a location different from the display system 100. Work assistance information Q, part of Q, Q1 and Q1 corresponding to part of PI and part of PIP are made to correspond to part of panorama image PI and part of PI PIP and PIP together with part of panorama image PI and part of PI. By additionally displaying, the operator 500 can perform work assistance information Q, Q (for example, work plan, rotation range of the work part, position of buried pipe such as gas pipe or water pipe, etc., and other supplementary information. Information) can be recognized in advance, which makes it possible to improve workability such as work efficiency and safety.

本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 The present invention is not limited to the embodiments described above, and can be implemented in various other forms. Therefore, such embodiments are merely exemplary in all respects and should not be construed in a limited way. The scope of the present invention is shown by the claims and is not bound by the text of the specification. Furthermore, all modifications and modifications that fall within the equivalent scope of the claims are within the scope of the present invention.

本発明は、作業機の遠隔操作のための表示システムに係るものであり、特に、表示装置に表示される表示画像を操作者の視線の動きに追従させるための用途に適用できる。 The present invention relates to a display system for remote control of a work machine, and is particularly applicable to an application for making a display image displayed on a display device follow the movement of the operator's line of sight.

１００ 表示システム
１１０ 作業機側
１２０ 遠隔操作側
２００ 作業機
２１０ 走行体
２２０ 作業部
２２１ 上部体
２２２ ブーム
２２３ アーム
２２４ バケット
２３０ 遠隔操作装置
２３１ 操作部
３００ 作業機側の構成要素
３１０ カメラ部
３１１ 左目用のカメラ
３１１ａ レンズ
３１２ 右目用のカメラ
３１２ａ レンズ
３２０ 画像処理装置
３２１ 制御部
３２２ 記憶部
３２３ 通信部
３３０ 支持部材
３３１ 支持体
３３１ａ 固定部材
３３２ 支柱
３４０ 支持部材
３４２ 支持アーム
３４２ａ 第１支点
３４２ｂ 第２支点
３４３ 駆動部
３５０ 照明装置
３５１ 発光素子
４００ 遠隔操作側の構成要素
４１０ 表示装置
４１１ 視線検知部
４２０ 遠隔制御装置
４２１ 制御部
４２２ 記憶部
４２３ 通信部
５００ 操作者
５１０ 頭部
ＣＢ１ 接続ケーブル
ＣＢ２ 接続ケーブル
Ｄ 表示画面
Ｇ 地面
Ｈ 着座高さ位置
ＩＭ 撮影画像
ＭＡＸ 最大高さ位置
ＭＩＮ 最小高さ位置
ＰＩ パノラマ画像
ＰＩＰ パノラマ画像の一部
Ｑ 作業補助情報
Ｑ１ 作業補助情報の一部
Ｒ 移動範囲
ｄ 間隔
Δα 相対基準点
α 基準点
β 水平方向の切り取り角度
γ 垂直方向の切り取り角度
θｐ ピッチング角度
θｒ ローリング角度
θｙ ヨーイング角度
φｐ ピッチング基準角度
φｒ ローリング基準角度
φｙ ヨーイング基準角度 100 Display system 110 Work machine side 120 Remote operation side 200 Work machine 210 Traveling body 220 Work part 221 Upper body 222 Boom 223 Arm 224 Bucket 230 Remote control device 231 Operation part 300 Work machine side components 310 Camera part 311 For left eye Camera 311a Lens 312 Right eye camera 312a Lens 320 Image processing device 321 Control unit 322 Storage unit 323 Communication unit 330 Support member 331 Support 331a Fixing member 332 Strut 340 Support member 342 Support arm 342a First fulcrum 342b Second fulcrum 343 Drive Unit 350 Lighting device 351 Light emitting element 400 Remote operation side component 410 Display device 411 Line-of-sight detection unit 420 Remote control device 421 Control unit 422 Storage unit 423 Communication unit 500 Operator 510 Head CB1 Connection cable CB2 Connection cable D Display screen G Ground H Seating height position IM Captured image MAX Maximum height position MIN Minimum height position PI Panorama image PIP Part of panorama image Q Work assistance information Q1 Part of work assistance information R Movement range d Interval Δα Relative reference point α Reference Point β Horizontal cutting angle γ Vertical cutting angle θp Pitching angle θr Rolling angle θy Yawing angle φp Pitching reference angle φr Rolling reference angle φy Yawing reference angle

Claims (13)

カメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、
を備えた作業機であって、
前記画像処理装置は、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機。 With the camera part
The captured image taken by the camera unit is cut out at a predetermined cutting angle corresponding to the viewing angle of the operator, and the shooting is performed according to the movement of the operator's head or eyeball received from an external device. An image processing device that performs adjustment processing to adjust the cropping angle of an image, and
It is a work machine equipped with
The image processing device is characterized in that when the response speed of the movement of the head or eyeball of the operator is faster than a predetermined response speed, the response speed is delayed to perform the adjustment process or the cutout process. Working machine to do. 請求項１に記載の作業機であって、
前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機。 The working machine according to claim 1.
The camera unit is a work machine characterized in that the lens of the camera unit is provided at a height position corresponding to the line-of-sight height when the worker of the work machine sits on a seat. 作業機に設けられたカメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る画像処理装置から受信した前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知して、検知した前記操作者の頭部または眼球の動きを前記画像処理装置に送信する作業機の遠隔操作のための表示装置であって、
前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示し、
前記作業補助情報は、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示装置。 The captured image received from the image processing device that crops the captured image captured by the camera unit provided in the work machine at a predetermined cropping angle corresponding to the viewing angle of the operator is displayed, and the operator's head or eyeball is displayed. It is a display device for remote operation of a work machine that detects the movement of the operator and transmits the detected movement of the head or eyeball of the operator to the image processing device.
The display device displays work assistance information corresponding to the captured image together with the captured image in correspondence with the captured image .
The work assistance information is a display device for remote control of the work machine, characterized in that it is within the operable range of the work machine. 請求項３に記載の表示装置であって、The display device according to claim 3.
地面の下に埋められた埋設物を表示することを特徴とする表示装置。A display device characterized by displaying buried objects buried under the ground. カメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、
を備えた作業機であって、
前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機。 With the camera part
The captured image taken by the camera unit is cut out at a predetermined cutting angle corresponding to the viewing angle of the operator, and the shooting is performed according to the movement of the operator's head or eyeball received from an external device. An image processing device that performs adjustment processing to adjust the cropping angle of an image, and
It is a work machine equipped with
The camera unit is a work machine characterized in that the lens of the camera unit is provided at a height position corresponding to the line-of-sight height when the worker of the work machine sits on a seat. 請求項５に記載の作業機であって、
前記カメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられていることを特徴とする作業機。 The working machine according to claim 5.
A working machine characterized in that the camera unit is provided on a support member that can be raised and lowered and that can rotate in a vertical direction. 請求項５または請求項６に記載の作業機であって、
前記カメラ部の周辺部に照明装置が設けられていることを特徴とする作業機。 The working machine according to claim 5 or 6.
A working machine characterized in that a lighting device is provided in a peripheral portion of the camera portion. 作業機の遠隔操作のための表示システムであって、
前記作業機に設けられたカメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、
前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、
を備え、
前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整する調整処理を行い、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。 A display system for remote control of work equipment
The camera unit provided on the work machine and
An image processing device that performs a cutting process for cutting a captured image taken by the camera unit at a predetermined cutting angle corresponding to the viewing angle of the operator.
A display device that displays the captured image transmitted from the image processing device, detects the movement of the operator's head or eyeball, and transmits the captured image to the image processing device.
With
The image processing device performs adjustment processing for adjusting the cutting angle of the captured image transmitted to the display device according to the movement of the head or eyeball of the operator sent from the display device. When the response speed of the movement of the operator's head or eyeball is faster than a predetermined response speed, the response speed is delayed to perform the adjustment process or the cutting process. Display system for. 作業機の遠隔操作のための表示システムであって、
前記作業機に設けられたカメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、
前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、
を備え、
前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、
前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示し、
前記作業補助情報は、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示システム。 A display system for remote control of work equipment
The camera unit provided on the work machine and
An image processing device that performs a cutting process for cutting a captured image taken by the camera unit at a predetermined cutting angle corresponding to the viewing angle of the operator.
A display device that displays the captured image transmitted from the image processing device, detects the movement of the operator's head or eyeball, and transmits the captured image to the image processing device.
With
The image processing device adjusts the cutting angle of the captured image transmitted to the display device according to the movement of the head or eyeball of the operator sent from the display device.
The display device displays work assistance information corresponding to the captured image together with the captured image in correspondence with the captured image.
The working auxiliary information display system for remote operation of the working machine, which is a working range of the previous SL working machine. 作業機の遠隔操作のための表示システムであって、
前記作業機に設けられたカメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、
前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、
を備え、
前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、
前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。 A display system for remote control of work equipment
The camera unit provided on the work machine and
An image processing device that performs a cutting process for cutting a captured image taken by the camera unit at a predetermined cutting angle corresponding to the viewing angle of the operator.
A display device that displays the captured image transmitted from the image processing device, detects the movement of the operator's head or eyeball, and transmits the captured image to the image processing device.
With
The image processing device adjusts the cutting angle of the captured image transmitted to the display device according to the movement of the head or eyeball of the operator sent from the display device.
The camera unit is provided for remote control of the work machine, wherein the lens of the camera unit is provided at a height position corresponding to the line-of-sight height when the worker of the work machine is seated on the seat. Display system. 請求項１０に記載の表示システムであって、The display system according to claim 10.
地面の下に埋められた埋設物を表示することを特徴とする表示システム。A display system characterized by displaying buried objects buried under the ground. 請求項８から請求項１１までの何れか１つに記載の作業機の遠隔操作のための表示システムであって、
前記カメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられていることを特徴とする作業機の遠隔操作のための表示システム。 The display system for remote control of the work machine according to any one of claims 8 to 11.
The camera unit is a display system for remote control of a working machine, which is provided on a support member that can be raised and lowered and that can rotate in a vertical direction. 請求項８から請求項１２までの何れか１つに記載の作業機の遠隔操作のための表示システムであって、
前記カメラ部の周辺部に照明装置が設けられていることを特徴とする作業機の遠隔操作のための表示システム。 A display system for remote operation of the working machine according to any one of claims 8 to claim 1 2,
A display system for remote control of a work machine, characterized in that a lighting device is provided in a peripheral portion of the camera unit.
JP2019198585A 2019-10-31 2019-10-31 Work equipment, display devices and display systems for remote control of work equipment Active JP6857701B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019198585A JP6857701B2 (en) 2019-10-31 2019-10-31 Work equipment, display devices and display systems for remote control of work equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198585A JP6857701B2 (en) 2019-10-31 2019-10-31 Work equipment, display devices and display systems for remote control of work equipment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017522339A Division JP6612865B2 (en) 2014-11-17 2014-11-17 Display system for remote control of work equipment

Publications (2)

Publication Number Publication Date
JP2020031435A JP2020031435A (en) 2020-02-27
JP6857701B2 true JP6857701B2 (en) 2021-04-14

Family

ID=69622952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198585A Active JP6857701B2 (en) 2019-10-31 2019-10-31 Work equipment, display devices and display systems for remote control of work equipment

Country Status (1)

Country Link
JP (1) JP6857701B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05289739A (en) * 1992-04-06 1993-11-05 Shinko Electric Co Ltd Three-dimensional image processor and teleoperating system
JP2844040B2 (en) * 1993-05-07 1999-01-06 東急建設株式会社 3D display device
JPH08191419A (en) * 1995-01-10 1996-07-23 Yamaha Corp Head mount display system
JP2973867B2 (en) * 1995-05-26 1999-11-08 日本電気株式会社 View point tracking type stereoscopic display apparatus and viewpoint tracking method
JPH11320467A (en) * 1998-05-08 1999-11-24 Marusan Seiyaku Kk Remote control type working robot
JP2005308282A (en) * 2004-04-20 2005-11-04 Komatsu Ltd Firearm device
BR112015010280B1 (en) * 2012-11-13 2022-06-21 Sony Corporation Image display system and method

Also Published As

Publication number Publication date
JP2020031435A (en) 2020-02-27

Similar Documents

Publication Publication Date Title
JP6612865B2 (en) Display system for remote control of work equipment
KR101835434B1 (en) Method and Apparatus for generating a protection image, Method for mapping between image pixel and depth value
CN105659170B (en) For transmitting the method and video communication device of video to remote user
US9479732B1 (en) Immersive video teleconferencing robot
JP4951639B2 (en) Work machine with ambient monitoring device
US10732001B1 (en) Methods and systems for response vehicle deployment
JP6947101B2 (en) Remote control system and main control device
JP2016180866A (en) Aerial shoot device
CA2950822C (en) System and method for remote monitoring at least one observation area
JP6540572B2 (en) Display device and display control method
JP6857701B2 (en) Work equipment, display devices and display systems for remote control of work equipment
EP3547663B1 (en) Panaoramic vision system with parallax mitigation
JP6368503B2 (en) Obstacle monitoring system and program
WO2019187464A1 (en) Display device and remote operation system
KR101572800B1 (en) System for controlling camera on the 3d virtual modeling
JP2019083370A (en) Vision expansion system for construction machine
JP2018056845A (en) Work support apparatus, system, method and program
US20170126969A1 (en) Image shooting module and system thereof
JP2022053421A (en) Display system, display method, and program for remote control
CN106856558B (en) Send the 3D image monitoring and its monitoring method of function automatically with video camera
JP7508815B2 (en) Work support server and work support method
WO2023228331A1 (en) Remote machine operation system, visual presentation device, visual presentation method, and program
JP2018026706A (en) Image processing apparatus, image display device, image processing system, and image processing method
JP2022030985A (en) Information processing device, information processing method and information processing system
CN115437390A (en) Control method and control system of unmanned aerial vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R150 Certificate of patent or registration of utility model

Ref document number: 6857701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150