WO2019187464A1 - 表示装置及び遠隔操作システム - Google Patents

表示装置及び遠隔操作システム Download PDF

Info

Publication number
WO2019187464A1
WO2019187464A1 PCT/JP2019/000036 JP2019000036W WO2019187464A1 WO 2019187464 A1 WO2019187464 A1 WO 2019187464A1 JP 2019000036 W JP2019000036 W JP 2019000036W WO 2019187464 A1 WO2019187464 A1 WO 2019187464A1
Authority
WO
WIPO (PCT)
Prior art keywords
plate member
display screen
display device
image data
display
Prior art date
Application number
PCT/JP2019/000036
Other languages
English (en)
French (fr)
Inventor
大祐 近藤
前田　太郎
正紘 古川
裕 吉灘
Original Assignee
株式会社小松製作所
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所, 国立大学法人大阪大学 filed Critical 株式会社小松製作所
Publication of WO2019187464A1 publication Critical patent/WO2019187464A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a display device and a remote operation system.
  • Patent Document 1 discloses a TV camera that captures a work site, a head position detection sensor that detects the position of the head of the worker, and a direction in which the shooting direction of the TV camera corresponds to the detection result of the head position detection sensor.
  • a teleoperating system including an actuator that controls the orientation of a TV camera and a projector that generates an image light wave from a photographing signal and projects the image on a screen is disclosed.
  • the operator can check a wide range by using image data taken with a wide-field imaging device. Further, for example, an object having a viewing angle of 2 [°] viewed from the imaging device is shown to the operator with a viewing angle of 2 [°], and an object in the horizontal direction as viewed from the imaging device is, for example, By showing it to the worker in the horizontal direction, the visual space as if it were there is reproduced. Therefore, it is preferable that image data of a work site photographed by a wide-field imaging device is displayed on a wide-field display device. Thereby, the effect of the improvement of work efficiency, the smoothness of work, and the suppression of spatial illness at the time of movement can be acquired.
  • the display screen of the display device When a sufficient space for installing the display device cannot be secured in the remote operation facility, it is effective to make the display screen of the display device a curved surface. Further, when the display screen is curved, it is possible to form a display screen with a wide field of view in a small space without providing a seam. However, when the display screen is curved by molding as in the technique disclosed in Patent Document 1, a large mold is required and the cost increases. Further, the screen disclosed in Patent Document 1 has poor transportability. Thus, even if the display screen is a curved surface, the cost of the remote operation system may increase depending on the configuration of the display device.
  • An object of the present invention is to display image data of a work site photographed by a wide-field imaging device from a worker with a wide field of view in a cost and space-saving manner.
  • a flexible plate member having a display screen and a support device that supports the plate member in a bent state are provided, and the support device has a predetermined center on the display screen.
  • a display device is provided that supports the plate member so as to surround the shaft and so that the central axis is inclined forward.
  • the aspect of the present invention it is possible to display the image data of the work site photographed by the wide-field imaging device with a wide field of view and cost-saving as viewed from the operator.
  • FIG. 1 is a diagram schematically illustrating a remote operation system according to the first embodiment.
  • FIG. 2 is a perspective view schematically showing the display device according to the first embodiment.
  • FIG. 3 is a side view schematically showing the display device according to the first embodiment.
  • FIG. 4 is a diagram schematically illustrating the plate member according to the first embodiment.
  • FIG. 5 is a diagram schematically illustrating a plate member according to the first embodiment.
  • FIG. 6 is a diagram schematically illustrating a method for assembling the display device according to the first embodiment.
  • FIG. 7 is a perspective view schematically showing the display device according to the second embodiment.
  • FIG. 1 is a diagram schematically illustrating an example of a remote operation system 100 for a work machine 1 according to the present embodiment.
  • the work machine 1 is a hydraulic excavator.
  • the work machine 1 is appropriately referred to as a hydraulic excavator 1.
  • the hydraulic excavator 1 includes a work machine 2, a swivel body 3, and a traveling body 5 that supports the swivel body 3 so as to be turnable.
  • the traveling body 5 has a crawler belt. As the crawler belt rotates, the excavator 1 travels.
  • the work machine 2 is connected to the swing body 3.
  • the work implement 2 drives a boom 6 connected to the swing body 3, an arm 7 connected to the boom 6, a bucket 8 connected to the arm 7, a boom cylinder 10 that drives the boom 6, and the arm 7.
  • Each of the boom cylinder 10, the arm cylinder 11, and the bucket cylinder 12 is a hydraulic cylinder driven by hydraulic pressure.
  • the hydraulic excavator 1 exists at the work site and works at the work site.
  • the remote operation system 100 is provided in a remote operation facility existing in a remote area of the work site, and is provided in the remote operation facility 40 for remotely operating the excavator 1 and displays image data relating to the work site.
  • the display device 50 includes a display device 50 and a control device 60 provided in the remote operation facility and connected to each of the remote operation device 40 and the display device 50. Each of the remote operation device 40, the display device 50, and the control device 60 is separate from the hydraulic excavator 1.
  • the remote operation system 100 includes an imaging device 30 that is provided at a work site and acquires image data of the work site.
  • the imaging device 30 is mounted on the excavator 1.
  • the imaging device 30 is fixed to the revolving unit 3.
  • the imaging device 30 captures the object existing in front of the revolving unit 3 and acquires image data of the object.
  • the imaging device 30 can acquire image data with a wide field of view sufficient for remote operation.
  • the imaging device 30 may be a monocular camera or a stereo camera.
  • the object photographed by the imaging device 30 includes a construction object to be constructed at the work site.
  • the construction object includes an excavation object excavated by the work machine 2 of the excavator 1.
  • the construction object may be a construction object constructed by a work machine different from the hydraulic excavator 1 or a construction object constructed by an operator.
  • a construction object is a concept including a construction object before construction, a construction object during construction, and a construction object after construction.
  • the object photographed by the imaging device 30 includes at least a part of the excavator 1.
  • the object photographed by the imaging device 30 includes, for example, at least one of the work machine 2, the revolving body 3, and the traveling body 5.
  • the work machine 2 that is the object may be the work machine 2 in a state of performing excavation operation, or may be the work machine 2 in a state of not performing excavation operation.
  • the revolving body 3 that is the object may be the revolving body 3 that is in a turning operation, or may be the revolving body 3 that is not in a turning operation.
  • the traveling body 5 that is the object may be the traveling body 5 that is in a traveling operation, or may be the traveling body 5 that is not in a traveling operation.
  • the object photographed by the imaging device 30 may be a work machine arranged around the hydraulic excavator 1 that is remotely operated.
  • the object photographed by the imaging device 30 may be a hydraulic excavator different from the remotely operated hydraulic excavator 1, or may be a transport vehicle such as a dump truck.
  • the hydraulic excavator 1 is equipped with a control device 300.
  • the control device 300 and the control device 60 communicate via the communication system 400.
  • the communication system 400 includes a wireless communication device 401 mounted on the excavator 1.
  • the communication system 400 includes at least one of the Internet, a local area network (LAN), a mobile phone communication network, and a satellite communication network.
  • the image data acquired by the imaging device 30 is transmitted to the control device 60 via the communication system 400.
  • the control device 60 outputs the acquired image data to the display device 50.
  • the display device 50 displays the image data acquired by the imaging device 30.
  • the remote operation device 40 includes an operation lever for remotely operating the work machine 2 and the swing body 3 of the excavator 1 and a travel lever for remotely operating the travel body 5.
  • the operator operates the remote operation device 40 while viewing the image data displayed on the display device 50 in the remote operation facility.
  • the image data presented to the operator by the display device 50 may be image data that reproduces a viewing space at a remote place, or may be a virtual multi-monitor in which a plurality of auxiliary image data are arbitrarily arranged. It may be mixed.
  • the image data displayed on the display device 50 may be 3D glasses or a stereoscopic image by some method, or may be a 2D image that is not a stereoscopic image.
  • An operation signal generated by operating the remote operation device 40 is transmitted to the control device 300 via the communication system 400.
  • the control device 300 outputs a control signal for controlling the work implement 2, the turning body 3, and the traveling body 5 based on the operation signal. Thereby, the hydraulic excavator 1 is remotely operated.
  • FIG. 2 is a perspective view schematically showing the display device 50 according to the present embodiment.
  • FIG. 3 is a side view schematically showing the display device 50 according to the present embodiment.
  • the display device 50 includes a flexible plate member 51 having a display screen 51S, a support device 52 that supports the plate member 51 in a state where at least a part of the plate member 51 is bent, and image data to the plate member 51. And a projector 53 for projection.
  • the remote control device 40 and the cockpit 70 are arranged at a position facing the display screen 51S of the plate member 51.
  • the operator sits on the cockpit 70 so as to face the display screen 51S of the plate member 51.
  • the operator operates the remote operation device 40 while looking at the display screen 51S of the display device 50.
  • the plate member 51 is a flexible member.
  • the plate member 51 has a display screen 51S that is a front surface and a back surface.
  • the operator can bend the plate member 51 freely by applying a force to the plate member 51. Further, by releasing the force applied to the plate member 51, the shape of the display screen 51S of the plate member 51 returns to a planar shape.
  • the plate member 51 can be bent so that the display screen 51S surrounds a predetermined central axis. That is, the plate member 51 is made of a material that can be bent into a cylindrical shape or a conical shape but cannot be deformed into a spherical shape or a bowl shape. In the present embodiment, the plate member 51 is made of a synthetic resin such as polycarbonate.
  • the display screen 51S of the plate member 51 is pasted with some surface treatment, painting, or material, and has a property suitable for the projection screen.
  • the support device 52 supports the plate member 51 in a bent state.
  • the support device 52 has a frame structure in which a plurality of bar members 52F are combined.
  • the bar member 52F includes a plurality of bar members 52Fa (column members) extending in the vertical direction, a plurality of bar members 52Fb (beam members) connected to the bar members 52Fa and extending in a first direction in a horizontal plane, A plurality of rod members 52Fc (beam members) connected to the member 52Fa and extending in a second direction orthogonal to the first direction in a horizontal plane. At least a part of the plate member 51 is in contact with the bar member 52F. Further, the support device 52 includes a support member 52S for aligning the plate member 51.
  • the projector 53 projects the image data acquired by the imaging device 30 onto the display screen 51S of the plate member 51.
  • the plate member 51 displays the image data projected from the projector 53.
  • the projector 53 is disposed above the plate member 51.
  • the projector 53 projects image data on the display screen 51S by the front projection method.
  • a reflective member 54 is disposed above the cockpit 70.
  • the projector 53 projects image data on the reflecting member 54.
  • the reflection member 54 reflects the image data from the projector 53 and projects it onto the display screen 51S of the plate member 51.
  • the display device 50 may display the image data on the display screen 51 ⁇ / b> S by a rear projection method in which the image data is projected from the back surface of the plate member 51.
  • the control device 60 includes a computer system.
  • the control device 60 includes an arithmetic processing device including a processor such as a CPU (Central Processing Unit), a volatile memory such as a RAM (Random Access Memory), and a nonvolatile memory such as a ROM (Read Only Memory).
  • a processor such as a CPU (Central Processing Unit)
  • a volatile memory such as a RAM (Random Access Memory)
  • a nonvolatile memory such as a ROM (Read Only Memory).
  • a device and an input / output interface is an input / output interface.
  • FIG. 4 is a diagram schematically showing the plate member 51 according to the present embodiment, and is a development view of the plate member 51 in a state where it is not bent (a state where no force is applied).
  • FIG. 5 is a diagram schematically showing the plate member 51 according to the present embodiment, and is a perspective view showing the plate member 51 in a state of being supported by the support device 52 and being bent (a state where force is applied). .
  • each of the display screen 51S and the back surface of the plate member 51 is a flat surface.
  • the weight and size of the plate member 51 are weight and size that can be transported manually by an operator.
  • the thickness of the plate member 51 is a thickness that can be easily bent by an operator applying force.
  • the height A of the plate member 51 when not bent is about 1700 [mm]
  • the width B of the plate member 51 is about 2800 [mm].
  • the thickness of the plate member 51 is 3 [mm] or more and 5 [mm] or less.
  • the plate member 51 has an upper side E1, a lower side E2, a left side E3, and a right side E4.
  • each of the upper side E1, the lower side E2, the left side E3, and the right side E4 has a sine curve shape.
  • the distance between the left side E3 and the right side E4 gradually increases toward the upper side E1.
  • the plate member 51 is supported by the support device 52 so that the display screen 51S surrounds the central axis AX of the cylinder. That is, the plate member 51 is supported by the support device 52 in a state of being bent into a cylindrical shape.
  • the support device 52 supports the plate member 51 so that the display screen 51S surrounds the central axis AX of the cylinder.
  • the shape of the plate member 51 supported by the support device 52 is a shape obtained by extracting a part of the cylindrical member.
  • the opening K1 is defined by the upper side E1.
  • the opening K2 is defined by the lower side E2.
  • the support device 52 supports the plate member 51 such that the central axis AX is inclined forward with respect to the vertical axis (normal to the horizontal plane).
  • the forward direction refers to a direction from the viewpoint EP of the operator seated on the cockpit 70 so as to face the display screen 51S toward the display screen 51S. That is, the support device 52 supports the plate member 51 so that the upper side E1 is farther from the cockpit 70 than the lower side E2 in a direction parallel to the horizontal plane in a state where the plate member 51 is bent in a cylindrical shape.
  • the inclination angle ⁇ of the central axis AX with respect to the normal line of the horizontal plane is 25 [°] or more and 50 [°] or less.
  • the inclination angle ⁇ is preferably 45 [°].
  • the standard height H of the viewpoint EP of the operator seated on the cockpit 70 is about 1200 [mm].
  • the viewing distance L indicating the horizontal distance between the viewpoint EP and the display screen 51S at the height H is 1300 [mm] or more and 1500 [mm] or less.
  • the height M of the plate member 51 is about 1500 [mm].
  • each of the upper side E1 and the lower side E2 is parallel to the horizontal plane.
  • FIG. 6 is a diagram schematically illustrating an assembling method of the display device 50 according to the present embodiment. As shown in FIG. 6A, in a state where no force is applied to the plate member 51, the display screen 51S and the back surface of the plate member 51 are flat surfaces.
  • the support device 52 has a fixing member 55 for releasably fixing the plate member 51.
  • the operator bends the plate member 51 and contacts the bar member 52F of the support device 52, and then fixes the end of the plate member 51 and at least a part of the bar member 52F with the fixing member 55. Accordingly, as shown in FIG. 6B, the plate member 51 is fixed to the rod member 52F in a state of being bent into a cylindrical shape.
  • the fixing member 55 only needs to be able to fix the plate member 51 and the bar member 52F so as to be releasable.
  • the fixing member 55 may be a clamp member that fixes the end portion of the plate member 51 and at least a part of the bar member 52F, or fastens the end portion of the plate member 51 and at least a part of the bar member 52F.
  • a bolt to be fixed may be used.
  • the fixing member 55 locks the end portion of the plate member 51 to suppress the displacement of the plate member 51 due to its own weight, or the displacement due to the elastic force of the bent plate member 51 returning to a flat shape. It suffices if it can be suppressed.
  • the fixing member 55 only needs to be able to support the plate member 51 so that the plate member 51 does not fall and does not spread from side to side.
  • the imaging device 30 acquires image data of an object on the work site.
  • the image data acquired by the imaging device 30 is transmitted to the control device 60 via the communication system 400 at a specified period.
  • the control device 60 outputs the image data to the projector 53 in order to display the image data acquired by the imaging device 30 on the display device 50.
  • the projector 53 projects the image data on the display screen 51 ⁇ / b> S of the plate member 51 through the reflecting member 54.
  • the plate member 51 is supported by the support device 52 in a bent state.
  • the display screen 51S is a curved surface. When projecting the image data on the display screen 51S, the projector 53 projects the corrected image data so that distortion caused by the curved surface is removed when viewed from the viewpoint of the operator.
  • the image to be shown to the worker is an image acquired by the imaging device 30.
  • a desirable position and size to be shown are determined based on the angle and angle of view of the imaging device 30.
  • the image to be generated on the display screen 51S is determined from the relationship between the three-dimensional coordinates of the worker's viewpoint and the three-dimensional shape of the display screen 51S. Further, the three-dimensional shape of the display screen 51S and the position and orientation of the projector 53 are determined. From this relationship, an image to be projected is calculated such that the projection result becomes the “image to be generated on the display screen 51S”.
  • the image to be projected may be input to the projector 53.
  • the above processing is performed by the control device 60. Note that the above processing may be performed using a function built in the projector 53.
  • the three-dimensional shape of the display screen 51S is converted into data based on a design value, an actual measurement value, or real-time shape measurement, and is input to the control device 60 and used.
  • the three-dimensional position and orientation of the projector 53 are converted into data based on a design value or an actual measurement value, and input to the control device 60 for use.
  • the projection correction may be performed only by two-dimensional image deformation without using the three-dimensional position and orientation.
  • the three-dimensional position of the worker's viewpoint is inputted in advance to the control device 60 as the viewpoint position data assumed from the worker's sitting position, or in real time using some viewpoint tracking method. Data for which the viewpoint is measured is input to the control device 60 and used.
  • the plate member 51 is bent, and the display screen 51S is a curved surface. Therefore, the image data of the work site photographed by the imaging device 30 having a wide field of view can be provided to the worker in a space-saving manner.
  • the projector 53 can project the image data onto the display screen 51S and provide it to the worker with a wide field of view.
  • the image was taken with the imaging device 30 having a wide field of view while reducing the occupied space of the display device 50 by bending the plate member 51.
  • the image data of the work site can be displayed on the display screen 51S and provided to the worker with a wide field of view.
  • An operator sitting in the cockpit 70 operates the remote control device 40 while viewing the image data displayed on the display screen 51S of the plate member 51. Since the image data of the work site photographed by the wide-field imaging device 30 is provided to the worker via the display screen 51S, the worker can smoothly operate the hydraulic excavator 1 remotely while viewing the image data. it can.
  • the operation signal generated by operating the remote operation device 40 is transmitted to the control device 300 via the communication system 400.
  • the control device 300 outputs a control signal for controlling the work implement 2, the turning body 3, and the traveling body 5 based on the operation signal. Thereby, the hydraulic excavator 1 is remotely operated.
  • the display device 50 includes the flexible plate member 51 and the support device 52 that supports the plate member 51 in a bent state. As the plate member 51 bends, the display screen 51S becomes a curved surface. Therefore, the display device 50 can display the image data of the work site imaged by the imaging device 30 with a wide field of view on the display screen 51S and provide it to the worker with a wide field of view. Therefore, the operator can smoothly remote-operate the excavator 1 while looking at the image data displayed on the display screen 51S.
  • the plate member 51 is flexible, the amount of bending of the plate member 51 (the curvature of the display screen 51S) can be arbitrarily adjusted based on, for example, the space of the remote operation facility. For example, when the space of the remote operation facility is small, the space occupied by the display device 50 can be reduced by largely bending the plate member 51 so that the curvature of the display screen 51S is increased.
  • the display screen 51S can be curved with an arbitrary curvature simply by bending the plate member 51. It is impossible to arbitrarily change the amount of bending with a synthetic resin that has been injection molded into a curved surface in advance, or a metal member that is plastically fixed to the curved surface. Moreover, it is difficult to arbitrarily adjust the amount of bending of the plate member based on the space of the remote operation facility. Moreover, it is highly possible that it is difficult to reduce the weight and cost of the metal plate member. In the case of a metal plate member, it is likely that it is difficult to obtain a large display screen with a single plate member.
  • the plate member 51 is flexible.
  • the plate member 51 is made of synthetic resin. Thereby, weight reduction and cost reduction of the plate member 51 are achieved. Since the plate member 51 is lightweight, the operator can easily carry the plate member 51. Since good portability is obtained, the display device 50 can be easily installed at an arbitrary position in the remote operation facility. Moreover, since the plate member 51 is flexible, it can be easily transported in a state where the occupied space is reduced by bending it at the time of transport than when in use. Moreover, the plate member 51 can be expanded again by elasticity.
  • the display device 50 can provide the operator with image data of the work site photographed by the imaging device 30 having a wide field of view with a wide field of view.
  • the plate member 51 is supported by the support device 52 so that the display screen 51S surrounds the central axis AX of the cylinder.
  • the continuous bending is formed by the elasticity of the plate member 51, and the shape is maintained.
  • the display screen 51S can be made into a smooth curved surface with a simple support structure.
  • a wide field of view is required in the horizontal direction to confirm left and right when the revolving unit 3 is turning.
  • the cylindrical display screen 51S can realize a horizontal visual field of 180 [°] or more. Such a wide field of view cannot be obtained with a flat screen.
  • the lower side than the horizontal is a range to be mainly confirmed.
  • a wide field of view is required in the vertical direction.
  • the cylindrical display screen 51S is inclined forward. As a result, it is possible to obtain an image with a wide field of view in the depression direction while maintaining a sufficient viewing distance while suppressing an increase in the scale of the apparatus.
  • the visual field (front, left, right, and lower) required for remote operation of the work machine is sufficient while being a simple shape with a tilted cylinder formed by the flexibility of a flat plate.
  • the display device 50 image projection screen
  • the display device 50 can be configured so that a sufficient viewing distance can be secured at the same time, and the space is saved and the joint is seamless. Since it has a simple shape, it needs only a simple structure in which a part is fixed and a smooth curved surface is formed by elasticity (restoring force), and it is easily portable for easy disassembly, assembly, and movement. .
  • the opening K1 is formed by bending the plate member 51 into a cylindrical shape. By providing the opening K1, sound is emitted to the outside of the space through the opening K1. That is, the opening K1 suppresses the sound from being amplified or reverberated. Thereby, the operator can carry out remote operation without feeling uncomfortable.
  • the support device 52 supports the plate member 51 so that the central axis AX is inclined forward.
  • the center of the display screen 51S is moved away from the seated worker, and at the same time, the lower part of the display screen 51S is brought closer to the seated worker. This makes it possible to increase the viewing distance L and to increase the lower viewing angle. By increasing the viewing distance L, operator discomfort and eye strain are suppressed.
  • the horizontal ground approaches the viewpoint from the top to the bottom in the field of view. Therefore, the display screen 51S has the same polarity of inclination even if it does not coincide with the display content, so that it becomes a natural image presentation and suppresses eye strain. In addition, by tilting the display screen 51S forward, the viewpoint tends to approach from the top to the bottom in the field of view. It is said that humans have a physiological reflex that directs the gaze distance closer as the line of sight is directed downward. Therefore, since the display screen 51S has an inclination suitable for physiological reflection, it becomes a natural image presentation and suppresses eye strain.
  • the support device 52 has a fixing member 55 that fixes the plate member 51 so as to be releasable. Thereby, the plate member 51 and the support device 52 can be easily fixed or separated. By separating the plate member 51 and the support device 52, the operator can easily carry each of the plate member 51 and the support device 52. Thereby, the display apparatus 50 can be installed in an arbitrary position of the remote operation facility.
  • the display screen 51S is a part of the cylindrical surface.
  • the support device 52 may support the plate member 51 so that the display screen 51S surrounds the predetermined center axis AX.
  • the display screen 51S may be a part of a conical surface, for example.
  • FIG. 7 is a perspective view schematically showing the display device 50 according to the present embodiment.
  • the plate member 51 is bent in a cylindrical shape so that the display screen 51S surrounds the central axis AX of the cylinder. As shown in FIG. 7, the plate member 51 may not be bent into a cylindrical shape.
  • the support device 52 supports the plate member 51 such that each of the upper end portion, the left end portion, and the right end portion of the plate member 51 is bent toward the cockpit 70.
  • the central portion of the plate member 51 is a flat surface, and each of the upper end portion, the left end portion, and the right end portion of the plate member 51 is a cylindrical surface that is continuous with the flat surface of the central portion.
  • a display device 50 that can save space at a low cost is provided.
  • the imaging device 30 provided at the work site may be singular or plural.
  • a plurality of imaging devices 30 are provided, a plurality of images acquired by each of the plurality of imaging devices 30 may be connected and displayed on the display screen 51S.
  • the plate member 51 is made of synthetic resin, and the image data projected from the projector 33 is displayed on the plate member 51.
  • the plate member 51 may be a self-luminous display member that can be bent like an organic EL panel. In this case, the projector 33 can be omitted.
  • the imaging device 30 is mounted on the excavator 1.
  • the imaging device 30 can be provided at an arbitrary position as long as an object on the work site can be photographed.
  • the imaging device 30 may be mounted on a work machine different from the hydraulic excavator 1 that is a remote operation target, or may be mounted on a flying body such as a drone, or a structure provided at a work site. It may be installed on an object.
  • the work machine 1 is a hydraulic excavator.
  • the work machine 1 may be a work machine capable of constructing a construction target, and may be a drilling machine capable of excavating the construction target and a transport machine capable of transporting earth and sand.
  • the work machine 1 may be a wheel loader, a bulldozer, or a dump truck, for example.
  • the imaging device 30 is provided at the work site, and image data of the work site is displayed on the display screen 51S.
  • the imaging device 30 may be provided at the disaster site, and image data of the disaster site may be displayed on the display screen 51S.
  • the imaging device 30 may be mounted on, for example, a disaster rescue vehicle or a disaster recovery vehicle.
  • the remote control device 40 may be mounted on a disaster rescue vehicle or a disaster recovery vehicle.
  • the imaging device 30 is mounted on a humanoid robot or a mobile robot that simulates human behavior, and an image acquired by the imaging device 30 is displayed on the display screen 51S.
  • a robot or a mobile robot may be remotely operated.
  • an endoscope image may be displayed on the display screen 51S, and the operator may remotely operate the surgical robot while viewing the display screen 51S.
  • SYMBOLS 1 Hydraulic excavator (work machine), 2 ... Working machine, 3 ... Revolving body, 5 ... Running body, 6 ... Boom, 7 ... Arm, 8 ... Bucket, 10 ... Boom cylinder, 11 ... Arm cylinder, 12 ... Bucket cylinder , 30 ... Imaging device, 40 ... Remote operation device, 50 ... Display device, 51 ... Plate member, 51S ... Display screen, 52 ... Support device, 52F ... Bar member, 52Fa ... Bar member (column member), 52Fb ... Bar member (Beam member), 52Fc ... rod member (beam member), 52S ... support member, 53 ... projector, 54 ... reflecting member, 55 ...
  • fixing member 60 ... control device, 70 ... cockpit, 100 ... remote control system, 300 ... Control device, 400 ... Communication system, 401 ... Wireless communication device, E1 ... Upper side, E2 ... Lower side, E3 ... Left side, E4 ... Right side, EP ... Viewpoint, H ... Height, K1 ... Opening, K2 ... Opening, L ... Viewing distance, ... height.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Projection Apparatus (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Abstract

表示装置は、表示画面を有する可撓性の板部材と、板部材を撓ませた状態で支持する支持装置と、を備える。支持装置は、表示画面が所定の中心軸を囲むように、且つ、中心軸が前方に傾斜するように、板部材を支持する。

Description

表示装置及び遠隔操作システム
　本発明は、表示装置及び遠隔操作システムに関する。
　作業機械を無人化する方法の一つとして作業機械を遠隔操作する方法が提案されている。作業機械を遠隔操作する場合、作業現場の画像データが遠隔地に存在する表示装置に送信される。作業者は、表示装置に表示された作業現場の画像データを見ながら作業機械を遠隔操作する。特許文献１には、作業現場を撮影するＴＶカメラと、作業者の頭部の位置を検出する頭部位置検出センサと、ＴＶカメラの撮影方向が頭部位置検出センサの検出結果に対応する方向となるようにＴＶカメラの向きを制御するアクチュエータと、撮影信号から画像光波を作成してスクリーンに投影するプロジェクタと、を備えるテレオペレーティングシステムが開示されている。
特開平０６－３３９１５３号公報
　作業者が画像データを見ながら作業機械を遠隔操作するとき、広視野な撮像装置で撮影されたような画像データを使えば、作業者は広い範囲を確認することができる。また、撮像装置から見て例えば視角２［°］のサイズの物体は、視角２［°］のサイズのまま作業者に見せることで、また、撮像装置から見て例えば水平方向にある物体は、水平方向のまま作業者に見せることで、あたかもその場にいるような視空間が再現される。そのため、広視野の撮像装置で撮影された作業現場の画像データが広視野の表示装置に表示されることが好ましい。これにより、作業効率の向上、作業の円滑化、及び移動時における空間識失調の抑制という効果を得ることができる。遠隔操作施設において表示装置を設置するスペースを十分に確保できない場合、表示装置の表示画面を曲面にすることが有効である。また、表示画面を曲面にした場合、継ぎ目を設けることなく、省スペースで広視野の表示画面を形成することができる。しかし、特許文献１に開示されている技術のように、表示画面を成型により曲面にする場合、大きな型が必要となりコストが上昇する。また、特許文献１に開示されているスクリーンでは搬送性が良好でない。このように、表示画面が曲面であっても、表示装置の構成によっては、遠隔操作システムのコストが上昇する可能性がある。
　本発明の態様は、広視野の撮像装置で撮影された作業現場の画像データを作業者から見て広視野のままコスト且つ省スペースで表示することを目的とする。
　本発明の態様に従えば、表示画面を有する可撓性の板部材と、前記板部材を撓ませた状態で支持する支持装置と、を備え、前記支持装置は、前記表示画面が所定の中心軸を囲むように、且つ、前記中心軸が前方に傾斜するように、前記板部材を支持する、表示装置が提供される。
　本発明の態様によれば、広視野の撮像装置で撮影された作業現場の画像データを作業者から見て広視野のままコスト且つ省スペースで表示することができる。
図１は、第１実施形態に係る遠隔操作システムを模式的に示す図である。 図２は、第１実施形態に係る表示装置を模式的に示す斜視図である。 図３は、第１実施形態に係る表示装置を模式的に示す側面図である。 図４は、第１実施形態に係る板部材を模式的に示す図である。 図５は、第１実施形態に係る板部材を模式的に示す図である。 図６は、第１実施形態に係る表示装置の組立方法を模式的に示す図である。 図７は、第２実施形態に係る表示装置を模式的に示す斜視図である。
　以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
第１実施形態．
［遠隔操作システム］
　図１は、本実施形態に係る作業機械１の遠隔操作システム１００の一例を模式的に示す図である。本実施形態においては、作業機械１が油圧ショベルであることとする。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。
　油圧ショベル１は、作業機２と、旋回体３と、旋回体３を旋回可能に支持する走行体５とを有する。走行体５は、履帯を有する。履帯が回転することにより、油圧ショベル１が走行する。作業機２は、旋回体３に連結される。
　作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。
　油圧ショベル１は、作業現場に存在し、作業現場で作業する。遠隔操作システム１００は、作業現場の遠隔地に存在する遠隔操作施設に設けられ、油圧ショベル１を遠隔操作する遠隔操作装置４０と、遠隔操作施設に設けられ、作業現場に係る画像データを表示する表示装置５０と、遠隔操作施設に設けられ、遠隔操作装置４０及び表示装置５０のそれぞれに接続される制御装置６０とを有する。遠隔操作装置４０、表示装置５０、及び制御装置６０のそれぞれは、油圧ショベル１とは別体である。
　また、遠隔操作システム１００は、作業現場に設けられ、作業現場の画像データを取得する撮像装置３０を有する。撮像装置３０は、油圧ショベル１に搭載される。撮像装置３０は、旋回体３に固定される。撮像装置３０は、旋回体３の前方に存在する対象物を撮影して、対象物の画像データを取得する。撮像装置３０は、遠隔操作に十分な広い視野の画像データを取得することができる。撮像装置３０は、単眼カメラでもよいし、ステレオカメラでもよい。
　撮像装置３０によって撮影される対象物は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル１の作業機２で掘削される掘削対象を含む。なお、施工対象は、油圧ショベル１とは別の作業機械によって施工される施工対象でもよいし、作業者によって施工される施工対象でもよい。また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。
　また、撮像装置３０によって撮影される対象物は、油圧ショベル１の少なくとも一部を含む。撮像装置３０によって撮影される対象物は、例えば作業機２、旋回体３、及び走行体５の少なくとも一つを含む。対象物である作業機２は、掘削動作している状態の作業機２でもよいし、掘削動作していない状態の作業機２でもよい。対象物である旋回体３は、旋回動作している状態の旋回体３でもよいし、旋回動作していない状態の旋回体３でもよい。対象物である走行体５は、走行動作している状態の走行体５でもよいし、走行動作していない状態の走行体５でもよい。
　また、撮像装置３０によって撮影される対象物は、遠隔操作される油圧ショベル１の周囲に配置される作業機械でもよい。撮像装置３０によって撮影される対象物は、遠隔操作される油圧ショベル１とは別の油圧ショベルでもよいし、ダンプトラックのような運搬車両でもよい。
　油圧ショベル１は、制御装置３００を搭載する。制御装置３００と制御装置６０とは、通信システム４００を介して通信する。通信システム４００は、油圧ショベル１に搭載される無線通信機４０１を有する。通信システム４００は、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local　Area　Network）、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。
　撮像装置３０により取得された画像データは、通信システム４００を介して制御装置６０に送信される。制御装置６０は、取得した画像データを表示装置５０に出力する。表示装置５０は、撮像装置３０により取得された画像データを表示する。
　遠隔操作装置４０は、油圧ショベル１の作業機２及び旋回体３を遠隔操作する操作レバー及び走行体５を遠隔操作する走行レバーを含む。作業者は、遠隔操作施設において、表示装置５０に表示される画像データを見ながら、遠隔操作装置４０を操作する。表示装置５０により作業者に提示される画像データは、遠隔地での視空間を再現した画像データでもよいし，複数の補助的な画像データを任意に配置した仮想マルチモニタでもよいし、それらが混在してもよい。また、表示装置５０に表示される画像データは，３Ｄメガネ又は何らかの方式での立体画像でもよいし，立体画像でない２Ｄ画像でもよい。遠隔操作装置４０が操作されることにより生成された操作信号は、通信システム４００を介して制御装置３００に送信される。制御装置３００は、操作信号に基づいて、作業機２、旋回体３、及び走行体５を制御する制御信号を出力する。これにより、油圧ショベル１は遠隔操作される。
［表示装置］
　図２は、本実施形態に係る表示装置５０を模式的に示す斜視図である。図３は、本実施形態に係る表示装置５０を模式的に示す側面図である。
　表示装置５０は、表示画面５１Ｓを有する可撓性の板部材５１と、板部材５１の少なくとも一部を撓ませた状態で板部材５１を支持する支持装置５２と、板部材５１に画像データを投影するプロジェクタ５３とを備える。
　板部材５１の表示画面５１Ｓに対向する位置に遠隔操作装置４０及び操縦席７０が配置される。作業者は、板部材５１の表示画面５１Ｓに正対するように操縦席７０に着座する。作業者は、表示装置５０の表示画面５１Ｓを見ながら、遠隔操作装置４０を操作する。
　板部材５１は、可撓性の部材である。板部材５１は、表面である表示画面５１Ｓと、裏面とを有する。作業者は、板部材５１に力を加えることにより、板部材５１を自由に撓ませることができる。また、板部材５１に加えられる力を解放することにより、板部材５１の表示画面５１Ｓの形状は、平面状に戻る。板部材５１は、表示画面５１Ｓが所定の中心軸を囲むように曲げることができる。すなわち、板部材５１は、円筒状又は円錐状に曲げることはできても、球状又は鞍状に変形することはできない材料により形成されている。本実施形態において、板部材５１は、ポリカーボネートのような合成樹脂製である。板部材５１の表示画面５１Ｓには、何らかの表面処理、塗装、又は材料が貼付されており、投影スクリーンに適した性質を持たせてある。
　支持装置５２は、板部材５１を撓ませた状態で支持する。支持装置５２は、複数の棒部材５２Ｆを組み合わせたフレーム構造である。棒部材５２Ｆは、鉛直方向に延在する複数の棒部材５２Ｆａ（柱部材）と、棒部材５２Ｆａに連結され水平面内の第１方向に延在する複数の棒部材５２Ｆｂ（梁部材）と、棒部材５２Ｆａに連結され水平面内において第１方向と直交する第２方向に延在する複数の棒部材５２Ｆｃ（梁部材）とを含む。板部材５１の少なくとも一部は、棒部材５２Ｆに接触する。また、支持装置５２は、板部材５１を位置合わせするための支持部材５２Ｓを有する。
　プロジェクタ５３は、撮像装置３０が取得した画像データを板部材５１の表示画面５１Ｓに投影する。板部材５１は、プロジェクタ５３から投影された画像データを表示する。図３に示すように、プロジェクタ５３は、板部材５１の上方に配置される。本実施形態において、プロジェクタ５３は、フロントプロジェクション方式で表示画面５１Ｓに画像データを投影する。操縦席７０の上方に反射部材５４が配置される。プロジェクタ５３は、反射部材５４に画像データを投影する。反射部材５４は、プロジェクタ５３からの画像データを反射して、板部材５１の表示画面５１Ｓに投影する。なお、表示装置５０は、板部材５１の裏面から画像データを投影するリアプロジェクション方式で表示画面５１Ｓに画像データを表示してもよい。
　制御装置６０は、コンピュータシステムを含む。制御装置６０は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサを含む演算処理装置と、ＲＡＭ（Random　Access　Memory）のような揮発性メモリ及びＲＯＭ（Read　Only　Memory）のような不揮発性メモリを含む記憶装置と、入出力インターフェースとを有する。
［板部材］
　図４は、本実施形態に係る板部材５１を模式的に示す図であり、撓んでいない状態（力が加えられていない状態）の板部材５１の展開図である。図５は、本実施形態に係る板部材５１を模式的に示す図であり、支持装置５２に支持され撓んでいる状態（力が加えられている状態）の板部材５１を示す斜視図である。
　図４に示すように、板部材５１が撓んでいない状態において、板部材５１の表示画面５１Ｓ及び裏面のそれぞれは、平坦面である。板部材５１の重量及び大きさは、作業者が人力で運搬可能な重量及び大きさである。板部材５１の厚さは、作業者が力を加えることにより簡単に撓むことができる厚さである。本実施形態において、撓んでいない状態における板部材５１の高さＡは、約１７００［ｍｍ］であり、板部材５１の幅Ｂは、約２８００［ｍｍ］である。また、板部材５１の厚さは、３［ｍｍ］以上５［ｍｍ］以下である。
　図４に示すように、板部材５１は、上辺Ｅ１と、下辺Ｅ２と、左辺Ｅ３と、右辺Ｅ４とを有する。板部材５１が撓んでいない状態において、上辺Ｅ１、下辺Ｅ２、左辺Ｅ３、及び右辺Ｅ４のそれぞれはサインカーブ状である。左辺Ｅ３と右辺Ｅ４との距離は、上辺Ｅ１に向かって徐々に長くなる。
　図５に示すように、板部材５１は、表示画面５１Ｓが円筒の中心軸ＡＸを囲むように支持装置５２に支持される。すなわち、板部材５１は、円筒状に撓んだ状態で支持装置５２に支持される。支持装置５２は、表示画面５１Ｓが円筒の中心軸ＡＸを囲むように板部材５１を支持する。
　支持装置５２に支持される板部材５１の形状は、円筒部材の一部を抽出した形状である。図３及び図５に示すように、上辺Ｅ１により開口Ｋ１が規定される。下辺Ｅ２により開口Ｋ２が規定される。
　支持装置５２は、鉛直軸（水平面の法線）に対して中心軸ＡＸが前方に傾斜するように板部材５１を支持する。前方とは、表示画面５１Ｓに正対するように操縦席７０に着座した作業者の視点ＥＰから表示画面５１Ｓに向かう方向をいう。すなわち、支持装置５２は、板部材５１が円筒状に撓んだ状態で、水平面と平行な方向において上辺Ｅ１が下辺Ｅ２よりも操縦席７０から離れるように板部材５１を支持する。
　本実施形態において、水平面の法線に対する中心軸ＡＸの傾斜角度θは、２５［°］以上５０［°］以下である。傾斜角度θは、４５［°］であることが好ましい。
　図３に示すように、操縦席７０に着座した作業者の視点ＥＰの標準的な高さＨは、約１２００［ｍｍ］である。また、高さＨにおける視点ＥＰと表示画面５１Ｓとの水平方向の距離を示す視距離Ｌは、１３００［ｍｍ］以上１５００［ｍｍ］以下である。また、板部材５１が支持装置５２に支持されている状態において、板部材５１の高さＭは、約１５００［ｍｍ］である。板部材５１が支持装置５２に支持されている状態において、上辺Ｅ１及び下辺Ｅ２のそれぞれは、水平面と平行である。
［組立方法］
　図６は、本実施形態に係る表示装置５０の組立方法を模式的に示す図である。図６（Ａ）に示すように、板部材５１に力が加えられていない状態においては、板部材５１の表示画面５１Ｓ及び裏面のそれぞれは、平坦面である。
　図６（Ｂ）に示すように、支持装置５２は、板部材５１を解放可能に固定する固定部材５５を有する。作業者は、板部材５１を撓ませて、支持装置５２の棒部材５２Ｆに接触させた後、板部材５１の端部と棒部材５２Ｆの少なくとも一部とを固定部材５５で固定する。これにより、図６（Ｂ）に示すように、板部材５１は、円筒状に撓んだ状態で棒部材５２Ｆに固定される。
　固定部材５５は、板部材５１と棒部材５２Ｆとを解放可能に固定できればよい。固定部材５５は、板部材５１の端部と棒部材５２Ｆの少なくとも一部とを挟んで固定するクランプ部材でもよいし、板部材５１の端部と棒部材５２Ｆの少なくとも一部とを締結して固定するボルトでもよい。固定部材５５は、板部材５１の端部を係止して、自重による板部材５１の位置ずれを抑制したり、撓んだ板部材５１が平面状に戻ろうとする弾性力に起因する位置ずれを抑制したりすることができればよい。固定部材５５は、板部材５１が落ちないように、且つ、左右に広がらないように板部材５１を支持できればよい。
　固定部材５５による板部材５１と棒部材５２Ｆとの固定を解放することにより、作業者は、板部材５１と支持装置５２とを簡単に分離することができる。
［遠隔操作方法］
　次に、遠隔操作方法について説明する。撮像装置３０は、作業現場における対象物の画像データを取得する。撮像装置３０で取得された画像データは、規定周期で通信システム４００を介して制御装置６０に送信される。
　制御装置６０は、撮像装置３０が取得した画像データを表示装置５０に表示させるために、画像データをプロジェクタ５３に出力する。プロジェクタ５３は、反射部材５４を介して画像データを板部材５１の表示画面５１Ｓに投影する。板部材５１は、撓んだ状態で支持装置５２に支持される。表示画面５１Ｓは、曲面である。プロジェクタ５３は、表示画面５１Ｓに画像データを投影するとき、作業者の視点から見たときに、曲面による歪みが除去されるように、補正された画像データを投影する。
　作業者に、遠隔地の視界を再現して見せるためには、表示画面５１Ｓの曲面による幾何的な歪みを補正して，直視と同等の視空間を再現する必要がある。作業者に見せるべき画像は、撮像装置３０で取得された画像である。まず、撮像装置３０の角度や画角に基づいて、見せるべき望ましい位置と大きさが定まる。作業者の視点の３次元座標と表示画面５１Ｓの３次元形状との関係から、表示画面５１Ｓ上に生成されるべき画像が定まり、さらに表示画面５１Ｓの３次元形状とプロジェクタ５３の位置及び姿勢との関係から、投影結果がその「表示画面５１Ｓ上に生成されるべき画像」となるような、投影すべき画像を算出する。この投影すべき画像をプロジェクタ５３に入力すればよい。以上の処理は、制御装置６０で行われる。なお、以上の処理は、プロジェクタ５３に内蔵されている機能を使って行われてもよい。
　歪み補正を行うため、表示画面５１Ｓの３次元形状は，設計値、実測値、又はリアルタイム形状計測に基づいてデータ化され、制御装置６０に入力され、使用される。
　歪み補正を行うため、プロジェクタ５３の３次元位置及び姿勢は、設計値又は実測値に基づいてデータ化され、制御装置６０に入力され、使用される。なお、３次元位置及び姿勢を用いずに、２次元的な画像変形のみによって投影補正を行ってもよい。
　歪み補正を行うため、作業者の視点の３次元位置は，予め作業者の着座位置から想定される視点位置データが制御装置６０に入力されるか、あるいは，何らかの視点トラッキング手法を用いてリアルタイムに視点が計測されたデータが制御装置６０に入力され、使用される。
　板部材５１は撓んでおり、表示画面５１Ｓは曲面である。したがって、広視野な撮像装置３０で撮影された作業現場の画像データを、省スペースで作業者に提供することができる。広視野な撮像装置３０が作業現場の画像データを取得した場合、プロジェクタ５３は、画像データを表示画面５１Ｓに投影して広視野のまま作業者に提供することができる。
　遠隔操作施設において表示装置５０を設置するスペースを十分に確保できなくても、板部材５１を撓ませることによって、表示装置５０の占有スペースを小さくしつつ、広視野な撮像装置３０で撮影された作業現場の画像データを表示画面５１Ｓに表示して広視野のまま作業者に提供することができる。
　操縦席７０に着座している作業者は、板部材５１の表示画面５１Ｓに表示される画像データを見ながら、遠隔操作装置４０を操作する。広視野な撮像装置３０で撮影された作業現場の画像データが表示画面５１Ｓを介して作業者に提供されるので、作業者は、画像データを見ながら油圧ショベル１を円滑に遠隔操作することができる。
　遠隔操作装置４０が操作されることにより生成された操作信号は、通信システム４００を介して制御装置３００に送信される。制御装置３００は、操作信号に基づいて、作業機２、旋回体３、及び走行体５を制御する制御信号を出力する。これにより、油圧ショベル１は遠隔操作される。
［効果］
　以上説明したように、本実施形態によれば、表示装置５０は、可撓性の板部材５１と、板部材５１を撓ませた状態で支持する支持装置５２とを有する。板部材５１が撓むことにより、表示画面５１Ｓは曲面になる。そのため、表示装置５０は、広視野な撮像装置３０で撮影された作業現場の画像データを表示画面５１Ｓに表示して、広視野のまま作業者に提供することができる。したがって、作業者は、表示画面５１Ｓに表示された画像データを見ながら、油圧ショベル１を円滑に遠隔操作することができる。
　また、板部材５１は可撓性なので、例えば遠隔操作施設のスペースに基づいて、板部材５１の撓み量（表示画面５１Ｓの曲率）を任意に調整することができる。例えば、遠隔操作施設のスペースが小さい場合、表示画面５１Ｓの曲率が大きくなるように板部材５１を大きく撓ませることにより、表示装置５０の占有スペースを小さくすることができる。
　また、板部材５１を撓ませるだけで表示画面５１Ｓを任意の曲率の曲面にすることができる。予め曲面にインジェクション成形された合成樹脂や、可塑的に曲面に固定された金属製の部材等では撓み量を任意に変更することは不可能である。また、遠隔操作施設のスペースに基づいて、板部材の撓み量を任意に調整することは困難である。また、金属製の板部材の重量及びコストを軽減することは困難な可能性が高い。また、金属製の板部材の場合、１枚の板部材で大きい表示画面を得ることは困難な可能性が高い。すなわち、金属製の板部材で大きい表示画面を得ようとする場合、複数の板部材を溶接等により繋ぎ合わせる必要が生じる可能性がある。この場合、表示画面に溶接の繋ぎ目が生成され、表示される画像データの質が低下する可能性がある。
　本実施形態によれば、板部材５１は可撓性である。また、板部材５１は合成樹脂製である。これにより、板部材５１の軽量化及び低コスト化が図られる。板部材５１が軽量なので、作業者は、板部材５１を簡単に運搬することができる。良好な可搬性が得られるため、遠隔操作施設の任意の位置に表示装置５０を簡単に設置することができる。また、板部材５１が可撓性なので、運搬時には使用時よりも曲げることで、占有スペースを小さくした状態で容易に運搬することができる。また、弾性により板部材５１を再び広げることができる。
　このように、本実施形態によれば、表示装置５０は、広視野な撮像装置３０で撮影された作業現場の画像データを広視野のまま作業者に提供することができる。
　また、本実施形態においては、板部材５１は、表示画面５１Ｓが円筒の中心軸ＡＸを囲むように支持装置５２に支持される。板部材５１の弾性により全体に連続した曲げが形成され、その形状が維持される。これにより、簡単な支持構造で、表示画面５１Ｓを滑らかな曲面にすることができる。
　油圧ショベル１を遠隔操作する場合、旋回体３の旋回時に左右確認のため水平方向に広い視野が必要である。表示画面５１Ｓを円筒状にすることで、装置の大規模化を抑制しつつ、十分な視距離を保ったまま左右に広い視野の画像を得ることが可能となる。円筒状の表示画面５１Ｓは、１８０[°]以上の水平視野を実現可能とする。このような広い視野は、平面スクリーンでは得ることが不可能である。
　また、油圧ショベル１の遠隔操作においては、作業対象が主に地面であるため、水平よりも下方が主に確認すべき範囲であり、また、走行体５による移動時など、より近傍の地面を確認するため垂直方向には下方向に広い視野が必要である。本実施形態においては、円筒状の表示画面５１Ｓが前方に傾斜している。これにより、装置の大規模化を抑制しつつ、十分な視距離を保ったまま俯角方向に広い視野の画像を得ることが可能となる。
　以上のように、本実施形態においては、平板の可撓性によってかたちづくれる、円筒を傾けた単純な形状でありながら、作業機械の遠隔操作に求められる視野（前、左右、下方）を十分に覆い、同時に十分な視距離を確保でき，省スペースで，なおかつ継ぎ目のない表示装置５０（画像投影スクリーン）が構成される。単純な形状であるため、一部を固定し弾性（復元力）によって滑らかな曲面が形成されるという簡単な構造で済み、分解、組立、及び移動のためのコンパクト化が容易な可搬性を持つ。
　凹曲面で反射した音は、作業者に不快感をもたらす可能性がある。上下左右を覆う半球状のスクリーンでは、音が内部反射するため、曲率中心の付近にいる作業者には、自身の声や周囲の空調音などが全方位から響いてくるように聞こえて不快に感じる可能性がある。本実施形態においては、板部材５１が円筒状に曲げられることにより、開口Ｋ１が形成される。開口Ｋ１が設けられることにより、音は、開口Ｋ１を介して空間の外部に放出される。すなわち、開口Ｋ１により、音が増幅されたり反響したりすることが抑制される。これにより、作業者は、不快感を抱くことなく、遠隔操作を実施することができる。
　ステレオ視の立体画像表示において、両眼輻輳は注視点に一致するが水晶体調節は表示面に合うという状態が生じ、これを輻輳調節矛盾という。輻輳調節矛盾は、ヒトに不自然な眼の制御を強いるために、不快感や眼精疲労を生じさせる。視点から表示画面５１Ｓまでの視距離が大きいほど水晶体調節の働きが小さくなるため、輻輳調節矛盾の影響は小さくなる。不快感や眼精疲労を抑制するためには、視距離を大きくする必要がある。
　本実施形態においては、支持装置５２は、中心軸ＡＸが前方に傾斜するように板部材５１を支持する。表示画面５１Ｓを前方に傾けることで、表示画面５１Ｓの中央を着座した作業者から遠ざけ、同時に表示画面５１Ｓの下部を着座した作業者に近付ける。これにより視距離Ｌを大きくすることと、下方の視野角を大きくとることが両立する。視距離Ｌが長くなることにより、作業者の不快感や眼精疲労が抑制される。
　また、ステレオ視の立体画像表示でない場合、輻輳調節矛盾は発生しないが、画像の内容と表示面との距離が離れるほど不自然な画像提示となり眼精疲労を引き起こす。油圧ショベル１の遠隔操作では表示画面５１Ｓよりも遠くの物体が支配的であることから、視距離はできるだけ大きくした方が良い。表示画面５１Ｓを前方に傾けることで、視距離Ｌを長くしたことにより、眼精疲労が抑制される。また、表示画面５１Ｓを前方に傾けることで、視野内において上方から下方へ向かうにつれて視点へ近づく傾向となる。油圧ショベル１の遠隔操作において、表示される画像の内容は大部分が水平な地面で占められる場合が多い。水平な地面は，視野内において上方から下方へ向かうにつれて視点へ近づく。したがって，表示画面５１Ｓは、表示内容と一致はしないまでも同じ極性の傾斜を持つため、自然な画像提示となり眼精疲労を抑制する。また、表示画面５１Ｓを前方に傾けることで、視野内において上方から下方へ向かうにつれて視点へ近づく傾向となる。ヒトは視線方向をより下に向けるほど、注視距離を近傍に向ける生理的反射を持つといわれる。したがって、表示画面５１Ｓは、生理的反射に適う傾斜を持つため、自然な画像提示となり眼精疲労を抑制する。
　また、本実施形態においては、支持装置５２は、板部材５１を解放可能に固定する固定部材５５を有する。これにより、板部材５１と支持装置５２とを簡単に固定したり分離したりすることができる。板部材５１と支持装置５２とを分離することにより、作業者は、板部材５１及び支持装置５２のそれぞれを簡単に運搬することができる。これにより、遠隔操作施設の任意の位置に表示装置５０を設置することができる。
　なお、本実施形態においては、表示画面５１Ｓが円筒面の一部であることとした。支持装置５２は、表示画面５１Ｓが所定の中心軸ＡＸを囲むように板部材５１を支持すればよい。表示画面５１Ｓは、例えば円錐面の一部でもよい。
第２実施形態．
　第２実施形態について説明する。上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
　図７は、本実施形態に係る表示装置５０を模式的に示す斜視図である。上述の実施形態においては、表示画面５１Ｓが円筒の中心軸ＡＸを囲むように板部材５１が円筒状に撓むこととした。図７に示すように、板部材５１は円筒状に撓まなくてもよい。図７に示す例において、支持装置５２は、板部材５１の上端部、左端部、及び右端部のそれぞれが操縦席７０側に撓むように、板部材５１を支持する。図７に示す例において、板部材５１の中央部は平面であり、板部材５１の上端部、左端部、及び右端部のそれぞれが、中央部の平面に連続する円筒面となる。
　本実施形態においても、低コストで省スペース化を図ることができる表示装置５０が提供される。
他の実施形態．
　上述の実施形態において、作業現場に設けられる撮像装置３０は、単数でもよいし複数でもよい。撮像装置３０が複数設けられる場合、複数の撮像装置３０のそれぞれにより取得された複数の画像をつなげて表示画面５１Ｓに表示させてもよい。
　上述の実施形態においては、板部材５１が合成樹脂製であり、プロジェクタ３３から投影された画像データが板部材５１に表示されることとした。板部材５１は、有機ＥＬパネルのような撓むことができる自発光型表示部材でもよい。この場合、プロジェクタ３３は省略可能である。
　上述の各実施形態においては、撮像装置３０が油圧ショベル１に搭載されることとした。撮像装置３０は、作業現場の対象物を撮影可能であれば任意の位置に設けることができる。例えば、撮像装置３０は遠隔操作対象である油圧ショベル１とは別の作業機械に搭載されてもよいし、ドローンのような飛行体に搭載されてもよいし、作業現場に設けられている構造物に設置されてもよい。
　上述の各実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械１は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。
　上述の各実施形態においては、撮像装置３０が作業現場に設けられ、作業現場の画像データが表示画面５１Ｓに表示されることとした。撮像装置３０が災害現場に設けられ、災害現場の画像データが表示画面５１Ｓに表示されてもよい。撮像装置３０は、例えば災害救助用車両又は災害復旧用車両に搭載されてもよい。遠隔操作装置４０は、災害救助用車両又は災害復旧用車両に搭載されてもよい。
　また、撮像装置３０がヒト型ロボット又はヒトの行動を模擬する移動ロボットに搭載され、撮像装置３０により取得された画像が表示画面５１Ｓに表示され、作業者は、表示画面５１Ｓを見ながらヒト型ロボット又は移動ロボットを遠隔操作してもよい。また、手術ロボットにおいて、内視鏡の画像が表示画面５１Ｓに表示され、作業者は、表示画面５１Ｓを見ながら手術ロボットを遠隔操作してもよい。
　１…油圧ショベル（作業機械）、２…作業機、３…旋回体、５…走行体、６…ブーム、７…アーム、８…バケット、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、３０…撮像装置、４０…遠隔操作装置、５０…表示装置、５１…板部材、５１Ｓ…表示画面、５２…支持装置、５２Ｆ…棒部材、５２Ｆａ…棒部材（柱部材）、５２Ｆｂ…棒部材（梁部材）、５２Ｆｃ…棒部材（梁部材）、５２Ｓ…支持部材、５３…プロジェクタ、５４…反射部材、５５…固定部材、６０…制御装置、７０…操縦席、１００…遠隔操作システム、３００…制御装置、４００…通信システム、４０１…無線通信機、Ｅ１…上辺、Ｅ２…下辺、Ｅ３…左辺、Ｅ４…右辺、ＥＰ…視点、Ｈ…高さ、Ｋ１…開口、Ｋ２…開口、Ｌ…視距離、Ｍ…高さ。

Claims (6)

  1. 　表示画面を有する可撓性の板部材と、
    　前記板部材を撓ませた状態で支持する支持装置と、を備え、
    　前記支持装置は、前記表示画面が所定の中心軸を囲むように、且つ、前記中心軸が前方に傾斜するように、前記板部材を支持する、
    表示装置。
  2. 　前記支持装置は、前記表示画面が円筒の中心軸を囲むように前記板部材を支持する、
    請求項１に記載の表示装置。
  3. 　前記支持装置は、前記板部材を解放可能に固定する固定部材を有する、
    請求項１又は請求項２に記載の表示装置。
  4. 　前記板部材は合成樹脂製であり、プロジェクタから投影された画像データを表示する、
    請求項１から請求項３のいずれか一項に記載の表示装置。
  5. 　作業現場で作業する作業機械に搭載された撮像装置と、
    　前記作業現場の遠隔地に設けられ、前記撮像装置により取得された画像データを表示する請求項１から請求項４のいずれか一項に記載の表示装置と、
    　前記遠隔地に設けられ、前記作業機械を遠隔操作する遠隔操作装置と、
    を備える遠隔操作システム。
  6. 　前記作業機械は、旋回体を備え、
    　前記撮像装置は、前記作業機械の前記旋回体に固定される、
    請求項５に記載の遠隔操作システム。
PCT/JP2019/000036 2018-03-30 2019-01-04 表示装置及び遠隔操作システム WO2019187464A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018070202A JP2019179226A (ja) 2018-03-30 2018-03-30 表示装置及び遠隔操作システム
JP2018-070202 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019187464A1 true WO2019187464A1 (ja) 2019-10-03

Family

ID=68058069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000036 WO2019187464A1 (ja) 2018-03-30 2019-01-04 表示装置及び遠隔操作システム

Country Status (2)

Country Link
JP (1) JP2019179226A (ja)
WO (1) WO2019187464A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7478236B2 (ja) 2020-06-19 2024-05-02 川崎重工業株式会社 撮像システム及びロボットシステム
JP7235159B1 (ja) * 2021-09-29 2023-03-08 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288753A (ja) * 1994-04-14 1995-10-31 Ohbayashi Corp 遠隔操縦システムにおける映像伝達装置の姿勢保持装置
JPH08334845A (ja) * 1995-06-09 1996-12-17 Sony Corp 画像表示装置
JPH10312028A (ja) * 1997-05-13 1998-11-24 Hitachi Ltd 凹面スクリーン背面投射型表示装置
JP2000056827A (ja) * 1998-08-11 2000-02-25 Fujita Corp 機器の遠隔制御システム
JP2001348914A (ja) * 2000-06-06 2001-12-21 Kumagai Gumi Co Ltd 重機の姿勢認識装置
EP1260855A1 (en) * 2001-05-15 2002-11-27 BOTTIN, Pier Paolo Curved screen for an image display and its use
JP2002360931A (ja) * 2001-06-06 2002-12-17 Namco Ltd 遊戯装置
JP2004200761A (ja) * 2002-12-16 2004-07-15 Goto Optical Mfg Co 映像鑑賞装置
JP2010175844A (ja) * 2009-01-29 2010-08-12 Asia Air Survey Co Ltd 曲面型スクリーン装置及び曲面スクリーンシステム
JP2017072668A (ja) * 2015-10-06 2017-04-13 株式会社ジャパンディスプレイ 表示装置及び表示システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288753A (ja) * 1994-04-14 1995-10-31 Ohbayashi Corp 遠隔操縦システムにおける映像伝達装置の姿勢保持装置
JPH08334845A (ja) * 1995-06-09 1996-12-17 Sony Corp 画像表示装置
JPH10312028A (ja) * 1997-05-13 1998-11-24 Hitachi Ltd 凹面スクリーン背面投射型表示装置
JP2000056827A (ja) * 1998-08-11 2000-02-25 Fujita Corp 機器の遠隔制御システム
JP2001348914A (ja) * 2000-06-06 2001-12-21 Kumagai Gumi Co Ltd 重機の姿勢認識装置
EP1260855A1 (en) * 2001-05-15 2002-11-27 BOTTIN, Pier Paolo Curved screen for an image display and its use
JP2002360931A (ja) * 2001-06-06 2002-12-17 Namco Ltd 遊戯装置
JP2004200761A (ja) * 2002-12-16 2004-07-15 Goto Optical Mfg Co 映像鑑賞装置
JP2010175844A (ja) * 2009-01-29 2010-08-12 Asia Air Survey Co Ltd 曲面型スクリーン装置及び曲面スクリーンシステム
JP2017072668A (ja) * 2015-10-06 2017-04-13 株式会社ジャパンディスプレイ 表示装置及び表示システム

Also Published As

Publication number Publication date
JP2019179226A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
KR101407806B1 (ko) 화상생성장치 및 조작지원 시스템
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP6612865B2 (ja) 作業機の遠隔操作のための表示システム
JP6807781B2 (ja) 表示システム、表示方法、及び遠隔操作システム
KR101385914B1 (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
WO2019189430A1 (ja) 建設機械
WO2015133367A1 (ja) 作業機械の周辺監視装置
JP2008085446A (ja) 画像生成装置および画像生成方法
WO2019187464A1 (ja) 表示装置及び遠隔操作システム
WO2014174884A1 (ja) 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP2019173379A (ja) 遠隔操作システム及び主操作装置
EP1524540A1 (en) Image observation apparatus
WO2020194882A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2017203367A (ja) ショベル
JP2013137698A (ja) 俯瞰画像提示装置
JP2017223111A (ja) ショベル
JP6301536B2 (ja) ショベル
JP6608208B2 (ja) 画像表示装置
JP2019083370A (ja) 建設機械の視覚拡張システム
JP2021180421A (ja) 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
JP2017057714A (ja) 作業機械用周辺監視装置
JP6857701B2 (ja) 作業機、表示装置および作業機の遠隔操作のための表示システム
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
JP7444094B2 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
US11939744B2 (en) Display system, remote operation system, and display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776950

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19776950

Country of ref document: EP

Kind code of ref document: A1