WO2022224827A1 - 情報処理装置、情報処理装置の制御プログラム - Google Patents

情報処理装置、情報処理装置の制御プログラム Download PDF

Info

Publication number
WO2022224827A1
WO2022224827A1 PCT/JP2022/017186 JP2022017186W WO2022224827A1 WO 2022224827 A1 WO2022224827 A1 WO 2022224827A1 JP 2022017186 W JP2022017186 W JP 2022017186W WO 2022224827 A1 WO2022224827 A1 WO 2022224827A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
state
recording
image
difference
Prior art date
Application number
PCT/JP2022/017186
Other languages
English (en)
French (fr)
Inventor
平 松岡
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Priority to DE112022002406.2T priority Critical patent/DE112022002406T5/de
Priority to CN202280030196.1A priority patent/CN117203957A/zh
Priority to JP2023516433A priority patent/JPWO2022224827A1/ja
Publication of WO2022224827A1 publication Critical patent/WO2022224827A1/ja
Priority to US18/490,853 priority patent/US20240044113A1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing device and its control program.
  • the vehicle is a work machine
  • the work machine itself may vibrate due to work (for example, excavation work, etc.), so the acceleration sensor cannot detect the behavior.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to suitably perform event recording of work machines.
  • the present invention is an information processing device, an image acquisition means for acquiring an image around the working machine; a recording means for recording the image acquired by the image acquisition means; an operation information obtaining means for obtaining operation information relating to the operation of the work machine; a state detection means for detecting a state of the work machine and acquiring state information about the state; determination means for determining whether or not there is a predetermined difference between the operation information acquired from the operation information acquisition means and the state information acquired from the state detection means; recording control means for causing the recording means to record, when the determination means determines that there is a difference between the operation information and the state information, the image including at least the image at the time when it is determined that there is a difference; It was configured to include
  • the present invention is a control program for an information processing apparatus comprising: image acquiring means for acquiring an image around a work machine; and recording means for recording the image acquired by the image acquiring means, the computer, operation information acquisition means for acquiring operation information relating to operation of the work machine; state detection means for detecting a state of the work machine and acquiring state information about the state; determination means for determining whether there is a predetermined difference between the operation information acquired from the operation information acquisition means and the state information acquired from the state detection means; recording control means for causing the recording means to record the image including at least the image at the time when the determination means determines that there is a difference between the operation information and the state information; It was assumed to function as
  • event recording of work machines can be preferably performed.
  • FIG. 1 is a side view of a shovel according to this embodiment
  • FIG. 2 is a block diagram showing the system configuration of the excavator of FIG. 1
  • FIG. 3 is a diagram showing a horizontal imaging range (angle of view) of the imaging device according to the embodiment
  • FIG. 4 is a flowchart showing the flow of recording control processing according to the embodiment
  • the excavator 100 is configured so that event recording of the excavator 100 can be preferably performed by including the information processing device according to the present invention.
  • FIG. 1 is a side view of a shovel 100 according to this embodiment.
  • the excavator 100 includes a lower traveling body 1, an upper revolving body 3 mounted on the lower traveling body 1 so as to be able to turn via a revolving mechanism 2, a boom 4 as an attachment 11, an arm 5 and a A bucket 6 and a cabin 10 in which an operator boards are provided.
  • the attachment 11 is not limited to this as long as a work element (for example, bucket, crusher, crane device, etc.) is provided.
  • the lower traveling body 1 includes, for example, a pair of left and right crawlers, and each crawler is hydraulically driven by a traveling hydraulic motor (not shown) to cause the excavator 100 to travel.
  • the upper revolving structure 3 is driven by a revolving hydraulic motor or an electric motor (both not shown) or the like to revolve in a horizontal plane with respect to the lower traveling structure 1 .
  • the boom 4 is pivotally attached to the center of the front portion of the upper rotating body 3 so as to be able to be raised.
  • An arm 5 is pivotally attached to the tip of the boom 4 so as to be vertically rotatable. rotatably pivoted;
  • Boom 4, arm 5 and bucket 6 are hydraulically driven by boom cylinder 7, arm cylinder 8 and bucket cylinder 9, respectively.
  • the cabin 10 is a cockpit in which an operator boards, and is mounted on the front left side of the upper swing body 3, for example.
  • the excavator 100 operates actuators to drive driven elements such as the lower traveling body 1, the upper revolving body 3, the boom 4, the arm 5 and the bucket 6 according to the operation of the operator in the cabin 10.
  • FIG. 2 is a block diagram showing the system configuration of the excavator 100.
  • the excavator 100 includes a controller 30, an imaging device 40, an operation/posture state sensor 42, a position sensor 43, an orientation sensor 44, an operation device 45, and a display device in addition to the above configuration. 50 , an audio output device 60 and a communication device 80 .
  • An information processing apparatus according to the present invention includes at least a controller 30 .
  • the imaging device 40 photographs the surroundings of the excavator 100 and outputs the image to the controller 30 .
  • the imaging device 40 includes a rear camera 40B, a left camera 40L, and a right camera 40R.
  • the “surroundings” of the excavator 100 may include at least a predetermined range within a predetermined distance from the excavator 100 .
  • the rear camera 40 ⁇ /b>B is attached to the rear portion of the upper revolving body 3 and photographs the rear of the upper revolving body 3 .
  • the left camera 40L is attached to the left side of the upper revolving body 3 and photographs the left side of the upper revolving body 3 .
  • the right camera 40R is attached to the right side of the upper revolving body 3 and photographs the right side of the upper revolving body 3 .
  • Each of these rear camera 40B, left camera 40L, and right camera 40R is attached to the upper revolving body 3 so that the optical axis is directed obliquely downward, and covers the area from the ground in the vicinity of excavator 100 to the distance from excavator 100. It has a directional imaging range (angle of view).
  • the horizontal imaging ranges (angles of view) of the rear camera 40B, the left camera 40L, and the right camera 40R cover three directions around the excavator 100, excluding the front.
  • the imaging device 40 an imaging device for imaging the front of the excavator 100 or an imaging device for imaging the inside of the cabin 10 may be further provided.
  • the motion/posture state sensor 42 is a sensor that detects the motion state and posture state of the excavator 100 and outputs the detection result to the controller 30 .
  • the motion/posture state sensor 42 includes a boom angle sensor, an arm angle sensor, a bucket angle sensor, a three-axis inertial sensor (IMU: Inertial Measurement Unit), a turning angle sensor, and an acceleration sensor. These sensors may be composed of stroke sensors of cylinders such as booms, sensors that acquire rotation information such as rotary encoders, etc., or may be replaced by acceleration (which may also include speed and position) acquired by the IMU. good.
  • the arm angle sensor detects the rotation angle of the arm 5 with respect to the boom 4 (hereinafter referred to as "arm angle").
  • the bucket angle sensor detects the rotation angle of the bucket 6 with respect to the arm 5 (hereinafter referred to as "bucket angle").
  • the IMU is attached to each of the boom 4 and arm 5 and detects the acceleration of the boom 4 and arm 5 along three predetermined axes and the angular acceleration of the boom 4 and arm 5 about three predetermined axes.
  • the turning angle sensor detects a turning angle of the upper turning body 3 with respect to a predetermined angular direction.
  • the turning angle is not limited to this, and the turning angle may be detected based on the GPS or IMU sensor provided on the upper turning body 3 .
  • the acceleration sensor is attached at a position away from the pivot axis of the upper swing body 3 and detects the acceleration at that position of the upper swing body 3 . As a result, it can be determined whether the upper rotating body 3 is rotating or whether the lower traveling body 1 is running based on the detection result of the acceleration sensor.
  • the position sensor 43 is a sensor that acquires information on the position (current position) of the excavator 100, and is a GPS (Global Positioning System) receiver in this embodiment.
  • the position sensor 43 receives GPS signals including information on the position of the excavator 100 from GPS satellites, and outputs the acquired position information of the excavator 100 to the controller 30 .
  • the position sensor 43 may not be a GPS receiver as long as it can acquire information on the position of the excavator 100, and may use a satellite positioning system other than GPS, for example.
  • the position sensor 43 may be provided on the lower traveling body 1 or may be provided on the upper revolving body 3 .
  • the azimuth sensor 44 is a sensor that acquires information on the azimuth (direction) in which the excavator 100 is facing, and is, for example, a geomagnetic sensor.
  • the orientation sensor 44 acquires orientation information of the excavator 100 and outputs the information to the controller 30 . Note that the orientation sensor 44 only needs to acquire information on the orientation of the excavator 100, and the sensor type and the like are not particularly limited. For example, two GPS receivers may be provided and azimuth information may be acquired from the difference in position information.
  • the operation device 45 is provided near the driver's seat of the cabin 10, and is an operation means for an operator to operate each operation element (lower running body 1, upper revolving body 3, attachment 11, etc.) of the vehicle body.
  • the operating device 45 is operating means for operating each hydraulic actuator that drives each operating element.
  • the operating device 45 includes, for example, levers, pedals, various buttons, and the like, and outputs operation signals to the controller 30 according to the content of these operations.
  • the operation device 45 is also an operation means for operating the imaging device 40, the motion/posture state sensor 42, the position sensor 43, the display device 50, the audio output device 60, the communication device 80, etc., and issues operation commands to these units. Output to the controller 30 .
  • the display device 50 is provided around the cockpit in the cabin 10 and displays various image information to be notified to the operator under the control of the controller 30 .
  • the display device 50 is, for example, a liquid crystal display or an organic EL (Electroluminescence) display, and may be of a touch panel type that also serves as at least part of the operation device 45 .
  • the audio output device 60 is provided around the cockpit in the cabin 10, and outputs various audio information to be notified to the operator under the control of the controller 30.
  • the audio output device 60 is, for example, a speaker, buzzer, or the like.
  • the communication device 80 communicates various information with remote external devices, other shovels 100, etc., through a predetermined communication network (for example, a mobile phone network with a base station as an end, an Internet network, etc.) NW.
  • a predetermined communication network for example, a mobile phone network with a base station as an end, an Internet network, etc.
  • the controller 30 is a control device that controls the operation of each part of the excavator 100 and controls the drive of the excavator 100 .
  • the controller 30 is mounted inside the cabin 10 .
  • the functions of the controller 30 may be realized by arbitrary hardware, software, or a combination thereof, and for example, it is mainly composed of a microcomputer including CPU, RAM, ROM, I/O, and the like.
  • the controller 30 may be configured to include, for example, FPGA, ASIC, and the like.
  • the controller 30 also includes a state detection unit 31, a comparison determination unit 32, and a recording control unit 33 as functional units that execute various functions. Further, the controller 30 includes a storage section 35 as a storage area defined in an internal memory such as EEPROM (Electrically Erasable Programmable Read-Only Memory). Note that the storage unit 35 may be an external memory of the controller 30 .
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • the state detection unit 31 acquires state information regarding the state of the excavator 100 and outputs the state information to the controller 30 .
  • the comparison determination unit 32 compares the operation information regarding the operation of the excavator 100 and the state information of the excavator 100, and determines whether or not there is a predetermined difference between them.
  • the recording control unit 33 controls storage (recording) of image data acquired by the imaging device 40 in the storage unit 35 . Specific processing contents of these functional units will be described later.
  • the storage unit 35 stores various programs for operating each unit of the excavator 100 and various data such as image data acquired by the imaging device 40 , and also functions as a work area for the controller 30 .
  • the storage unit 35 of this embodiment has a loop recording area 351 and a plurality of protection areas 352 as recording areas for storing image data acquired by the imaging device 40 .
  • the loop recording area 351 is a recording area where, when image data is recorded until it occupies most of its recording capacity, recording is continued by automatically overwriting the oldest data.
  • the protected area 352 is a recording area in which overwrite recording is prohibited, and is a recording area for protecting recorded image data. At least one protection area 352 is sufficient.
  • the excavator 100 can communicate with the management device 200 through a predetermined communication network NW.
  • the communication network NW may include, for example, a mobile communication network terminating at a base station.
  • the communication network NW may include a satellite communication network using a communication satellite in the sky.
  • the communication network NW may include the Internet network or the like.
  • the communication network NW may include a short-range communication network conforming to protocols such as WiFi and Bluetooth (registered trademark).
  • the excavator 100 can transmit (upload) various information to the management device 200 .
  • the excavator 100 may be configured to be able to communicate with the support device 300 through the communication network NW.
  • a management device 200 (an example of an external device or an information processing device) is arranged at a location geographically separated from a user or the like possessing the excavator 100 and the support device 300 .
  • the management device 200 is, for example, a server device installed in a management center or the like provided outside the work site where the excavator 100 works, and configured mainly by one or a plurality of server computers or the like.
  • the server device may be an in-house server operated by a business operator that operates the system or a related business operator related to the business operator, or may be a rental server. Also, this server device may be a so-called cloud server.
  • the management device 200 may be a server device (so-called edge server) arranged in a management office or the like in the work site of the excavator 100, or may be a stationary or portable general-purpose computer terminal. good. As described above, the management device 200 can mutually communicate with each of the excavator 100 and the support device 300 through the communication network NW. As a result, the management device 200 can receive and store (accumulate) various information uploaded from the excavator 100 . In addition, the management device 200 can transmit various types of information to the support device 300 in response to requests from the support device 300 .
  • a support device 300 (an example of a user terminal or terminal device) is a user terminal used by a user. Users may include, for example, worksite supervisors, managers, excavator 100 operators, excavator 100 managers, excavator 100 service personnel, excavator 100 developers, and the like.
  • the support device 300 is, for example, a general-purpose portable terminal such as a laptop computer terminal, a tablet terminal, or a smart phone possessed by the user. Further, the support device 300 may be a stationary general-purpose terminal such as a desktop computer. Further, the support device 300 may be a dedicated terminal (portable terminal or stationary terminal) for receiving provision of information.
  • the support device 300 can communicate with the management device 200 through the communication network NW. Accordingly, the support device 300 can receive information transmitted from the management device 200 and provide the information to the user through the display device mounted therein. Further, the support device 300 may be configured to communicate with the excavator 100 through the communication network NW.
  • FIG. 4 is a flow chart showing the flow of this recording control process.
  • the recording control process is executed by the controller 30 executing a predetermined program stored in the internal storage device on the CPU. This process may be executed/finished based on an operator's operation, or may be continuously executed while the excavator 100 is in operation.
  • step S1 when the operator starts operating the excavator 100 (step S1), the controller 30 acquires image (video) data around the excavator 100 using the imaging device 40. Then, the acquired image data is recorded in the storage unit 35 as needed (step S2). Here, the controller 30 causes the image data acquired in the normal state to be recorded in the loop recording area 351 of the storage section 35 .
  • images or image data refer to those acquired by the imaging device 40 unless otherwise specified.
  • the controller 30 acquires operation information regarding the operation of the excavator 100 from the operation device 45 (step S3).
  • the "operation information" regarding the operation of the excavator 100 is an operation command (operation content) for the operation device 45 by the operator, and includes at least the vehicle body of the excavator 100 (including the lower traveling body 1 and the upper revolving body 3). Refers to information that includes operation commands related to movement and posture. Note that the “body” of the shovel 100 to be detected may include the attachment 11 .
  • the controller 30 acquires state information about the state of the excavator 100 by the state detection unit 31 (step S4).
  • the “state information” regarding the state of the excavator 100 means at least information regarding the operating state and attitude state of the vehicle body of the excavator 100 (including the lower traveling body 1 and the upper rotating body 3).
  • the “body” of the shovel 100 to be detected may include the attachment 11 .
  • the imaging device 40 includes a front camera that captures an image of the front of the excavator 100 so that the image of the attachment 11 can be obtained by the front camera.
  • the state detection unit 31 acquires state information of the excavator 100 based on image data acquired by the imaging device 40 . Specifically, an image feature amount is extracted from the image data to detect the motion and posture of the excavator 100 . Any image feature amount may be used as long as the operation/state of the excavator 100 can be detected by optical flow, for example.
  • the state detection unit 31 detects various sensors mounted on the excavator 100 (for example, the motion/posture state sensor 42, the position sensor 43, the direction sensor 44, etc.), various actuators (for example, an electromagnetic valve for controlling hydraulic pressure), State information of the excavator 100 may be acquired from various control devices. For example, the state detection unit 31 can acquire the position and orientation of the excavator 100 using the position sensor 43 and the orientation sensor 44, and can detect the excavation operation of the attachment 11 by detecting the operation and load of the bucket 6.
  • the controller 30 determines whether or not there is a predetermined difference (difference) between the operation information acquired in step S3 and the state information acquired in step S4 (step S5).
  • the “predetermined difference” between the operation information and the state information means that the operator's operation content (operation information), which is an input, and the operation/posture state (state information) of the excavator 100, which is an output, are substantially different. means that it is not physically consistent. Therefore, for example, detection errors of operation information and status information are not included in the "predetermined difference”.
  • this predetermined difference (difference) can be adjusted as appropriate, and for example, a condition may be set as the difference that the moving direction vectors of the shovel 100 differ greatly by a predetermined angle or more.
  • step S5 when it is determined that there is no predetermined difference between the operation information and the state information (they substantially match) (step S5; No), the controller 30 shifts the processing to step S3 described above. do.
  • step S5 determines whether there is a predetermined difference between the operation information and the state information (they are substantially inconsistent) (step S5; Yes).
  • the controller 30 causes the recording control section 33 to perform loop recording.
  • the recording of the image data in the area 351 is stopped (step S6).
  • the recording control unit 33 moves the image data (the image itself or its copy) in the time range that is a predetermined amount of time before the time when the difference is detected to the protection area 352 .
  • the image data to be moved should include at least the image data at the time when it is determined that there is a difference. Thereby, the image data at the time when the difference between the operation information and the state information is detected can be saved so as not to be overwritten.
  • images after the detection time may also be recorded in the protected area 352 .
  • images after the detection time may also be recorded in the protected area 352 . Note that in this step, it is sufficient that at least the image data is recorded in the storage unit 35, and even if the image data is not moved to the protection area 352 or the recording of the image data in the loop recording area 351 is not stopped. good.
  • a situation in which the operation content of the operator and the operation/posture state of the excavator 100 do not substantially match means that an accident has already occurred. Even if it has occurred, there is a risk of machine failure, etc. Therefore, by saving the video including (preferably including before and after) the time when the inconsistency was detected as an event record (a record of a situation or phenomenon that is different from the normal state), it is possible to investigate the cause of the phenomenon that occurred. can help. Also, there may be a bug that causes the phenomenon during a specific operation, and in this case, the recorded video can be used as verification material.
  • the operation information includes an instruction to stop the excavator 100 and the state information includes movement of the excavator 100 .
  • the state information includes rotation in a direction different from the turning direction of the upper turning body 3 .
  • the car body is rotating vertically (rotating in a substantially vertical plane).
  • Actual situation Falling over.
  • the controller 30 notifies the operator that there is a predetermined difference between the operation information and the state information, that is, that the details of the operator's operation and the operation/attitude state of the excavator 100 do not substantially match (step S7).
  • This notification mode is not particularly limited as long as it can be notified to the operator.
  • the display device 50 or the audio output device 60 may output predetermined notification display or notification sound.
  • step S8 determines whether or not to end the recording control process. If it is determined not to end the recording control process (step S8; No), the process proceeds to the above-described step S2, and the work is performed. to continue. When it is determined that the recording control process should be terminated due to, for example, the end of the work (step S8; Yes), the controller 30 terminates the recording control process.
  • the image data including the data at the time when it is determined that there is a difference is prohibited from being overwritten. is transferred to protected area 352 .
  • event recording can be performed even more preferably when there is a possibility that a situation or phenomenon different from the normal state has occurred.
  • recording of image data in the loop recording area 351 is stopped when it is determined that there is a predetermined difference between the operation information and the state information. As a result, overwrite recording of image data in the loop recording area 351 can be prevented.
  • the state information of the excavator 100 is acquired based on the image data acquired by the imaging device 40 .
  • the state information can be obtained using the image data to be recorded, so that the state information can be obtained with a simple configuration without requiring a dedicated device for obtaining the state information.
  • recording of image data in the storage unit 35 is controlled when it is determined that there is a predetermined difference between the operation information and the state information.
  • log information indicating that a predetermined difference has been detected may be recorded in the storage unit 35 in association with the image data.
  • the log information includes, for example, at least one of date and time, location (worksite), operator identification information, excavator identification information, surrounding environment (for example, weather), work content, operation information, status information, and the like.
  • this log information may be transmitted to the management device 200 or the support device 300 to be recorded.
  • the imaging device 40 is mounted on the excavator 100, but the imaging device 40 does not have to be mounted on the excavator 100.
  • the imaging device 40 may be installed at a high place or mounted on an unmanned aerial vehicle such as a drone. may have been Then, the acquired data may be transmitted to the excavator 100 , or the data may be transmitted to the management device 200 or the support device 300 to execute detection processing, and the result thereof may be transmitted to the excavator 100 .
  • the information processing device according to the present invention may not be mounted on a vehicle such as an excavator, or may be configured as a system including the vehicle and an external processing device.
  • the working machine according to the present invention may be a working machine other than a shovel, such as a wheel loader, an asphalt finisher, a forklift, or a crane.
  • a working machine other than a shovel such as a wheel loader, an asphalt finisher, a forklift, or a crane.
  • Other details shown in the embodiments can be changed as appropriate without departing from the scope of the invention.
  • the present invention is useful for suitably recording events on work machines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

ショベル１００は、周辺の画像を取得する撮像装置４０と、画像を記録する記憶部３５と、コントローラ３０とを備える。コントローラ３０は、ショベル１００の操作に関する操作情報を取得し、ショベル１００の状態を検出して当該状態に関する状態情報を取得し、操作情報と状態情報とに所定の差異があるか否かを判定し、差異があると判定した場合に、少なくとも差異があると判定された時点のものを含む画像を記憶部３５に記録させる。

Description

情報処理装置、情報処理装置の制御プログラム
　本発明は、情報処理装置及びその制御プログラムに関する。
　従来、車両の周囲の映像データを撮影して記録する技術が知られている。
　この種の技術として、例えば特許文献１に記載のものでは、車両の制動と挙動とに差異が検出された場合に、その検出時点を含む映像データをイベント記録データとして保存している。車両の挙動が制動に見合うかものか否かは、加速度センサで検出している。
特開２０２０－５７０３４号公報
　しかしながら、車両が作業機械である場合、当該作業機械自体が作業（例えば掘削作業等）によって振動し得るため、加速度センサでは挙動を検出することができない。
　本発明は、上記事情に鑑みてなされたもので、作業機械のイベント記録を好適に行うことを目的とする。
　本発明は、情報処理装置であって、
　作業機械の周辺の画像を取得する画像取得手段と、
　前記画像取得手段が取得した画像を記録する記録手段と、
　前記作業機械の操作に関する操作情報を取得する操作情報取得手段と、
　前記作業機械の状態を検出し、当該状態に関する状態情報を取得する状態検出手段と、
　前記操作情報取得手段から取得した操作情報と、前記状態検出手段から取得した状態情報とに、所定の差異があるか否かを判定する判定手段と、
　前記判定手段により前記操作情報と前記状態情報とに差異があると判定された場合、少なくとも差異があると判定された時点のものを含む前記画像を前記記録手段に記録させる記録制御手段と、
　を備える構成とした。
　また、本発明は、作業機械の周辺の画像を取得する画像取得手段と、前記画像取得手段が取得した画像を記録する記録手段と、を備える情報処理装置の制御プログラムであって、
　コンピュータを、
　前記作業機械の操作に関する操作情報を取得する操作情報取得手段、
　前記作業機械の状態を検出し、当該状態に関する状態情報を取得する状態検出手段、
　前記操作情報取得手段から取得した操作情報と、前記状態検出手段から取得した状態情報とに、所定の差異があるか否かを判定する判定手段、
　前記判定手段により前記操作情報と前記状態情報とに差異があると判定された場合、少なくとも差異があると判定された時点のものを含む前記画像を前記記録手段に記録させる記録制御手段、
　として機能させるものとした。
　本発明によれば、作業機械のイベント記録を好適に行うことができる。
本実施形態に係るショベルの側面図である。 図１のショベルのシステム構成を示すブロック図である。 本実施形態に係る撮像装置の水平方向の撮像範囲（画角）を示す図である。 本実施形態に係る録画制御処理の流れを示すフローチャートである。
　以下、本発明の実施形態について、図面を参照して詳細に説明する。
［ショベルの構成］
　まず、本実施形態に係るショベル１００の構成について説明する。ショベル１００は、本発明に係る情報処理装置を具備することにより、当該ショベル１００のイベント記録を好適に行えるように構成されている。
　図１は、本実施形態に係るショベル１００の側面図である。
　この図に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメント１１としてのブーム４、アーム５及びバケット６と、オペレータが搭乗するキャビン１０とを備える。アタッチメント１１は、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。
　下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
　上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して水平面内で旋回する。
　ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
　キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等の被駆動要素を駆動する。
　図２は、ショベル１００のシステム構成を示すブロック図である。
　この図に示すように、ショベル１００は、上記構成のほか、コントローラ３０と、撮像装置４０と、動作・姿勢状態センサ４２と、位置センサ４３と、方位センサ４４と、操作装置４５と、表示装置５０と、音声出力装置６０と、通信機器８０とを備える。本発明に係る情報処理装置は、少なくともコントローラ３０を含む。
　撮像装置４０は、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、後方カメラ４０Ｂ、左方カメラ４０Ｌ、右方カメラ４０Ｒを含む。ショベル１００の「周辺」とは、少なくともショベル１００から所定距離内の所定範囲を含んでいればよい。
　後方カメラ４０Ｂは、上部旋回体３の後部に取り付けられ、上部旋回体３の後方を撮影する。
　左方カメラ４０Ｌは、上部旋回体３の左側部に取り付けられ、上部旋回体３の左側方を撮影する。
　右方カメラ４０Ｒは、上部旋回体３の右側部に取り付けられ、上部旋回体３の右側方を撮影する。
　これら後方カメラ４０Ｂ、左方カメラ４０Ｌ及び右方カメラ４０Ｒの各々は、上部旋回体３において、光軸が斜め下方に向くように取り付けられ、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。
　また、後方カメラ４０Ｂ、左方カメラ４０Ｌ及び右方カメラ４０Ｒの水平方向の撮像範囲（画角）は、図３に示すように、ショベル１００回りのうち前方を除く三方をカバーする範囲となっている。
　なお、撮像装置４０として、ショベル１００の前方を撮影するものや、キャビン１０内を撮影するものを、さらに設けてもよい。
　動作・姿勢状態センサ４２は、ショベル１００の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ３０に出力する。動作・姿勢状態センサ４２は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ（ＩＭＵ：Inertial Measurement Unit）と、旋回角度センサと、加速度センサとを含む。
　これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、ＩＭＵで取得される加速度（速度、位置も含んでもよい）により代替されてもよい。
　アーム角度センサは、ブーム４を基準とするアーム５の回動角度（以下、「アーム角度」と称する）を検出する。
　バケット角度センサは、アーム５を基準とするバケット６の回動角度（以下、「バケット角度」と称する）を検出する。
　ＩＭＵは、ブーム４及びアーム５の各々に取り付けられ、所定の三軸に沿ったブーム４及びアーム５の加速度、及び、所定の三軸廻りのブーム４及びアーム５の角加速度を検出する。
　旋回角度センサは、上部旋回体３の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体３に設けられたＧＰＳやＩＭＵセンサに基づいて旋回角度が検出されてもよい。
　加速度センサは、上部旋回体３の旋回軸から離れた位置に取り付けられ、上部旋回体３の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体３が旋回しているのか、或いは、下部走行体１が走行しているのか等が判別されうる。
　位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＰＳ（Global Positioning System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＰＳ受信機でなくともよく、例えばＧＰＳ以外の衛星測位システムを利用するものであってもよい。位置センサ４３は、下部走行体１に設けられてもよく、上部旋回体３に設けられていてもよい。
　方位センサ４４は、ショベル１００が向いている方位（方向）の情報を取得するセンサであり、例えば地磁気センサである。方位センサ４４は、ショベル１００の方位の情報を取得して、コントローラ３０に出力する。なお、方位センサ４４は、ショベル１００の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばＧＰＳ受信機を２つ設け、その位置情報の差異から方位情報を取得してもよい。
　操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが車体の各動作要素（下部走行体１、上部旋回体３、アタッチメント１１等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
　また、操作装置４５は、撮像装置４０、動作・姿勢状態センサ４２、位置センサ４３、表示装置５０、音声出力装置６０、通信機器８０等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。
　表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。
　音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。
　通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワーク（例えば、基地局を末端とする携帯電話ネットワークやインターネット網等）ＮＷを通じて、遠隔の外部機器や他のショベル１００等と各種情報を送受信する通信デバイスである。
　コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、これらの他にも、例えばＦＰＧＡやＡＳＩＣなどを含んで構成されてもよい。
　また、コントローラ３０は、各種機能を実行する機能部として、状態検出部３１と、比較判定部３２と、録画制御部３３とを含む。さらに、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域としての記憶部３５を含む。なお、記憶部３５は、コントローラ３０の外部メモリであってもよい。
　状態検出部３１は、ショベル１００の状態に関する状態情報を取得し、コントローラ３０に出力する。
　比較判定部３２は、ショベル１００の操作に関する操作情報と、ショベル１００の状態情報とを比較し、これらに所定の差異があるか否かを判定する。
　録画制御部３３は、撮像装置４０が取得した画像データの、記憶部３５への記憶（記録）を制御する。
　これら各機能部の具体的な処理内容は後述する。
　記憶部３５は、ショベル１００の各部を動作させるための各種プログラムや、撮像装置４０が取得した画像データ等の各種データを格納するほか、コントローラ３０の作業領域としても機能する。本実施形態の記憶部３５は、撮像装置４０が取得した画像データを記憶する記録領域として、ループ記録領域３５１と複数の保護領域３５２とを有している。
　ループ記録領域３５１は、その記録容量の大部分を占めるまで画像データが記録された場合に、自動的に古いデータから上書き記録がされて録画が継続される記録領域である。
　保護領域３５２は、上書き記録が禁止された記録領域であって、記録された画像データを保護する記録領域である。なお、保護領域３５２は、少なくとも１つあればよい。
　また、ショベル１００は、所定の通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。通信ネットワークＮＷには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークＮＷには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークＮＷには、インターネット網等が含まれてもよい。また、通信ネットワークＮＷには、ＷｉＦｉやブルートゥース（登録商標）等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）することができる。
　また、ショベル１００は、通信ネットワークＮＷを通じて、支援装置３００と相互に通信可能に構成されてもよい。
　管理装置２００（外部装置、情報処理装置の一例）は、ショベル１００及び支援装置３００を所持するユーザ等と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
　管理装置２００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００及び支援装置３００のそれぞれと相互に通信を行うことができる。これにより、管理装置２００は、ショベル１００からアップロードされる各種情報を受信し、記憶（蓄積）しておくことができる。また、管理装置２００は、支援装置３００からの要求に応じて、支援装置３００に各種情報を送信することができる。
　支援装置３００（ユーザ端末、端末装置の一例）は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル１００のオペレータ、ショベル１００の管理者、ショベル１００のサービスマン、ショベル１００の開発者等が含まれてよい。支援装置３００は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置３００は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置３００は、情報の提供を受けるための専用の端末（携帯端末或いは定置端末）であってもよい。
　支援装置３００は、通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。これにより、支援装置３００は、管理装置２００から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置３００は、通信ネットワークＮＷを通じて、ショベル１００と相互に通信可能に構成されてもよい。
［ショベルの動作］
　続いて、作業中のショベル１００周辺の画像データの記録を制御する録画制御処理を実行する際のショベル１００の動作について説明する。
　図４は、この録画制御処理の流れを示すフローチャートである。
　録画制御処理は、コントローラ３０が内部の記憶装置に格納された所定のプログラムをＣＰＵ上で実行することにより実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル１００の運転中に継続的に実行されてもよい。
　録画制御処理では、図４に示すように、オペレータによるショベル１００の運転操作によって作業が開始されると（ステップＳ１）、コントローラ３０は、撮像装置４０によりショベル１００周辺の画像（映像）データを取得し、取得した画像データを記憶部３５に随時記録させる（ステップＳ２）。ここでは、コントローラ３０は、常態で取得した画像データを、記憶部３５のループ記録領域３５１に記録させる。
　なお、以下の説明において、画像（又は画像データ）とは、特に断りのない限り、撮像装置４０で取得されたものを指す。
　次に、コントローラ３０は、ショベル１００の操作に関する操作情報を操作装置４５から取得する（ステップＳ３）。
　ここで、ショベル１００の操作に関する「操作情報」とは、オペレータによる操作装置４５に対する操作指令（操作内容）であって、少なくともショベル１００の車体（下部走行体１及び上部旋回体３を含む）の動作及び姿勢に関する操作指令を含む情報をいう。なお、検出対象であるショベル１００の「車体」は、アタッチメント１１を含んでもよい。
　次に、コントローラ３０は、状態検出部３１により、ショベル１００の状態に関する状態情報を取得する（ステップＳ４）。
　ここで、ショベル１００の状態に関する「状態情報」とは、少なくともショベル１００の車体（下部走行体１及び上部旋回体３を含む）の動作状態及び姿勢状態に関する情報をいう。なお、検出対象であるショベル１００の「車体」は、アタッチメント１１を含んでもよい。この場合、ショベル１００の前方を撮影する前方カメラを撮像装置４０に含め、当該前方カメラによりアタッチメント１１の画像を取得できるのが好ましい。
　本実施形態では、状態検出部３１は、撮像装置４０により取得された画像データに基づいて、ショベル１００の状態情報を取得する。具体的には、画像データから画像特徴量を抽出して、ショベル１００の動作や姿勢を検出する。画像特徴量としては、例えばオプティカルフローによりショベル１００の動作・状態を検出できるものであればよい。
　なお、状態検出部３１は、ショベル１００に搭載される各種センサ（例えば、動作・姿勢状態センサ４２、位置センサ４３、方位センサ４４等）、各種アクチュエータ（例えば、油圧制御を行う電磁弁等）、各種制御装置から、ショベル１００の状態情報を取得してもよい。例えば、状態検出部３１は、位置センサ４３及び方位センサ４４によりショベル１００の位置及び方位を取得でき、バケット６の動作や負荷を検出することによりアタッチメント１１の掘削動作を検出できる。
　次に、コントローラ３０は、比較判定部３２により、ステップＳ３で取得した操作情報と、ステップＳ４で取得した状態情報とに、所定の差異（差分）があるか否かを判定する（ステップＳ５）。
　ここで、操作情報と状態情報に「所定の差異」があるとは、入力であるオペレータの操作内容（操作情報）と、出力であるショベル１００の動作・姿勢状態（状態情報）とが、実質的に整合しないことを意味する。したがって、例えば操作情報や状態情報の検出誤差等は、「所定の差異」に含まれない。また、この所定の差異（差分）は適宜調整可能であり、例えば当該差異として、ショベル１００の移動方向ベクトルが所定角度以上に大きく異なる条件を設定してもよい。
　そして、ステップＳ５において、操作情報と状態情報とに所定の差異がない（これらが実質的に整合する）と判定した場合（ステップＳ５；Ｎｏ）、コントローラ３０は、上述のステップＳ３へ処理を移行する。
　一方、ステップＳ５において、操作情報と状態情報とに所定の差異がある（これらが実質的に整合しない）と判定した場合（ステップＳ５；Ｙｅｓ）、コントローラ３０は、録画制御部３３により、ループ記録領域３５１への画像データの記録を停止させる（ステップＳ６）。
　またこのとき、録画制御部３３は、差異が検出された時点から所定時間だけ遡った時間範囲の画像データ（自体又はその複製）を、保護領域３５２に移動させる。ただし、移動される画像データは、少なくとも差異があると判定された時点のものを含めばよい。これにより、操作情報と状態情報とに差異が検出された時点の画像データを、上書き記録されないように保存することができる。さらに、検出時点以降の画像も保護領域３５２に記録されるようにしてもよい。
　なお、このステップでは、少なくとも記憶部３５への画像データの記録が行われればよく、保護領域３５２への当該画像データの移動やループ記録領域３５１への画像データの記録の停止は行われなくともよい。
　オペレータの操作内容とショベル１００の動作・姿勢状態とが実質的に整合しない状況（例えば指示（操作）した方向とは異なる方向に車体が走行したり旋回したりする状況）とは、既に事故が発生しているか、発生していないにしても機械の故障等が危ぶまれる状況のおそれがある。
　そこで、不整合が検出された時点を含む（好ましくはさらにその前後を含む）映像をイベント記録（常態とは異なる状況や現象の記録）として保存しておくことで、発生した現象の原因究明に役立てることができる。また、特定操作時にその現象が発生するようなバグが存在する場合があり、この場合には、記録した映像を検証資料として役立てることができる。
　ここで、オペレータの操作内容（操作情報）とショベル１００の動作・姿勢状態（状態情報）とが実質的に整合しない状況の具体例を以下に挙げる。
（１）操作情報に含まれる作業機械の進行方向又は旋回方向と、状態情報に含まれる作業機械の動作方向とが異なる場合。
　・崖上の場所で車体を乗り出している場面で、少し前進の指示（操作）をしたのに、車体が沈んだ。→実際の状況：土台が崩れ始めた。
　・斜面を横切って走行している場面で、前進指示を出しているのに、車体が左側に移動している。→実際の状況：滑落している。
　・斜面を登っている場面で、前進指示を出しているのに、車体が後進している。→実際の状況：滑落している。
　・急な斜面のそばで作業している場面で、前進指示を出しているのに、車体が回転している。→実際の状況：転倒している。
　・通常走行時に、前進指示を出しているのに、車体が急に左に移動した。→実際の状況：右から何かが衝突してきた。
　・土砂の積み下ろし作業時に、右に旋回指示を出しているのに、車体が停止した。→実際の状況：右側のものに衝突した。
　・土砂の積み下ろし作業時に、右に旋回指示を出しているのに、車体が左側に動いた。→実際の状況：右側から何かが突っ込んできたか、機械が故障した。
（２）操作情報がショベル１００の停止指示を含み、状態情報がショベル１００の移動を含む場合。
　・斜面の上や盛り土の上で停車している場面で、停止指示を出しているのに、車体が移動している。→実際の状況：滑落している。
（３）状態情報が、上部旋回体３の旋回方向とは異なる方向の回転を含む場合。
　・車体が縦回転（略鉛直面内での回転）している。→実際の状況：転倒している。
　次に、コントローラ３０は、操作情報と状態情報とに所定の差異があること、つまりオペレータの操作内容とショベル１００の動作・姿勢状態とが実質的に整合しないことを、オペレータに報知する（ステップＳ７）。
　この報知態様は、オペレータに報知可能であれば特に限定されず、例えば表示装置５０や音声出力装置６０に所定の報知表示や報知音声を出力させてもよい。
　次に、コントローラ３０は、録画制御処理を終了させるか否かを判定し（ステップＳ８）、終了させないと判定した場合には（ステップＳ８；Ｎｏ）、上述のステップＳ２へ処理を移行し、作業を継続する。
　そして、例えば作業の終了等により、録画制御処理を終了させると判定した場合には（ステップＳ８；Ｙｅｓ）、コントローラ３０は、録画制御処理を終了させる。
［本実施形態の技術的効果］
　以上のように、本実施形態によれば、ショベル１００の操作に関する操作情報と、ショベル１００の状態に関する状態情報とに、所定の差異があるか否かが判定され、差異があると判定された場合に、少なくとも差異があると判定された時点のものを含む画像データが記憶部３５に記録される。
　これにより、常態とは異なる状況や現象が発生した可能性があるときのイベント記録を、好適に行うことができる。
　また、本実施形態によれば、操作情報と状態情報とに所定の差異があると判定された場合に、少なくとも差異があると判定された時点のものを含む画像データが、上書き記録が禁止された保護領域３５２に移される。
　これにより、操作情報と状態情報との差異が検出された時点の画像データが上書き記録されてしまうことを防止できる。ひいては、常態とは異なる状況や現象が発生した可能性があるときのイベント記録を、より一層好適に行うことができる。
　また、本実施形態によれば、操作情報と状態情報とに所定の差異があると判定された場合に、ループ記録領域３５１への画像データの記録が停止される。
　これにより、ループ記録領域３５１における画像データの上書き記録を防止できる。
　また、本実施形態によれば、撮像装置４０で取得された画像データに基づいて、ショベル１００の状態情報が取得される。
　これにより、記録対象である画像データを利用して状態情報を取得できるので、状態情報を取得するための専用装置を必要とすることなく、簡便な構成で状態情報を取得できる。
［その他］
　以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
　例えば、上記実施形態では、操作情報と状態情報とに所定の差異があると判定された場合に、記憶部３５への画像データの記録を制御することとした。しかし、これに加えて、所定の差異が検出されたことを示すログ情報を、画像データと対応付けて記憶部３５に記録させてもよい。ログ情報は、例えば、日時、場所（作業現場）、オペレータの識別情報、ショベルの識別情報、周辺環境（例えば天候等）、作業内容、操作情報、状態情報等のうち少なくとも１つを含む。さらに、このログ情報を管理装置２００や支援装置３００に送信して記録させてもよい。
　また、上記実施形態では、撮像装置４０がショベル１００に搭載されることとしたが、撮像装置４０はショベル１００に搭載されていなくともよく、例えば高所に設置されたりドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル１００に送信してもよいし、あるいは、データを管理装置２００や支援装置３００に送信して検出処理を実行させ、その結果をショベル１００に送信してもよい。すなわち、本発明に係る情報処理装置は、ショベル等の車両に搭載されていなくともよいし、当該車両と外部の処理装置とを含むシステムとして構成されてもよい。
　また、本発明に係る作業機械は、ショベル以外の作業機械、例えば、ホイールローダやアスファルトフィニッシャ、フォークリフト、クレーン等であってもよい。
　その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
産業上の利用の可能性
　以上のように、本発明は、作業機械のイベント記録を好適に行うのに有用である。
１００　　ショベル
１　　　　下部走行体
３　　　　上部旋回体
１１　　　アタッチメント
３０　　　コントローラ
３５　　　記憶部（記録手段）
４０　　　撮像装置（画像取得手段）
４２　　　動作・姿勢状態センサ
４５　　　操作装置
３５１　　ループ記録領域
３５２　　保護領域

Claims (10)

  1. 　作業機械の周辺の画像を取得する画像取得手段と、
    　前記画像取得手段が取得した画像を記録する記録手段と、
    　前記作業機械の操作に関する操作情報を取得する操作情報取得手段と、
    　前記作業機械の状態を検出し、当該状態に関する状態情報を取得する状態検出手段と、
    　前記操作情報取得手段から取得した操作情報と、前記状態検出手段から取得した状態情報とに、所定の差異があるか否かを判定する判定手段と、
    　前記判定手段により前記操作情報と前記状態情報とに差異があると判定された場合、少なくとも差異があると判定された時点のものを含む前記画像を前記記録手段に記録させる記録制御手段と、
    　を備える、
    　情報処理装置。
  2. 　前記記録手段は、上書き記録が禁止された保護領域を有し、
    　前記記録制御手段は、前記判定手段により前記操作情報と前記状態情報とに差異があると判定された場合、少なくとも差異があると判定された時点のものを含む前記画像を前記保護領域に移動させる、
    　請求項１に記載の情報処理装置。
  3. 　前記記録手段は、自動的に上書き記録されるループ記録領域を有し、
    　前記記録制御手段は、常態で、前記画像取得手段が取得した画像を前記ループ記録領域に記録させる、
    　請求項１又は請求項２に記載の情報処理装置。
  4. 　前記記録制御手段は、前記判定手段により前記操作情報と前記状態情報とに差異があると判定された場合、前記ループ記録領域への前記画像の記録を停止させる、
    　請求項３に記載の情報処理装置。
  5. 　前記状態検出手段は、前記画像取得手段が取得した画像に基づいて、前記状態情報を取得する、
    　請求項１から請求項４のいずれか一項に記載の情報処理装置。
  6. 　前記作業機械は、走行体と旋回体を有し、
    　前記判定手段は、前記操作情報に含まれる前記作業機械の進行方向又は旋回方向と、前記状態情報に含まれる前記作業機械の動作方向とが異なる場合に、前記操作情報と前記状態情報とに差異があると判定する、
    　請求項１から請求項５のいずれか一項に記載の情報処理装置。
  7. 　前記判定手段は、前記操作情報が前記作業機械の停止指示を含み、前記状態情報が前記作業機械の移動を含む場合に、前記操作情報と前記状態情報とに差異があると判定する、
    　請求項１から請求項６のいずれか一項に記載の情報処理装置。
  8. 　前記作業機械は、所定の旋回方向に回転する旋回体を有し、
    　前記判定手段は、前記状態情報が、前記旋回方向とは異なる方向の回転を含む場合に、前記操作情報と前記状態情報とに差異があると判定する、
    　請求項１から請求項７のいずれか一項に記載の情報処理装置。
  9. 　前記作業機械は、走行体、旋回体及びアタッチメントを有する、
    　請求項１から請求項８のいずれか一項に記載の情報処理装置。
  10. 　作業機械の周辺の画像を取得する画像取得手段と、前記画像取得手段が取得した画像を記録する記録手段と、を備える情報処理装置の制御プログラムであって、
    　コンピュータを、
    　前記作業機械の操作に関する操作情報を取得する操作情報取得手段、
    　前記作業機械の状態を検出し、当該状態に関する状態情報を取得する状態検出手段、
    　前記操作情報取得手段から取得した操作情報と、前記状態検出手段から取得した状態情報とに、所定の差異があるか否かを判定する判定手段、
    　前記判定手段により前記操作情報と前記状態情報とに差異があると判定された場合、少なくとも差異があると判定された時点のものを含む前記画像を前記記録手段に記録させる記録制御手段、
    　として機能させる、
    　情報処理装置の制御プログラム。
PCT/JP2022/017186 2021-04-23 2022-04-06 情報処理装置、情報処理装置の制御プログラム WO2022224827A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112022002406.2T DE112022002406T5 (de) 2021-04-23 2022-04-06 Informationsverarbeitungsvorrichtung und steuerprogramm von informationsverarbeitungsvorrichtung
CN202280030196.1A CN117203957A (zh) 2021-04-23 2022-04-06 信息处理装置、信息处理装置的控制程序
JP2023516433A JPWO2022224827A1 (ja) 2021-04-23 2022-04-06
US18/490,853 US20240044113A1 (en) 2021-04-23 2023-10-20 Information processing device and non-transitory computer readable medium storing control program of information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-073151 2021-04-23
JP2021073151 2021-04-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/490,853 Continuation US20240044113A1 (en) 2021-04-23 2023-10-20 Information processing device and non-transitory computer readable medium storing control program of information processing device

Publications (1)

Publication Number Publication Date
WO2022224827A1 true WO2022224827A1 (ja) 2022-10-27

Family

ID=83722308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017186 WO2022224827A1 (ja) 2021-04-23 2022-04-06 情報処理装置、情報処理装置の制御プログラム

Country Status (5)

Country Link
US (1) US20240044113A1 (ja)
JP (1) JPWO2022224827A1 (ja)
CN (1) CN117203957A (ja)
DE (1) DE112022002406T5 (ja)
WO (1) WO2022224827A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095945A1 (ja) * 2018-11-08 2020-05-14 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
WO2021025123A1 (ja) * 2019-08-08 2021-02-11 住友建機株式会社 ショベル、情報処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057034A (ja) 2018-09-28 2020-04-09 株式会社Ｊｖｃケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095945A1 (ja) * 2018-11-08 2020-05-14 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
WO2021025123A1 (ja) * 2019-08-08 2021-02-11 住友建機株式会社 ショベル、情報処理装置

Also Published As

Publication number Publication date
DE112022002406T5 (de) 2024-03-28
US20240044113A1 (en) 2024-02-08
JPWO2022224827A1 (ja) 2022-10-27
CN117203957A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
WO2020080538A1 (ja) ショベル
WO2020095945A1 (ja) ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
JP7387718B2 (ja) 建設機械、支援システム
US20210230829A1 (en) Shovel
WO2021241033A1 (ja) 作業機械
CN112334621A (zh) 挖土机
JP2020145526A (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
US20220341124A1 (en) Shovel and remote operation support apparatus
WO2022224827A1 (ja) 情報処理装置、情報処理装置の制御プログラム
US11987960B2 (en) Work machine, information management system, information terminal, and program
WO2021192224A1 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
JP7330669B2 (ja) 建設機械、建設機械の支援システム
WO2020194914A1 (ja) 作業機械
US20240150997A1 (en) Work machine and information processing device
JP7080686B2 (ja) 建設機械の支援装置、支援方法、支援プログラム
WO2021210427A1 (ja) 施工方法及び施工システム
WO2021166566A1 (ja) 作業機械及び作業機械の遠隔操作システム
WO2019110094A1 (en) A steering system for an articulated vehicle
JP2023149853A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
US20240218632A1 (en) Work machine and remote operation support device
JP2020143476A (ja) 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
JP2024018270A (ja) 作業支援システム、作業機械、投影装置、制御装置
JP2024082696A (ja) ショベル、操作支援方法及び操作支援プログラム
JP2024094591A (ja) 作業機械、遠隔操作支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22791601

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023516433

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280030196.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022002406

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22791601

Country of ref document: EP

Kind code of ref document: A1