WO2023204466A1 - 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치 - Google Patents

통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2023204466A1
WO2023204466A1 PCT/KR2023/004044 KR2023004044W WO2023204466A1 WO 2023204466 A1 WO2023204466 A1 WO 2023204466A1 KR 2023004044 W KR2023004044 W KR 2023004044W WO 2023204466 A1 WO2023204466 A1 WO 2023204466A1
Authority
WO
WIPO (PCT)
Prior art keywords
pto
control
severity
potential accident
acu
Prior art date
Application number
PCT/KR2023/004044
Other languages
English (en)
French (fr)
Inventor
김용현
손승락
Original Assignee
주식회사 긴트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 긴트 filed Critical 주식회사 긴트
Publication of WO2023204466A1 publication Critical patent/WO2023204466A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B71/00—Construction or arrangement of setting or adjusting mechanisms, of implement or tool drive or of power take-off; Means for protecting parts against dust, or the like; Adapting machine elements to or for agricultural purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K17/00—Arrangement or mounting of transmissions in vehicles
    • B60K17/28—Arrangement or mounting of transmissions in vehicles characterised by arrangement, location, or type of power take-off
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to a method and device for predicting potential accidents and controlling operations to avoid potential accidents for agricultural machinery that performs autonomous driving in a communication system and has a power take off (PTO) operation. Specifically, the present invention determines the probability of occurrence and predicted severity of a potential accident according to the change in distance from a person or obstacle over time in an agricultural machine that performs autonomous driving and operates a PTO, and if the probability of occurrence is greater than or equal to a threshold probability, the predicted severity is determined. Accordingly, there is a method and device for reporting to the user terminal after taking pre-action measures to avoid an accident, or for performing post-action measures to avoid an accident with an action received from the user terminal after pre-reporting a suggested action for avoiding an accident to the user terminal. It's about.
  • the research of this invention was funded by the Ministry of Agriculture, Food and rural Affairs of the Republic of Korea's Advanced Agricultural Machinery Industrialization Technology Development Research Project (Project identification number: 1545022226, detailed task number: 320025031SB010, research project name: Development of agricultural machinery management technology based on blockchain technology). It was conducted under the supervision of the Agriculture, Food and Rural Technology Planning and Evaluation Institute.
  • Agricultural machinery is treated as a very important element to reduce the high labor burden and production costs in response to the labor shortage due to the decline and aging of the working population in rural areas.
  • Agricultural machinery is intended to perform various tasks necessary for farming and enables various types of work such as plowing, rotary work, pest control, and rice transplanting. It is equipped with a walking implement that the operator operates while walking along with the agricultural machinery and the operator on the agricultural machinery. It is classified as a passenger working machine that operates agricultural machinery by sitting in the driver's seat.
  • telematics devices that are electrically connected to agricultural machinery and can perform wireless communication regarding agricultural machinery-related status and control information with servers such as agricultural machinery manufacturers are becoming popular.
  • a telematics device users can control the operation of agricultural machinery without having to go directly to the agricultural machinery.
  • PTO Power take off
  • a communication system communication between the user and agricultural machinery is used to provide the user with information on possible avoidance actions according to the predicted severity of a potential accident and to take action to avoid the accident according to the user's selection or to immediately take action to avoid the accident. You can do this first and then report to the user about the actions to avoid the accident.
  • various embodiments of the present invention predict potential accidents and perform actions to avoid potential accidents for agricultural machinery that performs autonomous driving and operates with a power take-off (PTO).
  • PTO power take-off
  • Various embodiments of the present invention determine the probability of occurrence and predicted severity of a potential accident according to the change in distance from a person or obstacle over time in an agricultural machine that performs autonomous driving and operates a PTO, and, if the probability of occurrence is greater than or equal to a threshold probability, predicts A method and device for determining accident avoidance actions according to severity are provided.
  • Various embodiments of the present invention provide a method and device for avoiding potential accidents by differentially determining actions to avoid accidents according to the range of predicted severity, and performing controllable actions when normal operation is confirmed. do.
  • Various embodiments of the present invention use communication between a user and agricultural machinery in a communication system to provide the user with information on avoidance actions that can be performed according to the predicted severity of a potential accident and take measures to avoid the accident according to the user's selection.
  • methods and devices are provided to first immediately perform accident avoidance measures and then report the accident avoidance measures to the user.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor. , memory, transceiver, and infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • controlling the steering device through the VCU device may include controlling the steering of the agricultural machinery in a direction to avoid the potential accident.
  • Control of the PTO through the PTO control device may include control of stopping operation of the PTO.
  • Control of the driving device through the ECU device may include driving stop control of the agricultural machinery.
  • the probability of occurrence of the potential accident is determined as the probability that the PTO and the obstacle or person collide based on the change in distance between the PTO and the obstacle or person over time, and the predicted severity of the potential accident is determined by the probability of collision between the PTO and the obstacle or person. It may be determined based on the expected impact amount when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) device in the communication system or the power take off (PTO) device.
  • the step of determining the one or more proposed operations may be performed when the probability of occurrence of the potential accident is greater than or equal to a threshold probability. Determining the one or more proposed actions includes: if the predicted severity is greater than or equal to the first critical severity and less than the second critical severity, the one or more suggested actions with the control of the steering device, the control of the PTO, and the control of the driving device.
  • the predicted severity is greater than or equal to the second critical severity and less than the third critical severity, determine the one or more proposed operations by control of the PTO and control of the driving device, and wherein the predicted severity is greater than or equal to the third threshold. If the severity is greater than or equal to that of the severity, it may include determining the one or more proposed operations by controlling the driving device.
  • the third critical severity is higher than the second critical severity and the first critical severity, and the first critical severity is lower than the third critical severity and the second critical severity.
  • determining the one or more proposed actions may include, if the predicted severity is greater than or equal to the first critical severity and less than the second critical severity: If the VCU is operating normally, the steering through the VCU device.
  • determining the one or more proposed actions may include: If the predicted severity is greater than or equal to the second threshold severity and less than the third threshold severity: If the PTO control device is operating normally, the PTO control device Determine the one or more proposed operations by controlling the PTO through control and controlling the driving device through the ECU device, and when the PTO control device does not operate normally and the ECU device operates normally, the It may include determining the one or more proposed operations by controlling the driving device.
  • the user terminal when a decision is made to report after taking action in the action direction first, or when action is determined after taking action in the action direction, the user terminal responds to one of the one or more proposed actions within the predetermined time. Failure to receive instruction information:
  • the step of performing one of the one or more proposed actions may include performing an action with the highest priority among the one or more proposed actions.
  • control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device have higher priorities in that order, and control of the steering device through the VCU device The priority of control is the highest, and the priority of control of the driving device through the ECU device is the lowest.
  • whether the VCU device is normally operated, whether the PTO control device is normally operated, and whether the ECU device is normally operated is determined from the ACU device to each of the VCU device, the PTO control device, and the ECU device.
  • the ACU device may be determined by receiving a normal operation confirmation signal from each of the VCU device, the PTO control device, and the ECU device.
  • the ACU device in the method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in the communication system, the ACU device It includes a processor, memory, a transceiver, and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • the processor may be configured to perform an operation method of an automated-driving control unit (ACU) device electrically connected to an agricultural machine including a power take off (PTO) in the communication system according to the above-described embodiments. .
  • a computer program is configured to perform a method of operating an automated-driving control unit (ACU) device electrically connected to an agricultural machine including a power take off (PTO) in the communication system. and may be recorded on a computer-readable storage medium.
  • ACU automated-driving control unit
  • PTO power take off
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor. , memory, transceiver, and infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • control of the steering device through the VCU device may include steering control of the agricultural machinery in a direction to avoid the potential accident.
  • Control of the PTO through the PTO control device may include control to stop driving of the PTO.
  • Control of the driving device through the ECU device may include control to stop driving of the agricultural machinery.
  • the probability of occurrence of the potential accident may be determined as the probability that the PTO and the obstacle or person will collide based on changes over time in the distance between the PTO and the obstacle or person.
  • the predicted severity of the potential accident is determined based on the expected impact amount when the PTO collides with the obstacle or person based on changes in the relative speed of the PTO with respect to the obstacle or person over time.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, , a transceiver, and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • the processor may be configured to perform a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in the communication system according to the above-described embodiments. there is.
  • the computer program is configured to perform a method of operating an automated-driving control unit (ACU) device electrically coupled to an agricultural machine including a power take off (PTO) in a communication system, wherein the computer program It may be recorded on a readable storage medium.
  • ACU automated-driving control unit
  • PTO power take off
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor. , memory, transceiver, and infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • the step of determining the one or more proposed actions is performed when the probability of occurrence of the potential accident is greater than or equal to a threshold probability, and the step of determining the one or more proposed actions includes: the predicted severity is greater than or equal to the first threshold severity and the second threshold severity is If the predicted severity is greater than or equal to the second critical severity and less than the third critical severity, the control of the steering device, the control of the PTO, or the control of the driving device determines the one or more proposed operations.
  • Control may include determining the one or more proposed operations by controlling the driving device, and when the predicted severity is greater than or equal to the third critical severity, determining the one or more proposed actions by controlling the driving device.
  • determining the one or more proposed actions may include, if the predicted severity is greater than or equal to the first critical severity and less than the second critical severity: If the VCU is operating normally, the step of determining the one or more proposed actions may include: The one or more proposed operations are determined by control of the steering device and control of the PTO through the PTO control device, and when the VCU does not operate normally and the PTO control device operates normally, the The one or more proposed operations are determined by control of the PTO, and when the VCU and the PTO control device do not operate normally and the ECU device operates normally, the one or more proposed operations are controlled by the driving device through the ECU device.
  • determining the one or more proposed actions may include: If the predicted severity is greater than or equal to the second critical severity and less than the third critical severity: If the PTO control device is operating normally, the PTO control Determine the one or more proposed operations by controlling the PTO through the device and controlling the driving device through the ECU device, and when the PTO control device does not operate normally and the ECU device operates normally, the ECU device It may include determining the one or more proposed operations through control of the driving device.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, , a transceiver, and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • the processor may be configured to perform a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in the communication system according to the above-described embodiments. there is.
  • the computer program is configured to perform a method of operating an automated-driving control unit (ACU) device electrically coupled to an agricultural machine including a power take off (PTO) in a communication system, wherein the computer program It may be recorded on a readable storage medium.
  • ACU automated-driving control unit
  • PTO power take off
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor. , memory, transceiver, and infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • the step of performing one of the one or more proposed actions may include performing an action with the highest priority among the one or more proposed actions.
  • Control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device have higher priorities in that order, and control of the steering device through the VCU device The priority is the highest, and the priority of control of the driving device through the ECU device is the lowest.
  • the probability of occurrence of the potential accident is determined as the probability of the PTO colliding with the obstacle or person based on a change in the distance between the PTO and the obstacle or person over time, and the predicted severity of the potential accident may be determined based on the amount of impact predicted when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, , a transceiver, and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • the processor may be configured to perform a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in the communication system according to the above-described embodiments. there is.
  • the computer program is configured to perform a method of operating an automated-driving control unit (ACU) device electrically coupled to an agricultural machine including a power take off (PTO) in a communication system, wherein the computer program It may be recorded on a readable storage medium.
  • ACU automated-driving control unit
  • PTO power take off
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor. , memory, transceiver, and infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more suggested actions perform one of the one or more suggested actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • a normal operation confirmation request signal is sent from the ACU device to each of the VCU device, the PTO control device, and the ECU device. After transmission, it can be determined by the ACU device receiving a normal operation confirmation signal from each of the VCU device, the PTO control device, and the ECU device.
  • the probability of occurrence of the potential accident is determined as the probability of the PTO colliding with the obstacle or person based on a change in the distance between the PTO and the obstacle or person over time, and the predicted severity of the potential accident may be determined based on the amount of impact predicted when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, , a transceiver, and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • the processor may be configured to perform a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in the communication system according to the above-described embodiments. there is.
  • the computer program is configured to perform a method of operating an automated-driving control unit (ACU) device electrically coupled to an agricultural machine including a power take off (PTO) in a communication system, wherein the computer program It may be recorded on a readable storage medium.
  • ACU automated-driving control unit
  • PTO power take off
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO), includes a processor, memory, and infrared rays. It includes a sensor, and the ACU device is electrically connected to a camera in the agricultural machine, and while the agricultural machine performs autonomous driving and the PTO is operated, an obstacle or person is detected within a predetermined distance from the PTO by at least one of the infrared sensor and the camera.
  • ACU automated-driving control unit
  • PTO power take off
  • step 1 Determining the probability of occurrence of a potential accident and the predicted severity of a potential accident based on hourly changes in the distance between the PTO and an obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and whether the ECU (engine control unit) device electrically connected to the driving device of agricultural machinery is normal. determining whether it works; Based on the probability of occurrence of a potential accident and the predicted severity of the potential accident, determining accident avoidance action by one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the drive device through the ECU device; and performing the determined accident avoidance action.
  • VCU vehicle control unit
  • the ACU device in an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO), the ACU device includes a processor, memory, and an infrared sensor.
  • the ACU device is electrically connected to a camera in the agricultural machine, and the processor is configured to perform the operation method of the ACU device according to various embodiments of the present invention.
  • a computer program configured to perform a method of operating an ACU device according to various embodiments of the present invention and recorded on a computer-readable storage medium is provided.
  • Various embodiments of the present invention can provide a device for controlling a driving unit according to the position of a shuttle lever of an agricultural machine that supports autonomous driving.
  • Various embodiments of the present invention provide conversion between autonomous driving and manual driving by providing a new definition of the position between forward and neutral, or between neutral and reverse, for the shuttle lever composed of the forward-neutral-backward structure of agricultural machinery. Devices can be provided for this.
  • Various embodiments of the present invention can provide a device that can organize the control direction of the driving unit in relation to the position of the shuttle lever in an autonomous driving state of agricultural machinery.
  • Various embodiments of the present invention can provide a device that can control the conversion between manual driving and autonomous driving of agricultural machinery using a shuttle lever.
  • FIG 1 shows an example of autonomous driving of agricultural machinery according to various embodiments of the present invention.
  • FIG. 2 shows an example of a power take off (PTO) device for agricultural machinery according to various embodiments of the present invention.
  • PTO power take off
  • Figure 3 shows an example of the configuration of a control device for agricultural machinery according to various embodiments of the present invention.
  • Figure 4 shows an example of the configuration of a control device for agricultural machinery according to various embodiments of the present invention.
  • Figure 5 shows the configuration of a server according to various embodiments of the present invention.
  • Figure 6 shows the configuration of a user terminal according to various embodiments of the present invention.
  • Figure 7 shows the operation process of the ACU device according to various embodiments of the present invention.
  • GPS sensor 125 IR sensor
  • VCU 131 Memory
  • processor 140 PTO control device
  • Electrical device 180 ECU
  • transceiver 320 memory
  • Transceiver 420 Memory
  • processor 440 input device
  • FIG 1 shows an example of autonomous driving of agricultural machinery according to various embodiments of the present invention.
  • Agricultural machinery is treated as a very important element to reduce the high labor burden and production costs in response to the labor shortage due to the decline and aging of the working population in rural areas.
  • Agricultural machinery is intended to perform various tasks necessary for farming and enables various types of work such as plowing, rotary work, pest control, and rice transplanting. It is equipped with a walking implement that the operator operates while walking along with the agricultural machinery and the operator on the agricultural machinery. It is classified as a passenger working machine that operates agricultural machinery by sitting in the driver's seat.
  • Various embodiments of the present invention disclose devices applicable to agricultural machinery, such as tractors, which are classified as riding implements.
  • Users of agricultural machinery can directly perform manual driving control. Users of agricultural machinery can control the forward or backward movement of agricultural machinery by directly manipulating the shuttle lever of the agricultural machinery, and can control the path of the agricultural machinery by manipulating the steering wheel.
  • a drive control device for controlling forward or reverse driving may be installed on the agricultural machinery.
  • the agricultural machine moves along a set path and can move forward or backward according to what is set by the user of the agricultural machine.
  • Autonomous driving can be controlled and established through information exchange between the drive control device installed on agricultural machinery and the user device.
  • the user can create autonomous driving-related setting information and transmit it to the drive control device using a user device, such as a smartphone or computer, which is a terminal capable of performing information calculations and transmitting and receiving information.
  • the drive control device includes a transceiver and a processor, and is electrically connected to the drive unit of the agricultural machinery to control the drive unit.
  • the drive control device can receive setting information related to autonomous driving from the user device, and can control the forward or backward movement of the driving unit of the agricultural machinery according to the setting information related to autonomous driving.
  • a steering control device for controlling the steering wheel may be additionally installed on agricultural machinery.
  • the steering control device may be configured to control the steering wheel so that the agricultural machine can move along a set path according to setting information related to autonomous driving received from the user device.
  • the steering control device may be mechanically connected to the steering wheel and configured to rotate the steering wheel according to a set path.
  • the steering control device may receive autonomous driving-related setting information from the user device, including a transceiver.
  • the steering control device includes a processor and may control the rotation of the steering wheel according to setting information related to autonomous driving.
  • FIG. 2 shows an example of a power take off (PTO) device for agricultural machinery according to various embodiments of the present invention.
  • PTO power take off
  • a power take off (PTO) device is a device used when the engine's rotational power is used for purposes other than the original purpose of the device. Air compressors, generators, and various other power devices can be connected to the PTO. The power of the ladder truck is also supplied through the PTO. It is usually used in automobiles (agricultural trucks, etc.) or agricultural machinery (cultivators, tractors, etc.), and is also installed on ships, in which case it is connected to a fire suppression device or generator.
  • PTO increases efficiency by allowing the engine of one device to be used for a wide variety of purposes. For example, in the case of agricultural pesticide sprayers, if you do not have a PTO, you have to purchase a model with an engine or motor, which makes it heavy, expensive, and cumbersome to maintain. However, if you use a PTO attached to a truck or cultivator, you can purchase it at minimal additional cost. . In addition to agricultural use, PTO is useful at construction sites, etc., when there are cars (trucks) and multiple power devices are needed.
  • PTO allows the engine to be used very efficiently for a variety of purposes, but it also poses a risk of accident.
  • safety accidents often occur because a person's body or clothes get caught in the power shaft.
  • Due to the enormous torque of PTO there is a high possibility of fracture or death in the event of a safety accident. For example, in the United States, it is such a serious problem that 6% of tractor fatal accidents are said to be caused by PTO.
  • Figure 3 shows an example of the configuration of a control device for agricultural machinery according to various embodiments of the present invention.
  • agricultural machinery 100 includes an ACU 120, a VCU 130, a PTO control device 140, a camera 150, and an ECU 180.
  • An automated-driving control unit (ACU) 120 may be configured to receive information related to autonomous driving of agricultural machinery 100 from a user terminal or server and control the operation of agricultural machinery 100 in relation to autonomous driving.
  • the ACU 120 may determine the autonomous driving path of the agricultural machine 100 and determine driving behavior and steering control according to the autonomous driving path of the agricultural machine 100.
  • ACU 120 transmits control signals to VCU 130, PTO control unit 140, camera 150, and ECU 180 in relation to autonomous driving of agricultural machinery 100, and controls VCU 130 and PTO It may be configured to receive information according to the performance of a controlled operation from the device 140, camera 150, and ECU 180.
  • the ACU 120 may transmit a normal operation confirmation request signal to the VCU 130, the PTO control unit 140, and the ECU 180 periodically, or aperiodically, as the case may be, in relation to the autonomous driving of the agricultural machinery 100.
  • a normal operation confirmation signal from the VCU 130, the PTO control device 140, and the ECU 180, it is possible to check whether the VCU 130, the PTO control device 140, and the ECU 180 are operating normally. .
  • a vehicle control unit (VCU) 130 can control various electronic devices within the agricultural machinery 100.
  • the VCU 130 may be configured to control the steering device, transmission (transmission), etc. of the agricultural machine 100 in relation to autonomous driving of the agricultural machine 100.
  • the VCU 130 can receive signals about the rider's control of the agricultural machine through various electronic devices in the agricultural machine 100 and control the ECU 180 based on this.
  • the PTO control device 140 can control the PTO to operate or stop.
  • the PTO control device 140 can control the operation of the PTO by connecting or disconnecting power to the PTO.
  • the camera 150 is configured to capture an image of an object in front. Camera 150 may be configured to perform photography of people or objects around the PTO.
  • An engine control unit (ECU) 180 is electrically connected to the driving device of the agricultural machinery 100, that is, the engine.
  • the ECU 180 can control the driving device of the agricultural machine 100 to operate or stop.
  • the ACU 120 and VCU 130 may transmit a control signal for driving or stopping the driving device to the ECU 180.
  • control of the driving device is determined according to autonomous driving without the judgment of the occupant and the control signal is transmitted.
  • control of the driving device is determined according to the passenger's control and the control signal is transmitted.
  • Figure 4 shows an example of the configuration of a control device for agricultural machinery according to various embodiments of the present invention.
  • agricultural machinery 100 is connected to a server 300 and a user terminal 400 through a communication network 200.
  • Agricultural machinery 100 includes a driving unit 110, ACU 120, VCU 130, PTO control unit 140, camera 150, PTO 160, electrical equipment 170, and ECU 180. do.
  • the driving device 110 corresponds to the engine of the agricultural machine 100.
  • the driving device 110 may operate or stop according to the control of the ECU 180.
  • ACU automated-driving control unit, 120 receives information related to autonomous driving of agricultural machinery 100 from the user terminal 400 or server 300 and controls the operation of agricultural machinery 100 in relation to autonomous driving. It can be configured.
  • the ACU 120 includes a transceiver 121, a memory 122, a processor 123, a global positioning system (GPS) sensor 124, and an infrared (IR) sensor 125.
  • GPS global positioning system
  • IR infrared
  • the transceiver 121 is connected to the processor 123 and transmits and/or receives signals. All or part of the transceiver 121 may be referred to as a transmitter or receiver, or a transceiver.
  • the transceiver 121 is connected to wireless access systems such as the Institute of Electrical and Electronics Engineers (IEEE) 802.xx system, IEEE Wi-Fi system, 3rd generation partnership project (3GPP) system, 3GPP long term evolution (LTE) system, and 3GPP 5G NR. It can support at least one of various wireless communication standards such as (new radio) system, 3GPP2 system, and Bluetooth.
  • IEEE Institute of Electrical and Electronics Engineers
  • 3GPP 3rd generation partnership project
  • LTE 3GPP long term evolution
  • 5G NR 3rd generation partnership project
  • It can support at least one of various wireless communication standards such as (new radio) system, 3GPP2 system, and Bluetooth.
  • the memory 122 is connected to the transceiver 121 and can store information received through communication.
  • the memory 122 is connected to the processor 123 and can store data such as basic programs for operation of the processor 123, application programs, setting information, and information generated by operations of the processor 123.
  • the memory 122 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the memory 122 may provide stored data according to the request of the processor 123.
  • the processor 123 may be configured to implement the procedures and/or methods proposed in the present invention.
  • the processor 123 controls the overall operations of the ACU 120. For example, the processor 123 transmits or receives information, etc. through the transceiver 121. Additionally, the processor 123 writes and reads data into the memory 122.
  • the processor 123 may include at least one processor.
  • the GPS sensor 124 is configured to determine the GPS (global positioning system) location of the agricultural machine 100.
  • the GPS sensor 124 receives signals transmitted from three or more GPS satellites and determines the positions of the satellites and the GPS sensor 124. By measuring the time difference between the signal transmitted from the GPS satellite and the signal received from the GPS sensor 124, the distance between the GPS satellite and the GPS sensor 124 can be obtained. At this time, the signal transmitted from the GPS satellite includes the signal received from the GPS sensor 124. Contains information about location. Once you know the distance to at least three GPS satellites and the location of each GPS satellite, you can use methods such as trilateration to calculate the position of the GPS sensor. The GPS location of the agricultural machine 100 can be determined using the GPS sensor 124.
  • the IR sensor 125 is a sensor that uses infrared rays and detects external substances by changing the polarization of a substance with spontaneous polarization within the sensor, where infrared rays emitted from an external substance generate external free charges. IR sensor 125 may be configured to detect people or other obstacles around the PTO.
  • a vehicle control unit (VCU) 130 can control various electronic devices 170 within the agricultural machinery 100.
  • the VCU 130 includes a memory 131 and a processor 132.
  • the memory 131 is connected to the processor 132 and can store data such as basic programs for operation of the processor 132, application programs, setting information, and information generated by operations of the processor 132.
  • the memory 131 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the memory 131 may provide stored data according to the request of the processor 132.
  • the processor 132 controls the overall operations of the VCU 130. For example, the processor 132 generates control signals and writes and reads data to the memory 131.
  • Processor 132 may include at least one processor.
  • the PTO control device 140 can control the PTO 160 to operate or stop.
  • the PTO control device 140 may control the operation of the PTO 160 by connecting or disconnecting power to the PTO 160.
  • the camera 150 is configured to capture an image of an object in front.
  • the camera 150 may be configured to take pictures of people or objects around the PTO 160.
  • the PTO 160 is a device for transmitting the rotational force of the driving device 110 in the agricultural machinery 100, that is, the engine, to other work devices of the driving device 110. There are various types of work devices that can be connected to the PTO (160).
  • the electronic device 170 includes various devices comprised of electronic components within the agricultural machinery 100.
  • the electronic device 170 may be configured to control the steering device, transmission (transmission), etc. of the agricultural machinery 100.
  • the electronic device 170 may be configured to receive control input for the agricultural machine 100 from the occupant of the agricultural machine 100.
  • An engine control unit (ECU) 180 is electrically connected to the driving device 110 of the agricultural machinery 100, that is, the engine.
  • the ECU 180 can control the driving device 110 of the agricultural machinery 100 to operate or stop.
  • the ECU 180 includes a memory 181 and a processor 182.
  • the memory 181 is connected to the processor 182 and can store data such as basic programs for operation of the processor 182, application programs, setting information, and information generated by operations of the processor 182.
  • the memory 181 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the memory 181 may provide stored data according to the request of the processor 182.
  • the processor 182 controls the overall operations of the ECU 180. For example, the processor 182 generates control signals and writes and reads data to the memory 181.
  • the processor 182 may include at least one processor.
  • the communication network 200 provides a communication path through which the agricultural machinery 100, the server 300, and the user terminal 400 can transmit and receive signals and data with each other.
  • the communication network 200 is not limited to a communication method according to a specific communication protocol, and an appropriate communication method may be used depending on the implementation example.
  • IP Internet protocol
  • the communication network 200 may be implemented as a wired or wireless Internet network
  • the agricultural machinery 100, the server 300, and the user terminal 400 When implemented as a mobile communication terminal, the wired/wireless communication network 200 may be implemented as a wireless network such as a cellular network or a wireless local area network (WLAN) network.
  • WLAN wireless local area network
  • the server 300 is a server operated by a manufacturer of agricultural machinery 100 or an autonomous driving-based service provider.
  • the server 300 can transmit information related to autonomous driving of the agricultural machine 100 to the agricultural machine 100 and the user terminal 400 through the communication network 200, and can transmit information related to autonomous driving of the agricultural machine 100 and the user terminal 400 through the communication network.
  • It is an electronic device that can receive information through (200).
  • the user terminal 400 is a terminal operated by the user of the agricultural machinery 100.
  • the user terminal 400 is an electronic device that can transmit and receive information with the agricultural machinery 100 and the server 300 through the communication network 200.
  • Figure 5 shows the configuration of a server according to various embodiments of the present invention.
  • the server 300 includes a transceiver 310, a memory 320, and a processor 330.
  • the transceiver 310 is connected to the processor 330 and transmits and/or receives signals. All or part of the transceiver 310 may be referred to as a transmitter, receiver, or transceiver.
  • the transceiver 310 uses wired access systems and wireless access systems such as the IEEE (institute of electrical and electronics engineers) 802.xx system, IEEE Wi-Fi system, 3rd generation partnership project (3GPP) system, and 3GPP LTE (long term evolution) system. , 3GPP 5G NR (new radio) system, 3GPP2 system, and Bluetooth can support at least one of various wireless communication standards.
  • the memory 320 is connected to the transceiver 310 and can store information received through communication between the transceiver 310 and the like.
  • the memory 320 is connected to the processor 330 and can store data such as basic programs for operation of the processor 330, application programs, setting information, and information generated by operations of the processor 330.
  • the memory 320 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the memory 320 may provide stored data according to the request of the processor 330.
  • the processor 330 may be configured to implement the procedures and/or methods proposed in the present invention.
  • the processor 330 controls the overall operations of the server 300. For example, the processor 330 transmits or receives information through the transceiver 310. Additionally, the processor 330 writes and reads data into the memory 320.
  • Processor 330 may include at least one processor.
  • Figure 6 shows the configuration of a user terminal according to various embodiments of the present invention.
  • the user terminal 400 includes a transceiver 410, a memory 420, a processor 430, an input device 440, and an output device 450. .
  • the transceiver 410 is connected to the processor 430 and transmits and/or receives signals. All or part of the transceiver 410 may be referred to as a transmitter, receiver, or transceiver.
  • the transceiver 410 uses wired access systems and wireless access systems such as the IEEE (institute of electrical and electronics engineers) 802.xx system, IEEE Wi-Fi system, 3rd generation partnership project (3GPP) system, and 3GPP LTE (long term evolution) system. , 3GPP 5G NR (new radio) system, 3GPP2 system, and Bluetooth can support at least one of various wireless communication standards.
  • the memory 420 is connected to the transceiver 410, the memory 420, the processor 430, the input device 440, and the output device 450, and the information input through the input device 440, the transceiver 410 ) You can store information received through communication. Additionally, the memory 420 can store information about images captured by the camera 406, etc. In addition, the memory 420 is connected to the processor 430 and can store data such as basic programs for operation of the processor 430, application programs, setting information, and information generated by operations of the processor 430. . The memory 420 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the memory 420 may provide stored data according to the request of the processor 430.
  • the processor 430 may be configured to implement the procedures and/or methods proposed in the present invention.
  • the processor 430 controls the overall operations of the user terminal 100. For example, the processor 430 transmits or receives information, etc. through the transceiver 410. Additionally, the processor 430 writes and reads data into the memory 420. Additionally, the processor 430 receives information through the input device 440. Additionally, the processor 430 outputs information through the output device 140. Additionally, the processor 430 captures an image through the camera 406.
  • Processor 430 may include at least one processor.
  • the input device 440 is connected to the processor 430 and can input information, etc. According to one embodiment, the input device 440 may input information received from another device connected to a wired/wireless communication network through the transceiver 130.
  • the input device 440 may include a touch display, keypad, keyboard, etc.
  • the control device of the agricultural machinery described above is a method of operating an automated-driving control unit (ACU) device electrically connected to the agricultural machinery including a power take off (PTO) in the communication system or the power take off device (power take off).
  • ACU automated-driving control unit
  • PTO power take off
  • the method of operating an ACU (automated-driving control unit) device electrically connected to agricultural machinery including a PTO) can be performed.
  • ACU automated-driving control unit
  • PTO power take off
  • FIG. 7 shows the operation process of the ACU device according to various embodiments of the present invention.
  • an automated-driving control unit (ACU) device is electrically connected to agricultural machinery that includes a power take off (PTO).
  • the ACU device includes a processor, memory, transceiver, and infrared sensor.
  • the ACU device is electrically connected to the camera in the agricultural machine.
  • step S701 while the agricultural machine is performing autonomous driving and the PTO is operating, the ACU device detects an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera.
  • step S702 the ACU device determines the probability of occurrence of a potential accident and the predicted severity of the potential accident based on the time-dependent change in the distance between the PTO and the obstacle or person.
  • step S703 the ACU device determines whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU electrically connected to the driving device of the agricultural machinery. (engine control unit) determines whether the device operates normally
  • step S704 the ACU device controls the steering device through the VCU device, controls the PTO through the PTO control device, and drives the drive through the ECU device based on the probability of occurrence of a potential accident and the predicted severity of the potential accident. Determine one or more suggested actions during control of the device
  • step S705 the ACU device determines the action direction of either reporting after taking action first or taking action after taking action first, based on the probability of occurrence of a potential accident and the predicted severity of the potential accident.
  • step S706 the ACU device reports after taking action first or takes action after reporting before taking action, depending on the determined operation direction.
  • the ACU device When it is decided to report after taking action in the direction of operation: the ACU device performs one operation of the one or more proposed operations, and transmits the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and Transmits information regarding the performance of one of one or more proposed operations.
  • the ACU device transmits to the user terminal the probability of occurrence of the potential accident, the predicted severity of the potential accident, and information on the one or more proposed actions.
  • the ACU device performs one operation according to the instruction information. If instruction information for one of the one or more proposed operations is not received from the user terminal within the predetermined time, the ACU device performs one of the one or more proposed operations and sends the user terminal through the transceiver. Information regarding the probability of occurrence of the potential accident, the predicted severity of the potential accident, and the fact that one of the one or more proposed actions has been performed is transmitted to the user.
  • control of the steering device through the VCU device may include steering control of the agricultural machinery in a direction to avoid the potential accident.
  • Control of the PTO through the PTO control device may include control of stopping operation of the PTO.
  • Control of the driving device through the ECU device may include driving stop control of the agricultural machinery.
  • the probability of occurrence of the potential accident may be determined as the probability that the PTO and the obstacle or person will collide based on changes over time in the distance between the PTO and the obstacle or person.
  • the predicted severity of the potential accident may be determined based on a predicted impact amount when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • the operation of determining the one or more proposed actions may be performed when the probability of occurrence of the potential accident is greater than or equal to a threshold probability. If the probability of occurrence of a potential accident is greater than or equal to a threshold probability, the ACU 120 determines one or more suggested actions to be provided to the user in case the potential accident becomes an actual accident.
  • the content of the proposed action is determined based on the predicted severity.
  • the step of determining the one or more proposed actions may be performed when the probability of occurrence of the potential accident is greater than or equal to a threshold probability. Determining the one or more proposed actions includes: if the predicted severity is greater than or equal to the first critical severity and less than the second critical severity, the one or more suggested actions with the control of the steering device, the control of the PTO, and the control of the driving device. It may include a step of determining. The step of determining the one or more proposed actions includes: if the predicted severity is greater than or equal to the second critical severity and less than the third critical severity, determining the one or more proposed actions by controlling the PTO and controlling the driving device. It can be included.
  • the step of determining the one or more proposed actions may include: if the predicted severity is greater than or equal to the third critical severity, determining the one or more proposed actions by controlling the driving device.
  • the third critical severity is higher than the second critical severity and the first critical severity, and the first critical severity is lower than the third critical severity and the second critical severity.
  • determining the one or more proposed actions may include: when the predicted severity is greater than or equal to the first critical severity and less than the second critical severity, and the VCU is operating normally, the VCU device It may include determining the one or more proposed operations by controlling the steering device through and controlling the PTO through the PTO control device. Determining the one or more proposed actions may include: the predicted severity is greater than or equal to the first threshold severity and less than the second threshold severity. When the VCU does not operate normally and the PTO control device operates normally, the method may include determining the one or more proposed operations by controlling the PTO through the PTO control device. Determining the one or more proposed actions may include: the predicted severity is greater than or equal to the first threshold severity and less than the second threshold severity. When the VCU and the PTO control device do not operate normally and the ECU device operates normally, the method may include determining the accident avoidance operation by controlling the driving device through the ECU device.
  • determining the one or more proposed actions may include: when the predicted severity is greater than or equal to the second critical severity and less than the third critical severity, and the PTO control device is operating normally, It may include determining the one or more proposed operations by controlling the PTO through a PTO control device and controlling the driving device through the ECU device. Determining the one or more proposed actions includes: when the predicted severity is greater than or equal to the second critical severity and less than the third critical severity, and the PTO control device is not operating normally and the ECU device is operating normally, the ECU and determining the one or more proposed operations by controlling the driving device through the device.
  • one or more proposed actions are selected from the user terminal within the predetermined time.
  • the step of performing one operation among the one or more proposed operations may include performing an operation with the highest priority among the one or more proposed operations.
  • Control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device have the highest priority.
  • Control of the steering device through the VCU device has the highest priority, and control of the driving device through the ECU device has the lowest priority.
  • whether the VCU device is normally operated, whether the PTO control device is normally operated, and whether the ECU device is normally operated are determined from the ACU device, the VCU device, the PTO control device, and the ECU.
  • the ACU device may be determined by receiving a normal operation confirmation signal from each of the VCU device, the PTO control device, and the ECU device.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, It includes a transceiver and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • control of the steering device through the VCU device may include steering control of the agricultural machinery in a direction to avoid the potential accident.
  • Control of the PTO through the PTO control device may include control to stop driving of the PTO.
  • Control of the driving device through the ECU device may include control to stop driving of the agricultural machinery.
  • the probability of occurrence of the potential accident may be determined as the probability that the PTO and the obstacle or person will collide based on changes over time in the distance between the PTO and the obstacle or person.
  • the predicted severity of the potential accident is determined based on the expected impact amount when the PTO collides with the obstacle or person based on changes in the relative speed of the PTO with respect to the obstacle or person over time.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, It includes a transceiver and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • the step of determining the one or more proposed actions is performed when the probability of occurrence of the potential accident is greater than or equal to a threshold probability, and the step of determining the one or more proposed actions includes: the predicted severity is greater than or equal to the first threshold severity and the second threshold severity is If the predicted severity is greater than or equal to the second critical severity and less than the third critical severity, the control of the steering device, the control of the PTO, or the control of the driving device determines the one or more proposed operations.
  • Control may include determining the one or more proposed operations by controlling the driving device, and when the predicted severity is greater than or equal to the third critical severity, determining the one or more proposed actions by controlling the driving device.
  • determining the one or more proposed actions may include, if the predicted severity is greater than or equal to the first critical severity and less than the second critical severity: If the VCU is operating normally, the step of determining the one or more proposed actions may include: The one or more proposed operations are determined by control of the steering device and control of the PTO through the PTO control device, and when the VCU does not operate normally and the PTO control device operates normally, the The one or more proposed operations are determined by control of the PTO, and when the VCU and the PTO control device do not operate normally and the ECU device operates normally, the one or more proposed operations are controlled by the driving device through the ECU device.
  • determining the one or more proposed actions may include: If the predicted severity is greater than or equal to the second critical severity and less than the third critical severity: If the PTO control device is operating normally, the PTO control Determine the one or more proposed operations by controlling the PTO through the device and controlling the driving device through the ECU device, and when the PTO control device does not operate normally and the ECU device operates normally, the ECU device It may include determining the one or more proposed operations through control of the driving device.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, It includes a transceiver and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more proposed actions perform one of the one or more proposed actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • the step of performing one of the one or more proposed actions may include performing an action with the highest priority among the one or more proposed actions.
  • Control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device have higher priorities in that order, and control of the steering device through the VCU device The priority is the highest, and the priority of control of the driving device through the ECU device is the lowest.
  • the probability of occurrence of the potential accident is determined as the probability of the PTO colliding with the obstacle or person based on a change in the distance between the PTO and the obstacle or person over time, and the predicted severity of the potential accident may be determined based on the amount of impact predicted when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, includes a processor, a memory, It includes a transceiver and an infrared sensor, and the ACU device may be electrically connected to a camera in the agricultural machine.
  • ACU automated-driving control unit
  • PTO power take off
  • the operating method includes detecting an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera while the agricultural machine is performing autonomous driving and the PTO is operating; determining the probability of occurrence of a potential accident and the predicted severity of the potential accident based on time-dependent changes in the distance between the PTO and the obstacle or person; Whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU (engine control unit) electrically connected to the driving device of the agricultural machinery determining whether the device is operating normally; Based on the probability of occurrence of the potential accident and the predicted severity of the potential accident, one of control of the steering device through the VCU device, control of the PTO through the PTO control device, and control of the driving device through the ECU device.
  • VCU vehicle control unit
  • determining one or more proposed actions determining an action direction of either pre-action and then-report or pre-report and then-action based on the probability of occurrence of the potential accident and the predicted severity of the potential accident;
  • perform one of the one or more suggested actions perform one of the one or more suggested actions, and send the probability of occurrence of the potential accident to the user terminal through the transceiver, the predicted severity of the potential accident, and the one or more suggestions.
  • a normal operation confirmation request signal is sent from the ACU device to each of the VCU device, the PTO control device, and the ECU device. After transmission, it can be determined by the ACU device receiving a normal operation confirmation signal from each of the VCU device, the PTO control device, and the ECU device.
  • the probability of occurrence of the potential accident is determined as the probability of the PTO colliding with the obstacle or person based on a change in the distance between the PTO and the obstacle or person over time, and the predicted severity of the potential accident may be determined based on the amount of impact predicted when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • the ACU device in a method of operating an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO) in a communication system, the ACU device includes a processor, An ACU device is provided that includes a memory, a transceiver, and an infrared sensor, the ACU device is electrically connected to a camera in the agricultural machine, and the processor is configured to perform the operation method of the ACU device according to various embodiments of FIG. 7.
  • ACU device includes a processor
  • An ACU device is provided that includes a memory, a transceiver, and an infrared sensor, the ACU device is electrically connected to a camera in the agricultural machine, and the processor is configured to perform the operation method of the ACU device according to various embodiments of FIG. 7.
  • a computer program configured to perform the method of operating an ACU device according to various embodiments of FIG. 7 and recorded on a computer-readable storage medium is provided.
  • ACU automated-driving control unit
  • PTO power take off
  • FIG. 8 shows the operation process of the ACU device according to various embodiments of the present invention.
  • an automated-driving control unit (ACU) device is electrically connected to agricultural machinery that includes a power take off (PTO).
  • the ACU device includes a processor, memory, and infrared sensors.
  • the ACU device is electrically connected to the camera in the agricultural machine.
  • the operation of the ACU device in FIG. 8 may not require a communication system, unlike the ACU operation in FIG. 7. That is, the ACU device of FIG. 8 may not include a transceiver.
  • FIG. 8 corresponds to the steps (S701, S702, S703, S704, and S705) in FIG. 7 and have similar operating principles. Therefore, below, the steps of FIG. 8 will be described focusing on the differences from FIG. 7.
  • step S801 while the agricultural machine is performing autonomous driving and the PTO is operating, the ACU device detects an obstacle or person within a predetermined distance from the PTO by at least one of the infrared sensor and the camera. .
  • step S802 the ACU device determines the probability of occurrence of a potential accident and the predicted severity of the potential accident based on the time-dependent change in the distance between the PTO and the obstacle or person.
  • step S803 the ACU device determines whether the VCU (vehicle control unit) device electrically connected to the steering device of the agricultural machinery is operating normally, whether the PTO control device electrically connected to the PTO is operating normally, and the ECU electrically connected to the driving device of the agricultural machinery. (engine control unit) determines whether the device operates normally.
  • VCU vehicle control unit
  • step S804 the ACU device controls the steering device through the VCU device, controls the PTO through the PTO control device, and drives the drive through the ECU device based on the probability of occurrence of a potential accident and the predicted severity of the potential accident.
  • Accident avoidance actions are determined by one of the device's controls.
  • step S805 the ACU device performs the determined accident avoidance operation.
  • control of the steering device through a VCU device may include steering control of the agricultural machinery in a direction to avoid the potential accident.
  • Control of the PTO through the PTO control device may include control of stopping operation of the PTO.
  • Control of the driving device through the ECU device may include driving stop control of the agricultural machinery.
  • the step of determining the accident avoidance operation may include determining an operation using one device among the VCU device, the PTO control device, and the ECU device in normal operation. You can.
  • control of the steering device through the VCU device, control of the PTO through the PTO control device, and the ECU device based on the probability of occurrence of the potential accident and the predicted severity of the potential accident.
  • the step of determining an accident avoidance operation by one of the controls of the driving device is performed when the probability of occurrence of the potential accident is greater than or equal to a threshold probability.
  • the predicted severity is greater than or equal to the first critical severity and less than the second critical severity
  • one operation among control of the steering device, control of the PTO, and control of the driving device may be determined.
  • the predicted severity is greater than or equal to the second critical severity and less than the third critical severity
  • control of the driving device may be determined.
  • the third critical severity is higher than the second critical severity and the first critical severity, and the first critical severity is lower than the third critical severity and the second critical severity.
  • the step of determining the accident avoidance operation includes, when the predicted severity is greater than or equal to the first critical severity and less than the second critical severity:
  • the VCU device When the VCU operates normally, the VCU device The accident avoidance operation is determined by controlling the steering device through the control device, and when the VCU does not operate normally and the PTO control device operates normally, the accident avoidance action is determined by controlling the PTO through the PTO control device, and , If the VCU and the PTO control device do not operate normally and the ECU device operates normally, it may include determining the accident avoidance operation by controlling the driving device through the ECU device.
  • the step of determining the accident avoidance operation includes: When the predicted severity is greater than or equal to the second critical severity and less than the third critical severity: When the PTO control device operates normally, the PTO The accident avoidance operation is determined by controlling the PTO through a control device, and when the PTO control device does not operate normally and the ECU device operates normally, the accident avoidance operation is performed by controlling the driving device through the ECU device. It may include a step of determining.
  • the probability of occurrence of the potential accident may be determined as the probability that the PTO and the obstacle or person will collide based on changes over time in the distance between the PTO and the obstacle or person.
  • the predicted severity of the potential accident may be determined based on a predicted impact amount when the PTO collides with the obstacle or person based on a change in the relative speed of the PTO with respect to the obstacle or person over time.
  • whether the VCU device is normally operated, whether the PTO control device is normally operated, and whether the ECU device is normally operated are determined from the ACU device, the VCU device, the PTO control device, and the ECU.
  • the ACU device may be determined by receiving a normal operation confirmation signal from each of the VCU device, the PTO control device, and the ECU device.
  • FIG. 8 Various embodiments of the present invention related to the method of FIG. 8 described above may be combined with some embodiments of the operation of FIG. 7, similar to FIG. 7.
  • the ACU device in an automated-driving control unit (ACU) device electrically connected to agricultural machinery including a power take off (PTO), the ACU device includes a processor, memory, and an infrared sensor.
  • the ACU device is electrically connected to a camera in the agricultural machine, and the processor is configured to perform the operation method of the ACU device according to various embodiments of FIG. 8.
  • a computer program configured to perform the method of operating an ACU device according to various embodiments of FIG. 8 and recorded on a computer-readable storage medium is provided.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. Additionally, the data structure used in the above-described method can be recorded on a computer-readable storage medium through various means.
  • Program storage devices which may be used to describe a storage device containing executable computer code for performing various methods of the present invention, should not be understood to include transient objects such as carrier waves or signals. do.
  • the computer-readable storage media includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical readable media (eg, CD-ROM, DVD, etc.).
  • the operation method of the ACU device according to the embodiments of the present application is useful for autonomous agricultural machinery.
  • the method of operating the ACU device according to the embodiments of the present application is likely to be used in the agricultural industry, where the frequency of use of autonomous agricultural machinery has recently increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Guiding Agricultural Machines (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 통신 시스템에서 자율 주행을 수행하고 동력 인출 장치(power take off, PTO)가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 자율 주행을 수행하고 PTO가 작동되는 농기계에서 사람 또는 장애물과의 시간 별 거리 변화에 따라 잠재적 사고의 발생 확률 및 예측 중증도를 결정하고, 발생 확률이 임계 확률 이상인 경우, 예측 중증도에 따라서 사고 회피를 위한 선 조치 후 사용자 단말에게 보고를 수행하거나 또는 사용자 단말에게 사고 회피를 위한 제안 동작을 선 보고한 후 사용자 단말로부터 수신한 동작으로 사고 회피의 후 조치를 수행하는 방법 및 장치에 관한 것이다.

Description

통신 시스템에서 자율 주행을 수행하고 PTO가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치
본 출원은 2022년 04월 20일에 출원된 한국 출원 제10-2022-0049021호에 대한 우선권 및 이의 혜택을 주장한다. 상기 출원의 내용은 본원에 전체적으로 참조로 원용된다.
본 발명은 통신 시스템에서 자율 주행을 수행하고 동력 인출 장치(power take off, PTO)가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 자율 주행을 수행하고 PTO가 작동되는 농기계에서 사람 또는 장애물과의 시간 별 거리 변화에 따라 잠재적 사고의 발생 확률 및 예측 중증도를 결정하고, 발생 확률이 임계 확률 이상인 경우, 예측 중증도에 따라서 사고 회피를 위한 선 조치 후 사용자 단말에게 보고를 수행하거나 또는 사용자 단말에게 사고 회피를 위한 제안 동작을 선 보고한 후 사용자 단말로부터 수신한 동작으로 사고 회피의 후 조치를 수행하는 방법 및 장치에 관한 것이다.
[국가지원 연구개발에 대한 설명]
본 발명의 연구는 대한민국 농림축산식품부의 첨단농기계산업화기술개발 연 구사업(과제고유번호: 1545022226, 세부과제번호: 320025031SB010, 연구과제명: 블록체인 기술기반의 농업기계 관리기술 개발)에 대한 자금 지원 하에서 농림식품기술기획평가원의 주관으로 진행되었다.
농기계는 농촌의 노동인구 감소와 고령화에 따른 노동력 부족에 대응하여 높은 노동 부담과 생산비용을 줄이기 위해 매우 중요한 요소로 취급되고 있다. 농기계는 각종의 농사에 필요한 작업을 수행하기 위한 것으로서 쟁기, 로터리, 방제, 이앙작업 등 다양한 종류의 작업이 가능하도록 한 것으로서 작업자가 농기계와 함께 보행하면서 조작하는 보행형 작업기와 작업자가 농기계 상에 구비되는 운전석에 탑승하여 농기계를 조작하는 승용 작업기로 구분된다.
무선 통신 기술의 발달로 농기계와 전기적으로 결합하고 농기계 제조사 등의 서버와 농기계 관련 상태 및 제어 정보에 대하여 무선 통신을 수행할 수 있는 텔레매틱스 장치가 보급되고 있다. 텔레매틱스 장치를 이용하면 농기계에 대하여 사용자가 직접 농기계까지 가지 않고도 동작을 제어할 수 있다.
스마트폰 등의 무선 통신 기술이 발달함에 따라서 애플리케이션을 이용하여 서버와의 통신을 통해 멀리 떨어져 있는 농기계의 현재 상태, 주변 환경에 대한 정보를 획득하고 농기계의 자율주행을 제어함으로써 농작업을 무선으로 수행할 수 있게 되었다.
작동 중인 농기계에서 동력 인출 장치(power take off, PTO)는 사고의 빈번한 원인이 된다. 운전자가 탑승하지 않고 자율 주행 중인 농기계에서 PTO의 사고 발생에 대한 예측 및 회피 제어는 농기계의 안전한 자율 주행 작업 수행을 위하여 해결되어야 할 중요한 문제이다. 통신 시스템에서 사용자와 농기계 간 통신을 이용하여, 잠재적인 사고의 예측 중증도에 따라서 사용자에게 수행 가능한 회피 동작들의 정보를 제공하고 사용자의 선택에 따라서 사고 회피의 조치를 취하거나 또는 사고 회피의 조치를 즉각적으로 먼저 수행하고 그 다음 사용자에게 사고 회피의 조치에 대한 보고를 수행할 수 있다.
따라서, 통신 시스템에서 자율 주행을 수행하고 동력 인출 장치(power take off, PTO)가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치가 필요한 실정이다.
상술한 바와 같은 논의를 바탕으로, 본 발명의 다양한 실시 예들은 자율 주행을 수행하고 동력 인출 장치(power take off, PTO)가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치를 제공한다.
본 발명의 다양한 실시 예들은 자율 주행을 수행하고 PTO가 작동되는 농기계에서 사람 또는 장애물과의 시간 별 거리 변화에 따라 잠재적 사고의 발생 확률 및 예측 중증도를 결정하고, 발생 확률이 임계 확률 이상인 경우, 예측 중증도에 따라서 사고 회피의 동작을 결정하는 방법 및 장치를 제공한다.
본 발명의 다양한 실시 예들은 예측 중증도가 속하는 범위에 따라서 사고 회피를 위한 동작을 차등적으로 결정하고, 이 중에서 정상 작동이 확인되어 제어 가능한 동작을 수행함으로써 잠재적 사고를 회피하기 위한 방법 및 장치를 제공한다.
본 발명의 다양한 실시 예들은 통신 시스템에서 사용자와 농기계 간 통신을 이용하여, 잠재적인 사고의 예측 중증도에 따라서 사용자에게 수행 가능한 회피 동작들의 정보를 제공하고 사용자의 선택에 따라서 사고 회피의 조치를 취하거나 또는 사고 회피의 조치를 즉각적으로 먼저 수행하고 그 다음 사용자에게 사고 회피의 조치에 대한 보고를 수행할 수 있는 방법 및 장치를 제공한다.
본 출원의 다양한 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 VCU 장치를 통한 상기 조향 장치의 제어는 상기 잠재적 사고를 피할 수 있는 방향으로 상기 농기계의 조향 제어를 포함할 수 있다. 상기 PTO 제어 장치를 통한 상기 PTO의 제어는 상기 PTO의 구동 정지 제어를 포함할 수 있다. 상기 ECU 장치를 통한 상기 구동 장치의 제어는 상기 농기계의 구동 정지 제어를 포함할 수 있다.
일 실시 예에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정되고, 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다.
일 실시 예에서, 상기 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법 또는 상기 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행될 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 제1 임계 중증도 이상이고 제2 임계 중증도 미만인 경우, 상기 조향 장치의 제어, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 제3 임계 중증도 미만인 경우, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 예측 중증도가 상기 제3 임계 중증도 이상인 경우, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 여기서, 상기 제3 임계 중증도가 상기 제2 임계 중증도 및 상기 제1 임계 중증도보다 높고, 상기 제1 임계 중증도가 상기 제3 임계 중증도 및 상기 제2 임계 중증도보다 낮다.
일 실시 예에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만인 경우: 상기 VCU가 정상 작동하는 경우, 상기 VCU 장치를 통한 상기 조향 장치의 제어 및 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 VCU가 정상 작동하지 않고 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 VCU 및 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 사고 회피 동작을 결정하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만인 경우: 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어 및 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 동작 방향으로 선 조치 후 보고를 결정한 경우, 또는, 상기 동작 방향으로 선 보고 후 조치를 결정하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하는 단계는, 상기 하나 이상의 제안 동작 중 우선 순위가 가장 높은 동작을 수행하는 단계를 포함할 수 있다. 여기서, 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 순으로 우선 순위가 높으며, 상기 VCU 장치를 통한 상기 조향 장치의 제어의 우선 순위가 가장 높고, 상기 ECU 장치를 통한 상기 구동 장치의 제어의 우선 순위가 가장 낮다.
일 실시 예에서, 상기 VCU 장치의 정상 작동 여부, 상기 PTO 제어 장치의 정상 작동 여부, 상기 ECU 장치의 정상 작동 여부는, 상기 ACU 장치로부터 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각에게 정상 작동 확인 요청 신호가 전송된 후, 상기 ACU 장치가 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각으로부터 정상 작동 확인 신호를 수신함으로써 결정될 수 있다.
본 출원의 다양한 실시 예들에 따르면, 상기 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 프로세서는 상술한 실시 예들에 따른 상기 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성될 수 있다.
본 출원의 다양한 실시 예들에 따르면, 컴퓨터 프로그램은 상기 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다.
본 출원의 다양한 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 여기서, 상기 VCU 장치를 통한 상기 조향 장치의 제어는 상기 잠재적 사고를 피할 수 있는 방향으로 상기 농기계의 조향 제어를 포함할 수 있다. 상기 PTO 제어 장치를 통한 상기 PTO의 제어는 상기 PTO의 구동 정지 제어를 포함할 수 있다 .상기 ECU 장치를 통한 상기 구동 장치의 제어는 상기 농기계의 구동 정지 제어를 포함할 수 있다. 또한, 일부 실시 예들에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정될 수 있다. 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정된다. 또한, 일부 실시 예들에서, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 또한, 상기 프로세서는 상술한 실시 예들에 따른 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성될 수 있다. 또한, 일부 실시 예들에서, 컴퓨터 프로그램은 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다.
본 출원의 다양한 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행되고, 상기 하나 이상의 제안 동작을 결정하는 단계는:상기 예측 중증도가 제1 임계 중증도 이상이고 제2 임계 중증도 미만인 경우, 상기 조향 장치의 제어, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 제3 임계 중증도 미만인 경우, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 예측 중증도가 상기 제3 임계 중증도 이상인 경우, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 제3 임계 중증도가 상기 제2 임계 중증도 및 상기 제1 임계 중증도보다 높고, 상기 제1 임계 중증도가 상기 제3 임계 중증도 및 상기 제2 임계 중증도보다 낮다. 또한, 일부 실시 예들에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만인 경우: 상기 VCU가 정상 작동하는 경우, 상기 VCU 장치를 통한 상기 조향 장치의 제어 및 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 VCU가 정상 작동하지 않고 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 VCU 및 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 또한, 일부 실시 예들에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만인 경우: 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어 및 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 또한, 일부 실시 예들에서, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 또한, 상기 프로세서는 상술한 실시 예들에 따른 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성될 수 있다. 또한, 일부 실시 예들에서, 컴퓨터 프로그램은 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다.
본 출원의 다양한 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 상기 동작 방향으로 선 조치 후 보고를 결정한 경우, 또는, 상기 동작 방향으로 선 보고 후 조치를 결정하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하는 단계는, 상기 하나 이상의 제안 동작 중 우선 순위가 가장 높은 동작을 수행하는 단계를 포함할 수 있다. 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 순으로 우선 순위가 높으며, 상기 VCU 장치를 통한 상기 조향 장치의 제어의 우선 순위가 가장 높고,상기 ECU 장치를 통한 상기 구동 장치의 제어의 우선 순위가 가장 낮다. 또한, 일부 실시 예들에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정되고, 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다. 또한, 일부 실시 예들에서, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 또한, 상기 프로세서는 상술한 실시 예들에 따른 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성될 수 있다. 또한, 일부 실시 예들에서, 컴퓨터 프로그램은 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다.
본 출원의 다양한 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우:상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 상기 VCU 장치의 정상 작동 여부, 상기 PTO 제어 장치의 정상 작동 여부, 상기 ECU 장치의 정상 작동 여부는, 상기 ACU 장치로부터 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각에게 정상 작동 확인 요청 신호가 전송된 후, 상기 ACU 장치가 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각으로부터 정상 작동 확인 신호를 수신함으로써 결정될 수 있다. 또한, 일부 실시 예들에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정되고, 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다. 또한, 일부 실시 예들에서, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 또한, 상기 프로세서는 상술한 실시 예들에 따른 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성될 수 있다. 또한, 일부 실시 예들에서, 컴퓨터 프로그램은 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, ACU 장치는 프로세서, 메모리, 적외선 센서를 포함하고, ACU 장치는 농기계 내 카메라와 전기적으로 연결되고, 농기계가 자율 주행을 수행하고 PTO가 작동되는 동안, 적외선 센서 및 카메라 중 적어도 하나에 의하여 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; PTO와 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 잠재적 사고의 예측 중증도를 결정하는 단계; 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 잠재적 사고의 발생 확률 및 잠재적 사고의 예측 중증도에 기반하여 VCU 장치를 통한 조향 장치의 제어, PTO 제어 장치를 통한 PTO의 제어, ECU 장치를 통한 구동 장치의 제어 중 하나로 사고 회피 동작을 결정하는 단계; 및 결정된 사고 회피 동작을 수행하는 단계를 포함하는, 방법이 제공된다.
본 발명의 다양한 실시 예들에 따르면, 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치에 있어서, ACU 장치는 프로세서, 메모리, 적외선 센서를 포함하고, ACU 장치는 농기계 내 카메라와 전기적으로 연결되고, 프로세서는 본 발명의 다양한 실시 예들에 따른 ACU 장치의 동작 방법을 수행하도록 구성된 ACU 장치가 제공된다.
본 발명의 다양한 실시 예들에 따르면, 컴퓨터 프로그램에 있어서 본 발명의 다양한 실시 예들에 따른 ACU 장치의 동작 방법을 수행하도록 구성되고 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램이 제공된다
본 발명의 다양한 실시 예들은 자율 주행을 지원하는 농기계의 셔틀 레버의 위치에 따라서 구동부를 제어하기 위한 장치를 제공할 수 있다.
본 발명의 다양한 실시 예들은 농기계의 전진-중립-후진 구조로 구성된 셔틀 레버에 대하여 전진과 중립 사이, 또는 중립과 후진 사이의 위치에 대한 새로운 정의를 함으로써 자율 주행과 수동 주행 사이의 변환을 제공하기 위한 장치를 제공할 수 있다.
본 발명의 다양한 실시 예들은 농기계의 자율 주행 상태에서 셔틀 레버의 위치와 관련하여 구동부의 제어 방향을 정리할 수 있는 장치를 제공할 수 있다.
본 발명의 다양한 실시 예들은 셔틀 레버를 이용하여 농기계의 수동 주행과 자율 주행 사이의 변환을 제어할 수 있는 장치를 제공할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예들에 따른 농기계의 자율 주행의 일 예를 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 농기계의 동력 인출 장치(power take off, PTO)의 일 예를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 농기계의 제어 장치의 구성의 일 예를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 농기계의 제어 장치의 구성의 일 예를 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 서버의 구성을 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 사용자 단말의 구성을 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 ACU 장치의 동작 과정을 도시한다.
[부호의 설명]
100: 농기계 110: 구동 장치
120: ACU 121: 송수신기
122: 메모리 123: 프로세서
124: GPS 센서 125: IR 센서
130: VCU 131: 메모리
132: 프로세서 140: PTO 제어 장치
150: 카메라 160: PTO
170: 전장 장치 180: ECU
181: 메모리 182: 프로세서
200: 통신 네트워크 300: 서버
310: 송수신기 320: 메모리
330: 프로세서 400: 사용자 단말
410: 송수신기 420: 메모리
430: 프로세서 440: 입력 장치
450: 출력 장치
본 발명에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 발명에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 발명에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 발명에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 발명에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 다양한 실시 예들에 따른 농기계의 자율 주행의 일 예를 도시한다.
농기계는 농촌의 노동인구 감소와 고령화에 따른 노동력 부족에 대응하여 높은 노동 부담과 생산비용을 줄이기 위해 매우 중요한 요소로 취급되고 있다. 농기계는 각종의 농사에 필요한 작업을 수행하기 위한 것으로서 쟁기, 로터리, 방제, 이앙작업 등 다양한 종류의 작업이 가능하도록 한 것으로서 작업자가 농기계와 함께 보행하면서 조작하는 보행형 작업기와 작업자가 농기계 상에 구비되는 운전석에 탑승하여 농기계를 조작하는 승용 작업기로 구분된다.
본 발명의 다양한 실시 예들에서는 트랙터와 같이 승용 작업기로 구분되는 농기계에 대하여 적용 가능한 장치를 개시한다.
논 또는 밭과 같은 농지 위에서 농기계의 주행은 작업을 수반한다.
농기계의 사용자는 직접 수동 주행 제어를 수행할 수 있다. 농기계의 사용자는 직접 농기계의 셔틀 레버를 조작하여 농기계의 전진 또는 후진을 제어할 수 있으며, 스티어링 휠을 조작하여 농기계의 경로를 제어할 수 있다.
농기계의 자율 주행을 위하여 전진 또는 후진의 구동을 제어하기 위한 구동 제어 장치가 농기계에 설치될 수 있다. 이 경우, 농기계는 설정된 경로에 따라서 이동을 하며, 농기계의 사용자에 의하여 설정된 바에 따라서 전진 또는 후진을 수행할 수 있다. 자율주행은 농기계에 설치된 구동 제어 장치와 사용자 장치 간의 정보 교환을 통해 제어 설정될 수 있다. 사용자는 스마트폰, 컴퓨터 등과 같이 정보 연산이 가능하고 정보의 송수신이 가능한 단말인 사용자 장치를 이용하여 자율 주행 관련 설정 정보를 생성하고 구동 제어 장치에게 전송할 수 있다. 구동 제어 장치는 송수신기 및 프로세서를 포함하며, 농기계의 구동부와 전기적으로 연결되어 구동부를 제어한다. 구동 제어 장치는 사용자 장치로부터 자율 주행 관련 설정 정보를 수신할 수 있으며, 자율 주행 관련 설정 정보에 따라서 농기계의 구동부의 전진 또는 후진을 제어할 수 있다.
농기계의 자율 주행을 위하여 스티어링 휠을 제어하기 위한 스티어링 제어 장치가 추가적으로 농기계에 설치될 수 있다. 이 경우, 스티어링 제어 장치는 사용자 장치로부터 수신한 자율 주행 관련 설정 정보에 따라서 농기계가 설정된 경로에 따라 이동할 수 있도록 스티어링 휠을 제어하도록 구성될 수 있다. 스티어링 제어 장치는 스티어링 휠과 기계적으로 연결되어 스티어링 휠을 설정된 경로에 따라서 회전시키도록 구성될 수 있다. 스티어링 제어 장치는 송수신기를 포함하여 사용자 장치로부터 자율 주행 관련 설정 정보를 수신할 수 있다. 스티어링 제어 장치는 프로세서를 포함하여 자율 주행 관련 설정 정보에 따라서 스티어링 휠의 회전 제어를 수행할 수 있다.
도 2는 본 발명의 다양한 실시 예들에 따른 농기계의 동력 인출 장치(power take off, PTO)의 일 예를 도시한다.
동력 인출 장치(power take off, PTO)는 엔진의 회전력을 해당 장치의 원래 목적이 아닌 용도로 사용하고자 할 때 쓰는 장치이다. PTO에는 공기 압축기, 발전기, 기타 다양한 동력 장치를 연결할 수 있다. 사다리차의 동력 역시 PTO를 통하여 공급받는다. 보통 자동차(농업용 트럭 등)나 농업기계(경운기, 트랙터 등)에서 쓰이고, 선박에도 장착되며 이 경우는 화재 진압 장치나 발전기 등을 연결한다.
PTO는 하나의 장치에 달린 엔진을 매우 다양한 용도로 쓸 수 있게 하여 효율성을 높인다. 예를 들어, 농업용 농약 살포 분무기의 경우 PTO가 없다면 엔진이나 모터가 달린 모델을 구해야 하기에 무겁고 비싸지며 관리도 귀찮게 되지만, 트럭이나 경운기에 달린 PTO를 쓰면 최소한의 추가 비용으로 이를 마련할 수 있게 된다. 농업용 이외에도 공사장 등의 현장에서 자동차(트럭)가 있고 여러 동력 장치가 필요한 경우 PTO는 유용하게 쓰인다.
PTO는 엔진을 다양한 용도로 매우 효율적으로 쓸 수 있게 해주지만, 사고의 위험도 존재한다. 특히, 농업용으로 외부에 탈곡기 등 다른 동력 장치를 연결할 경우 동력 샤프트에 사람의 몸이나 옷이 끼어 안전 사고가 발생하는 경우가 많다. PTO는 엄청난 토크 때문에 안전 사고 발생시 골절 내지는 사망 사고의 가능성이 높다. 일 예로, 미국에서는 트랙터 사망 사고의 6%가 PTO로 인한 것이라고 할 정도로 심각한 문제이다.
도 3은 본 발명의 다양한 실시 예들에 따른 농기계의 제어 장치의 구성의 일 예를 도시한다.
도 3을 참조하면, 농기계(100)는 ACU(120), VCU(130), PTO 제어 장치(140), 카메라(150), ECU(180)를 포함한다.
ACU(automated-driving control unit, 120)는 농기계(100)의 자율 주행과 관련한 정보를 사용자 단말 또는 서버로부터 수신하고, 자율 주행과 관련하여 농기계(100)의 동작을 제어하도록 구성될 수 있다. ACU(120)는 농기계(100)의 자율 주행 경로를 결정하고, 농기계(100)의 자율 주행 경로에 따른 주행 동작 및 조향 제어의 판단을 수행할 수 있다. ACU(120)는 농기계(100)의 자율 주행과 관련하여 VCU(130), PTO 제어 장치(140), 카메라(150), ECU(180)에게 제어 신호를 전송하고, VCU(130), PTO 제어 장치(140), 카메라(150), ECU(180)로부터 제어된 동작의 수행에 따른 정보를 수신하도록 구성될 수 있다. ACU(120)는 농기계(100)의 자율 주행과 관련하여 VCU(130), PTO 제어 장치(140), ECU(180)에게 주기적으로, 또는 경우에 따라서 비주기적으로 정상 작동 확인 요청 신호를 전송할 수 있으며, VCU(130), PTO 제어 장치(140), ECU(180)로부터 정상 작동 확인 신호를 수신함으로써 VCU(130), PTO 제어 장치(140), ECU(180)의 정상 작동 여부를 확인할 수 있다.
VCU(vehicle control unit, 130)는 농기계(100) 내 다양한 전장 장치를 제어할 수 있다. VCU(130)는 농기계(100)의 자율 주행과 관련하여 농기계(100)의 조향 장치, 미션(변속기) 등을 제어하도록 구성될 수 있다. VCU(130)는 농기계(100) 내 각종 전장 장치를 통해 탑승자의 농기계 제어에 대한 신호를 수신하고, 이에 기반하여 ECU(180)를 제어할 수 있다.
PTO 제어 장치(140)는 PTO가 동작하거나 또는 정지하도록 제어할 수 있다. PTO 제어 장치(140)는 PTO에 대한 동력을 연결하거나 또는 끊음으로써 PTO의 동작을 제어할 수 있다.
카메라(150)는 전방의 오브젝트에 대한 이미지를 촬영하도록 구성된다. 카메라(150)는 PTO 주변의 사람 또는 물체에 대한 촬영을 수행하도록 구성될 수 있다.
ECU(engine control unit, 180)는 농기계(100)의 구동 장치, 즉, 엔진과 전기적으로 연결된다. ECU(180)는 농기계(100)의 구동 장치가 동작하거나 또는 정지하도록 제어할 수 있다. ACU(120) 및 VCU(130)는 ECU(180)에게 구동 장치의 구동 또는 정지에 대한 제어 신호를 전송할 수 있다. ACU(120)로부터 ECU(180)에게 제어 신호가 전송되는 경우, 탑승자의 판단 없이 자율 주행에 따라서 구동 장치의 제어가 결정되어 제어 신호가 전송된다. VCU(130)로부터 ECU(180)에게 제어 신호가 전송되는 경우, 탑승자의 제어에 따라서 구동 장치의 제어가 결정되어 제어 신호가 전송된다.
도 4는 본 발명의 다양한 실시 예들에 따른 농기계의 제어 장치의 구성의 일 예를 도시한다.
도 4를 참조하면, 농기계(100)는 통신 네트워크(200)를 통해 서버(300), 사용자 단말(400)과 연결된다.
농기계(100)는 구동 장치(110), ACU(120), VCU(130), PTO 제어 장치(140), 카메라(150), PTO(160), 전장 장치(170), ECU(180)를 포함한다.
구동 장치(110)는 농기계(100)의 엔진에 해당한다. 구동 장치(110)는 ECU(180)의 제어에 따라서 동작하거나 정지할 수 있다.
ACU(automated-driving control unit, 120)는 농기계(100)의 자율 주행과 관련한 정보를 사용자 단말(400) 또는 서버(300)로부터 수신하고, 자율 주행과 관련하여 농기계(100)의 동작을 제어하도록 구성될 수 있다. ACU(120)는 송수신기(121), 메모리(122), 프로세서(123), GPS(global positioning system) 센서(124), IR(infrared) 센서(125)를 포함한다.
송수신기(121)는 프로세서(123)와 연결되고 신호를 전송 및/또는 수신한다. 송수신기(121)의 전부 또는 일부는 송신기(transmitter) 또는 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(121)는 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
메모리(122)는 송수신기(121)와 연결되고 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(122)는, 프로세서(123)와 연결되고 프로세서(123)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(123)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(122)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(122)는 프로세서(123)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(123)는 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(123)는 ACU(120)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(123)는 송수신기(121)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(123)는 메모리(122)에 데이터를 기록하고, 읽는다. 프로세서(123)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
GPS 센서(124)는 농기계(100)의 GPS(global positioning system) 위치를 결정하도록 구성된다. GPS 센서(124)는 세 개 이상의 GPS 위성에서 송신된 신호를 수신하여 위성과 GPS 센서(124)의 위치를 결정한다. GPS 위성에서 송신된 신호와 GPS 센서(124)에서 수신된 신호의 시간차이를 측정하면 GPS 위성과 GPS 센서(124) 사이의 거리를 구할 수 있는데, 이 때 GPS 위성으로부터 송신된 신호에는 GPS 위성의 위치에 대한 정보가 들어 있다. 최소한 세 개의 GPS 위성과의 거리와 각 GPS 위성의 위치를 알게 되면 삼변 측량과 같은 방법을 이용해 GPS 센서의 위치를 계산할 수 있다. GPS 센서(124)를 이용하여 농기계(100)의 GPS 위치를 결정할 수 있다.
IR 센서(125)는 적외선을 이용한 센서로 외부 물질로부터 방사된 적외선이 센서 내의 자발 분극을 갖는 물질의 분극을 변화시켜 외부 자유 전하를 발생시킴으로써 외부 물질을 감지한다. IR 센서(125)는 PTO 주위의 사람 또는 기타 장애물을 감지하도록 구성될 수 있다.
VCU(vehicle control unit, 130)는 농기계(100) 내 다양한 전장 장치(170)를 제어할 수 있다. VCU(130)는 메모리(131), 프로세서(132)를 포함한다.
메모리(131)는 프로세서(132)와 연결되고 프로세서(132)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(132)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(131)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(131)는 프로세서(132)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(132)는 VCU(130)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(132)는 제어 신호를 생성하며, 메모리(131)에 데이터를 기록하고, 읽는다. 프로세서(132)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
PTO 제어 장치(140)는 PTO(160)가 동작하거나 또는 정지하도록 제어할 수 있다. PTO 제어 장치(140)는 PTO(160)에 대한 동력을 연결하거나 또는 끊음으로써 PTO(160)의 동작을 제어할 수 있다.
카메라(150)는 전방의 오브젝트에 대한 이미지를 촬영하도록 구성된다. 카메라(150)는 PTO(160) 주변의 사람 또는 물체에 대한 촬영을 수행하도록 구성될 수 있다.
PTO(160)는 농기계(100) 내 구동 장치(110), 즉, 엔진의 회전력을 구동 장치(110)의 다른 작업 장치에 전달하기 위한 장치이다. PTO(160)에 연결 가능한 작업 장치는 다양한 종류가 있다.
전장 장치(170)는 농기계(100) 내 전자 부품으로 구성된 다양한 장치를 포함한다. 전장 장치(170)는 농기계(100)의 조향 장치, 미션(변속기) 등을 제어하도록 구성될 수 있다. 전장 장치(170)는 농기계(100) 내 탑승자의 농기계(100)에 대한 제어 입력을 수신하도록 구성될 수 있다.
ECU(engine control unit, 180)는 농기계(100)의 구동 장치(110), 즉, 엔진과 전기적으로 연결된다. ECU(180)는 농기계(100)의 구동 장치(110)가 동작하거나 또는 정지하도록 제어할 수 있다. ECU(180)는 메모리(181), 프로세서(182)를 포함한다.
메모리(181)는 프로세서(182)와 연결되고 프로세서(182)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(182)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(181)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(181)는 프로세서(182)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(182)는 ECU(180)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(182)는 제어 신호를 생성하며, 메모리(181)에 데이터를 기록하고, 읽는다. 프로세서(182)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
통신 네트워크(200)는, 농기계(100), 서버(300), 사용자 단말(400)이 서로 신호 및 데이터를 송수신할 수 있는 통신 경로를 제공한다. 통신 네트워크(200)는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(internet protocol, IP) 기초의 시스템으로 구성되는 경우 통신 네트워크(200)는 유무선 인터넷망으로 구현될 수 있으며, 농기계(100), 서버(300), 사용자 단말(400)이 이동 통신 단말로서 구현되는 경우 유/무선 통신 네트워크(200)는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
서버(300)는 농기계(100)의 제조 업체 또는 자율 주행 기반 서비스 제공 업체에 의하여 운영되는 서버이다. 서버(300)는 농기계(100) 및 사용자 단말(400)에게 통신 네트워크(200)를 통하여 농기계(100)의 자율 주행 관련 정보를 전송할 수 있으며, 농기계(100) 및 사용자 단말(400)로부터 통신 네트워크(200)를 통하여 정보를 수신할 수 있는 전자 장치이다.
사용자 단말(400)은 농기계(100)의 사용자에 의하여 운영되는 단말이다. 사용자 단말(400)는 통신 네트워크(200)를 통하여 농기계(100) 및 서버(300)와 정보를 송수신할 수 있는 전자 장치이다.
도 5는 본 발명의 다양한 실시 예들에 따른 서버의 구성을 도시한다.
도 5를 참조하면, 본 발명의 다양한 실시 예들에 따른 서버(300)는 송수신기(310), 메모리(320) 및 프로세서(330)를 포함한다.
송수신기(310)는, 프로세서(330)와 연결되고 신호를 전송 및/또는 수신한다. 송수신기(310)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 트랜시버(transceiver)로 지칭될 수 있다. 송수신기(310)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
메모리(320)는, 송수신기(310)와 연결되고, 송수신기(310)의 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(320)는, 프로세서(330)와 연결되고 프로세서(330)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(330)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(320)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(320)는 프로세서(330)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(330)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(330)는 서버(300)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(330)는 송수신기(310)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(330)는 메모리(320)에 데이터를 기록하고, 읽는다. 프로세서(330)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 6은 본 발명의 다양한 실시 예들에 따른 사용자 단말의 구성을 도시한다.
도 6을 참조하면, 본 발명의 다양한 실시 예들에 따른 사용자 단말(400)은 송수신기(410), 메모리(420), 프로세서(430), 입력 장치(440), 및 출력 장치(450)를 포함한다.
송수신기(410)는, 프로세서(430)와 연결되고 신호를 전송 및/또는 수신한다. 송수신기(410)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 트랜시버(transceiver)로 지칭될 수 있다. 송수신기(410)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
메모리(420)는, 송수신기(410), 메모리(420), 프로세서(430), 입력 장치(440), 출력 장치(450)와 연결되고, 입력 장치(440)를 통해 입력된 정보, 송수신기(410)의 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(420)는 카메라(406)에 의하여 촬영된 이미지의 정보 등을 저장할 수 있다. 또한, 메모리(420)는, 프로세서(430)와 연결되고 프로세서(430)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(430)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(420)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(420)는 프로세서(430)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(430)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(430)는 사용자 단말(100)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(430)는 송수신기(410)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(430)는 메모리(420)에 데이터를 기록하고, 읽는다. 또한, 프로세서(430)는 입력 장치(440)를 통해 정보를 입력 받는다. 또한, 프로세서(430)는 출력 장치(140)를 통해 정보를 출력한다. 또한, 프로세서(430)는 카메라(406)를 통해 이미지를 촬영한다. 프로세서(430)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
입력 장치(440)는, 프로세서(430)와 연결되고 정보 등을 입력할 수 있다. 일 실시 예에 따라서, 입력 장치(440)는 송수신기(130)를 통해 유/무선 통신 네트워크로 연결된 다른 장치로부터 수신한 정보 등을 입력할 수 있다. 입력 장치(440)는 터치 디스플레이, 키 패드, 키보드 등을 포함할 수 있다.
출력 장치(450)는, 프로세서(430)와 연결되고 정보 등을 영상/음성 등의 형태로 출력할 수 있다. 일 실시 예에 따라서, 출력 장치(450)는 송수신기(410)를 통해 유/무선 통신 네트워크로 연결된 다른 장치로부터 수신한 정보 등을 출력할 수 있다. 출력 장치(450)는 디스플레이, 스피커 등을 포함할 수 있다.
상술한 농기계의 제어 장치는 상기 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법 또는 상기 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법을 수행할 수 있다.
통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법
도 7은 본 발명의 다양한 실시 예들에 따른 ACU 장치의 동작 과정을 도시한다. 도 7의 실시 예에서, ACU(automated-driving control unit) 장치는 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된다. ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함한다. 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결된다.
도 7을 참조하면, S701 단계에서 ACU 장치는 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지
S702 단계에서 ACU 장치는 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정
S703 단계에서 ACU 장치는 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정
S704 단계에서 ACU 장치는 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정
S705 단계에서 ACU 장치는 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정
S706 단계에서 ACU 장치는 결정된 동작 방향에 따라서, 선 조치 후 보고 또는 선 보고 후 조치를 수행한다.
상기 동작 방향으로 선 조치 후 보고를 결정한 경우: ACU 장치는 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송한다.
상기 동작 방향으로 선 보고 후 조치를 결정한 경우: ACU 장치는 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송한다. 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, ACU 장치는 상기 지시 정보에 따른 하나의 동작을 수행한다. 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, ACU 장치는 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송한다.
본 발명의 다양한 실시 예들에 따르면, 상기 VCU 장치를 통한 상기 조향 장치의 제어는 상기 잠재적 사고를 피할 수 있는 방향으로 상기 농기계의 조향 제어를 포함할 수 있다. 상기 PTO 제어 장치를 통한 상기 PTO의 제어는 상기 PTO의 구동 정지 제어를 포함할 수 있다. 상기 ECU 장치를 통한 상기 구동 장치의 제어는 상기 농기계의 구동 정지 제어를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정될 수 있다. 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다.
상기 하나 이상의 제안 동작을 결정하는 동작은 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행될 수 있다. ACU(120)는 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 잠재적 사고가 실제 사고로 실현될 경우를 대비하여 사용자에게 제공할, 하나 이상의 제안 동작을 결정한다. 여기서, 제안 동작의 내용은 예측 중증도에 기초하여 결정된다.
본 발명의 다양한 실시 예들에 따르면, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행될 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 제1 임계 중증도 이상이고 제2 임계 중증도 미만인 경우, 상기 조향 장치의 제어, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 제3 임계 중증도 미만인 경우, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제3 임계 중증도 이상인 경우, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 제3 임계 중증도가 상기 제2 임계 중증도 및 상기 제1 임계 중증도보다 높고, 상기 제1 임계 중증도가 상기 제3 임계 중증도 및 상기 제2 임계 중증도보다 낮다.
본 발명의 다양한 실시 예들에 따르면, 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만이고, 상기 VCU가 정상 작동하는 경우, 상기 VCU 장치를 통한 상기 조향 장치의 제어 및 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만이고. 상기 VCU가 정상 작동하지 않고 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만이고. 상기 VCU 및 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 사고 회피 동작을 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만이고, 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어 및 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는: 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만이고, 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 동작 방향으로 선 조치 후 보고를 결정한 경우, 또는, 상기 동작 방향으로 선 보고 후 조치를 결정하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하는 단계는, 상기 하나 이상의 제안 동작 중 우선 순위가 가장 높은 동작을 수행하는 단계를 포함할 수 있다. 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 순으로 우선 순위가 높다. 상기 VCU 장치를 통한 상기 조향 장치의 제어의 우선 순위가 가장 높고, 상기 ECU 장치를 통한 상기 구동 장치의 제어의 우선 순위가 가장 낮다.
본 발명의 다양한 실시 예들에 따르면, 상기 VCU 장치의 정상 작동 여부, 상기 PTO 제어 장치의 정상 작동 여부, 상기 ECU 장치의 정상 작동 여부는, 상기 ACU 장치로부터 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각에게 정상 작동 확인 요청 신호가 전송된 후, 상기 ACU 장치가 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각으로부터 정상 작동 확인 신호를 수신함으로써 결정될 수 있다.
일부 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 여기서, 상기 VCU 장치를 통한 상기 조향 장치의 제어는 상기 잠재적 사고를 피할 수 있는 방향으로 상기 농기계의 조향 제어를 포함할 수 있다. 상기 PTO 제어 장치를 통한 상기 PTO의 제어는 상기 PTO의 구동 정지 제어를 포함할 수 있다 .상기 ECU 장치를 통한 상기 구동 장치의 제어는 상기 농기계의 구동 정지 제어를 포함할 수 있다. 또한, 일부 실시 예들에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정될 수 있다. 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정된다.
일부 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행되고, 상기 하나 이상의 제안 동작을 결정하는 단계는:상기 예측 중증도가 제1 임계 중증도 이상이고 제2 임계 중증도 미만인 경우, 상기 조향 장치의 제어, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 제3 임계 중증도 미만인 경우, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 예측 중증도가 상기 제3 임계 중증도 이상인 경우, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 상기 제3 임계 중증도가 상기 제2 임계 중증도 및 상기 제1 임계 중증도보다 높고, 상기 제1 임계 중증도가 상기 제3 임계 중증도 및 상기 제2 임계 중증도보다 낮다. 또한, 일부 실시 예들에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만인 경우: 상기 VCU가 정상 작동하는 경우, 상기 VCU 장치를 통한 상기 조향 장치의 제어 및 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 VCU가 정상 작동하지 않고 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 VCU 및 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다. 또한, 일부 실시 예들에서, 상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만인 경우: 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어 및 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고, 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함할 수 있다.
일부 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 상기 동작 방향으로 선 조치 후 보고를 결정한 경우, 또는, 상기 동작 방향으로 선 보고 후 조치를 결정하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우: 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하는 단계는, 상기 하나 이상의 제안 동작 중 우선 순위가 가장 높은 동작을 수행하는 단계를 포함할 수 있다. 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 순으로 우선 순위가 높으며, 상기 VCU 장치를 통한 상기 조향 장치의 제어의 우선 순위가 가장 높고,상기 ECU 장치를 통한 상기 구동 장치의 제어의 우선 순위가 가장 낮다. 또한, 일부 실시 예들에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정되고, 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다.
일부 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결될 수 있다. 상기 동작 방법은, 상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계; 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계; 상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계; 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계; 상기 동작 방향으로 선 조치 후 보고를 결정한 경우:상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계; 상기 동작 방향으로 선 보고 후 조치를 결정한 경우: 상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고, 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함할 수 있다. 상기 VCU 장치의 정상 작동 여부, 상기 PTO 제어 장치의 정상 작동 여부, 상기 ECU 장치의 정상 작동 여부는, 상기 ACU 장치로부터 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각에게 정상 작동 확인 요청 신호가 전송된 후, 상기 ACU 장치가 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각으로부터 정상 작동 확인 신호를 수신함으로써 결정될 수 있다. 또한, 일부 실시 예들에서, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정되고, 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, ACU 장치는 농기계 내 카메라와 전기적으로 연결되고, 프로세서는 도 7의 다양한 실시 예들에 따른 ACU 장치의 동작 방법을 수행하도록 구성된 ACU 장치가 제공된다.
본 발명의 다양한 실시 예들에 따르면, 컴퓨터 프로그램에 있어서 도 7의 다양한 실시 예들에 따른 ACU 장치의 동작 방법을 수행하도록 구성되고 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램이 제공된다.
동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법
도 8은 본 발명의 다양한 실시 예들에 따른 ACU 장치의 동작 과정을 도시한다. 도 8의 실시 예에서, ACU(automated-driving control unit) 장치는 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된다. ACU 장치는 프로세서, 메모리, 적외선 센서를 포함한다. ACU 장치는 농기계 내 카메라와 전기적으로 연결된다. 도 8의 ACU 장치의 동작은 도 7의 ACU 동작과 달리 통신 시스템을 요구하지 않을 수 있다. 즉, 도 8의 ACU 장치는 송수신기를 포함하지 않을 수 있다.
도 8의 단계(S801, S802, S803, S804, S805)는 도 7의 단계(S701, S702, S703, S704, S705)에 대응하며, 유사한 동작 원리를 가진다. 따라서, 아래에서는 도 7과의 차이점을 중심으로 도 8의 단계들을 서술한다.
도 8을 참조하면, S801 단계에서 ACU 장치는 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지한다.
S802 단계에서 ACU 장치는 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정한다.
S803 단계에서 ACU 장치는 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정한다.
S804 단계에서 ACU 장치는 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나로 사고 회피 동작을 결정한다.
S805 단계에서 ACU 장치는 결정된 사고 회피 동작을 수행한다.
본 발명의 다양한 실시 예들에 따르면, VCU 장치를 통한 상기 조향 장치의 제어는 상기 잠재적 사고를 피할 수 있는 방향으로 상기 농기계의 조향 제어를 포함할 수 있다. 상기 PTO 제어 장치를 통한 상기 PTO의 제어는 상기 PTO의 구동 정지 제어를 포함할 수 있다. 상기 ECU 장치를 통한 상기 구동 장치의 제어는 상기 농기계의 구동 정지 제어를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 사고 회피 동작을 결정하는 단계는, 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 중 정상 작동하는 장치 중에서 하나의 장치를 이용한 동작을 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나로 사고 회피 동작을 결정하는 단계는, 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행된다. 상기 예측 중증도가 제1 임계 중증도 이상이고 제2 임계 중증도 미만인 경우, 상기 조향 장치의 제어, 상기 PTO의 제어, 상기 구동 장치의 제어 중 하나의 동작이 결정될 수 있다. 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 제3 임계 중증도 미만인 경우, 상기 PTO의 제어, 상기 구동 장치의 제어 중 하나의 동작이 결정될 수 있다. 상기 예측 중증도가 상기 제3 임계 중증도 이상인 경우, 상기 구동 장치의 제어가 결정될 수 있다. 상기 제3 임계 중증도가 상기 제2 임계 중증도 및 상기 제1 임계 중증도보다 높고, 상기 제1 임계 중증도가 상기 제3 임계 중증도 및 상기 제2 임계 중증도보다 낮다.
본 발명의 다양한 실시 예들에 따르면, 상기 사고 회피 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만인 경우: 상기 VCU가 정상 작동하는 경우, 상기 VCU 장치를 통한 상기 조향 장치의 제어로 상기 사고 회피 동작을 결정하고, 상기 VCU가 정상 작동하지 않고 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 사고 회피 동작을 결정하고, 상기 VCU 및 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 사고 회피 동작을 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 사고 회피 동작을 결정하는 단계는, 상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만인 경우: 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 사고 회피 동작을 결정하고, 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 사고 회피 동작을 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정될 수 있다. 상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 VCU 장치의 정상 작동 여부, 상기 PTO 제어 장치의 정상 작동 여부, 상기 ECU 장치의 정상 작동 여부는, 상기 ACU 장치로부터 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각에게 정상 작동 확인 요청 신호가 전송된 후, 상기 ACU 장치가 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각으로부터 정상 작동 확인 신호를 수신함으로써 결정될 수 있다.
전술한 도 8의 방법과 관련된 본 발명의 다양한 실시 예들은, 도 7과 마찬가지로, 도 7의 동작의 일부 실시 예들과 같이 조합될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치에 있어서, ACU 장치는 프로세서, 메모리, 적외선 센서를 포함하고, ACU 장치는 농기계 내 카메라와 전기적으로 연결되고, 프로세서는 도 8의 다양한 실시 예들에 따른 ACU 장치의 동작 방법을 수행하도록 구성된 ACU 장치가 제공된다.
본 발명의 다양한 실시 예들에 따르면, 컴퓨터 프로그램에 있어서 도 8의 다양한 실시 예들에 따른 ACU 장치의 동작 방법을 수행하도록 구성되고 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램이 제공된다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.
본 출원의 실시 예들에 따른 ACU 장치의 동작 방법을 이용하면 자율주행 농기계에 유용하다. 그 결과, 본 출원의 실시 예들에 따른 ACU 장치의 동작 방법은 최근 자율 주행 농기계의 이용 빈도가 증가하는 농업 산업에서 이용될 가능성이 높다.

Claims (10)

  1. 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결되고, 상기 동작 방법은,
    상기 농기계가 자율 주행을 수행하고 상기 PTO가 작동되는 동안, 상기 적외선 센서 및 상기 카메라 중 적어도 하나에 의하여 상기 PTO로부터 소정의 거리 내 장애물 또는 사람을 감지하는 단계;
    상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도를 결정하는 단계;
    상기 농기계의 조향 장치와 전기적으로 연결된 VCU(vehicle control unit) 장치의 정상 작동 여부, 상기 PTO와 전기적으로 연결된 PTO 제어 장치의 정상 작동 여부, 상기 농기계의 구동 장치와 전기적으로 연결된 ECU(engine control unit) 장치의 정상 작동 여부를 결정하는 단계;
    상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 중 하나 이상의 제안 동작을 결정하는 단계;
    상기 잠재적 사고의 발생 확률 및 상기 잠재적 사고의 예측 중증도에 기반하여 선 조치 후 보고 또는 선 보고 후 조치 중 하나의 동작 방향을 결정하는 단계;
    상기 동작 방향으로 선 조치 후 보고를 결정한 경우:
    상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고,
    상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계;
    상기 동작 방향으로 선 보고 후 조치를 결정한 경우:
    상기 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작의 정보를 전송하고,
    소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신한 경우, 상기 지시 정보에 따른 하나의 동작을 수행하고,
    상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우, 상기 하나 이상의 제안 동작 중 하나의 동작을 수행하고, 상기 송수신기를 통해 사용자 단말에게 상기 잠재적 사고의 발생 확률, 상기 잠재적 사고의 예측 중증도, 상기 하나 이상의 제안 동작 중 하나의 동작의 수행 사실에 관한 정보를 전송하는 단계를 포함하는,
    방법.
  2. 제1 항에 있어서,
    상기 VCU 장치를 통한 상기 조향 장치의 제어는 상기 잠재적 사고를 피할 수 있는 방향으로 상기 농기계의 조향 제어를 포함하고,
    상기 PTO 제어 장치를 통한 상기 PTO의 제어는 상기 PTO의 구동 정지 제어를 포함하고,
    상기 ECU 장치를 통한 상기 구동 장치의 제어는 상기 농기계의 구동 정지 제어를 포함하는,
    방법.
  3. 제1 항에 있어서,
    상기 잠재적 사고의 발생 확률은 상기 PTO와 상기 장애물 또는 사람 사이 거리의 시간별 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 확률로 결정되고,
    상기 잠재적 사고의 예측 중증도는 상기 장애물 또는 사람에 대한 상기 PTO의 시간별 상대 속도의 변화에 기반하여 상기 PTO와 상기 장애물 또는 사람이 충돌할 경우 예측되는 충격량에 기반하여 결정되는,
    방법.
  4. 제1 항에 있어서,
    상기 하나 이상의 제안 동작을 결정하는 단계는, 상기 잠재적 사고의 발생 확률이 임계 확률 이상인 경우 수행되고,
    상기 하나 이상의 제안 동작을 결정하는 단계는:
    상기 예측 중증도가 제1 임계 중증도 이상이고 제2 임계 중증도 미만인 경우, 상기 조향 장치의 제어, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고,
    상기 예측 중증도가 상기 제2 임계 중증도 이상이고 제3 임계 중증도 미만인 경우, 상기 PTO의 제어, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고,
    상기 예측 중증도가 상기 제3 임계 중증도 이상인 경우, 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함하고,
    상기 제3 임계 중증도가 상기 제2 임계 중증도 및 상기 제1 임계 중증도보다 높고,
    상기 제1 임계 중증도가 상기 제3 임계 중증도 및 상기 제2 임계 중증도보다 낮은,
    방법.
  5. 제4 항에 있어서,
    상기 하나 이상의 제안 동작을 결정하는 단계는,
    상기 예측 중증도가 상기 제1 임계 중증도 이상이고 상기 제2 임계 중증도 미만인 경우:
    상기 VCU가 정상 작동하는 경우, 상기 VCU 장치를 통한 상기 조향 장치의 제어 및 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고,
    상기 VCU가 정상 작동하지 않고 상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어로 상기 하나 이상의 제안 동작을 결정하고,
    상기 VCU 및 상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 사고 회피 동작을 결정하는 단계를 포함하는,
    방법.
  6. 제4 항에 있어서,
    상기 하나 이상의 제안 동작을 결정하는 단계는,
    상기 예측 중증도가 상기 제2 임계 중증도 이상이고 상기 제3 임계 중증도 미만인 경우:
    상기 PTO 제어 장치가 정상 작동하는 경우, 상기 PTO 제어 장치를 통한 상기 PTO의 제어 및 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하고,
    상기 PTO 제어 장치가 정상 작동하지 않고 상기 ECU 장치가 정상 작동하는 경우, 상기 ECU 장치를 통한 상기 구동 장치의 제어로 상기 하나 이상의 제안 동작을 결정하는 단계를 포함하는,
    방법.
  7. 제1 항에 있어서,
    상기 동작 방향으로 선 조치 후 보고를 결정한 경우, 또는,
    상기 동작 방향으로 선 보고 후 조치를 결정하고, 상기 소정의 시간 내 상기 사용자 단말로부터 상기 하나 이상의 제안 동작 중 하나의 동작에 대한 지시 정보를 수신하지 못한 경우:
    상기 하나 이상의 제안 동작 중 하나의 동작을 수행하는 단계는,
    상기 하나 이상의 제안 동작 중 우선 순위가 가장 높은 동작을 수행하는 단계를 포함하고,
    상기 VCU 장치를 통한 상기 조향 장치의 제어, 상기 PTO 제어 장치를 통한 상기 PTO의 제어, 상기 ECU 장치를 통한 상기 구동 장치의 제어 순으로 우선 순위가 높으며,
    상기 VCU 장치를 통한 상기 조향 장치의 제어의 우선 순위가 가장 높고,
    상기 ECU 장치를 통한 상기 구동 장치의 제어의 우선 순위가 가장 낮은,
    방법.
  8. 제1 항에 있어서,
    상기 VCU 장치의 정상 작동 여부, 상기 PTO 제어 장치의 정상 작동 여부, 상기 ECU 장치의 정상 작동 여부는,
    상기 ACU 장치로부터 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각에게 정상 작동 확인 요청 신호가 전송된 후,
    상기 ACU 장치가 상기 VCU 장치, 상기 PTO 제어 장치, 상기 ECU 장치 각각으로부터 정상 작동 확인 신호를 수신함으로써 결정되는,
    방법.
  9. 통신 시스템에서 동력 인출 장치(power take off, PTO)를 포함하는 농기계와 전기적으로 연결된 ACU(automated-driving control unit) 장치의 동작 방법에 있어서, 상기 ACU 장치는 프로세서, 메모리, 송수신기, 적외선 센서를 포함하고, 상기 ACU 장치는 상기 농기계 내 카메라와 전기적으로 연결되고,
    상기 프로세서는 제1 항 내지 제8 항 중 어느 한 항에 따른 방법을 수행하도록 구성된,
    ACU 장치.
  10. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램.
PCT/KR2023/004044 2022-04-20 2023-03-27 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치 WO2023204466A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0049021 2022-04-20
KR1020220049021A KR102458856B1 (ko) 2022-04-20 2022-04-20 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023204466A1 true WO2023204466A1 (ko) 2023-10-26

Family

ID=83785828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/004044 WO2023204466A1 (ko) 2022-04-20 2023-03-27 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (5) KR102458856B1 (ko)
WO (1) WO2023204466A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102458856B1 (ko) * 2022-04-20 2022-10-26 주식회사 긴트 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101573027B1 (ko) * 2013-10-30 2015-11-30 주식회사 드림씨엔지 지능형 무인 제초 로봇
JP2017204061A (ja) * 2016-05-10 2017-11-16 ヤンマー株式会社 自律走行経路生成システム
KR102339667B1 (ko) * 2014-03-26 2021-12-14 얀마 파워 테크놀로지 가부시키가이샤 자율 주행 작업 차량
KR102384216B1 (ko) * 2021-10-15 2022-04-11 주식회사 긴트 통신 시스템에서 사용자 단말의 애플리케이션을 통해 원격으로 농기계에 대한 자율 주행을 제어하기 위한 장치 및 방법
KR102458856B1 (ko) * 2022-04-20 2022-10-26 주식회사 긴트 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166707B1 (ko) 2015-07-27 2020-10-19 현대자동차주식회사 Pto 기능을 구비한 차량의 제어방법
JP6919531B2 (ja) * 2017-11-30 2021-08-18 井関農機株式会社 作業車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101573027B1 (ko) * 2013-10-30 2015-11-30 주식회사 드림씨엔지 지능형 무인 제초 로봇
KR102339667B1 (ko) * 2014-03-26 2021-12-14 얀마 파워 테크놀로지 가부시키가이샤 자율 주행 작업 차량
JP2017204061A (ja) * 2016-05-10 2017-11-16 ヤンマー株式会社 自律走行経路生成システム
KR102384216B1 (ko) * 2021-10-15 2022-04-11 주식회사 긴트 통신 시스템에서 사용자 단말의 애플리케이션을 통해 원격으로 농기계에 대한 자율 주행을 제어하기 위한 장치 및 방법
KR102458856B1 (ko) * 2022-04-20 2022-10-26 주식회사 긴트 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치

Also Published As

Publication number Publication date
KR102472664B1 (ko) 2022-11-29
KR102458856B1 (ko) 2022-10-26
KR102472667B1 (ko) 2022-11-29
KR102472665B1 (ko) 2022-11-29
KR102472666B1 (ko) 2022-11-29

Similar Documents

Publication Publication Date Title
WO2023204466A1 (ko) 통신 시스템에서 자율 주행을 수행하고 pto가 작동되는 농기계에 대하여 잠재적 사고를 예측하고 잠재적 사고를 회피하기 위한 동작을 제어하기 위한 방법 및 장치
WO2018131876A1 (en) Vehicle terminal device and control method thereof
WO2018182275A1 (en) Method and device for controlling driving based on sensing information
WO2019143040A1 (en) Device and method for assisting with driving of vehicle
WO2011129617A2 (en) Determination of a location of an apparatus
WO2016076587A1 (en) Information providing apparatus and method thereof
WO2013133464A1 (en) Image display device and method thereof
WO2018186520A1 (ko) 주차된 차량의 상태를 감시하는 시스템
WO2018230988A1 (ko) Can 통신 기반 해킹공격 탐지 방법 및 시스템
WO2019139310A1 (en) Autonomous driving apparatus and method for autonomous driving of a vehicle
WO2018151487A1 (en) Device for performing communication in wireless communication system and method thereof
WO2016186458A1 (ko) 영상 정보 수집 시스템 및 이동 객체에 대한 영상 정보를 수집하는 방법
WO2020226343A1 (en) Electronic device and method for assisting with driving of vehicle
WO2020105759A1 (ko) 통신 장치, 그것의 제어 방법 및 그것을 포함하는 통신 시스템
WO2021085780A1 (ko) 증폭기의 입력 신호를 처리하는 전자 장치 및 그 동작 방법
WO2017179851A1 (ko) 타겟 운전체
WO2021158009A1 (ko) 추종 장치, 이를 포함하는 추종 시스템 및 추종 장치의 추종 방법
WO2020138516A1 (ko) 통신 장치, 그것의 제어 방법 및 그것을 포함하는 통신 시스템
WO2024090688A1 (ko) 스티어링 유격에 대한 보상 각도를 사전 설정하는 방법 및 상기 보상 각도를 이용하는 자율 주행 농기계
WO2016060384A1 (ko) 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
WO2023120867A1 (ko) 강화 학습 기반의 알고리즘과 경로 계획 기반의 알고리즘을 사용하여 로봇을 제어하는 방법 및 시스템과, 로봇이 배치되는 건물
WO2020180031A1 (ko) 실시간 사고 감지 및 사고를 자동으로 전파하는 장치 및 방법
WO2020197146A1 (ko) 출입구 관리 시스템 및 그 동작 방법
WO2020159100A1 (en) Artificial intelligence moving robot and method for controlling the same
WO2013133463A1 (en) Image display device and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23792046

Country of ref document: EP

Kind code of ref document: A1