KR20230004432A - 원격 오퍼레이터에 의한 차량 제어 - Google Patents

원격 오퍼레이터에 의한 차량 제어 Download PDF

Info

Publication number
KR20230004432A
KR20230004432A KR1020227027917A KR20227027917A KR20230004432A KR 20230004432 A KR20230004432 A KR 20230004432A KR 1020227027917 A KR1020227027917 A KR 1020227027917A KR 20227027917 A KR20227027917 A KR 20227027917A KR 20230004432 A KR20230004432 A KR 20230004432A
Authority
KR
South Korea
Prior art keywords
vehicle
operator
input
processor
control system
Prior art date
Application number
KR1020227027917A
Other languages
English (en)
Inventor
크리스토퍼 트래비스 휘트니
부파티라주 라마 벤카타 수르야 쿠마르 바르마
미즈바우딘 모하메드
바르가브 라마크리슈나 레디
프라벤 브이 펜멧사
재커리 엠 오모훈드로
Original Assignee
지메노, 인크. 디비에이 모나크 트랙터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지메노, 인크. 디비에이 모나크 트랙터 filed Critical 지메노, 인크. 디비에이 모나크 트랙터
Publication of KR20230004432A publication Critical patent/KR20230004432A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K17/00—Arrangement or mounting of transmissions in vehicles
    • B60K17/04—Arrangement or mounting of transmissions in vehicles characterised by arrangement, location, or kind of gearing
    • B60K17/16—Arrangement or mounting of transmissions in vehicles characterised by arrangement, location, or kind of gearing of differential gearing
    • B60K17/18—Arrangement or mounting of transmissions in vehicles characterised by arrangement, location, or kind of gearing of differential gearing in which the differential movement is obtained by resilient means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K17/00—Arrangement or mounting of transmissions in vehicles
    • B60K17/28—Arrangement or mounting of transmissions in vehicles characterised by arrangement, location, or type of power take-off
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2611—Indicating devices mounted on the roof of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/001—Switches therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/23—Means to switch the anti-theft system on or off using manual input of alphanumerical codes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D25/00—Superstructure or monocoque structure sub-units; Parts or details thereof not otherwise provided for
    • B62D25/06—Fixed roofs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D49/00—Tractors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/65—Following a desired speed profile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2800/00—Features related to particular types of vehicles not otherwise provided for
    • B60Q2800/20—Utility vehicles, e.g. for agriculture, construction work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/22—Agricultural vehicles
    • B60Y2200/221—Tractors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/188—Controlling power parameters of the driveline, e.g. determining the required power
    • B60Y2300/1886—Controlling power supply to auxiliary devices
    • B60Y2300/1888—Control of power take off [PTO]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/226—Communication links with the remote-control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Vehicle Body Suspensions (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Selective Calling Equipment (AREA)
  • Body Structure For Vehicles (AREA)
  • Lock And Its Accessories (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Agricultural Machines (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

차량 제어 시스템은 차량, 차량에 의해 탑재되는 센서, 프로세서, 및 프로세서에 지시하는 명령을 포함하는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 명령은 차량에서 멀리 떨어진 오퍼레이터로부터 센서에 의해 감지된 입력을 획득하기 위한 원격 오퍼레이터 입력 감지 명령, 감지된 입력을 인식하고 차량 동작과 연관시키기 위한 입력 인식 명령, 및 차량이 차량 동작을 수행하게 하도록 차량에 제어 신호를 출력하기 위한 입력 응답 제어 명령을 포함할 수 있다.

Description

원격 오퍼레이터에 의한 차량 제어
차량은 오퍼레이터로부터의 입력이나 명령에 응답하여 다양한 차량 동작을 수행할 수 있다. 예를 들어, 차량이 주행하는 방향 및/또는 주행 속도가 차량에 착석하여 스티어링 휠, 조이스틱, 가속 페달, 브레이크 페달 등을 조작하는 오퍼레이터에 의해 제어될 수 있다. 차량의 다양한 부착부 또는 연장부도 역시 차량에 착석하거나 이와 달리 탑승한 오퍼레이터로부터 제어될 수 있다.
도 1은 예시적인 차량 제어 시스템의 일부를 개략적으로 나타낸 블록도이다.
도 2는 예시적인 차량 제어 방법의 흐름도이다.
도 3은 예시적인 차량 제어 시스템의 일부를 개략적으로 나타낸 블록도이다.
도 4는 예시적인 차량 제어 시스템의 일부를 개략적으로 나타낸 블록도이다.
도 5는 예시적인 차량 제어 시스템의 정면 사시도이다.
도 6은 예시적인 차량 제어 시스템의 후면 사시도이다.
도 7은 예시적인 차량 제어 시스템의 우측면도이다.
도 8은 예시적인 차량 제어 시스템의 좌측면도이다.
도 9는 예시적인 차량 제어 시스템의 정면도이다.
도 10은 예시적인 차량 제어 시스템의 우측 후면도이다.
도 11은 도 2의 11-11 라인을 따라 취한 예시적인 차량 제어 시스템의 저면 사시도이다.
도면 전체에 걸쳐 동일한 참조 번호는 유사한 요소를 지정하지만 반드시 동일한 것은 아니다. 도면은 반드시 비율에 맞는 것은 아니며, 일부 부품의 크기는 표시된 예를 보다 명확하게 설명하기 위해 과장될 수 있다. 또한, 도면은 설명과 일치하는 다수의 예 및/또는 구현예을 제공하지만, 설명은 도면에 제공된 해당 예 및/또는 구현예에 제한되지 않는다.
차량으로부터 멀리 떨어진 오퍼레이터에 의해 차량의 제어를 용이하게 하는 제어 시스템, 방법 및 매체가 개시된다. 그 결과, 여러 사람, 즉 지상에서 차량에서 멀리 떨어진 한 사람과 차량에 탑승하여 차량을 제어하는 다른 사람을 요구할 수 있는 차량 작업을 단일 오퍼레이터가 수행할 수 있다. 결국, 차량에 탑승한 오퍼레이터가 새로운 시야를 얻기 위해 반복적으로 차량을 떠난 다음 차량에 다시 탑승하도록 요구할 수 있는 차량 동작을 거의 또는 전혀 재탑승이 없이 수행할 수 있다.
개시의 목적을 위해, 오퍼레이터를 언급할 때 "원격"이란 용어는 스티어링 휠, 조이스틱, 가속 또는 브레이크 페달, 기어 변속 레버, 푸시 버튼, 스위치, 다른 레버 등과 같은 차량의 직접 제어 장치와 관련하여 오퍼레이터가 지역적으로 위치됨을 의미한다. 일부 구현예에서, 원격 오퍼레이터는 차량의 일부 또는 차량의 부착물에 서 있는 오퍼레이터일 수 있지만, 오퍼레이터는 차량의 스티어링 휠 또는 다른 입력 제어 장치에 접근할 수 없다. 예를 들어, 오퍼레이터는 플랫폼, 버킷(bucket) 또는 차량의 다른 부착물에 위치될 수 있지만, 차량의 다른 입력 제어 장치로 조향을 쉽게 요청할 수 없다. 일부 구현예에서, 원격 오퍼레이터는 차량에 탑승하지 않은 오퍼레이터일 수 있다. 예를 들어, 원격 오퍼레이터는 차량의 전방, 후방 또는 측면에서 지상에 서 있는 오퍼레이터일 수 있다. 일부 구현예에서, 원격 오퍼레이터는 차량에 의해 밀거나 당겨지는 기구에 서 있거나 그렇지 않으면 그에 의해 운반되는 오퍼레이터일 수 있다. 각각의 경우에, 오퍼레이터는 차량의 직접 제어 구조체(스티어링 휠, 조이스틱, 푸시 버튼, 스위치, 레버 등)로부터 멀리 떨어져 있다.
일부 구현예에서, 원격 오퍼레이터는 특정 차량 동작을 위한 직접 입력 인터페이스에 쉽게 도달하거나, 접촉하거나 물리적으로 접근할 수 없는 오퍼레이터일 수 있으며, 여기서 개시된 차량 제어 시스템, 방법 및 매체는 차량의 센서에 의해 감지되는 오퍼레이터의 직접 또는 간접적인 제스처의 사용을 통해 오퍼레이터에 의한 차량 동작의 개시, 중지 또는 조정을 가능케 한다. 직접적인 제스처는 오퍼레이터의 손, 팔 또는 다리의 움직임 또는 포지셔닝과 같은 오퍼레이터의 신체의 움직임 또는 포지셔닝을 포함한다. 오퍼레이터의 간접 제스처는 오퍼레이터에 의한 입력 장치의 수동 움직임 또는 포지셔닝을 포함할 수 있으며, 여기서 입력 장치의 움직임 또는 포지셔닝은 차량의 센서에 의해 감지된다. 이러한 상황에서, 원하는 차량 동작을 위한 직접 입력 장치(스티어링 휠, 조이스틱, 푸시 버튼, 스위치, 레버 등)를 물리적으로 접촉 및 이동할 수 없는 위치에 있는 오퍼레이터는 여전히 차량에 입력을 제공하여 이러한 차량 동작을 개시, 중지 또는 조정할 수 있다.
도 1은 예시적인 차량 제어 시스템(20)을 개략적으로 도시한 블록도이다. 차량 제어 시스템(20)은 차량(24), 센서(28), 프로세서(32) 및 비일시적 컴퓨터 판독가능 매체(40)를 포함한다. 차량(24)은 자체 추진식 차량을 포함한다. 차량(24)의 예는 트럭, 자동차, 트랙터, 수확기, 승마용 잔디 깎는 기계, 제설기, 4륜차, 전지형 차량(ATV) 등을 포함하지만, 이에 제한되는 것은 아니다.
센서(28)는 오퍼레이터(42)에 의해 개시되는 직접 또는 간접 제스처를 감지할 수 있도록 차량(24)에 의해 지지되고 차량(24)에 의해 탑재되는 적어도 하나의 센서를 포함한다. 오퍼레이터에 의해 제공되는 직접적인 제스처는 오퍼레이터의 손, 손가락, 다리, 몸통 등의 움직임 또는 포지셔닝과 같은 오퍼레이터의 신체(44)에 의해 제공될 수 있다. 오퍼레이터의 신체의 움직임, 포지셔닝/배향은 센서(28)에 의해 감지되는 입력(46)으로 작용할 수 있다. 오퍼레이터(42)에 의해 시작된 간접적인 제스처는 입력(46)으로 작용하는 입력 장치(48)의 움직임 및/또는 포지셔닝을 포함할 수 있다. 입력 장치(48)는 플래그, 지휘봉, 스마트폰 또는 오퍼레이터(42)에 의해 수동으로 조작될 수 있고 센서(28)에 의해 인식될 수 있는 다른 수동 또는 휴대용 물리적 구조체를 포함할 수 있다.
센서(28)는 다양한 시야 또는 감지 범위를 가질 수 있다. 일부 구현예에서, 센서(28) 중 적어도 하나의 특정 시야 내에 있는 차량(24)에 대한 특정 영역은 차량(24)에 원격 입력을 제공하도록 지정될 수 있다. 다른 구현예에서, 원격 오퍼레이터가 차량(24) 주변의 다양한 가능한 위치 중 임의의 위치에서 원격 입력을 제공할 수 있도록 적어도 하나의 센서(28)는 차량(24) 주변의 전체 영역을 포함하는 시야 또는 다중 시야를 가질 수 있다.
일부 구현예에서, 센서(28)는 차량(24)에 의해 지지되는 적어도 하나의 카메라를 포함한다. 다른 구현예에서, 센서(28)는 라이다, 레이다, 초음파 센서 등과 같은 다른 형태의 비접촉식 또는 무선 센서를 포함할 수 있다. 일부 구현예에서, 서로 다른 유형의 센서가 차량 주변의 서로 다른 위치에 제공될 수 있다.
프로세서(32)와 매체(40)는 차량(24)용 컨트롤러를 형성한다. 프로세서(32)와 매체(40)는 차량(24)의 일부이거나 차량(24)에 의해 운반되는 것으로 도시되어 있지만, 일부 구현예에서 프로세서(32) 및 매체(40)는 차량(24)에 의해 운반되지 않고 차량(24)으로부터 멀리 위치될 수 있다. 이러한 구현예에서, 프로세서(32) 및 매체(40)에 의해 형성된 컨트롤러는 무선 방식으로 차량(24)의 로컬 컨트롤러와 통신할 수 있다. 프로세서(32)는 매체(40)에 제공된 명령을 수행한다. 매체(40)는 차량(24)의 다른 동작을 제어하기 위한 추가 명령(미도시)을 포함할 수 있다.
매체(40)는 플래시 드라이브, 메모리 디스크 등의 소프트웨어 또는 코딩 형태 및/또는 회로 기판 상의 로직 소자 형태의 하드웨어일 수 있다. 프로세서(32)를 지시하도록 매체(40)에 포함된 명령은 원격 오퍼레이터 입력 감지 명령(56), 입력 인식 명령(58) 및 입력 응답 제어 명령(64)을 포함한다. 원격 오퍼레이터 입력 감지 명령(56)은 원격 오퍼레이터(42)로부터 감지된 입력을 획득하도록 구성된 명령을 포함한다. 이러한 명령은 프로세서(32)가 오퍼레이터 신체(44) 및/또는 입력 장치(48)의 포지셔닝 및/또는 움직임을 나타내는 센서(28)로부터의 신호를 가져오거나 획득하도록 지시한다. 명령(56)은 프로세서(32)가 센서(28)에 의해 제공되는 신호로부터의 이러한 포지셔닝 또는 움직임을 결정하도록 추가로 지시할 수 있다.
일 구현예에서, 시스템(20)은 상이한 모드들 사이에서 선택적으로 작동 가능하다. 제1 모드에서, 센서(28)는 오퍼레이터 신체(44)의 포지셔닝 및/또는 움직임을 감지할 수 있고 이러한 포지셔닝 및/또는 움직임을 이용하여 차량(24)의 동작을 제어할 수 있다. 제2 모드에서, 센서(28)는 입력 장치(48)의 포지셔닝 및/또는 움직임을 감지하고 이러한 포지셔닝 및/또는 움직임을 이용하여 차량(24)의 동작을 제어할 수 있다. 일부 구현예에서, 오퍼레이터(42)의 감지된 제스처에 기초한 차량(24)의 원격 제어 및/또는 하나 이상의 차량 동작에 대한 제어 신호의 생성을 용이하게 하기 위해 센서(28)로부터의 신호의 획득은 연속적일 수 있거나 오퍼레이터가 차량(24)에 탑승하는 동안과 같이 직접 입력 제어를 통해 오퍼레이터(42)에 의해 제공되는 입력에 응답하여 개시될 수 있다. 일부 구현예에서, 오퍼레이터(42)의 감지된 제스처에 기초한 차량(24)의 원격 제어 및/또는 하나 이상의 차량 동작에 대한 제어 신호의 생성을 용이하게 하기 위해 센서(28)로부터의 신호의 획득은 오퍼레이터가 더 이상 차량(24)에 탑승하고 있지 않음을 나타내는 신호에 응답하여 촉발되거나 개시될 수 있다. 예를 들어, 일부 구현예에서, 시스템(20)의 센서(28) 및/또는 원격 제어 프로세스는 휴면 모드에 있을 수 있고, 오퍼레이터가 차량을 벗어났음을 나타내는 센서로부터의 신호에 응답하여 깨어날 수 있다. 일 구현예에서, 하나 이상의 센서가 차량(24)의 오퍼레이터 좌석 또는 시트 아래에 위치될 수 있으며, 여기서 시스템(20)에 의해 제공되는 센서(28) 및/또는 제공되는 원격 제어 프로세스는 오퍼레이터가 더 이상 착석하지 않음을 나타내는 이러한 센서에 응답하여 깨어있을 수 있다.
입력 인식 명령(58)은 감지된 입력을 인식하고 요청된 특정 차량 동작과 연관시키도록 프로세서(32)에 지시하도록 구성된 명령을 포함한다. 예컨대, 오퍼레이터(42)가 손을 하향 지시하는 것은 차량의 전진 또는 후진 속도를 감소시키라는 명령으로 해석될 수 있고, 오퍼레이터(42)가 손을 상향 지시하는 것은 전진 또는 후진 속도를 증가시키라는 명령으로 해석될 수 있다. 오퍼레이터(42)가 입력 장치(48)를 하향 지시하는 것은 차량의 전진 또는 후진 속도를 감소시키라는 명령으로 해석될 수 있고, 오퍼레이터(42)가 입력 장치(48)를 상향 지시하는 것은 전진 또는 후진 속도를 증가시키라는 명령으로 해석될 수 있다. 오퍼레이터(42)가 손을 좌측 방향으로 지시하거나 입력 장치(48)를 좌측 방향으로 지시하는 것은 차량을 좌측 방향으로 돌리라는 명령으로 해석될 수 있고, 이때 손이 좌측 방향을 지시하는 지속 시간은 회전 정도 또는 회전 각도를 나타낸다. 오퍼레이터가 손 또는 입력 장치를 직접 차량(24)으로 지시하는 것은 차량을 후진시키라는 명령으로 해석될 수 있다.
일 구현예에서, 입력 인식 명령(58)은 프로세서(32)가 오퍼레이터의 왼손과 오른손을 식별하도록 지시할 수 있으며, 여기서 왼손 또는 오른손(또는 왼손 또는 오른손에 의해 보유되는 입력 장치)에 의해 제공되는 상이한 제스처는 다른 명령으로 해석될 수 있다. 예를 들어, 왼손에 의한 제스처는 차량의 속도에 대한 명령을 제공하는 것으로 해석될 수 있는 반면, 오른손에 의해 제공되는 제스처는 차량의 부착물 또는 도구의 이동에 대한 명령을 제공하는 것으로 해석될 수 있다.
일 구현예에서, 매체(40)는 상이한 감지된 입력(상이한 감지된 제스처)을 상이한 차량 명령 또는 동작과 연관시키는 데이터베이스 또는 룩업 테이블을 추가로 포함할 수 있다. 일부 구현예에서 데이터베이스는 차량(24)에 의해 탑재되는 로컬일 수 있다. 다른 구현예에서 데이터베이스는 차량(24)으로부터 멀리 떨어질 수 있다. 일부 구현예에서 데이터베이스는 원격 서버에 의해 제공되는 일반 데이터베이스일 수 있고, 여기서 데이터베이스는 다수의 상이한 차량(24)에 접근할 수 있으며, 상이한 시스템들(20)은 상이한 오퍼레이터들(42)에 의해 작동된다. 일부 구현예에서, 데이터베이스는 특정 오퍼레이터(42)에 특정될 수 있다. 일부 구현예에서, 데이터베이스는 이미지, 비디오 또는 다른 감지된 데이터 세트를 사용하여 훈련된 신경망의 일부일 수 있거나, 또는 신경망이 다른 제스처를 인식하고 이러한 제스처를 다른 차량 동작 명령 또는 요청과 연관시킨다.
일부 구현예에서, 입력 인식 명령(58)은 차량(24)에 의해 상이한 위치에서 지원되는 상이한 개별 센서(28)에 대한 연관된 명령 및 제스처의 상이한 데이터베이스를 가질 수 있다. 제1 위치에서 제1 센서로부터 수신된 제스처는 제1 차량 동작에 대응할 수 있는 한편, 제2 상이한 위치에서 제2 센서로부터 수신된 동일한 제스처는 제2 상이한 차량 동작에 대응할 수 있다. 일부 구현예에서, 차량 상의 상이한 위치 또는 위치에서 지원되는 상이한 센서는 상이한 차량 동작에 전용되거나 할당될 수 있다. 예컨대, 차량의 제1 위치에 있는 제1 센서 또는 센서 그룹은 제1 유형의 차량 동작을 제어하기 위한 직접 또는 간접 제스처를 수신하는 데 전용될 수 있는 한편, 차량의 제2 위치에 있는 제2 센서 또는 제2 센서 그룹은 제2의 상이한 유형의 차량 동작을 제어하기 위해 직접 또는 간접 제스처를 수신하는 데 전용될 수 있다. 보다 구체적인 예로서, 차량의 전방 단부에 지지되는 제1 센서는 차량의 전방으로부터 연장되는 부착물의 포지셔닝을 제어하기 위해 직접적 또는 간접적 제스처를 수신하는 데 전용될 수 있는 반면, 차량의 후방 단부에 지지되는 제2 센서는 차량의 후방으로부터 연장되는 부착물의 포지셔닝을 제어하기 위한 직접적 또는 간접적 제스처를 수신하는 데 전용될 수 있다. 일부 구현예에서 오퍼레이터가 특정 차량 동작에 대한 원격 입력을 제공하기 위해, 오퍼레이터는 자신의 직접 또는 간접 제스처가 원하는 차량 동작에 대해 지정된 적절한 센서에 의해 포착되도록 자신을 차량에 대해 미리 결정되거나 지정된 원격 위치에 위치시켜야 한다.
이러한 예시적인 구현예에서, 오퍼레이터는 부정확한 명령에 대해 부정확한 제스처를 부주의하게 제공하는 것이 방지될 수 있다. 예를 들어, 일 구현예에서, 수확기의 전진 이동과 관련된 제스처는 차량(24)의 측면 또는 후방을 따라 위치되거나 이와 마주하는 센서로부터만 수신될 수 있다. 차량(24)의 전방을 향하는 센서는 차량(24)의 전방 이동이 아닌 다른 차량 동작 전용일 수 있다. 이러한 구현예에서, 오퍼레이터는 차량의 전방 이동을 지시할 때 차량의 전방이 아니라 차량의 측면 또는 후방을 따라 있어야 하는 것이 요구될 수 있다.
다른 예로서, 차량의 동력 인출 장치를 포함하는 시야를 갖는 하나 이상의 센서가 차단되거나 동력 인출 장치를 켜기 위한 명령에 대응하는 제스처를 수신하는 것과 연관되지 않을 수 있다. 다시 말해, 동력 인출 장치로부터 충분히 멀리 떨어져 있는 시야를 갖는 센서(28)로부터 감지된 제스처만이 동력 인출 장치를 켜는 데 사용될 수 있다. 이러한 구현예에서, 특정 차량 동작에 대한 센서의 이러한 할당은 오퍼레이터가 동력 인출 장치에 우발적으로 얽히는 것을 방지할 수 있다.
일부 구현예에서, 특정 차량 동작에 대한 다른 요청 또는 명령과 다른 제스처의 연관은 추가로 다른 감지된 파라미터수에 기초할 수 있다. 예컨대, 차량(24)이 제1 동작을 수행 중이거나 제1 날짜에 있을 때(센서에 의해 감지되거나 그렇지 않으면 프로세서(32)에 의해 결정됨), 인식 명령(58)은 프로세서(32)가 제스처-차량 동작 연관에 대한 제1 테이블 또는 데이터베이스를 참조하도록 지시할 수 있다. 차량(24)이 제2의 상이한 동작을 수행하고 있거나 제2의 상이한 상태에 있을 때, 인식 명령(58)은 프로세서(32)가 상이한 제스처-차량 동작 연관을 포함하는 제2 테이블 또는 데이터베이스를 참조하도록 지시할 수 있다. 특정 예로서, 명령(58)은 프로세서(32)가 차량(24)에 연결된 부착물의 유형 또는 특성에 따라 또는 차량(24)에 의해 현재 밀리거나 당겨지고 있는 특정 기구의 유형 또는 특성에 따라 상이한 제스처-차량 동작 연관을 포함하는 상이한 데이터베이스를 참조하도록 지시할 수 있다. 부착물 또는 기구의 유형 또는 특성은 오퍼레이터에 의해 입력될 수 있거나 감지될 수 있다.
입력 응답 제어 명령(64)은 차량(24)이 명령(58)에 의해 결정된 감지된 입력에 대응하는 특정 차량 동작을 수행하도록 차량(24)의 다양한 액추에이터 등에 제어 신호를 출력하도록 구성된 명령을 포함한다. 다양한 차량 동작에 응답하여 수행될 수 있는 오퍼레이터(42)의 특정 제스처(직접 또는 간접)와 연관될 수 있는 다양한 차량 동작의 예는, 한정되는 것은 아니지만, 전진 속도, 후진 속도, 좌측/우측 방향, 제동, 조명(야간등, 주행등, 스포트라이트), 신호, 소리(경적, 라우드스피커), 경고(점멸등, 비상등), 기구 특정 동작(좌측 스프레이어 온/오프, 우측 스프레이어 온/오프, 좌측 기구 윙 승강, 우측 기구 윙 승강, 동력 인출, 토출구 이동, 토출구 오거 작동속도 변경, 동력 인출 장치 온/오프, 동력 인출 장치의 속도 조정, 차량 부착물(예, 버킷, 포크 등) 승강, 기구 또는 부착물에 대한 작동유 또는 유압 동력의 공급의 조정, 3점 히치(hitch) 승강) 등을 포함한다.
도 2는 예시적인 차량 제어 방법(120)의 흐름도이다. 방법(120)은 시스템(20)에 의해 수행되는 측면에서 설명되지만, 방법(120)은 마찬가지로 다음에 설명된 시스템 중 임의의 시스템 또는 유사한 시스템에 의해 수행될 수 있다. 블록(124)에 의해 표시된 바와 같이, 프로세서(32)는 차량(24)으로부터 멀리 떨어진 오퍼레이터(42)로부터 감지된 입력을 획득할 수 있다. 감지된 입력은 차량(24)에 의해 탑재되는 적어도 하나의 센서(28)로부터 획득될 수 있다.
블록(128)에 의해 표시된 바와 같이, 프로세서(32)는 감지된 입력을 인식하고 해당 입력을 요청되거나 지시된 특정 차량 동작과 연관시킬 수 있다. 전술한 바와 같이, 이러한 연관은 상이한 차량 동작과 상이한 감지된 입력/제스처를 연관시키는 로컬 또는 원격 데이터베이스 또는 룩업 테이블의 참조를 통해 이루어질 수 있다. 일부 구현예에서, 감지 입력 또는 제스처에 대응하는 특정의 요청된 차량 동작의 결정은 추가적으로, 감지된 제스처가 수신된 특정 센서(28) 및/또는 차량(24)과 관련된 임의의 기구 또는 부착물의 상태 또는 특성을 포함하는 차량(24)의 특정 상태를 기초로 할 수 있다. 일부 구현예에서, 오퍼레이터(42) 또는 다른 관리자는 원격 감지 제스처의 사용을 통해 요청될 수 있는 특정 차량 동작을 식별하는 선택을 시스템(20)에 제공할 수 있다. 예를 들어, 데이터베이스는 원격 제스처를 사용하여 제어할 수 있는 다수의 사용 가능한 차량 동작을 포함할 수 있지만, 이 경우, 오퍼레이터 또는 다른 사람은 원격 제스처를 통한 제어를 위해 이러한 사용 가능한 차량 동작의 일부 또는 선택된 그룹만 승인할 수 있다.
블록(132)에 의해 표시된 바와 같이, 프로세서(32)는 차량(24)이 원격 오퍼레이터(42)로부터 감지된 입력/제스처와 현재 연관된 특정 차량 동작을 수행할 수 있게 하기 위해 차량(24)에 제어 신호를 출력할 수 있다. 전술한 바와 같이, 이러한 차량 동작의 예는, 한정되는 것은 아니지만, 전진 속도, 후진 속도, 좌측/우측 방향, 제동, 조명(야간등, 주행등, 스포트라이트), 신호, 소리(경적, 라우드스피커), 경고(점멸등, 비상등), 기구 특정 동작(좌측 스프레이어 온/오프, 우측 스프레이어 온/오프, 좌측 기구 윙 승강, 우측 기구 윙 승강, 동력 인출, 토출구 이동, 토출구 오거 작동속도 변경, 동력 인출 장치 온/오프, 동력 인출 장치의 속도 조정, 차량 부착물(예, 버킷, 포크 등) 승강, 기구 또는 부착물에 대한 작동유 또는 유압 동력의 공급의 조정, 3점 히치 승강) 등을 포함한다.
도 3은 예시적인 차량 제어 시스템(220)의 일부를 개략적으로 도시한 블록도이다. 차량 제어 시스템(220)은 차량(24) 및 입력 장치(48) 대신에 차량(224) 및 입력 장치(248)를 포함한다는 점을 제외하고는 전술한 차량 제어 시스템(20)과 유사하다. 차량(224)은 추가로 부착물/기구(225)에 결합되는 것으로 예시되어 있다.
차량(224) 자체는 차량(224)이 구체적으로 조명(300), 스티어링 장치(302), 추진 장치(304), 동력 인출(PTO) 장치(306), 유압 동력 장치(308), 브레이크(310) 및 보조 장치(312)를 포함하는 것으로 예시된 것을 제외하고 차량(24)과 유사하다. 차량(224)은 추가로 입력-동작 저장소(314), 승인 저장소(316), 마이크로폰(318) 및 센서(320)를 포함한다. 매체(40)는 추가로 오퍼레이터 식별 및 승인 명령(52), 입력 장치 식별 및 승인 명령(54) 및 오퍼레이터 위치 식별 명령(60)을 포함한다. 차량(224) 및 시스템(20)의 구성요소에 대응하는 시스템(220)의 나머지 구성요소는 유사하게 번호가 매겨진다.
조명(300)은 차량(224)에 대한 조명을 제공하거나 차량(224)에 대한 경고 또는 통지를 제공하기 위해 차량(224)에 의해 지지되는 조명을 포함한다. 스티어링 장치(302)는 차량(224)의 전방 또는 후방 이동을 조향하기 위해 휠, 트랙 등의 회전을 실행하는 전기 및/또는 유압 구성요소 및 관련 컨트롤러를 포함한다. 추진 장치(304)는 내연 기관, 전기 모터, 변속기, 및 차량(224)의 전방 및 후방 추진을 제어하기 위한 관련 컨트롤러를 포함한다. PTO 장치(306)는 전기, 유압 또는 기계 구동 장치를 포함하고, 부착물 또는 기구와 관련된 부착구에 토크를 공급하기 위해 동력 인출 장치(예, 돌출 스플라인)를 회전시키기 위한 관련 컨트롤러를 포함한다. 유압 동력 장치(308)는 차량(224)의 일부 또는 차량(224)으로부터의 가압 유압 유체에 의해 동력이 공급되는 부착물/기구에 가압된 유압 유체를 공급하기 위한 유압 펌프, 밸브, 및 관련 컨트롤러를 포함한다. 브레이크(310)는 차량(224)의 추진을 서행시키는 브레이킹 장치를 포함한다. 보조 장치(312)는 수확기의 토출구를 포함할 수 있으며, 토출구의 포지셔닝 및/또는 토출구의 오거 회전은 조정 가능하다.
부착물/기구(225)는 차량(224)에 의해 탑재되는 부착물 및/또는 차량(224)에 의해 밀리거나 당겨지는 기구를 포함한다. 부착물은 버킷, 블레이드, 수확기 헤드 등의 형태일 수 있다. 도구의 예는 마차, 카트, 쟁기, 디스크, 초퍼(chopper), 베일러(baler), 스프레이어 등과 같은 다양한 기구 중 임의의 것을 포함할 수 있다. 위에서 논의된 바와 같이, 차량 동작은 이러한 부착물 및 기구의 재배치 또는 이러한 부착물 또는 기구에 대한 전원 공급의 조정을 포함할 수 있다. 특정 입력/명령에 대한 특정 제스처의 연관은 차량(224)에 연결된 특정 부착물 또는 기구의 및/또는 차량(224)에 연결된 특정 부착 또는 기구의 현재 상태에 따라 달라질 수 있다. 동일한 직접 또는 간접 제스처가 차량(224)에 결합된 특정 부착물 또는 기구 및/또는 차량(224)에 결합된 특정 부착물 또는 기구의 현재 상태에 따라 상이한 명령과 연관될 수 있다.
입력-동작 저장소(314)는 다양한 감지된 제스처(직접 또는 간접)를 차량 동작에 대한 관련 요청 또는 명령에 연결시키는 하나 이상의 데이터베이스 또는 룩업 테이블을 포함한다.
승인 저장소(316)는 차량 동작에 대한 요청 또는 명령을 입력하기 위한 제스처를 제공하기 위한 사전 승인된 오퍼레이터 및/또는 사전 승인된 입력 장치(248)를 식별하는 하나 이상의 데이터베이스 또는 룩업 테이블을 포함한다. 예를 들어, 승인 저장소(316)는 승인된 오퍼레이터(42)의 사진을 포함할 수 있고, 오퍼레이터의 승인은 후보 오퍼레이터(42)의 캡처된 이미지와 저장소(316)에 포함된 사진을 비교함으로써 결정될 수 있다. 승인 저장소(316)는 사전 할당된 암호 세트를 포함할 수 있고, 오퍼레이터(42) 또는 입력 장치(248)에 대한 승인은 마이크로폰(318)을 통해 입력된 수신된 암호를 저장소(316)와 비교함으로써 결정될 수 있다. 승인 저장소(316)는 입력 장치(248)를 승인하기 위한 바코드 값 또는 기타 서명을 포함할 수 있다. 입력 동작 저장소(314) 및 승인 저장소(316)는 차량(524)에 의해 탑재되는 매체(540)에 포함될 수 있거나 원격 메모리 또는 서버에 저장될 수 있으며, 여기서 차량(524)은 원격 메모리 또는 서버와의 무선 통신 연결을 통해 저장소(314, 316)에 접근한다.
오퍼레이터 식별 및 승인 명령(52)은 차량(224)에 대한 원격 제어 명령을 제공하기 위한 직접 제스처를 제공하기 위해 후보 오퍼레이터(42)를 식별하고 승인하도록 프로세서(32)에 지시하기 위한 명령을 포함한다. 명령(52)은 센서(28) 또는 (카메라 또는 기타 센서의 형태의) 센서(320)와 같은 대체 센서가 오퍼레이터(42)의 이미지를 캡처한 다음 수신된 정보 또는 데이터를 승인 저장소(316)에서 찾은 정보와 비교하도록 지시할 수 있다. 이러한 비교를 기초로, 오퍼레이터(42)는 차량(224)의 원격 제어에 사용되는 직접 제스처를 제공하기 위해 승인될 수 있다.
입력 장치 식별 및 승인 명령(54)은 차량(224)에 대한 원격 제어 명령을 제공하기 위한 직접적인 제스처를 제공하는 후보 입력 장치(248)를 식별하고 승인하도록 프로세서(32)에게 지시하는 명령을 포함한다. 명령(54)은 센서(28) 또는 (카메라 또는 기타 센서의 형태의) 센서(320)와 같은 대체 센서가 입력 장치(248)의 바코드 또는 다른 표시의 이미지를 캡처하거나 입력 장치(248)로부터 식별/승인 신호를 수신한 다음 수신된 정보 또는 데이터를 승인 저장소(316)에서 찾은 정보와 비교하도록 지시할 수 있다. 이러한 비교를 기초로, 입력 장치(248)는 차량(224)의 원격 제어에 사용되는 간접 제스처를 제공하기 위해 승인될 수 있다.
오퍼레이터 위치 식별 명령(60)은 프로세서(32)가 차량(224)에 대한 원격 오퍼레이터(42)의 위치를 식별하도록 지시하는 명령을 포함한다. 결정된 상대 위치를 기초로, 이러한 명령은 추가로 프로세서(32)가 오퍼레이터(42)에게 오퍼레이터가 차량에 대해 상대적으로 이동할 것을 권하는 통지를 출력하거나 감지된 오퍼레이터 입력/제스처에 대응하는 요청된 차량 동작을 자동으로 중단하도록 지시할 수 있다. 이러한 방식으로, 명령(60)은 오퍼레이터가 요청되는 차량 동작에 대해 차량(224)에 대해 너무 근접하거나 벗어난 위치에 있을 때 차량 동작이 수행되는 것을 방지할 수 있다.
입력 장치(248)는 오퍼레이터(42)에 의해 수동으로 조작, 이동 또는 위치 결정되는 수동 장치를 포함한다. 입력 장치(248)는 입력 식별자(332)를 갖는 제1 면(330)을 포함한다. 입력 식별자(332)는 입력 인식 명령(58)을 따라 센서(28) 및 프로세서(32)에 의해 인식 가능하다. 일부 구현예에서, 입력 식별자(332)는 입력 장치(248)의 포지셔닝 및/또는 움직임의 감지를 용이하게 하기 위해 점멸등, 색상의 특정 패턴 또는 음영 또는 센서(28)에 의해 쉽게 감지될 수 있는 다른 특성을 포함할 수 있다.
입력 장치(248)는 디스플레이(336)를 갖는 제2 대향면(334)을 추가로 포함한다. 일 구현예에서, 센서(28) 또는 센서(320)로부터의 신호는 입력 장치(248)로 전송될 수 있고, 이러한 신호에 기초한 차량(224) 주변 영역의 표현이 디스플레이(336)에 제공된다. 예컨대, 센서(28, 320) 중 하나는 차량(224)에 의해 탑재되는 카메라를 포함할 수 있다. 캡처된 이미지는 입력 장치(248)로 전송되어 디스플레이(336)에 제공될 수 있다. 그 결과, 차량(224)에 원격 명령을 제공하는 오퍼레이터(42)는 차량(224)에서 멀리 떨어진 자신의 시야뿐만 아니라 차량(224)의 시야에서 바라본 센서(28 또는 320)의 시야를 기초로 그러한 제스처를 취하고 그러한 명령을 제공할 수 있다. 따라서, 오퍼레이터는 그러한 원격 명령에 대해 더 많은 정보에 따라 결정할 수 있다. 일 구현예에서, 입력 장치(248)는 프로세서(32) 및 매체(40)에 의해 제공되는 컨트롤러와 무선 통신하는 스마트폰을 포함할 수 있고, 여기서 스마트폰의 포지셔닝 또는 움직임은 원격 명령을 차량(224)에 제공하기 위한 원격 제스처의 역할을 한다.
도 4는 예시적인 차량 제어 시스템(420)의 일부를 도시한 개략도이다. 도 4에 도시된 바와 같이, 시스템(420)은 트랙터로부터 물리적으로 제거되는 동안(예컨대 트랙터 앞에 서 있는 동안) 운전자가 트랙터의 움직임 및 트랙터에 부착된 기구/장치의 동작을 제어할 수 있게 한다. 센서는 트랙터가 센서 데이터를 수집할 수 있도록 트랙터에 장착된다. 트랙터는 데이터를 분석하여 인식하도록 훈련된 제스처를 찾는다. 트랙터는 인식된 제스처에 따라 적절한 제어 변경을 수행한다. 이 시스템은 트랙터가 들판에서 오퍼레이터를 따르도록 지시하거나 폐쇄된 공간(예, 차고) 내에 트랙터를 배치하는 것과 같은 작업을 수행하는 데 사용될 수 있다.
도 4에 도시된 바와 같이, 차량 제어 시스템(420)은 자신의 신체(44)를 통해 또는 입력 장치(248)와 같은 입력 장치를 통해 오퍼레이터(42)가 제공하는 입력에 관한 실시간 데이터를 감지 및 출력하는 센서 세트 형태의 센서 어레이(428)를 포함한다. 감지된 데이터는 제어 제스처 또는 입력 세트를 인식하도록 훈련된 신경망(432)으로 전송된다. 이러한 인식은 제공되는 제어 제스처를 보여주는 비디오 세트를 포함할 수 있는 트레이닝 라이브러리(434)를 기초로 할 수 있다.
차량 제어 시스템(420)은 신경망(432)에 의해 식별되는 제스처 또는 입력을 기초로 트랙터의 형태의 차량(224)에 대한 제어 명령을 출력하는 비일시적 컴퓨터 판독 가능 매체 및 프로세서를 포함하는 규칙 엔진(rules engine)(436)을 더 포함할 수 있다. 블록(438)에 의해 표시된 바와 같이, 차량(224)의 작동은 제어 명령에 기초하여 조정된다. 이러한 제어 명령은 전술한 바와 같이 스티어링, 속도 등을 포함할 수 있다. 예를 들어, 이러한 제어 명령은 조명(300), 스티어링 장치(302), 추진 장치(304), PTO 장치(306), 유압 동력 장치(308), 브레이크(310) 및/또는 보조 장치(312)의 작동을 제어할 수 있다.
도 5-도 11은 트랜터 형태의 차량(524)에 대한 예시적인 차량 제어 시스템(520)을 도시한다. 차량(524)은 차량(524)이 차량 상태 및 피드백 시스템(525)을 추가로 포함한다는 점을 제외하고 차량(224)과 유사하다. 차량 상태 및 피드백 시스템(525)은 차량(524)의 상태에 관한 시각적 및/또는 청각적 피드백을 차량(524)에서 멀리 떨어진 오퍼레이터에게 제공한다. 이러한 피드백은 차량의 이동 속력 또는 속도, 기구의 속도 또는 상태 및/또는 조명(300), 스티어링 장치(302), 추진 장치(304), PTO 장치(308), 브레이크(310), 보조 장치(312) 중 임의의 장치의 상태를 포함할 수 있다. 이러한 피드백은 오퍼레이터(오퍼레이터 신체(44) 및/또는 입력 장치(248))로부터 제스처의 수신 또는 포착에 대한 확인, 이러한 제스처의 인식에 대한 확인, 이러한 명령이 곧 실행될 것이라는 표시, 이러한 제스처를 반복하는 오퍼레이터에 대한 요청 및/또는 차량(524)의 현재 상태 또는 차량(524) 및/또는 그 기구에 대한 오퍼레이터의 위치가 주어지면 이러한 제스처와 관련된 명령이 수행되지 않을 것이라는 표시를 포함할 수 있다.
차량(524)은 농업 건설 및 주거 목적의 다양한 목적으로 사용될 수 있다. 차량(524)은 기구를 밀거나 당기는 데 사용될 수 있다. 차량(524)은 토양 재료, 동물 폐기물 및 생성물과 같은 다양한 재료를 굴착, 이동 및/또는 운반하기 위한 버킷, 블레이드, 백호(backhoe) 등과 같은 부착물을 포함할 수 있다. 차량(524)은 팔레트, 통(bin), 상자 등을 결합하기 위한 포크 또는 다른 결합 메커니즘을 포함할 수 있으며, 여기서 트랙터는 결합된 물품을 운반 및/또는 들어 올릴 수 있다.
차량(524)은 섀시(600), 그라운드 추진 부재(602), 배터리(604) 및 차량 캡(606)을 포함한다. 차량(524)은 조명(300), 스티어링 장치(302), 추진 장치(304), PTO 장치(306), 유압 동력 장치(308), 브레이크(310) 및 보조 장치(312)를 더 포함한다. 섀시(600)는 차량(524)의 나머지 구성요소를 지지하는 프레임을 포함한다. 제시된 예에서, 섀시(600)는 화물을 저장 및 운송하기 위한 전방 화물 베드(608)를 포함한다. 제시된 예에서, 섀시(600)는 부착물/기구(225)에 연결하도록 추가로 구성된다. 제시된 예에서, 추진 장치(304)는 배터리에 의해 공급되는 전력에 의해 구동되는 전기 모터를 포함한다.
그라운드 추진 부재(602)는 하부의 지형과 결합하고 추진 장치(304)에 의해 구동되는 부재를 포함한다. 제시된 예에서, 그라운드 추진 부재(602)는 후방 휠(610) 및 전방 휠(612)을 포함한다. 제시된 예시에서, 후방 휠(610)은 추진 장치(304)에 의해 구동되는 반면, 전방 휠(612)은 스티어링 장치(302)에 의해 조작 또는 회전된다. 다른 구현예에서, 그라운드 추진 부재(602)는 트랙 또는 다른 그라운드 결합 부재를 포함할 수 있다.
배터리(604)는 섀시(600)의 전방으로부터 후방으로 연장되는 대응하는 챔버 또는 공동 내에 제거 가능하게 수용되는 배터리 유닛을 포함한다. 배터리(604)는 배터리(604)로부터 차량(524)의 전기 구동 부품으로 전력을 전달하기 위해 대응하는 연결 인터페이스와 짝을 이룬다. 다른 구현예에서, 배터리(604)는 다른 위치에 위치될 수 있다. 다른 구현예에서, 배터리(604)는 고정되고 교체 불가능하거나 제거 불가능할 수 있다. 제시된 예에서, 배터리(604)는 후방 휠(610)을 구동시키는 추진 장치(304)에 전력을 공급한다. 제시된 예에서, 배터리(604)는 유압 동력 장치(308), 스티어링 장치(302) 및 브레이크(310)의 유압 모터 또는 펌프에 전력을 공급한다. 배터리(604)는 추가로 조명(300), 부착물/기구(225) 및 보조 장치(312)에 전력을 공급한다.
캡(606)은 차량(524)을 조작할 때 오퍼레이터가 착석할 수 있는 격실을 포함한다. 캡(606)은 시트(612), 스티어링 휠(616), 제어 콘솔(618) 및 루프(620)를 포함한다. 루프(620)는 제어 시트(612) 및 제어 콘솔(618) 위로 연장된다. 일부 구현예에서, 루프(620)는 상승 및 하강될 수 있다.
조명(300), 스티어링 장치(302), 추진 장치(304), PTO 장치(306), 유압 동력 장치(308), 브레이크(310) 및 보조 장치(312)는 위에서 설명되었다. 제시된 특정 예에서, PTO 장치(306)는 동력 인출 장치(623)(도 10에 도시됨)를 포함한다. 제시된 예에서, 조명(300)은 후드 조명(624) 및 루프 조명(626)을 포함한다.
차량(224)과 마찬가지로, 차량(524)은 오퍼레이터(42)가 수행한 제어 제스처를 포착하는 센서를 포함한다. 제시된 예에서, 이러한 센서는 카메라(530-1(도 5 참조), 530-2(도 6 참조) 및 530-3(도 11 참조))(집합적으로 카메라(530)로 지칭됨)를 포함한다. 카메라(530)는 오퍼레이터 제어 제스처 및 주변 환경의 이미지를 포착하고 프로세서(32)에 신호를 출력한다. 카메라(530-1)는 차량(524) 전방 영역을 포착하기 위해 루프(620)의 전방 에지로 연장된다. 카메라(530-2)는 차량(524) 후방 영역의 이미지를 포착하기 위해 루프(620)의 후방 에지로 연장된다. 카메라(530-3)는 차량(524)의 측면 영역을 포착하기 위해 루프(620)의 아래측으로 연장된다. 이러한 카메라는 오퍼레이터(42)의 위치를 식별하는 신호를 출력한다. 일부 구현예에서, 차량(524)은 동일하거나 다른 위치에 있는 추가의 또는 더 적은 수의 카메라 및 대체 형태의 센서를 포함할 수 있다.
차량 상태 및 피드백 시스템(525)은 인디케이터(570-1, 570-2, 570-3, 570-4)(집합적으로 인디케이터(570)로 지칭됨), 인디케이터(572), 인디케이터(574), 및 상태/피드백 명령(568)을 포함한다. 인디케이터(570)는 루프(620)의 4개 코너에 위치된 디스플레이 스크린을 포함한다. 인디케이터(570-1 및 570-2)는 전방 방향을 향하고 차량(524)의 각각의 대향 측면 측으로 각을 이루고 있다. 인디케이터(570-3 및 570-4)는 후방 방향을 향하고 차량(524)의 각각의 대향 측면 측으로 각을 이루고 있다. 인디케이터(570)는 차량(524)에 대한 다양한 위치에서 오퍼레이터(42)가 볼 수 있는 그래픽 및 텍스트를 제공한다.
인디케이터(572)는 후드(601)의 전방 및 차량(524)의 후드(601)의 측면 주위를 감싸는 연장형 바(bar) 또는 스트립을 포함하며, 여기서 바 또는 스트립은 프로세서(32)의 제어 하에 선택적으로 조명될 수 있다. 일부 구현예에서, 인디케이터(572)는 캡(606) 내부가 아니라 차량(524)으로부터 멀리 떨어져 있을 수 있는 오퍼레이터(42)에게 피드백을 제공하기 위해 조명 상태와 비조명 상태 사이에서 작동된다. 일부 구현예에서, 인디케이터(572)는 오퍼레이터(42)에게 상태 정보를 제공하기 위해 상이한 색상들 또는 색상들의 음영들 사이에서 작동 가능하였다. 일부 구현예에서, 인디케이터(572)는 오퍼레이터(42)에 상태 정보를 제공하기 위해 상이한 밝기 레벨 사이에서 작동 가능하거나, 점멸하거나 상이한 주파수로 점멸하도록 작동 가능하다.
인디케이터(574)는 스피커/마이크로폰을 포함한다. 제시된 예에서, 인디케이터(574)는 스티어링 콘솔(618)에 근접한 루프(620)의 저면에 위치된다. 인디케이터(574)는 차량(524)에서 멀리 떨어진 오퍼레이터에게 가청 상태 정보를 제공한다. 인디케이터(574)가 마이크로폰으로도 기능하는 일부 구현예에서, 인디케이터(574)는 원격 오퍼레이터를 위한 입력 장치로서 기능할 수 있어서, 오퍼레이터는 가청 지시 또는 명령을 제공할 수 있고, 프로세서(32)는 음성 인식을 사용하여 이러한 명령을 식별하고 이러한 명령을 수행한다.
일부 구현예에서, 조명(526)은 추가 인디케이터의 역할을 할 수 있고, 여기서 이러한 조명(526)의 색상, 밝기, 점멸 빈도 등이 오퍼레이터(42)에게 상태 정보를 제공하도록 제어될 수 있다. 일부 구현예에서, 발광 다이오드 조명, 라이트 바 등의 추가적인 시각적 인디케이터는 차량(524), 차량의 기구(225), 차량의 부품(300, 302, 304, 306, 308, 310, 312)의 현재 상태 및/또는 카메라(530)에 의해 캡처된 이미지에 기초한 오퍼레이터(42)의 포지셔닝 또는 영향부(225)의 포지셔닝을 기초로 상태 정보를 제공하도록 활용될 수 있다.
상태/피드백 명령(568)은 비일시적 컴퓨터 판독 가능 매체(540)에 제공된 회로 기판 상의 소프트웨어, 코드 또는 로직 소자를 포함한다. 명령(568)은 프로세서(32)가 인디케이터(570, 572 및 574)의 작동 또는 상태를 제어하는 다양한 제어 신호를 출력하도록 지시한다. 예를 들어, 프로세서(32)는 명령(568)에 따라 인디케이터(572)에 제1 밝기, 색상, 온/오프 상태 및/또는 점멸 빈도를 제공함으로써 차량(524)의 제1 상태를 나타낼 수 있고. 인디케이터(572)에 제2의 다른 밝기, 색상, 온/오프 상태 및/또는 점멸 빈도를 제공함으로써 차량(524)의 제2의 상이한 상태를 나타낼 수 있다. 예를 들어, 인디케이터(572)는 전진시 녹색을 갖도록 조명될 수 있고, 정지시 적색을 갖도록 조명될 수 있다. 다른 예로서, 인디케이터(572)는 동력 인출 장치가 작동 중이거나 기구에 전원이 공급될 때 녹색을 갖도록 조명될 수 있고, 동력 인출 장치가 더 이상 작동하지 않거나 기구가 더 이상 전원 공급되지 않거나 구동되지 않을 때 적색을 가질 수 있다.
프로세서(32)는 명령(568)에 따라 하나 또는 다수의 인디케이터(570)에 그래픽 또는 텍스트를 표시함으로써 차량(524)의 제1 상태 또는 차량(524)의 제2 상태를 나타낼 수 있다. 인디케이터(570, 572, 574)에 의해 제공되는 이러한 상태 정보는 차량의 주행 속력 또는 속도, 기구의 속도 또는 상태 및/또는 조명(300), 스티어링 장치(302), 추진 장치(304), PTO 장치(308), 브레이크(310) 및/또는 보조 장치(312) 중 어느 장치의 상태를 포함할 수 있다. 인디케이터(570, 572, 574)에 의해 제공되는 이러한 피드백 또는 상태 정보는 오퍼레이터(오퍼레이터 신체(44) 및/또는 입력 장치(248))로부터 제스처의 수신 또는 캡처의 확인, 이러한 제스처의 인식의 확인, 이러한 명령이 실행될 예정의 표시, 이러한 제스처를 제공할 때 오퍼레이터가 이러한 제스처를 반복하거나 카메라(530)의 시야 내에서 더 중앙에 위치되도록 이동하라는 요청, 또는 이러한 제스처와 관련된 명령이 차량(524)의 현재 상태 또는 차량(524) 및/또는 그 기구에 대한 오퍼레이터의 위치가 주어지면 수행되지 않을 것이라는 표시를 포함할 수 있다. 상이한 유형의 상태 정보를 오퍼레이터에게 제공하기 위해 상이한 인디케이터가 활용될 수 있다.
일 구현예에서, 프로세서(32)는 매체(540)에 포함된 명령에 따라 카메라(530-1)로부터의 이미지를 활용하여 식물 열의 포지셔닝을 식별하고 제어 신호를 스티어링 장치(302) 및 추진 장치(304)에 출력하여 식물(작물, 나무 등) 사이 및 그 열을 따라 차량(524)(및 임의의 부착물/기구(225))를 자동으로 구동한다. 일 구현예에서, 프로세서(32)는 매체(540)에 포함된 명령에 따라 카메라(530-1)로부터의 이미지를 활용하여 오퍼레이터(42)의 포지셔닝 또는 위치 및 오퍼레이터(42)의 움직임을 식별한다. 매체(540)에 포함된 명령을 따라 프로세서(32)는 오퍼레이터(42)의 위치 또는 움직임에 기초하여 오퍼레이터(42)로부터의 다른 명령(입력 제스처에 기초하여)을 추가로 차단하거나 허용할 수 있다. 일부 구현예에서, 프로세서(32)는 매체(540)에 포함된 명령에 따라 추진 장치(304) 및 스티어링 장치(302)가 사전 선택된 또는 오퍼레이터가 선택한 거리에서 오퍼레이터(42)의 움직임을 따르도록 차량(524)을 이동시키게 하는 제어 신호를 출력할 수 있다. 일부 구현예에서, 프로세서(32)는 오퍼레이터가 이동하는 속도와 실질적으로 일치하도록 추진 장치(304) 및 브레이크(310)를 제어할 수 있다. 일부 구현예에서, 프로세서(32)는 매체(540)에 포함된 명령에 따라 동물 또는 다른 장애물을 식별하기 위해 임의의 카메라(530)에 의해 캡처된 이미지를 활용할 수 있고, 여기서 프로세서(32)는 이러한 동물 또는 장애물을 회피하기 위해 차량(524)의 움직임을 제어하도록 스티어링 장치(302) 및 추진 장치(304)에 제어 신호를 출력한다. 일부 구현예에서, 프로세서(32)는 조명(624, 626)에 의해 제공되는 조명을 제어하기 위해 임의의 카메라(530)로부터의 신호를 사용할 수 있다. 일부 구현예에서, 프로세서(32)는 임의의 카메라(530)로부터의 신호 및 제공된 지구 위치 시스템으로부터의 추가적인 신호를 활용하여 오퍼레이터의 개입 없이 자동으로 차량(524)을 작업장 또는 현장에 대해 또는 차량(524)을 위한 창고, 보관소, 차고 등(가정 위치)에 대해 또는 배터리(604) 충전을 위한 충전소 또는 위치에 대해 구동시키도록 할 수 있다.
일부 구현예에서, 프로세서(32)는 오퍼레이터(42) 또는 동물 또는 다른 장애물의 식별된 위치를 활용하여 브레이크(310), PTO 장치(306), 보조 장치(312) 또는 부착물/기구(225)를 제어할 수 있다. 예컨대, 하나의 상황에서, 부착물/기구(225)는 제초제, 살충제, 살진균제 등을 분무하는 스프레이어를 포함할 수 있다. 오퍼레이터 또는 동물의 존재의 감지에 응답하여, 프로세서(32)는 오퍼레이터 또는 동물이 차량(524) 또는 그 기구(225)로부터 소정의 거리에 있을 때까지 차량(524)의 이동 및/또는 분무 동작을 일시적으로 중단할 수 있다. 일부 구현예에서, 프로세서(32)는 오퍼레이터, 다른 사람 또는 동물이 동력 인출 장치(623)로부터 소정의 거리 내에 있음을 나타내는 카메라(530)로부터의 이미지에 응답하여 동력 인출 장치(623)의 작동을 자동으로 중단할 수 있다. 일부 구현예에서, 프로세서(32)는 매체(540)에 포함된 명령에 따라 카메라(530) 중 임의의 카메라(및 차량(524)에 분할된 임의의 다른 센서)에 의해 캡처된 이미지를 활용하여 부착물/기구(225)의 작동을 제어할 수 있다. 예를 들어, 프로세서(32)는 공급부(feed trough)의 다양한 위치를 식별할 수 있고, 특정 시간 및 위치에서 공급물을 공급부로 내리기 위해 당겨지거나 부착된 기구(225)의 오거(auger) 또는 다른 장치의 작동을 제어할 수 있다. 그 결과, 프로세서(32)는 작업의 자동화를 가능케 한다.
일부 구현예에서, 인디케이터(570 또는 572)는 오퍼레이터의 현재 식별된 위치가 정보를 보거나 결정하는 것을 방해하는 상황에서 오퍼레이터(42)에게 정보를 제공할 수 있다. 예컨대, 차량(524)의 전방에 위치된 오퍼레이터는 차량(524) 후방에 있는 기구(225)의 상태에 대한 인디케이터(570-1 또는 570-2)의 정보를 받을 수 있다. 차량(524)의 후방에 또는 차량(524)의 일 측면에 위치된 오퍼레이터는 차량(524)의 전방 또는 차량(524)의 다른 측면에 있는 기구, 다른 오퍼레이터 또는 환경에 대한 선택된 인디케이터(570)의 상태 정보가 제공될 수 있다. 그 결과, 시스템(520)은 차량(524)에서 멀리 떨어진 오퍼레이터에 차량(524)에 대한 오퍼레이터의 현재 위치가 주어지는 경우 볼 수 없는 정보를 제공한다.
본 개시 내용의 청구범위는 개괄적으로 차량 제어 시스템에 관한 것이지만, 본 개시 내용은 추가로 하기 정의에 기재된 특징에 관한 것이다.
1. 프로세서의 지시에 대한 명령을 포함하는 비일시적 컴퓨터 판독 가능 매체로서, 상기 명령은:
차량으로부터 멀리 떨어진 원격 오퍼레이터로부터 감지되는 입력을 획득하는 원격 오퍼레이터 입력 감지 명령;
상기 감지된 입력을 인식하여 차량 동작과 연관시키는 입력 인식 명령; 및
차량이 상기 차량 동작을 수행하도록 상기 차량에 제어 신호를 출력하는 입력 응답 제어 명령
을 포함하는, 비일시적 컴퓨터 판독 가능 매체.
2. 정의 1에 있어서, 상기 감지된 입력은 상기 오퍼레이터의 신체의 움직임 및/또는 포지셔닝을 포함하는, 매체.
3. 정의 2에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하는 오퍼레이터 식별 및 승인 명령을 더 포함하는, 매체.
4. 정의 3에 있어서, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터의 캡처된 이미지를 저장된 승인된 오퍼레이터 이미지와 비교하도록 상기 프로세서에 지시하는, 매체.
5. 정의 3에 있어서, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터 감지된 제스처를 저장된 승인 제스처 값과 비교하도록 상기 프로세서에 지시하는, 매체.
6. 정의 3에 있어서, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터의 청각적 입력을 저장된 청각 승인 값과 비교하도록 프로세서에 지시하는, 매체.
7. 정의 1에 있어서, 상기 감지된 입력은 상기 오퍼레이터에 의한 입력 장치의 움직임 및/또는 포지셔닝을 포함하는, 매체.
8. 정의 7에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하는 오페레이터 식별 및 승인 명령을 더 포함하는, 매체.
9. 정의 8에 있어서, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터의 캡처된 이미지를 저장된 승인된 오퍼레이터 이미지와 비교하도록 상기 프로세서에 지시하는, 매체.
10. 정의 8에 있어서, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터 감지된 제스처를 저장된 승인 제스처 값과 비교하도록 상기 프로세서에 지시하는, 매체.
11. 정의 8에 있어서, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터의 청각적 입력을 저장된 청각 승인 값과 비교하도록 상기 프로세서에 지시하는, 매체.
12. 정의 7에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 입력 장치의 승인을 검증하는 입력 장치 식별 및 승인 명령을 더 포함하는, 매체.
13. 정의 7에 있어서, 상기 입력 장치는 상기 차량에 의해 보유되는 카메라에 의해 캡처된 이미지를 상기 원격 오퍼레이터에 제공하는 디스플레이를 포함하는, 매체.
14. 정의 13에 있어서, 상기 입력 장치는 상기 상기 입력 인식 명령을 따라 상기 프로세서에 의해 인식 가능한 입력 표시를 포함하는 제1 면 및 상기 디스플레이를 포함하는 제2 대향 면을 포함하는, 매체.
15. 정의 7에 있어서, 상기 입력 장치는 수동으로 유지되고 위치 결정 가능한 입력 장치를 포함하는, 매체.
16. 정의 7에 있어서, 상기 입력 장치는 스마트폰을 포함하는, 매체.
17. 정의 1에 있어서, 상기 차량으로부터 멀리 떨어진 원격 오퍼레이터는 상기 차량에 근접한 지면에 서 있는, 매체.
18. 정의 1에 있어서, 상기 차량은 트랙터를 포함하는, 매체.
19. 정의 1에 있어서, 상기 차량 동작은 전진 속도, 후진 속도, 좌측/우측 방향, 제동, 조명(야간등, 주행등, 스포트라이트), 신호, 소리(경적, 라우드스피커), 경고(점멸등, 비상등), 기구 특정 동작(좌측 스프레이어 온/오프, 우측 스프레이어 온/오프), 동력 인출, 토출구 이동, 동력 인출 장치 온/오프, 동력 인출 장치의 속도 조정, 및 차량 부착물의 승강으로 이루어진 차량 동작의 그룹으로부터 선택되는, 매체.
20. 정의 1에 있어서, 상기 차량은 수확기를 포함하고, 상기 차량 동작은 상기 수확기의 토출구의 재배치를 포함하는, 매체.
21. 정의 1에 있어서, 상기 차량은 트랙터를 포함하고, 상기 차량 동작은 상기 트랙터의 동력 인출의 조정을 포함하는, 매체.
22. 정의 1에 있어서, 상기 차량은 전방/후방 부착물을 갖는 트랙터를 포함하고, 상기 차량 동작은 상기 전방/후방 부착물의 포지셔닝의 조정을 포함하는, 매체.
23. 정의 1에 있어서, 상기 명령은 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 상기 오퍼레이터가 상기 차량에 대해 이동할 것을 권하는 통지를 상기 오퍼레이터에게 출력하도록 상기 프로세서에 지시하는 오퍼레이터 위치 식별 명령을 더 포함하는, 매체.
24. 정의 1에 있어서, 상기 명령은 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 그리고 상기 차량 동작이 요청되는 것에 따라 상기 감지된 오퍼레이터 입력에 대응하는 상기 차량 동작을 자동으로 중단하도록 상기 프로세서에 지시하는 오퍼레이터 위치 식별 명령을 더 포함하는, 매체.
25. 차량 제어 시스템으로서:
차량;
상기 차량에 탑재된 센서;
프로세서; 및
상기 프로세서에 지시하는 명령을 포함하는 비일시적 컴퓨터 판독 가능 매체
를 포함하고, 상기 명령은:
차량으로부터 멀리 떨어진 원격 오퍼레이터로부터 상기 센서에 의해 감지되는 입력을 획득하는 원격 오퍼레이터 입력 감지 명령;
상기 감지된 입력을 인식하여 차량 동작과 연관시키는 입력 인식 명령; 및
차량이 상기 차량 동작을 수행하도록 상기 차량에 제어 신호를 출력하는 입력 응답 제어 명령
을 포함하는, 차량 제어 시스템.
26. 정의 25에 있어서, 상기 감지된 입력은 상기 오퍼레이터의 신체의 움직임 및/또는 포지셔닝을 포함하는, 시스템.
27. 정의 26에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하도록 상기 프로세서에 지시하는 오퍼레이터 식별 및 승인 명령을 더 포함하는, 시스템.
28. 정의 27에 있어서, 저장된 승인된 오퍼레이터 이미지를 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터의 캡처된 이미지를 상기 저장된 승인된 오퍼레이터 이미지와 비교하도록 상기 프로세서에 지시하는, 시스템.
29. 정의 28에 있어서, 저장된 승인 제스처 값을 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터 감지된 제스처를 상기 저장된 승인 제스처 값과 비교하도록 상기 프로세서에 지시하는, 시스템.
30. 정의 28에 있어서, 마이크로폰 및 저장된 청각적 승인 값을 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 마이크로폰을 통해 수신된 상기 오퍼레이터로부터의 청각적 입력을 상기 저장된 청각적 승인 값과 비교하도록 상기 프로세서에 지시하는, 시스템 .
31. 정의 25에 있어서, 입력 장치를 더 포함하고, 상기 감지된 입력은 상기 오퍼레이터에 의한 상기 입력 장치의 움직임 및/또는 포지셔닝을 포함하는, 시스템.
32. 정의 31에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하는 오페레이터 식별 및 승인 명령을 더 포함하는, 시스템.
33. 정의 32에 있어서, 저장된 승인된 오퍼레이터 이미지를 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터의 캡처된 이미지를 상기 저장된 승인된 오퍼레이터 이미지와 비교하도록 상기 프로세서에 지시하는, 시스템.
34. 정의 32에 있어서, 저장된 승인 제스처 값을 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터 감지된 제스처를 상기 저장된 승인 제스처 값과 비교하도록 상기 프로세서에 지시하는, 시스템.
35. 정의 32에 있어서, 저장된 청각적 승인 값을 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터의 청각적 입력을 상기 저장된 청각적 승인 값과 비교하도록 상기 프로세서에 지시하는, 시스템.
36. 정의 31에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 입력 장치의 승인을 검증하는 입력 장치 식별 및 승인 명령을 더 포함하는, 시스템.
37. 정의 31에 있어서, 상기 입력 장치는 상기 차량에 의해 보유되는 카메라에 의해 캡처된 이미지를 상기 원격 오퍼레이터에 제공하는 디스플레이를 포함하는, 시스템.
38. 정의 37에 있어서, 상기 입력 장치는 상기 상기 입력 인식 명령을 따라 상기 프로세서에 의해 인식 가능한 입력 표시를 포함하는 제1 면 및 상기 디스플레이를 포함하는 제2 대향 면을 포함하는, 시스템.
39. 정의 31에 있어서, 상기 입력 장치는 수동으로 유지되고 위치 결정 가능한 입력 장치를 포함하는, 시스템.
40. 정의 31에 있어서, 상기 입력 장치는 스마트폰을 포함하는, 시스템.
41. 정의 25에 있어서, 상기 차량으로부터 멀리 떨어진 원격 오퍼레이터는 상기 차량에 근접한 지면에 서 있는, 시스템.
42. 정의 25에 있어서, 상기 차량은 트랙터를 포함하는, 시스템.
43. 정의 25에 있어서, 상기 차량 동작은 전진 속도, 후진 속도, 좌측/우측 방향, 제동, 조명(야간등, 주행등, 스포트라이트), 신호, 소리(경적, 라우드스피커), 경고(점멸등, 비상등), 기구 특정 동작(좌측 스프레이어 온/오프, 우측 스프레이어 온/오프), 동력 인출, 토출구 이동, 동력 인출 장치 온/오프, 동력 인출 장치의 속도 조정, 및 차량 부착물의 승강으로 이루어진 차량 동작의 그룹으로부터 선택되는, 시스템.
44. 정의 25에 있어서, 상기 차량은 수확기를 포함하고, 상기 차량 동작은 상기 수확기의 토출구의 재배치를 포함하는, 시스템.
45. 정의 25에 있어서, 상기 차량은 트랙터를 포함하고, 상기 차량 동작은 상기 트랙터의 동력 인출의 조정을 포함하는, 시스템.
46. 정의 25에 있어서, 상기 차량은 전방/후방 부착물을 갖는 트랙터를 포함하고, 상기 차량 동작은 상기 전방/후방 부착물의 포지셔닝의 조정을 포함하는, 시스템.
47. 정의 25에 있어서, 상기 명령은 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 상기 오퍼레이터가 상기 차량에 대해 이동할 것을 권하는 통지를 상기 오퍼레이터에게 출력하도록 상기 프로세서에 지시하는 오퍼레이터 위치 식별 명령을 더 포함하는, 시스템.
48. 정의 25에 있어서, 상기 명령은 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 그리고 상기 차량 동작이 요청되는 것에 따라 상기 감지된 오퍼레이터 입력에 대응하는 상기 차량 동작을 자동으로 중단하도록 상기 프로세서에 지시하는 오퍼레이터 위치 식별 명령을 더 포함하는, 시스템.
49. 정의 25에 있어서, 상기 명령 및 상기 프로세서는 적어도 하나의 신경망의 일부인, 시스템.
50. 정의 25에 있어서, 상이한 차량 동작에 대한 상이한 감지된 입력에 대응하는 저장된 데이터베이스를 더 포함하는, 시스템.
51. 정의 25에 있어서, 상기 차량으로부터 멀리 떨어진 오퍼레이터에 상기 차량의 상이한 상태를 나타내기 위해 상이한 조명 상태를 제공하도록 상기 차량에 의해 탑재되는 피드백 시스템을 더 포함하는, 시스템.
52. 제25항에 있어서, 상기 센서는 카메라를 포함하는, 시스템.
53. 컴퓨터 구현된 차량 제어 방법으로서:
차량으로부터 멀리 떨어진 원격 오퍼레이터로부터 감지되는 입력을 획득하는 단계;
상기 감지된 입력을 인식하여 차량 동작과 연관시키는 단계; 및
차량이 상기 차량 동작을 수행하도록 상기 차량에 제어 신호를 출력하는 단계
를 포함하는, 컴퓨터 구현된 차량 제어 방법.
54. 정의 53에 있어서, 상기 감지된 입력은 상기 오퍼레이터의 신체의 움직임 및/또는 포지셔닝을 포함하는, 방법.
55. 정의 54에 있어서, 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하는 단계를 더 포함하는, 방법.
56. 정의 55에 있어서, 상기 오퍼레이터의 캡처된 이미지를 저장된 승인된 오퍼레이터 이미지와 비교하는 단계를 더 포함하는, 방법.
57. 정의 56에 있어서, 상기 오퍼레이터로부터 감지된 제스처를 저장된 승인 제스처 값과 비교하는 단계를 더 포함하는, 방법.
58. 정의 57에 있어서, 상기 오퍼레이터로부터의 청각적 입력을 저장된 청각 승인 값과 비교하는 단계를 더 포함하는, 방법.
59. 정의 58에 있어서, 상기 감지된 입력은 상기 오퍼레이터에 의한 입력 장치의 움직임 및/또는 포지셔닝을 포함하는, 방법.
60. 정의 59에 있어서, 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하는 단계를 더 포함하는, 방법.
61. 정의 60에 있어서, 상기 오퍼레이터의 캡처된 이미지를 저장된 승인된 오퍼레이터 이미지와 비교하는 단계를 더 포함하는, 방법.
62. 정의 61에 있어서, 상기 오퍼레이터로부터 감지된 제스처를 저장된 승인 제스처 값과 비교하는 단계를 더 포함하는, 방법.
63. 정의 60에 있어서, 상기 오퍼레이터로부터의 청각적 입력을 저장된 청각 승인 값과 비교하는 단계를 더 포함하는, 방법.
64. 정의 59에 있어서, 상기 차량에 대한 입력을 제공하기 위해 상기 입력 장치의 승인을 검증하는 단계를 더 포함하는, 방법.
65. 정의 59에 있어서, 상기 입력 장치는 상기 차량에 의해 보유되는 카메라에 의해 캡처된 이미지를 상기 원격 오퍼레이터에 제공하는 디스플레이를 포함하는, 방법.
66. 정의 65에 있어서, 상기 입력 장치는 입력 표시를 포함하는 제1 면 및 상기 디스플레이를 포함하는 제2 대향 면을 포함하는, 방법.
67. 정의 59에 있어서, 상기 입력 장치는 수동으로 유지되고 위치 결정 가능한 입력 장치를 포함하는, 방법
68. 정의 59에 있어서, 상기 입력 장치는 스마트폰을 포함하는, 방법.
69. 정의 59에 있어서, 상기 차량으로부터 멀리 떨어진 원격 오퍼레이터는 상기 차량에 근접한 지면에 서 있는, 방법.
70. 정의 59에 있어서, 상기 차량은 트랙터를 포함하는, 방법.
71. 정의 59에 있어서, 상기 차량 동작은 전진 속도, 후진 속도, 좌측/우측 방향, 제동, 조명(야간등, 주행등, 스포트라이트), 신호, 소리(경적, 라우드스피커), 경고(점멸등, 비상등), 기구 특정 동작(좌측 스프레이어 온/오프, 우측 스프레이어 온/오프), 동력 인출, 토출구 이동, 동력 인출 장치 온/오프, 동력 인출 장치의 속도 조정, 및 차량 부착물의 승강으로 이루어진 차량 동작의 그룹으로부터 선택되는, 방법.
72. 정의 59에 있어서, 상기 차량은 수확기를 포함하고, 상기 차량 동작은 상기 수확기의 토출구의 재배치를 포함하는, 방법.
73. 정의 59에 있어서, 상기 차량은 트랙터를 포함하고, 상기 차량 동작은 상기 트랙터의 동력 인출의 조정을 포함하는, 방법.
74. 정의 59에 있어서, 상기 차량은 전방/후방 부착물을 갖는 트랙터를 포함하고, 상기 차량 동작은 상기 전방/후방 부착물의 포지셔닝의 조정을 포함하는, 방법.
75. 정의 59에 있어서, 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 상기 오퍼레이터가 상기 차량에 대해 이동할 것을 권하는 통지를 상기 오퍼레이터에게 출력하는 단계를 더 포함하는, 방법.
76. 정의 59에 있어서, 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 그리고 상기 차량 동작이 요청되는 것에 따라 상기 감지된 오퍼레이터 입력에 대응하는 상기 차량 동작을 자동으로 중단하는 단계를 더 포함하는, 방법.
본 개시 내용은 예시적인 구현예를 참조로 설명되었지만, 당업자는 본 개시 내용을 벗어나지 않고 형태 및 세부 사항에서 변경이 이루어질 수 있음을 인식할 것이다. 예를 들어, 상이한 예시적인 구현예는 다양한 이점을 제공하는 특징을 포함하는 것으로 기술될 수 있지만, 기술된 특징은 서로 호환될 수 있거나 대안적으로 기술된 예시적인 구현예에서 또는 다른 대안적인 구현예에서 서로 결합될 수 있음이 고려된다. 본 개시 내용의 기술은 비교적 복잡하기 때문에 기술의 모든 변화를 예측할 수 있는 것은 아니다. 예시적인 구현예를 참조로 설명되고 다음의 청구범위에 기재된 본 개시 내용은 명백하게 가능한 한 광범위하도록 의도된다. 예를 들어, 특별히 달리 언급되지 않는 한, 단일의 특정 요소를 인용하는 청구범위는 또한 복수의 이러한 특정 요소를 포함한다. 청구범위에서 "제1", "제2", "제3" 등의 용어는 단지 상이한 요소를 구별할 뿐이며, 달리 언급되지 않는 한, 본 개시 내용에서 요소들의 특정 순서 또는 특정 번호와 구체적으로 연관되는 것은 아니다.

Claims (15)

  1. 차량 제어 시스템으로서:
    차량;
    상기 차량에 탑재된 센서;
    프로세서; 및
    상기 프로세서에 지시하는 명령을 포함하는 비일시적 컴퓨터 판독 가능 매체
    를 포함하고, 상기 명령은:
    차량으로부터 멀리 떨어진 원격 오퍼레이터로부터 상기 센서에 의해 감지되는 입력을 획득하는 원격 오퍼레이터 입력 감지 명령;
    상기 감지된 입력을 인식하여 차량 동작과 연관시키는 입력 인식 명령; 및
    차량이 상기 차량 동작을 수행하도록 상기 차량에 제어 신호를 출력하는 입력 응답 제어 명령
    을 포함하는 차량 제어 시스템.
  2. 제1항에 있어서, 상기 감지된 입력은 상기 오퍼레이터의 신체의 움직임 및/또는 포지셔닝을 포함하는 것인 차량 제어 시스템.
  3. 제2항에 있어서, 상기 명령은 상기 차량에 대한 입력을 제공하기 위해 상기 오퍼레이터의 승인을 검증하도록 상기 프로세서에 지시하는 오퍼레이터 식별 및 승인 명령을 더 포함하는 것인 차량 제어 시스템.
  4. 제3항에 있어서, 저장된 승인된 오퍼레이터 이미지를 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터의 캡처된 이미지를 상기 저장된 승인된 오퍼레이터 이미지와 비교하도록 상기 프로세서에 지시하는 것인 차량 제어 시스템.
  5. 제4항에 있어서, 저장된 승인 제스처 값을 더 포함하고, 상기 오퍼레이터 식별 및 승인 명령은 상기 오퍼레이터로부터 감지된 제스처를 상기 저장된 승인 제스처 값과 비교하도록 상기 프로세서에 지시하는 것인 차량 제어 시스템.
  6. 제1항에 있어서, 입력 장치를 더 포함하고, 상기 감지된 입력은 상기 오퍼레이터에 의한 상기 입력 장치의 움직임 및/또는 포지셔닝을 포함하는 것인 차량 제어 시스템.
  7. 제6항에 있어서, 상기 입력 장치는 수동으로 유지되고 위치 결정 가능한 입력 장치를 포함하는 것인 차량 제어 시스템.
  8. 제1항에 있어서, 상기 차량 동작은 전진 속도, 후진 속도, 좌측/우측 방향, 제동, 조명(야간등, 주행등, 스포트라이트), 신호, 소리(경적, 라우드스피커), 경고(점멸등, 비상등), 기구 특정 동작(좌측 스프레이어 온/오프, 우측 스프레이어 온/오프), 동력 인출, 토출구 이동, 동력 인출 장치 온/오프, 동력 인출 장치의 속도 조정, 및 차량 부착물의 승강으로 이루어진 차량 동작의 그룹으로부터 선택되는 것인 차량 제어 시스템.
  9. 제1항에 있어서, 상기 차량은 트랙터를 포함하고, 상기 차량 동작은 상기 트랙터의 동력 인출의 조정을 포함하는 것인 차량 제어 시스템.
  10. 제1항에 있어서, 상기 차량은 전방/후방 부착물을 갖는 트랙터를 포함하고, 상기 차량 동작은 상기 전방/후방 부착물의 포지셔닝의 조정을 포함하는 것인 차량 제어 시스템.
  11. 제1항에 있어서, 상기 명령은 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고 상기 포지셔닝을 기초로 상기 오퍼레이터가 상기 차량에 대해 이동할 것을 권하는 통지를 상기 오퍼레이터에게 출력하도록 상기 프로세서에 지시하는 오퍼레이터 위치 식별 명령을 더 포함하는 것인 차량 제어 시스템.
  12. 제1항에 있어서, 상기 명령은, 상기 차량에 대한 상기 원격 오퍼레이터의 포지셔닝을 식별하고, 요청되는 차량 동작 그리고 상기 포지셔닝을 기초로 상기 감지된 오퍼레이터 입력에 대응하는 상기 차량 동작을 자동으로 중단하도록, 상기 프로세서에 지시하는 오퍼레이터 위치 식별 명령을 더 포함하는 것인 차량 제어 시스템.
  13. 제1항에 있어서, 상기 명령 및 상기 프로세서는 적어도 하나의 신경망의 일부인 것인 차량 제어 시스템.
  14. 제1항에 있어서, 상이한 차량 동작에 대한 상이한 감지된 입력에 대응하는 저장된 데이터베이스를 더 포함하는 차량 제어 시스템.
  15. 제1항에 있어서, 상기 차량으로부터 멀리 떨어진 오퍼레이터에게 상기 차량의 상이한 상태를 나타내기 위해 상이한 조명 상태를 제공하도록 상기 차량에 탑재되는 피드백 시스템을 더 포함하는 차량 제어 시스템.
KR1020227027917A 2020-01-17 2021-01-15 원격 오퍼레이터에 의한 차량 제어 KR20230004432A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062962752P 2020-01-17 2020-01-17
US62/962,752 2020-01-17
US17/114,231 US11567492B2 (en) 2020-01-17 2020-12-07 Vehicle control by a remote operator
US17/114,231 2020-12-07
PCT/US2021/013530 WO2021146493A1 (en) 2020-01-17 2021-01-15 Vehicle control by a remote operator

Publications (1)

Publication Number Publication Date
KR20230004432A true KR20230004432A (ko) 2023-01-06

Family

ID=76856914

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227027917A KR20230004432A (ko) 2020-01-17 2021-01-15 원격 오퍼레이터에 의한 차량 제어
KR1020227027923A KR20230002291A (ko) 2020-01-17 2021-01-15 높이 조정 가능한 센서 루프

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227027923A KR20230002291A (ko) 2020-01-17 2021-01-15 높이 조정 가능한 센서 루프

Country Status (9)

Country Link
US (6) US11567492B2 (ko)
EP (2) EP4091029A4 (ko)
JP (2) JP2023533095A (ko)
KR (2) KR20230004432A (ko)
CN (2) CN114945886A (ko)
AU (2) AU2021207505A1 (ko)
CA (2) CA3163147A1 (ko)
GB (2) GB2607764A (ko)
WO (1) WO2021146493A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023013128A (ja) * 2021-07-15 2023-01-26 株式会社マキタ 運搬車
CN113772599A (zh) * 2021-09-15 2021-12-10 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法
US11407298B1 (en) 2021-11-15 2022-08-09 Amos Power, Inc. Removable battery unit for an electric vehicle
US11364959B1 (en) 2021-12-27 2022-06-21 Amos Power, Inc. Modular robotic vehicle
US20230249674A1 (en) * 2022-02-04 2023-08-10 Zimeno, Inc. Dba Monarch Tractor Vehicle rollover mitigation
USD1014569S1 (en) 2022-04-01 2024-02-13 Amos Power, Inc. Robotic vehicle
USD1014573S1 (en) 2022-04-01 2024-02-13 Amos Power, Inc. Removable track unit for a robotic vehicle
US11547035B1 (en) 2022-05-24 2023-01-10 Amos Power, Inc. Lift assist for an electrically driven hitch on an robotic vehicle
DE102022131554A1 (de) 2022-11-29 2024-05-29 Webasto SE Fahrzeugaufbau mit Überrollkonstruktion
WO2024118978A1 (en) * 2022-11-30 2024-06-06 Zimeno Inc. Automatic implement recognition

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063714U (ja) * 1991-01-29 1994-01-18 三菱農機株式会社 農用トラクタの支柱取付け構造
JPH063714A (ja) 1992-06-19 1994-01-14 Sony Corp 非線形光学薄膜素子およびその作製方法
DE4435222C1 (de) * 1994-09-30 1995-11-02 Webasto Karosseriesysteme Umwandelbares Fahrzeugdach
US6377872B1 (en) * 1999-07-02 2002-04-23 Bae Systems Information And Electronic Systems Integration Inc Apparatus and method for microwave imaging and excavation of objects
RU2308389C2 (ru) 2004-12-06 2007-10-20 Вениамин Васильевич Симаков Открывающаяся крыша кузова транспортного средства, способ и устройство для ее перемещения
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20090192682A1 (en) * 2008-01-30 2009-07-30 Caterpillar Inc. Operator enclosure including movable top and machine using same
JP2011525283A (ja) 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
DE102008028932B4 (de) * 2008-06-18 2011-12-22 Ident Technology Ag Einklemmschutz für Verdecksystem
US8989972B2 (en) 2008-09-11 2015-03-24 Deere & Company Leader-follower fully-autonomous vehicle with operator on side
WO2012135153A2 (en) 2011-03-25 2012-10-04 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
GB201217104D0 (en) * 2012-09-25 2012-11-07 Jaguar Cars Computing apparatus and method
EP2798928B1 (en) 2013-04-29 2024-02-07 CLAAS E-Systems GmbH Operating system for and method of operating an automatic guidance system of an agricultural vehicle
JP6170185B2 (ja) 2014-02-06 2017-07-26 ヤンマー株式会社 作業車両の走行経路の設定方法
EP3105646B1 (en) 2014-02-14 2021-03-03 Sandvik Mining and Construction Oy Arrangement for initiating a remote operation mode
DE102014003913A1 (de) 2014-03-19 2015-09-24 Wabco Gmbh Verfahren und Vorrichtung zum Fernsteuern eines Kraftfahrzeugs, elektronisches Kraftfahrzeugsteuersystem und Kraftfahrzeug damit
CN111480407B (zh) 2014-07-30 2022-07-12 洋马动力科技有限公司 远程操作系统
DK2980004T3 (en) * 2014-07-31 2018-07-30 Weidemann GmbH Lowerable driver's protection roof.
US20170090741A1 (en) * 2015-09-30 2017-03-30 Agco Corporation User Interface for Mobile Machines
US9683400B2 (en) 2015-11-06 2017-06-20 Ford Global Technologies, Llc Vehicle window management
US10459440B2 (en) 2016-01-04 2019-10-29 GM Global Technology Operations LLC System and method for remotely assisting autonomous vehicle operation
US10166995B2 (en) 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
US9849828B2 (en) 2016-04-04 2017-12-26 Cnh Industrial America Llc Status indicator for an autonomous agricultural vehicle
EP3512725B1 (en) * 2016-09-14 2020-06-17 AGCO International GmbH A vehicle cab
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
US10248134B2 (en) * 2016-10-28 2019-04-02 GM Global Technology Operations LLC Methods and systems for reconfiguring a vehicle geometry
US10220686B2 (en) 2017-03-06 2019-03-05 Ford Global Technologies, Llc Vehicle including pivotable panel extending across door opening
JP6737731B2 (ja) * 2017-03-31 2020-08-12 ヤンマーパワーテクノロジー株式会社 農作業車両の自律走行システム
EP3396478B1 (en) 2017-04-28 2023-06-14 Deere & Company Apparatus, method and computer programme for controlling a machine
JP6909641B2 (ja) * 2017-05-31 2021-07-28 株式会社小松製作所 表示システム
JP6945399B2 (ja) * 2017-09-13 2021-10-06 株式会社クボタ 障害物検出装置
JP2019117542A (ja) 2017-12-27 2019-07-18 トヨタ自動車株式会社 案内情報提供システム
US10668793B2 (en) 2018-01-05 2020-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Retractable autonomous roof panel
WO2019157072A2 (en) * 2018-02-09 2019-08-15 Cnh Industrial America Llc Roof assembly for an autonomous work vehicle
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
US11512454B2 (en) * 2018-07-05 2022-11-29 Caterpillar Inc. Engagement control system and method
CN109552155A (zh) 2019-01-17 2019-04-02 湖南机电职业技术学院 一种房车结构及顶棚的升降控制系统
CN110199666A (zh) * 2019-04-09 2019-09-06 丰疆智能科技股份有限公司 收割机远程遥控系统和收割机远程遥控装置
US11653593B2 (en) * 2019-08-02 2023-05-23 Embankscape Equipment LLC Handheld unit with safety features for remote-control slope mowing system

Also Published As

Publication number Publication date
EP4090583A4 (en) 2024-02-21
EP4090583A1 (en) 2022-11-23
JP2023537164A (ja) 2023-08-31
GB2607763B (en) 2024-02-21
EP4091029A1 (en) 2022-11-23
KR20230002291A (ko) 2023-01-05
CA3163145A1 (en) 2021-07-22
US20210223772A1 (en) 2021-07-22
US20240012408A1 (en) 2024-01-11
US11774958B2 (en) 2023-10-03
US20230136169A1 (en) 2023-05-04
GB2607763A (en) 2022-12-14
US12007762B2 (en) 2024-06-11
GB2607764A (en) 2022-12-14
GB202211885D0 (en) 2022-09-28
US20230409026A1 (en) 2023-12-21
US11543815B2 (en) 2023-01-03
CN114945886A (zh) 2022-08-26
EP4091029A4 (en) 2024-02-21
GB202211887D0 (en) 2022-09-28
JP2023533095A (ja) 2023-08-02
US20230094055A1 (en) 2023-03-30
CA3163147A1 (en) 2021-07-22
WO2021146493A1 (en) 2021-07-22
AU2021208564A1 (en) 2022-09-08
CN114981153A (zh) 2022-08-30
AU2021207505A1 (en) 2022-09-08
US20210223771A1 (en) 2021-07-22
US11567492B2 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
KR20230004432A (ko) 원격 오퍼레이터에 의한 차량 제어
EP3440523B1 (en) Status indicator for an autonomous agricultural vehicle
US10912253B2 (en) Robotic gardening device and method for controlling the same
WO2021146510A1 (en) Adjustable height sensor roof
WO2020026651A1 (ja) 収穫機、走行システム、走行方法、走行プログラム、及び、記憶媒体
US6990399B2 (en) Agricultural utility vehicle and method of controlling same
EP3355670B1 (en) User interface for mobile machines
US20180373256A1 (en) Automatic end of row turning control system for a work vehicle by learning from operator
US20170090741A1 (en) User Interface for Mobile Machines
US20170088147A1 (en) User Interface for Mobile Machines
JP7096531B2 (ja) 作業車両の自律走行システム
JP2018196349A (ja) 移動農機
JPWO2021146493A5 (ko)
JP7401422B2 (ja) 作業機
US20240177494A1 (en) Automatic implement recognition
US20210382486A1 (en) Work area monitoring system and method of operating a work vehicle at a work area
US20170090740A1 (en) User Interface for Mobile Machines

Legal Events

Date Code Title Description
A201 Request for examination