KR102410738B1 - 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치 - Google Patents

운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치 Download PDF

Info

Publication number
KR102410738B1
KR102410738B1 KR1020200071588A KR20200071588A KR102410738B1 KR 102410738 B1 KR102410738 B1 KR 102410738B1 KR 1020200071588 A KR1020200071588 A KR 1020200071588A KR 20200071588 A KR20200071588 A KR 20200071588A KR 102410738 B1 KR102410738 B1 KR 102410738B1
Authority
KR
South Korea
Prior art keywords
action
command
behavior
unmanned
module
Prior art date
Application number
KR1020200071588A
Other languages
English (en)
Other versions
KR20210154501A (ko
Inventor
김진환
김종휘
조용훈
조용진
유재관
Original Assignee
엘아이지넥스원 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사, 한국과학기술원 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020200071588A priority Critical patent/KR102410738B1/ko
Publication of KR20210154501A publication Critical patent/KR20210154501A/ko
Application granted granted Critical
Publication of KR102410738B1 publication Critical patent/KR102410738B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 무인 이동체에 대해서 운용자 개입이 가능한 자율임무수행방법 및 장치에 관한 것으로, 더욱 상세하게는 원격 운용자의 명령을 효율적으로 반영할 수 있는 무인 이동체의 자율임무수행방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따르면, 센싱/인지모듈에서 수신한 이벤트 정보를 기반으로 이벤트 정보에 대응하는 행위를 생성하고, 생성된 행위 중에서 무인 이동체가 수행해야 하는 특정 행위를 자극하고, 수행 완료된 이벤트에 대한 행위는 제거하는 행위관리모듈; 원격시스템으로부터 명령을 전달받는 동시에 해당 명령에 해당하는 행위를 자극하고, 수행이 완료된 행위는 명령을 제거하는 명령관리모듈; 행위관리모듈과 명령관리모듈의 관리를 받는 여러 명령과 여러 행위의 병렬집합모듈; 및 병렬집합모듈에서 발생한 명령과 행위를 동시에 고려하되, 명령을 행위에 비하여 우선순위를 높게 설정하고, 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 침로의 순서쌍을 최적행동으로 설정하는 최적화모듈을 포함한다.

Description

운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치{Behavior-based control method and system considering the interaction between operator and an autonomous surface vehicle}
본 발명은 무인 이동체에 대해서 운용자 개입이 가능한 자율임무수행방법 및 장치에 관한 것으로, 더욱 상세하게는 원격 운용자의 명령을 효율적으로 반영할 수 있는 무인 이동체의 자율임무수행방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근의 무인 이동체는 공장자동화시스템과 같이 정형화된 환경 외에도 해양과 같이 비정형화된 환경에서도 상황에 대응할 수 있는 제어 기능을 탑재하고 있다. 해양 환경에서 무인 이동체(또는 무인선)에 감시, 정찰, 수색, 인명구조 등의 다양한 임무를 부여받아서 운용되어진다. 이와 같은 무인 이동체의 운용을 위해서는 임무 수행 간 원격 운용자의 개입 및 감시가 요구되어진다.
특허 등록번호 10-2025202(발명의 명칭 : 무인수상정 원격통제시스템)은 무인수상정의 원격통제시스템을 개시하고 있다.
상기 특허는 무선통신을 통해서 원격으로 무인수상정의 상태를 모니터링하면서 통제할 수 있도록 중앙통제소의 관리가 이루어지고 있다.
그러나 상기 특허는 무인수상정의 임무 수행을 위하여 중앙통제소의 원격 제어를 받도록 하고 있기 때문에, 중앙통제소에서 무인수상정의 모든 동작을 전적으로 원격 제어하는 방법을 이용하고 있다.
즉, 종래의 경우에서는 무인수상정의 만족스러운 임무 수행 능력을 보이지 않거나 특수 상황에서 필요성에 따라 운용자의 의도를 반영한 원격 제어가 이루어지는 것이 아니다. 종래는 무인수상정의 임무 수행시 원격 운용자와 무인수상정과의 상호 작용을 통한 행동 선택에 대한 고려없이 운용자가 모든 절차를 전적으로 원격 조작하는 정도에 그치고 있다.
한국등록특허공보 제10-2025202(발명의 명칭 : 무인수상정 원격통제시스템)
따라서 본 발명의 목적은 무인 이동체의 임무 수행시에 자율 운항 기능을 통해서 제어하되, 원격 운용자의 의도를 함께 고려하여 의사 결정이 가능하도록 운용자와 자율 제어 알고리즘의 상호 협력적인 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 무인 이동체의 임무 수행을 위하여 체계화된 로봇 시스템 구조에서 응용되는 행위기반 로봇 제어 구조를 활용하여 원격 운용자의 명령을 효율적으로 반영할 수 있는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 무인 이동체를 안전하게 운용하기 위하여 주변 환경 변화에 빠르게 반응할 수 있고, 원격 운용자의 명령을 효율적으로 반영할 수 있는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치를 제공함에 있다.
상기와 같은 기술적 과제를 해결하기 위해 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치는 센싱/인지모듈에서 수신한 이벤트 정보를 기반으로 이벤트 정보에 대응하는 행위를 생성하고, 생성된 행위 중에서 무인 이동체가 수행해야 하는 특정 행위를 자극하고, 수행 완료된 이벤트에 대한 행위는 제거하는 행위관리모듈; 원격시스템으로부터 명령을 전달받는 동시에 해당 명령에 해당하는 행위를 자극하고, 수행이 완료된 행위는 명령을 제거하는 명령관리모듈; 행위관리모듈과 명령관리모듈의 관리를 받는 여러 명령과 여러 행위의 병렬집합모듈; 및 병렬집합모듈에서 발생한 명령과 행위를 동시에 고려하되, 명령을 행위에 비하여 우선순위를 높게 설정하고, 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 침로의 순서쌍을 최적행동으로 설정하는 최적화모듈을 포함한다.
바람직하게는 최적화모듈은 행위에 비하여 우선순위가 높게 설정되는 명령은 행위와 같은 행동 공간 내에서 반영되고, 명령이 반영된 최적의 행동은 수학식 3으로 표현된다.
[수학식 3]
Figure 112020060662927-pat00001
여기서
Figure 112020060662927-pat00002
는 k번째 명령의 가중치를 의미하고,
Figure 112020060662927-pat00003
는 k번째 명령의 효용 함수를 나타낸다. 그리고
Figure 112020060662927-pat00004
는 최적 행동의 순서쌍을 의미하며,
Figure 112020060662927-pat00005
는 k번째 행위의 가중치를 의미하고, 무인 이동체가 행해야 하는 우선순위가 높은 행위일수록 높은 가중치를 갖는다.
바람직하게는 병렬집합모듈은, 이벤트 정보에 따라서 이동행위를 설계하고, 이동행위는 자선의 속도 좌표계로 이루어진 행동공간 내에서 추종제어를 이용하여 이벤트 발생지점으로 이동하는 목적함수를 생성하며, 행동공간 내에서 이동행위의 효용함수는 수학식 4로 표현된다.
[수학식 4]
Figure 112020060662927-pat00006
여기서
Figure 112020060662927-pat00007
와
Figure 112020060662927-pat00008
는 행동 공간 내 자선의 행동을 의미하고,
Figure 112020060662927-pat00009
와
Figure 112020060662927-pat00010
는 행동 공간의 속도와 방위각의 가중치를 의미한다.
바람직하게는 병렬집합모듈은 행동공간 내에서 최근접거리(DCPA)를 기반으로 목적함수를 생성하고, 행동공간 내에서 회피행위의 효용함수는 수학식 5로 표현된다.
[수학식 5]
Figure 112020060662927-pat00011
여기서 DCPAi는 순서쌍
Figure 112020060662927-pat00012
에서의 최근접 거리를 의미하고,
Figure 112020060662927-pat00013
와
Figure 112020060662927-pat00014
는 회피 행위를 생성하기 위한 최근접거리의 하계(Lower bound) 문턱값과 상계(Higher bound)을 의미한다.
바람직하게는 행위관리모듈은 전달받은 이벤트 정보에 기반해서 익수자와 추종선박이 발생되면 이동행위, 고정 장애물을 발생하면 회피행위, 이동 장애물을 발생하면 회피행위와 규정준수행위를 동시에 수행하는 반응구조로 설계한다.
바람직하게는 규정준수행위는 장애물 조우시 국제해상충돌예방규칙을 생성하도록 구성된다.
바람직하게는 행위관리모듈은 임무 시작 전 설정되고, 임무 도중 자동으로 생성된 일련의 경유점을 추종하는 역할을 수행하며, 이동행위의 순차적 집합으로 구현되는 경로추종행위를 설계한다.
바람직하게는 행위관리모듈은 목표 경유점에 도착시 다음 경유점으로 변경하는 경유점 변경 알고리즘을 포함하고, 경유점 변경 알고리즘을 통하여 순차적인 경유점 추종을 수행한다.
바람직하게는 명령관리모듈에서 행위관리모듈과 상호작용을 위한 해당 명령은 이동과 회피로 설계한다.
바람직하게는 최적화모듈은 행위의 가중치는 가중치의 절대치보다는 행위의 우선순위인 상대값이 큰 의미를 갖고, 유사한 이벤트에 대하여 운용자의 명령이 행위에 비하여 높은 우선순위를 갖도록 더 높은 가중치를 부여하고, 장애물 회피와 같이 무인 이동체의 안전을 위협하는 상황에 대한 가중치는 명령 및 행위에 상관없이 높은 가중치를 갖으며, 임무를 수행하거나 이동하는 명령 및 행위는 상대적으로 낮은 가중치를 갖도록 설정된다.
바람직하게는 최적화모듈은 여러 행위가 복합적으로 행해질 때, 최종 목표 행동을 계산하기 위하여 행동공간 내에서 행동 평균방법을 이용한 행동선택방법을 사용하고, 무인 이동체에서 효용함수로 적용한다.
바람직하게는 최적화모듈은 소프트웨어 모듈로 로봇 오퍼레이팅 시스템을 이용한다.
바람직하게는 행위관리모듈은 센싱/인지모듈에서 전달된 이벤트와 이에 대응하는 행위의 조합을 일대일 또는 다대다로 조합되도록 구성한다.
바람직하게는 행위관리모듈은 생성된 모든 행위에 대해서 기결정된 일정반경 이내에 존재하는 이벤트에 대해서 활성화상태로 제어한다.
상기와 같은 기술적 과제를 해결하기 위해 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법은 명령관리모듈에서 원격시스템에서 장애물을 인지하고, 회피명령과 이동명령을 활성화시키는 단계; 행위관리모듈에서 센싱/인지모듈에서 감지한 장애물, 익수자, 경유점에 대한 이벤트 정보에 기반해서 회피행위, 이동행위, 추종행위를 활성화시키는 단계; 최적화모듈에서 활성화된 명령과 행위를 동시에 고려하되, 명령을 행위에 비하여 우선순위를 높게 설정하고, 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 침로의 순서쌍을 최적행동으로 설정하는 단계를 포함한다.
바람직하게는 최적화모듈에서 운용자의 명령을 반영하기 위하여, 행위의 효용함수에 명령의 효용함수를 추가적으로 고려하고, 명령은 행위와 같은 행동 공간 내에서 함께 반영되며, 명령의 우선순위는 행위에 비하여 높고, 명령이 반영된 최적의 행동은 수학식 3으로 표현된다.
[수학식 3]
Figure 112020060662927-pat00015
여기서
Figure 112020060662927-pat00016
는 k번째 명령의 가중치를 의미하고,
Figure 112020060662927-pat00017
는 k번째 명령의 효용 함수를 나타낸다. 그리고
Figure 112020060662927-pat00018
는 최적 행동의 순서쌍을 의미하며,
Figure 112020060662927-pat00019
는 k번째 행위의 가중치를 의미하고, 무인 이동체가 행해야 하는 우선순위가 높은 행위일수록 높은 가중치를 갖는다.
바람직하게는 최적화모듈에서 이벤트 정보에 따라서 이동행위를 설계하고, 이동행위는 자선의 속도 좌표계로 이루어진 행동공간 내에서 추종제어를 이용하여 이벤트 발생지점으로 이동하는 목적함수를 생성하며, 행동공간 내에서 이동행위의 효용함수는 수학식 4로 표현된다.
[수학식 4]
Figure 112020060662927-pat00020
여기서
Figure 112020060662927-pat00021
와
Figure 112020060662927-pat00022
는 행동 공간 내 자선의 행동을 의미하고,
Figure 112020060662927-pat00023
와
Figure 112020060662927-pat00024
는 행동 공간의 속도와 방위각의 가중치를 의미한다.
바람직하게는 최적화모듈에서 행동공간 내에서 최근접거리(DCPA)를 기반으로 목적함수를 생성하고, 행동공간 내에서 회피행위의 효용함수는 수학식 5로 표현된다.
[수학식 5]
Figure 112020060662927-pat00025
여기서 DCPAi는 순서쌍
Figure 112020060662927-pat00026
에서의 최근접 거리를 의미하고,
Figure 112020060662927-pat00027
와
Figure 112020060662927-pat00028
는 회피 행위를 생성하기 위한 최근접거리의 하계(Lower bound) 문턱값과 상계(Higher bound)을 의미한다.
바람직하게는 행위관리모듈에서 전달받은 이벤트 정보에 기반해서 익수자와 추종선박이 발생되면 이동행위, 고정 장애물을 발생하면 회피행위, 이동 장애물을 발생하면 회피행위와 규정준수행위를 동시에 수행하는 반응구조로 설계한다.
바람직하게는 규정준수행위는 장애물 조우시 국제해상충돌예방규칙을 생성하도록 구성된다.
바람직하게는 행위관리모듈에서 임무 시작 전 설정되고, 임무 도중 자동으로 생성된 일련의 경유점을 추종하는 역할을 수행하며, 이동행위의 순차적 집합으로 구현되는 경로추종행위를 설계한다.
바람직하게는 행위관리모듈에서 목표 경유점에 도착시 다음 경유점으로 변경하는 경유점 변경 알고리즘을 포함하고, 경유점 변경 알고리즘을 통하여 순차적인 경유점 추종을 수행한다.
바람직하게는 명령관리모듈에서 행위관리모듈과 상호작용을 위한 해당 명령은 이동과 회피로 설계한다.
바람직하게는 최적화모듈에서 행위의 가중치는 가중치의 절대치보다는 행위의 우선순위인 상대값이 큰 의미를 갖고, 유사한 이벤트에 대하여 운용자의 명령이 행위에 비하여 높은 우선순위를 갖도록 더 높은 가중치를 부여하고, 장애물 회피와 같이 무인 이동체의 안전을 위협하는 상황에 대한 가중치는 명령 및 행위에 상관없이 높은 가중치를 갖으며, 임무를 수행하거나 이동하는 명령 및 행위는 상대적으로 낮은 가중치를 갖도록 설정된다.
바람직하게는 최적화모듈에서 여러 행위가 복합적으로 행해질 때, 최종 목표 행동을 계산하기 위하여 행동공간 내에서 행동 평균방법을 이용한 행동선택방법을 사용하고, 무인 이동체에서 효용함수로 적용한다.
바람직하게는 최적화모듈은 소프트웨어 모듈로 로봇 오퍼레이팅 시스템을 이용한다.
바람직하게는 행위관리모듈에서 전달된 이벤트와 이에 대응하는 행위의 조합을 일대일 또는 다대다로 조합되도록 구성한다.
바람직하게는 행위관리모듈에서 생성된 모든 행위에 대해서 기결정된 일정반경 이내에 존재하는 이벤트에 대해서 활성화상태로 제어한다.
본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치는 무인 이동체의 임무 수행시에 자율 운항 기능을 통해서 제어하되, 원격 운용자의 의도를 함께 고려하여 의사 결정이 가능하도록 운용자와 자율 제어 알고리즘의 상호 협력적인 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치를 제공한다. 이 구성에 따르면 본 발명은 자율 임무 수행을 통하여 무인 이동체가 만족스러운 임무 수행 능력을 보이지 않거나 특수한 상황 발생시에 즉시 운용자의 의도가 반영된 의사 결정이 이루어지도록 제어하므로써, 무인 이동체의 운용을 최적으로 수행하는 효과를 얻을 수 있다.
또한, 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치는 무인 이동체의 임무 수행을 위하여 체계화된 로봇 시스템 구조에서 응용되는 행위기반 로봇 제어 구조를 활용하여 원격 운용자의 명령을 효율적으로 반영할 수 있는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치를 제공한다. 이 구성에 따르면 기존의 기능 중심에서 행위 중심의 시스템으로 변경하여, 다수의 임무, 다수의 센서, 강건성 및 확장성을 도모할 수 있는 시스템의 구현이 가능해지는 효과를 얻을 수 있다. 특히, 무인 이동체의 자율성을 보장하면서도 병렬적으로 원격 운용자의 명령을 효율적으로 반영하는 것이 가능하다.
또한, 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치는 해양환경과 같이 복잡한 환경에서 무인 이동체에 대한 위험 상황이 발생했을 때, 운용자의 명령에 따라서 무인 이동체의 이동 위치를 빠르게 변경하고, 무인 이동체가 안전하게 운용되도록 원격 운용자의 명령을 효율적으로 반영하는 것이 가능하다.
그리고 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치는 무인 이동체(플랫폼)와 센서(센싱부)의 종류에 상관없이 적용 가능하므로 그 사용범위가 매우 넓고 산업상으로 이용가치가 매우 높은 기술이다.
도 1은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 전체적인 구성도를 도시하고 있다.
도 2는 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 행위관리모듈과 명령관리모듈에 대한 개요도를 도시하고 있다.
도 3은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 행동공간 내 효용의 예시와 최적 행동 산출을 위한 과정도를 도시하고 있다.
도 4는 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 무인 이동체의 자율임무 수행에 따른 동작 흐름도를 도시하고 있다.
도 5는 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 무인 이동체의 이동행위, 회피행위, 규정준수행위에 대한 행동 공간 내 효용 함수의 예시도를 도시하고 있다.
도 6은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에 대한 시뮬레이션 환경 예시도를 도시하고 있다.
도 7은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 시뮬레이션 환경 테이블 구성도를 도시하고 있다.
도 8은 본 발명이 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 시뮬레이션에 적용한 가중치 파라미터 테이블 구성도를 도시하고 있다.
도 9는 사용자 명령이 존재하지 않은 경우에 시뮬레이션 결과 예시도를 도시하고 있다.
도 10은 이동 명령이 존재하는 경우에 시뮬레이션 결과 예시도를 도시하고 있다.
도 11은 회피 명령이 존재하는 경우에 시뮬레이션 결과 예시도를 도시하고 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"와 "기", "모듈"과 "부", "유닛"과 "부", "장치"와 "시스템", "단말"과 "노드"와 "디지털 무전기" 등은 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
일반적으로 행위기반 로봇 시스템 구조는 매 주기마다 로봇에 설치된 모든 센서에서 얻은 정보를 취합해서 경로계획을 수행하는 방식인 심의 제어 방식과, 센서에서 얻은 값을 최소한의 프로세싱을 통해서 현재 상황에서 가장 적합한 행동을 즉각적으로 취하는 방식인 반응 제어 방식을 동시에 고려하고, 이 중 가장 적절한 제어방식과 행위를 선택하는 구조로 이루어진다.
일 예로 행위기반 로봇 시스템 주위에 물체가 감지되지 않을 때는 로봇은 직진 행위를 수행하지만, 시스템 주위에 물체가 감지될 경우에서는 즉각적으로 회피 행위를 선택하여 임무를 수행하게 된다.
본 발명의 무인 이동체는 이와 같은 행위기반 로봇 시스템 구조를 채택한다. 즉, 본 발명은 센서를 통해서 정보를 인지하여 즉시 반응할 수 있고, 여러 임무가 있는 경우에서는 상황에 맞는 임무를 선택적으로 수행하는 것이 가능하다. 또한 임무의 추가를 위해서도 기존 구조에 큰 변경없이 행위를 추가하는 동작 제어만으로 해당 임무를 수행할 수 있도록 구성 가능하다.
본 발명의 무인 이동체는 기본적으로 행위기반 로봇 시스템 구조를 활용하여 자율적으로 행위를 판단해서 임무를 수행한다. 그리고 운용자는 무인 이동체의 운용을 감시하고, 자율 제어 구성을 통하여 무인 이동체가 장애물을 발견하지 못하거나 추가적으로 이동할 경로가 존재할 때, 운용자가 무인 이동체에 직접 명령을 전달하는 제어가 이루어지도록 한다.
따라서 본 발명의 무인 이동체는 운용자의 개입없이 무인 이동체의 자율임무 수행이 가능하도록 행위 기반 로봇 시스템 구조로 구성하고, 원격 운용자의 명령 시 해당 명령을 고려하는 구조를 추가적으로 포함하도록 구성하였다. 그리고 본 발명은 여러 행위가 복합적으로 행해질 때, 최종 목표 행동을 계산하기 위하여 행동 공간(Action space) 내에서의 행동 평균(Action averaging)방법을 활용한 행동선택방법을 사용한다. 그리고 이를 무인 이동체에 적용하기 위하여 효용 함수(Utility function)를 설계하고, 설계된 구조의 유용성 확인을 위하여 소프트웨어 모듈로서 Robot operating system(ROS)를 활용하였다.
도 1은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치의 전체적인 구성도를 도시하고 있다.
본 발명의 무인 이동체(100)는 행위기반 로봇 시스템 구조(Robot architecture)를 활용하여 자율적으로 행위를 판단하고, 임무를 수행하기 위한 행위관리모듈(10 ; Behavior manager), 행위의 병렬집합모듈(20 ; Behavior1, Behavior2,...,Behavior n), 최적화 모듈(30 ; Optimizer)을 포함한다. 무인 이동체(100)는 무인 이동체의 임무를 수행하기에 충분하도록 발생한 위치와 속도를 포함하는 운동정보와 해당 정보의 유형을 검출하고 행위관리모듈(10)에 제공하는 센싱/인지모듈(60)을 포함한다. 센싱/인지모듈(60)에서 발생되는 값을 '이벤트 정보(Sensing/Perception)'로 정의한다. 센싱/인지모듈(60)은 무인 이동체(100)의 외부 또는 내부, 또는 주변 환경 등으로부터 검출되어서 무인 이동체의 운용에 이용되는 각종 센싱 신호 및 인지신호를 포함한다.
행위관리모듈(10)은 센싱/인지모듈(60)에서 수신한 이벤트 정보를 기반으로 하여 실행 중인 행위의 관리를 담당한다. 행위관리모듈(10)은 센싱/인지모듈(60)에서 제공하는 이벤트 정보의 순서와 수신한 정보를 바탕으로 행위를 관리한다.
행위의 병렬집합모듈(20)은 다수의 행위에 대해서 병렬 구성되고 있다. 각 행위는 행위에 알맞는 행동 공간에서의 효용 함수를 생성한다.
최적화모듈(30)은 행동 공간 내에서의 최적의 행동을 찾는 기능을 수행한다.
또한, 본 발명의 일 실시예에 따른 무인 이동체(100)는 운용자의 명령을 무인 이동체(100)에서 인식할 수 있는 신호로 변화시키는 명령관리도구(Human operator)를 포함한다. 즉, 무인 이동체(100)의 자율임무 수행 중에 운용자의 개입을 위한 명령관리모듈(40 ; Command Manager)과 각 명령의 병렬집합모듈(50 ; Command1,...,Command m)을 포함한다. 이 구성은 무인 이동체(100) 외부에서 원격으로 무인 이동체(100)의 운용을 감시하는 원격시스템(70)으로부터 제공되는 명령신호(manned operation)를 인식하는 구성이다.
명령관리모듈(40)은 운용자의 명령을 무인 이동체(100)가 인식 가능한 신호로 변환시켜서 무인 이동체(100)의 판단하에 수행할 수 있도록 한다. 즉, 명령관리모듈(40)은 운용자가 제공한 모든 명령을 수행할 수 있도록 동작하고, 명령관리모듈(40)에 입력되는 운용자의 명령신호는 행위관리모듈(10)의 행위보다는 상위개념으로 행위보다 우선적으로 수행하도록 제어한다.
그리고 본 발명의 일 실시예에 따른 무인 이동체(100)는 행위관리모듈(10), 행위의 병렬집합모듈(20), 최적화모듈(30), 명령관리모듈(40), 각 명령의 병렬집합모듈(50)들의 관계에서 각 요소끼리 대응적인 관계를 갖고 유사한 기능을 수행한다. 따라서 최적화모듈(30)은 행위관리모듈(10)에 기반해서 제어되는 자율 운항 기능 외에 운용자의 명령에서의 효용 함수를 추가적으로 고려하여 최적의 행동을 찾을 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치에서 행위관리모듈과 명령관리모듈에 대한 개요도를 도시하고 있다.
행위관리모듈(10)은 센싱/인지모듈(60)에서 수신한 이벤트 정보를 기반으로 행위를 생성하고, 행위를 자극하고, 행위를 제거하는 생성모듈(create BHV)/자극모듈(stimulate BHV)/제거모듈(delete BHV)을 포함한다. 행위의 생성모듈은 무인 이동체의 센싱/인지모듈(60)에서 수신받은 이벤트 정보에 적합한 행위를 생성하는 기능을 수행한다. 이벤트 정보가 다수 발생하는 상황에서도 이에 해당하는 적합한 다수 행위를 생성하도록 설계한다. 센싱/인지모듈(60)에서 전달된 이벤트 정보와 이에 대응하는 행위의 조합은 일대일 또는 필요시 다대다의 조합으로 구성 가능하다.
행위의 자극모듈은 수행된 행위 중 수행이 요구되는 이벤트에 대하여 행위를 자극하여 적합한 업무를 수행할 수 있도록 하고, 자극으로 인해 임무를 수행 중인 행위의 상태를 활성화상태로 정의하고, 임무를 수행 중이지 않은 행위는 비활성화 상태로 정의하는 등, 무인 이동체가 수행해야 하는 행위를 분류한다. 행위의 자극모듈에서의 자극은 생성된 모든 행위 중 일정 반경 이내에 존재하는 이벤트에 대하여 실시하며, 일정반경 밖의 이벤트는 비활성화되도록 설계한다.
행위의 제거모듈은 수행 완료된 이벤트를 다시 수행하지 않기 위하여 해당 행위를 제거하는 기능을 수행하고, 수행 완료된 이벤트에 대하여 해당하는 다수의 행위를 동시에 제거하거나 또는 이벤트에 대한 일부 행위를 제거하는 역할을 수행하도록 설계한다.
일 예로서 도 2에 도시하고 있는 바와 같이, 무인 이동체의 주위에서 익수자와 타선이 발견되면, 익수자로 이동하는 행위와 타선을 회피하는 행위를 생성하여 활성화시키고, 탐지 범위를 벗어나면 생성된 행위를 제거한다.
그리고 명령관리모듈(40)은 행위관리모듈(10)과 유사한 기능을 수행하지만, 운용자의 명령 전달시 이미 명령이 생성된 상태로 간주하고, 명령의 생성과 동시에 자극을 동시에 수행하며, 명령 내린 행위가 완료되면 해당 명령을 제거하도록 설계한다.
일 예로 원격 운용자로부터 특정 지점으로의 이동 명령이 무인 이동체에 전달되면, 이동 행위를 활성화시킴과 동시에 이미 활성화된 다른 행위와 비교하여 최적의 행동을 선택한다.
한편, 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행장치는 행위의 병렬집합모듈과 명령의 병렬집합모듈에서 무인 이동체가 수행할 행동을 선택해야 한다. 이를 위해서 본 발명은 행동 선택 알고리즘을 포함한다.
행동 선택 알고리즘은 그 종류에 따라 크게 경쟁적 구조와 협력적 구조로 구분 가능하다. 행위가 동시에 수행될 때, 경쟁적 구조는 하나의 행위 또는 행동을 선택하고, 협력적 구조는 여러 개의 행위를 조합하여 하나의 새로운 행동을 제시한다.
이 경우, 운용자의 명령을 포함하는 순차적이지 않은 다수의 행동을 동시에 수행하기 위해서는 하나의 행동을 선택하는 구조는 실제적으로 비효율적이다. 따라서 본 발명은 협력적 구조의 일환인 행동 공간 내에서 최선의 행동을 선택하는 방법을 활용하는 것이 바람직하다. 각 행위마다 그에 따른 행동 공간이 생성되고, 행동 공간은 현재 운동상태에서 목표로 하는 운동상태의 집합이고, 목표 속력과 목표 침로의 순서쌍으로 하기 수학식 1로 나타낼 수 있다. 또한 행위에 따른 행동 공간의 함수를 효용 함수로 정의한다.
[수학식 1]
Figure 112020060662927-pat00029
여기서 Vi 와 ψi 는 목표 속력과 목표 침로의 행동 공간 집합의 요소를 나타내고, V와 ψ는 현재 운동체의 속력과 침로를 나타낸다. 현재 속력과 침로에서 도달 가능한 목표 속력과 침로를 행동 공간으로 정의하기 위하여 속력과 침로 변화량의 문턱값
Figure 112020060662927-pat00030
와
Figure 112020060662927-pat00031
를 사용하였다.
그리고 각 행동 공간 내에서 효용 함수를 fk로 정의 시 효용 함수는 행위의 함수로 표현 가능하고, 최적의 행동은 하기 수학식 2로 나타낼 수 있다.
[수학식 2]
Figure 112020060662927-pat00032
여기서
Figure 112020060662927-pat00033
는 최적 행동의 순서쌍을 의미하며,
Figure 112020060662927-pat00034
는 k번째 행위의 가중치를 의미한다. 무인 이동체가 행해야 하는 우선 순위가 높은 행위일수록 높은 가중치를 갖는다.
그리고 본 발명은 운용자의 명령을 반영하기 위하여, 행위의 효용 함수에 명령으로 인해 생긴 효용 함수를 추가적으로 고려한다. 명령은 행위와 같은 행동 공간 내에서 행위와 함께 반영되나, 그 우선순위는 행위에 비하여 우선순위가 높으며, 명령이 반영된 최적의 행동은 하기 수학식 3으로 나타낼 수 있다.
[수학식 3]
Figure 112021143044564-pat00035

여기서
Figure 112021143044564-pat00088
는 k번째 명령의 가중치를 의미하고,
Figure 112021143044564-pat00089
는 k번째 명령의 효용 함수를 나타낸다. 명령 또한 행위와 마찬가지로 명령의 종류에 따라 그 우선순위가 달라지거나, 또는 운용에 따라 그 우선순위가 달라지므로 가중치를 통하여 명령 수행 순위를 조절 가능하다. 그리고 V와 ψ는 속력과 침로를 나타내고,
Figure 112021143044564-pat00090
는 최적 행동의 순서쌍을 의미하며,
Figure 112021143044564-pat00091
는 k번째 행위의 가중치를 의미하고, fk는 k번째 행위의 효용함수를 나타내며, 무인 이동체가 행해야 하는 우선순위가 높은 행위일수록 높은 가중치를 갖는다.
삭제
다음은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법에서 명령과 행위기반으로 최적 행동을 산출하는 과정에 대해서 살펴본다.
본 발명의 일 실시예에 따른 무인 이동체의 자율 임무 수행시에 운용자와의 상호 작용을 위하여 행위기반구조 내 적절한 행위 및 임무의 설계가 필요하다.
무인 이동체가 수행 가능한 임무는 일 예로 도 2에 도시하고 있는 바와 같이, 익수자 구출, 의심 선박 추적, 이동 장애물 및 고정 장애물의 회피 등이 있고, 이 외에도 추가적인 임무 수행에 대한 설계 및 추가가 가능하다.
또한, 운용자와의 상호작용을 위하여 운용자가 무인 이동체에 전달 가능한 명령의 설계가 요구되고, 일 예로 도 2에 도시하고 있는 바와 같이, 해당 명령은 이동행위(201)와 회피행위(202)로 설정하였다. 이 외에도 운용자가 내릴 수 있는 추가적인 명령에 대해서 설계 및 추가가 가능하다.
무인 이동체의 행위는 전달받은 이벤트 정보에 따라서 익수자와 추종 선박이 발생되면 이동행위(Go : 203,206), 고정 장애물을 발생하면 회피행위(Avoid :205), 이동 장애물 발견시에는 회피행위(204)와 규정준수 행위를 동시에 수행하는 반응 구조로 설계하는 것이 바람직하다. 전역경로를 추종하는 행위(경로추종행위)는 이동 행위의 연속으로 설계하는 것이 바람직하다.
이동행위는 자선의 속도 좌표계로 이루어진 행동 공간 내에서 추종 제어(Pursuit guidance)를 이용하여 이벤트의 발생지점으로 이동하는 목적함수를 생성한다. 회피행위는 행동 공간 내에서 최근접 거리(DCPA, Distance to the closest point of approach)를 기반으로 목적함수를 생성한다. 행동 공간 내에서 이동 행위와 회피 행위의 효용함수
Figure 112020060662927-pat00038
와
Figure 112020060662927-pat00039
는 각각 수학식 4, 수학식 5와 같이 산출된다.
[수학식 4]
Figure 112020060662927-pat00040
[수학식 5]
Figure 112020060662927-pat00041
여기서
Figure 112020060662927-pat00042
와
Figure 112020060662927-pat00043
는 행동 공간 내 자선의 행동을 의미하고,
Figure 112020060662927-pat00044
와
Figure 112020060662927-pat00045
는 행동 공간의 속도와 방위각의 가중치를 의미한다. DCPAi는 순서쌍
Figure 112020060662927-pat00046
에서의 최근접 거리를 의미하고,
Figure 112020060662927-pat00047
와
Figure 112020060662927-pat00048
는 회피 행위를 생성하기 위한 최근접거리의 하계(Lower bound) 문턱값과 상계(Higher bound)을 의미한다.
규정준수행위는 장애물의 조우 국제해상충돌예방규칙(COLREGs, International regulations for preventing collisions at sea)을 생성하도록 구성되고, 회피 행위와 복합적으로 구성된다.
경로추종행위는 임무 시작 전 설정되거나, 임무 도중 자동으로 생성된 일련의 경유점을 추종하는 역할을 수행하며, 이동행위의 순차적 집합으로 구현되어 있다. 본 발명은 목표 경유점에 도착 시 다음 경유점으로 변경하는 경유점 변경 알고리즘 (Waypoint shifting algorithm)을 포함하고, 경유점 변경 알고리즘을 통하여 이동행위를 통한 순차적인 경유점 추종을 가능하게 한다. 각 행위의 행동 공간 내 효용 함수의 예시는 도 5와 같다.
본 발명의 일 실시예에서 무인 이동체의 상호작용을 위한 명령의 설계는 이동과 회피로 설정하였다. 운용자가 내리는 명령은 그 명령의 목적보다는 명령에 대응되는 행위가 중요하므로, 명령에 따른 행위가 직관적으로 대응되도록 설계한다. 이동 명령은 이동행위를 생성 및 자극하며, 회피 명령은 회피 행위를 생성 및 자극하도록 설계한다. 이동 명령과 회피 명령에 대한 효용 함수는 각 명령에 대응되는 수학식 4, 수학식 5와 같고, 도 5에 도시하고 있는 왼쪽 및 중앙과 동일하게 나타난다.
즉, 본 발명은 도 3에 도시하고 있는 바와 같이, 명령관리모듈(40)에서 발생한 명령과 행위관리모듈(10)에서 발생한 행위를 동시에 고려하지만, 운용자의 명령을 우선적으로 실행하기 위하여 명령은 행위에 비하여 우선순위를 높게 설정한다. 그리고 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 침로의 순서쌍을 최적행동으로 설정한다.
따라서 본 발명의 일 실시예에 따른 원격 운용자 개입이 가능한 무인 이동체의 자율임무 수행 과정도를 도 4를 통해서 살펴보면 다음과 같다.
원격시스템에서 제공되는 운용자의 명령과, 무인 이동체의 센싱/인지모듈(60)에서 제공하는 이벤트 정보는 동시에 고려가 이루어진다. 단지 운용자의 명령을 우선적으로 실행하기 위하여 명령은 행위에 비하여 우선순위를 높게 설정한다.
즉, 310 에서 원격 운용자가 장애물을 인지하고 자선의 이동이 필요하다고 판단하면, 320 에서 원격 운용자에 의해서 전달된 정보를 이용하여 회피와 이동 명령이 명령관리모듈(40)에서 생성되고, 동시에 회피 명령과 이동 명령에 대한 활성화가 이루어진다(330).
마찬가지로 무인 이동체의 센싱/인지모듈(60)에서 장애물, 익수자, 경유점 등의 인지가 이루어지면(340), 해당 이벤트 정보가 행위관리모듈(10)에 전달된다(350). 그리고 행위관리모듈(10)에서 해당 행위에 대한 회피 행위, 이동 행위, 추종 행위 등에 대한 활성화가 이루어진다(360).
330과 360에서 활성화된 명령과 행위들은 최적화모듈(30)에 전달되고, 도 3에 도시된 행동공간 내 최적 행동 산출과정을 통해서 최적 행위 또는 명령의 수행을 위한 판단을 수행한다(370).
이 과정에서 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 목표 침로의 순서쌍을 최적 행동으로 설정한다. 따라서 본 발명에 따르면, 무인 이동체는 전달받은 이벤트에 따라서 익수자를 발견하거나 추종선박이 존재할 때, 이동행위를 수행한다. 무인 이동체는 고정 장애물과 회피선박이 발견되면 회피 행위를 수행한다. 그리고 원격 운용자의 이동과 회피 명령에도 각각 이동행위와 회피 행위를 수행한다. 본 발명에서 회피 행위는 이동행위보다 가중치가 높고, 운용자의 명령이 행위보다 가중치가 높게 설정된다.
다음은 본 발명의 일 실시예에 따른 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치를 시뮬레이션 수행하는 과정을 설명한다.
도 6에 도시하고 있는 바와 같이 본 발명의 유용성을 검증하기 위하여 시뮬레이션 환경을 조성하고, 도 7에 도시하는 시뮬레이션 환경에서 무인 이동체의 자율임무 수행을 확인하였다.
시뮬레이션은 미리 설정된 전역경로와 고정장애물 3대, 이동장애물 1척, 무인 이동체가 구출해야 하는 조난자 2명으로 구성되어 있다. 무인 이동체는 행위 기반 구조에 기반하여 각 상황에 맞는 행동을 계산하며, 운용자가 중간에 내리는 명령을 수행하면서 자동 임무를 수행한다.
시뮬레이션 과정에서 각 임무의 탐지 및 인식 거리는 300m이고, 임무의 완료는 20m 이내로 임무에 접근할 경우로 가정하였다. 각 행위를 실행하기 위한 행위의 가중치는 도 8과 같이 설정하였다.
이때 행위의 가중치는 가중치의 절대치보다는 행위의 우선순위인 상대값이 큰 의미를 가지며, 유사한 이벤트에 대하여 운용자의 명령이 무인선의 행위에 비하여 높은 우선순위를 갖기 때문에 더 높은 가중치를 부여하였다. 또한, 장애물 회피와 같이 무인 이동체의 안전을 위협하는 상황에 대한 가중치는 명령 및 행위에 상관없이 높은 가중치를 가지며, 상대적으로 임무를 수행하거나 이동하는 명령 및 행위는 낮은 가중치를 갖도록 설계한다.
도 9 내지 도 11은 각각 사용자 명령이 존재하지 않는 경우, 이동 명령이 존재하는 경우, 회피 명령이 존재하는 경우의 주요 시간별 결과를 나타내고 있다.
각 결과 그래프의 좌측은 무인 이동체의 시간별 임무 수행을 나타내고, 우측은 그 순간의 무인 이동체의 속도 좌표계에서의 행동 공간 내 효용 함수를 나타낸다. 임무 수행 묘사 도면에서 흑색 실선은 무인 이동체의 전역경로(전체경로계획) 이고, 흑색 파선은 무인 이동체의 실제 이동 경로이다. 청색 오각형은 무인 이동체를 나타내고, 황색 오각형은 이동 장애물을 나타낸다. 그리고 적색, 녹색, 자색 원은 각각 고정 장애물, 익수자, 이동명령 또는 회피명령을 나타내고, 회색 실선은 현재 활성화된 이벤트를 나타낸다.
이에 따르면, 도 9는 사용자의 명령이 존재하지 않는 경우에 주어진 전역경로를 추종하며, 무인 이동체가 처한 상황에 따라서 고정 및 이동 장애물을 회피하고, 익수자를 구출하면서 최종 경유점에 도달하는 시뮬레이션 결과를 나타낸다.
도 10은 도 9와 같은 시나리오에서 운용자가 이동 명령을 내리는 156초 이전까지는 같은 임무 수행 결과를 나타내고, 156초와 162초 사이에 이동 명령 수신 후, 이동 명령을 수행한다. 이때 단순히 운용자의 이동 명령만을 수행하는 것이 아니라 이동 명령 중 나타나는 상황에 적절히 대응하여 첫번째 이동 명령 완료 후 익수자를 구출하기 위한 행위를 시도하는 것을 확인할 수 있다.
또한 도 11은 사용자의 회피 명평이 존재하는 경우 해당 이동 장애물에 대하여 적절한 회피 동작을 수행하는 것을 확인 가능하고, 사용자의 명령 뿐만 아니라 자율 임무 수행 중에 탐지/인식된 익수자에 대하여 구출 행위를 하거나 고정장애물을 회피하는 것을 확인할 수 있다.
이와 같이 본 발명은 무인 이동체의 자율 임무 수행 중, 마주치는 상황을 익수자 구조 및 장애물 조우로 정의하고, 해당 상황의 해결을 위한 효용 함수를 설계하였다. 그리고 운용자의 명령을 이동과 회피 행위로 정의하고, 해당 명령을 행위로 변경하여 무인 이동체가 운용자의 명령을 적절히 반영할 수 있도록 한다. 그리고 설계된 행위 및 명령과 이를 활용하기 위한 행위기반 구조를 검증하기 위하여 시뮬레이션을 진행하고, 시뮬레이션 결과를 정성적으로 평가 시, 운용자의 명령과 행위기반 구조 기반의 무인 이동체의 상황에 따라서 적절한 행동을 선택함을 확인할 수 있다.
이상에서 설명된 본 발명은 컴퓨팅 디바이스를 포함하는 컴퓨팅 환경에서 구현된다. 컴퓨팅 디바이스는 다른 단말과 신호를 송수신하는 모든 형태의 컴퓨팅 디바이스일 수 있다.
컴퓨팅 디바이스는 적어도 하나의 프로세서, 컴퓨터 판독 가능한 저장매체 및 통신버스를 포함한다. 프로세서는 컴퓨팅 디바이스로 하여금 앞서 언급된 실시예에 따라 동작하도록 제어할 수 있다. 프로세서는 컴퓨터 판독 가능한 저장매체에 저장된 하나 이상의 프로그램을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능한 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장매체는 컴퓨터 실행 가능 명령어 내지 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램은 프로세서에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 디바이스에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스는 프로세서, 컴퓨터 판독 가능한 저장 매체를 포함하여 컴퓨팅 장치의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 디바이스는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스 및 하나 이상의 통신 인터페이스를 포함할 수 있다. 입출력 인터페이스 및 통신 인터페이스는 통신 버스에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스를 통해 컴퓨팅 디바이스의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치는 컴퓨 디바이스를 구성하는 일 컴포넌트로서 컴퓨팅 디바이스의 내부에 포함될 수도 있고, 컴퓨팅 디바이스와는 구별되는 별개의 장치로 컴퓨팅 디바이스와 연결될 수도 있다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10 : 행위관리모듈
20 : 행위의 병렬집합모듈
30 : 최적화모듈
40 : 명령관리모듈
50 : 명령의 병렬집합모듈
60 : 센싱/인지모듈
70 : 원격시스템

Claims (28)

  1. 센싱/인지모듈에서 수신한 이벤트 정보를 기반으로 이벤트 정보에 대응하는 행위를 생성하고, 생성된 행위 중에서 무인 이동체가 수행해야 하는 특정 행위를 자극하고, 수행 완료된 이벤트에 대한 행위는 제거하는 행위관리모듈;
    원격시스템으로부터 명령을 전달받는 동시에 해당 명령에 해당하는 행위를 자극하고, 수행이 완료된 행위는 명령을 제거하는 명령관리모듈;
    행위관리모듈과 명령관리모듈의 관리를 받는 여러 명령과 여러 행위의 병렬집합모듈; 및
    병렬집합모듈에서 발생한 명령과 행위를 동시에 고려하되, 명령을 행위에 비하여 우선순위를 높게 설정하고, 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 침로의 순서쌍을 최적행동으로 설정하는 최적화모듈을 포함하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  2. 청구항 1에 있어서,
    병렬집합모듈은, 이벤트 정보에 따라서 이동행위를 설계하고, 이동행위는 자선의 속도 좌표계로 이루어진 행동공간 내에서 추종제어를 이용하여 이벤트 발생지점으로 이동하는 목적함수를 생성하며, 행동공간 내에서 이동행위의 효용함수는 수학식 4로 표현되는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
    [수학식 4]
    Figure 112021143044564-pat00092

    여기서
    Figure 112021143044564-pat00093
    와
    Figure 112021143044564-pat00094
    는 행동 공간 내 자선의 행동을 의미하고,
    Figure 112021143044564-pat00095
    와
    Figure 112021143044564-pat00096
    는 행동 공간의 속도와 방위각의 가중치를 의미한다.
  3. 청구항 2에 있어서,
    병렬집합모듈은 행동공간 내에서 최근접거리(DCPA)를 기반으로 목적함수를 생성하고, 행동공간 내에서 회피행위의 효용함수는 수학식 5로 표현되는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
    [수학식 5]
    Figure 112021143044564-pat00097

    여기서 DCPAi는 순서쌍
    Figure 112021143044564-pat00098
    에서의 최근접 거리를 의미하고,
    Figure 112021143044564-pat00099
    와
    Figure 112021143044564-pat00100
    는 회피 행위를 생성하기 위한 최근접거리의 하계(Lower bound) 문턱값과 상계(Higher bound)을 의미한다.
  4. 청구항 3에 있어서,
    최적화모듈은 행위에 비하여 우선순위가 높게 설정되는 명령은 행위와 같은 행동 공간 내에서 반영되고, 이동 명령과 회피 명령에 대한 효용 함수는 각 명령에 대응되는 수학식 4, 수학식 5와 같고,
    명령이 반영된 최적의 행동은 수학식 3으로 표현되는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
    [수학식 3]
    Figure 112021143044564-pat00101

    여기서
    Figure 112021143044564-pat00102
    는 k번째 명령의 가중치를 의미하고,
    Figure 112021143044564-pat00103
    는 k번째 명령의 효용 함수를 나타낸다. 명령 또한 행위와 마찬가지로 명령의 종류에 따라 그 우선순위가 달라지거나, 또는 운용에 따라 그 우선순위가 달라지므로 가중치를 통하여 명령 수행 순위를 조절 가능하다. 그리고 V와 ψ는 속력과 침로를 나타내고,
    Figure 112021143044564-pat00104
    는 최적 행동의 순서쌍을 의미하며,
    Figure 112021143044564-pat00105
    는 k번째 행위의 가중치를 의미하고, fk는 k번째 행위의 효용함수를 나타내며, 무인 이동체가 행해야 하는 우선순위가 높은 행위일수록 높은 가중치를 갖는다.
  5. 청구항 1에 있어서,
    행위관리모듈은 전달받은 이벤트 정보에 기반해서 익수자와 추종선박이 발생되면 이동행위, 고정 장애물을 발생하면 회피행위, 이동 장애물을 발생하면 회피행위와 규정준수행위를 동시에 수행하는 반응구조로 설계하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  6. 청구항 5에 있어서,
    규정준수행위는 장애물 조우시 국제해상충돌예방규칙을 생성하도록 구성되는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  7. 청구항 5에 있어서,
    행위관리모듈은 임무 시작 전 설정되고, 임무 도중 자동으로 생성된 일련의 경유점을 추종하는 역할을 수행하며, 이동행위의 순차적 집합으로 구현되는 경로추종행위를 설계하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  8. 청구항 7에 있어서,
    행위관리모듈은 목표 경유점에 도착시 다음 경유점으로 변경하는 경유점 변경 알고리즘을 포함하고, 경유점 변경 알고리즘을 통하여 순차적인 경유점 추종을 수행하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  9. 청구항 1에 있어서,
    명령관리모듈에서 행위관리모듈과 상호작용을 위한 해당 명령은 이동과 회피로 설계하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  10. 청구항 1에 있어서,
    최적화모듈은 행위의 가중치는 가중치의 절대치보다는 행위의 우선순위인 상대값이 큰 의미를 갖고, 유사한 이벤트에 대하여 운용자의 명령이 행위에 비하여 높은 우선순위를 갖도록 더 높은 가중치를 부여하고, 장애물 회피와 같이 무인 이동체의 안전을 위협하는 상황에 대한 가중치는 명령 및 행위에 상관없이 높은 가중치를 갖으며, 임무를 수행하거나 이동하는 명령 및 행위는 상대적으로 낮은 가중치를 갖도록 설정된 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  11. 청구항 10에 있어서,
    최적화모듈은 여러 행위가 복합적으로 행해질 때, 최종 목표 행동을 계산하기 위하여 행동공간 내에서 행동 평균방법을 이용한 행동선택방법을 사용하고, 무인 이동체에서 효용함수로 적용하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  12. 청구항 11에 있어서,
    최적화모듈은 소프트웨어 모듈로 로봇 오퍼레이팅 시스템을 이용한 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  13. 청구항 1에 있어서,
    행위관리모듈은 센싱/인지모듈에서 전달된 이벤트와 이에 대응하는 행위의 조합을 일대일 또는 다대다로 조합되도록 구성하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  14. 청구항 13에 있어서,
    행위관리모듈은 생성된 모든 행위에 대해서 기결정된 일정반경 이내에 존재하는 이벤트에 대해서 활성화상태로 제어하는 운용자 개입이 가능한 무인 이동체의 자율임무수행장치.
  15. 명령관리모듈에서 원격시스템에서 장애물을 인지하고, 회피명령과 이동명령을 활성화시키는 단계;
    행위관리모듈에서 센싱/인지모듈에서 감지한 장애물, 익수자, 경유점에 대한 이벤트 정보에 기반해서 회피행위, 이동행위, 추종행위를 활성화시키는 단계;
    최적화모듈에서 활성화된 명령과 행위를 동시에 고려하되, 명령을 행위에 비하여 우선순위를 높게 설정하고, 명령과 행위의 효용함수와 그에 따른 가중치를 곱한 합을 최대화하는 목표 속력과 침로의 순서쌍을 최적행동으로 설정하는 단계를 포함하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  16. 청구항 15에 있어서,
    최적화모듈에서 이벤트 정보에 따라서 이동행위를 설계하고, 이동행위는 자선의 속도 좌표계로 이루어진 행동공간 내에서 추종제어를 이용하여 이벤트 발생지점으로 이동하는 목적함수를 생성하며, 행동공간 내에서 이동행위의 효용함수는 수학식 4로 표현되는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
    [수학식 4]
    Figure 112021143044564-pat00106

    여기서
    Figure 112021143044564-pat00107
    와
    Figure 112021143044564-pat00108
    는 행동 공간 내 자선의 행동을 의미하고,
    Figure 112021143044564-pat00109
    와
    Figure 112021143044564-pat00110
    는 행동 공간의 속도와 방위각의 가중치를 의미한다.
  17. 청구항 16에 있어서,
    최적화모듈에서 행동공간 내에서 최근접거리(DCPA)를 기반으로 목적함수를 생성하고, 행동공간 내에서 회피행위의 효용함수는 수학식 5로 표현되는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
    [수학식 5]
    Figure 112021143044564-pat00111

    여기서 DCPAi는 순서쌍
    Figure 112021143044564-pat00112
    에서의 최근접 거리를 의미하고,
    Figure 112021143044564-pat00113
    와
    Figure 112021143044564-pat00114
    는 회피 행위를 생성하기 위한 최근접거리의 하계(Lower bound) 문턱값과 상계(Higher bound)을 의미한다.
  18. 청구항 17에 있어서,
    최적화모듈에서 운용자의 명령을 반영하기 위하여, 행위의 효용함수에 명령의 효용함수를 추가적으로 고려하고, 명령은 행위와 같은 행동 공간 내에서 함께 반영되며, 이동 명령과 회피 명령에 대한 효용 함수는 각 명령에 대응되는 수학식 4, 수학식 5와 같고, 명령의 우선순위는 행위에 비하여 높고, 명령이 반영된 최적의 행동은 수학식 3으로 표현되는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
    [수학식 3]
    Figure 112021143044564-pat00115

    여기서
    Figure 112021143044564-pat00116
    는 k번째 명령의 가중치를 의미하고,
    Figure 112021143044564-pat00117
    는 k번째 명령의 효용 함수를 나타낸다. 명령 또한 행위와 마찬가지로 명령의 종류에 따라 그 우선순위가 달라지거나, 또는 운용에 따라 그 우선순위가 달라지므로 가중치를 통하여 명령 수행 순위를 조절 가능하다. 그리고 V와 ψ는 속력과 침로를 나타내고,
    Figure 112021143044564-pat00118
    는 최적 행동의 순서쌍을 의미하며,
    Figure 112021143044564-pat00119
    는 k번째 행위의 가중치를 의미하고, fk는 k번째 행위의 효용함수를 나타내며, 무인 이동체가 행해야 하는 우선순위가 높은 행위일수록 높은 가중치를 갖는다.
  19. 청구항 15에 있어서,
    행위관리모듈에서 전달받은 이벤트 정보에 기반해서 익수자와 추종선박이 발생되면 이동행위, 고정 장애물을 발생하면 회피행위, 이동 장애물을 발생하면 회피행위와 규정준수행위를 동시에 수행하는 반응구조로 설계하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  20. 청구항 19에 있어서,
    규정준수행위는 장애물 조우시 국제해상충돌예방규칙을 생성하도록 구성되는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  21. 청구항 19에 있어서,
    행위관리모듈에서 임무 시작 전 설정되고, 임무 도중 자동으로 생성된 일련의 경유점을 추종하는 역할을 수행하며, 이동행위의 순차적 집합으로 구현되는 경로추종행위를 설계하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  22. 청구항 21에 있어서,
    행위관리모듈에서 목표 경유점에 도착시 다음 경유점으로 변경하는 경유점 변경 알고리즘을 포함하고, 경유점 변경 알고리즘을 통하여 순차적인 경유점 추종을 수행하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  23. 청구항 15에 있어서,
    명령관리모듈에서 행위관리모듈과 상호작용을 위한 해당 명령은 이동과 회피로 설계하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  24. 청구항 15에 있어서,
    최적화모듈에서 행위의 가중치는 가중치의 절대치보다는 행위의 우선순위인 상대값이 큰 의미를 갖고, 유사한 이벤트에 대하여 운용자의 명령이 행위에 비하여 높은 우선순위를 갖도록 더 높은 가중치를 부여하고, 장애물 회피와 같이 무인 이동체의 안전을 위협하는 상황에 대한 가중치는 명령 및 행위에 상관없이 높은 가중치를 갖으며, 임무를 수행하거나 이동하는 명령 및 행위는 상대적으로 낮은 가중치를 갖도록 설정된 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  25. 청구항 24에 있어서,
    최적화모듈에서 여러 행위가 복합적으로 행해질 때, 최종 목표 행동을 계산하기 위하여 행동공간 내에서 행동 평균방법을 이용한 행동선택방법을 사용하고, 무인 이동체에서 효용함수로 적용하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  26. 청구항 25에 있어서,
    최적화모듈은 소프트웨어 모듈로 로봇 오퍼레이팅 시스템을 이용한 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  27. 청구항 15에 있어서,
    행위관리모듈에서 전달된 이벤트와 이에 대응하는 행위의 조합을 일대일 또는 다대다로 조합되도록 구성하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
  28. 청구항 27에 있어서,
    행위관리모듈에서 생성된 모든 행위에 대해서 기결정된 일정반경 이내에 존재하는 이벤트에 대해서 활성화상태로 제어하는 운용자 개입이 가능한 무인 이동체의 자율임무수행방법.
KR1020200071588A 2020-06-12 2020-06-12 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치 KR102410738B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200071588A KR102410738B1 (ko) 2020-06-12 2020-06-12 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071588A KR102410738B1 (ko) 2020-06-12 2020-06-12 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210154501A KR20210154501A (ko) 2021-12-21
KR102410738B1 true KR102410738B1 (ko) 2022-06-20

Family

ID=79165597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071588A KR102410738B1 (ko) 2020-06-12 2020-06-12 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치

Country Status (1)

Country Link
KR (1) KR102410738B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823029B1 (ko) * 2016-01-27 2018-01-31 대우조선해양 주식회사 선박의 장애물 관리 시스템 및 장애물 관리 방법
KR102025202B1 (ko) 2019-01-02 2019-09-25 한화시스템 주식회사 무인수상정 원격 통제 시스템

Also Published As

Publication number Publication date
KR20210154501A (ko) 2021-12-21

Similar Documents

Publication Publication Date Title
Woo et al. Collision avoidance for an unmanned surface vehicle using deep reinforcement learning
JP6854549B2 (ja) 強化学習に基づくａｕｖ行動計画及び動作制御の方法
KR101831264B1 (ko) 조종가능 플랫폼용의 자율 항해 시스템 및 방법
US10948907B2 (en) Self-driving mobile robots using human-robot interactions
CA3067576A1 (en) Cooperative autonomous navigation systems and methods for multiple unmanned surface vehicles considering communication
Praczyk Neural anti-collision system for Autonomous Surface Vehicle
CN111507372A (zh) 方法和装置
JP2020525335A (ja) 自動運転システムの人間による監視
Arrichiello et al. Multi-robot collaboration with range-limited communication: Experiments with two underactuated ASVs
EP4202785A1 (en) Hazard exploration, estimation, and response system and method
Wu et al. Multi-vessels collision avoidance strategy for autonomous surface vehicles based on genetic algorithm in congested port environment
KR102410738B1 (ko) 운용자 개입이 가능한 무인 이동체의 자율임무수행방법 및 장치
Belbachir et al. A cooperative architecture for target localization using multiple AUVs
KR20080072335A (ko) 지능형 로봇을 위한 센싱, 구동 및 실시간 행동을 포함한리액티브 층 소프트웨어의 구조
WO2019144298A1 (zh) 辅助移动方法、移动装置及可移动平台
Elmokadem A hybrid strategy for safe navigation of mobile robots in partially-known dynamic environments
US11740629B2 (en) Control device for autonomous operating machines, control method for autonomous operating machines, and recording medium having control program for autonomous operating machines stored thereon
US20220301440A1 (en) Conflict detection and avoidance along a current route of a robot
KR102636551B1 (ko) 무인기의 저고도 운용을 위한 자율 지형 충돌 회피 장치 및 방법
KR102070110B1 (ko) 자율 무인 시스템을 위한 지능 에이전트 시스템
Albaker et al. Straight projection conflict detection and cooperative avoidance for autonomous unmanned aircraft systems
Almeida et al. Tracking multiple moving objects for mobile robotics navigation
Li et al. LSDA-APF: A Local Obstacle Avoidance Algorithm for Unmanned Surface Vehicles Based on 5G Communication Environment.
CN113110547B (zh) 一种微型航空飞行器的飞行控制方法、装置及设备
Sun et al. Time Sequence Prediction for Unmanned Surface Vehicle Collision Avoidance based on LSTM Network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant