KR102391771B1 - 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 - Google Patents
이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 Download PDFInfo
- Publication number
- KR102391771B1 KR102391771B1 KR1020200040355A KR20200040355A KR102391771B1 KR 102391771 B1 KR102391771 B1 KR 102391771B1 KR 1020200040355 A KR1020200040355 A KR 1020200040355A KR 20200040355 A KR20200040355 A KR 20200040355A KR 102391771 B1 KR102391771 B1 KR 102391771B1
- Authority
- KR
- South Korea
- Prior art keywords
- moving object
- binarized
- autonomous
- autonomous moving
- space map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims description 17
- 238000011017 operating method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 239000000575 pesticide Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000009333 weeding Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Abstract
본 발명은 자율 이동체에서 카메라를 통해 촬영한 영상을 이용하여 이진화된 3차원 공간맵을 생성하고, 자율 이동체가 이동하면서 이진화된 3차원 공간맵을 근거로 충돌을 회피하는 이동 경로를 신속하게 탐색할 수 있도록 해주는 기술에 관한 것이다.
본 발명에 따른 이진화된 3차원 공간맵 기반의 충돌 회피 기능을 갖는 자율 이동체 운영 방법은, 자율 이동체가 대상 공간을 자율적으로 이동하면서 자율 이동체에 구비된 스테레오 카메라를 통해 획득한 촬영영상과 해당 이동체 위치정보를 이용하여 이진화된 3차원 공간맵을 생성하는 공간맵 생성 과정과, 상기 공간맵 생성 과정을 통해 생성된 이진화된 3차원 공간맵에서 장애물 영역을 회피하도록 이동경로를 생성하고, 이동경로에 따라 자율 이동체를 이동시키도록 제어하는 자율 이동 제어 과정을 포함하여 구성되고, 상기 공간맵 생성 과정은 자율 이동체에 구비된 스테레오 카메라로부터 둘 이상의 촬영영상을 획득하고, 스테레오 비전처리를 통해 촬영영상 프레임 이미지를 구성하는 각 픽셀에 대한 깊이 값을 산출하는 제1 단계와, 촬영영상에서 밝기 성분으로 이루어지는 밝기 프레임을 생성하고, 밝기 프레임의 히스토그램을 분석하여 에지 문턱값을 결정하는 제2 단계, 에지 문턱값을 근거로 해당 프레임을 이진화하는 제3 단계 및, 자율 이동체의 위치정보와 이진화된 프레임의 이동체 위치정보 기준의 각 픽셀별 깊이 값을 정합하여 이진화된 3차원 공간맵을 생성하는 제4 단계를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따른 이진화된 3차원 공간맵 기반의 충돌 회피 기능을 갖는 자율 이동체 운영 방법은, 자율 이동체가 대상 공간을 자율적으로 이동하면서 자율 이동체에 구비된 스테레오 카메라를 통해 획득한 촬영영상과 해당 이동체 위치정보를 이용하여 이진화된 3차원 공간맵을 생성하는 공간맵 생성 과정과, 상기 공간맵 생성 과정을 통해 생성된 이진화된 3차원 공간맵에서 장애물 영역을 회피하도록 이동경로를 생성하고, 이동경로에 따라 자율 이동체를 이동시키도록 제어하는 자율 이동 제어 과정을 포함하여 구성되고, 상기 공간맵 생성 과정은 자율 이동체에 구비된 스테레오 카메라로부터 둘 이상의 촬영영상을 획득하고, 스테레오 비전처리를 통해 촬영영상 프레임 이미지를 구성하는 각 픽셀에 대한 깊이 값을 산출하는 제1 단계와, 촬영영상에서 밝기 성분으로 이루어지는 밝기 프레임을 생성하고, 밝기 프레임의 히스토그램을 분석하여 에지 문턱값을 결정하는 제2 단계, 에지 문턱값을 근거로 해당 프레임을 이진화하는 제3 단계 및, 자율 이동체의 위치정보와 이진화된 프레임의 이동체 위치정보 기준의 각 픽셀별 깊이 값을 정합하여 이진화된 3차원 공간맵을 생성하는 제4 단계를 포함하여 구성되는 것을 특징으로 한다.
Description
본 발명은 자율 이동체에서 카메라를 통해 촬영한 영상을 이용하여 이진화된 3차원 공간맵을 생성하고, 자율 이동체가 이동하면서 이진화된 3차원 공간맵을 근거로 충돌을 회피하는 이동 경로를 신속하게 탐색할 수 있도록 해주는 기술에 관한 것이다.
최근 첨단 과학기술의 개발 및 발전으로 운전자가 직접 운전하지 않고도 이동체 스스로 운전이 가능하도록 하는 자율 이동체에 대한 연구가 활발하게 이루어지고 있다.
이러한 자율 이동체로는 대표적으로 자율주행 자동차와 무인 항공기가 있다.
자율주행 자동차는 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악해 자동으로 주행하는 자동차로, 안전한 주행을 위해 주행 환경을 인식하여 주행 경로를 생성하고 장애물이나 선행차량을 인식하여 장애물이나 선행차량과 충돌을 회피할 수 있도록 하는 장치 및 알고리즘이 개발되고 있는 실정이다.
무인 항공기 즉, 드론(Drone)은 조종사가 탑승하지 않고 무선전파 유도에 의해 비행과 조종이 가능한 비행기나 헬리콥터 모양의 무인기를 뜻하는 것으로, 애초 군사용으로 개발되었지만 최근에는 고공영상·사진 촬영과 배달, 기상정보 수집, 제초 작업 등 다양한 분야에서 활용되고 있다.
이 중에서, 제초 작업과 같은 농업 분야에서 활용되는 농업용 드론은, 제초용 농약을 저장하는 농약 용기와 이를 분사하는 분사기를 탑재하고 제초 작업을 수행할 논이나 밭 등의 작업 구역을 비행하면서 농약을 분사하기 때문에, 인력 대비 효율이 매우 높은 것으로 알려져 있다.
일반적으로 이와 같은 자율 이동체가 주행할 때, 주행하는 경로에는 다수의 장애물들이 존재하며, 이러한 자율 이동체가 안전하게 주행하기 위해서는 이동 경로상에 위치하는 장애물들을 탐지하여 자율적으로 회피할 수 있는 충돌 회피 기능이 필수적이다.
장애물을 탐지하기 위한 기술에는 센서기반, 레이더기반, 영상처리기반 기법 등이 적용 될 수 있으며, 이 중 자율 이동체의 동체에 소형 카메라를 설치하여 영상정보를 이용하여 충돌을 방지하는 영상처리 기반 충돌회피 기법들은 레이더 등의 여타 능동적 센서들과 달리 전력소모, 탑재 중량이 적다는 장점이 있어 일반적으로 많이 적용되고 있다.
그러나, 촬영 영상을 이용하여 장애물을 판단하는 경우, 카메라를 통해 촬영된 컬러 영상을 이용하여 공간처리를 수행하게 되는 바, 자율 이동체가 이동하면서 공간처리를 수행하는 경우, 관성에 의해 도달 예측 지점을 연산하는 등의 처리 시간이 오래 걸리게 되고, 이로 인해 이동중인 자율 이동체가 장애물을 인지하기 전에 이미 장애물의 위치에 도달하여 장애물과 충돌하게 되는 문제가 발생될 수 있다.
즉, 자율 이동체는 이동 방향에 대한 관성으로 방향 전환이나 제동시 중량과 속도에 의해 이동방향으로 일정 거리 더 진행하기 때문에 장애물과의 충돌을 위한 빠른 연산이 필요하다.
또한, 자율 이동체가 이동하는 경로나 장애물의 상태는 시간이 지남에 따라 변경될 수 있다. 예컨대, 자율 주행차량의 경우 새로운 도로가 개통되거나 이전 도로가 폐쇄되는 등의 상황이 발생될 수 있다. 또한, 농지에서 농작물을 관리하기 위해 이용되는 자율 비행체의 경우, 농작물이 성장하여 장애물의 크기가 변경되는 등의 상황이 발생될 수 있다.
이에, 자율 이동체가 안정적으로 자율 주행을 수행하기 위해서는 이동 경로를 탐색하기 위한 기준 공간맵에서 현재 변화된 위치와 변화 상태를 업데이트하는 절차를 별도로 수행할 것이 요구된다.
그러나, 공간맵의 변화를 변화시마다 인식하여 이에 대한 정보를 갱신하기에는 공간맵의 크기에 따라 정보 수집을 위한 비용 부담 및 시간 소요의 큰 단점이 있다.
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 자율 이동체를 통해 수집된 촬영영상을 이용하여 이진화된 3차원 공간맵을 생성하고, 이진화된 3차원 공간맵을 근거로 자율 이동체가 충돌을 회피하도록 이동 경로를 설정함으로써, 자율 이동체가 보다 신속하게 충돌 회피 경로를 연산할 수 있도록 해 주는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법을 제공함에 그 기술적 목적이 있다.
또한, 본 발명은 자율 이동체가 이동하면서 초음파 센서를 통해 감지된 객체정보를 이용하여 기 등록된 이진화된 3차원 공간맵을 자동 갱신할 수 있도록 해 주는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법을 제공함에 또 다른 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 자율 이동체가 대상 공간을 자율적으로 이동하면서 자율 이동체에 구비된 스테레오 카메라를 통해 획득한 촬영영상과 해당 이동체 위치정보를 이용하여 이진화된 3차원 공간맵을 생성하는 공간맵 생성 과정과, 상기 공간맵 생성 과정을 통해 생성된 이진화된 3차원 공간맵에서 장애물 영역을 회피하도록 이동경로를 생성하고, 이동경로에 따라 자율 이동체를 이동시키도록 제어함과 더불어, 이동하면서 획득한 객체정보를 근거로 이진화된 3차원 공간맵을 갱신하는 자율 이동 제어 과정을 포함하여 구성되고, 상기 공간맵 생성 과정은 자율 이동체에 구비된 스테레오 카메라로부터 둘 이상의 촬영영상을 획득하고, 스테레오 비전처리를 통해 촬영영상 프레임 이미지를 구성하는 각 픽셀에 대한 깊이 값을 산출하는 제1 단계와, 촬영영상에서 밝기 성분으로 이루어지는 밝기 프레임을 생성하고, 밝기 프레임의 히스토그램을 분석하여 에지 문턱값을 결정하는 제2 단계, 에지 문턱값을 근거로 해당 프레임을 이진화하되, 이진화된 프레임에서 에지 패턴이 개방 패턴으로 해당 에지 패턴의 전체 길이에 대한 해당 에지 패턴의 양단 사이의 개방 구간의 길이의 비율이 일정 미만인 경우, 해당 에지 패턴의 양단을 연결하여 패쇄 패턴으로 보정하는 제3 단계 및, 자율 이동체의 위치정보와 이진화된 프레임의 이동체 위치정보 기준의 각 픽셀별 깊이 값을 정합하여 이진화된 3차원 공간맵을 생성하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법이 제공된다.
삭제
삭제
삭제
삭제
삭제
삭제
또한, 상기 자율 이동 제어 과정은 자율 이동체에서 이진화된 3차원 공간맵에서 폐쇄 영역을 갖는 에지 패턴을 장애물 영역으로 설정하는 제11 단계와, 장애물 영역을 회피하도록 이동 경로를 생성하고, 이에 따른 이동 제어를 수행함과 더불어 스테레오 카메라를 통해 전방 촬영 영상을 획득하는 제12 단계, 자율 이동체의 이동 제어와 더불어 초음파 센서를 구동하여 초음파 센서에서 송출된 초음파 신호의 수신을 근거로 이동 경로 전방에 위치하는 객체를 인지함과 더불어 해당 객체와 거리를 산출하고, 객체와의 거리를 근거로 상기 제12 단계에서 획득된 촬영영상에서 해당 객체를 추출한 후 객체의 형상을 분석하여 객체가 이동 객체인지의 여부를 판단하는 제13 단계 및, 상기 객체와의 거리를 근거로 현재 이동 경로를 분석하여 해당 객체를 회피하지 않도록 설정된 경우, 해당 객체를 회피하도록 이동 경로를 갱신함과 더불어 해당 객체가 장애물 영역으로 설정되도록 기 저장된 이진화된 3차원 공간맵을 갱신하되, 상기 제13 단계에서 인식된 객체가 이동 객체인 경우에는 현재 이동 경로만 갱신하고, 인식된 객체가 이동 객체가 아닌 경우에는 기 저장된 이진화된 3차원 공간맵을 추가로 갱신하는 제14 단계를 포함하여 구성되는 것을 특징으로 하는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법이 제공된다.
삭제
삭제
또한, 상기 공간맵 생성과정에서 생성된 이진화된 3차원 공간맵은 문자정보가 표현되도록 구성되고, 상기 자율 이동 제어 과정에서 자율 이동체는 갱신된 이진화된 공간맵정보를 서비스 서버로 전송하며, 서비스 서버는 문자정보가 표현된 이진화된 3차원 공간맵정보를 근거로 주변 변화정보를 관리하는 것을 특징으로 하는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법이 제공된다.
삭제
삭제
본 발명에 의하면, 이진화된 3차원 공간맵을 이용하여 자율 이동체의 관성에 따른 도달 예측 시간을 줄임으로써, 예측 경로상에 등장하는 다양한 충돌 객체들에 대해 보다 안정적으로 대응할 수 있다. 즉, 자율 이동체가 안전하게 장애물과의 충돌을 회피하여 경로를 재설정하기 위해서는 보다 신속하게 장애물을 인지하여 충분히 충돌 회피 경로를 재설정할 수 있는 시간을 확보할 수 있다.
또한, 본 발명에 의하면, 자율 이동체가 이동하면서 초음파 센서를 통해 획득한 장애물 정보를 기 등록된 이진화된 3차원 공간맵에 매핑하여 자동 갱신할 수 있다. 즉, 자율 이동체가 이동하면서 카메라를 통해 획득한 촬영영상을 이용하여 이진화된 3차원 공간맵을 자동 갱신함으로써, 자율 이동체가 이동한 공간에 대한 주변 환경 변화정보를 신속하게 수집할 수 있다. 예컨대, 자율 주행차량으로부터 수집된 도로 주변 건물의 간판명칭의 변화정보를 이용하여 별도의 조사요원들을 파견하지 않고서도 건물들에 대한 입주상태정보를 보다 신속하게 확보하는 것이 가능하다.
도1은 본 발명이 적용되는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 자율 이동체(100)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 제어부(180)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도4는 도3에 도시된 영상 처리블럭(181)에서 에지 문턱값을 결정하기 위한 방법을 설명하기 위한 도면.
도5는 도3에 도시된 공간정보 생성블럭(182)에서 이진화된 3차원 공간맵을 생성하는 방법을 설명하기 위한 도면.
도6은 도3에 도시된 공간정보 생성블럭(182)에서 생성된 이진화된 3차원 공간맵을 예시한 도면.
도7은 도3에 도시된 공간정보 생성블럭(182)에서 생성된 이진화된 3차원 공간정보의 에지 패턴을 예시한 도면.
도8은 본 발명에서 이진화된 3차원 공간맵을 생성하는 과정(ST100)을 설명하기 위한 흐름도.
도9는 본 발명에서 자율 이동 제어 과정(ST200)을 설명하기 위한 흐름도.
도2는 도1에 도시된 자율 이동체(100)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 제어부(180)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도4는 도3에 도시된 영상 처리블럭(181)에서 에지 문턱값을 결정하기 위한 방법을 설명하기 위한 도면.
도5는 도3에 도시된 공간정보 생성블럭(182)에서 이진화된 3차원 공간맵을 생성하는 방법을 설명하기 위한 도면.
도6은 도3에 도시된 공간정보 생성블럭(182)에서 생성된 이진화된 3차원 공간맵을 예시한 도면.
도7은 도3에 도시된 공간정보 생성블럭(182)에서 생성된 이진화된 3차원 공간정보의 에지 패턴을 예시한 도면.
도8은 본 발명에서 이진화된 3차원 공간맵을 생성하는 과정(ST100)을 설명하기 위한 흐름도.
도9는 본 발명에서 자율 이동 제어 과정(ST200)을 설명하기 위한 흐름도.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
먼저, 본 발명에서 자율 이동체는 무인으로 이동하는 각종 형태의 객체로서, 자율주행차량, 자율 주행 항공기, 자율 주행 기구, 무인반송차량 등을 포함한다.
예컨대, 자율 이동체는 도로를 주행하는 자율주행차량으로, 도로 주변 영상을 이용하여 해당 주행 도로 및 그 주변 환경정보를 포함하는 3차원 공간맵을 생성할 수 있다. 또한, 본 발명에서 자율 이동체는 농작물이 식재된 농지를 주행하는 자율 주행차량이나, 농지 상공에서 자율 주행하는 자율주행 항공기, 예컨대 드론이 될 수 있다. 이때, 농지에 이용되는 자율주행 항공기는 농작물 관리를 위한 농약 살포 수단 또는 수분 처리수단을 구비하는 농업용 드론이 될 수 있다.
도1은 본 발명이 적용되는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 시스템의 개략적인 구성을 도시한 도면이다.
도1을 참조하면, 본 발명이 적용되는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 시스템은, 자율 이동체(100)와 서비스 서버(200)를 포함한다. 이때, 서비스 서버(200)는 적어도 하나 이상의 자율 이동체(100)와 연동하여 서비스를 제공할 수 있다.
자율 이동체(100)는 이동경로에 따라 자율적으로 대상 공간을 이동하는 이동체로서, 필수적으로 이동을 위한 이동 수단을 구비하며, 이동수단으로는 지면을 주행하기 위한 바퀴나, 공중에서 비행하기 위한 날개부, 또는 프로펠러 등이 될 수 있다.
이러한 자율 이동체(100)는 스테레오 카메라를 통해 획득한 촬영영상과 해당 이동체 위치정보를 이용하여 이진화된 3차원 공간맵을 생성하고, 이진화된 3차원 공간맵에서 장애물 영역을 회피하도록 이동경로를 생성하여 자율 이동체를 이동경로에 따라 이동시킨다.
이때, 자율 이동체(100)는 초음파 센서를 통해 이동경로상에 위치하는 객체를 인식하고, 인식된 객체와의 충돌을 회피하도록 이동 경로를 자동 갱신한다. 그리고, 자율 이동체(100)는 충돌발생시 충돌발생정보를 서비스 서버(200)로 전송한다.
또한, 자율 이동체(100)는 초음파 센서를 통해 인식된 객체에 대응되도록 기 저장된 이진화된 3차원 공간맵을 자동 갱신한다.
서비스 서버(200)는 자율 이동체(100)의 운영을 전체적으로 관리하는 장치로서, 자율 이동체(100)로부터 실시간으로 현재 이동 위치에 대응되는 촬영 영상을 수집하고, 충돌 발생시 해당 충돌 위치가 장애물 영역으로 설정되도록 이진화된 3차원 공간맵을 자동 갱신한다. 또한, 서비스 서버(200)는 사용자 요청을 근거로 이진화된 3차원 공간맵의 장애물 영역에 대한 보정을 수행할 수 있다.
각 자율 이동체(100)는 이동하면서 서로 다른 분할 공간을 촬영하여 이에 대한 이진화된 3차원 공간맵을 생성하고, 서비스 서버(200)는 각 자율 이동체(100)에 의해 생성된 이진화된 3차원 공간맵을 수집하고, 이들을 결합하여 전체 대상 공간에 대한 이진화된 3차원 공간맵을 생성한 후, 전체 대상 공간에 해당하는 이진화된 3차원 공간맵을 각 자율 이동체(100)로 제공할 수 있다. 또한, 하나의 자율 이동체(100)로부터 수신된 이진화된 3차원 공간맵을 타 자율 이동체(100)로 제공할 수 있다.
도2는 도1에 도시된 자율 이동체(100)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도2를 참조하면, 자율 이동체(100)는 스테레오 카메라(110)와 측위 센서(120), 초음파 센서(130), 정보 입출력부(140), 통신부(150), 이동체 구동부(160), 메모리(170) 및 제어부(180)를 포함한다. 그리고, 자율 이동체(100)를 기계적으로 이동시키기 위한 모터 등을 포함하는 이동수단과 자율 이동체(100)의 구동을 위한 동작전원을 공급하는 전원부를 더 포함한다.
스테레오 카메라(110)는 적어도 둘 이상의 카메라가 일정 거리 이격되게 일직선상에 배치되어 동일한 영역을 촬영하도록 구성된다. 이러한 스테레오 카메라(110)는 자율 비행체(100)는 전면에 배치되어 각각 동일 영역에 대한 전면 영상을 획득된다. 스테레오 카메라(110)는 필요에 따라 이동체의 측면 및 후면에도 추가적으로 구비될 수 있다.
측위 센서(120)는 자율 이동체(100)의 현재 위치를 획득하기 위한 것으로, 예컨대, GPS 수신기로 이루어질 수 있다.
초음파 센서(130)는 상기 스테레오 카메라(110)의 촬영 영역과 동일한 영역으로 초음파를 송출하고, 객체에 의해 반사되는 초음파신호를 수신한다.
정보 입출력부(140)는 자율 이동체(100)의 운영을 위한 각종 정보를 입출력하기 위한 것으로, 사용자와의 인터페이스를 수행한다.
통신부(150)는 서비스 서버(200)와의 통신을 수행한다.
이동체 구동부(160)는 자율 이동체(100)를 상하좌우 방향으로 이동함과 더불어, 이동을 정지하도록 해당 이동수단, 예컨대 농업용 드론의 날개부를 기계적으로 움직이도록 제어한다.
메모리(170)는 자율 이동체(100)의 자율 이동을 위한 각종 정보를 저장하는 것으로, 자율 이동체(100)가 이동하는 대상 공간을 포함하는 이진화된 3차원 공간맵정보를 포함한 정보들이 저장된다.
제어부(180)는 자율 이동체(100)의 동작을 전체적으로 제어한다.
이러한 제어부(180)는 도3에 도시된 바와 같이, 영상 처리블럭(181)과 공간정보 생성블럭(182), 이동 제어블럭(183) 및, 공간정보 갱신블럭(184)을 포함한다.
영상 처리블럭(181)은 스테레오 카메라(110)로부터 수신된 각 촬영영상을 이용하여 일정 시간 단위의 프레임 이미지를 생성하고, 스테레오 비전처리를 통해 해당 프레임을 구성하는 각 픽셀에 대한 깊이 값을 산출한다.
또한, 영상 처리블럭(181)은 각 촬영영상에서 밝기, 색상, 채도 특성 기반의 프레임을 각각 생성하고, 우선적으로 밝기 프레임에 대한 이진화처리를 수행한다. 즉, 영상 처리블럭(181)은 하나의 촬영영상에 대해 픽섹별 밝기값들로 이루어진 밝기 프레임과 픽셀별 색상값들로 이루어진 색상 프레임 및 픽셀별 채도값들로 이루어진 채도 프레임을 각각 생성하여 저장한다. 여기서, 영상 처리블럭(181)은 각 촬영영상에 대한 밝기 프레임만 생성하고, 이후 필요시 해당 촬영영상에 대한 색상 프레임과 채도 프레임을 선택적으로 추가 생성할 수 있다.
이때, 영상 처리블럭(181)은 촬영영상에서 추출된 밝기 프레임에 대해 밝기값 보정을 위한 마스킹 필터를 적용한 이후 에지 검출을 수행하기 위한 에지 문턱값을 추출한다. 이때, 밝기 프레임의 각 픽셀은 0~255 범위의 밝기값을 가지며, 평균 분포(Mean Distribution) 또는 가우시안 분포(Gaussian Distribution) 등의 필터값을 갖는 마스킹 필터를 이용하여 밝기 프레임에서 밝기 변화 차이를 보정할 수 있다.
그리고, 영상 처리블럭(181)은 밝기 프레임에 대한 히스토그램을 생성하고, 히스토그램을 분석하여 밝기값의 분포 영역이 분리되지 않은 것으로 판단되면, 색상 프레임 및 채도 프레임에 이용하여 에지 문턱값을 결정할 수 있다. 즉, 영상 처리블럭(181)은 밝기 프레임에 대한 밝기값 히스토그램이 도4 (A)에 도시된 바와 같이 밝기값 분포 영역이 분리된 형상인 경우, 에지 검출 문턱값을 서로 다른 두개의 분포 영역(S1,S2) 사이의 값, 바람직하게는 두개의 분포 영역(S1,S2) 사이의 중심값(Th)을 에지 문턱값으로 결정한다. 한편, 영상 처리블럭(181)은 밝기 프레임에 대한 히스토그램이 도4 (B)에 도시된 바와 같이 서로 다른 두개의 밝기값 분포 영역(S1,S2)이 중첩된 형상으로 나타나는 경우, 에지 문턱값의 설정이 어렵다. 이러한 경우, 영상 처리블럭(181)은 색상 프레임에 대한 히스토그램 또는 채도 프레임에 대한 히스토그램을 추가적으로 생성하고, 밝기 프레임과 같은 방법으로 해당 히스토그램을 분석하여 에지 문턱값을 결정할 수 있다. 그리고, 영상 처리블럭(181)은 에지 문턱값을 근거로 해당 프레임을 이진화한다.
또한, 공간정보 생성블럭(182)은 측위 센서(120)를 통해 이동체 위치정보를 수집하고, 각 프레임에 대응되는 이동체 위치정보와 해당 이동체 위치정보 기준의 픽셀별 깊이 값을 정합하여 3차원 공간맵을 생성한다. 예컨대, 자율 이동체의 위치가 (x,y,z), 해당 프레임의 임의 픽셀의 깊이 값이 "d"이고, 자율 이동체와 해당 픽셀이 동일 xy 평면상에 위치하는 경우, 픽셀 위치는 (x-d, y-d, z)로 산출된다. 즉, 도5를 참조하면, 자율 이동체의 위치(x,y,z)에 따른 "P" 의 뎁스 변화를 연속적으로 중첩하여 결과적으로 3차원 공간정보를 생성할 수 있으며, 자율 이동체(100)에 탑재된 스테레오 카메라(110)가 Z 축으로 이동하는 과정에서 획득된 보다 많은 개수의 이진화 프레임을 중첩함으로써, 3차원 공간정보의 정밀도를 향상시킬 수 있다. 도6은 공간정보 생성블럭(182)에서 생성된 이진화된 3차원 공간맵을 예시한 도면으로, 농작물이 식재된 농지의 이진화된 3차원 공간맵이 도시되어 있다.
이동처리블럭(183)은 이진화된 3차원 공간정보에서 장애물 영역을 추출하고, 추출된 장애물 영역을 회피하도록 이동 경로를 산출한다. 이때, 이동 처리모듈(183)은 이진화된 3차원 공간맵에서 폐쇄 영역을 갖는 에지 패턴을 장애물 영역으로 설정한다. 예컨대, 도7에서 (X)와 같이 에지 검출 부분이 패쇄 패턴을 갖는 에지 패턴을 장애물 영역으로 판단한다. 이때, 이동 처리모듈(183)은 (Y)와 같이 일정 부분이 개방된 에지 패턴에 대해서는 해당 개방 구간을 연결하여 패쇄 영역으로 설정함으로써, 장애물 영역으로 설정할 수 있다. 여기서, 이동 처리모듈(183)은 개방 구간 즉, 에지 패턴의 양단간의 길이가 해당 에지 패턴을 이루는 에지 전체 길이의 일정 비율 미만인 경우에 한하여 패쇄 영역으로 설정하는 바, 도7의 (Z)와 같이 에지 패턴의 양단간의 길이가 일정 이상인 경우에는 패쇄 영역으로 변경하지 않는다.
또한, 이동처리블럭(183)은 장애물 영역을 회피하도록 기 산출된 이동 경로에 따라 해당 자율 이동체가 대상 공간을 이동하도록 기계적 동작을 제어한다. 이때, 대상 공간은 사용자에 의해 미리 설정될 수 있으며, 예컨대 해당 사용자가 소유하는 농지 경계선이 될 수 있다.
또한, 이동처리블럭(183)은 자율 이동체가 이동하는 동안 충돌사고가 발생한 경우, 측위 센서(120)로부터 회득한 충돌 위치정보를 포함하는 충돌발생정보를 생성하고, 이를 서비스 서버(200)로 전송한다.
또한, 이동처리블럭(183)은 자율 이동체가 이동하는 동안 초음파 센서(130)로부터 획득한 수신 신호를 근거로 객체를 인지하고, 인지된 객체와의 충돌을 회피하도록 이동 경로를 갱신한다. 이때, 이동처리블럭(183)은 산발적으로 나타날 수 있는 사람, 조류, 다른 자율 이동체 등의 이동객체가 인지된 경우, 해당 이동객체 주변의 이동 가능 영역을 산출하여 보다 넓은 이동 가능 영역을 갖는 경로로 이동하도록 이동 경로를 갱신한다.
한편, 이동처리블럭(183)은 초음파 센서(130)를 통해 인지된 객체가 이동객체가 아닌 것으로 판단되면, 해당 객체 위치정보를 포함하는 객체 정보를 공간정보 갱신블럭(184)으로 전송한다.
공간정보 갱신블럭(184)은 이동처리블럭(183)으로부터 객체 위치정보를 근거로 현재 등록된 이진화된 3차원 공간맵에서의 객체 위치정보를 비교하여 일치하지 않으면, 기 등록된 이진화된 3차원 공간맵을 자동으로 갱신한다. 그리고, 공간정보 갱신블럭(184)은 갱신된 이진화된 3차원 공간맵정보를 서비스 서버(200)로 전송한다.
또한, 공간정보 갱신블럭(184)은 서비스 서버(200)로부터 수신되는 이진화된 3차원 공간맵을 근거로 기 저장된 이진화된 3차원 공간맵을 갱신한다.
이어, 상기한 구성으로 된 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법을 도8 및 도9를 참조하여 설명한다.
먼저, 본 발명에 따른 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법은 기본적으로 자율 이동체(100)에서 스테레오 카메라(110)를 통해 획득한 촬영영상을 이용하여 이진화된 3차원 공간맵을 생성하는 과정(ST100)과, 상기 ST100 과정에서 생성된 이진화된 3차원 공간맵을 이용하여 장애물 영역을 회피하도록 자율 이동체의 이동을 제어하는 자율 이동 제어 과정(ST200)을 포함한다. 그리고, 자율 이동 제어 과정(ST200)에서는 이진화된 3차원 공간맵을 자동 갱신하는 과정이 함께 이루어진다.
도8에는 이진화된 3차원 공간맵을 생성하는 과정(ST100)을 설명하기 위한 흐름도가 도시되어 있다.
도8을 참조하면, 자율 이동체(100)는 기 설정된 이동 조건에 따라 이동하면서 스테레오 카메라(110)를 통해 전방 영역에 대한 적어도 둘 이상의 촬영영상을 획득한다(ST110). 이때, 자율 이동체(100)는 공간맵 생성모드로서, 일정 속도 이하로 이동하는 것이 바람직하다. 그리고, 자율 이동체(100)는 일정 위치에서 정지한 상태로 스테레오 카메라(110)의 상하 또는 좌우로의 촬영 영역을 변경하여 한 위치에서 보다 확장된 영역에 대한 촬영 영상을 획득할 수 있다.
이어, 자율 이동체(100)는 각 촬영영상에 대해 일정 시간 간격의 프레임 이미지를 생성하고, 각 촬영영상별 하나의 프레임을 구성하는 각 픽셀에 대한 깊이 값을 산출한다(ST120). 자율 이동체(100)는 동일 촬영 영역에 대한 서로 다른 위치의 프레임 이미지를 비교하여 시차정보를 획득하고, 시차정보에 기반하여 자율 이동체(100) 위치를 기준으로 하는 각 픽셀별 깊이 값을 산출하는 일련의 스테레오 비전처리를 수행한다.
또한, 자율 이동체(100)는 상기 ST110 단계에서 획득한 다수의 촬영 영상 중에서 임의적으로 선택된 하나의 촬영 영상에서 밝기 성분들로 이루어진 밝기 프레임을 생성하고, 밝기 프레임에 대한 밝기 히스토그램을 생성한다(ST130).
그리고, 자율 이동체(100)는 상기 ST130 단계에서 생성된 밝기 히스토그램을 분석하여 에지 문턱값을 결정한다(ST140). 이때, 자율 이동체(110)는 밝기 히스토그램에서 밝기값의 분포 영역이 분리된 경우, 그 분리 구간의 중간값을 에지 문턱값으로 결정한다. 한편, 밝기 히스토그램에서 밝기값의 분포 영역이 분리되지 않은 경우에는 색상 프레임 또는 채도 프레임에 대한 히스토그램을 분석하여 에지 문턱값을 결정할 수 있다. 이때, 색상 프레임에서 에지 문턱값이 결정되지 않는 경우, 채도 프레임을 생성하여 에지 문턱값을 결정할 수 있다.
자율 이동체(100)는 상기 ST140 단계에서 결정된 에지 문턱값을 근거로 밝기 프레임을 이진화한다(ST150). 이때, 에지 문턱값이 색상 프레임에서 결정된 경우, 색상 프레임을 이진화하고, 채도 프레임에서 결정된 경우, 채도 프레임을 이진화하며, 이진화된 프레임을 이용하여 이후의 동작을 수행한다.
이후, 자율 이동체(100)는 이진화된 밝기 프레임의 에지 패턴을 분석함과 더불어 장애물 영역에 대한 보정처리를 수행한다(ST160). 즉, 자율 이동체(100)는 밝기 프레임에서 에지 패턴의 개폐여부를 확인하고, 에지 패턴이 개방패턴으로 양 끝단 사이의 개방 구간이 해당 에지 패턴의 전체 길이에 대한 라인의 일정 비율 미만, 예컨대 10% 미만인 경우 양 끝단을 연결하여 폐쇄 패턴으로 변경함으로써, 장애물 영역에 대한 보정 처리를 수행한다. 이때, 자율 이동체(100)는 밝기 프레임정보를 서비스 서버(200)로 전송하고, 서비스 서버(200)에서 장애물 영역에 대한 보정처리를 수행하여 자율 이동체(100)로 제공할 수 있다.
또한, 자율 이동체(100)는 이동체 위치정보와 밝기 프레임의 이동체 위치정보 기준의 각 픽셀별 깊이 값을 정합하여 이진화된 3 차원 공간맵을 생성하고 이를 저장한다(ST170). 이때, 자율 이동체(100)는 기 설정된 대상 공간을 이동하면서 상술한 동작을 반복하여 수행함으로써, 대상 공간에 대한 이진화된 3차원 공간맵정보를 생성한다. 그리고, 대상 공간에 대한 이진화된 3차원 공간맵정보를 서비스 서버(200)로 전송하고, 서비스 서버(200)는 해당 대상 공간에 대한 이진화된 3차원 공간맵정보를 등록한다.
상술한 바와 같이 자율 이동체(100)와 서비스 서버(200)에 대상 공간에 대한 이진화된 3차원 공간맵정보가 저장된 상태에서, 자율 이동 제어 과정(ST200)이 이루어진다.
도9에는 자율 이동 제어 과정(ST200)을 설명하기 위한 흐름도가 도시되어 있다.
도9를 참조하면, 자율 이동체(100)는 정보입력부(40)를 통해 대상 공간에 대한 이동 요청이 발생하게 되면, 기 저장된 이진화된 3차원 공간맵을 메모리(170)에서 호출하고, 이진화된 3차원 공간맵에서 장애물 영역을 추출한다(ST210). 이때, 장애물 영역은 이진화된 3차원 공간맵에서 에지 패턴이 패쇄 패턴인 영역으로 설정된다.
그리고, 자율 이동체(100)는 장애물 영역을 회피하도록 이동 경로를 생성함과 더불어 이동 경로에 대응되게 이동하도록 이동 수단의 기계적인 동작을 제어한다(ST220). 상기한 이동 경로를 생성하는 동작은 자율 이동체(100)가 이동하면서 해당 위치의 일정 반경마다 생성하는 것도 가능하다.
또한, 자율 이동체(100)는 기 설정된 이동 경로에 따라 이동하면서 스테레오 카메라(110)를 통해 전방 영역에 대한 촬영영상을 수집한다(ST230). 이때, 자율 이동체(100)는 스테레오 카메라(110)를 통해 수집한 촬영영상을 서비스 서버(200)로 실시간 전송한다.
또한, 자율 이동체(100)는 기 설정된 이동 경로에 따라 이동하면서 초음파 센서(130)를 구동하여 초음파 신호를 진행방향으로 송출하고, 이에 대해 수신되는 신호세기를 근거로 전방에 위치하는 객체를 인식한다. 그리고, 객체와의 충돌을 회피하도록 이동 경로를 갱신함과 더불어 갱신된 이동 경로에 대응되도록 이동체의 이동을 제어한다(ST240). 즉, 자율 이동체(100)는 초음파 신호의 수신 세기를 근거로 전방에 위치하는 객체를 인지함과 더불어 객체까지의 거리를 산출한다. 그리고, 자율 이동체(100)는 현재 이동경로가 현재 인식된 객체를 회피하지 않도록 설정된 경우, 해당 객체를 회피하도록 이동 경로를 갱신한다.
또한, 자율 이동체(100)는 초음파 센서(130)를 통행 초음파 신호가 수신된 경우, 스테레오 카메라(110)를 통해 획득한 촬영영상을 근거로 해당 객체 종류를 판단한다(ST250). 즉, 자율 이동체(100)는 초음파 신호의 수신 세기에 의해 산출된 객체와의 거리를 근거로 촬영영상에서 해당 거리에 위치하는 객체의 형상과 기 저장된 이동 객체 형상을 비교함으로써, 이동 객체 여부를 판단할 수 있다.
한편, 상기 자율 이동체(100)는 상기 ST250 단계에서 객체 종류가 이동객체가 아닌 경우, 현재 자율 이동체 위치정보와 위치정보 기준의 객체간 거리를 근거로 개체 위치정보를 산출한다(ST260). 그리고, 객체 위치정보가 현재 저장된 이진화된 3차원 공간맵에서 장애물 영역으로 포함되어 있는지의 여부를 근거로 해당 이진화된 3차원 공간맵을 자동 갱신한다(ST270). 즉, 자율 이동체(100)는 이진화된 3차원 공간맵에서 객체 위치정보가 에지 폐쇄 패턴 내측인 경우 장애물 영역에 포함된 것으로 판단한다. 한편, 객체 위치정보가 에지 폐쇄 패턴 외측인 경우, 해당 객체에 변화가 발생된 것으로 판단하고 해당 객체 위치정보가 에지 폐쇄 패턴에 포함되도록 해당 이진화된 3차원 공간맵에서 에지 폐쇄 패턴을 보정한다. 예컨대, 농지에 식재된 농작물의 성장에 의해 해당 농작물에 해당하는 장애물 영역을 자동 갱신할 수 있다. 또한, 자율 자동차의 경우, 주변에 위치하는 건물의 증축이나 도로의 개통 등의 변화를 자동 갱신하는 것이 가능하다. 이때, 자율 이동체(100)는 이진화된 3차원 공간맵이 자동 갱신되는 경우, 갱신된 이진화된 3차원 공간맵정보를 서비스 서버(200)로 전송하여 자율 이동체(100)와 동일한 3차원 공간맵정보를 저장할 수 있도록 한다.
또한, 상기 자율 이동체(100)는 이동시 충돌이 발생한 경우, 충돌이 발생한 위치의 자율 이동체 위치정보를 포함하는 충돌 정보를 생성하여 서비스 서버(200)로 전송한다. 그리고, 서비스 서버(200)는 충돌 정보를 근거로 이진화된 3차원 공간맵정보에서 해당 자율 이동체 위치정보가 장애물 영역으로 설정되도록 이진화된 3차원 공간맵을 갱신하고, 갱신된 이진화된 3차원 공간맵정보를 자율 이동체(100)로 전송한다. 자율 이동체(100)는 서비스 서버(200)로부터 수신된 이진화된 3차원 공간맵정보를 메모리(170)의 공간맵정보 저장영역에 덮어쓰기함으로써, 이진화된 3차원 공간맵을 갱신한다.
한편, 본 발명에 있어서는 프레임을 이진화하는 경우, 자동으로 문자부분이 에지로 검출되는 바, 이진화된 3차원 공간맵은 문자정보가 표현되도록 구성된다.
이에, 본 발명에서 서비스 서버(200)는 이진화된 3차원 공간맵에 포함된 문자정보를 인식하여 대상 공간에 대한 주변 변화정보를 관리할 수 있다.
예컨대, 농지를 이동하는 자율 비행체나 자율 주행차에 의해 이진화된 3차원 공간맵이 갱신되는 경우, 서비스 서버(200)는 이진화된 3차원 공간맵에 포함된 농작물에 걸려진 푯말에서 해당 농작물의 이름을 확인하여, 해당 농작물의 성장을 포함한 각종 상태 분석을 수행할 수 있다.
또한, 자율 자동차에 의해 이진화된 3차원 공간맵이 갱신되는 경우, 서비스 서버(200)는 이진화된 3차원 공간맵에 포함된 도로 주변 건물의 간판에서 해당 건물에 입주한 상점들을 확인할 수 있고, 간판 명칭의 실시간 변화를 통해 해당 건물에 입주한 상점의 변화를 자동으로 인지할 수 있다. 이때, 스테레오 카메라는 자율 자동차의 측면에 추가적으로 배치될 수 있다. 즉, 서비스 서버(200)는 도로 주변 건물에 대한 변화 정보가 실시간으로 갱신된 3차원 공간맵정보를 확보할 수 있는 바, 이러한 건물의 변화정보를 네비게이션 등의 지도 관련 서비스를 수행하는 서버로 제공할 수 있다.
또한, 본 발명에서 자율 이동체가 농지에서 사용되는 농업용 자율 주행차 또는 자율 항공기인 경우, 농작물 관리를 위한 농약 살포 또는 수분 처리 수단을 구비하여 농작물 관리 수행시 상술한 이진화된 3차원 공간맵을 이용하여 장애물 영역을 회피하면서 자율 이동 제어를 수행할 수 있다.
100 : 자율 이동체, 200 : 서비스 서버,
110 : 스테레오 카메라, 120 : 측위센서,
130 : 초음파 센서, 140 : 정보 입출력부,
150 : 통신부, 160 : 이동체 구동부,
170 : 메모리, 180 : 제어부,
181 : 영상처리블럭, 182 : 공간정보 생성블럭,
183 : 이동제어블럭, 184 : 공간정보 갱신블럭.
110 : 스테레오 카메라, 120 : 측위센서,
130 : 초음파 센서, 140 : 정보 입출력부,
150 : 통신부, 160 : 이동체 구동부,
170 : 메모리, 180 : 제어부,
181 : 영상처리블럭, 182 : 공간정보 생성블럭,
183 : 이동제어블럭, 184 : 공간정보 갱신블럭.
Claims (13)
- 자율 이동체가 대상 공간을 자율적으로 이동하면서 자율 이동체에 구비된 스테레오 카메라를 통해 획득한 촬영영상과 해당 이동체 위치정보를 이용하여 이진화된 3차원 공간맵을 생성하는 공간맵 생성 과정과,
상기 공간맵 생성 과정을 통해 생성된 이진화된 3차원 공간맵에서 장애물 영역을 회피하도록 이동경로를 생성하고, 이동경로에 따라 자율 이동체를 이동시키도록 제어함과 더불어, 이동하면서 획득한 객체정보를 근거로 이진화된 3차원 공간맵을 갱신하는 자율 이동 제어 과정을 포함하여 구성되고,
상기 공간맵 생성 과정은 자율 이동체에 구비된 스테레오 카메라로부터 둘 이상의 촬영영상을 획득하고, 스테레오 비전처리를 통해 촬영영상 프레임 이미지를 구성하는 각 픽셀에 대한 깊이 값을 산출하는 제1 단계와, 촬영영상에서 밝기 성분으로 이루어지는 밝기 프레임을 생성하고, 밝기 프레임의 히스토그램을 분석하여 에지 문턱값을 결정하는 제2 단계, 에지 문턱값을 근거로 해당 프레임을 이진화하되, 이진화된 프레임에서 에지 패턴이 개방 패턴으로 해당 에지 패턴의 전체 길이에 대한 해당 에지 패턴의 양단 사이의 개방 구간의 길이의 비율이 일정 미만인 경우, 해당 에지 패턴의 양단을 연결하여 패쇄 패턴으로 보정하는 제3 단계 및, 자율 이동체의 위치정보와 이진화된 프레임의 이동체 위치정보 기준의 각 픽셀별 깊이 값을 정합하여 이진화된 3차원 공간맵을 생성하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 자율 이동 제어 과정은 자율 이동체에서 이진화된 3차원 공간맵에서 폐쇄 영역을 갖는 에지 패턴을 장애물 영역으로 설정하는 제11 단계와,
장애물 영역을 회피하도록 이동 경로를 생성하고, 이에 따른 이동 제어를 수행함과 더불어 스테레오 카메라를 통해 전방 촬영 영상을 획득하는 제12 단계,
자율 이동체의 이동 제어와 더불어 초음파 센서를 구동하여 초음파 센서에서 송출된 초음파 신호의 수신을 근거로 이동 경로 전방에 위치하는 객체를 인지함과 더불어 해당 객체와 거리를 산출하고, 객체와의 거리를 근거로 상기 제12 단계에서 획득된 촬영영상에서 해당 객체를 추출한 후 객체의 형상을 분석하여 객체가 이동 객체인지의 여부를 판단하는 제13 단계 및,
상기 객체와의 거리를 근거로 현재 이동 경로를 분석하여 해당 객체를 회피하지 않도록 설정된 경우, 해당 객체를 회피하도록 이동 경로를 갱신함과 더불어 해당 객체가 장애물 영역으로 설정되도록 기 저장된 이진화된 3차원 공간맵을 갱신하되, 상기 제13 단계에서 인식된 객체가 이동 객체인 경우에는 현재 이동 경로만 갱신하고, 인식된 객체가 이동 객체가 아닌 경우에는 기 저장된 이진화된 3차원 공간맵을 추가로 갱신하는 제14 단계를 포함하여 구성되는 것을 특징으로 하는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 공간맵 생성과정에서 생성된 이진화된 3차원 공간맵은 문자정보가 표현되도록 구성되고,
상기 자율 이동 제어 과정에서 자율 이동체는 갱신된 이진화된 공간맵정보를 서비스 서버로 전송하며, 서비스 서버는 문자정보가 표현된 이진화된 3차원 공간맵정보를 근거로 주변 변화정보를 관리하는 것을 특징으로 하는 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200040355A KR102391771B1 (ko) | 2020-04-02 | 2020-04-02 | 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200040355A KR102391771B1 (ko) | 2020-04-02 | 2020-04-02 | 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210123076A KR20210123076A (ko) | 2021-10-13 |
| KR102391771B1 true KR102391771B1 (ko) | 2022-04-27 |
Family
ID=78115244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200040355A KR102391771B1 (ko) | 2020-04-02 | 2020-04-02 | 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102391771B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102608448B1 (ko) * | 2021-11-23 | 2023-11-29 | 동아대학교 산학협력단 | 멀티드론을 이용한 산지 식생정보 취득장치 및 식생정보 취득방법 |
| KR102462499B1 (ko) * | 2022-05-18 | 2022-11-04 | (주)인티그리트 | 다중 지능형 자율주행 로봇을 통한 디지털 트윈 맵 제작 시스템 및 방법 |
| KR102511539B1 (ko) * | 2022-08-18 | 2023-03-20 | (주)에이아이매틱스 | 영상 기반 차량 주행 시뮬레이션 시스템 및 방법 |
| CN116300973B (zh) * | 2023-05-18 | 2023-08-04 | 上海伯镭智能科技有限公司 | 一种复杂天气下无人驾驶矿车自主避障方法 |
| KR102613536B1 (ko) * | 2023-09-06 | 2023-12-12 | 한화시스템(주) | 레이다 3d 맵과 스테레오 깊이 맵에 의한 근접 객체 거리/자세 정밀 계산 장치 및 그 방법 |
| CN117111624B (zh) * | 2023-10-23 | 2024-02-02 | 江苏苏启智能科技有限公司 | 基于电磁反制技术的反无人机方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006205348A (ja) * | 2005-01-31 | 2006-08-10 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
| KR101490466B1 (ko) * | 2013-09-10 | 2015-02-05 | 이엔지정보기술 주식회사 | 영상 내 도로표지 검출 및 도로표지 지주 인식 시스템, 그 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140016527A (ko) * | 2012-07-30 | 2014-02-10 | 대우조선해양 주식회사 | 히스토그램 기반 영상처리 장치 및 그 방법 |
| KR101976241B1 (ko) * | 2016-01-22 | 2019-08-28 | 경희대학교 산학협력단 | 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법 |
| KR101895343B1 (ko) | 2016-12-26 | 2018-09-05 | 이선구 | 충돌 회피용 드론 제어장치 |
| US10007269B1 (en) | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
-
2020
- 2020-04-02 KR KR1020200040355A patent/KR102391771B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006205348A (ja) * | 2005-01-31 | 2006-08-10 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
| KR101490466B1 (ko) * | 2013-09-10 | 2015-02-05 | 이엔지정보기술 주식회사 | 영상 내 도로표지 검출 및 도로표지 지주 인식 시스템, 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210123076A (ko) | 2021-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102391771B1 (ko) | 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 | |
| KR102115294B1 (ko) | 무인항공기 충돌 회피 방법 | |
| KR102618700B1 (ko) | 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정 | |
| Ibisch et al. | Towards autonomous driving in a parking garage: Vehicle localization and tracking using environment-embedded lidar sensors | |
| Saha et al. | A real-time monocular vision-based frontal obstacle detection and avoidance for low cost UAVs in GPS denied environment | |
| US9043129B2 (en) | Method for governing a speed of an autonomous vehicle | |
| CN111201879A (zh) | 基于图像识别的粮食收割、运输一体化装载装置/方法 | |
| KR101827251B1 (ko) | 작업영역의 탐색과 탐색된 작업영역에서 연속작업을 수행하는 방법 및 이를 수행하는 무인비행체 | |
| CN109307869B (zh) | 用于增加激光雷达探测器的视场的设备和照明装置 | |
| US11822334B2 (en) | Information processing apparatus, information processing method, and program for control of a moving body capable of autonomous movement | |
| CN110239549B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| JP7195543B2 (ja) | 収穫機 | |
| CN111273651B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| WO2019093193A1 (ja) | 情報処理装置、車両、移動体、情報処理方法、及びプログラム | |
| CN113785253A (zh) | 信息处理装置、信息处理方法和程序 | |
| US11562572B2 (en) | Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps | |
| CN113002562A (zh) | 车辆控制装置以及存储介质 | |
| US11361543B2 (en) | System and method for detecting objects | |
| CN109987082B (zh) | 车辆控制装置、车辆控制方法和存储介质 | |
| WO2023102911A1 (zh) | 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质 | |
| US11525697B2 (en) | Limited-sensor 3D localization system for mobile vehicle | |
| JP2021058099A (ja) | 農作業機 | |
| KR102249485B1 (ko) | 로봇 자율주행 시스템 및 방법 | |
| JP2022012173A (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| KR102550980B1 (ko) | 동력분무기의 주행속도에 대응한 과수방제 제어장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |