KR101997531B1 - Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same - Google Patents
Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same Download PDFInfo
- Publication number
- KR101997531B1 KR101997531B1 KR1020160098000A KR20160098000A KR101997531B1 KR 101997531 B1 KR101997531 B1 KR 101997531B1 KR 1020160098000 A KR1020160098000 A KR 1020160098000A KR 20160098000 A KR20160098000 A KR 20160098000A KR 101997531 B1 KR101997531 B1 KR 101997531B1
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- data
- dimensional
- cliff
- moving mechanism
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 11
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L15/00—Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles
- B60L15/20—Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles for control of the vehicle or its driving motor to achieve a desired performance, e.g. speed, torque, programmed variation of speed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2200/00—Type of vehicles
- B60L2200/34—Wheel chairs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/72—Electric energy management in electromobility
Abstract
개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법에서, 상기 장애물 회피 시스템은 스캐닝부, 바닥면 추출부, 장애물 맵 생성부, 장애물 정보 추출부, 회피방향 연산부 및 구동 제어부를 포함한다. 상기 스캐닝부는 개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다. 상기 바닥면 추출부는 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다. 상기 장애물 맵 생성부는 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다. 상기 장애물 정보 추출부는 상기 2차원 장애물 맵으로부터 장애물 정보를 추출한다. 상기 회피방향 연산부는 상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산한다. 상기 구동 제어부는 상기 회피방향으로 상기 개인 이동기구를 구동한다. In the obstacle avoidance system of the personal moving mechanism and the obstacle avoiding method using the same, the obstacle avoidance system includes a scanning unit, a floor surface extracting unit, an obstacle map generating unit, an obstacle information extracting unit, a avoiding direction calculating unit, and a driving control unit. The scanning unit acquires depth information on the front of the personal moving mechanism and converts the acquired depth information into three-dimensional point data. The bottom surface extracting unit extracts bottom surface data from the three-dimensional point data. The obstacle map generation unit generates a two-dimensional obstacle map from the floor data. The obstacle information extracting unit extracts obstacle information from the two-dimensional obstacle map. The avoidance direction calculation unit calculates a direction for avoiding the obstacle when an obstacle is detected from the obstacle information. And the drive control unit drives the personal moving mechanism in the avoidance direction.
Description
본 발명은 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법에 관한 것으로, 더욱 상세하게는 장애인이나 고령자가 탑승한 전동 휠체어와 같은 개인 이동기구에 탑재되어 장애물이나 절벽 등을 인지하여 이를 회피할 수 있는 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법에 관한 것이다.The present invention relates to an obstacle avoidance system and an obstacle avoiding method using the obstacle avoidance system. More particularly, the present invention relates to an obstacle avoidance system that is mounted on a personal moving apparatus such as an electric wheelchair mounted on a disabled person or an elderly person, To an obstacle avoidance system and an obstacle avoidance method using the same.
최근, 거동이 불편한 장애인이나 고령자들이 삶의 질 향상에 대한 욕구가 증대됨에 따라 전동 휠체어나 전동 스쿠터와 같은 개인 이동기구의 사용이 증가하고 있는 상황이다. 그러나, 장애인이나 고령자의 경우, 정상인과 대비하여 판단 능력이나 조종 능력이 상대적으로 저하된 상태이므로 주행시 사고 발생의 가능성이 높은 편이다. In recent years, the use of personal mobile devices such as electric wheelchairs and electric scooters has been increasing as the need for improved quality of life for disabled people or elderly people with mobility problems is increasing. However, in the case of the handicapped or the elderly, the judgment ability or the steering ability is relatively lowered in comparison with the normal person.
이에 따라, 주행시 사고 발생을 줄이기 위한 기술들이 개발되고 있다. 예를 들어, 대한민국 등록특허 제10-1440054호에서는 기울기 센서를 바탕으로 전동휠체어의 진행방향의 경사도를 감지하거나 장애물을 감지하는 기술을 개시하고 있으며, 대한민국 공개특허 제10-2015-0027987호에서는 휠체어가 주행하는 지면의 영상정보를 바탕으로 주행경로를 설정하고 탑승자에게 이를 알리는 기술을 개시하고 있다. Accordingly, techniques for reducing the occurrence of accidents during driving are being developed. For example, Korean Patent Registration No. 10-1440054 discloses a technique for detecting an inclination of a traveling direction of an electric wheelchair or detecting an obstacle on the basis of a tilt sensor, and in Korean Patent Publication No. 10-2015-0027987, Discloses a technique of setting a traveling route based on image information of a ground on which the vehicle travels and informing the occupant of the traveling route.
그러나, 기울기 센서만으로 개인 이동기구의 안전성을 보장하기에는 매우 미흡하며, 영상정보를 이용한 경우 영상정보의 촬영 및 분석을 위한 고가의 센서 및 처리시스템이 탑재되어야 하는 문제가 있다. However, there is a problem in that the safety of the personal moving mechanism is insufficient with only the tilt sensor, and in the case of using the image information, expensive sensor and processing system for photographing and analyzing the image information must be mounted.
나아가, 장애물 검출 방법으로 초음파를 이용하는 기술도 개시되고는 있으나, 초음파 이용 기술의 경우 처리 속도가 빠른 장점은 있으나, 검출된 영상의 해상도가 매우 낮아 장애물의 식별이 어려운 문제가 있다. Furthermore, there is a technique of using ultrasonic waves as a method of detecting an obstacle. However, although the processing speed of the ultrasonic using technique is advantageous, the resolution of the detected image is very low, which makes it difficult to identify obstacles.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 상대적으로 빠른 처리 속도 및 검출된 영상의 정확도가 향상되어 안전성을 높일 수 있는 개인 이동기구의 장애물 회피 시스템에 관한 것이다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide an obstacle avoidance system for a personal moving mechanism capable of enhancing safety with a relatively high processing speed and improved accuracy of detected images.
본 발명의 다른 목적은 상기 장애물 회피 시스템을 이용한 장애물 회피 방법에 관한 것이다. Another object of the present invention is to provide an obstacle avoiding method using the obstacle avoidance system.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 장애물 회피 시스템은 스캐닝부, 바닥면 추출부, 장애물 맵 생성부, 장애물 정보 추출부, 회피방향 연산부 및 구동 제어부를 포함한다. 상기 스캐닝부는 개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다. 상기 바닥면 추출부는 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다. 상기 장애물 맵 생성부는 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다. 상기 장애물 정보 추출부는 상기 2차원 장애물 맵으로부터 장애물 정보를 추출한다. 상기 회피방향 연산부는 상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산한다. 상기 구동 제어부는 상기 회피방향으로 상기 개인 이동기구를 구동한다. According to an embodiment of the present invention, an obstacle avoidance system includes a scanning unit, a floor surface extracting unit, an obstacle map generating unit, an obstacle information extracting unit, a avoiding direction calculating unit, and a driving control unit. The scanning unit acquires depth information on the front of the personal moving mechanism and converts the acquired depth information into three-dimensional point data. The bottom surface extracting unit extracts bottom surface data from the three-dimensional point data. The obstacle map generation unit generates a two-dimensional obstacle map from the floor data. The obstacle information extracting unit extracts obstacle information from the two-dimensional obstacle map. The avoidance direction calculation unit calculates a direction for avoiding the obstacle when an obstacle is detected from the obstacle information. And the drive control unit drives the personal moving mechanism in the avoidance direction.
일 실시예에서, 상기 스캐닝부는 상기 개인 이동기구에 부착된 깊이 카메라를 포함할 수 있다. In one embodiment, the scanning unit may include a depth camera attached to the personal moving mechanism.
일 실시예에서, 상기 바닥면 추출부는, 상기 3차원 점 데이터로부터 선택된 3개의 점(point)들 조합들 중, 바닥면의 초기 법선벡터와 가장 유사한 법선벡터를 이루는 조합을 선택하여 바닥면 데이터로 정의할 수 있다. In one embodiment, the bottom surface extracting unit selects a combination of three points selected from the three-dimensional point data, which is the closest normal vector to the initial normal vector of the bottom surface, Can be defined.
일 실시예에서, 상기 장애물 맵 생성부는, 상기 조합들 각각에 대하여 상기 정의된 바닥면까지의 법선거리를 연산하여, 장애물 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하여 2차원 좌표로 변경할 수 있다. In one embodiment, the obstacle map generator may calculate a normal distance to the defined floor for each of the combinations, select a combination having a normal distance greater than a threshold value for the obstacle size, Can be changed.
일 실시예에서, 상기 장애물 정보 추출부는, 상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단할 수 있다. In one embodiment, the obstacle information extracting unit may determine an obstacle by removing noise based on the number of data constituting the two-dimensional coordinate.
일 실시예에서, 상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 절벽 검출부를 더 포함할 수 있다. In one embodiment, if no obstacle is detected from the obstacle information, the obstacle detecting unit may further include a cliff detecting unit for detecting cliffs from the floor data.
일 실시예에서, 상기 절벽 검출부는, 개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출할 수 있다. In one embodiment, the cliff detection unit calculates a ratio of a width of a virtual band region defined in front of the personal moving mechanism and a width of an area formed by the three-dimensional point data obtained in the virtual band region The cliff can be detected.
일 실시예에서, 상기 구동 제어부는, 상기 절벽 검출부에서 절벽을 검출하면 상기 개인 이동기구의 주행을 정지할 수 있다. In one embodiment, the drive control section may stop the traveling of the personal moving mechanism when the cliff detection section detects a cliff.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 장애물 회피 방법에서 개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다. 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다. 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다. 상기 2차원 장애물 맵으로부터 장애물 정보를 추출한다. 상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산한다. 상기 회피방향으로 상기 개인 이동기구를 구동한다. In the obstacle avoidance method according to an embodiment of the present invention for realizing the above-described object, the depth information of the forward movement of the personal moving mechanism is acquired and converted into three-dimensional point data. And extracts bottom surface data from the three-dimensional point data. And generates a two-dimensional obstacle map from the floor surface data. Obstacle information is extracted from the two-dimensional obstacle map. And calculates a direction for avoiding the obstacle when the obstacle is detected from the obstacle information. And drives the personal moving mechanism in the avoidance direction.
일 실시예에서, 상기 바닥면 데이터를 추출하는 단계는, 상기 3차원 점 데이터 중, 일정한 간격의 N개의 포인트를 샘플링하는 단계, 상기 N개의 포인트 중 3개의 포인트 조합을 선택하는 단계, 상기 각각의 조합에서 법선벡터를 연산하는 단계, 상기 법선벡터들 중 초기 법선벡터와 가장 유사한 법선벡터를 갖는 조합을 선택하는 단계, 상기 선택된 조합의 법선벡터에서 중심점을 연산하는 단계, 및 상기 선택된 조합의 법선벡터 및 중심점으로 바닥면 데이터를 정의하는 단계를 포함할 수 있다. In one embodiment, the step of extracting the floor surface data comprises the steps of: sampling N points at regular intervals of the three-dimensional point data; selecting a combination of three points out of the N points; Selecting a combination having a normal vector most similar to an initial normal vector of the normal vectors, computing a center point in the normal vector of the selected combination, And defining bottom surface data as a center point.
일 실시예에서, 상기 2차원 장애물 맵을 생성하는 단계는, 상기 각각의 조합에 대하여 바닥면까지의 법선거리를 연산하는 단계, 상기 장애물의 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하는 단계, 및 상기 선택된 조합에 대하여 2차원 좌표로 변경하는 단계를 포함할 수 있다. In one embodiment, the step of generating the two-dimensional obstacle map comprises computing a normal distance to the floor for each combination, selecting a combination having a normal distance greater than a threshold value for the size of the obstacle And changing the selected combination to two-dimensional coordinates.
일 실시예에서, 상기 장애물 정보를 추출하는 단계는, 상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단할 수 있다. In one embodiment, the step of extracting the obstacle information may determine an obstacle by removing noise based on the number of data constituting the two-dimensional coordinate.
일 실시예에서, 상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 단계를 더 포함할 수 있다. In one embodiment, if an obstacle is not detected from the obstacle information, the step of detecting a cliff from the floor data may further include detecting the obstacle.
일 실시예에서, 상기 절벽을 검출하는 단계는, 개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출할 수 있다. In one embodiment, the step of detecting the cliff may include detecting a ratio of a width of a virtual band region defined in front of the personal moving mechanism to a width of an area formed by the three-dimensional point data obtained in the virtual band region ) Can be calculated to detect the cliff.
일 실시예에서, 상기 가상의 밴드 영역의 넓이와 상기 3차원 점 데이터가 형성하는 영역의 넓이의 비는 하기 식으로 연산하며, In one embodiment, the ratio of the width of the imaginary band region to the width of the region formed by the three-dimensional point data is calculated by the following equation,
인 경우, 절벽으로 검출할 수 있다. , It can be detected as a cliff.
일 실시예에서, 상기 절벽이 검출되면 상기 개인 이동기구의 주행을 정지하는 단계를 더 포함할 수 있다. In one embodiment, the step of stopping the traveling of the personal moving mechanism may be further included when the cliff is detected.
본 발명의 실시예들에 의하면, 바닥면 데이터로부터 2차원 장애물 맵을 생성하고, 이로부터 장애물 정보를 추출하므로, 종래 초음파를 이용한 장애물 검출 결과보다 해상도가 높으면서도, 레이저나 스테레오 카메라를 이용한 영상 검출 시스템보다 저렴하고 실용적이고, 데이터 처리 속도를 높일 수 있으며 정확한 장애물 정보 추출이 가능하다. According to the embodiments of the present invention, a two-dimensional obstacle map is generated from the floor surface data and the obstacle information is extracted from the two-dimensional obstacle map, so that the resolution is higher than the obstacle detection result using the conventional ultrasonic wave, It is cheaper and more practical than the system, it can increase data processing speed and it can extract accurate obstacle information.
특히, 스캐닝부가 깊이 카메라를 이용하여 깊이 정보를 획득하므로, 레이저나 스테레오 카메라에 비해 저가이면서도 비교적 정확한 데이터를 빠르게 획득할 수 있으며, 장애물은 물론이며 절벽에 관한 정보도 획득이 가능하게 된다. In particular, since the scanning unit acquires depth information using a depth camera, it can acquire relatively inexpensive but relatively accurate data as compared with a laser or a stereo camera, and information about cliffs as well as obstacles can be acquired.
또한, 바닥면 추출부에서 초기 법선벡터를 이용하므로 종래 RANSAC 알고리즘보다 정확한 바닥면 추출이 가능하며, 바닥면 추출을 위한 임의의 점 데이터 조합을 추출하는 경우 데이터가 쏠려 샘플링 되는 경우 평면 계산이 어려운 문제가 있으나 3개의 점들의 조합을 이용하므로 이를 해소하여 보다 적은 수의 샘플링 포인트들로부터 바닥면의 연산이 가능할 수 있다. In addition, since the bottom surface extractor uses the initial normal vector, it is possible to extract the bottom surface more accurately than the conventional RANSAC algorithm. In the case of extracting arbitrary point data combination for bottom surface extraction, However, since the combination of three points is used, it is possible to calculate the floor from a smaller number of sampling points.
또한, 장애물 맵 생성부에서 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 장애물을 판단하므로, 장애물 정보 추출을 위한 연산이 간단하여 실시간 연산이 가능하며, 노이즈의 구분이 용이하고, 연산 시스템의 성능을 고려하여 데이터 개수를 판단하는 기준인 격자(grid) 사이즈를 변경할 수 있어 최적화된 연산을 수행할 수 있다. In addition, since the obstacle map generation unit determines obstacles based on the number of data constituting the two-dimensional coordinates, it is possible to perform real-time calculation by simple calculation for extracting obstacle information, to easily distinguish noise, It is possible to change the grid size, which is a criterion for determining the number of data, to perform an optimized operation.
또한, 돌출 형태의 장애물이 검출되지 않은 경우라도, 특히 실내에서는 계단 등과 같은 절벽이 다수 존재하므로, 바닥면 데이터로부터 절벽을 검출하여 개인 운송수단의 안전성을 보다 향상시킬 수 있다. In addition, even when a protruding obstacle is not detected, since there are many cliffs such as a staircase in the room, it is possible to detect the cliff from the floor surface data, thereby further improving the safety of the personal transportation means.
이 경우, 절벽 검출의 알고리즘은 가상의 밴드 영역의 개념을 적용하여 연산을 상대적으로 용이하게 수행하면서도 판단의 정확성을 향상시킬 수 있다. In this case, the cliff detection algorithm can improve the accuracy of judgment while performing the calculation relatively easily by applying the concept of the virtual band region.
특히, 절벽의 경우 장애물보다 위험성이 높으므로, 구동 제어부에서는 장애물의 회피 구동과 달리 정지 구동을 수행하므로 개인 운송수단의 안전성을 보다 향상시킬 수 있다. Particularly, in the case of a cliff, the risk of the obstacle is higher than that of the obstacle. Therefore, the driving control unit performs the stop driving unlike the avoidance driving of the obstacle.
도 1은 본 발명의 일 실시예에 의한 장애물 회피 시스템을 도시한 블록도이다.
도 2는 도 1의 장애물 회피 시스템을 이용한 장애물 회피 방법을 도시한 흐름도이다.
도 3은 도 2의 바닥면 데이터를 추출하는 단계를 도시한 흐름도이다.
도 4는 도 2의 2차원 장애물 맵을 생성하는 단계를 도시한 흐름도이다.
도 5a 및 도 5b는 도 2의 깊이 정보를 획득한 이미지 및 3차원 점 데이터로 변환한 이미지이다.
도 6은 도 4의 2차원 장애물 맵을 생성한 예를 도시한 이미지이다.
도 7은 도 2의 장애물의 여부를 판단하는 예를 도시한 이미지이다.
도 8은 도 2의 장애물을 회피하기 위한 방향을 연산하는 단계를 도식화한 모식도이다.
도 9a 내지 도 9d는 도 2의 장애물 회피 방법을 통해 장애물을 회피하는 실험 결과를 도식화한 이미지들이다. 1 is a block diagram illustrating an obstacle avoidance system according to an embodiment of the present invention.
2 is a flowchart illustrating an obstacle avoidance method using the obstacle avoidance system of FIG.
Fig. 3 is a flowchart showing a step of extracting the floor surface data of Fig.
4 is a flow chart illustrating the step of generating the two-dimensional obstacle map of FIG.
FIGS. 5A and 5B are images obtained by obtaining the depth information of FIG. 2 and converted into three-dimensional point data.
FIG. 6 is an image showing an example of generating the two-dimensional obstacle map of FIG.
FIG. 7 is an image showing an example of determining whether or not the obstacle exists in FIG.
FIG. 8 is a schematic diagram illustrating a step of calculating a direction for avoiding the obstacle in FIG. 2; FIG.
FIGS. 9A to 9D are graphical images illustrating experimental results of avoiding an obstacle through the obstacle avoidance method of FIG.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms are used only for the purpose of distinguishing one component from another. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In the present application, the term "comprises" or "comprising ", etc. is intended to specify that there is a stated feature, figure, step, operation, component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 의한 장애물 회피 시스템을 도시한 블록도이다. 1 is a block diagram illustrating an obstacle avoidance system according to an embodiment of the present invention.
도 1을 참조하면, 본 실시예에 의한 장애물 회피 시스템(10)은 스캐닝부(100), 바닥면 추출부(200), 장애물 맵 생성부(300), 장애물 정보 추출부(400), 절벽 검출부(500), 회피 방향 연산부(600) 및 구동 제어부(700)를 포함한다. Referring to FIG. 1, the
이하에서는 상기 도 1 및 하기 도면들을 참조하여, 본 실시예에 의한 장애물 회피 시스템(10) 및 상기 장애물 회피 시스템을 이용한 장애물 회피 방법을 보다 구체적으로 동시에 설명한다. Hereinafter, the
도 2는 도 1의 장애물 회피 시스템을 이용한 장애물 회피 방법을 도시한 흐름도이다. 도 3은 도 2의 바닥면 데이터를 추출하는 단계를 도시한 흐름도이다. 도 4는 도 2의 2차원 장애물 맵을 생성하는 단계를 도시한 흐름도이다. 도 5a 및 도 5b는 도 2의 깊이 정보를 획득한 이미지 및 3차원 점 데이터로 변환한 이미지이다. 도 6은 도 4의 2차원 장애물 맵을 생성한 예를 도시한 이미지이다. 도 7은 도 2의 장애물의 여부를 판단하는 예를 도시한 이미지이다. 도 8은 도 2의 장애물을 회피하기 위한 방향을 연산하는 단계를 도식화한 모식도이다. 도 9a 내지 도 9d는 도 2의 장애물 회피 방법을 통해 장애물을 회피하는 실험 결과를 도식화한 이미지들이다. 2 is a flowchart illustrating an obstacle avoidance method using the obstacle avoidance system of FIG. Fig. 3 is a flowchart showing a step of extracting the floor surface data of Fig. 4 is a flow chart illustrating the step of generating the two-dimensional obstacle map of FIG. FIGS. 5A and 5B are images obtained by obtaining the depth information of FIG. 2 and converted into three-dimensional point data. FIG. 6 is an image showing an example of generating the two-dimensional obstacle map of FIG. FIG. 7 is an image showing an example of determining whether or not the obstacle exists in FIG. FIG. 8 is a schematic diagram illustrating a step of calculating a direction for avoiding the obstacle in FIG. 2; FIG. FIGS. 9A to 9D are graphical images illustrating experimental results of avoiding an obstacle through the obstacle avoidance method of FIG.
도 1 및 도 2를 참조하면, 본 실시예에 의한 장애물 회피 방법에서, 우선 상기 스캐닝부(100)는 개인 이동기구(50)가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다(단계 S10). Referring to FIGS. 1 and 2, in the obstacle avoidance method according to the present embodiment, the
상기 스캐닝부(100)는 상기 개인 이동기구(50)에 부착된 깊이 카메라일 수 있으며, 이에 따라 상기 스캐닝부(100)에서 획득되는 데이터는 깊이 정보를 포함한 것으로 상기 깊이 정보를 3차원 점 데이터로서 변환한다. The
보다 구체적으로, 상기 스캐닝부(100)는, 예를 들어, 1개의 적외선 레이저 프로젝터와 모노크롬 CMOS 센서를 포함하여 주로, 실내에서 조명의 세기와 무관하게 전방의 깊이 정보를 획득할 수 있다. More specifically, the
이 경우, 상기 스캐닝부(100)를 통해 장애물(20)을 스캐닝하여 깊이 맵으로 표현된 것은 도 5a의 이미지와 같으며, 상기 스캐닝부(100)에서 상기 깊이 맵으로부터 3차원 점 데이터로 변환한 것은 도 5b의 이미지와 같다. In this case, the
이 후, 도 1 및 도 2를 참조하면, 상기 장애물 회피 방법에서, 상기 바닥면 검출부(200)는 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다(단계 S20). 1 and 2, in the obstacle avoidance method, the bottom
보다 구체적으로, 도 3을 참조하면, 상기 바닥면 데이터를 추출하는 단계(단계 S20)에서, 우선, 상기 획득된 3차원 점 데이터로부터 일정한 간격의 N개의 포인트를 샘플링(sampling)한다(단계 S21). More specifically, referring to FIG. 3, in the step of extracting the bottom surface data (step S20), N points of a predetermined interval are sampled from the obtained three-dimensional point data (step S21) .
이 후, 상기 N개의 샘플링된 포인트 중 3개의 포인트 조합을 선택한다(단계 S22). 즉, 상기 3개의 포인트 조합은 개가 된다. Thereafter, a combination of three points among the N sampled points is selected (step S22). That is, the combination of the three points Dogs.
이 경우, 상기 개 각각의 조합은 3개의 포인트를 포함하므로 평면을 형성하게 되며, 이러한 각각의 조합에 대하여 법선벡터를 연산한다(단계 S23). 이렇게 연산된 각각의 법선벡터의 집합을 로 정의할 수 있다. In this case, Each combination of the dogs includes three points, so that a plane is formed, and a normal vector is calculated for each of these combinations (step S23). Each set of normal vectors .
이 후, 상기 법선벡터의 집합에서 다른 점들과의 법선거리의 편차가 가장 작으면서 바닥면의 초기 법선벡터인 와 가장 유사한 법선벡터 를 갖는 조합을 선택한다(단계 S24). Thereafter, the deviation of the normal distances from other points in the set of normal vectors is the smallest, and the initial normal vectors The most similar normal vector to (Step S24).
이 경우, 상기 초기 법선벡터와 가장 유사한 법선벡터는 인 로 선택될 수 있으며, 이는 곧 초기 법선벡터와 가장 유사한 법선벡터에 해당된다. In this case, the normal vector most similar to the initial normal vector is sign , Which corresponds to the normal vector most similar to the initial normal vector.
또한, 상기 초기 법선벡터 는 개인 이동기구(50)에 부착된 깊이 카메라의 방향에 의해 예측할 수 있으며, 현재 연산되는 조합에서의 법선벡터는 다음 연산되는 조합에서의 초기 법선벡터로 활용될 수 있다. Also, the initial normal vector Can be predicted by the direction of the depth camera attached to the personal moving
한편, 상기 초기 법선벡터 는 개인 이동기구(50)에 부착된 깊이 카메라의 방향으로부터도 예측할 수 있으며, 상기 깊이 카메라가 정면을 향하고 있다면 상기 초기 법선벡터 으로 정의될 수 있다. On the other hand, the initial normal vector Can also be predicted from the direction of the depth camera attached to the personal moving
이 후, 상기 법선벡터가 선택되면, 상기 선택된 조합의 법선벡터 를 구성하는 3개의 포인트로 형성되는 바닥면의 중심점 를 연산하게 된다(단계 S25). Thereafter, when the normal vector is selected, the normal vector of the selected combination Of the bottom surface formed by the three points constituting the center point (Step S25).
이상과 같이 선택된 법선벡터 및 중심점을 통해 바닥면 데이터가 정의된다(단계 S26). The bottom surface data is defined through the selected normal vector and the center point (step S26).
이상과 같이, 상기 바닥면 추출부(200)는 3차원 점 데이터로부터 바닥면 데이터를 추출하게 되며, 상기 추출 방법의 경우, 일정 간격의 N개의 포인트를 샘플링하므로 평면 검출시 임의의 점 데이터 세트를 추출하는 경우 데이터의 쏠림이 발생하여 평면 계산이 어려워지는 문제를 해결하면서, 보다 적은 수의 샘플링 포인트로 바닥면의 추출이 가능하고, 초기 법선벡터를 활용하므로 보다 정확한 바닥면 검출이 가능하게 된다. As described above, the bottom
이 후, 도 1 및 도 2를 다시 참조하면, 상기 장애물 회피 방법에서, 상기 장애물 맵 생성부(300)가 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다(단계 S30). Referring to FIGS. 1 and 2 again, in the obstacle avoidance method, the obstacle
보다 구체적으로, 도 4를 참조하면, 상기 2차원 장애물 맵을 생성하는 단계에서, 우선, 상기 3개의 포인트 조합 개 각각에 대하여 상기에서 정의된 바닥면까지의 법선거리를 연산한다(단계 S31). More specifically, referring to FIG. 4, in the step of generating the two-dimensional obstacle map, first, The normal distance from the bottom surface to the bottom surface defined above is calculated (step S31).
예를 들어, 상기 정의된 바닥면의 법선벡터가 , 상기 정의된 바닥면의 중심점을 라 하면, 상기 각각의 조합에서의 중심점간의 벡터는 이며, 상기 바닥면까지의 법선거리는 로 연산된다. For example, if the normal vector of the floor defined above is , The center point of the above defined floor , The vector between the center points in each combination is , And the normal distance to the bottom surface is .
이 후, 상기 장애물(20) 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택한다(단계 S32). Thereafter, a combination having a normal distance larger than a threshold value for the size of the
즉, 상기 장애물(20) 크기에 대한 임계값은 최소 장애물 크기로 미리 정의되며, 상기 최소 장애물 크기보다 큰 법선거리를 갖는 조합을 선택한다. 이와 같이, 상기 선택된 조합들은 장애물 후보로 선정된다. That is, a threshold value for the size of the
이 후, 상기 선택된 조합에 대하여 2차원 좌표로 변경한다(단계 S33). Thereafter, the selected combination is changed to two-dimensional coordinates (step S33).
즉, 상기 선택된 조합들에 대하여 와 같이 평면으로 투영하여 2차원 좌표로 변경하고, 장애물 후보가 되는 2차원 장애물 맵을 생성하게 된다. That is, for the selected combinations Dimensional obstacle map, which is a candidate for the obstacle, is generated.
이와 같이, 본 실시예에서의 상기 장애물 맵 생성부(300)를 이용하여 2차원 장애물 맵을 생성하는 것은 상대적으로 간단한 벡터 연산을 통해 용이하게 연산이 가능하게 된다. As described above, the two-dimensional obstacle map generation using the obstacle
이 후, 도 1 및 도 2를 참조하면, 상기 장애물 회피 방법에서, 상기 장애물 정보 추출부(400)는 상기 1차원 장애물 맵으로부터 장애물 정보를 추출하고(단계 S40), 상기 추출된 정보로부터 장애물의 여부를 판단한다(단계 S50). 1 and 2, in the obstacle avoidance method, the obstacle
보다 구체적으로, 도 6 및 도 7을 동시에 참조하면, 상기 장애물 정보 추출부(400)는, 도 7에 도시된 바와 같이 격자(grid)를 구성하여 상기 격자 내에 투영된 점 데이터의 개수가 미리 정한 일정 개수를 초과하면 장애물로 판단하도록 이산화(discretize)하는 방법으로 장애물 여부를 판단한다. 6 and 7, the obstacle
상기와 같은 장애물 판단 방법의 경우, 계산량이 적으며 노이즈를 쉽게 판단하여 제거할 수 있는 장점이 있다. In the case of the above-mentioned obstacle determination method, there is an advantage that the calculation amount is small and the noise can be easily determined and removed.
다만, 격자의 크기에 따라 검출 정밀도가 변경될 수는 있으나, 개인 이동기구(50)의 진행속도나 검출 정밀도를 고려하여 격자의 크기를 선택할 수 있으므로 연산 시스템 등을 고려하여 최적의 격자를 선정할 수 있어 검출 정밀도도 최적화할 수 있는 장점이 있다. However, since the detection accuracy can be changed according to the size of the grating, the size of the grating can be selected in consideration of the traveling speed and the detection precision of the personal moving
나아가, 상기 장애물 정보 추출부(400)는 상기와 같이 장애물을 판단하고, 개인 이동기구(50)가 진행하는 범위 내에서 추출된 장애물 후보들 중 개인 이동기구(50)로부터 가장 가까운 장애물(20)의 위치와 거리, 최 좌측 및 최 우측 장애물의 위치, 진행시 마주칠 장애물 정보 등을 실시간으로 산출한다. In addition, the obstacle
이 후, 도 1 및 도 2를 참조하면, 상기 장애물 회피 방법에서, 상기 회피 방향 연산부(600)는 상기 장애물(20)을 회피하기 위한 방향을 연산한다(단계 S60). 1 and 2, in the obstacle avoidance method, the avoidance
보다 구체적으로, 도 8을 참조하면, 상기 장애물 정보 추출부(400)에서 추출한 장애물에 관한 정보 중, 상기 개인 이동기구(50)의 진행 범위 내에서 최 근접, 최 좌측 또는 최 우측 장애물의 위치 정보 를 이용하여 상기 장애물(20)의 척방향(repulsive vector, )을 연산한다. 8, among the information on the obstacle extracted by the obstacle
또한, 상기 척방향 과 상기 개인 이동기구(50)의 진행방향 과의 벡터 합 을 이용하여 좌측 또는 우측의 회피 방향을 결정하고, 상기 결과를 상기 구동 제어부(700)로 전달한다. Further, And the moving direction of the personal moving mechanism (50) Vector sum of And transmits the result to the
이 후, 도 1 및 도 2를 참조하면, 상기 구동 제어부(700)는 상기 회피 방향을 바탕으로 상기 장애물(20)을 회피하도록 상기 개인 이동기구(50)를 구동시켜, 장애물 회피를 수행하게 된다(단계 S91). 1 and 2, the
한편, 도 1 및 도 2를 참조하면, 상기 장애물 정보 추출부(400)에서 장애물(20)로 판단되지 않은 경우(단계 S50), 즉 장애물(20)이 검출되지 않은 경우, 상기 절벽 검출부(500)는 바닥면 데이터로부터 절벽(30)을 검출한다(단계 S70). 1 and 2, when the
상기 절벽 검출부(500)에서는, 상기 개인 이동기구(50)의 전방에 가상의 밴드 영역을 정의하여 상기 절벽(30)의 검출에 적용한다. In the
보다 구체적으로, 상기 가상의 밴드 영역은 상기 개인 이동기구(50)의 전방 일정 거리에 일정 두께를 가지도록 정의되며, 상기 가상의 밴드 영역으로 정의된 영역의 넓이 를 산출한다. More specifically, the virtual band region is defined to have a certain thickness at a predetermined distance forward of the personal moving
또한, 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이 를 산출한다. The width of the region formed by the three-dimensional point data obtained in the virtual band region .
그리하여, 상기 가상의 밴드 영역의 넓이 와 상기 3차원 점 데이터가 형성하는 영역의 넓이 의 비(比)()를 연산하여, 인 경우, 상기 절벽 검출부(500)는 절벽(30)을 검출한다. Thus, the width of the imaginary band region And the width of the area formed by the three-dimensional point data (Ratio) of ), , The
한편, 상기 절벽 검출부(500)에서 상기 절벽(30)이 검출되면(단계 S80), 상기 절벽(30)의 경우 상기 장애물(20)보다 위험성이 크므로 상기 구동 제어부(700)는 상기 개인 이동기구(50)의 주행을 정지하도록 제어한다(단계 S93).If the
물론, 상기 절벽 검출부(500)에서도 상기 절벽(30)이 검출되지 않는 경우라면, 상기 구동 제어부(700)는 별도의 회피나 정지 주행 없이 상기 개인 이동기구(50)의 주행을 유지한다(단계 S92). Of course, if the
한편, 도 9a 내지 도 9d를 참조하면, 본 실시예에 의한 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법을 통해 실제 장애물을 회피하는 과정을 도시한 것으로, 전방 장애물을 회피하는 과정에서 시간에 따라 저장된 2차원 장애물 맵을 나타낸 것이다. 9A to 9D illustrate a process for avoiding an actual obstacle through the obstacle avoidance system and the obstacle avoiding method using the same according to the present embodiment. In the process of avoiding a front obstacle, Dimensional obstacle map.
상기 도시된 바와 같이, 상기 개인 이동기구(50)는 장애물(20)까지의 임계거리보다 가까워지는 경우 상기 검출된 장애물(20) 정보로부터 우측으로 회피하도록 결정되었으며, 이에 따라 상기 개인 이동기구(50)는 상기 장애물(20)을 회피하여 구동됨에 따라 상기 검출된 장애물(20)도 깊이 카메라의 밖으로 서서히 사라지는 것을 확인할 수 있다. As shown above, the personal moving
본 발명의 실시예들에 의하면, 바닥면 데이터로부터 2차원 장애물 맵을 생성하고, 이로부터 장애물 정보를 추출하므로, 종래 초음파를 이용한 장애물 검출 결과보다 해상도가 높으면서도, 레이저나 스테레오 카메라를 이용한 영상 검출 시스템보다 저렴하고 실용적이고, 데이터 처리 속도를 높일 수 있으며 정확한 장애물 정보 추출이 가능하다. According to the embodiments of the present invention, a two-dimensional obstacle map is generated from the floor surface data and the obstacle information is extracted from the two-dimensional obstacle map, so that the resolution is higher than the obstacle detection result using the conventional ultrasonic wave, It is cheaper and more practical than the system, it can increase data processing speed and it can extract accurate obstacle information.
특히, 스캐닝부가 깊이 카메라를 이용하여 깊이 정보를 획득하므로, 레이저나 스테레오 카메라에 비해 저가이면서도 비교적 정확한 데이터를 빠르게 획득할 수 있으며, 장애물은 물론이며 절벽에 관한 정보도 획득이 가능하게 된다. In particular, since the scanning unit acquires depth information using a depth camera, it can acquire relatively inexpensive but relatively accurate data as compared with a laser or a stereo camera, and information about cliffs as well as obstacles can be acquired.
또한, 바닥면 추출부에서 초기 법선벡터를 이용하므로 종래 RANSAC 알고리즘보다 정확한 바닥면 추출이 가능하며, 바닥면 추출을 위한 임의의 점 데이터 조합을 추출하는 경우 데이터가 쏠려 샘플링 되는 경우 평면 계산이 어려운 문제가 있으나 3개의 점들의 조합을 이용하므로 이를 해소하여 보다 적은 수의 샘플링 포인트들로부터 바닥면의 연산이 가능할 수 있다. In addition, since the bottom surface extractor uses the initial normal vector, it is possible to extract the bottom surface more accurately than the conventional RANSAC algorithm. In the case of extracting arbitrary point data combination for bottom surface extraction, However, since the combination of three points is used, it is possible to calculate the floor from a smaller number of sampling points.
또한, 장애물 맵 생성부에서 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 장애물을 판단하므로, 장애물 정보 추출을 위한 연산이 간단하여 실시간 연산이 가능하며, 노이즈의 구분이 용이하고, 연산 시스템의 성능을 고려하여 데이터 개수를 판단하는 기준인 격자(grid) 사이즈를 변경할 수 있어 최적화된 연산을 수행할 수 있다. In addition, since the obstacle map generation unit determines obstacles based on the number of data constituting the two-dimensional coordinates, it is possible to perform real-time calculation by simple calculation for extracting obstacle information, to easily distinguish noise, It is possible to change the grid size, which is a criterion for determining the number of data, to perform an optimized operation.
또한, 돌출 형태의 장애물이 검출되지 않은 경우라도, 특히 실내에서는 계단 등과 같은 절벽이 다수 존재하므로, 바닥면 데이터로부터 절벽을 검출하여 개인 운송수단의 안전성을 보다 향상시킬 수 있다. In addition, even when a protruding obstacle is not detected, since there are many cliffs such as a staircase in the room, it is possible to detect the cliff from the floor surface data, thereby further improving the safety of the personal transportation means.
이 경우, 절벽 검출의 알고리즘은 가상의 밴드 영역의 개념을 적용하여 연산을 상대적으로 용이하게 수행하면서도 판단의 정확성을 향상시킬 수 있다. In this case, the cliff detection algorithm can improve the accuracy of judgment while performing the calculation relatively easily by applying the concept of the virtual band region.
특히, 절벽의 경우 장애물보다 위험성이 높으므로, 구동 제어부에서는 장애물의 회피 구동과 달리 정지 구동을 수행하므로 개인 운송수단의 안전성을 보다 향상시킬 수 있다. Particularly, in the case of a cliff, the risk of the obstacle is higher than that of the obstacle. Therefore, the driving control unit performs the stop driving unlike the avoidance driving of the obstacle.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. It can be understood that it is possible.
본 발명에 따른 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법은 전동 휠체어나 전동 스쿠터와 같은 개인 이동기구에 사용될 수 있는 산업상 이용 가능성을 갖는다. INDUSTRIAL APPLICABILITY The obstacle avoiding system and the obstacle avoiding method using the personal moving mechanism according to the present invention have industrial applicability that can be used in a personal moving mechanism such as an electric wheelchair or an electric scooter.
10 : 장애물 회피 시스템
100 : 스캐닝부 200 : 바닥면 추출부
300 : 장애물 맵 생성부 400 : 장애물 정보 추출부
500 : 절벽 검출부 600 : 회피 방향 연산부
700 : 구동 제어부 10: Obstacle avoidance system
100: scanning unit 200: bottom surface extracting unit
300: an obstacle map generating unit 400: an obstacle information extracting unit
500: cliff detection unit 600: avoidance direction calculation unit
700:
Claims (16)
상기 3차원 점 데이터로부터 바닥면 데이터를 추출하는 바닥면 추출부;
상기 바닥면 데이터로부터 2차원 장애물 맵을 생성하는 장애물 맵 생성부;
상기 2차원 장애물 맵으로부터 장애물 정보를 추출하는 장애물 정보 추출부;
상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산하는 회피방향 연산부; 및
상기 회피방향으로 상기 개인 이동기구를 구동하는 구동 제어부를 포함하고,
상기 바닥면 추출부는, 상기 3차원 점 데이터로부터 선택된 점들 조합들 중, 바닥면의 초기 법선벡터와 가장 유사한 법선벡터를 이루는 조합을 선택하여 바닥면 데이터로 정의하는 것을 특징으로 하는 장애물 회피 시스템. A scanning unit which acquires depth information of a front of the personal moving mechanism and converts the acquired depth information into three-dimensional point data;
A floor surface extracting unit for extracting floor surface data from the three-dimensional point data;
An obstacle map generating unit for generating a two-dimensional obstacle map from the floor surface data;
An obstacle information extracting unit for extracting obstacle information from the two-dimensional obstacle map;
A avoidance direction calculation unit for calculating a direction for avoiding the obstacle when an obstacle is detected from the obstacle information; And
And a drive control section for driving the personal moving mechanism in the avoidance direction,
Wherein the bottom surface extracting unit selects a combination of the point combinations selected from the three-dimensional point data that is the closest to the initial normal vector of the bottom surface as the bottom surface data.
상기 개인 이동기구에 부착된 깊이 카메라를 포함하는 것을 특징으로 하는 장애물 회피 시스템. The apparatus according to claim 1,
And a depth camera attached to the personal moving mechanism.
상기 점들의 조합은 상기 3차원 점 데이터로부터 선택된 3개의 점(point)들의 조합인 것을 특징으로 하는 장애물 회피 시스템. The method according to claim 1,
Wherein the combination of points is a combination of three points selected from the three-dimensional point data.
상기 조합들 각각에 대하여 상기 정의된 바닥면까지의 법선거리를 연산하여, 장애물 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하여 2차원 좌표로 변경하는 것을 특징으로 하는 장애물 회피 시스템. 4. The obstacle detection apparatus according to claim 3,
Calculating a normal distance to the defined floor for each of the combinations, and selecting a combination having a normal distance greater than a threshold value for the obstacle size to change the two-dimensional coordinates.
상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단하는 것을 특징으로 하는 장애물 회피 시스템. The method of claim 4, wherein the obstacle information extracting unit
Wherein an obstacle is determined by removing noise based on the number of data constituting the two-dimensional coordinate.
상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 절벽 검출부를 더 포함하는 장애물 회피 시스템. The method according to claim 1,
Further comprising a cliff detection unit for detecting a cliff from the floor data if no obstacle is detected from the obstacle information.
개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출하는 것을 특징으로 하는 장애물 회피 시스템. 7. The apparatus according to claim 6, wherein the cliff-
Wherein a cliff is detected by calculating a ratio of a width of a virtual band region defined in front of the personal moving mechanism and a width of a region formed by the three-dimensional point data obtained in the virtual band region, Avoidance system.
상기 절벽 검출부에서 절벽을 검출하면 상기 개인 이동기구의 주행을 정지하는 것을 특징으로 하는 장애물 회피 시스템. 8. The apparatus as claimed in claim 7,
And stops the traveling of the personal moving mechanism when a cliff is detected in the cliff detection unit.
상기 3차원 점 데이터로부터 바닥면 데이터를 추출하는 단계;
상기 바닥면 데이터로부터 2차원 장애물 맵을 생성하는 단계;
상기 2차원 장애물 맵으로부터 장애물 정보를 추출하는 단계;
상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산하는 단계; 및
상기 회피방향으로 상기 개인 이동기구를 구동하는 단계를 포함하고,
상기 바닥면 데이터를 추출하는 단계에서, 상기 3차원 점 데이터로부터 선택된 점들 조합들 중, 바닥면의 초기 법선벡터와 가장 유사한 법선벡터를 이루는 조합을 선택하여 바닥면 데이터로 정의하는 것을 특징으로 하는 장애물 회피 방법. Acquiring depth information on the front of the personal moving mechanism and converting the acquired depth information into three-dimensional point data;
Extracting bottom surface data from the three-dimensional point data;
Generating a two-dimensional obstacle map from the floor surface data;
Extracting obstacle information from the two-dimensional obstacle map;
Calculating a direction for avoiding the obstacle when the obstacle is detected from the obstacle information; And
And driving the personal moving mechanism in the avoiding direction,
Wherein a combination of points selected from the three-dimensional point data and forming a normal vector most similar to the initial normal vector of the bottom surface is selected as floor surface data in the step of extracting the bottom surface data, Avoidance method.
상기 3차원 점 데이터 중, 일정한 간격의 N개의 포인트를 샘플링하는 단계;
상기 N개의 포인트 중 3개의 포인트 조합을 선택하는 단계;
상기 각각의 조합에서 법선벡터를 연산하는 단계;
상기 법선벡터들 중 초기 법선벡터와 가장 유사한 법선벡터를 갖는 조합을 선택하는 단계;
상기 선택된 조합의 법선벡터에서 중심점을 연산하는 단계; 및
상기 선택된 조합의 법선벡터 및 중심점으로 바닥면 데이터를 정의하는 단계를 포함하는 것을 특징으로 하는 장애물 회피 방법. 10. The method of claim 9, wherein extracting the bottom-
Sampling N points at regular intervals among the three-dimensional point data;
Selecting three point combinations of the N points;
Computing a normal vector in each of the combinations;
Selecting a combination of the normal vectors having a normal vector most similar to the initial normal vector;
Computing a center point in the normal vector of the selected combination; And
And defining bottom plane data as a normal vector and a center point of the selected combination.
상기 각각의 조합에 대하여 바닥면까지의 법선거리를 연산하는 단계;
상기 장애물의 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하는 단계; 및
상기 선택된 조합에 대하여 2차원 좌표로 변경하는 단계를 포함하는 것을 특징으로 하는 장애물 회피 방법. 11. The method of claim 10, wherein generating the two-
Calculating a normal distance to a bottom surface for each combination;
Selecting a combination having a normal distance greater than a threshold value for the size of the obstacle; And
And changing the selected combination to two-dimensional coordinates.
상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단하는 것을 특징으로 하는 장애물 회피 방법. The method of claim 11, wherein the extracting of the obstacle information comprises:
Wherein an obstacle is determined by removing noise based on the number of data constituting the two-dimensional coordinate.
상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 단계를 더 포함하는 장애물 회피 방법. 10. The method of claim 9,
And if no obstacle is detected from the obstacle information, detecting a cliff from the floor data.
개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출하는 것을 특징으로 하는 장애물 회피 방법. 14. The method of claim 13, wherein detecting the cliff comprises:
Wherein a cliff is detected by calculating a ratio of a width of a virtual band region defined in front of the personal moving mechanism and a width of a region formed by the three-dimensional point data obtained in the virtual band region, Avoidance method.
상기 가상의 밴드 영역의 넓이와 상기 3차원 점 데이터가 형성하는 영역의 넓이의 비는 하기 식으로 연산하며,
인 경우, 절벽으로 검출하는 것을 특징으로 하는 장애물 회피 방법. 15. The method of claim 14,
The ratio of the width of the imaginary band region and the width of the region formed by the three-dimensional point data is calculated by the following equation,
The obstacle avoidance method is characterized by detecting the obstacle as a cliff.
상기 절벽이 검출되면 상기 개인 이동기구의 주행을 정지하는 단계를 더 포함하는 장애물 회피 방법. 14. The method of claim 13,
And stopping the traveling of the personal moving mechanism when the cliff is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160098000A KR101997531B1 (en) | 2016-08-01 | 2016-08-01 | Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160098000A KR101997531B1 (en) | 2016-08-01 | 2016-08-01 | Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180014535A KR20180014535A (en) | 2018-02-09 |
KR101997531B1 true KR101997531B1 (en) | 2019-07-08 |
Family
ID=61198986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160098000A KR101997531B1 (en) | 2016-08-01 | 2016-08-01 | Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101997531B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109876373B (en) * | 2019-03-13 | 2023-12-22 | 浙江理工大学 | Interactive body-building recreation bicycle |
KR20220039101A (en) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | Robot and controlling method thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101049155B1 (en) * | 2011-02-01 | 2011-07-14 | 국방과학연구소 | Method for judging obstacle of autonomous moving apparatus and autonomous moving apparatus |
JP2014194729A (en) * | 2013-02-27 | 2014-10-09 | Sharp Corp | Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101440054B1 (en) | 2013-05-03 | 2014-09-17 | 자동차부품연구원 | Electric wheelchair and control method thereof |
KR20150027987A (en) | 2013-09-05 | 2015-03-13 | 한국전자통신연구원 | Control device and method of electrical wheel-chair for autonomous moving |
KR101566448B1 (en) * | 2014-03-21 | 2015-11-05 | 동아대학교 산학협력단 | Method for detecting and removing floor area using depth information and apparutus for detecting and removing floor area using depth information and program recording medium for detecting and removing floor area using depth information |
-
2016
- 2016-08-01 KR KR1020160098000A patent/KR101997531B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101049155B1 (en) * | 2011-02-01 | 2011-07-14 | 국방과학연구소 | Method for judging obstacle of autonomous moving apparatus and autonomous moving apparatus |
JP2014194729A (en) * | 2013-02-27 | 2014-10-09 | Sharp Corp | Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method |
Also Published As
Publication number | Publication date |
---|---|
KR20180014535A (en) | 2018-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101054025B1 (en) | Visually impaired walking guidance method and system | |
CN109344687B (en) | Vision-based obstacle detection method and device and mobile device | |
JP4203512B2 (en) | Vehicle periphery monitoring device | |
JP4355341B2 (en) | Visual tracking using depth data | |
JP2007078476A (en) | Object location detection device, method, and program, mapping system, and autonomous transfer equipment | |
JP2006251596A (en) | Support device for visually handicapped person | |
JP5892588B2 (en) | Human guidance robot | |
JPWO2009005025A1 (en) | Moving object detection device | |
KR20140056790A (en) | Apparatus for image recognition and method thereof | |
KR101997531B1 (en) | Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same | |
KR20160028891A (en) | An objection recognition device for a blind person using a depth camera and a direction-detecting sensor | |
Utaminingrum et al. | Development of computer vision based obstacle detection and human tracking on smart wheelchair for disabled patient | |
JP2006236184A (en) | Human body detection method by image processing | |
JPWO2017094300A1 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
Saputra et al. | Obstacle avoidance for visually impaired using auto-adaptive thresholding on Kinect's depth image | |
KR101583797B1 (en) | Apparatus and method for detecting lane based on top view image transform | |
JPWO2017099199A1 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
KR101859618B1 (en) | Method and device for driving mobile robot using vanishing point in corridor | |
JP2007011490A (en) | Device and method for detecting road parameter | |
JP2004301607A (en) | Moving object detection device, moving object detection method, and moving object detection program | |
KR20180097962A (en) | Situation determining guide apparatus and method based image analysis | |
KR101620580B1 (en) | Method and system for dectecting run | |
JP2009223504A (en) | Vehicle detection device, method, and program | |
JP2005228136A (en) | Road area detecting device | |
JP2006146551A (en) | Robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |