KR101997531B1 - Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same - Google Patents

Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same Download PDF

Info

Publication number
KR101997531B1
KR101997531B1 KR1020160098000A KR20160098000A KR101997531B1 KR 101997531 B1 KR101997531 B1 KR 101997531B1 KR 1020160098000 A KR1020160098000 A KR 1020160098000A KR 20160098000 A KR20160098000 A KR 20160098000A KR 101997531 B1 KR101997531 B1 KR 101997531B1
Authority
KR
South Korea
Prior art keywords
obstacle
data
dimensional
cliff
moving mechanism
Prior art date
Application number
KR1020160098000A
Other languages
Korean (ko)
Other versions
KR20180014535A (en
Inventor
서준호
김창원
권오원
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020160098000A priority Critical patent/KR101997531B1/en
Publication of KR20180014535A publication Critical patent/KR20180014535A/en
Application granted granted Critical
Publication of KR101997531B1 publication Critical patent/KR101997531B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L15/00Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles
    • B60L15/20Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles for control of the vehicle or its driving motor to achieve a desired performance, e.g. speed, torque, programmed variation of speed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00Type of vehicles
    • B60L2200/34Wheel chairs
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/72Electric energy management in electromobility

Abstract

개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법에서, 상기 장애물 회피 시스템은 스캐닝부, 바닥면 추출부, 장애물 맵 생성부, 장애물 정보 추출부, 회피방향 연산부 및 구동 제어부를 포함한다. 상기 스캐닝부는 개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다. 상기 바닥면 추출부는 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다. 상기 장애물 맵 생성부는 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다. 상기 장애물 정보 추출부는 상기 2차원 장애물 맵으로부터 장애물 정보를 추출한다. 상기 회피방향 연산부는 상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산한다. 상기 구동 제어부는 상기 회피방향으로 상기 개인 이동기구를 구동한다. In the obstacle avoidance system of the personal moving mechanism and the obstacle avoiding method using the same, the obstacle avoidance system includes a scanning unit, a floor surface extracting unit, an obstacle map generating unit, an obstacle information extracting unit, a avoiding direction calculating unit, and a driving control unit. The scanning unit acquires depth information on the front of the personal moving mechanism and converts the acquired depth information into three-dimensional point data. The bottom surface extracting unit extracts bottom surface data from the three-dimensional point data. The obstacle map generation unit generates a two-dimensional obstacle map from the floor data. The obstacle information extracting unit extracts obstacle information from the two-dimensional obstacle map. The avoidance direction calculation unit calculates a direction for avoiding the obstacle when an obstacle is detected from the obstacle information. And the drive control unit drives the personal moving mechanism in the avoidance direction.

Description

개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법{OBSTACLE AVOIDING SYSTEM FOR A PERSONAL MOBILITY AND A METHOD FOR AVOIDING AN OBSTACLE USING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an OBM

본 발명은 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법에 관한 것으로, 더욱 상세하게는 장애인이나 고령자가 탑승한 전동 휠체어와 같은 개인 이동기구에 탑재되어 장애물이나 절벽 등을 인지하여 이를 회피할 수 있는 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법에 관한 것이다.The present invention relates to an obstacle avoidance system and an obstacle avoiding method using the obstacle avoidance system. More particularly, the present invention relates to an obstacle avoidance system that is mounted on a personal moving apparatus such as an electric wheelchair mounted on a disabled person or an elderly person, To an obstacle avoidance system and an obstacle avoidance method using the same.

최근, 거동이 불편한 장애인이나 고령자들이 삶의 질 향상에 대한 욕구가 증대됨에 따라 전동 휠체어나 전동 스쿠터와 같은 개인 이동기구의 사용이 증가하고 있는 상황이다. 그러나, 장애인이나 고령자의 경우, 정상인과 대비하여 판단 능력이나 조종 능력이 상대적으로 저하된 상태이므로 주행시 사고 발생의 가능성이 높은 편이다. In recent years, the use of personal mobile devices such as electric wheelchairs and electric scooters has been increasing as the need for improved quality of life for disabled people or elderly people with mobility problems is increasing. However, in the case of the handicapped or the elderly, the judgment ability or the steering ability is relatively lowered in comparison with the normal person.

이에 따라, 주행시 사고 발생을 줄이기 위한 기술들이 개발되고 있다. 예를 들어, 대한민국 등록특허 제10-1440054호에서는 기울기 센서를 바탕으로 전동휠체어의 진행방향의 경사도를 감지하거나 장애물을 감지하는 기술을 개시하고 있으며, 대한민국 공개특허 제10-2015-0027987호에서는 휠체어가 주행하는 지면의 영상정보를 바탕으로 주행경로를 설정하고 탑승자에게 이를 알리는 기술을 개시하고 있다. Accordingly, techniques for reducing the occurrence of accidents during driving are being developed. For example, Korean Patent Registration No. 10-1440054 discloses a technique for detecting an inclination of a traveling direction of an electric wheelchair or detecting an obstacle on the basis of a tilt sensor, and in Korean Patent Publication No. 10-2015-0027987, Discloses a technique of setting a traveling route based on image information of a ground on which the vehicle travels and informing the occupant of the traveling route.

그러나, 기울기 센서만으로 개인 이동기구의 안전성을 보장하기에는 매우 미흡하며, 영상정보를 이용한 경우 영상정보의 촬영 및 분석을 위한 고가의 센서 및 처리시스템이 탑재되어야 하는 문제가 있다. However, there is a problem in that the safety of the personal moving mechanism is insufficient with only the tilt sensor, and in the case of using the image information, expensive sensor and processing system for photographing and analyzing the image information must be mounted.

나아가, 장애물 검출 방법으로 초음파를 이용하는 기술도 개시되고는 있으나, 초음파 이용 기술의 경우 처리 속도가 빠른 장점은 있으나, 검출된 영상의 해상도가 매우 낮아 장애물의 식별이 어려운 문제가 있다. Furthermore, there is a technique of using ultrasonic waves as a method of detecting an obstacle. However, although the processing speed of the ultrasonic using technique is advantageous, the resolution of the detected image is very low, which makes it difficult to identify obstacles.

대한민국 등록특허 제10-1440054호Korean Patent No. 10-1440054 대한민국 공개특허 제10-2015-0027987호Korean Patent Publication No. 10-2015-0027987

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 상대적으로 빠른 처리 속도 및 검출된 영상의 정확도가 향상되어 안전성을 높일 수 있는 개인 이동기구의 장애물 회피 시스템에 관한 것이다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide an obstacle avoidance system for a personal moving mechanism capable of enhancing safety with a relatively high processing speed and improved accuracy of detected images.

본 발명의 다른 목적은 상기 장애물 회피 시스템을 이용한 장애물 회피 방법에 관한 것이다. Another object of the present invention is to provide an obstacle avoiding method using the obstacle avoidance system.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 장애물 회피 시스템은 스캐닝부, 바닥면 추출부, 장애물 맵 생성부, 장애물 정보 추출부, 회피방향 연산부 및 구동 제어부를 포함한다. 상기 스캐닝부는 개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다. 상기 바닥면 추출부는 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다. 상기 장애물 맵 생성부는 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다. 상기 장애물 정보 추출부는 상기 2차원 장애물 맵으로부터 장애물 정보를 추출한다. 상기 회피방향 연산부는 상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산한다. 상기 구동 제어부는 상기 회피방향으로 상기 개인 이동기구를 구동한다. According to an embodiment of the present invention, an obstacle avoidance system includes a scanning unit, a floor surface extracting unit, an obstacle map generating unit, an obstacle information extracting unit, a avoiding direction calculating unit, and a driving control unit. The scanning unit acquires depth information on the front of the personal moving mechanism and converts the acquired depth information into three-dimensional point data. The bottom surface extracting unit extracts bottom surface data from the three-dimensional point data. The obstacle map generation unit generates a two-dimensional obstacle map from the floor data. The obstacle information extracting unit extracts obstacle information from the two-dimensional obstacle map. The avoidance direction calculation unit calculates a direction for avoiding the obstacle when an obstacle is detected from the obstacle information. And the drive control unit drives the personal moving mechanism in the avoidance direction.

일 실시예에서, 상기 스캐닝부는 상기 개인 이동기구에 부착된 깊이 카메라를 포함할 수 있다. In one embodiment, the scanning unit may include a depth camera attached to the personal moving mechanism.

일 실시예에서, 상기 바닥면 추출부는, 상기 3차원 점 데이터로부터 선택된 3개의 점(point)들 조합들 중, 바닥면의 초기 법선벡터와 가장 유사한 법선벡터를 이루는 조합을 선택하여 바닥면 데이터로 정의할 수 있다. In one embodiment, the bottom surface extracting unit selects a combination of three points selected from the three-dimensional point data, which is the closest normal vector to the initial normal vector of the bottom surface, Can be defined.

일 실시예에서, 상기 장애물 맵 생성부는, 상기 조합들 각각에 대하여 상기 정의된 바닥면까지의 법선거리를 연산하여, 장애물 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하여 2차원 좌표로 변경할 수 있다. In one embodiment, the obstacle map generator may calculate a normal distance to the defined floor for each of the combinations, select a combination having a normal distance greater than a threshold value for the obstacle size, Can be changed.

일 실시예에서, 상기 장애물 정보 추출부는, 상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단할 수 있다. In one embodiment, the obstacle information extracting unit may determine an obstacle by removing noise based on the number of data constituting the two-dimensional coordinate.

일 실시예에서, 상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 절벽 검출부를 더 포함할 수 있다. In one embodiment, if no obstacle is detected from the obstacle information, the obstacle detecting unit may further include a cliff detecting unit for detecting cliffs from the floor data.

일 실시예에서, 상기 절벽 검출부는, 개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출할 수 있다. In one embodiment, the cliff detection unit calculates a ratio of a width of a virtual band region defined in front of the personal moving mechanism and a width of an area formed by the three-dimensional point data obtained in the virtual band region The cliff can be detected.

일 실시예에서, 상기 구동 제어부는, 상기 절벽 검출부에서 절벽을 검출하면 상기 개인 이동기구의 주행을 정지할 수 있다. In one embodiment, the drive control section may stop the traveling of the personal moving mechanism when the cliff detection section detects a cliff.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 장애물 회피 방법에서 개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다. 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다. 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다. 상기 2차원 장애물 맵으로부터 장애물 정보를 추출한다. 상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산한다. 상기 회피방향으로 상기 개인 이동기구를 구동한다. In the obstacle avoidance method according to an embodiment of the present invention for realizing the above-described object, the depth information of the forward movement of the personal moving mechanism is acquired and converted into three-dimensional point data. And extracts bottom surface data from the three-dimensional point data. And generates a two-dimensional obstacle map from the floor surface data. Obstacle information is extracted from the two-dimensional obstacle map. And calculates a direction for avoiding the obstacle when the obstacle is detected from the obstacle information. And drives the personal moving mechanism in the avoidance direction.

일 실시예에서, 상기 바닥면 데이터를 추출하는 단계는, 상기 3차원 점 데이터 중, 일정한 간격의 N개의 포인트를 샘플링하는 단계, 상기 N개의 포인트 중 3개의 포인트 조합을 선택하는 단계, 상기 각각의 조합에서 법선벡터를 연산하는 단계, 상기 법선벡터들 중 초기 법선벡터와 가장 유사한 법선벡터를 갖는 조합을 선택하는 단계, 상기 선택된 조합의 법선벡터에서 중심점을 연산하는 단계, 및 상기 선택된 조합의 법선벡터 및 중심점으로 바닥면 데이터를 정의하는 단계를 포함할 수 있다. In one embodiment, the step of extracting the floor surface data comprises the steps of: sampling N points at regular intervals of the three-dimensional point data; selecting a combination of three points out of the N points; Selecting a combination having a normal vector most similar to an initial normal vector of the normal vectors, computing a center point in the normal vector of the selected combination, And defining bottom surface data as a center point.

일 실시예에서, 상기 2차원 장애물 맵을 생성하는 단계는, 상기 각각의 조합에 대하여 바닥면까지의 법선거리를 연산하는 단계, 상기 장애물의 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하는 단계, 및 상기 선택된 조합에 대하여 2차원 좌표로 변경하는 단계를 포함할 수 있다. In one embodiment, the step of generating the two-dimensional obstacle map comprises computing a normal distance to the floor for each combination, selecting a combination having a normal distance greater than a threshold value for the size of the obstacle And changing the selected combination to two-dimensional coordinates.

일 실시예에서, 상기 장애물 정보를 추출하는 단계는, 상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단할 수 있다. In one embodiment, the step of extracting the obstacle information may determine an obstacle by removing noise based on the number of data constituting the two-dimensional coordinate.

일 실시예에서, 상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 단계를 더 포함할 수 있다. In one embodiment, if an obstacle is not detected from the obstacle information, the step of detecting a cliff from the floor data may further include detecting the obstacle.

일 실시예에서, 상기 절벽을 검출하는 단계는, 개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출할 수 있다. In one embodiment, the step of detecting the cliff may include detecting a ratio of a width of a virtual band region defined in front of the personal moving mechanism to a width of an area formed by the three-dimensional point data obtained in the virtual band region ) Can be calculated to detect the cliff.

일 실시예에서, 상기 가상의 밴드 영역의 넓이와 상기 3차원 점 데이터가 형성하는 영역의 넓이의 비는 하기 식으로 연산하며, In one embodiment, the ratio of the width of the imaginary band region to the width of the region formed by the three-dimensional point data is calculated by the following equation,

Figure 112016074675820-pat00001
Figure 112016074675820-pat00001

Figure 112016074675820-pat00002
인 경우, 절벽으로 검출할 수 있다.
Figure 112016074675820-pat00002
, It can be detected as a cliff.

일 실시예에서, 상기 절벽이 검출되면 상기 개인 이동기구의 주행을 정지하는 단계를 더 포함할 수 있다. In one embodiment, the step of stopping the traveling of the personal moving mechanism may be further included when the cliff is detected.

본 발명의 실시예들에 의하면, 바닥면 데이터로부터 2차원 장애물 맵을 생성하고, 이로부터 장애물 정보를 추출하므로, 종래 초음파를 이용한 장애물 검출 결과보다 해상도가 높으면서도, 레이저나 스테레오 카메라를 이용한 영상 검출 시스템보다 저렴하고 실용적이고, 데이터 처리 속도를 높일 수 있으며 정확한 장애물 정보 추출이 가능하다. According to the embodiments of the present invention, a two-dimensional obstacle map is generated from the floor surface data and the obstacle information is extracted from the two-dimensional obstacle map, so that the resolution is higher than the obstacle detection result using the conventional ultrasonic wave, It is cheaper and more practical than the system, it can increase data processing speed and it can extract accurate obstacle information.

특히, 스캐닝부가 깊이 카메라를 이용하여 깊이 정보를 획득하므로, 레이저나 스테레오 카메라에 비해 저가이면서도 비교적 정확한 데이터를 빠르게 획득할 수 있으며, 장애물은 물론이며 절벽에 관한 정보도 획득이 가능하게 된다. In particular, since the scanning unit acquires depth information using a depth camera, it can acquire relatively inexpensive but relatively accurate data as compared with a laser or a stereo camera, and information about cliffs as well as obstacles can be acquired.

또한, 바닥면 추출부에서 초기 법선벡터를 이용하므로 종래 RANSAC 알고리즘보다 정확한 바닥면 추출이 가능하며, 바닥면 추출을 위한 임의의 점 데이터 조합을 추출하는 경우 데이터가 쏠려 샘플링 되는 경우 평면 계산이 어려운 문제가 있으나 3개의 점들의 조합을 이용하므로 이를 해소하여 보다 적은 수의 샘플링 포인트들로부터 바닥면의 연산이 가능할 수 있다. In addition, since the bottom surface extractor uses the initial normal vector, it is possible to extract the bottom surface more accurately than the conventional RANSAC algorithm. In the case of extracting arbitrary point data combination for bottom surface extraction, However, since the combination of three points is used, it is possible to calculate the floor from a smaller number of sampling points.

또한, 장애물 맵 생성부에서 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 장애물을 판단하므로, 장애물 정보 추출을 위한 연산이 간단하여 실시간 연산이 가능하며, 노이즈의 구분이 용이하고, 연산 시스템의 성능을 고려하여 데이터 개수를 판단하는 기준인 격자(grid) 사이즈를 변경할 수 있어 최적화된 연산을 수행할 수 있다. In addition, since the obstacle map generation unit determines obstacles based on the number of data constituting the two-dimensional coordinates, it is possible to perform real-time calculation by simple calculation for extracting obstacle information, to easily distinguish noise, It is possible to change the grid size, which is a criterion for determining the number of data, to perform an optimized operation.

또한, 돌출 형태의 장애물이 검출되지 않은 경우라도, 특히 실내에서는 계단 등과 같은 절벽이 다수 존재하므로, 바닥면 데이터로부터 절벽을 검출하여 개인 운송수단의 안전성을 보다 향상시킬 수 있다. In addition, even when a protruding obstacle is not detected, since there are many cliffs such as a staircase in the room, it is possible to detect the cliff from the floor surface data, thereby further improving the safety of the personal transportation means.

이 경우, 절벽 검출의 알고리즘은 가상의 밴드 영역의 개념을 적용하여 연산을 상대적으로 용이하게 수행하면서도 판단의 정확성을 향상시킬 수 있다. In this case, the cliff detection algorithm can improve the accuracy of judgment while performing the calculation relatively easily by applying the concept of the virtual band region.

특히, 절벽의 경우 장애물보다 위험성이 높으므로, 구동 제어부에서는 장애물의 회피 구동과 달리 정지 구동을 수행하므로 개인 운송수단의 안전성을 보다 향상시킬 수 있다. Particularly, in the case of a cliff, the risk of the obstacle is higher than that of the obstacle. Therefore, the driving control unit performs the stop driving unlike the avoidance driving of the obstacle.

도 1은 본 발명의 일 실시예에 의한 장애물 회피 시스템을 도시한 블록도이다.
도 2는 도 1의 장애물 회피 시스템을 이용한 장애물 회피 방법을 도시한 흐름도이다.
도 3은 도 2의 바닥면 데이터를 추출하는 단계를 도시한 흐름도이다.
도 4는 도 2의 2차원 장애물 맵을 생성하는 단계를 도시한 흐름도이다.
도 5a 및 도 5b는 도 2의 깊이 정보를 획득한 이미지 및 3차원 점 데이터로 변환한 이미지이다.
도 6은 도 4의 2차원 장애물 맵을 생성한 예를 도시한 이미지이다.
도 7은 도 2의 장애물의 여부를 판단하는 예를 도시한 이미지이다.
도 8은 도 2의 장애물을 회피하기 위한 방향을 연산하는 단계를 도식화한 모식도이다.
도 9a 내지 도 9d는 도 2의 장애물 회피 방법을 통해 장애물을 회피하는 실험 결과를 도식화한 이미지들이다.
1 is a block diagram illustrating an obstacle avoidance system according to an embodiment of the present invention.
2 is a flowchart illustrating an obstacle avoidance method using the obstacle avoidance system of FIG.
Fig. 3 is a flowchart showing a step of extracting the floor surface data of Fig.
4 is a flow chart illustrating the step of generating the two-dimensional obstacle map of FIG.
FIGS. 5A and 5B are images obtained by obtaining the depth information of FIG. 2 and converted into three-dimensional point data.
FIG. 6 is an image showing an example of generating the two-dimensional obstacle map of FIG.
FIG. 7 is an image showing an example of determining whether or not the obstacle exists in FIG.
FIG. 8 is a schematic diagram illustrating a step of calculating a direction for avoiding the obstacle in FIG. 2; FIG.
FIGS. 9A to 9D are graphical images illustrating experimental results of avoiding an obstacle through the obstacle avoidance method of FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms are used only for the purpose of distinguishing one component from another. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In the present application, the term "comprises" or "comprising ", etc. is intended to specify that there is a stated feature, figure, step, operation, component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 의한 장애물 회피 시스템을 도시한 블록도이다. 1 is a block diagram illustrating an obstacle avoidance system according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 의한 장애물 회피 시스템(10)은 스캐닝부(100), 바닥면 추출부(200), 장애물 맵 생성부(300), 장애물 정보 추출부(400), 절벽 검출부(500), 회피 방향 연산부(600) 및 구동 제어부(700)를 포함한다. Referring to FIG. 1, the obstacle avoidance system 10 according to the present embodiment includes a scanning unit 100, a floor surface extracting unit 200, an obstacle map generating unit 300, an obstacle information extracting unit 400, An avoidance direction calculation unit 600, and a drive control unit 700. [

이하에서는 상기 도 1 및 하기 도면들을 참조하여, 본 실시예에 의한 장애물 회피 시스템(10) 및 상기 장애물 회피 시스템을 이용한 장애물 회피 방법을 보다 구체적으로 동시에 설명한다. Hereinafter, the obstacle avoidance system 10 and the obstacle avoidance method using the obstacle avoidance system according to the present embodiment will be described concretely with reference to FIG. 1 and the following figures.

도 2는 도 1의 장애물 회피 시스템을 이용한 장애물 회피 방법을 도시한 흐름도이다. 도 3은 도 2의 바닥면 데이터를 추출하는 단계를 도시한 흐름도이다. 도 4는 도 2의 2차원 장애물 맵을 생성하는 단계를 도시한 흐름도이다. 도 5a 및 도 5b는 도 2의 깊이 정보를 획득한 이미지 및 3차원 점 데이터로 변환한 이미지이다. 도 6은 도 4의 2차원 장애물 맵을 생성한 예를 도시한 이미지이다. 도 7은 도 2의 장애물의 여부를 판단하는 예를 도시한 이미지이다. 도 8은 도 2의 장애물을 회피하기 위한 방향을 연산하는 단계를 도식화한 모식도이다. 도 9a 내지 도 9d는 도 2의 장애물 회피 방법을 통해 장애물을 회피하는 실험 결과를 도식화한 이미지들이다. 2 is a flowchart illustrating an obstacle avoidance method using the obstacle avoidance system of FIG. Fig. 3 is a flowchart showing a step of extracting the floor surface data of Fig. 4 is a flow chart illustrating the step of generating the two-dimensional obstacle map of FIG. FIGS. 5A and 5B are images obtained by obtaining the depth information of FIG. 2 and converted into three-dimensional point data. FIG. 6 is an image showing an example of generating the two-dimensional obstacle map of FIG. FIG. 7 is an image showing an example of determining whether or not the obstacle exists in FIG. FIG. 8 is a schematic diagram illustrating a step of calculating a direction for avoiding the obstacle in FIG. 2; FIG. FIGS. 9A to 9D are graphical images illustrating experimental results of avoiding an obstacle through the obstacle avoidance method of FIG.

도 1 및 도 2를 참조하면, 본 실시예에 의한 장애물 회피 방법에서, 우선 상기 스캐닝부(100)는 개인 이동기구(50)가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환한다(단계 S10). Referring to FIGS. 1 and 2, in the obstacle avoidance method according to the present embodiment, the scanning unit 100 acquires the depth information of the forward movement of the personal moving mechanism 50 and converts it into three-dimensional point data (Step S10).

상기 스캐닝부(100)는 상기 개인 이동기구(50)에 부착된 깊이 카메라일 수 있으며, 이에 따라 상기 스캐닝부(100)에서 획득되는 데이터는 깊이 정보를 포함한 것으로 상기 깊이 정보를 3차원 점 데이터로서 변환한다. The scanning unit 100 may be a depth camera attached to the personal moving mechanism 50. Accordingly, the data acquired by the scanning unit 100 includes depth information, and the depth information may be three-dimensional point data Conversion.

보다 구체적으로, 상기 스캐닝부(100)는, 예를 들어, 1개의 적외선 레이저 프로젝터와 모노크롬 CMOS 센서를 포함하여 주로, 실내에서 조명의 세기와 무관하게 전방의 깊이 정보를 획득할 수 있다. More specifically, the scanning unit 100 includes, for example, one infrared laser projector and a monochrome CMOS sensor, and can mainly acquire depth information in front of the room irrespective of intensity of illumination.

이 경우, 상기 스캐닝부(100)를 통해 장애물(20)을 스캐닝하여 깊이 맵으로 표현된 것은 도 5a의 이미지와 같으며, 상기 스캐닝부(100)에서 상기 깊이 맵으로부터 3차원 점 데이터로 변환한 것은 도 5b의 이미지와 같다. In this case, the obstacle 20 is scanned through the scanning unit 100 and the depth map is the same as the image of FIG. 5A. In the scanning unit 100, the depth map is converted into three- 5B.

이 후, 도 1 및 도 2를 참조하면, 상기 장애물 회피 방법에서, 상기 바닥면 검출부(200)는 상기 3차원 점 데이터로부터 바닥면 데이터를 추출한다(단계 S20). 1 and 2, in the obstacle avoidance method, the bottom surface detecting unit 200 extracts bottom surface data from the three-dimensional point data (step S20).

보다 구체적으로, 도 3을 참조하면, 상기 바닥면 데이터를 추출하는 단계(단계 S20)에서, 우선, 상기 획득된 3차원 점 데이터로부터 일정한 간격의 N개의 포인트를 샘플링(sampling)한다(단계 S21). More specifically, referring to FIG. 3, in the step of extracting the bottom surface data (step S20), N points of a predetermined interval are sampled from the obtained three-dimensional point data (step S21) .

이 후, 상기 N개의 샘플링된 포인트 중 3개의 포인트 조합을 선택한다(단계 S22). 즉, 상기 3개의 포인트 조합은

Figure 112016074675820-pat00003
개가 된다. Thereafter, a combination of three points among the N sampled points is selected (step S22). That is, the combination of the three points
Figure 112016074675820-pat00003
Dogs.

이 경우, 상기

Figure 112016074675820-pat00004
개 각각의 조합은 3개의 포인트를 포함하므로 평면을 형성하게 되며, 이러한 각각의 조합에 대하여 법선벡터를 연산한다(단계 S23). 이렇게 연산된 각각의 법선벡터의 집합을
Figure 112016074675820-pat00005
로 정의할 수 있다. In this case,
Figure 112016074675820-pat00004
Each combination of the dogs includes three points, so that a plane is formed, and a normal vector is calculated for each of these combinations (step S23). Each set of normal vectors
Figure 112016074675820-pat00005
.

이 후, 상기 법선벡터의 집합에서 다른 점들과의 법선거리의 편차가 가장 작으면서 바닥면의 초기 법선벡터인

Figure 112016074675820-pat00006
와 가장 유사한 법선벡터
Figure 112016074675820-pat00007
를 갖는 조합을 선택한다(단계 S24). Thereafter, the deviation of the normal distances from other points in the set of normal vectors is the smallest, and the initial normal vectors
Figure 112016074675820-pat00006
The most similar normal vector to
Figure 112016074675820-pat00007
(Step S24).

이 경우, 상기 초기 법선벡터와 가장 유사한 법선벡터는

Figure 112016081347947-pat00047
Figure 112016081347947-pat00009
로 선택될 수 있으며, 이는 곧 초기 법선벡터와 가장 유사한 법선벡터에 해당된다. In this case, the normal vector most similar to the initial normal vector is
Figure 112016081347947-pat00047
sign
Figure 112016081347947-pat00009
, Which corresponds to the normal vector most similar to the initial normal vector.

또한, 상기 초기 법선벡터

Figure 112016074675820-pat00010
는 개인 이동기구(50)에 부착된 깊이 카메라의 방향에 의해 예측할 수 있으며, 현재 연산되는 조합에서의 법선벡터는 다음 연산되는 조합에서의 초기 법선벡터로 활용될 수 있다. Also, the initial normal vector
Figure 112016074675820-pat00010
Can be predicted by the direction of the depth camera attached to the personal moving mechanism 50 and the normal vector in the currently operated combination can be utilized as the initial normal vector in the next calculated combination.

한편, 상기 초기 법선벡터

Figure 112016074675820-pat00011
는 개인 이동기구(50)에 부착된 깊이 카메라의 방향으로부터도 예측할 수 있으며, 상기 깊이 카메라가 정면을 향하고 있다면 상기 초기 법선벡터
Figure 112016074675820-pat00012
으로 정의될 수 있다. On the other hand, the initial normal vector
Figure 112016074675820-pat00011
Can also be predicted from the direction of the depth camera attached to the personal moving mechanism 50, and if the depth camera is facing front, the initial normal vector
Figure 112016074675820-pat00012
. ≪ / RTI >

이 후, 상기 법선벡터가 선택되면, 상기 선택된 조합의 법선벡터

Figure 112016074675820-pat00013
를 구성하는 3개의 포인트로 형성되는 바닥면의 중심점
Figure 112016074675820-pat00014
를 연산하게 된다(단계 S25). Thereafter, when the normal vector is selected, the normal vector of the selected combination
Figure 112016074675820-pat00013
Of the bottom surface formed by the three points constituting the center point
Figure 112016074675820-pat00014
(Step S25).

이상과 같이 선택된 법선벡터 및 중심점을 통해 바닥면 데이터가 정의된다(단계 S26). The bottom surface data is defined through the selected normal vector and the center point (step S26).

이상과 같이, 상기 바닥면 추출부(200)는 3차원 점 데이터로부터 바닥면 데이터를 추출하게 되며, 상기 추출 방법의 경우, 일정 간격의 N개의 포인트를 샘플링하므로 평면 검출시 임의의 점 데이터 세트를 추출하는 경우 데이터의 쏠림이 발생하여 평면 계산이 어려워지는 문제를 해결하면서, 보다 적은 수의 샘플링 포인트로 바닥면의 추출이 가능하고, 초기 법선벡터를 활용하므로 보다 정확한 바닥면 검출이 가능하게 된다. As described above, the bottom surface extracting unit 200 extracts bottom surface data from the three-dimensional point data. In the case of the extraction method, since sampling N points at regular intervals, The extraction of the bottom surface is possible with a smaller number of sampling points while more accurate bottom surface detection is possible because the initial normal vector is utilized.

이 후, 도 1 및 도 2를 다시 참조하면, 상기 장애물 회피 방법에서, 상기 장애물 맵 생성부(300)가 상기 바닥면 데이터로부터 2차원 장애물 맵을 생성한다(단계 S30). Referring to FIGS. 1 and 2 again, in the obstacle avoidance method, the obstacle map generation unit 300 generates a two-dimensional obstacle map from the floor data (step S30).

보다 구체적으로, 도 4를 참조하면, 상기 2차원 장애물 맵을 생성하는 단계에서, 우선, 상기 3개의 포인트 조합

Figure 112016074675820-pat00015
개 각각에 대하여 상기에서 정의된 바닥면까지의 법선거리를 연산한다(단계 S31). More specifically, referring to FIG. 4, in the step of generating the two-dimensional obstacle map, first,
Figure 112016074675820-pat00015
The normal distance from the bottom surface to the bottom surface defined above is calculated (step S31).

예를 들어, 상기 정의된 바닥면의 법선벡터가

Figure 112016074675820-pat00016
, 상기 정의된 바닥면의 중심점을
Figure 112016074675820-pat00017
라 하면, 상기 각각의 조합에서의 중심점간의 벡터는
Figure 112016074675820-pat00018
이며, 상기 바닥면까지의 법선거리는
Figure 112016074675820-pat00019
로 연산된다. For example, if the normal vector of the floor defined above is
Figure 112016074675820-pat00016
, The center point of the above defined floor
Figure 112016074675820-pat00017
, The vector between the center points in each combination is
Figure 112016074675820-pat00018
, And the normal distance to the bottom surface is
Figure 112016074675820-pat00019
.

이 후, 상기 장애물(20) 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택한다(단계 S32). Thereafter, a combination having a normal distance larger than a threshold value for the size of the obstacle 20 is selected (step S32).

즉, 상기 장애물(20) 크기에 대한 임계값은 최소 장애물 크기로 미리 정의되며, 상기 최소 장애물 크기보다 큰 법선거리를 갖는 조합을 선택한다. 이와 같이, 상기 선택된 조합들은 장애물 후보로 선정된다. That is, a threshold value for the size of the obstacle 20 is predefined as a minimum obstacle size, and a combination having a normal distance larger than the minimum obstacle size is selected. Thus, the selected combinations are selected as obstacle candidates.

이 후, 상기 선택된 조합에 대하여 2차원 좌표로 변경한다(단계 S33). Thereafter, the selected combination is changed to two-dimensional coordinates (step S33).

즉, 상기 선택된 조합들에 대하여

Figure 112016074675820-pat00020
와 같이 평면으로 투영하여 2차원 좌표로 변경하고, 장애물 후보가 되는 2차원 장애물 맵을 생성하게 된다. That is, for the selected combinations
Figure 112016074675820-pat00020
Dimensional obstacle map, which is a candidate for the obstacle, is generated.

이와 같이, 본 실시예에서의 상기 장애물 맵 생성부(300)를 이용하여 2차원 장애물 맵을 생성하는 것은 상대적으로 간단한 벡터 연산을 통해 용이하게 연산이 가능하게 된다. As described above, the two-dimensional obstacle map generation using the obstacle map generation unit 300 in the present embodiment can be easily performed through a relatively simple vector operation.

이 후, 도 1 및 도 2를 참조하면, 상기 장애물 회피 방법에서, 상기 장애물 정보 추출부(400)는 상기 1차원 장애물 맵으로부터 장애물 정보를 추출하고(단계 S40), 상기 추출된 정보로부터 장애물의 여부를 판단한다(단계 S50). 1 and 2, in the obstacle avoidance method, the obstacle information extraction unit 400 extracts obstacle information from the one-dimensional obstacle map (step S40), and extracts obstacle information (Step S50).

보다 구체적으로, 도 6 및 도 7을 동시에 참조하면, 상기 장애물 정보 추출부(400)는, 도 7에 도시된 바와 같이 격자(grid)를 구성하여 상기 격자 내에 투영된 점 데이터의 개수가 미리 정한 일정 개수를 초과하면 장애물로 판단하도록 이산화(discretize)하는 방법으로 장애물 여부를 판단한다. 6 and 7, the obstacle information extracting unit 400 constructs a grid as shown in FIG. 7, and determines whether the number of point data projected in the grid is smaller than a predetermined number If the number exceeds a certain number, it is judged whether or not the obstacle is determined by discretizing the obstacle.

상기와 같은 장애물 판단 방법의 경우, 계산량이 적으며 노이즈를 쉽게 판단하여 제거할 수 있는 장점이 있다. In the case of the above-mentioned obstacle determination method, there is an advantage that the calculation amount is small and the noise can be easily determined and removed.

다만, 격자의 크기에 따라 검출 정밀도가 변경될 수는 있으나, 개인 이동기구(50)의 진행속도나 검출 정밀도를 고려하여 격자의 크기를 선택할 수 있으므로 연산 시스템 등을 고려하여 최적의 격자를 선정할 수 있어 검출 정밀도도 최적화할 수 있는 장점이 있다. However, since the detection accuracy can be changed according to the size of the grating, the size of the grating can be selected in consideration of the traveling speed and the detection precision of the personal moving mechanism 50, so that an optimum grating can be selected And the detection accuracy can be optimized.

나아가, 상기 장애물 정보 추출부(400)는 상기와 같이 장애물을 판단하고, 개인 이동기구(50)가 진행하는 범위 내에서 추출된 장애물 후보들 중 개인 이동기구(50)로부터 가장 가까운 장애물(20)의 위치와 거리, 최 좌측 및 최 우측 장애물의 위치, 진행시 마주칠 장애물 정보 등을 실시간으로 산출한다. In addition, the obstacle information extracting unit 400 may determine the obstacle as described above, and determine whether the obstacle 20 closest to the personal moving mechanism 50 among the extracted obstacle candidates within the range of the personal moving mechanism 50 Position and distance, the position of the leftmost and rightmost obstacle, and the obstacle information to be encountered in the progress.

이 후, 도 1 및 도 2를 참조하면, 상기 장애물 회피 방법에서, 상기 회피 방향 연산부(600)는 상기 장애물(20)을 회피하기 위한 방향을 연산한다(단계 S60). 1 and 2, in the obstacle avoidance method, the avoidance direction calculation unit 600 calculates a direction for avoiding the obstacle 20 (step S60).

보다 구체적으로, 도 8을 참조하면, 상기 장애물 정보 추출부(400)에서 추출한 장애물에 관한 정보 중, 상기 개인 이동기구(50)의 진행 범위 내에서 최 근접, 최 좌측 또는 최 우측 장애물의 위치 정보

Figure 112016074675820-pat00021
를 이용하여 상기 장애물(20)의 척방향(repulsive vector,
Figure 112016074675820-pat00022
)을 연산한다. 8, among the information on the obstacle extracted by the obstacle information extracting unit 400, position information of the closest, leftmost, or rightmost obstacle within the travel range of the personal moving mechanism 50
Figure 112016074675820-pat00021
A repulsive vector of the obstacle 20,
Figure 112016074675820-pat00022
).

또한, 상기 척방향

Figure 112016074675820-pat00023
과 상기 개인 이동기구(50)의 진행방향
Figure 112016074675820-pat00024
과의 벡터 합
Figure 112016074675820-pat00025
을 이용하여 좌측 또는 우측의 회피 방향을 결정하고, 상기 결과를 상기 구동 제어부(700)로 전달한다. Further,
Figure 112016074675820-pat00023
And the moving direction of the personal moving mechanism (50)
Figure 112016074675820-pat00024
Vector sum of
Figure 112016074675820-pat00025
And transmits the result to the drive control unit 700. The drive control unit 700 controls the drive control unit 700 to determine the avoidance direction.

이 후, 도 1 및 도 2를 참조하면, 상기 구동 제어부(700)는 상기 회피 방향을 바탕으로 상기 장애물(20)을 회피하도록 상기 개인 이동기구(50)를 구동시켜, 장애물 회피를 수행하게 된다(단계 S91). 1 and 2, the drive control unit 700 drives the personal moving mechanism 50 to avoid the obstacle 20 based on the avoidance direction, thereby performing obstacle avoidance (Step S91).

한편, 도 1 및 도 2를 참조하면, 상기 장애물 정보 추출부(400)에서 장애물(20)로 판단되지 않은 경우(단계 S50), 즉 장애물(20)이 검출되지 않은 경우, 상기 절벽 검출부(500)는 바닥면 데이터로부터 절벽(30)을 검출한다(단계 S70). 1 and 2, when the obstacle 20 is not determined to be the obstacle 20 in the obstacle information extraction unit 400 (step S50), that is, when the obstacle 20 is not detected, the cliff detection unit 500 Detects the cliff 30 from the floor surface data (step S70).

상기 절벽 검출부(500)에서는, 상기 개인 이동기구(50)의 전방에 가상의 밴드 영역을 정의하여 상기 절벽(30)의 검출에 적용한다. In the cliff detecting unit 500, a virtual band region is defined in front of the personal moving mechanism 50 and applied to the detection of the cliff 30. FIG.

보다 구체적으로, 상기 가상의 밴드 영역은 상기 개인 이동기구(50)의 전방 일정 거리에 일정 두께를 가지도록 정의되며, 상기 가상의 밴드 영역으로 정의된 영역의 넓이

Figure 112016074675820-pat00026
를 산출한다. More specifically, the virtual band region is defined to have a certain thickness at a predetermined distance forward of the personal moving mechanism 50, and the width of the region defined by the virtual band region
Figure 112016074675820-pat00026
.

또한, 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이

Figure 112016074675820-pat00027
를 산출한다. The width of the region formed by the three-dimensional point data obtained in the virtual band region
Figure 112016074675820-pat00027
.

그리하여, 상기 가상의 밴드 영역의 넓이

Figure 112016074675820-pat00028
와 상기 3차원 점 데이터가 형성하는 영역의 넓이
Figure 112016074675820-pat00029
의 비(比)(
Figure 112016074675820-pat00030
)를 연산하여,
Figure 112016074675820-pat00031
인 경우, 상기 절벽 검출부(500)는 절벽(30)을 검출한다. Thus, the width of the imaginary band region
Figure 112016074675820-pat00028
And the width of the area formed by the three-dimensional point data
Figure 112016074675820-pat00029
(Ratio) of
Figure 112016074675820-pat00030
),
Figure 112016074675820-pat00031
, The cliff detection unit 500 detects the cliff 30. The cliff detection unit 500 detects the cliff 30 as shown in FIG.

한편, 상기 절벽 검출부(500)에서 상기 절벽(30)이 검출되면(단계 S80), 상기 절벽(30)의 경우 상기 장애물(20)보다 위험성이 크므로 상기 구동 제어부(700)는 상기 개인 이동기구(50)의 주행을 정지하도록 제어한다(단계 S93).If the cliff 30 is detected by the cliff detection unit 500 in step S80 and the cliff 30 is more dangerous than the obstacle 20 in the cliff detection unit 500, (Step S93).

물론, 상기 절벽 검출부(500)에서도 상기 절벽(30)이 검출되지 않는 경우라면, 상기 구동 제어부(700)는 별도의 회피나 정지 주행 없이 상기 개인 이동기구(50)의 주행을 유지한다(단계 S92). Of course, if the cliff detection unit 500 does not detect the cliff 30, the drive control unit 700 maintains the travel of the personal moving mechanism 50 without any other avoidance or stopping operation (step S92 ).

한편, 도 9a 내지 도 9d를 참조하면, 본 실시예에 의한 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법을 통해 실제 장애물을 회피하는 과정을 도시한 것으로, 전방 장애물을 회피하는 과정에서 시간에 따라 저장된 2차원 장애물 맵을 나타낸 것이다. 9A to 9D illustrate a process for avoiding an actual obstacle through the obstacle avoidance system and the obstacle avoiding method using the same according to the present embodiment. In the process of avoiding a front obstacle, Dimensional obstacle map.

상기 도시된 바와 같이, 상기 개인 이동기구(50)는 장애물(20)까지의 임계거리보다 가까워지는 경우 상기 검출된 장애물(20) 정보로부터 우측으로 회피하도록 결정되었으며, 이에 따라 상기 개인 이동기구(50)는 상기 장애물(20)을 회피하여 구동됨에 따라 상기 검출된 장애물(20)도 깊이 카메라의 밖으로 서서히 사라지는 것을 확인할 수 있다. As shown above, the personal moving mechanism 50 has been determined to avoid to the right from the detected obstacle 20 information when it approaches a threshold distance to the obstacle 20, and accordingly the personal moving mechanism 50 Can observe that the detected obstacle 20 gradually disappears out of the camera as the obstacle 20 is driven and avoided.

본 발명의 실시예들에 의하면, 바닥면 데이터로부터 2차원 장애물 맵을 생성하고, 이로부터 장애물 정보를 추출하므로, 종래 초음파를 이용한 장애물 검출 결과보다 해상도가 높으면서도, 레이저나 스테레오 카메라를 이용한 영상 검출 시스템보다 저렴하고 실용적이고, 데이터 처리 속도를 높일 수 있으며 정확한 장애물 정보 추출이 가능하다. According to the embodiments of the present invention, a two-dimensional obstacle map is generated from the floor surface data and the obstacle information is extracted from the two-dimensional obstacle map, so that the resolution is higher than the obstacle detection result using the conventional ultrasonic wave, It is cheaper and more practical than the system, it can increase data processing speed and it can extract accurate obstacle information.

특히, 스캐닝부가 깊이 카메라를 이용하여 깊이 정보를 획득하므로, 레이저나 스테레오 카메라에 비해 저가이면서도 비교적 정확한 데이터를 빠르게 획득할 수 있으며, 장애물은 물론이며 절벽에 관한 정보도 획득이 가능하게 된다. In particular, since the scanning unit acquires depth information using a depth camera, it can acquire relatively inexpensive but relatively accurate data as compared with a laser or a stereo camera, and information about cliffs as well as obstacles can be acquired.

또한, 바닥면 추출부에서 초기 법선벡터를 이용하므로 종래 RANSAC 알고리즘보다 정확한 바닥면 추출이 가능하며, 바닥면 추출을 위한 임의의 점 데이터 조합을 추출하는 경우 데이터가 쏠려 샘플링 되는 경우 평면 계산이 어려운 문제가 있으나 3개의 점들의 조합을 이용하므로 이를 해소하여 보다 적은 수의 샘플링 포인트들로부터 바닥면의 연산이 가능할 수 있다. In addition, since the bottom surface extractor uses the initial normal vector, it is possible to extract the bottom surface more accurately than the conventional RANSAC algorithm. In the case of extracting arbitrary point data combination for bottom surface extraction, However, since the combination of three points is used, it is possible to calculate the floor from a smaller number of sampling points.

또한, 장애물 맵 생성부에서 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 장애물을 판단하므로, 장애물 정보 추출을 위한 연산이 간단하여 실시간 연산이 가능하며, 노이즈의 구분이 용이하고, 연산 시스템의 성능을 고려하여 데이터 개수를 판단하는 기준인 격자(grid) 사이즈를 변경할 수 있어 최적화된 연산을 수행할 수 있다. In addition, since the obstacle map generation unit determines obstacles based on the number of data constituting the two-dimensional coordinates, it is possible to perform real-time calculation by simple calculation for extracting obstacle information, to easily distinguish noise, It is possible to change the grid size, which is a criterion for determining the number of data, to perform an optimized operation.

또한, 돌출 형태의 장애물이 검출되지 않은 경우라도, 특히 실내에서는 계단 등과 같은 절벽이 다수 존재하므로, 바닥면 데이터로부터 절벽을 검출하여 개인 운송수단의 안전성을 보다 향상시킬 수 있다. In addition, even when a protruding obstacle is not detected, since there are many cliffs such as a staircase in the room, it is possible to detect the cliff from the floor surface data, thereby further improving the safety of the personal transportation means.

이 경우, 절벽 검출의 알고리즘은 가상의 밴드 영역의 개념을 적용하여 연산을 상대적으로 용이하게 수행하면서도 판단의 정확성을 향상시킬 수 있다. In this case, the cliff detection algorithm can improve the accuracy of judgment while performing the calculation relatively easily by applying the concept of the virtual band region.

특히, 절벽의 경우 장애물보다 위험성이 높으므로, 구동 제어부에서는 장애물의 회피 구동과 달리 정지 구동을 수행하므로 개인 운송수단의 안전성을 보다 향상시킬 수 있다. Particularly, in the case of a cliff, the risk of the obstacle is higher than that of the obstacle. Therefore, the driving control unit performs the stop driving unlike the avoidance driving of the obstacle.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. It can be understood that it is possible.

본 발명에 따른 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법은 전동 휠체어나 전동 스쿠터와 같은 개인 이동기구에 사용될 수 있는 산업상 이용 가능성을 갖는다. INDUSTRIAL APPLICABILITY The obstacle avoiding system and the obstacle avoiding method using the personal moving mechanism according to the present invention have industrial applicability that can be used in a personal moving mechanism such as an electric wheelchair or an electric scooter.

10 : 장애물 회피 시스템
100 : 스캐닝부 200 : 바닥면 추출부
300 : 장애물 맵 생성부 400 : 장애물 정보 추출부
500 : 절벽 검출부 600 : 회피 방향 연산부
700 : 구동 제어부
10: Obstacle avoidance system
100: scanning unit 200: bottom surface extracting unit
300: an obstacle map generating unit 400: an obstacle information extracting unit
500: cliff detection unit 600: avoidance direction calculation unit
700:

Claims (16)

개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환하는 스캐닝부;
상기 3차원 점 데이터로부터 바닥면 데이터를 추출하는 바닥면 추출부;
상기 바닥면 데이터로부터 2차원 장애물 맵을 생성하는 장애물 맵 생성부;
상기 2차원 장애물 맵으로부터 장애물 정보를 추출하는 장애물 정보 추출부;
상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산하는 회피방향 연산부; 및
상기 회피방향으로 상기 개인 이동기구를 구동하는 구동 제어부를 포함하고,
상기 바닥면 추출부는, 상기 3차원 점 데이터로부터 선택된 점들 조합들 중, 바닥면의 초기 법선벡터와 가장 유사한 법선벡터를 이루는 조합을 선택하여 바닥면 데이터로 정의하는 것을 특징으로 하는 장애물 회피 시스템.
A scanning unit which acquires depth information of a front of the personal moving mechanism and converts the acquired depth information into three-dimensional point data;
A floor surface extracting unit for extracting floor surface data from the three-dimensional point data;
An obstacle map generating unit for generating a two-dimensional obstacle map from the floor surface data;
An obstacle information extracting unit for extracting obstacle information from the two-dimensional obstacle map;
A avoidance direction calculation unit for calculating a direction for avoiding the obstacle when an obstacle is detected from the obstacle information; And
And a drive control section for driving the personal moving mechanism in the avoidance direction,
Wherein the bottom surface extracting unit selects a combination of the point combinations selected from the three-dimensional point data that is the closest to the initial normal vector of the bottom surface as the bottom surface data.
제1항에 있어서, 상기 스캐닝부는,
상기 개인 이동기구에 부착된 깊이 카메라를 포함하는 것을 특징으로 하는 장애물 회피 시스템.
The apparatus according to claim 1,
And a depth camera attached to the personal moving mechanism.
제1항에 있어서,
상기 점들의 조합은 상기 3차원 점 데이터로부터 선택된 3개의 점(point)들의 조합인 것을 특징으로 하는 장애물 회피 시스템.
The method according to claim 1,
Wherein the combination of points is a combination of three points selected from the three-dimensional point data.
제3항에 있어서, 상기 장애물 맵 생성부는,
상기 조합들 각각에 대하여 상기 정의된 바닥면까지의 법선거리를 연산하여, 장애물 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하여 2차원 좌표로 변경하는 것을 특징으로 하는 장애물 회피 시스템.
4. The obstacle detection apparatus according to claim 3,
Calculating a normal distance to the defined floor for each of the combinations, and selecting a combination having a normal distance greater than a threshold value for the obstacle size to change the two-dimensional coordinates.
제4항에 있어서, 상기 장애물 정보 추출부는,
상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단하는 것을 특징으로 하는 장애물 회피 시스템.
The method of claim 4, wherein the obstacle information extracting unit
Wherein an obstacle is determined by removing noise based on the number of data constituting the two-dimensional coordinate.
제1항에 있어서,
상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 절벽 검출부를 더 포함하는 장애물 회피 시스템.
The method according to claim 1,
Further comprising a cliff detection unit for detecting a cliff from the floor data if no obstacle is detected from the obstacle information.
제6항에 있어서, 상기 절벽 검출부는,
개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출하는 것을 특징으로 하는 장애물 회피 시스템.
7. The apparatus according to claim 6, wherein the cliff-
Wherein a cliff is detected by calculating a ratio of a width of a virtual band region defined in front of the personal moving mechanism and a width of a region formed by the three-dimensional point data obtained in the virtual band region, Avoidance system.
제7항에 있어서, 상기 구동 제어부는,
상기 절벽 검출부에서 절벽을 검출하면 상기 개인 이동기구의 주행을 정지하는 것을 특징으로 하는 장애물 회피 시스템.
8. The apparatus as claimed in claim 7,
And stops the traveling of the personal moving mechanism when a cliff is detected in the cliff detection unit.
개인 이동기구가 진행되는 전방의 깊이 정보를 획득하여 3차원 점 데이터로 변환하는 단계;
상기 3차원 점 데이터로부터 바닥면 데이터를 추출하는 단계;
상기 바닥면 데이터로부터 2차원 장애물 맵을 생성하는 단계;
상기 2차원 장애물 맵으로부터 장애물 정보를 추출하는 단계;
상기 장애물 정보로부터 장애물이 검출되면 상기 장애물을 회피하기 위한 방향을 연산하는 단계; 및
상기 회피방향으로 상기 개인 이동기구를 구동하는 단계를 포함하고,
상기 바닥면 데이터를 추출하는 단계에서, 상기 3차원 점 데이터로부터 선택된 점들 조합들 중, 바닥면의 초기 법선벡터와 가장 유사한 법선벡터를 이루는 조합을 선택하여 바닥면 데이터로 정의하는 것을 특징으로 하는 장애물 회피 방법.
Acquiring depth information on the front of the personal moving mechanism and converting the acquired depth information into three-dimensional point data;
Extracting bottom surface data from the three-dimensional point data;
Generating a two-dimensional obstacle map from the floor surface data;
Extracting obstacle information from the two-dimensional obstacle map;
Calculating a direction for avoiding the obstacle when the obstacle is detected from the obstacle information; And
And driving the personal moving mechanism in the avoiding direction,
Wherein a combination of points selected from the three-dimensional point data and forming a normal vector most similar to the initial normal vector of the bottom surface is selected as floor surface data in the step of extracting the bottom surface data, Avoidance method.
제9항에 있어서, 상기 바닥면 데이터를 추출하는 단계는,
상기 3차원 점 데이터 중, 일정한 간격의 N개의 포인트를 샘플링하는 단계;
상기 N개의 포인트 중 3개의 포인트 조합을 선택하는 단계;
상기 각각의 조합에서 법선벡터를 연산하는 단계;
상기 법선벡터들 중 초기 법선벡터와 가장 유사한 법선벡터를 갖는 조합을 선택하는 단계;
상기 선택된 조합의 법선벡터에서 중심점을 연산하는 단계; 및
상기 선택된 조합의 법선벡터 및 중심점으로 바닥면 데이터를 정의하는 단계를 포함하는 것을 특징으로 하는 장애물 회피 방법.
10. The method of claim 9, wherein extracting the bottom-
Sampling N points at regular intervals among the three-dimensional point data;
Selecting three point combinations of the N points;
Computing a normal vector in each of the combinations;
Selecting a combination of the normal vectors having a normal vector most similar to the initial normal vector;
Computing a center point in the normal vector of the selected combination; And
And defining bottom plane data as a normal vector and a center point of the selected combination.
제10항에 있어서, 상기 2차원 장애물 맵을 생성하는 단계는,
상기 각각의 조합에 대하여 바닥면까지의 법선거리를 연산하는 단계;
상기 장애물의 크기에 대한 임계값보다 큰 법선거리를 갖는 조합을 선택하는 단계; 및
상기 선택된 조합에 대하여 2차원 좌표로 변경하는 단계를 포함하는 것을 특징으로 하는 장애물 회피 방법.
11. The method of claim 10, wherein generating the two-
Calculating a normal distance to a bottom surface for each combination;
Selecting a combination having a normal distance greater than a threshold value for the size of the obstacle; And
And changing the selected combination to two-dimensional coordinates.
제11항에 있어서, 상기 장애물 정보를 추출하는 단계는,
상기 2차원 좌표를 구성하는 데이터의 개수를 바탕으로 노이즈를 제거하여 장애물을 판단하는 것을 특징으로 하는 장애물 회피 방법.
The method of claim 11, wherein the extracting of the obstacle information comprises:
Wherein an obstacle is determined by removing noise based on the number of data constituting the two-dimensional coordinate.
제9항에 있어서,
상기 장애물 정보로부터 장애물이 검출되지 않으면, 상기 바닥면 데이터로부터 절벽을 검출하는 단계를 더 포함하는 장애물 회피 방법.
10. The method of claim 9,
And if no obstacle is detected from the obstacle information, detecting a cliff from the floor data.
제13항에 있어서, 상기 절벽을 검출하는 단계는,
개인 이동기구의 전방에 정의된 가상의 밴드 영역의 넓이와 상기 가상의 밴드 영역에서 획득된 3차원 점 데이터가 형성하는 영역의 넓이의 비(比)를 연산하여 절벽을 검출하는 것을 특징으로 하는 장애물 회피 방법.
14. The method of claim 13, wherein detecting the cliff comprises:
Wherein a cliff is detected by calculating a ratio of a width of a virtual band region defined in front of the personal moving mechanism and a width of a region formed by the three-dimensional point data obtained in the virtual band region, Avoidance method.
제14항에 있어서,
상기 가상의 밴드 영역의 넓이와 상기 3차원 점 데이터가 형성하는 영역의 넓이의 비는 하기 식으로 연산하며,

Figure 112016074675820-pat00032


Figure 112016074675820-pat00033
인 경우, 절벽으로 검출하는 것을 특징으로 하는 장애물 회피 방법.
15. The method of claim 14,
The ratio of the width of the imaginary band region and the width of the region formed by the three-dimensional point data is calculated by the following equation,

Figure 112016074675820-pat00032


Figure 112016074675820-pat00033
The obstacle avoidance method is characterized by detecting the obstacle as a cliff.
제13항에 있어서,
상기 절벽이 검출되면 상기 개인 이동기구의 주행을 정지하는 단계를 더 포함하는 장애물 회피 방법.
14. The method of claim 13,
And stopping the traveling of the personal moving mechanism when the cliff is detected.
KR1020160098000A 2016-08-01 2016-08-01 Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same KR101997531B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160098000A KR101997531B1 (en) 2016-08-01 2016-08-01 Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160098000A KR101997531B1 (en) 2016-08-01 2016-08-01 Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same

Publications (2)

Publication Number Publication Date
KR20180014535A KR20180014535A (en) 2018-02-09
KR101997531B1 true KR101997531B1 (en) 2019-07-08

Family

ID=61198986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160098000A KR101997531B1 (en) 2016-08-01 2016-08-01 Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same

Country Status (1)

Country Link
KR (1) KR101997531B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109876373B (en) * 2019-03-13 2023-12-22 浙江理工大学 Interactive body-building recreation bicycle
KR20220039101A (en) * 2020-09-21 2022-03-29 삼성전자주식회사 Robot and controlling method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101049155B1 (en) * 2011-02-01 2011-07-14 국방과학연구소 Method for judging obstacle of autonomous moving apparatus and autonomous moving apparatus
JP2014194729A (en) * 2013-02-27 2014-10-09 Sharp Corp Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440054B1 (en) 2013-05-03 2014-09-17 자동차부품연구원 Electric wheelchair and control method thereof
KR20150027987A (en) 2013-09-05 2015-03-13 한국전자통신연구원 Control device and method of electrical wheel-chair for autonomous moving
KR101566448B1 (en) * 2014-03-21 2015-11-05 동아대학교 산학협력단 Method for detecting and removing floor area using depth information and apparutus for detecting and removing floor area using depth information and program recording medium for detecting and removing floor area using depth information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101049155B1 (en) * 2011-02-01 2011-07-14 국방과학연구소 Method for judging obstacle of autonomous moving apparatus and autonomous moving apparatus
JP2014194729A (en) * 2013-02-27 2014-10-09 Sharp Corp Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method

Also Published As

Publication number Publication date
KR20180014535A (en) 2018-02-09

Similar Documents

Publication Publication Date Title
KR101054025B1 (en) Visually impaired walking guidance method and system
CN109344687B (en) Vision-based obstacle detection method and device and mobile device
JP4203512B2 (en) Vehicle periphery monitoring device
JP4355341B2 (en) Visual tracking using depth data
JP2007078476A (en) Object location detection device, method, and program, mapping system, and autonomous transfer equipment
JP2006251596A (en) Support device for visually handicapped person
JP5892588B2 (en) Human guidance robot
JPWO2009005025A1 (en) Moving object detection device
KR20140056790A (en) Apparatus for image recognition and method thereof
KR101997531B1 (en) Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same
KR20160028891A (en) An objection recognition device for a blind person using a depth camera and a direction-detecting sensor
Utaminingrum et al. Development of computer vision based obstacle detection and human tracking on smart wheelchair for disabled patient
JP2006236184A (en) Human body detection method by image processing
JPWO2017094300A1 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method and program
Saputra et al. Obstacle avoidance for visually impaired using auto-adaptive thresholding on Kinect's depth image
KR101583797B1 (en) Apparatus and method for detecting lane based on top view image transform
JPWO2017099199A1 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method and program
KR101859618B1 (en) Method and device for driving mobile robot using vanishing point in corridor
JP2007011490A (en) Device and method for detecting road parameter
JP2004301607A (en) Moving object detection device, moving object detection method, and moving object detection program
KR20180097962A (en) Situation determining guide apparatus and method based image analysis
KR101620580B1 (en) Method and system for dectecting run
JP2009223504A (en) Vehicle detection device, method, and program
JP2005228136A (en) Road area detecting device
JP2006146551A (en) Robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant