KR102654371B1 - Unmanned ground reconnaissance apparatus for automatic driving - Google Patents
Unmanned ground reconnaissance apparatus for automatic driving Download PDFInfo
- Publication number
- KR102654371B1 KR102654371B1 KR1020220015657A KR20220015657A KR102654371B1 KR 102654371 B1 KR102654371 B1 KR 102654371B1 KR 1020220015657 A KR1020220015657 A KR 1020220015657A KR 20220015657 A KR20220015657 A KR 20220015657A KR 102654371 B1 KR102654371 B1 KR 102654371B1
- Authority
- KR
- South Korea
- Prior art keywords
- ultrasonic sensor
- motor
- rotating body
- control unit
- obstacle
- Prior art date
Links
- 230000009194 climbing Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 카메라가 장착된 회전체, 바퀴가 장착되고 회전체의 하부에 형성된 이동체, 상기 회전체의 회전을 위한 제1 모터, 상기 이동체의 이동을 위한 제2 모터, 상기 회전체의 설정된 위치에 형성된 제1 초음파센서, 상기 이동체의 설정된 위치에 형성된 제2 초음파센서 및 상기 제1 모터와 제2 모터의 구동을 제어하는 제어부를 포함하여, 상기 제1 초음파센서와 제2 초음파센서는 바퀴의 크기를 고려하여 설정된 위치에 형성되고, 제어부는 제1 초음파센서와 제2 초음파센서를 이용하여 전방 장애물의 등반여부를 판별하는 것을 특징으로 하는 지상용 자율주행 무인정찰 장치를 개시한다.The present invention relates to a rotating body equipped with a camera, a moving body equipped with wheels and formed at the bottom of the rotating body, a first motor for rotating the rotating body, a second motor for moving the moving body, and a moving body at a set position of the rotating body. Including a first ultrasonic sensor formed, a second ultrasonic sensor formed at a set position of the moving object, and a control unit that controls driving of the first motor and the second motor, the first ultrasonic sensor and the second ultrasonic sensor are the size of a wheel. It is formed at a position set in consideration of, and the control unit discloses an autonomous unmanned reconnaissance device for ground use, characterized in that it determines whether a front obstacle is climbing using a first ultrasonic sensor and a second ultrasonic sensor.
Description
본 발명은 지상용 자율주행 무인정찰 장치에 관한 것으로서, 더욱 상세하게는 정찰, 탐사 또는 수색을 위한 지상용 자율주행 무인정찰 장치에 관한 것이다.The present invention relates to a self-driving unmanned reconnaissance device for ground use, and more specifically, to a self-driving unmanned reconnaissance device for ground use for reconnaissance, exploration, or search.
종래에는 초음파센서와 카메라를 구비하는 자율주행 장치를 이용하여 선행기술로 기재된 특허문헌 1과 같이 온실환경을 계측할 수 있으며, 특허문헌 2와 같이 토목시설 붕괴지역을 탐사할 수 있고, 소방진입로를 정찰할 수 있으며, 다양한 안전분야에 활용할 수 있다.Conventionally, by using an autonomous driving device equipped with an ultrasonic sensor and a camera, the greenhouse environment can be measured as in Patent Document 1, which is described as prior art, and civil engineering facility collapse areas can be explored as in Patent Document 2, and fire access roads can be installed. It can be used for reconnaissance and can be used in various safety fields.
초음파센서는 장애물을 탐지하기 위해 사용되고, 카메라는 전방을 촬영하기 위해 사용된다. 카메라는 특허문헌 2와 같이 전방과 후방을 촬영하기 위해 복수로 구성될 수 있다. 그러나 종래에는 아래와 같이 다양한 문제점이 있다.Ultrasonic sensors are used to detect obstacles, and cameras are used to photograph the front. As in Patent Document 2, the camera may be composed of multiple cameras to photograph the front and rear. However, in the past, there were various problems as follows.
탐사현장에서 장애물은 자율주행 장치가 등반할 수 있는 파편이나 작은 사물일 수 있고, 자율주행 장치보다 큰 사물이거나 벽일 수 있으며, 부상당하거나 쓰러진 사람일 수 있다.In an exploration field, obstacles can be debris or small objects that the autonomous driving device can climb, objects larger than the autonomous driving device, walls, or injured or fallen people.
종래에는 특허문헌 1과 같이 초음파센서를 전후측방으로 복수로 설치하여 측방의 벽과 같은 장애물을 탐지할 수 있었으나, 6개의 초음파센서를 구비하여야 하므로, 센서 설치비용이 증가할 수 있고, 자율주행 장치의 무게가 증가되어 이동성이나 전력소모에서 제약이 발생할 수 있다.Conventionally, it was possible to detect obstacles such as walls on the sides by installing multiple ultrasonic sensors at the front and rear as shown in Patent Document 1. However, since six ultrasonic sensors must be provided, the sensor installation cost may increase, and the autonomous driving device The increased weight may cause limitations in mobility or power consumption.
종래에는 특허문헌 1과 특허문헌 2와 같이 초음파센서를 이용하여 장애물을 감지하면 장애물을 회피하면서 자율주행을 유도하였으나, 자율주행 장치가 등반할 수 있는 장애물까지 회피하였으므로, 탐사 또는 자율주행의 효율이 감소되는 문제점이 있다.Conventionally, when an obstacle is detected using an ultrasonic sensor, as shown in Patent Document 1 and Patent Document 2, autonomous driving is induced by avoiding the obstacle, but since the autonomous driving device avoids even obstacles that can be climbed, the efficiency of exploration or autonomous driving is reduced. There is a problem that is being reduced.
종래에는 특허문헌 1과 같이 전후방 등 복수의 카메라를 이용하여 탐사현장을 실시간으로 모니터링 할 수 있으나, 센서 설치비용이 증가할 수 있고, 자율주행 장치의 무게가 증가되어 이동성이나 전력소모에서 제약이 발생할 수 있다. 또한 종래에는 자유주행 장치의 측방에 대응하는 탐사현장을 모니터링하기 어려운 문제점이 있다.Conventionally, the exploration site can be monitored in real time using multiple cameras, including front and rear, as shown in Patent Document 1, but sensor installation costs may increase, and the weight of the autonomous driving device may increase, causing limitations in mobility and power consumption. You can. Additionally, in the related art, there is a problem in that it is difficult to monitor the exploration site corresponding to the side of the free-running device.
상기 문제점을 해결하기 위하여 본 발명은 회전체의 설정된 위치에 형성된 제1 초음파센서와 이동체의 설정된 위치에 형성된 제2 초음파센서를 이용하여 전방 장애물의 등반여부를 판별하는 지상용 자율주행 무인정찰 장치를 제공한다.In order to solve the above problem, the present invention provides a ground self-driving unmanned reconnaissance device that determines whether a front obstacle is climbing using a first ultrasonic sensor formed at a set position of a rotating body and a second ultrasonic sensor formed at a set position of a moving object. to provide.
본 발명은 회전체가 회전되어 제1 초음파센서가 측방의 장애물을 감지하고, 동시에 카메라가 전방과 측방의 상황을 모니터링하는 지상용 자율주행 무인정찰 장치를 제공한다.The present invention provides a self-driving unmanned reconnaissance device for ground use in which the rotating body rotates so that the first ultrasonic sensor detects obstacles on the side, and at the same time, the camera monitors the situation in front and on the sides.
상기의 해결하고자 하는 과제를 위한 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치는, 카메라(410)가 장착된 회전체(110); 바퀴(220)가 장착되고 회전체의 하부에 형성된 이동체(120); 상기 회전체의 회전을 위한 제1 모터(311); 상기 이동체의 이동을 위한 제2 모터(312); 상기 회전체의 설정된 위치에 형성된 제1 초음파센서(421); 상기 이동체의 설정된 위치에 형성된 제2 초음파센서(422) 및 상기 제1 모터와 제2 모터의 구동을 제어하는 제어부(490)를 포함하여, 상기 제1 초음파센서와 제2 초음파센서는 바퀴의 크기를 고려하여 설정된 위치에 형성되고, 제어부는 제1 초음파센서와 제2 초음파센서를 이용하여 전방 장애물의 등반여부를 판별하는 것을 특징으로 한다.A self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention for the above-described problem includes a rotating body 110 equipped with a camera 410; A mobile body 120 equipped with wheels 220 and formed at the lower part of the rotating body; A first motor 311 for rotating the rotating body; a second motor 312 for moving the mobile object; A first ultrasonic sensor 421 formed at a set position of the rotating body; Including a second ultrasonic sensor 422 formed at a set position of the moving object and a control unit 490 that controls driving of the first motor and the second motor, the first ultrasonic sensor and the second ultrasonic sensor are the size of a wheel. It is formed at a position set in consideration of, and the control unit is characterized in that it determines whether the front obstacle is climbing using a first ultrasonic sensor and a second ultrasonic sensor.
상기 제어부는 카메라 기반의 자세추정 모델을 이용하여 전방 장애물이 사람인지 여부를 판별하고, 전방 장애물이 사람으로 판별되면 사람을 우회하도록 제2 모터의 구동을 제어하며, 전방 장애물이 사물로 판별되면 제1 초음파센서와 제2 초음파센서를 이용하여 사물의 등반여부를 판별하는 것을 특징으로 할 수 있다.The control unit uses a camera-based posture estimation model to determine whether the front obstacle is a person. If the front obstacle is determined to be a person, it controls the operation of the second motor to bypass the person. If the front obstacle is determined to be an object, the control unit controls the second motor to bypass the person. It may be characterized by determining whether an object is climbing by using an ultrasonic sensor and a second ultrasonic sensor.
상기 회전체는 제1 모터의 동력을 전달받아 회전하여 제1 초음파센서의 측방 장애물 감지를 위해 사용되고, 동시에 카메라의 전방과 측방 상황을 모니터링하기 위해 사용되는 것을 특징으로 할 수 있다.The rotating body may be rotated by receiving power from the first motor and used to detect obstacles on the side of the first ultrasonic sensor, and at the same time, may be used to monitor the front and side situations of the camera.
본 발명은 회전체의 설정된 위치에 형성된 제1 초음파센서와 이동체의 설정된 위치에 형성된 제2 초음파센서를 이용하여 전방 장애물의 등반여부를 판별할 수 있고, 탐사 또는 자율주행의 효율을 향상시킬 수 있다.The present invention can determine whether a front obstacle is climbing by using a first ultrasonic sensor formed at a set position of a rotating body and a second ultrasonic sensor formed at a set position of a moving object, and can improve the efficiency of exploration or autonomous driving. .
본 발명은 최소의 개수로 구성된 초음파센서와 단일의 카메라를 이용하여 전방과 측방에 대한 장애물과 상황을 감지함으로써, 저비용의 경량화된 지상용 자율주행 무인정찰 장치를 제공할 수 있고, 모니터링의 효율을 향상시킬 수 있다.The present invention detects obstacles and situations ahead and to the sides using a minimal number of ultrasonic sensors and a single camera, thereby providing a low-cost, lightweight autonomous unmanned reconnaissance device for ground use and improving monitoring efficiency. It can be improved.
도 1은 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치를 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치를 도시한 사시도이다.
도 3은 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치를 도시한 회로도이다.
도 4는 바퀴에 포함된 제1 기어를 도시한 예이다.
도 5는 바퀴에 포함된 제2 기어를 도시한 예이다.
도 6은 바퀴에 포함된 무한궤도를 도시한 예이다.
도 7과 도 8은 바퀴의 구조를 도시한 예이다.
도 9는 초음파센서를 동작원리를 도시한 예이다.
도 10은 라즈베리파이 얼굴인식 코딩화면을 도시한 예이다.
도 11은 아두이노 자율주행 코딩을 도시한 예이다.
도 12는 제2 모터에 관한 H-bridge 회로를 도시한 예이다.
도 13은 제2 모터의 속도를 제어하기 위한 듀티 사이클을 도시한 예이다.Figure 1 is a block diagram showing a self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention.
Figure 2 is a perspective view showing a self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention.
Figure 3 is a circuit diagram showing a self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention.
Figure 4 is an example showing a first gear included in a wheel.
Figure 5 is an example showing a second gear included in a wheel.
Figure 6 is an example showing an infinite orbit included in a wheel.
Figures 7 and 8 are examples showing the structure of a wheel.
Figure 9 is an example showing the operating principle of an ultrasonic sensor.
Figure 10 is an example showing a Raspberry Pi face recognition coding screen.
Figure 11 is an example showing Arduino autonomous driving coding.
Figure 12 is an example showing an H-bridge circuit for the second motor.
Figure 13 is an example showing a duty cycle for controlling the speed of the second motor.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited by the embodiments.
도 1은 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치를 도시한 블록도이고, 도 2는 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치를 도시한 사시도이며, 도 3은 본 발명의 실시예에 따른 지상용 자율주행 무인정찰 장치를 도시한 회로도이다.Figure 1 is a block diagram showing a self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention, Figure 2 is a perspective view showing a self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention, and Figure 3 is a This is a circuit diagram showing a self-driving unmanned reconnaissance device for ground use according to an embodiment of the present invention.
지상용 자율주행 무인정찰 장치(10)는 온실환경의 계측, 토목시설의 붕괴지역 탐사 및 소방진입로의 정찰 등 다양한 탐사현장에 적용하여 사용될 수 있고, 이에 한정하지 않는다.The self-driving unmanned reconnaissance device 10 for ground use can be applied to various exploration sites such as measuring greenhouse environments, exploring collapsed areas of civil engineering facilities, and reconnaissance of fire access roads, but is not limited to this.
탐사현장에는 장애물이 존재할 수 있다. 장애물은 지상용 자율주행 무인정찰 장치(10)가 등반할 수 있는 파편이나 작은 사물일 수 있고, 지상용 자율주행 무인정찰 장치(10)보다 큰 사물이거나 벽일 수 있으며, 부상당하거나 쓰러진 사람일 수 있다.Obstacles may exist at the exploration site. The obstacle may be debris or a small object that the ground self-driving unmanned reconnaissance device 10 can climb, may be an object or wall larger than the ground self-driving unmanned reconnaissance device 10, or may be an injured or fallen person. there is.
지상용 자율주행 무인정찰 장치(10)는 회전체(110), 이동체(120), 회전축(210), 바퀴(220), 모터(310), 카메라(410), 초음파센서(420) 및 제어부(490)를 포함한다.The ground autonomous unmanned reconnaissance device 10 includes a rotating body 110, a moving body 120, a rotating shaft 210, a wheel 220, a motor 310, a camera 410, an ultrasonic sensor 420, and a control unit ( 490).
회전체(110)는 카메라(410)의 장착을 제공하고, 이동체(120)는 바퀴(220)의 장착을 제공한다. 모터(310)는 회전체(110)의 회전을 위한 제1 모터(311) 및 이동체의 이동을 위한 제2 모터(312)를 포함한다.The rotating body 110 provides mounting of the camera 410, and the moving body 120 provides mounting of the wheels 220. The motor 310 includes a first motor 311 for rotating the rotating body 110 and a second motor 312 for moving the moving body.
제1 모터(311)는 회전축(210)에 동력을 전달하여 회전체(110)를 회전시키고, 제2 모터(312)는 바퀴(220)에 동력을 전달하여 이동체(120)를 이동시킨다.The first motor 311 transmits power to the rotation shaft 210 to rotate the rotating body 110, and the second motor 312 transmits power to the wheel 220 to move the mobile body 120.
도 4는 바퀴에 포함된 제1 기어를 도시한 예이고, 도 5는 바퀴에 포함된 제2 기어를 도시한 예이며, 도 6은 바퀴에 포함된 무한궤도를 도시한 예이고, 도 7과 도 8은 바퀴의 구조를 도시한 예로서, 바퀴(220)는 장애물을 등반하기 위하여 무한궤도형으로 제작될 수 있다.Figure 4 is an example showing a first gear included in a wheel, Figure 5 is an example showing a second gear included in a wheel, Figure 6 is an example showing an endless track included in a wheel, and Figures 7 and Figure 8 is an example showing the structure of a wheel, and the wheel 220 may be manufactured in an endless track type to climb obstacles.
바퀴(220)는 제1 기어(221), 제2 기어(222), 무한궤도(223) 및 축 연결부(224)를 포함한다. 제1 기어(221)는 복수로 구성되고, 제2 기어(222)는 제1 기어(221)의 사이에 형성되며, 무한궤도(223)는 제1 기어(221)의 외주면과 맞물리고, 축 연결부(224)는 제1 기어(221)와 제2 기어(222)의 축을 연결한다.The wheel 220 includes a first gear 221, a second gear 222, a crawler 223, and a shaft connection portion 224. The first gear 221 is composed of a plurality, the second gear 222 is formed between the first gears 221, the caterpillar 223 is engaged with the outer peripheral surface of the first gear 221, and the shaft The connection portion 224 connects the axes of the first gear 221 and the second gear 222.
도 9는 초음파센서를 동작원리를 도시한 예로서, 초음파센서(420)는 초음파를 방사하고 반사된 초음파를 받아 장애물과의 거리나 방향을 알아내기 위해 사용된다.Figure 9 is an example showing the operating principle of an ultrasonic sensor. The ultrasonic sensor 420 radiates ultrasonic waves and receives reflected ultrasonic waves and is used to determine the distance or direction from an obstacle.
초음파센서(420)는 회전체(110)의 설정된 위치에 형성된 제1 초음파센서(421) 및 이동체(120)의 설정된 위치에 형성된 제2 초음파센서(422)를 포함한다.The ultrasonic sensor 420 includes a first ultrasonic sensor 421 formed at a set position of the rotating body 110 and a second ultrasonic sensor 422 formed at a set position of the moving body 120.
제1 초음파센서(421)와 제2 초음파센서(422)는 바퀴(222)의 폭이나 너비 등 크기를 고려하여 설정된 위치에 형성된다. 제어부(490)는 제1 초음파센서(421)와 제2 초음파센서(422)를 이용하여 전방 장애물의 등반여부를 판별한다.The first ultrasonic sensor 421 and the second ultrasonic sensor 422 are formed at positions set in consideration of the size, such as the width or width, of the wheel 222. The control unit 490 uses the first ultrasonic sensor 421 and the second ultrasonic sensor 422 to determine whether the obstacle in front is climbing.
카메라(410)는 적외선 카메라 일수 있고, 탐사현장의 모니터링을 위해 사용될 수 있다. 제어부(490)는 카메라(410)에서 촬영된 영상을 이용하여 장애물의 종류를 판별할 수 있다.Camera 410 may be an infrared camera and may be used for monitoring the exploration site. The control unit 490 can determine the type of obstacle using the image captured by the camera 410.
도 10은 라즈베리파이 얼굴인식 코딩화면을 도시한 예로서, 제어부(490)는 얼굴인식 알고리즘을 이용하여 영상에서 사람의 객체를 알아낼 수 있다.Figure 10 is an example of a Raspberry Pi face recognition coding screen, and the control unit 490 can recognize a human object in an image using a face recognition algorithm.
제어부(490)는 사람 얼굴의 대칭적인 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육의 움직임 등 얼굴의 특징에 관한 학습 이미지를 이용하여 사전에 사람의 얼굴을 학습할 수 있고, 얼굴학습이 적용된 얼굴인식 알고리즘을 이용하여 영상에서 얼굴에 관한 특징점을 추출할 수 있으며, 사전에 학습된 특징점과 추출된 특징점 비교를 통하여 얼굴을 인식할 수 있다.The control unit 490 can learn the human face in advance using learning images about facial characteristics such as the symmetrical composition of the human face, appearance, hair, eye color, and facial muscle movement, and can learn the human face in advance, and Using a face recognition algorithm, feature points related to the face can be extracted from the image, and the face can be recognized by comparing the extracted feature points with the feature points learned in advance.
탐사현장에서는 사람이 다쳐 바닥에 누어 있을 수 있고, 얼굴인식이 어려운 환경일 수 있다. 제어부(490)는 자세추정 모델을 이용하여 사람을 인식할 수 있다. 자세추정 모델은 신체의 부위별 연결구조를 분석하여 자세를 추정하는 모델이다.At an exploration site, people may be injured and lying on the ground, and facial recognition may be difficult. The control unit 490 can recognize a person using a posture estimation model. The posture estimation model is a model that estimates posture by analyzing the connection structure of each part of the body.
제어부(490)는 2차원 형태의 영상 이미지 프레임을 3차원 공간으로 확장하여 2차원 이미지의 한계인 평면 해석에 의해 왜곡되는 인체 자세 추정을 보정함으로써, 객체겹침 및 카메라(410)의 설치위치에 의한 오탐률을 낮출 수 있다.The control unit 490 expands the two-dimensional video image frame into three-dimensional space and corrects the estimate of human body posture distorted by planar analysis, which is a limitation of the two-dimensional image, thereby correcting the human body posture estimation due to object overlap and the installation location of the camera 410. The false positive rate can be reduced.
제어부(490)는 영상 데이터로부터 3차원 공간에서의 자체를 추정하는 영상기반 자세추정 모델을 구현할 수 있고, 자세추정 모델로부터 얻게 된 3차원 위치적 자세 데이터를 기반으로 자세에 대한 전체적인 특징 및 각 관절 부위의 구체적 특성을 추출하여 3차원 메시(mesh)망 형태의 인체 모델을 추출할 수 있다.The control unit 490 can implement an image-based posture estimation model that estimates itself in three-dimensional space from image data, and determines the overall characteristics of the posture and each joint based on the three-dimensional positional posture data obtained from the posture estimation model. By extracting the specific characteristics of the area, a human body model in the form of a 3D mesh network can be extracted.
제어부(490)는 신체를 몸(body), 손(hand) 및 얼굴(Face)로 나누고, 나열된 각각의 자세추정 모델 기법을 사용하여 최종적인 추정자세의 결과를 보정함으로써, 쓰러짐 행위와 같은 사람을 판별할 수 있다.The control unit 490 divides the body into body, hand, and face, and corrects the result of the final estimated posture using each posture estimation model technique listed, thereby preventing a person from falling down. It can be determined.
제어부(490)는 카메라(410) 기반의 자세추정 모델을 이용하여 전방 장애물이 사람인지 여부를 판별하고, 전방 장애물이 사람으로 판별되면 사람을 우회하도록 제2 모터(312)의 구동을 제어하며, 전방 장애물이 사물로 판별되면 제1 초음파센서(421)와 제2 초음파센서(422)를 이용하여 사물의 등반여부를 판별할 수 있다.The control unit 490 determines whether the front obstacle is a person using a posture estimation model based on the camera 410, and if the front obstacle is determined to be a person, controls the operation of the second motor 312 to bypass the person, When the front obstacle is determined to be an object, it is possible to determine whether the object is climbing using the first ultrasonic sensor 421 and the second ultrasonic sensor 422.
제1 초음파센서(421)와 제2 초음파센서(422)는 바퀴(220)가 장애물을 등반할 수 있는지 알아내기 위하여 서로 간의 설정된 높이가 있고, 제어부(490)는 각각의 초음파센서(421, 422)의 거리값을 연산하여 바퀴(220)가 등반할 수 있는 전방 장애물인지 판별할 수 있다.The first ultrasonic sensor 421 and the second ultrasonic sensor 422 have a set height between them to determine whether the wheel 220 can climb an obstacle, and the control unit 490 controls each ultrasonic sensor 421 and 422. ) can be calculated to determine whether the wheel 220 is a front obstacle that can be climbed.
본 발명은 회전체(110)의 설정된 위치에 형성된 제1 초음파센서(421)와 이동체(120)의 설정된 위치에 형성된 제2 초음파센서(422)를 이용하여 전방 장애물의 등반여부를 판별할 수 있고, 탐사 또는 자율주행의 효율을 향상시킬 수 있다.The present invention can determine whether a front obstacle is climbing by using the first ultrasonic sensor 421 formed at a set position of the rotating body 110 and the second ultrasonic sensor 422 formed at a set position of the moving body 120. , can improve the efficiency of exploration or autonomous driving.
상기 제어부(490)는 제1 모터(311)의 구동을 제어하여 회전체(110)를 회전시키고, 제1 초음파센서(421)를 이용하여 측방 장애물과의 거리를 산출할 수 있다.The control unit 490 can control the driving of the first motor 311 to rotate the rotating body 110 and calculate the distance to the lateral obstacle using the first ultrasonic sensor 421.
회전체(110)는 제1 모터(311)의 동력을 전달받아 회전하여 제1 초음파센서(421)의 측방 장애물 감지를 위해 사용되고, 동시에 카메라(410)의 전방과 측방 상황을 모니터링하기 위해 사용된다.The rotating body 110 rotates by receiving power from the first motor 311 and is used to detect obstacles on the side of the first ultrasonic sensor 421, and at the same time is used to monitor the front and side situations of the camera 410. .
본 발명은 최소의 개수로 구성된 초음파센서(420)와 단일의 카메라(410)를 이용하여 전방과 측방에 대한 장애물과 상황을 감지함으로써, 저비용의 경량화된 지상용 자율주행 무인정찰 장치(10)를 제공할 수 있고, 모니터링의 효율을 향상시킬 수 있다.The present invention provides a low-cost, lightweight autonomous unmanned reconnaissance device (10) for ground use by detecting obstacles and situations in front and on the sides using a minimal number of ultrasonic sensors (420) and a single camera (410). can be provided and the efficiency of monitoring can be improved.
도 11은 아두이노 자율주행 코딩을 도시한 예로서, 제어부(490)는 초음파센서(420)를 이용하여 제2 모터(312)의 동작을 제어함으로써, 자율주행을 수행한다.Figure 11 is an example showing Arduino autonomous driving coding, in which the control unit 490 controls the operation of the second motor 312 using the ultrasonic sensor 420 to perform autonomous driving.
도 12는 제2 모터에 관한 H-bridge 회로를 도시한 예로서, 제2 모터(312)는 정방향과 역방향으로 제어할 수 있는 정역제어 회로를 포함하고, 전압의 극성을 바꾸어 정역을 제어할 수 있다.Figure 12 is an example showing an H-bridge circuit for a second motor. The second motor 312 includes a forward and reverse control circuit that can be controlled in the forward and reverse directions, and can control forward and reverse by changing the polarity of the voltage. there is.
도 13은 제2 모터의 속도를 제어하기 위한 듀티 사이클을 도시한 예로서, 제어부(490)는 전력소모와 상황 모니터링을 위해 제2 모터(312)의 구동이 정지된 상태에서 제1 초음파센서(421)와 제2 초음파센서(422)를 이용하여 전방 장애물과의 거리값을 연산하고, 제1 모터(311)와 제1 초음파센서(421)를 이용하여 측방 장애물과의 거리값을 연산하며, 제1 모터(311)의 구동이 정지된 상태에서 장애물과의 거리값을 이용하여 자율주행을 위한 주행값과 속도값을 생성하고, 주행값과 속도값으로 제2 모터(312)의 구동을 제어할 수 있다.Figure 13 is an example of a duty cycle for controlling the speed of the second motor, and the control unit 490 uses the first ultrasonic sensor ( 421) and the second ultrasonic sensor 422 are used to calculate the distance to the front obstacle, and the first motor 311 and the first ultrasonic sensor 421 are used to calculate the distance to the side obstacle, In a state where the first motor 311 is stopped, the distance to the obstacle is used to generate driving values and speed values for autonomous driving, and the driving of the second motor 312 is controlled using the driving values and speed values. can do.
제어부(490)는 장애물과의 거리값과 장애물의 등반여부에 기반하여 속도값이 복수로 설정될 수 있다. 예를 들어 제어부(490)는 장애물의 등반이 필요하다면 장애물과의 접촉에 따른 충격을 최소화하기 위하여 제1 속도값을 설정하고, 장애물을 우회한다면 제1 속도값보다 빠른 제2 속도값을 설정하며, 장애물과의 소정거리로 이격되면 제2 속도값보다 빠른 제3 속도값을 설정하고, 장애물이 소정거리 이상으로 미존재하면 제3 속도값보다 빠른 제4 속도값을 설정한다.The control unit 490 may set multiple speed values based on the distance to the obstacle and whether or not the obstacle is climbing. For example, if it is necessary to climb an obstacle, the control unit 490 sets a first speed value to minimize the impact due to contact with the obstacle, and if it is necessary to bypass the obstacle, sets a second speed value that is faster than the first speed value. , if there is a predetermined distance from the obstacle, a third speed value faster than the second speed value is set, and if the obstacle does not exist at a predetermined distance or more, a fourth speed value faster than the third speed value is set.
주행값은 설정된 속도의 듀티 사이클을 결정하기 위하여 전방 장애물의 등반을 위한 거리값을 포함할 수 있다.The travel value may include a distance value for climbing a front obstacle to determine the duty cycle of the set speed.
제어부(490)는 제1 초음파센서(421)와 제2 초음파센서(422)를 이용하여 장애물 등반여부뿐만 아니라 경사진 언덕을 알아낼 수 있고, 경사진 언덕을 올라가기 위한 속도값을 결정할 수 있으며, 결정된 속도값으로 제2 모터(312)를 제어함으로써, 제2 모터(312)의 과부하를 방징할 수 있고, 제2 모터(312)의 수명을 연장시킬 수 있다.The control unit 490 can use the first ultrasonic sensor 421 and the second ultrasonic sensor 422 to determine not only whether an obstacle is climbed but also a sloped hill, and determine a speed value for climbing the sloped hill. By controlling the second motor 312 with the determined speed value, overload of the second motor 312 can be prevented and the lifespan of the second motor 312 can be extended.
지상용 자율주행 무인정찰 장치(10)는 통신부(430) 및 배터리(440)를 더 포함할 수 있다. 통신부(430)는 촬영된 영상을 관리자 단말기(미도시) 또는 관리 서버(미도시)에게 전송하기 위해 사용될 수 있다. 배터리(440)는 모터(310), 카메라(410) 및 초음파센서(420)의 구동을 위한 전력을 제공한다.The autonomous unmanned reconnaissance device 10 for ground use may further include a communication unit 430 and a battery 440. The communication unit 430 may be used to transmit the captured video to an administrator terminal (not shown) or a management server (not shown). The battery 440 provides power to drive the motor 310, camera 410, and ultrasonic sensor 420.
10: 자율주행 무인정찰 장치 110: 회전체
120: 이동체 210: 회전축
220: 바퀴 310: 모터
311: 제1 모터 312: 제2 모터
410: 카메라 420: 초음파센서
421: 제1 초음파센서 422: 제2 초음파센서
430: 통신부 440: 배터리
490: 제어부10: Self-driving unmanned reconnaissance device 110: Rotating body
120: moving body 210: rotation axis
220: wheel 310: motor
311: first motor 312: second motor
410: Camera 420: Ultrasonic sensor
421: first ultrasonic sensor 422: second ultrasonic sensor
430: Communication unit 440: Battery
490: Control unit
Claims (3)
바퀴(220)가 장착되고 회전체의 하부에 형성된 이동체(120);
상기 회전체의 회전을 위한 제1 모터(311);
상기 이동체의 이동을 위한 제2 모터(312);
상기 회전체의 설정된 위치에 형성된 제1 초음파센서(421);
상기 이동체의 설정된 위치에 형성된 제2 초음파센서(422) 및
상기 제1 모터와 제2 모터의 구동을 제어하는 제어부(490)를 포함하여,
상기 제1 초음파센서와 제2 초음파센서는 바퀴의 크기를 고려하여 설정된 위치에 형성되고, 제어부는 제1 초음파센서와 제2 초음파센서를 이용하여 전방 장애물의 등반여부를 판별하는 것을 특징으로 하는 지상용 자율주행 무인정찰 장치.A rotating body 110 equipped with a camera 410;
A mobile body 120 equipped with wheels 220 and formed at the lower part of the rotating body;
A first motor 311 for rotating the rotating body;
a second motor 312 for moving the mobile object;
A first ultrasonic sensor 421 formed at a set position of the rotating body;
A second ultrasonic sensor 422 formed at a set position of the moving object, and
Including a control unit 490 that controls driving of the first motor and the second motor,
The first ultrasonic sensor and the second ultrasonic sensor are formed at a position set in consideration of the size of the wheel, and the control unit uses the first ultrasonic sensor and the second ultrasonic sensor to determine whether the obstacle in front is climbing. Self-driving unmanned reconnaissance device.
상기 제어부는 카메라 기반의 자세추정 모델을 이용하여 전방 장애물이 사람인지 여부를 판별하고, 전방 장애물이 사람으로 판별되면 사람을 우회하도록 제2 모터의 구동을 제어하며, 전방 장애물이 사물로 판별되면 제1 초음파센서와 제2 초음파센서를 이용하여 사물의 등반여부를 판별하는 것을 특징으로 하는 지상용 자율주행 무인정찰 장치.According to paragraph 1,
The control unit uses a camera-based posture estimation model to determine whether the front obstacle is a person. If the front obstacle is determined to be a person, it controls the operation of the second motor to bypass the person. If the front obstacle is determined to be an object, the control unit controls the second motor to bypass the person. 1 A self-driving unmanned reconnaissance device for ground use that uses an ultrasonic sensor and a second ultrasonic sensor to determine whether an object is climbing.
상기 회전체는 제1 모터의 동력을 전달받아 회전하여 제1 초음파센서의 측방 장애물 감지를 위해 사용되고, 동시에 카메라의 전방과 측방 상황을 모니터링하기 위해 사용되는 것을 특징으로 하는 지상용 자율주행 무인정찰 장치.According to paragraph 1,
The rotating body receives the power of the first motor and rotates, and is used to detect obstacles on the side of the first ultrasonic sensor, and at the same time, it is used to monitor the front and side situations of the camera. An autonomous unmanned reconnaissance device for ground use. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220015657A KR102654371B1 (en) | 2022-02-07 | 2022-02-07 | Unmanned ground reconnaissance apparatus for automatic driving |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220015657A KR102654371B1 (en) | 2022-02-07 | 2022-02-07 | Unmanned ground reconnaissance apparatus for automatic driving |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230119468A KR20230119468A (en) | 2023-08-16 |
| KR102654371B1 true KR102654371B1 (en) | 2024-04-02 |
Family
ID=87848484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220015657A KR102654371B1 (en) | 2022-02-07 | 2022-02-07 | Unmanned ground reconnaissance apparatus for automatic driving |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102654371B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101040528B1 (en) | 2011-02-17 | 2011-06-16 | 국방과학연구소 | Sensor assembly for detecting terrain and autonomous mobile platform having the same |
| KR101049155B1 (en) | 2011-02-01 | 2011-07-14 | 국방과학연구소 | Method for judging obstacle of autonomous moving apparatus and autonomous moving apparatus |
| KR101049906B1 (en) | 2010-12-30 | 2011-07-15 | 국방과학연구소 | Autonomous mobile apparatus and method for avoiding collisions of the same |
| JP2018025880A (en) | 2016-08-08 | 2018-02-15 | シャープ株式会社 | Autonomous travel device and autonomous travel control method and control program |
| KR101985188B1 (en) | 2012-09-20 | 2019-06-04 | 엘지전자 주식회사 | Moving robot and driving method for the moving robot |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3879848B2 (en) * | 2003-03-14 | 2007-02-14 | 松下電工株式会社 | Autonomous mobile device |
| US9470658B2 (en) * | 2013-03-12 | 2016-10-18 | The Boeing Company | Self-contained holonomic tracking method and apparatus for non-destructive inspection |
| KR101568853B1 (en) | 2015-01-12 | 2015-11-13 | 충남대학교산학협력단 | Greenhouse environment measurement device of Self-moving type having an ultrasonic sensor on the side |
| KR101711277B1 (en) | 2015-05-11 | 2017-03-06 | 부산외국어대학교 산학협력단 | Exploration robot for dangerous spot search |
| KR20190142505A (en) * | 2018-06-18 | 2019-12-27 | 공병익 | Realtime objects tracking apparatus |
-
2022
- 2022-02-07 KR KR1020220015657A patent/KR102654371B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101049906B1 (en) | 2010-12-30 | 2011-07-15 | 국방과학연구소 | Autonomous mobile apparatus and method for avoiding collisions of the same |
| KR101049155B1 (en) | 2011-02-01 | 2011-07-14 | 국방과학연구소 | Method for judging obstacle of autonomous moving apparatus and autonomous moving apparatus |
| KR101040528B1 (en) | 2011-02-17 | 2011-06-16 | 국방과학연구소 | Sensor assembly for detecting terrain and autonomous mobile platform having the same |
| KR101985188B1 (en) | 2012-09-20 | 2019-06-04 | 엘지전자 주식회사 | Moving robot and driving method for the moving robot |
| JP2018025880A (en) | 2016-08-08 | 2018-02-15 | シャープ株式会社 | Autonomous travel device and autonomous travel control method and control program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230119468A (en) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9211648B2 (en) | Operating a mobile robot | |
| JP3994950B2 (en) | Environment recognition apparatus and method, path planning apparatus and method, and robot apparatus | |
| CN106774298B (en) | Autonomous charging of robots system and method based on camera and laser aiming positioning | |
| US20050212680A1 (en) | Self-propelled cleaner | |
| Walas et al. | Messor–verstatile walking robot for serach and rescue missions | |
| CN115416047B (en) | Blind assisting system and method based on multi-sensor four-foot robot | |
| Huang | A Semi-Autonomous Vision-Based Navigation System for a Mobile Robotic Vehicle | |
| KR102654371B1 (en) | Unmanned ground reconnaissance apparatus for automatic driving | |
| Lee et al. | Rough terrain negotiable mobile platform with passively adaptive double-tracks and its application to rescue missions | |
| CN114815804A (en) | Bionic robot | |
| Karupusamy et al. | Efficient Computation for Localization and Navigation System for a Differential Drive Mobile Robot in Indoor and Outdoor Environments. | |
| Tanaka | Robust parameter estimation of road condition by Kinect sensor | |
| Machaiah et al. | IoT based human search and rescue robot using swarm robotics | |
| CN110696003A (en) | Water side rescue robot based on SLAM technology and deep learning | |
| Mano et al. | Treaded control system for rescue robots in indoor environment | |
| Mwaffo et al. | Pause-and-go self-balancing formation control of autonomous vehicles using vision and ultrasound sensors | |
| Ueda et al. | Visual information assist system using 3D SOKUIKI sensor for blind people, system concept and object detecting experiments | |
| Nagasawa et al. | Development of a walking assistive robot for elderly people in outdoor environments | |
| CN111273658A (en) | Mobile robot and obstacle detection method | |
| Priandana et al. | Design of a task-oriented autonomous wheeled-robot for search and rescue | |
| TWI527724B (en) | Tracked robots with swing arms and control methods thereof | |
| Shin et al. | Mechanism and control of a jumping robot | |
| Rohde et al. | PointCom: semi-autonomous UGV control with intuitive interface | |
| Milella et al. | Laser-based people-following for human-augmented mapping of indoor environments. | |
| JP7361547B2 (en) | robot system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |