KR20170108262A - Method and device for detecting obstacle of unmanned moving unit - Google Patents

Method and device for detecting obstacle of unmanned moving unit Download PDF

Info

Publication number
KR20170108262A
KR20170108262A KR1020160031870A KR20160031870A KR20170108262A KR 20170108262 A KR20170108262 A KR 20170108262A KR 1020160031870 A KR1020160031870 A KR 1020160031870A KR 20160031870 A KR20160031870 A KR 20160031870A KR 20170108262 A KR20170108262 A KR 20170108262A
Authority
KR
South Korea
Prior art keywords
image
obstacle
mobile device
unmanned mobile
capturing
Prior art date
Application number
KR1020160031870A
Other languages
Korean (ko)
Inventor
김신덕
신새벽
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160031870A priority Critical patent/KR20170108262A/en
Publication of KR20170108262A publication Critical patent/KR20170108262A/en

Links

Images

Classifications

    • G06K9/00805—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G06K9/00825—
    • G06K9/20—
    • G06K9/6201—
    • G06K2209/21—

Abstract

Disclosed are a method and a device for detecting an obstacle based on a vision by using one camera. A disclosed method for detecting an obstacle of an unmanned moving device comprises the following steps: capturing a first image; capturing a second image after capturing the first image; overlapping the first and second images, and determining the size of the overlapped area of an object included in the first image with the object included in the second image; and determining the object as the obstacle according to a determined result.

Description

무인 이동 장치를 위한 장애물 검출 방법 및 장치{METHOD AND DEVICE FOR DETECTING OBSTACLE OF UNMANNED MOVING UNIT}Field of the Invention [0001] The present invention relates to an obstacle detecting apparatus,

본 발명은 무인 이동 장치를 위한 장애물 검출 방법 및 장치에 관한 것으로서, 더욱 상세하게는 하나의 카메라를 이용하여 비전 기반으로 장애물을 검출하는 방법 및 장치에 관한 것이다. The present invention relates to an obstacle detection method and apparatus for an unmanned mobile device, and more particularly, to a method and an apparatus for detecting an obstacle based on a vision using a single camera.

자율 주행 차량, 무인 이동 로봇 또는 드론 등과 같은 무인 이동 장치는 스스로 장애물을 검출하여 회피하도록 설계된다. 그리고 장애물을 검출하기 위해 스테레오 카메라나 무선 신호를 전송하여 반사되는 신호를 검출하는 센서 등이 이용된다. 또는 카메라와 센서를 결합하여 장애물을 검출한다.An unmanned mobile device such as an autonomous vehicle, an unmanned mobile robot, or a drone is designed to detect and avoid obstacles on its own. In order to detect an obstacle, a stereo camera or a sensor for detecting a reflected signal by transmitting a wireless signal is used. Or the camera and the sensor are combined to detect an obstacle.

하지만 스테레오 카메라의 경우, 복수의 카메라 사이의 거리가 충분히 멀지 않으면 원거리 장애물의 깊이 정보를 정확하게 알 수 없으며, 연산량에 따른 로드가 증가하는 문제가 있다. 또한 무선 신호를 이용하는 센서의 경우, 외부 환경에 따른 잡음 등으로 원거리 장애물을 검출하기 어려운 문제가 있다. 그리고 카메라와 센서를 동시에 이용하여 장애물을 검출하는 경우, 무인 이동 장치의 가격 및 크기가 증가하는 문제가 있다. However, in the case of a stereo camera, if the distance between the plurality of cameras is not sufficiently large, the depth information of the distant obstacle can not be precisely known, and there is a problem that the load is increased according to the calculation amount. Further, in the case of a sensor using a wireless signal, there is a problem that it is difficult to detect a distant obstacle due to noise due to an external environment. When an obstacle is detected by simultaneously using a camera and a sensor, the price and size of the unmanned mobile device increase.

따라서, 보다 경제적이며 소형으로 장애물을 검출할 수 있는 무인 이동 장치에 대한 니즈가 대두되고 있다.Accordingly, there is a growing need for an unmanned mobile device that is more economical and compact and capable of detecting obstacles.

관련된 선행문헌으로 대한민국 공개특허 제2015-0142475호가 있다.A related prior art is Korean Patent Publication No. 2015-0142475.

본 발명은 하나의 카메라를 이용하여 비전 기반으로 장애물을 검출하는 방법 및 장치를 제공하기 위한 것이다.The present invention provides a method and apparatus for detecting an obstacle based on a vision using one camera.

또한 본 발명은 보다 경제적이고 소형화된 무인 이동 장치를 위한, 장애물 검출 방법 및 장치를 제공하기 위한 것이다. The present invention also provides an obstacle detection method and apparatus for a more economical and miniaturized unmanned mobile device.

상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 무인 이동 장치의 장애물 검출 방법에 있어서, 제1영상을 촬영하는 단계; 상기 제1영상 촬영 후 제2영상을 촬영하는 단계; 상기 제1 및 제2영상을 오버랩하여, 상기 제1영상에 포함된 오브젝트와, 상기 제2영상에 포함된 상기 오브젝트가 오버랩되는 영역의 크기를 판단하는 단계; 및 상기 판단 결과에 따라서, 상기 오브젝트를 장애물로 결정하는 단계를 포함하는 장애물 검출 방법을 제공한다.According to an embodiment of the present invention, there is provided a method for detecting an obstacle in an unmanned mobile device, comprising: capturing a first image; Capturing a second image after the first image capturing; Determining a size of an area in which the object included in the first image overlaps with the object included in the second image by overlapping the first and second images; And determining the object as an obstacle according to the determination result.

또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 무인 이동 장치의 장애물 검출 방법에 있어서, 제1영상을 촬영하는 단계; 상기 제1영상 촬영 후 제2영상을 촬영하는 단계; 상기 제2영상에서 상기 제1영상을 차감하는 단계; 및 상기 차감에 따른, 상기 제2영상의 오브젝트의 패턴을 이용하여, 상기 오브젝트를 장애물로 결정하는 단계를 포함하는 장애물 검출 방법을 제공한다.According to another aspect of the present invention, there is provided a method for detecting an obstacle in an unmanned mobile device, comprising: capturing a first image; Capturing a second image after the first image capturing; Subtracting the first image from the second image; And determining the object as an obstacle by using the pattern of the object of the second image according to the subtraction.

또한 상기한 목적을 달성하기 위해 본 발명의 또 다른 실시예에 따르면, 제1영상을 촬영한 후 제2영상을 촬영하는 카메라; 상기 제1 제2영상을 오버랩하여, 상기 제1 및 제2영상에 포함된 오브젝트 사이의 관계를 분석하는 영상 처리부; 및 상기 분석 결과에 따라서, 상기 오브젝트를 장애물로 결정하는 장애물 결정부를 포함하는 무인 이동 장치를 제공한다.According to another aspect of the present invention, there is provided a camera for capturing a second image after capturing a first image; An image processing unit for overlapping the first second image and analyzing a relationship between objects included in the first and second images; And an obstacle determining unit that determines the object as an obstacle according to the analysis result.

본 발명에 따르면, 기 설정된 촬영 간격을 두고 촬영되는 제1영상 및 제2영상에 포함된 오브젝트 사이의 관계를 분석함으로써, 장애물을 검출할 수 있다.According to the present invention, an obstacle can be detected by analyzing a relationship between objects included in a first image and a second image photographed with a predetermined photographing interval.

또한 본 발명에 따르면, 하나의 카메라를 이용하여 장애물을 검출함으로써, 보다 경제적이고 소형화된 무인 이동 장치를 제공할 수 있다.Further, according to the present invention, it is possible to provide a more economical and miniaturized unmanned mobile device by detecting an obstacle by using one camera.

도 1은 본 발명의 일실시예에 따른 무인 이동 장치를 설명하기 위한 도면이다.
도 2 및 도 3은 촬영된 영상에 포함된 오브젝트를 도시하는 도면이다.
도 4는 실제 환경에서 오브젝트의 이동과 무인 이동 장치의 이동 사례를 도시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 오브젝트의 패턴을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 장애물 검출 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 장애물 검출 방법을 설명하기 위한 도면이다.1 is a view for explaining an unmanned mobile device according to an embodiment of the present invention.
2 and 3 are views showing objects included in the photographed image.
4 is a diagram showing an example of movement of an object and movement of an unmanned mobile device in an actual environment.
5 is a diagram for explaining a pattern of an object according to an embodiment of the present invention.
6 is a view for explaining an obstacle detection method according to an embodiment of the present invention.
7 is a view for explaining an obstacle detection method according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

본 발명은 하나의 카메라를 이용하여 비전(vision) 기반으로 장애물을 검출할 수 있는 방법을 제안한다. 즉, 본 발명은 스테레오 카메나 무선 신호를 이용하는 센서, 그리고 이들의 조합을 이용하여 장애물을 검출하지 않고 하나의 카메라를 이용하여 장애물을 검출함으로써, 보다 경제적이고 소형화된 무인 이동 장치를 지원할 수 있다.The present invention proposes a method for detecting obstacles based on vision using a single camera. In other words, the present invention can support a more economical and miniaturized unmanned mobile device by detecting an obstacle by using a single camera without detecting an obstacle by using a stereo camera, a sensor using a wireless signal, and a combination thereof.

보다 구체적으로, 본 발명은 기 설정된 촬영 간격을 두고 촬영되는 제1영상 및 제2영상에 포함된 오브젝트 사이의 관계를 분석하여 장애물을 검출한다. 제1 및 제2영상은 기 설정된 촬영 간격을 두고 생성되기 때문에, 무인 이동 장치의 움직임 또는 오브젝트 자체의 움직임에 의해, 제1영상의 오브젝트의 위치, 크기 및 형상 등과, 제2영상의 오브젝트의 위치, 크기 형상 등이 차이가 발생한다. More specifically, the present invention detects an obstacle by analyzing a relationship between objects included in a first image and a second image, which are photographed at a preset photographing interval. Since the first and second images are generated with predetermined shooting intervals, the position, size, and shape of the object of the first image and the position of the object of the second image, , The size shape and the like.

따라서, 제1 및 제2영상에서, 동일한 오브젝트 사이의 관계를 분석하면, 오브젝트가 무인 이동 장치와 얼마나 근접한지, 무인 이동 장치 방향으로 이동하는지 등을 알 수 있고, 결국, 오브젝트가 무인 이동 장치와 충돌할 가능성이 높은 장애물인지 여부를 판단할 수 있다.Therefore, by analyzing the relationship between the same objects in the first and second images, it can be known how close the object is to the unmanned mobile device, moving toward the unmanned mobile device, and the like, It is possible to judge whether or not the obstacle is highly likely to collide.

본 발명은 자율 주행 차량, 자율 이동 로봇 및 드론 등 장애물 검출이 필요한 무인 이동 장치에 적용될 수 있다.INDUSTRIAL APPLICABILITY The present invention can be applied to an autonomous mobile vehicle, an autonomous mobile robot, and an unmanned mobile device requiring obstacle detection such as a drone.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 무인 이동 장치를 설명하기 위한 도면이다.1 is a view for explaining an unmanned mobile device according to an embodiment of the present invention.

도 1을 참조하면 본 발명에 따른 무인 이동 장치는 카메라(110) 및 장애물 검출 장치(120)를 포함한다. 장애물 검출 장치(120)는 영상 처리부(121) 및 장애물 결정부(123)를 포함한다.Referring to FIG. 1, an unmanned mobile device according to the present invention includes a camera 110 and an obstacle detection device 120. The obstacle detecting apparatus 120 includes an image processing unit 121 and an obstacle determining unit 123.

카메라(110)는 제1영상을 촬영한 후 제2영상을 촬영한다. 촬영 방향은 무인 이동 장치의 이동 방향 또는 가까운 미래에 이동할 방향일 수 있다.The camera 110 takes a first image and then a second image. The photographing direction may be a moving direction of the unmanned mobile device or a moving direction in the near future.

카메라(110)는 제1영상을 촬영하고 기 설정된 촬영 간격이후 제2영상을 촬영하며, 이 때 촬영 간격은 무인 이동 장치의 속도에 반비례할 수 있다. 즉, 무인 이동 장치의 속도가 증가할수록 촬영 간격은 짧아지며, 무인 이동 장치의 속도가 줄어들수록 촬영 간격은 길어진다.The camera 110 photographs the first image and photographs the second image after the predetermined photographing interval, wherein the photographing interval may be inversely proportional to the speed of the unmanned mobile device. That is, as the speed of the unmanned mobile device increases, the shooting interval becomes shorter, and as the speed of the unmanned mobile device decreases, the shooting interval becomes longer.

영상 처리부(121)는 제1영상 및 제2영상을 오버랩하여, 제1영상 및 제2영상에 포함된 오브젝트 사이의 관계를 분석한다. 일예로서 영상 처리부(121)는 제1영상에 포함된 오브젝트와, 제2영상에 포함된 오브젝트가 오버랩되는 영역의 크기 등을 분석하거나, 제2영상에서 제1영상을 차감하여, 차감에 따른, 제2영상의 오브젝트의 패턴을 생성할 수 있다. The image processing unit 121 overlaps the first image and the second image to analyze the relationship between the objects included in the first image and the second image. For example, the image processing unit 121 may analyze the size of an area where an object included in the first image overlaps with an object included in the second image, subtract a first image from the second image, A pattern of an object of the second image can be generated.

장애물 결정부(123)는 분석 결과에 따라서, 오브젝트를 장애물로 결정한다. 예를 들어, 장애물 결정부(123)는 결정 결과에 대한 정보를 포함하는 플래그 신호를 생성할 수 있다.The obstacle determining unit 123 determines the object as an obstacle according to the analysis result. For example, the obstacle determination unit 123 may generate a flag signal including information on a determination result.

무인 이동 장치는 플래그 신호에 따라서, 촬영된 영상에 포함된 오브젝트를 장애물로 인지하고, 이동 경로를 변경하는 등의 장애물 회피 동작을 수행할 수 있다.The unmanned mobile device can perform an obstacle avoidance operation such as recognizing an object included in the photographed image as an obstacle and changing the movement route in accordance with the flag signal.

이하, 도 2 내지 도 5에서, 장애물 검출 장치(120)의 동작을 보다 상세히 설명하기로 한다.Hereinafter, the operation of the obstacle detecting device 120 will be described in more detail with reference to FIGS. 2 to 5. FIG.

도 2 및 도 3은 촬영된 영상에 포함된 오브젝트를 도시하는 도면이며, 도 4는 실제 환경에서 오브젝트의 이동과 무인 이동 장치의 이동 사례를 도시하는 도면이다.FIGS. 2 and 3 are views showing objects included in the photographed image, and FIG. 4 is a diagram showing an example of movement of an object and movement of an unmanned mobile device in an actual environment.

도 2 및 도 3은 제1영상 및 제2영상을 오버랩한 상태의 영상으로서, 빗금치지 않은 오브젝트(210)는 제1영상에 포함된 오브젝트이며, 빗금친 오브젝트(220)는 제2영상에 포함된 오브젝트이다. 두 오브젝트(210, 220)는 동일한 오브젝트인데, 이해의 편의를 위해 서로 다른 형태로 도면에 표시된다. 두 오브젝트(210, 220)는 촬영 간격, 오브젝트의 이동 및 무인 이동 장치의 이동에 의해 제1 및 제2영상에서 서로 다른 영역에 위치하며 크기도 다르다. 도 3은 도 2와 비교하여, 오브젝트(220)와 무인 이동 장치의 거리가 보다 가까운 경우를 도시하고 있다. FIGS. 2 and 3 illustrate an image in which the first image and the second image are overlapped. The non-hatched object 210 is an object included in the first image, and the hatched object 220 is included in the second image. . The two objects 210 and 220 are the same object, and they are displayed in different drawings for convenience of understanding. The two objects 210 and 220 are located in different areas in the first and second images due to the shooting interval, the movement of the object, and the movement of the unmanned player, and the sizes are also different. Fig. 3 shows a case where the distance between the object 220 and the unmanned mobile device is closer to that of Fig.

도 2(a)는 오브젝트와 무인 이동 장치가 도 4(a)와 같이 이동할 때의 영상이다. 즉, 무인 이동 장치가 A에서 B로 이동하고, 오브젝트 또한 무인 이동 장치의 이동 방향으로 C에서 D로 이동할 때, 도 2(a)에 도시된 바와 같이, 오브젝트(210, 220)는 오버랩되지 않는다. 2 (a) is an image when the object and the unmanned mobile device move as shown in Fig. 4 (a). That is, when the unmanned mobile device moves from A to B and the object also moves from C to D in the moving direction of the unmanned mobile device, the objects 210 and 220 do not overlap, as shown in Fig. 2 (a) .

또는 무인 이동 장치만 A에서 B로 이동하고, 오브젝트는 고정된 경우에도 오브젝트(210, 220)는 오버랩되지 않는다. 다만, 무인 이동 장치가 B로 이동하며, 오브젝트가 C에 고정된 경우, 무인 이동 장치와 오브젝트의 거리가 가까워 지므로, 제2영상의 오브젝트(220)는 제1영상의 오브젝트(210)보다 크다.Or only the unmanned mobile device moves from A to B, and the objects 210 and 220 do not overlap even when the object is fixed. However, when the unmanned mobile device moves to B and the object is fixed to C, the distance between the unmanned mobile device and the object becomes closer to each other, so that the object 220 of the second image is larger than the object 210 of the first image.

도 4(a)의 경우는 오브젝트와 무인 이동 장치가 충돌할 가능성이 거의 없으며, 두 오브젝트(210, 220)는 오버랩되는 영역이 없다. 따라서, 이 경우 무인 이동 장치는 오브젝트를 장애물로 판단하지 않는다.In the case of FIG. 4A, there is almost no possibility that the object and the unmanned mobile device collide with each other, and there is no overlapped area between the two objects 210 and 220. Therefore, in this case, the unmanned mobile device does not judge the object as an obstacle.

도 2(b)는 오브젝트와 무인 이동 장치가 도 4(b)와 같이 이동할 때의 영상이다. 즉, 무인 이동 장치가 A에서 B로 이동할 때, 오브젝트가 C에서 D로 이동하며, 무인 이동 장치의 이동 경로를 지나치도록 이동하여, 향후 충돌이 예상되는 경우, 도 2(b)에 도시된 바와 같이, 제1영상의 오브젝트(210)는 제2영상의 오브젝트(220)에 포함된다. Fig. 2 (b) is an image when the object and the unmanned mobile device move as shown in Fig. 4 (b). That is, when the unmanned mobile device moves from A to B, the object moves from C to D, moves beyond the movement path of the unmanned mobile device, and if a collision is expected in the future, Similarly, the object 210 of the first image is included in the object 220 of the second image.

전술된 바와 같이, 오브젝트가 D에 위치하고 무인 이동 장치가 B에 위치하는 경우, 오브젝트와 무인 이동 장치의 위치가 보다 가깝기 때문에, 제2영상(420)에 포함된 오브젝트(220)의 크기가 제1영상(410)에 포함된 오브젝트(210)의 크기보다 크다. 그리고 도 4(b)에 도시된 바와 같이, 제1 및 제2영상(410, 420)에서 오브젝트가 형성되는 위치가 거의 동일하기 때문에, 제1영상의 오브젝트(210)는 제2영상의 오브젝트(220)에 포함된다.As described above, when the object is located at D and the unmanned mobile device is located at B, since the position of the object and the unmanned mobile device are closer to each other, the size of the object 220 included in the second image 420 is smaller than that of the first Is larger than the size of the object 210 included in the image 410. As shown in FIG. 4 (b), since the positions where the objects are formed in the first and second images 410 and 420 are almost the same, the object 210 of the first image is the object 220).

따라서, 도 4(b)와 같이, 오브젝트와 무인 이동 장치가 충돌할 가능성이 높은 경우, 제1영상에 포함된 오브젝트는, 제2영상에 포함된 오브젝트에 포함되며, 무인 이동 장치는 오브젝트를 장애물로 결정한다.Therefore, when the possibility of collision between the object and the unmanned mobile device is high, the object included in the first image is included in the object included in the second image, and the unmanned mobile device moves the object to the obstacle .

도 2(c)는 도 4(b)와 비교하여, 무인 이동 장치 이동 속도 대비 오브젝트의 이동 속도가 매우 빠른 경우의 영상이다. 이 경우, 제1 및 제2영상(410, 420)에서 오브젝트가 형성되는 위치에 차이가 많이 나므로 제1영상의 오브젝트(210)와 제2영상의 오브젝트(220)의 일부분이 오버랩된다.Fig. 2 (c) is an image when the moving speed of the object is very fast compared with the moving speed of the unmanned mobile device, as compared with Fig. 4 (b). In this case, since there are many differences in positions where objects are formed in the first and second images 410 and 420, a part of the object 210 of the first image overlaps with a part of the object 220 of the second image.

이 경우, 무인 이동 장치는 정책에 따라서 오브젝트를 장애물로 결정하거나 결정하지 않을 수 있다.In this case, the unmanned mobile device may not determine or determine the object as an obstacle according to the policy.

정리하면, 영상 처리부(121)는 제1영상에 포함된 오브젝트와, 제2영상에 포함된 오브젝트가 오버랩되는 영역의 크기를 판단하며, 장애물 결정부(123)는 제1영상에 포함된 오브젝트가, 제2영상에 포함된 오브젝트에 포함되는 경우, 오브젝트를 장애물로 판단할 수 있다. 또한 장애물 결정부(123)는 제1 및 제2영상에 포함된 오브젝트가 오버랩되는 영역의 크기가 제1영상의 오브젝트?? 크기를 기준으로 임계 크기 이상일 경우 오브젝트를 장애물로 판단할 수 있다.In summary, the image processing unit 121 determines the size of an area where an object included in the first image overlaps with an object included in the second image, and the obstacle determining unit 123 determines that the object included in the first image , And if it is included in the object included in the second image, the object can be determined as an obstacle. In addition, the obstacle determining unit 123 may determine that the size of the area where the objects included in the first and second images overlap is smaller than the size of the object of the first image. If the size is larger than the threshold size, the object can be judged as an obstacle.

또는 장애물 결정부(123)는 장애물로 결정된 오브젝트가 복수개인 경우, 오버랩되는 영역의 크기에 따라서 장애물에 대한 회피 우선 순위를 결정할 수 있다. 오버랩되는 영역의 크기가 큰 순서에서 작은 순서로 장애물에 대한 회피 우선 순위가 결정될 수 있다. 예를 들어, 도 2(b)와 도 2(c)의 오브젝트가 각각 서로 다른 오브젝트이며, 장애물로 결정된 경우, 장애물 결정부(123)는 오버랩되는 영역의 크기가 큰 도 2(b)의 장애물에 대한 회피 우선 순위를 도 2(c)의 장애물보다 높게 결정할 수 있다.Or the obstacle determining unit 123 may determine the avoidance priority order for the obstacle according to the size of the overlapped area when there are a plurality of objects determined as obstacles. The avoidance priority order for the obstacles can be determined in descending order of the size of the overlapped area. For example, when the objects of FIGS. 2B and 2C are different from each other and are determined to be obstacles, the obstacle determining unit 123 determines whether or not the obstacle Can be determined to be higher than the obstacle of Fig. 2 (c).

한편, 영상 처리부(121)는 제1영상에 포함된 오브젝트와, 제2영상에 포함된 오브젝트의 크기 변화를 판단하고, 무인 이동 장치와 오브젝트 사이의 거리를 계산할 수도 있다. 전술된 바와 같이, 오브젝트와 무인 이동 장치의 거리가 가까울수록 영상에 포함된 오브젝트의 크기는 커지므로, 영상 처리부(121)는 무인 이동 장치와 오브젝트 사이의 거리 정보를 생성할 수 있다. 이 때, 거리 정보는 절대적인 거리 값은 아니며, 무인 이동 장치를 기준으로 거리가 멀고 가까움을 나타내는 상대적인 거리 값일 수 있다.Meanwhile, the image processing unit 121 may determine the size change of the object included in the first image and the object included in the second image, and calculate the distance between the unmanned mobile device and the object. As described above, since the size of the object included in the image increases as the distance between the object and the unmanned mobile device increases, the image processing unit 121 can generate distance information between the unmanned mobile device and the object. At this time, the distance information is not an absolute distance value, but may be a relative distance value indicating that the distance is far and near with respect to the unmanned mobile device.

그리고 장애물 결정부(123)는 제1 및 제2영상에 포함된 오브젝트가 오버랩되는 영역의 크기 뿐만 아니라 오브젝트와 무인 이동 장치의 거리를 함께 고려하여 장애물을 결정할 수 있다. 예를 들어, 장애물 결정부(123)는 도 2(c)와 같은 경우에는 오브젝트를 장애물로 결정하지 않더라도, 도 3(c)와 같은 경우는 오브젝트가 무인 이동 장치와 보다 가까이 위치하므로 장애물로 결정할 수도 있다.The obstacle determining unit 123 may determine an obstacle by taking into consideration not only the size of the area where the objects included in the first and second images overlap, but also the distance between the object and the unmanned mobile device. For example, even if the obstacle determining unit 123 does not determine that the object is an obstacle in the case of FIG. 2 (c), the object is located closer to the unmanned moving device in the case of FIG. 3 (c) It is possible.

도 5는 본 발명의 일실시예에 따른 오브젝트의 패턴을 설명하기 위한 도면이다.5 is a diagram for explaining a pattern of an object according to an embodiment of the present invention.

본 발명의 다른 실시예에 따르면, 장애물 결정부(123)는 오브젝트를 장애물로 결정하기 위해, 제2영상에 포함된 오브젝트의 패턴을 이용할 수 있다. 그리고 영상 처리부(121)는 제2영상에 포함된 오브젝트의 패턴을 생성하기 위해, 제2영상에서 제1영상을 차감한다.According to another embodiment of the present invention, the obstacle determining unit 123 may use the pattern of the object included in the second image to determine the object as an obstacle. The image processing unit 121 subtracts the first image from the second image to generate a pattern of the object included in the second image.

도 5를 참조하여 자세히 설명하면, 영상 처리부(121)는 제2영상(520)에서 제1영상(510)을 차감하여, 제3영상(530)을 획득할 수 있다. 제2영상(520)의 오브젝트(521)는 제1영상의 오브젝트(511)보다 크므로, 제3영상(531)에는 고리 형상과 같은 제2영상의 오브젝트의 패턴(531)이 형성된다. 제1 및 제2영상(510, 520)에서 오브젝트의 크기 외에 나머지 영역은 매우 유사하므로, 동일한 위치의 동일한 화소 값은 차감에 의해 제3영상(530)에서 0이 되고, 따라서 제3영상(531)에서 제2영상의 오브젝트의 패턴(531)외에 나머지 부분은 화소 값 0에 대응하는 검은색이 된다. 제1 및 제2영상(510, 520)에 포함된 구름의 경우, 오브젝트(511, 521)와 비교하여 무인 이동 장치로부터 매우 멀리 떨어져 있어서 크기 변화가 거의 없다.5, the image processing unit 121 may obtain the third image 530 by subtracting the first image 510 from the second image 520. Since the object 521 of the second image 520 is larger than the object 511 of the first image, a pattern 531 of a second image object such as a ring shape is formed on the third image 531. Since the remaining regions except for the size of the object in the first and second images 510 and 520 are very similar, the same pixel value at the same position is 0 in the third image 530 due to subtraction, , The rest of the object other than the pattern 531 of the object of the second image is black corresponding to the pixel value 0. [ In the case of the clouds included in the first and second images 510 and 520, there is little change in size because the clouds are far away from the unmanned mobile device as compared with the objects 511 and 521.

즉, 도 2(b)에서 설명된 바와 같이, 오브젝트가 무인 이동 장치와 충돌 가능성이 높은 상황의 경우, 제1 및 제2영상의 오브젝트는 오버랩되므로, 제2영상에서 제1영상을 차감할 경우, 고리 형상의 패턴이 형성될 수 있다. 따라서, 장애물 결정부(123)는 차감에 따른, 제2영상의 오브젝트의 패턴이 고리 형상인 경우, 오브젝트를 장애물로 결정할 수 있다.That is, as described in FIG. 2 (b), in the case where the object is highly likely to collide with the unmanned mobile device, the objects of the first and second images are overlapped. Therefore, when subtracting the first image from the second image , A ring-shaped pattern can be formed. Accordingly, the obstacle determining unit 123 can determine the object as an obstacle when the pattern of the object of the second image due to the subtraction is ring-shaped.

한편, 영상 처리부(121)는 제2영상의 오브젝트의 패턴을 보다 정확하게 검출하기 위해, 제1 및 제2영상에서 배경 영역을 제거한 후, 제2영상에서 제1영상을 차감할 수 있다. 즉, 영상 처리부(121)는 제1 및 제2영상(510, 520)에서 오브젝트(511, 521)만을 추출하여 차감함으로써, 제2영상의 오브젝트의 패턴을 생성할 수 있다. 영상 처리부(121)는 일실시예로서, 에지 검출 알고리즘을 이용하여 배경 영역을 제거하고 오브젝트를 추출할 수 있다.In order to more accurately detect the pattern of the object of the second image, the image processing unit 121 may subtract the first image from the second image after removing the background region from the first and second images. That is, the image processing unit 121 can extract the objects 511 and 521 from the first and second images 510 and 520 and subtract them, thereby generating a pattern of the object of the second image. In one embodiment, the image processing unit 121 may remove the background area and extract an object using an edge detection algorithm.

도 6은 본 발명의 일실시예에 따른 장애물 검출 방법을 설명하기 위한 도면이다.6 is a view for explaining an obstacle detection method according to an embodiment of the present invention.

본 발명에 따른 장애물 검출 방법은 무인 이동 장치 또는 장애물 검출 장치에서 수행될 수 있으며, 도 6에서는 무인 이동 장치의 장애물 검출 방법이 일실시예로서 설명된다.An obstacle detection method according to the present invention can be performed in an unmanned mobile device or an obstacle detection device, and in Fig. 6, an obstacle detection method of an unmanned mobile device will be described as an embodiment.

본 발명에 따른 무인 이동 장치는 제1영상을 촬영(S610)하고, 제1영상 촬영 후 제2영상을 촬영(S620)한다. 이 때, 제1 및 제2영상의 촬영 간격은 무인 이동 장치의 속도에 반비례할 수 있다.In the unmanned mobile device according to the present invention, the first image is captured (S610), the first image is captured, and the second image is captured (S620). At this time, the shooting interval of the first and second images may be inversely proportional to the speed of the unmanned mobile device.

그리고 무인 이동 장치는 제1 및 제2영상을 오버랩하여, 제1영상에 포함된 오브젝트와, 제2영상에 포함된 오브젝트가 오버랩되는 영역의 크기를 판단(S630)한다. 이 때, 무인 이동 장치는 제1영상에 포함된 오브젝트와, 제2영상에 포함된 오브젝트의 크기 변화를 판단하여, 무인 이동 장치와 오브젝트 사이의 거리를 계산할 수도 있다.Then, the unattended mobile terminal overlaps the first and second images and determines the size of an area where the object included in the first image overlaps with the object included in the second image (S630). At this time, the unmanned mobile device may calculate the distance between the unmanned mobile device and the object by determining the size change of the object included in the first image and the object included in the second image.

무인 이동 장치는 단계 S630의 판단 결과에 따라서, 오브젝트를 장애물로 결정하며, 일실시예로서, 제1영상에 포함된 오브젝트가, 제2영상에 포함된 오브젝트에 포함되는 경우, 오브젝트를 장애물로 결정할 수 있다. The unmanned mobile device determines the object as an obstacle according to the determination result in step S630. In one embodiment, when the object included in the first image is included in the object included in the second image, the unmanned mobile device determines the object as an obstacle .

또한 무인 이동 장치는 장애물로 결정된 오브젝트가 복수개인 경우, 오버랩되는 영역의 크기에 따라서 장애물에 대한 회피 우선 순위를 결정할 수 있다.Also, in the case where there are a plurality of objects determined as obstacles, the unmanned mobile device can determine the avoidance priority order for the obstacles according to the size of the overlapped area.

도 7은 본 발명의 다른 실시예에 따른 장애물 검출 방법을 설명하기 위한 도면이다.7 is a view for explaining an obstacle detection method according to another embodiment of the present invention.

본 발명에 따른 무인 이동 장치는 도 6과 같이, 제1영상을 촬영(S710)하고, 제1영상 촬영 후 제2영상을 촬영(S720)한다. 그리고 제2영상에서 제1영상을 차감(S730)한다. 이 때, 무인 이동 장치는 보다 정확한 제2영상의 오브젝트 패턴 생성을 위해, 제1 및 제2영상에서 배경 영역을 제거한 후, 제2영상에서 제1영상을 차감할 수 있다.As shown in FIG. 6, the unattended mobile device according to the present invention shoots a first image (S710), captures a first image, and captures a second image (S720). Then, the first image is subtracted from the second image (S730). At this time, the unmanned mobile device may subtract the first image from the second image after removing the background area from the first and second images to generate a more accurate object pattern of the second image.

무인 이동 장치는 단계 S730의 차감에 따른, 제2영상의 오브젝트의 패턴을 이용하여, 오브젝트를 장애물로 결정(S740)한다. 일실시예로서, 무인 이동 장치는 제2영상의 오브젝트의 패턴이 고리 형상인 경우, 오브젝트를 장애물로 결정할 수 있다.The unmanned mobile device determines the object as an obstacle by using the pattern of the object of the second image in accordance with the subtraction of step S730 (S740). In one embodiment, the unattended mobile device may determine the object as an obstacle if the pattern of the object of the second image is annular.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (11)

무인 이동 장치의 장애물 검출 방법에 있어서,
제1영상을 촬영하는 단계;
상기 제1영상 촬영 후 제2영상을 촬영하는 단계;
상기 제1 및 제2영상을 오버랩하여, 상기 제1영상에 포함된 오브젝트와, 상기 제2영상에 포함된 상기 오브젝트가 오버랩되는 영역의 크기를 판단하는 단계; 및
상기 판단 결과에 따라서, 상기 오브젝트를 장애물로 결정하는 단계
를 포함하는 장애물 검출 방법.
A method for detecting an obstacle in an unmanned mobile device,
Capturing a first image;
Capturing a second image after the first image capturing;
Determining a size of an area in which the object included in the first image overlaps with the object included in the second image by overlapping the first and second images; And
Determining the object as an obstacle according to the determination result,
≪ / RTI >
제 1항에 있어서,
상기 오브젝트를 장애물로 결정하는 단계는
상기 제1영상에 포함된 상기 오브젝트가, 상기 제2영상에 포함된 상기 오브젝트에 포함되는 경우, 상기 오브젝트를 장애물로 결정하는
장애물 검출 방법.
The method according to claim 1,
The step of determining the object as an obstacle comprises:
When the object included in the first image is included in the object included in the second image, the object is determined to be an obstacle
Obstacle detection method.
제 1항에 있어서,
상기 장애물로 결정된 오브젝트가 복수개인 경우, 상기 오버랩되는 영역의 크기에 따라서 장애물에 대한 회피 우선 순위를 결정하는 단계
를 포함하는 장애물 검출 방법.
The method according to claim 1,
Determining a avoidance priority order for an obstacle according to the size of the overlapped region when there are a plurality of objects determined as the obstacle
≪ / RTI >
제 1항에 있어서,
상기 제1영상에 포함된 상기 오브젝트와, 상기 제2영상에 포함된 상기 오브젝트의 크기 변화를 판단하는 단계; 및
상기 판단 결과에 따라, 상기 무인 이동 장치와 상기 오브젝트 사이의 거리를 계산하는 단계
를 더 포함하는 장애물 검출 방법.
The method according to claim 1,
Determining a size change of the object included in the first image and the object included in the second image; And
Calculating a distance between the unmanned mobile device and the object according to the determination result,
≪ / RTI >
제 1항에 있어서,
상기 제1 및 제2영상의 촬영 간격은
상기 무인 이동 장치의 속도에 반비례하는
장애물 검출 방법.
The method according to claim 1,
The shooting interval of the first and second images is
Inversely proportional to the speed of the unmanned mobile device
Obstacle detection method.
무인 이동 장치의 장애물 검출 방법에 있어서,
제1영상을 촬영하는 단계;
상기 제1영상 촬영 후 제2영상을 촬영하는 단계;
상기 제2영상에서 상기 제1영상을 차감하는 단계; 및
상기 차감에 따른, 상기 제2영상의 오브젝트의 패턴을 이용하여, 상기 오브젝트를 장애물로 결정하는 단계
를 포함하는 장애물 검출 방법.
A method for detecting an obstacle in an unmanned mobile device,
Capturing a first image;
Capturing a second image after the first image capturing;
Subtracting the first image from the second image; And
Determining the object as an obstacle using the pattern of the object of the second image according to the subtraction;
≪ / RTI >
제 6항에 있어서,
상기 오브젝트를 장애물로 결정하는 단계는
상기 오브젝트의 패턴이 고리 형상인 경우, 상기 오브젝트를 장애물로 결정하는
장애물 검출 방법.
The method according to claim 6,
The step of determining the object as an obstacle comprises:
When the pattern of the object is a ring shape, the object is determined as an obstacle
Obstacle detection method.
제 6항에 있어서,
상기 제2영상에서 제1영상을 차감하는 단계는
상기 제1 및 제2영상에서 배경 영역을 제거한 후, 상기 제2영상에서 제1영상을 차감하는
장애물 검출 방법.
The method according to claim 6,
The step of subtracting the first image from the second image
After removing the background area from the first and second images, subtracting the first image from the second image
Obstacle detection method.
제1영상을 촬영한 후 제2영상을 촬영하는 카메라;
상기 제1 제2영상을 오버랩하여, 상기 제1 및 제2영상에 포함된 오브젝트 사이의 관계를 분석하는 영상 처리부; 및
상기 분석 결과에 따라서, 상기 오브젝트를 장애물로 결정하는 장애물 결정부
를 포함하는 무인 이동 장치.
A camera for capturing a second image after capturing the first image;
An image processing unit for overlapping the first second image and analyzing a relationship between objects included in the first and second images; And
According to the analysis result, an obstacle determining unit
And an unmanned mobile device.
제 9항에 있어서,
상기 영상 처리부는
상기 제1 및 제2영상을 오버랩하여, 상기 제1영상에 포함된 오브젝트와, 상기 제2영상에 포함된 상기 오브젝트가 오버랩되는 영역의 크기를 판단하는
무인 이동 장치.
10. The method of claim 9,
The image processing unit
Overlapping the first and second images to determine a size of an area in which the object included in the first image overlaps with the object included in the second image
Unmanned mobile device.
제 9항에 있어서,
상기 영상 처리부는
제2영상에서 제1영상을 차감하여, 상기 제2영상의 오브젝트에 대한 패턴을 생성하는
무인 이동 장치.
10. The method of claim 9,
The image processing unit
Subtracts the first image from the second image, and generates a pattern for the object of the second image
Unmanned mobile device.
KR1020160031870A 2016-03-17 2016-03-17 Method and device for detecting obstacle of unmanned moving unit KR20170108262A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160031870A KR20170108262A (en) 2016-03-17 2016-03-17 Method and device for detecting obstacle of unmanned moving unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160031870A KR20170108262A (en) 2016-03-17 2016-03-17 Method and device for detecting obstacle of unmanned moving unit

Publications (1)

Publication Number Publication Date
KR20170108262A true KR20170108262A (en) 2017-09-27

Family

ID=60035963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160031870A KR20170108262A (en) 2016-03-17 2016-03-17 Method and device for detecting obstacle of unmanned moving unit

Country Status (1)

Country Link
KR (1) KR20170108262A (en)

Similar Documents

Publication Publication Date Title
US11587248B2 (en) Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same
US8787614B2 (en) System and method building a map
KR101776621B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
KR101072876B1 (en) Method and apparatus for estimating position in a mobile robot
US8805021B2 (en) Method and apparatus for estimating face position in 3 dimensions
JP2021509515A (en) Distance measurement methods, intelligent control methods and devices, electronic devices and storage media
WO2017158958A1 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method, and program
CN111753609B (en) Target identification method and device and camera
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
JP2017512991A (en) Target object detection method, detection apparatus, and robot
KR20150144730A (en) APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF
US10778902B2 (en) Sensor control device, object search system, object search method, and program
JP2017103688A5 (en)
US20200003898A1 (en) Information processing device, information processing method, and vehicle
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
US20130107065A1 (en) Inertial sensor aided stationary object detection in videos
US9734429B2 (en) Method, system and computer program product for detecting an obstacle with a camera
JP2016173795A (en) Image processing apparatus, image processing method, and program
JP7030451B2 (en) Image processing equipment
JP2009223504A (en) Vehicle detection device, method, and program
KR20160092289A (en) Method and apparatus for determining disparty
JP6577595B2 (en) Vehicle external recognition device
JP6651295B2 (en) Moving object control device, program and integrated circuit
KR20170108262A (en) Method and device for detecting obstacle of unmanned moving unit
JP2015201010A (en) Unpredictable motion determination device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right