KR20180066668A - 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법 - Google Patents

무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20180066668A
KR20180066668A KR1020160167769A KR20160167769A KR20180066668A KR 20180066668 A KR20180066668 A KR 20180066668A KR 1020160167769 A KR1020160167769 A KR 1020160167769A KR 20160167769 A KR20160167769 A KR 20160167769A KR 20180066668 A KR20180066668 A KR 20180066668A
Authority
KR
South Korea
Prior art keywords
obstacle
moving
distance
measured
unit
Prior art date
Application number
KR1020160167769A
Other languages
English (en)
Inventor
장종욱
김규현
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020160167769A priority Critical patent/KR20180066668A/ko
Publication of KR20180066668A publication Critical patent/KR20180066668A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S17/936—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G05D2201/0216—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 무인 이동체의 주행 환경 제작을 위한 맵핑 기술 및 영상 인식 기술을 모듈화하여 통합시키는 장치 및 방법을 제공하기 위한 것으로서, 레이저 센서 및 카메라를 모듈화하여 통합시킨 모듈부로 구성되며, 이때, 상기 모듈부는 드론, 로봇, 자동차를 포함하는 무인 이동체에 연결되어, 맵핑 기술 및 영상 인식 기술을 독립적으로 수행하여 무인 이동체의 주행 환경기술을 수행하는 것을 특징으로 한다.

Description

무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법{Apparatus and method constructing driving environment of unmanned vehicle}
본 발명은 드론, 로봇, 자동차 등의 무인 이동체에 관한 것으로, 특히 무인 이동체의 주행 환경 제작을 위한 맵핑 기술 및 영상 인식 기술을 모듈화하여 통합시키는 장치 및 방법에 관한 것이다.
물류산업시스템의 생산체제가 자동화, 무인화 되어감에 따라서 건물이나 공장 내에서 제품의 운반을 담당하는 AGV(Automated Guided Vehicles: 자율주행 무인차량)의 사용이 증가하고 있다. AGV는 임의의 작업 환경에 대해서 자율적인 판단 능력과 주행 능력이 요구된다. 이러한 특징으로 인해 AGV는 제한된 작업 영역이나 제한된 작업만 수행하게 되는 기존의 무인반송차량(Un-manned transfer vehicle)과는 달리 다양한 작업환경을 가지는 유연성을 가질 수 있게 된다. 이런 이유로 AGV는 사람의 접근이 어려운 유해환경 등에 이용될 수 있으며, 기존의 창고시스템에서 물자 운반을 무인화시키는 용도로 이용될 수 있다.
또한 최근에는 자동차뿐만 아니라 드론, 로봇 등의 지능화된 무인 이동체의 연구 개발이 활발히 이루어지지고 있음에 따라 주변 환경인식, 경로계획, 충돌회피, 위치인식 기술과 같은 요소기술 분야에 많은 연구가 이루어지고 있다.
이러한 무인 이동체는 목적지까지 자율 주행을 하기 위해 주변 환경의 지도 데이터가 필요하게 되며, 이러한 지도 데이터를 만드는 방식의 명칭은 맵핑 또는 SLAM(Simultaneous Localization and Mapping)이라 한다. 그리고 맵핑의 제작 방식은 현재 기술로써는 초음파 센서, 카메라, 레이저 센서들을 사용하여 제작하고 있다.
이를 위해, 메인이 되는 주 이동체의 프로세서 모듈에 상기 센서들(초음파 센서, 카메라, 레이저 센서)을 독립적을 연결하여, 메인이 되는 프로세서 모듈이 직접 맵핑 관련 계산 및 지도 데이터 생성 이동체의 움직임 계산들의 모든 연산을 처리하도록 구성되고 있다.
그러나 맵핑 제작 시 상기 센서들의 통일성이 없다보니, 센서에서 추출된 신호들의 호환성 문제를 해결하기 위한 별도의 변환 장치를 구성하여야 한다. 또한 각 센서들은 이동체의 메인 프로세서 모듈에 각각 독립적으로 추가됨에 따라, 구성되는 센서의 개수가 많아지게 되면, 각 센서들의 신호들을 포맷을 공통화시키 위한 결합 장치를 더 추가하여야 하는 문제점 있다.
그리고 맵핑 기술은 상단히 고난이도의 기술로서, 많은 연산 및 처리 시간이 소요되게 되는데, 이러한 연산 처리를 주 이동체의 메인 프로세서 모듈에서 함께 처리를 수행하게 됨에 따라, 메인 프로세서 모듈에 부하를 발생시키게 된다. 따라서 센서를 사용하여 맵핑된 지도 데이터의 형식은 2D, 3D 형식의 데이터가 생성되게 되는데, 3D 지도 데이터가 2D 지도 데이터보다 정밀하고 정확한 데이터를 제공하지만, 데이터의 대용량 문제로 인하여 현재 3D 데이터보다 2D 데이터를 제작하고 있는 추세에 있다.
등록특허공보 제10-1480992호 (등록일자 2015.01.05) 등록특허공보 제10-1505129호 (등록일자 2015.03.17)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 무인 이동체의 주행 환경 제작을 위한 맵핑 기술 및 영상 인식 기술을 모듈화하여 통합시키는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 맵핑 기술 및 영상 인식 기술을 모듈화하여 통합시켜 자동차, 로봇, 드론은 물론 선박 등의 어떤 이동체라도 적용이 가능하도록 하는 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 특징은 레이저 센서 및 카메라를 모듈화하여 통합시킨 모듈부로 구성되며, 이때, 상기 모듈부는 드론, 로봇, 자동차를 포함하는 무인 이동체에 연결되어, 맵핑 기술 및 영상 인식 기술을 독립적으로 수행하여 무인 이동체의 주행 환경기술을 수행하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 다른 특징은 360도 주변으로 지향성 레이저 광을 송신하여 피측정물로부터의 반사파를 수신하기까지의 시간을 측정하는 레이저 센서와, 주변의 영상을 촬영하는 카메라와, 상기 레이저 센서에서 측정된 송신 및 수신 시간을 기반으로 주변 360도에 위치하는 피측정물과의 거리를 측정하는 거리 처리부와, 상기 카메라에서 촬영된 영상을 분석하여 영상의 일그러짐이나 노이즈를 제거하여 보정처리를 거친 후 특징점 검출을 수행하여 특징 파라미터 혹은 특징 벡터를 산출하여 피측정물의 종류 및 피측정물의 위치 좌표 값을 설정하는 영상 처리부와, 상기 영상 처리부에서 설정된 피측정물의 종류 및 위치 좌표 값을 기준으로 무인 이동체의 주변 장애물을 인식하여 분류하는 장애물 분류부와, 상기 장애물 분류부에서 분류된 장애물을 거리 처리부에서 측정된 피측정물과 결합하여 분류된 장애물의 거리 값을 갖는 3차원 영상 데이터를 생성하는 매칭 처리부와, 무인 이동체의 위치 변화와 무관하게 상기 장애물의 거리 값이 변화되는 장애물을 분류하여 이동 장애물로 검출하는 이동 장애물 검출부와, 상기 이동 장애물 검출부에서 검출된 이동 장애물을 상기 생성된 3차원 영상 데이터에서 삭제하는 이동 장애물 삭제부와, 상기 이동 장애물 검출부에서 검출된 이동 장애물의 이동 및 이동 장애물과의 거리 값이 실시간으로 나타내는 3차원 영상을 표시하는 표시부와, 상기 이동 장애물 삭제부에서 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 맵핑 기술을 적용하여 지도를 제작하는 지도 제작부를 포함하여 구성되는데 있다.
바람직하게 상기 표시부는 표시되는 이동 장애물의 주변에 테두리 선을 표시하는 것을 특징으로 한다.
바람직하게 상기 테두리 선의 색상을 장애물 종류, 움직임 속도, 거리 중 적어도 하나에 따라 서로 다르게 설정하여 표시하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 무인 이동체의 주행 환경 제작 기술을 위한 방법의 특징은 (A) 레이저 센서를 통해 360도 주변의 피측정물을 감지하는 단계와, (B) 카메라에서 촬영된 영상을 분석하여 영상의 일그러짐이나 노이즈를 제거하여 보정처리를 거친 후 특징점 검출을 수행하여 특징 파라미터 혹은 특징 벡터를 산출하여 피측정물의 종류 및 피측정물의 위치 좌표 값을 설정하는 단계와, (C) 거리 처리부를 통해 레이저 센서에서 측정된 송신 및 수신 시간을 기반으로 주변 360도에 위치하는 피측정물과의 거리를 측정하는 단계와, (D) 장애물 분류부를 통해 설정된 피측정물의 종류 및 위치 좌표 값을 기준으로 무인 이동체의 주변 장애물을 인식하여 분류하는 단계와, (E) 매칭 처리부를 통해 상기 분류된 장애물을 거리 처리부에서 측정된 피측정물과 결합하여 분류된 장애물의 거리 값을 갖는 3차원 영상 데이터를 생성하는 단계와, (F) 이동 장애물 검출부에서 무인 이동체의 위치 변화와 무관하게 상기 장애물의 거리 값이 변화되는 장애물을 분류하여 이동 장애물로 검출하고, 상기 검출된 이동 장애물을 상기 생성된 3차원 영상 데이터에서 삭제하는 단계와, (G) 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 맵핑 기술을 적용하여 지도를 제작하는 단계와, (H) 이동 장애물 검출부를 통해 검출된 이동 장애물을 기반으로 표시부를 통해 이동 장애물의 이동 및 이동 장애물과의 거리 값이 실시간으로 나타내는 3차원 영상을 표시하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 (F) 단계는 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 주변 360도에 위치하는 피측정물과의 거리를 다시 측정하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게 상기 (H) 단계는 표시부에 표시되는 이동 장애물의 주변에 테두리 선을 표시하고, 상기 표시된 테두리 선의 색상을 장애물 종류, 움직임 속도, 거리 중 적어도 하나에 따라 서로 다르게 설정하여 표시하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법은 맵핑 기술 및 영상 인식 기술을 모듈화하여 통합시킴으로써, 맵핑 및 영상 인식 기술 등의 처리를 이동체의 프로세서 모듈과 별도로 서브 모듈을 통해 연산 처리가 가능하여 이동체의 프로세서 모듈의 처리속도가 빨라지고 고성능을 요구하지 않는 효과가 있다.
또한, 기존에 이동체와 독립적으로 설치되는 센서들을 하나로 모듈화하여 통합시킴으로 인해, 각 센서들의 추출 신호들을 공통화 시킬 수 있어 호환 및 포맷 변환을 위한 추가 장치가 필요 없어지고, 이에 따라 전체 시스템의 부피를 줄일 수 있어, 드론과 같은 작은 크기의 이동체에서도 3D 지도 데이터의 이용이 가능하여 정밀하고 정확한 고성능의 데이터를 제작할 수 있는 효과가 있다.
도 1 은 본 발명의 실시예에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 구성을 나타낸 구성도
도 2 는 본 발명의 실시예에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 구성을 나타낸 블록도
도 3 은 본 발명의 실시예에 따른 무인 이동체의 주행 환경 제작 기술을 위한 방법을 설명하기 위한 흐름도
도 4 는 도 3에서 표시부에서 표시되는 3차원 영상의 일 실시예를 나타낸 화면
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 구성을 나타낸 구성도이고, 도 2 는 본 발명의 실시예에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 구성을 나타낸 블록도이다.
도 1에서 도시하고 있는 것과 같이, 기존의 레이저 센서(10) 및 카메라(20)를 모듈화하여 통합시킨 모듈부(100)로 구성되며, 이렇게 구성된 모듈부(100)는 드론, 로봇, 자동차 등의 무인 이동체(미도시)에 연결되어, 맵핑 기술 및 영상 인식 기술을 독립적으로 수행하여 무인 이동체의 주행 환경 기술을 수행한다. 이때, 모듈부(100)는 이동체의 프로세서 모듈과 별도로 독립적으로 서브 모듈을 통해 맵핑 기술 및 영상 인식 기술을 위한 연산 처리를 각각 수행하게 된다.
상기 모듈부(100)는 도 2에서 도시하고 있는 것과 같이, 레이저 센서(101)와, 카메라(102)와, 거리 처리부(103)와, 영상 처리부(104)와, 장애물 분류부(105)와, 매칭 처리부(106)와, 이동 장애물 검출부(107)와, 이동 장애물 삭제부(108)와, 표시부(109)와, 지도 제작부(110)로 구성된다. 이처럼, 맵핑 및 영상 인식 처리를 이동체의 프로세서 모듈과 별도로 직접 처리함으로써, 각각의 처리속도를 증가시킬 수 있다. 이때, 레이저 센서(101)는 주변에 위치하는 피측정물과의 거리를 측정하기 위한 센서로서, 이에 한정되지 않으며, 초음파 센서, 적외선 센서 등과 같이 거리 측정이 가능한 센서는 모두 적용이 가능하다.
상기 모듈부(100)의 각 구성들을 보다 상세히 설명하면, 상기 레이저 센서(101)는 360도 주변으로 지향성 레이저 광을 송신하여 피측정물로부터의 반사파를 수신하기까지의 시간을 측정하며, 상기 카메라(102)는 주변의 영상을 촬영한다.
그리고 상기 거리 처리부(103)는 레이저 센서(101)에서 측정된 송신 및 수신 시간을 기반으로 주변 360도에 위치하는 피측정물과의 거리를 측정하며, 상기 영상 처리부(104)는 카메라(102)에서 촬영된 영상을 분석하여 영상의 일그러짐이나 노이즈를 제거하여 확대, 축소, 회전 등 보정처리를 거친 후 특징점 검출을 수행하여 특징 파라미터 혹은 특징 벡터를 산출하여 건물, 가로등, 차량, 자전거, 사람, 애완동물 등의 피측정물의 종류 및 피측정물의 위치 좌표 값을 설정한다.
상기 장애물 분류부(105)는 영상 처리부(104)에서 설정된 피측정물의 종류 및 위치 좌표 값을 기준으로 무인 이동체의 주변 장애물을 인식하여 분류하고, 상기 매칭 처리부(106)는 장애물 분류부(105)에서 분류된 장애물을 거리 처리부(103)에서 측정된 피측정물과 결합하여 분류된 장애물의 거리 값을 갖는 3차원 영상 데이터를 생성한다.
상기 이동 장애물 검출부(107)는 무인 이동체의 위치 변화(이동)와 무관하게 상기 장애물의 거리 값이 변화되는 장애물을 분류하여 이동 장애물로 검출하고, 상기 이동 장애물 삭제부(108)는 이동 장애물 검출부(107)에서 검출된 이동 장애물을 상기 생성된 3차원 영상 데이터에서 삭제한다.
상기 표시부(109)는 이동 장애물 검출부(107)에서 검출된 이동 장애물의 이동 및 이동 장애물과의 거리 값이 실시간으로 나타내는 3차원 영상을 표시한다. 이때, 상기 표시부(109)는 표시되는 이동 장애물의 주변에 테두리 선을 표시하여 이동 장애물의 인식률을 높이고, 특히 테두리 선의 색상을 장애물 종류, 움직임 속도, 거리 중 적어도 하나에 따라 서로 다르게 설정하여 표시함으로써, 이동 장애물의 위험률에 따른 인식률을 더욱 높일 수 있도록 한다.
그리고 상기 지도 제작부(110)는 이동 장애물 삭제부(108)에서 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 맵핑 기술을 적용하여 지도를 제작한다.
이와 같이 구성된 본 발명에 따른 무인 이동체의 주행 환경 제작 기술을 위한 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 또는 도 2와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 3 은 본 발명의 실시예에 따른 무인 이동체의 주행 환경 제작 기술을 위한 방법을 설명하기 위한 흐름도이다.
도 3을 참조하여 설명하면, 먼저 레이저 센서(101) 및 카메라(102)를 구동하여(S10), 360도 주변의 피측정물을 감지하고(S20), 또한 카메라(102)에서 촬영된 영상을 분석하여 영상의 일그러짐이나 노이즈를 제거하여 확대, 축소, 회전 등 보정처리를 거친 후 특징점 검출을 수행하여 특징 파라미터 혹은 특징 벡터를 산출하여 건물, 가로등, 차량, 자전거, 사람, 애완동물 등의 피측정물의 종류 및 피측정물의 위치 좌표 값을 설정한다(S30).
이어 거리 처리부(103)를 통해 레이저 센서(101)에서 측정된 송신 및 수신 시간을 기반으로 주변 360도에 위치하는 피측정물과의 거리를 측정한다(S40). 또한 장애물 분류부(105)를 통해 설정된 피측정물의 종류 및 위치 좌표 값을 기준으로 무인 이동체의 주변 장애물을 인식하여 분류한다(S50).
그리고 매칭 처리부(106)를 통해 상기 분류된 장애물을 거리 처리부(103)에서 측정된 피측정물과 결합하여 분류된 장애물의 거리 값을 갖는 3차원 영상 데이터를 생성한다(S60).
그러면, 이동 장애물 검출부(107)에서 무인 이동체의 위치 변화(이동)와 무관하게 상기 장애물의 거리 값이 변화되는 장애물을 분류하여 이동 장애물로 검출하고, 상기 검출된 이동 장애물을 상기 생성된 3차원 영상 데이터에서 삭제한다(S70). 이때, 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 주변 360도에 위치하는 피측정물과의 거리를 다시 측정한다.
그리고 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 맵핑 기술을 적용하여 지도를 제작한다(S90).
또한, 이동 장애물 검출부(107)를 통해 검출된 이동 장애물은 표시부(109)를 통해 이동 장애물의 이동 및 이동 장애물과의 거리 값이 실시간으로 나타내는 3차원 영상을 표시한다(S80). 이때, 상기 표시부(109)는 도 4에서 도시하고 있는 것과 같이, 표시되는 이동 장애물의 주변에 테두리 선을 표시하여 이동 장애물의 인식률을 높이고, 특히 테두리 선의 색상을 장애물 종류, 움직임 속도, 거리 중 적어도 하나에 따라 서로 다르게 설정하여 표시함으로써, 이동 장애물의 위험률에 따른 인식률을 더욱 높일 수 있도록 한다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (7)

  1. 레이저 센서 및 카메라를 모듈화하여 통합시킨 모듈부로 구성되며,
    이때, 상기 모듈부는 드론, 로봇, 자동차를 포함하는 무인 이동체에 연결되어, 맵핑 기술 및 영상 인식 기술을 독립적으로 수행하여 무인 이동체의 주행 환경기술을 수행하는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 장치.
  2. 360도 주변으로 지향성 레이저 광을 송신하여 피측정물로부터의 반사파를 수신하기까지의 시간을 측정하는 레이저 센서와,
    주변의 영상을 촬영하는 카메라와,
    상기 레이저 센서에서 측정된 송신 및 수신 시간을 기반으로 주변 360도에 위치하는 피측정물과의 거리를 측정하는 거리 처리부와,
    상기 카메라에서 촬영된 영상을 분석하여 영상의 일그러짐이나 노이즈를 제거하여 보정처리를 거친 후 특징점 검출을 수행하여 특징 파라미터 혹은 특징 벡터를 산출하여 피측정물의 종류 및 피측정물의 위치 좌표 값을 설정하는 영상 처리부와,
    상기 영상 처리부에서 설정된 피측정물의 종류 및 위치 좌표 값을 기준으로 무인 이동체의 주변 장애물을 인식하여 분류하는 장애물 분류부와,
    상기 장애물 분류부에서 분류된 장애물을 거리 처리부에서 측정된 피측정물과 결합하여 분류된 장애물의 거리 값을 갖는 3차원 영상 데이터를 생성하는 매칭 처리부와,
    무인 이동체의 위치 변화와 무관하게 상기 장애물의 거리 값이 변화되는 장애물을 분류하여 이동 장애물로 검출하는 이동 장애물 검출부와,
    상기 이동 장애물 검출부에서 검출된 이동 장애물을 상기 생성된 3차원 영상 데이터에서 삭제하는 이동 장애물 삭제부와,
    상기 이동 장애물 검출부에서 검출된 이동 장애물의 이동 및 이동 장애물과의 거리 값이 실시간으로 나타내는 3차원 영상을 표시하는 표시부와,
    상기 이동 장애물 삭제부에서 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 맵핑 기술을 적용하여 지도를 제작하는 지도 제작부를 포함하여 구성되는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 장치.
  3. 제 2 항에 있어서,
    상기 표시부는 표시되는 이동 장애물의 주변에 테두리 선을 표시하는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 장치.
  4. 제 3 항에 있어서,
    상기 테두리 선의 색상을 장애물 종류, 움직임 속도, 거리 중 적어도 하나에 따라 서로 다르게 설정하여 표시하는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 장치.
  5. (A) 레이저 센서를 통해 360도 주변의 피측정물을 감지하는 단계와,
    (B) 카메라에서 촬영된 영상을 분석하여 영상의 일그러짐이나 노이즈를 제거하여 보정처리를 거친 후 특징점 검출을 수행하여 특징 파라미터 혹은 특징 벡터를 산출하여 피측정물의 종류 및 피측정물의 위치 좌표 값을 설정하는 단계와,
    (C) 거리 처리부를 통해 레이저 센서에서 측정된 송신 및 수신 시간을 기반으로 주변 360도에 위치하는 피측정물과의 거리를 측정하는 단계와,
    (D) 장애물 분류부를 통해 설정된 피측정물의 종류 및 위치 좌표 값을 기준으로 무인 이동체의 주변 장애물을 인식하여 분류하는 단계와,
    (E) 매칭 처리부를 통해 상기 분류된 장애물을 거리 처리부에서 측정된 피측정물과 결합하여 분류된 장애물의 거리 값을 갖는 3차원 영상 데이터를 생성하는 단계와,
    (F) 이동 장애물 검출부에서 무인 이동체의 위치 변화와 무관하게 상기 장애물의 거리 값이 변화되는 장애물을 분류하여 이동 장애물로 검출하고, 상기 검출된 이동 장애물을 상기 생성된 3차원 영상 데이터에서 삭제하는 단계와,
    (G) 이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 맵핑 기술을 적용하여 지도를 제작하는 단계와,
    (H) 이동 장애물 검출부를 통해 검출된 이동 장애물을 기반으로 표시부를 통해 이동 장애물의 이동 및 이동 장애물과의 거리 값이 실시간으로 나타내는 3차원 영상을 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 방법.
  6. 제 5 항에 있어서, 상기 (F) 단계는
    이동 장애물이 삭제된 3차원 영상 데이터를 이용하여 주변 360도에 위치하는 피측정물과의 거리를 다시 측정하는 단계를 더 포함하는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 방법.
  7. 제 5 항에 있어서, 상기 (H) 단계는
    표시부에 표시되는 이동 장애물의 주변에 테두리 선을 표시하고,
    상기 표시된 테두리 선의 색상을 장애물 종류, 움직임 속도, 거리 중 적어도 하나에 따라 서로 다르게 설정하여 표시하는 것을 특징으로 하는 무인 이동체의 주행 환경 제작 기술을 위한 방법.
KR1020160167769A 2016-12-09 2016-12-09 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법 KR20180066668A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167769A KR20180066668A (ko) 2016-12-09 2016-12-09 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167769A KR20180066668A (ko) 2016-12-09 2016-12-09 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180066668A true KR20180066668A (ko) 2018-06-19

Family

ID=62790337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167769A KR20180066668A (ko) 2016-12-09 2016-12-09 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180066668A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN113093759A (zh) * 2021-04-08 2021-07-09 中国科学技术大学 基于多传感器信息融合的机器人编队构造方法及系统
WO2024048992A1 (ko) * 2022-08-31 2024-03-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210486A (ja) * 2009-03-11 2010-09-24 Omron Corp 画像処理装置および方法、並びに、プログラム
KR20130068249A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 이동체의 위치 추정 장치 및 방법
KR20140123270A (ko) * 2013-04-12 2014-10-22 메타빌드주식회사 레이더 장치 및 영상 맵핑을 이용한 물체 감지 장치, 방법 및 시스템
KR20150020900A (ko) * 2013-08-19 2015-02-27 부경대학교 산학협력단 레이저 스캐너를 이용한 위치인식 및 맵핑 시스템을 이용한 위치인식 방법
KR20150091779A (ko) * 2014-02-04 2015-08-12 한국전자통신연구원 다중 센서를 이용한 영상 처리 시스템
KR20160066854A (ko) * 2014-12-03 2016-06-13 한국건설기술연구원 자율주행 차량의 기상관측 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210486A (ja) * 2009-03-11 2010-09-24 Omron Corp 画像処理装置および方法、並びに、プログラム
KR20130068249A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 이동체의 위치 추정 장치 및 방법
KR20140123270A (ko) * 2013-04-12 2014-10-22 메타빌드주식회사 레이더 장치 및 영상 맵핑을 이용한 물체 감지 장치, 방법 및 시스템
KR101480992B1 (ko) 2013-04-12 2015-01-14 메타빌드주식회사 레이더 장치 및 영상 맵핑을 이용한 물체 감지 장치, 방법 및 시스템
KR20150020900A (ko) * 2013-08-19 2015-02-27 부경대학교 산학협력단 레이저 스캐너를 이용한 위치인식 및 맵핑 시스템을 이용한 위치인식 방법
KR101505129B1 (ko) 2013-08-19 2015-03-23 부경대학교 산학협력단 레이저 스캐너를 이용한 위치인식 및 맵핑 시스템을 이용한 위치인식 방법
KR20150091779A (ko) * 2014-02-04 2015-08-12 한국전자통신연구원 다중 센서를 이용한 영상 처리 시스템
KR20160066854A (ko) * 2014-12-03 2016-06-13 한국건설기술연구원 자율주행 차량의 기상관측 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN113093759A (zh) * 2021-04-08 2021-07-09 中国科学技术大学 基于多传感器信息融合的机器人编队构造方法及系统
WO2024048992A1 (ko) * 2022-08-31 2024-03-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
Mustafah et al. Indoor UAV positioning using stereo vision sensor
KR101539270B1 (ko) 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
US11525923B2 (en) Real-time three-dimensional map building method and device using three-dimensional lidar
Balta et al. Terrain traversability analysis for off-road robots using time-of-flight 3d sensing
Khan et al. Stereovision-based real-time obstacle detection scheme for unmanned ground vehicle with steering wheel drive mechanism
KR20180066668A (ko) 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법
Indri et al. Sensor data fusion for smart AMRs in human-shared industrial workspaces
Trejo et al. Depth map estimation methodology for detecting free-obstacle navigation areas
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
Valente et al. Evidential SLAM fusing 2D laser scanner and stereo camera
CN111595328B (zh) 基于深度相机的真实障碍物地图构建和导航方法及系统
Hoang et al. Combining edge and one-point ransac algorithm to estimate visual odometry
Lee et al. A study for AGV steering control and identification using vision system
Spampinato et al. An embedded stereo vision module for 6D pose estimation and mapping
Youssefi et al. Visual and light detection and ranging-based simultaneous localization and mapping for self-driving cars
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
Noaman et al. Landmarks exploration algorithm for mobile robot indoor localization using VISION sensor
Azri et al. Visual analytics of 3D LiDAR point clouds in robotics operating systems
US20230168688A1 (en) Sequential mapping and localization (smal) for navigation
CN112639864B (zh) 用于测距的方法和装置
Cucchiara et al. Efficient Stereo Vision for Obstacle Detection and AGV Navigation.
Sun et al. Detection and state estimation of moving objects on a moving base for indoor navigation
Somlyai et al. Map building with rgb-d camera for mobil robot
Shu et al. An imu/sonar-based extended kalman filter for mini-uav localization in indoor environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment