KR20230030354A - 주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법 - Google Patents

주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법 Download PDF

Info

Publication number
KR20230030354A
KR20230030354A KR1020210112481A KR20210112481A KR20230030354A KR 20230030354 A KR20230030354 A KR 20230030354A KR 1020210112481 A KR1020210112481 A KR 1020210112481A KR 20210112481 A KR20210112481 A KR 20210112481A KR 20230030354 A KR20230030354 A KR 20230030354A
Authority
KR
South Korea
Prior art keywords
location
unit
sensor
feature
value
Prior art date
Application number
KR1020210112481A
Other languages
English (en)
Other versions
KR102558910B1 (ko
Inventor
이종득
엄태영
배기덕
박지현
최영호
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020210112481A priority Critical patent/KR102558910B1/ko
Publication of KR20230030354A publication Critical patent/KR20230030354A/ko
Application granted granted Critical
Publication of KR102558910B1 publication Critical patent/KR102558910B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/02Computing arrangements based on specific mathematical models using fuzzy logic

Abstract

측위 장치가 제공된다. 상기 측위 장치는 제1 센서로부터 물체의 위치 정보를 획득하는 센서부; 제2 센서로부터 상기 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 획득하는 환경부; 상기 주변 환경 정보를 이용하여 복수의 제1 센서 중에서 특정 제1 센서로부터 획득된 특정 위치 정보를 선택하는 선택부; 상기 복수의 제1 센서로부터 획득 가능한 위치 정보 중에서 상기 특정 위치 정보만을 이용하여 상기 물체의 위치를 결정하는 위치 측위부;를 포함할 수 있다.

Description

주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법{Apparatus and method for positioning a location by fusion of various types of reliable sensor data considering the surrounding environment}
본 발명은 위치를 측정하는 장치 및 방법에 관한 것이다.
자율 주행이 가능한 로봇이나 드론은 산업용을 비롯한 각 분야에서 점차 사용이 증가되고 있는 추세이다. 이러한 로봇과 드론의 자율 주행에서 가장 중요한 기술은 이동되는 로봇이나 드론의 현재 위치를 정확하게 측위하는 기술이다.
이와 같이 로봇이나 드론의 위치를 측위하기 위해, GPS(Global Positioning System) 위성으로부터 신호를 수신하여 현재 위치를 판단하기도 하고, 주행계(Odometer)와 관성항법장치(INS), 전자나침반 등을 사용하고 있으며, 이보다 정밀한 위치 파악을 위한 CDGPS(Carrier Differential Global Positioning System)를 사용하기도 한다.
그러나, GPS 위성 신호는 오차 범위가 크고(예: 약 5~10m 내외), 위성이 볼 수 없는 실내에서는 전혀 사용할 수 없으며 CDGPS는 가격이 비싸다는 문제점이 있었다.
이와 같은 문제점에 의해 다른 방식으로 위치 측위가 가능한 Rader/Laser, 무선랜, RFID의 연구 및 기술 개발이 지속적으로 이루어지고 있으나, 이러한 Rader/Laser, 무선랜, RFID는 실내에서의 위치 측위에 최적화되어 있는 기술로 실외에서는 사용되기 어려운 문제점이 있었다.
이러한 문제점에 의해 실내/실외에 상관없이 로봇이나 드론의 위치를 정확히 측위할 수 있는 연구 및 기술 개발이 요구되고 있다.
한국등록특허공보 제2075844호에는 약한 위치 인식이 가능한 센서를 다종으로 구성하여 강한 위치 인식이 가능한 측위 시스템이 나타나 있다.
한국등록특허공보 제2075844호
본 발명은 주변 환경에 따라 다종의 센서 데이터 중 최적의 센서 데이터를 선택하고 선택된 데이터로부터 추출된 비동기적 위치들을 혼합하는 측위 장치 및 방법을 제공하기 위한 것이다.
본 발명의 측위 장치는 제1 센서로부터 물체의 위치 정보를 획득하는 센서부; 제2 센서로부터 상기 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 획득하는 환경부; 상기 주변 환경 정보를 이용하여 복수의 제1 센서 중에서 특정 제1 센서로부터 획득된 특정 위치 정보를 선택하는 선택부; 상기 복수의 제1 센서로부터 획득 가능한 위치 정보 중에서 상기 특정 위치 정보만을 이용하여 상기 물체의 위치를 결정하는 위치 측위부;를 포함할 수 있다.
본 발명의 측위 방법은 물체의 위치 정보를 센싱하는 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 제2 센서로부터 획득하고, 복수의 상기 제1 센서 중에서 주변 환경 정보에 적합한 특정 제1 센서로부터 획득된 특정 위치 정보를 선택하는 선택 단계; 선택된 특정 위치 정보를 기반으로 하여 특징점을 추출하고, 특징점 기반의 매칭을 이용하여 제1 위치를 인식하는 제1 인식 단계; 모델 기반 매칭을 이용하여 제2 위치를 인식하는 제2 인식 단계; 퍼지 매핑을 이용하여 지도 상에서의 물체 위치를 추정하고, 복수의 특정 제1 센서로부터 입수된 복수의 비동기적 위치 정보를 하나의 위치 정보로 통합하는 추정 단계;를 포함할 수 있다.
상기 추정 단계에서 통합된 하나의 위치 정보는 오차 역전파를 통해 상기 제1 인식 단계 및 제2 인식 단계로 전달될 수 있다.
상기 제1 인식 단계는 상기 통합된 하나의 위치 정보와 이전의 제1 위치와의 제1 차이값을 산출하고, 상기 제1 차이값을 다음의 제1 위치의 보정에 적용할 수 있다.
상기 제2 인식 단계는 상기 통합된 하나의 위치 정보와 이전의 제2 위치와의 제2 차이값을 산출하고, 상기 제2 차이값을 다음의 제2 위치의 보정에 적용할 수 있다.
본 발명의 측위 장치는 선택부를 이용하여 주변 환경 변화에 강인할 수 있다.
본 발명에 따르면, 퍼지 매핑부에 대한 오차 역전파를 통해 피드백 제어와 흡사하게 물체의 위치가 정확하게 추종될 수 있다.
도 1은 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 2는 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 시스템의 전체적인 구성을 나타내는 블록도이다.
도 3은 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 방법의 순서도이다.
도 4는 특징값 검출 단계의 세부 순서도이다.
도 5는 퍼지 매핑 단계의 세부 순서도이다.
도 6은 물체 위치 측위 단계의 세부 순서도이다.
도 7은 물체 위치 측위 단계에 따라 물체의 위치가 측위되는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 측위 장치를 나타낸 개략도이다.
도 9는 측위 장치의 동작을 나타낸 개략도이다.
도 10은 본 발명의 측위 방법을 나타낸 흐름도이다.
도 11은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 시스템의 구성을 개략적으로 나타내는 블록도이며, 도 2는 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 시스템의 전체적인 구성을 나타내는 블록도이다.
도 1 및 도 2에 도시된 바와 같이, 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 시스템(10)(이하에서는, '위치 측위 시스템'이라 함)은 약한 위치 인식이 가능한 센서를 다종으로 구성하여 장애물 정보를 감지하며, 감지한 장애물 정보와 복수의 측위 정보로부터 특징값을 검출하고, 검출한 특징값에 가중치를 두어 보정한 후 혼합하여 이동되는 물체의 위치를 정확히 측위할 수 있는 강한 위치 인식이 수행 가능한 위치 측위 시스템을 제공하는 것이다.
이러한 일 실시예의 위치 측위 시스템(10)은 도 1 내지 도 2를 참조하여 구체적으로 살펴보면, 물체에 장착되며, 물체의 주변에 위치한 장애물 정보를 감지하기 위한 다종 센서가 구성되는 센서부(100)와, 물체의 위치를 측위하기 위한 복수의 측위 정보가 저장되는 다종 데이터베이스가 구성되는 데이터베이스부(300)와, 장애물 정보로부터 특징점을 추출하여 장애물을 인식하는 특징점 기반의 매칭 및 특징점과 복수의 측위 정보를 비교하여 일치되는 특징점을 가지는 장애물을 인식하는 모델 기반의 매칭을 수행하여 특징값을 검출하는 특징 검출부(200)와, 특징값에 가중치를 부여하여 특징값을 보정하며, 특징값에 가중치를 부여하여 특징값을 보정하며, 보정된 특징값을 통해 물체의 위치 영역값과 장애물 위치값을 계산하고, 퍼지 논리를 적용하여 물체 위치 영역과 장애물 위치가 반영될 초기맵을 생성하는 퍼지 매핑부(400) 및 물체 위치 영역과 장애물 위치가 반영된 맵으로부터 물체의 위치를 측위하는 위치 측위부(500)를 포함하여 구성된다.
첨언하여, '물체'라 함은 로봇, 드론, 차량, 비행기, 기차 등의 이동 가능한 모든 객체를 의미하며, 보다 자세하게는 드론 또는 로봇을 의미할 수 있다.
다종 센서는 서로 다른 방식으로 물체의 위치를 측정하는 서로 다른 종류의 센서를 포함할 수 있다. 일 예로, 센서부(100)에 구성된 다종 센서(110, 120, 130)는 도 2를 참조하여 구체적으로 살펴보면, 3D 라이더(110), 비전 센서(120), 초음파 센서(130), GPS(Global Positioning System), UWB(ultra wideband, 초광대역 무선기술) 등으로 구성된다. 다만, 센서부(100)는 3D 라이더(110), 비전 센서(120), 초음파 센서(130), GPS, UWB가 구성되는 것으로 한정하는 것이 아니며, 물체의 위치를 보다 정확히 측위하기 위해 다른 방식(광학식, 전파식, 음향식 등)으로 장애물 정보를 감지할 수 있는 다른 종류의 센서가 추가 구성되는 것이 바람직할 것이다.
센서부(100)에 구성되는 다종 센서 중 3D 라이더(110)는 레이저를 이용하여 객체를 감지하고 객체와의 거리를 계산하며, 주변환경을 3차원 입체 데이터로 감지하는 센서이다.
비전 센서(120)는 이미지센서라고 불리는 센서의 한 종류로서, 카메라로 영상을 촬영하여 영상평면에 형성되는 객체의 영상을 전기신호로 변환하는 센서이다.
초음파 센서(130)는 20Khz대 이상의 초음파 신호를 객체에 내보내고 객체로부터 반사되어 되돌아오는 시간을 측정하여 객체와의 거리를 측정하는 센서이다.
한편, 3D 라이더(110), 비전 센서(120) 및 초음파 센서(130)가 감지하는 객체라 함은, 장애물을 의미하며, 장애물이라 함은, 건물을 비롯하여 이동되는 물체가 이동되면서 충돌할 가능성이 있으며, 센서부(100)가 감지하는 주변의 구조물, 시설물 또는 또다른 이동 물체 등을 의미한다. 이에 따라, 3D 라이더(110), 비전 센서(120) 및 초음파 센서(130)는 장애물에 대한 장애물 정보를 감지하는 것으로 이해되는 것이 바람직할 것이다.
특징 검출부(200)는 도 2를 참조하여 구체적으로 살펴보면, 3D 라이더(110)가 감지한 장애물 정보를 통해 특징값을 검출하는 제1 특징 검출부(210), 비전 센서(120)가 감지한 장애물 정보를 통해 특징값을 검출하는 제2 특징 검출부(220) 및 초음파 센서(130)가 감지한 장애물 정보를 통해 특징값을 검출하는 제3 특징 검출부(230)를 포함하여 구성된다.
다만, 특징 검출부(200)는 제1 특징 검출부(210), 제2 특징 검출부(220) 및 제3 특징 검출부(230)가 구성되는 것으로 한정하는 것이 아니며, 센서부(100)에 3D 라이더(110), 비전 센서(120) 및 초음파 센서(130)와 다른 종류의 센서가 추가 구성되면, 추가 구성된 센서가 감지한 장애물 정보를 통해 특징값을 검출하도록 별도의 특징 검출부가 더 구성되는 것이 바람직할 것이다.
특징 검출부(200)에 구성된 특징 검출부 중 제1 특징 검출부(210)는 3D 라이더(110)가 감지한 장애물 정보로부터 특징점을 추출하여 장애물을 인식하는 특징점 기반의 매칭을 수행하게 된다. 여기서, 제1 특징 검출부(210)는 3D 라이더(110)가 포인트 클라우드(Point Cloud) 처리를 통해 생성한 객체의 표면에 측정된 점의 그룹으로부터 특징점을 추출할 수 있다.
제2 특징 검출부(220)는 비전 센서(120)가 감지한 장애물 정보로부터 특징점을 추출하여 장애물을 인식하는 특징점 기반의 매칭을 수행하게 된다. 여기서, 제2 특징 검출부(220)는 비전 센서(120)가 장애물의 영상을 변환한 전기신호로부터 특징점을 추출할 수 있다.
제3 특징 검출부(230)는 초음파 센서(130)가 감지한 장애물 정보로부터 특징점을 추출하여 장애물을 인식하는 특징점 기반의 매칭을 수행하게 된다. 여기서, 제3 특징 검출부(230)는 초음파 센서(130)가 측정한 장애물과의 거리로부터 특징점을 추출할 수 있다.
데이터베이스부(300)는 도 2를 참조하여 구체적으로 살펴보면, 제1 특징 검출부(210)가 모델 기반의 매칭을 수행하기 위해 필요한 측위 정보가 저장되는 3D 모델 데이터베이스(310), 제2 특징 검출부(220)가 모델 기반의 매칭을 수행하기 위해 필요한 측위 정보가 저장되는 신(장면) 모델 데이터베이스(320) 및 제3 특징 검출부(230)가 모델 기반의 매칭을 수행하기 위해 필요한 측위 정보가 저장되는 관계형 데이터베이스(330)를 포함하여 구성된다.
다만, 데이터베이스부(300)는 3D 모델 데이터베이스(310), 신모델 데이터베이스(320) 및 관계형 데이터베이스(330)가 구성되는 것으로 한정하는 것이 아니며, 센서부(100)에 다른 종류의 센서가 추가 구성되어 특징 검출부(200)에도 다른 특징 검출부가 추가 구성되면, 추가 구성된 특징 검출부가 모델 기반의 매칭을 수행하도록 별도의 데이터베이스가 더 구성되는 것이 바람직할 것이다.
데이터베이스부(300)에 구성된 데이터베이스 중 3D 모델 데이터베이스(310)는 장애물의 3차원 입체 데이터를 포함하는 측위 정보가 저장되는 데이터베이스를 의미한다.
이러한 3D 모델 데이터베이스(310)에 의해, 제1 특징 검출부(210)는 3D 라이더(110)를 통해 추출한 특징점과 3D 모델 데이터베이스(310)에 저장된 장애물의 3차원 입체 데이터를 비교하여 일치되는 장애물을 인식하는 모델 기반의 매칭을 수행하여 특징값을 검출할 수 있게 된다.
여기서, 제1 특징 검출부(210)가 검출하는 특징값은 3D 라이더(110)가 3차원 입체 데이터로 감지한 장애물 정보와 3D 모델 데이터베이스(310)에 3차원 입체 데이터로 저장된 장애물 정보에서 일치되는 점의 그룹(또는 집합)으로 이해되어야 할 것이다.
신모델 데이터베이스(320)는 장애물의 신 데이터를 포함하는 측위 정보가 저장되는 데이터베이스를 의미한다.
이러한 신(Scene) 모델 데이터베이스(320)에 의해, 제2 특징 검출부(220)는 비전 센서(120)를 통해 추출한 특징점과 신 모델 데이터베이스(320)의 신(Scene) 데이터를 비교하여 일치되는 장애물을 인식하는 모델 기반의 매칭을 수행하여 특징값을 검출할 수 있게 된다.
여기서, 제2 특징 검출부(220)가 검출하는 특징값은 비전 센서(120)가 이미지로 감지한 장애물 정보와 신 모델 데이터베이스(320)에 신 데이터로 저장된 장애물 정보에서 일치되는 이미지 또는 신(Scene, 장면)으로 이해되어야 할 것이다.
관계형 데이터베이스(330)는 초음파 센서(130)가 발생시킨 초음파를 통해 재구성할 장애물 데이터가 저장되는 데이터베이스를 의미한다.
이러한 관계형 데이터베이스(330)에 의해, 제3 특징 검출부(230)는 초음파 센서(130)를 통해 추출한 특징점과 관계형 데이터베이스(330)의 장애물 데이터를 비교하여 일치되는 장애물을 인식하는 모델 기반의 매칭을 수행하여 특징값을 검출할 수 있게 된다.
여기서, 제3 특징 검출부(230)가 검출하는 특징값은 초음파 센서(130)가 초음파를 통해 객체와의 거리가 계산된 데이터(예: 그래프, 표)를 포함하는 장애물 정보를 통해 관계형 데이터베이스(330)에서 재구성되는 장애물 데이터로 이해되어야 할 것이다.
퍼지 매핑부(400)는 자연 언어 등의 불분명한 상태, 모호한 상태를 참 혹은 거짓의 이진 논리에서 벗어난 다치성으로 표현하는 논리개념인 퍼지 논리(Fuzzy logic)가 적용되며, 이러한 퍼지 논리를 기반으로 퍼지 제어(Fuzzy control)를 수행하게 된다.
이러한 퍼지 매핑부(400)는 도 2를 참조하여 구체적으로 살펴보면, 제1, 2, 3 특징 검출부(210, 220, 230)에서 각각 검출한 특징값을 집합 연산하도록 프로그래밍되는 집합 연산부(410), 집합 연산된 특징값 간의 가중치를 산출하며, 산출된 가중치를 집합 연산된 특징값에 부여하여 집합 연산된 특징값을 보정하는 보정부(420), 보정된 특징값으로 물체 위치영역값과 장애물 위치값을 계산하는 위치 계산부(430), 물체 위치영역값과 장애물 위치값이 계산될 때 초기맵을 생성하는 맵 생성부(440) 및 퍼지 논리를 적용하도록 프로그래밍되는 퍼지 제어부(450)를 포함하여 구성된다.
집합 연산부(410)는 제1, 2, 3 특징 검출부(210, 220, 230)에서 각각 검출한 특징값을 계층 구조로 집합 연산한다.
더 나아가, 집합 연산부(410)는 퍼지 제어를 위한 퍼지집합을 수행하게 된다. 여기서, 퍼지집합이라 함은 특징값을 퍼지규칙(Fuzzy rule)에 따른 집합으로 정의하는 것을 의미한다.
보정부(420)는 집합 연산된 특징값 중 제1, 2, 3 특징 검출부(210, 220, 230)에서 상대적으로 많은 매칭 수행을 통해 검출된 특징값을 포함하는 집합 연산된 특징값으로부터 상대적으로 높은 가중치를 산출할 수 있다.
이러한 가중치를 산출하는 방식과 달리, 보정부(420)는 집합 연산된 특징값 중 제1, 2, 3 특징 검출부(210, 220, 230)에서 상대적으로 많은 특징점이 추출된 특징값을 포함하는 집합 연산된 특징값으로부터 상대적으로 높은 가중치를 산출할 수도 있다.
또한, 보정부(420)는 전술한 가중치 산출 방식을 병합하여 제1, 2, 3 특징 검출부(210, 220, 230)에서 상대적으로 많은 매칭 수행을 통해 검출되면서 상대적으로 많은 특징점이 추출된 특징값을 포함하는 집합 연산된 특징값으로부터 상대적으로 높은 가중치를 산출할 수도 있다.
그리고 보정부(420)는 산출한 가중치를 집합 연산된 특징값에 각각 부여하여 특징값이 보정되도록 하며, 이러한 보정부(420)를 통해 보정된 특징값은 집합 연산부(410)에 계층형으로 집합된다.
더 나아가, 보정부(420)는 퍼지 제어를 위한 퍼지화를 수행하게 된다. 여기서, 퍼지화라 함은 특징값을 퍼지규칙에 따른 소속함수를 가진 퍼지값으로 변환하는 것을 의미한다.
위치 계산부(430)는 퍼지 제어를 위한 역퍼지화를 수행하게 된다. 여기서, 역퍼지화라 함은 보정부(420)로부터 퍼지값으로 변환되는 보정된 특징값을 수치화하는 것을 의미한다. 여기서, 위치 계산부(430)가 특징값을 수치화하는 것은 소속함수를 가지는 퍼지값으로는 물체 위치영역값과 장애물 위치값을 계산할 수 없기 때문이다.
이와 같이, 위치 계산부(430)는 역퍼지화를 수행하여 보정된 특징값을 수치화하며, 수치화된 특징값으로부터 물체 위치영역 정보를 추출하여 물체 위치영역값을 계산한다. 여기서, 물체 위치영역값은 물체가 위치되는 지점을 포함하는 영역값이며, 수치화된 값을 의미한다.
또한, 위치 계산부(430)는 수치화된 특징값으로부터 장애물 위치 정보를 추출하여 장애물의 위치값을 계산한다. 여기서, 장애물 위치값은 장애물이 위치되는 지점을 포함하는 값이며, 수치화된 값을 의미한다.
맵 생성부(440)는 위치 계산부(430)에서 물체 위치영역값과 장애물 위치값이 계산될 때, 물체 위치영역값과 장애물 위치값에 따른 물체 위치영역과 장애물이 표시될 초기맵을 생성한다. 여기서, 초기맵이라 함은 어떠한 데이터도 입력되지 않은 상태의 맵으로 이해되는 것이 바람직할 것이다.
위치 측위부(500)는 도 2를 참조하여 구체적으로 살펴보면, 맵 생성부(440)로부터 생성된 초기맵에 위치 계산부(430)에서 계산된 물체 위치영역값에 따른 물체 위치영역과 장애물 위치값에 따른 장애물을 표시하는 표시부(510) 및 물체 위치영역 내에 표시된 장애물과 실제 물체 간의 거리를 계산하여 물체 위치영역 내에서 물체 위치지점을 측정하는 위치지점 측정부(520)를 포함하여 구성된다.
표시부(510)는 초기맵을 표시하기 위한 디스플레이로 구성될 수 있으며, 물체 위치의 측위를 위해 초기맵에 적어도 하나 이상의 물체 위치영역과 장애물을 표시하는 것이 바람직할 것이다.
그리고 표시부(510)는 물체 위치영역과 장애물만 표시하는 것이 아니라, 물체 위치영역과 장애물의 정보를 추가 표시할 수 있다.
위치지점 측정부(520)는 GPS, MEMs, Wi-fi, RFID, bluetooth, 지그비, 무선랜, Rader/Laser, LBS 중 적어도 하나를 통해 물체 위치영역 내에 표시된 장애물과 실제 물체 간의 거리를 계산하는 것이 바람직할 것이다. 그리고 위치지점 측정부(520)는 측정한 물체 위치지점이 맵에 표시되도록 한다.
도 3은 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 방법의 순서도이며, 도 4는 특징값 검출 단계의 세부 순서도이고, 도 5는 퍼지 매핑 단계의 세부 순서도이며, 도 6은 물체 위치 측위 단계의 세부 순서도이고, 도 7은 물체 위치 측위 단계에 따라 물체의 위치가 측위되는 과정을 설명하기 위한 도면이다.
이러한 다종 센서 기반의 위치 인식 결과들을 혼합한 위치 측위 방법은 도 3을 참조하여 구체적으로 살펴보면, 물체의 주변에 위치한 장애물 정보를 감지하는 단계(S10), 장애물 정보로부터 특징점을 추출하여 장애물을 인식하는 특징점 기반의 매칭 및 특징점과 저장된 복수의 측위 정보를 비교하여 일치되는 특징점을 가지는 장애물을 인식하는 모델 기반의 매칭을 수행하여 특징값을 검출하는 단계(S20), 특징값에 가중치를 부여하여 특징값을 보정하며, 보정된 특징값을 통해 물체의 위치영역값과 장애물 위치값을 계산하고, 퍼지 논리를 적용하여 물체 위치영역과 장애물 위치가 반영될 초기맵을 생성하는 퍼지 매핑 단계(S30) 및 물체 위치 영역과 장애물 위치가 반영된 맵으로부터 물체의 위치를 측위하는 단계(S40)를 포함한다.
먼저, 특징값 검출 단계(S20)는 도 4를 참조하여 구체적으로 살펴보면, 특징점 기반 매칭 단계(S21)와 모델 기반 매칭 단계(S22)로 이루어진다.
특징점 기반 매칭 단계(S21)는 추출한 특징점을 기반으로 장애물을 인식하는 단계이다.
모델 기반 매칭 단계(S22)는 추출한 특징점과 복수의 측위 정보를 비교하여 일치되는 특징점을 가지는 장애물을 인식하는 단계이다.
한편, 특징값 검출 단계(S20)는 특징점 기반 매칭 단계(S21)를 진행한 후에 모델 기반 매칭 단계(S22)를 진행하거나, 특징점 기반 매칭 단계(S21)와 모델 기반 매칭 단계(S22)를 동시에 진행하게 된다.
퍼지 매핑 단계(S30)는 도 5 및 도 7를 참조하여 구체적으로 살펴보면, 집합 연산 단계(S31), 가중치 산출 단계(S32), 가중치 부여 단계(S33), 보정 단계(S34), 위치 계산 단계(S35) 및 초기맵 생성 단계(S36)로 이루어지며, 퍼지 제어가 수행되는 단계이기도 하다.
집합 연산 단계(S31)는 특징값 검출 단계(S20)에서 검출된 특징값을 계층형으로 집합 연산하는 단계이며, 퍼지 매핑 단계(S30)에서 퍼지 제어를 위한 퍼지집합을 수행하는 단계이기도 하다.
가중치 산출 단계(S32)는 집합 연산 단계(S31)에서 집합 연산된 특징값에 가중치를 산출하는 단계이다. 여기서, 가중치는 전술한 위치 측위 시스템(10)의 구성요소인 보정부(420)를 통해 설명한 내용과 동일하므로 자세한 설명은 생략하도록 하겠다.
가중치 부여 단계(S33)는 가중치 산출 단계(S32)에서 산출한 가중치를 집합 연산된 특징값에 부여하는 단계이다.
보정 단계(S34)는 가중치 부여 단계(S33)에서 부여된 가중치에 따라 특징값을 보정하는 단계이다. 이때, 특징값이 보정됨에 따라 집합 연산 단계(S31)의 계층 집합구조는 변경될 수 있다.
한편, 전술한 가중치 산출 단계(S32), 가중치 부여 단계(S33), 보정 단계(34)는 퍼지 매핑 단계(S30)에서 퍼지 제어를 위한 퍼지화를 수행하는 단계이기도 하다.
위치 계산 단계(S35)는 보정 단계(S34)에서 보정된 특징값을 통해 물체 위치영역값과 장애물 위치값을 계산하는 단계로서, 구체적으로 살펴보면, 위치 계산 단계(S35)는 보정된 특징값에서 물체 위치영역 정보를 추출하여 물체 위치영역값을 계산하며, 보정된 특징값에서 장애물 위치 정보를 추출하여 장애물 위치값을 계산하는 단계이다. 이러한 위치 계산 단계(S35)는 퍼지 매핑 단계(S30)에서 퍼지 제어를 위한 역퍼지화를 수행하는 단계이기도 하다.
초기맵 생성 단계(S36)는 퍼지 논리를 적용하여 위치 계산 단계(S35)에서 계산된 물체 위치영역값에 따른 물체 위치영역(2)과 장애물 위치값에 따른 장애물 위치(3)가 반영될 초기맵(1)을 생성한다. 이러한 초기맵(1)은 어떠한 데이터도 입력되지 않은 상태의 맵을 의미한다.
물체 위치 측위 단계(S40)는 도 6 및 도 7을 참조하여 구체적으로 살펴보면, 초기맵 표시 단계(S41) 및 물체 위치지점 측정 단계(S42)로 이루어진다.
초기맵 표시 단계(S41)는 위치 계산 단계(S35)에서 계산된 물체 위치영역값에 따른 물체 위치영역(2)과 장애물 위치값에 따른 장애물(3)을 초기맵 생성 단계(S36)에서 생성된 초기맵(1)에 표시하는 단계이다. 이러한 초기맵 표시 단계(S41)에서는 물체의 위치를 측위 하기 위해 적어도 하나의 물체 위치영역(2)과 장애물(3)이 표시되는 것이 바람직할 것이다.
여기서, 물체 위치영역(2)이라 함은 초기맵(1)에 표시되는 물체 위치지점(4)를 포함하는 일정 영역을 의미하며, 장애물(3)은 실제 장애물 위치와 동일한 위치에 존재하는 객체를 의미한다.
물체 위치지점 측정 단계(S42)는 초기맵 표시 단계(S41)를 통해 초기맵(1)에 표시된 물체 위치영역(2)내의 장애물(3a, 3b, 3c)과 실제 물체 간의 거리를 계산하여 물체 위치영역(2)내에서 물체 위치지점(4)을 측정하는 단계이다. 이때, 장애물(3a, 3b, 3c)은 물체 위치영역(2)의 위치에 따라 개수가 달라질 수 있으며, 물체 위치지점(4)의 측정을 위해 적어도 하나인 것이 바람직할 것이다.
더 나아가, 물체 위치지점 측정 단계(S42)는 장애물(3a, 3b, 3c)와 실제 물체 간의 거리를 계산하기 위해 GPS, MEMs, Wi-fi, RFID, Bluetooth, 지그비, 무선랜, Rader/Laser, LBS 중 적어도 하나가 사용되는 단계이기도 하다.
도 8은 본 발명의 측위 장치를 나타낸 개략도이다. 도 9는 측위 장치의 동작을 나타낸 개략도이다.
도 8의 측위 장치는 도 1에 도시된 측위 시스템의 개량 기술을 포함할 수 있다.
본 발명의 측위 장치는 주변 환경에 따라 다종의 센서 데이터 중 최적의 센서 데이터를 선택하고 선택된 데이터로부터 추출된 비동기적 위치들을 혼합할 수 있다. 이를 달성하기 위해, 측위 장치는 센서부(100), 환경부(101), 선택부(103), 위치 측위부(500)를 포함할 수 있다.
앞서 설명된 바와 같이 센서부(100)는 서로 다른 종류의 복수의 제1 센서로부터 물체의 위치 정보를 획득할 수 있다. 제1 센서는 로봇, 드론 등과 같은 물체의 위치 정보를 측정하는 3D 라이더(110), 비전 센서(120), 초음파 센서(130), GPS(Global Positioning System), UWB(ultra-wideband, 초광대역 무선기술) 등을 포함할 수 있다.
환경부(101)는 제2 센서로부터 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 획득할 수 있다. 주변 환경 정보는 센서부(100) 주변의 각종 자연 환경, 장애물 환경 등을 포함할 수 있다.
선택부(103)는 주변 환경 정보를 이용하여 복수의 제1 센서 중에서 특정 제1 센서로부터 획득된 특정 위치 정보를 선택할 수 있다.
선택부(103)는 다양한 방식 중 하나로 특정 위치 정보를 선택할 수 있다.
일 예로, 센서부(100)는 일단 모든 제1 센서로부터 물체의 위치 정보를 획득하고, 선택부(103)에 전달할 수 있다. 선택부(103)는 환경부(101)로부터 주변 환경 정보를 입수할 수 있다. 선택부(103)는 주변 환경 정보를 이용하여, 제1 센서로부터 전달된 복수의 위치 정보 중에서 특정 위치 정보만을 선택하고 위치 측위부(500) 측으로 제공할 수 있다.
다른 예로, 선택부(103)는 환경부(101)로부터 입수된 주변 환경 정보를 분석할 수 있다. 선택부(103)는 주변 환경 정보의 분석을 통해 복수의 제1 센서 중에서 정상적으로 동작하는 특정 제1 센서를 선택하고, 선택 결과를 센서부(100)에 전달할 수 있다. 센서부(100)는 선택부(103)에 의해 선택된 특정 제1 센서의 위치 정보만을 입수하고, 위치 측위부(500) 측으로 제공할 수 있다.
위치 측위부(500)는 복수의 제1 센서로부터 획득 가능한 위치 정보 중에서 특정 위치 정보만을 이용하여 물체의 위치를 추정하거나 결정할 수 있다.
본 발명은 물체의 현재 위치를 정확하게 측정하기 위해, 복수 종류의 제1 센서로부터 획득된 위치 정보를 이용하여 물체의 현재 위치를 추정하거나 결정할 수 있다. 이때, 현재 위치의 정확도 개선을 위해 위치 파악의 소스가 되는 제1 센서의 센싱값은 정확도가 높을수록 좋다.
제1 센서에서 센싱된 위치 정보의 정확도는 주변 환경에 의해 달라질 수 있다.
예를 들어, 3D 라이더(110)의 경우, 레이저가 반사되는 반사체가 레이저의 난반사를 유발하거나 레이저를 흡수하는 경우 3D 라이더에서 측정된 위치 정보에는 심각한 오류가 포함될 수 있다.
비전 센서(120)의 경우, 안개, 비, 눈으로 인해 비전 센서의 시야가 가려지거나 흐려질 수 있으며, 이때 측정된 위치 정보의 정확도는 심각하게 저하될 수 있다.
초음파 센서, GPS, UWB 등의 경우 난반사, 흡수, 방해 파형, 전파 방해물 등으로 인해 신호 세기가 약화되고 이로 인해 위치 정보의 측정 정확도가 저하될 수 있다.
따라서, 선택부(103)는 물체의 현재 위치를 정확하게 추정하기 위해서 복수의 제1 센서 중에서 측정 정확도가 설정값을 만족하는 특정 제1 센서로부터 획득된 특정 위치 정보를 선택할 수 있다.
선택부(103)는 제2 센서를 이용해 주변 환경 정보를 획득할 수 있다. 제2 센서는 강우 센서, 조도 센서, GPS, 와이파이, 초음파 센서, 3D-Lidar 중 적어도 하나를 포함할 수 있다.
강우 센서는 비 또는 눈이 내리는 것을 감지하고, 강우량 또는 강설량을 파악할 수 있다. 강우 센서를 통해 비 또는 눈이 내리는 양이 단위 시간당 설정값보다 높으면 비전 센서의 정확도가 저하될 수 있다. 반면, 단위 시간당 강우량 또는 강설량이 설정값보다 낮으면 비전 센서의 정확도가 증가될 수 있다.
조도 센서는 비전 센서 주변의 밝기를 측정할 수 있다. 주변의 밝기가 낮은 경우 조도 센서에 의해 측정된 물체의 위치 정보에 대한 정확도가 저하될 수 있다.
따라서, 선택부(103)는 강우 센서를 통해 파악된 단위 시간당 강우량 또는 강설량이 설정값보다 낮으며, 조도 센서에서 측정된 주변 광량이 설정값 이상이면 비전 센서로부터 획득된 위치 정보를 선택하고 위치 측위부(500)에 제공할 수 있다.
선택부(103)는 제2 센서에 해당하는 GPS의 신호 세기가 설정값 이상인 경우에만, 제1 센서에 포함된 GPS로부터 획득된 위치 정보를 선택하고 위치 측위부(500)에 제공할 수 있다. 이 경우, 제1 센서에 해당하는 GPS와 제2 센서에 해당하는 GPS는 일체로 형성될 수 있다.
선택부(103)는 제2 센서에 해당하는 3D 라이더의 수신 신호 세기가 설정값 이상인 경우에만, 제1 센서에 포함된 3D 라이더로부터 획득된 위치 정보를 선택하고 위치 측위부(500)에 제공할 수 있다. 이 경우, 제1 센서에 해당하는 3D 라이더와 제2 센서에 해당하는 3D 라이더는 일체로 형성될 수 있다.
선택부(103)는 제2 센서에 해당하는 초음파 센서의 수신 신호 세기가 설정값 이상인 경우에만, 제1 센서에 포함된 초음파 센서로부터 획득된 위치 정보를 선택하고 위치 측위부(500)에 제공할 수 있다. 이 경우, 제1 센서에 해당하는 초음파 센서와 제2 센서에 해당하는 초음파 센서는 일체로 형성될 수 있다.
선택부(103)에 의해 선택된 특정 제1 센서로부터 획득된 특정 위치 정보는 특징 검출부(200)로 전달될 수 있다.
특징 검출부(200)는 추출부(203), 제1 매칭부(201), 제2 매칭부(202)를 포함할 수 있다.
추출부(203)는 제1 센서에서 감지한 장애물 정보로부터 특징점을 추출할 수 있다.
제1 매칭부(201)는 장애물을 인식하는 특징점 기반의 매칭을 수행할 수 있다.
제2 매칭부(202)는 제1 센서에서 감지한 장애물 정보로부터 추출한 특징점과 데이터베이스부(300)에 저장된 장애물의 3차원 입체 데이터, 신 데이터 등을 비교하여 일치되는 장애물을 인식하는 모델 기반의 매칭을 수행할 수 있다.
추출부(203), 제1 매칭부(201), 제2 매칭부(202)는 앞에서 설명된, 제1 특징 검출부(210), 제2 특징 검출부(220), 제3 특징 검출부(230)에 각각 마련될 수 있다.
제1 매칭부(201)에는 3D 라이더 기반 매칭부(201a), 비전 기반 매칭부(201b)가 마련될 수 있다.
제2 매칭부(202)에는 객체 모델 기반 매칭부(202a), 신 모델 기반 매칭부(202b)가 마련될 수 있다.
각 매칭부(201a, 202a, 201b, 202b)의 매칭 결과는 퍼지 매핑부(400)로 제공될 수 있다.
퍼지 매핑부(400)는 퍼지 논리를 기반으로 퍼지 제어를 수행할 수 있다.
퍼지 매핑부(400)는 계층 집계부(401), 위치 계산부(430), 맵 생성부(440)를 포함할 수 있다.
계층 집계부(401) 및 위치 계산부(430)는 각 매칭부에 1:1 대응되는 개수로 마련될 수 있다.
계층 집계부(401)는 앞에서 설명된 집합 연산부(410)를 포함할 수 있다. 추가적으로, 계층 집계부(401)는 보정부(420)를 더 포함할 수 있다.
집합 연산부(410)는 선택부(103)에서 선택된 특정 위치 정보로부터 검출된 특징값을 집합 연산할 수 있다.
보정부(420)는 집합 연산된 특징값 간의 가중치를 산출하며 산출된 가중치를 집합 연산된 특징값에 부여하여 집합 연산된 특징값을 보정할 수 있다.
위치 계산부(430)는 보정된 특징값으로 물체 위치영역값과 장애물 위치값을 계산할 수 있다.
맵 생성부(440)는 물체 위치영역값과 장애물 위치값이 계산될 때 초기맵을 생성할 수 있다.
맵 생성부(440)에서 생성된 초기맵, 또는 초기맵의 소스가 되는 물체 위치영역값, 장애물 위치값을 지도의 스케일에 맞춰 전처리하는 전처리부(501)가 마련될 수 있다.
위치 측위부(500)는 앞에서 설명된 표시부(510) 및 위치지점 측정부(520)를 포함할 수 있다. 위치 측위부(500)는 물체 위치영역 내에 표시된 장애물과 실제 물체 간의 거리를 계산하여 물체 위치영역 내에 물체 위치지점을 추정하거나 측정할 수 있다.
도 10은 본 발명의 측위 방법을 나타낸 흐름도이다.
도 10에 도시된 측위 방법은 도 8의 측위 장치에 의해 수행될 수 있다.
측위 방법은 선택 단계(S 910), 제1 인식 단계(S 920), 제2 인식 단계(S 930), 추정 단계(S 940)를 포함할 수 있다.
선택 단계(S 910)는 물체의 위치 정보를 센싱하는 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 제2 센서로부터 획득하고, 복수의 제1 센서 중에서 주변 환경 정보에 적합한 특정 제1 센서로부터 획득된 특정 위치 정보를 선택할 수 있다. 선택 단계(S 910)는 선택부(103)에 의해 수행될 수 있다.
'주변 환경 정보에 적합하다'는 것은 특정 제1 센서에 관련된 특정 주변 환경 정보가 설정값을 만족한다는 것을 의미할 수 있다. 일 예로, 비전 센서는 조도 센서와 관련될 수 있다. 이때, 조도 센서에서 측정된 광량이 설정값 이상이면, 비전 센서는 주변 환경 정보에 적합한 것으로 판단될 수 있다.
제1 인식 단계(S 920)는 선택된 특정 위치 정보를 기반으로 하여 특징점을 추출하고, 특징점 기반의 매칭을 이용하여 제1 위치를 인식할 수 있다. 제1 인식 단계(S 920)는 특징 검출부(200) 및 퍼지 매핑부(400)에 의해 수행될 수 있다.
제2 인식 단계(S 930)는 모델 기반 매칭을 이용하여 제2 위치를 인식할 수 있다. 제2 인식 단계(S 930)는 특징 검출부(200) 및 퍼지 매핑부(400)에 의해 수행될 수 있다.
추정 단계(S 940)는 퍼지 매핑을 이용하여 지도 상에서의 물체 위치를 추정하고, 복수의 특정 제1 센서로부터 입수된 복수의 비동기적 위치 정보를 하나의 위치 정보로 통합할 수 있다. 추정 단계(S 940)에서 통합된 하나의 위치 정보는 오차 역전파를 통해 제1 인식 단계(S 920) 및 제2 인식 단계(S 930)로 전달되고 이전의 위치 정보를 보정할 수 있다. 제1 인식 단계(S 920) 및 제2 인식 단계(S 930)는 이전 위치 정보를 보정하여 다음 위치를 계산할 수 있다. 이 모습은 통합된 하나의 위치 정보가 피드백되는 피드백 제어와 흡사할 수 있다.
제1 인식 단계(S 920)는 통합된 하나의 위치 정보와 이전의 제1 위치와의 제1 차이값을 산출하고, 제1 차이값을 다음의 제1 위치의 보정에 적용할 수 있다.
제2 인식 단계(S 930)는 통합된 하나의 위치 정보와 이전의 제2 위치와의 제2 차이값을 산출하고, 제2 차이값을 다음의 제2 위치의 보정에 적용할 수 있다.
추정 단계(S 940)는 퍼지 매핑부(400) 및 위치 측위부(500)에 의해 수행될 수 있다.
본 발명에 따르면, 다종의 센서들을 이용한 위치 인식 결과들을 혼합하여 로봇 및 드론의 현재 위치를 측정할 수 있다. 또한, 본 발명의 측위 장치 및 측위 방법은 주변 환경(주간/야간, 실내/실외, 날씨, 주변 장애요소 등)에 따라 가용 가능한 센서들을 선택하여 데이터를 획득하고 이로부터 위치 인식 결과들을 출력하여, 이를 신뢰도에 기반한 가중치를 가지고 비동기적으로 융합하는 강인한 위치 인식을 수행할 수 있다.
선택부(103)는 다종의 제2 센서를 통해 주변 환경을 인식하고, 환경 조건에 적합한 특정 제1 센서를 선택할 수 있다.
예를 들어, 선택부(103)는 조도 센서(Photoresistor sensor) 또는 RGB(red, green, blue) 카메라를 통해 파악된 주변의 밝기를 기반으로 하여 설정 밝기의 만족 여부에 따라 Night-vision camera 또는 RGB 카메라 등을 선택할 수 있다. 선택부(103)는 와이파이(Wi-fi) 신호의 세기, GPS에서 잡히는 위성의 개수 등을 통해 실내/실외 판단할 수 있다. 선택부(103)는 실외로 판단되면, GPS를 특정 제1 센서로 선택할 수 있다. 선택부(103)는 3D-LiDAR, 강우 센서(Rain sensor), 온습도 센서(temperature and humidity sensor), RGB 카메라 등을 통해 온도, 습도, 눈, 비 등의 날씨 판단하고, 비전 센서 등의 채택 여부를 결정할 수 있다. 선택부(103)는 비전 센서(Vision sensor), 3D-Lidar, 초음파 센서 등을 통한 주변 장애물(앞에서 설명된 객체) 등을 판단하여 센서의 위치 인식에 장애 요소가 되는 부분을 고려할 수 있다.
본 발명의 측위 장치는 선택된 제1 센서의 측정 데이터를 기반으로 다수의 비동기적 위치 인식 결과들을 혼합하여 통합된 하나의 위치로 측위할 수 있다. 이후 하나로 통합된 위치는 오차역전파(back propagation)를 이용하여 통합된 시점을 기준으로 갱신되는 시점의 위치를 예측하여 각각의 센서 기반 위치 계산부(430)의 위치를 갱신하는 용도로 이용될 수 있다.
도 11은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 11의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 측위 장치 등) 일 수 있다.
도 11의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1...초기맵
2...물체 위치영역
3...장애물
4...물체 위치지점
10...위치 측위 시스템
100...센서부
101...환경부
103...선택부
110...3D 라이더
120...비전 센서
130...초음파 센서
200...특징 검출부
201...제1 매칭부
202...제2 매칭부
203...추출부
210...제1 특징 검출부
220...제2 특징 검출부
230...제3 특징 검출부
300...데이터베이스부
310...3D 모델 데이터베이스
320...신 모델 데이터베이스
330...관계형 데이터베이스
400...퍼지 매핑부
401...계층 집계부
410...집합 연산부
420...보정부
430...위치 계산부
440...맵 생성부
450...퍼지 제어부
500...위치 측위부
501...전처리부
510...위치영역 표시부
520...위치지점 측정부

Claims (4)

  1. 제1 센서로부터 물체의 위치 정보를 획득하는 센서부;
    제2 센서로부터 상기 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 획득하는 환경부;
    상기 주변 환경 정보를 이용하여 복수의 제1 센서 중에서 특정 제1 센서로부터 획득된 특정 위치 정보를 선택하는 선택부;
    상기 복수의 제1 센서로부터 획득 가능한 위치 정보 중에서 상기 특정 위치 정보만을 이용하여 상기 물체의 위치를 결정하는 위치 측위부;
    를 포함하는 측위 장치.
  2. 제1항에 있어서,
    퍼지 논리를 기반으로 퍼지 제어를 수행하는 퍼지 매핑부가 마련되고,
    상기 퍼지 매핑부는 계층 집계부, 위치 계산부, 맵 생성부를 포함하며,
    상기 계층 집계부는 집합 연산부 및 보정부를 포함하고,
    상기 집합 연산부는 상기 선택부에서 선택된 상기 특정 위치 정보로부터 검출된 특징값을 집합 연산하며,
    상기 보정부는 집합 연산된 특징값 간의 가중치를 산출하며 산출된 가중치를 집합 연산된 특징값에 부여하여 집합 연산된 특징값을 보정하고,
    상기 위치 계산부는 보정된 특징값으로 물체 위치영역값과 장애물 위치값을 계산하며,
    상기 맵 생성부는 상기 물체 위치영역값과 상기 장애물 위치값이 계산될 때 초기맵을 생성하고,
    상기 물체 위치영역 내에 표시된 장애물과 실제 물체 간의 거리를 계산하여 물체 위치영역 내에서 물체 위치지점을 측정하는 위치 측위부가 마련된 측위 장치.
  3. 제2항에 있어서,
    상기 계층 집계부는 오차 역전파를 통해 상기 물체 위치지점을 상기 보정부 또는 상기 위치 계산부로 피드백하고,
    피드백된 상기 물체 위치지점은 상기 보정부의 가중치에 반영되거나, 상기 위치 계산부에서 계산되는 상기 물체 위치영역값과 상기 장애물 위치값의 산출에 반영되는 측위 장치.
  4. 측위 장치에 의해 수행되는 측위 방법에 있어서,
    물체의 위치 정보를 센싱하는 제1 센서의 센싱 정확도와 관련된 주변 환경 정보를 제2 센서로부터 획득하고, 복수의 상기 제1 센서 중에서 주변 환경 정보에 적합한 특정 제1 센서로부터 획득된 특정 위치 정보를 선택하는 선택 단계;
    선택된 특정 위치 정보를 기반으로 하여 특징점을 추출하고, 특징점 기반의 매칭을 이용하여 제1 위치를 인식하는 제1 인식 단계;
    모델 기반 매칭을 이용하여 제2 위치를 인식하는 제2 인식 단계;
    퍼지 매핑을 이용하여 지도 상에서의 물체 위치를 추정하고, 복수의 특정 제1 센서로부터 입수된 복수의 비동기적 위치 정보를 하나의 위치 정보로 통합하는 추정 단계;를 포함하고,
    상기 추정 단계에서 통합된 하나의 위치 정보는 오차 역전파를 통해 상기 제1 인식 단계 및 제2 인식 단계로 전달되고,
    상기 제1 인식 단계는 상기 통합된 하나의 위치 정보와 이전의 제1 위치와의 제1 차이값을 산출하고, 상기 제1 차이값을 다음의 제1 위치의 보정에 적용하고,
    상기 제2 인식 단계는 상기 통합된 하나의 위치 정보와 이전의 제2 위치와의 제2 차이값을 산출하고, 상기 제2 차이값을 다음의 제2 위치의 보정에 적용하는 측위 방법.
KR1020210112481A 2021-08-25 2021-08-25 주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법 KR102558910B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210112481A KR102558910B1 (ko) 2021-08-25 2021-08-25 주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112481A KR102558910B1 (ko) 2021-08-25 2021-08-25 주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230030354A true KR20230030354A (ko) 2023-03-06
KR102558910B1 KR102558910B1 (ko) 2023-07-21

Family

ID=85509664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112481A KR102558910B1 (ko) 2021-08-25 2021-08-25 주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102558910B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803195B1 (ko) * 2016-06-28 2017-11-30 경희대학교 산학협력단 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
KR20180007412A (ko) * 2016-07-13 2018-01-23 한국전자통신연구원 멀티센서 기반의 융합형 물체 감지 장치 및 방법
KR102075844B1 (ko) 2018-10-10 2020-02-10 한국로봇융합연구원 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
KR20200120402A (ko) * 2019-04-12 2020-10-21 에스케이텔레콤 주식회사 차량의 추정 위치 획득 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803195B1 (ko) * 2016-06-28 2017-11-30 경희대학교 산학협력단 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
KR20180007412A (ko) * 2016-07-13 2018-01-23 한국전자통신연구원 멀티센서 기반의 융합형 물체 감지 장치 및 방법
KR102075844B1 (ko) 2018-10-10 2020-02-10 한국로봇융합연구원 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
KR20200120402A (ko) * 2019-04-12 2020-10-21 에스케이텔레콤 주식회사 차량의 추정 위치 획득 장치 및 방법

Also Published As

Publication number Publication date
KR102558910B1 (ko) 2023-07-21

Similar Documents

Publication Publication Date Title
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
Stoyanov et al. Comparative evaluation of range sensor accuracy in indoor environments
Stoyanov et al. Comparative evaluation of range sensor accuracy for indoor mobile robotics and automated logistics applications
JP5181704B2 (ja) データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
CN110889808B (zh) 一种定位的方法、装置、设备及存储介质
Qu et al. Landmark based localization in urban environment
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
CN112930484A (zh) 定位系统、定位方法和存储介质
CN114080625A (zh) 绝对位姿确定方法、电子设备及可移动平台
CN112346453A (zh) 机器人自动回充方法、装置、机器人和存储介质
US20210018611A1 (en) Object detection system and method
US20210124960A1 (en) Object recognition method and object recognition device performing the same
Chen et al. Separated sonar localization system for indoor robot navigation
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
Vasquez et al. Sensor fusion for tour-guide robot localization
Khan et al. Investigation of widely used slam sensors using analytical hierarchy process
KR100581086B1 (ko) RFID Tag LED를 이용한 로봇 위치 측정 방법 및장치
US11561553B1 (en) System and method of providing a multi-modal localization for an object
CN112762929B (zh) 一种智能导航方法、装置和设备
KR102558910B1 (ko) 주변 환경을 고려한 신뢰도 높은 다종의 센서 데이터를 융합한 위치 측위 장치 및 방법
CN115053259A (zh) 基于来自深度传感器的数据的针对定位的单目相机激活
Alliez et al. Indoor localization and mapping: Towards tracking resilience through a multi-slam approach
WO2022083529A1 (zh) 一种数据处理方法及装置
US20230343228A1 (en) Information processing apparatus, information processing system, and information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant