KR20110116609A - 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법 - Google Patents

그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법 Download PDF

Info

Publication number
KR20110116609A
KR20110116609A KR1020100036122A KR20100036122A KR20110116609A KR 20110116609 A KR20110116609 A KR 20110116609A KR 1020100036122 A KR1020100036122 A KR 1020100036122A KR 20100036122 A KR20100036122 A KR 20100036122A KR 20110116609 A KR20110116609 A KR 20110116609A
Authority
KR
South Korea
Prior art keywords
image
feature point
camera
threads
sigma
Prior art date
Application number
KR1020100036122A
Other languages
English (en)
Other versions
KR101206213B1 (ko
Inventor
김진걸
김기태
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020100036122A priority Critical patent/KR101206213B1/ko
Publication of KR20110116609A publication Critical patent/KR20110116609A/ko
Application granted granted Critical
Publication of KR101206213B1 publication Critical patent/KR101206213B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera

Abstract

그래픽 가속기를 사용한 고속 SLAM 시스템 및 방법이 개시된다. 그래픽 가속기 기반 고속 SLAM 시스템은 그래픽 가속기(GPU: Graphics Processing Unit)를 포함하고, 상기 그래픽 가속기가 카메라에서 입력된 입력 영상의 스케일을 변환하여 복수의 피라미드 영상을 생성하며, 상기 그래픽 가속기가 상기 복수의 피라미드 영상 각각에 대하여 가우시안 커널을 적용하여 각각의 서브 이미지들의 차영상을 계산하고, 상기 그래픽 가속기가 상기 서브 이미지들의 차 영상에서 이미지 키를 추출하고, 상기 이미지 키의 안정성을 검증하여 특징점을 추출하며, 중앙 연산 처리 장치가 상기 특징점을 사용하여 특징점을 가진 오브젝트인 랜드마크를 식별하는 특징점 추출부; 및 상기 카메라가 장착된 로봇과 상기 랜드마크의 위치를 추정하여 상기 카메라가 장착된 로봇의 위치를 인식하고 지도를 작성하는 지도 작성부를 포함한다.

Description

그래픽 가속기 기반 고속 ＳＬＡＭ 시스템 및 방법{HIGH SPEED SLAM SYSTEM AND METHOD BASED ON GRAPHIC PROCESSING UNIT}
본 발명의 일실시예들은 그래픽 가속기를 사용하여 SIFT 알고리즘과 UKF SLAM 알고리즘의 처리 속도를 증가시킨 고속 SLAM 방법 및 시스템에 대한 것이다.
최근 하드웨어의 발전과 더불어 서비스 로봇에 대한 수요와 기대가 증가하고 있다.
이러한 서비스 로봇들이 이동 중에 자신의 위치를 인식할 수 있는 방법으로는 초음파 센서, 레이저 스캐너, 관성 센서, 영상 센서를 사용하는 방법이 있다.
이 중 영상 센서는 높은 반도체 집적도와 가격 경쟁력 측면에서 타 센서보다 우위에 있으며 정보 취득량이 가장 많은 센서이다.
그러나 영상센서를 이용하여 특징을 추출하고, 추출된 정보를 바탕으로 위치인식 알고리즘을 수행하는 과정은 연산량에 대한 부담이 매우 크기 때문에 실시간성이 보장되지 않는 실정이다.
또한, 로봇이 자신의 위치를 확인하기 위하여 생성하는 지도를 구역별로 분할하여 생성함으로써 지도 생성에 필요한 정보의 계산량를 감소시켜 속도를 향상하는 방법이 있으나, 이 경우에는 분할된 지도간의 연속성을 보장하기 어렵다는 문제점이 있었다.
따라서, 영상 센서에서 수집되는 이미지로부터 특징을 추출하는 알고리즘과, 추출된 정보를 바탕으로 위치인식 알고리즘을 빠르게 수행할 수 있는 방법이나 시스템이 필요한 실정이다.
본 발명의 일실시예들은 그래픽 가속기를 사용하여 SIFT 알고리즘에서 영상 피라미드 생성과정과 서브 이미지의 차영상을 생성하는 과정을 각 스케일의 피라미드 영상 별로 병렬 실행함으로써 SIFT 알고리즘의 처리 속도를 향상시킬 수 있는 그래픽 가속기 기반 고속 SLAM 시스템 및 방법을 제공한다.
또한, 본 발명의 일실시예들은 그래픽 가속기를 사용하여 UKF SLAM 알고리즘에서 시그마 포인트 개수에 따른 복수의 스레드를 생성하고, 복수의 스레드가 각기 하나씩의 시그마 포인트를 생성하고, 비선형 방정식을 적용하며, 기대 값과 분산을 계산함으로써 UKF SLAM 알고리즘의 처리 속도를 향상시킬 수 있는 그래픽 가속기 기반 고속 SLAM 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 그래픽 가속기 기반 고속 SLAM 시스템은 다중 프로세서의 파이프 라인 구조를 가진 그래픽 가속기(GPU: Graphics Processing Unit)를 포함하고, 상기 그래픽 가속기가 카메라에서 입력된 입력 영상의 스케일을 변환하여 복수의 피라미드 영상을 생성하며, 상기 그래픽 가속기가 상기 복수의 피라미드 영상 각각에 대하여 가우시안 커널을 적용하여 각각의 서브 이미지들의 차영상을 계산하고, 상기 그래픽 가속기가 상기 서브 이미지들의 차 영상에서 이미지 키를 추출하고, 상기 이미지 키의 안정성을 검증하여 특징점을 추출하며, 중앙 연산 처리 장치가 상기 특징점을 사용하여 특징점을 가진 오브젝트인 랜드마크를 식별하는 특징점 추출부; 및 상기 카메라가 장착된 로봇과 상기 랜드마크의 위치를 추정하여 상기 카메라가 장착된 로봇의 위치를 인식하고 지도를 작성하는 지도 작성부를 포함한다.
본 발명의 일실시예에 따른 지도 작성부는, 상기 그래픽 가속기를 포함하고, 상기 특징점 추출부가 식별한 랜드마크의 개수에 따라 표본 추출 포인트인 시그마 포인트들의 개수를 설정하며, 상기 그래픽 가속기가 상기 시그마 포인트들의 개수에 따라 복수의 스레드를 생성하고, 상기 복수의 스레드가 특징점 정보를 기초로 각기 다른 복수의 시그마 포인트를 생성하며, 상기 복수의 스레드가 각각의 시그마 포인트에 비선형 방정식을 적용하며, 상기 복수의 스레드가 각각의 시그마 포인트에 비선형 방정식을 적용한 값의 기대 값과 분산을 계산하여 상기 카메라가 장착된 로봇과 상기 랜드마크의 위치를 추정할 수 있다.
본 발명의 일실시예들은 그래픽 가속기를 사용하여 SIFT 알고리즘에서 영상 피라미드 생성과정과 서브 이미지의 차영상을 생성하는 과정을 각 스케일의 피라미드 영상 별로 병렬 실행함으로써 SIFT 알고리즘의 처리 속도를 향상시킬 수 있다.
또한, 본 발명의 일실시예들은 그래픽 가속기를 사용하여 UKF SLAM 알고리즘에서 시그마 포인트 개수에 따른 복수의 스레드를 생성하고, 복수의 스레드가 각기 하나씩의 시그마 포인트를 생성하고, 비선형 방정식을 적용하며, 기대 값과 분산을 계산함으로써 UKF SLAM 알고리즘의 처리 속도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 그래픽 가속기 기반 고속 SLAM 시스템의 개괄적인 모습을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 특징점 추출부의 상세 구성도이다.
도 3은 본 발명의 일실시예에 따른 지도 작성부의 상세 구성도이다.
도 4는 본 발명의 일실시예에 따른 SIFT 알고리즘에 대한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 SLAM 알고리즘에 대한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 발명의 일실시예에 따른 그래픽 가속기 기반 고속 SLAM 시스템은 다중 프로세서의 파이프 라인 구조를 가진 그래픽 가속기(GPU: Graphics Processing Unit)를 사용하여 SIFT 알고리즘과 UKF SLAM 알고리즘을 병렬로 실행함으로써, SIFT 알고리즘과 UKF SLAM 알고리즘의 처리 속도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 그래픽 가속기 기반 고속 SLAM 시스템의 개괄적인 모습을 도시한 도면이다.
본 발명의 일실시예에 따른 그래픽 가속기 기반 고속 SLAM 시스템은 도 1에 도시된 바와 같이 특징점 추출부(120)와 지도 작성부(130)로 구성될 수 있다.
특징점 추출부(110)는 CPU(210)와 GPU(220)를 포함하며, SIFT(Scale Invariant Feature Transform) 알고리즘을 실행하여 카메라(110)에서 입력된 영상에서 특징점을 추출한다. 이때, 특징점은 영상의 국소적인 명암 정보를 사용하여 돌출되어 보이거나 두드러지게 보이는 지점들을 추출한 점들이다. 이때, 특징점은 조명, 크기, 시점의 변화나 평행이동한 경우에도 변하지 않는 특성을 가지고 있으며 노이즈에도 민감하지 않은 지점일 수 있다.
구체적으로 먼저, 특징점 추출부(110)의 CPU(210)는 도 2에 도시된 바와 같이 카메라(110)에서 입력된 영상을 RAM 메모리에 임시로 저장하고, 상기 영상의 해상도와 동일한 크기를 갖는 프레임 버퍼를 생성한다. 이때, CPU(210)는 각각의 화소가 픽셀 셰이더에서 처리될 수 있도록 화면 전체 크기의 사각형을 생성할 수 있다.
다음으로 CPU(210)는 RAM 메모리 상에 저장된 영상을 텍스처 메모리 형태(221)로 변환하여 GPU 메모리에 저장할 수 있다.
그 다음으로 GPU(220)의 픽셀 셰이더는 SIFT 알고리즘을 실행하여 특징점을 추출할 수 있다. 이때, SIFT 알고리즘은 NVIDIA에서 개발된 셰이딩 언어인 cg(C for Graphics)를 통해서 구현될 수 있다.
이때, GPU(220)의 픽셀 셰이더는 추출한 특징점(226)의 정보인 특징점 정보(227)를 GPU 메모리에 저장할 수 있다.
마지막으로 CPU(210)는 기 저장된 특징점(212)과 GPU 메모리에 저장된 특징점의 정보(227)를 비교하여 특징점을 가진 오브젝트(213)인 랜드마크를 식별할 수 있다.
이하에서 GPU(220)의 픽셀 셰이더의 특징점 추출 과정을 상세히 설명한다.
먼저, GPU(220)의 픽셀 셰이더는 GPU 메모리에 저장된 텍스처 메모리 형태의 입력 영상(221)의 스케일을 변환하여 복수의 피라미드 영상(Image Pyramids) (222)을 생성할 수 있다.
이때, GPU(220)의 픽셀 셰이더는 생성한 피라미드 영상(222)을 GPU 메모리에 저장하며, GPU 메모리에 저장된 이미지 피라미드 영상(223)들은 도 2에 도시된 바와 같이 각기 다른 n 종류의 스케일로 변환된 영상일 수 있다.
그 다음에, GPU(220)의 픽셀 셰이더는 GPU 메모리에 저장된 각각의 피라미드 영상(223)에 대하여 가우시안 커널(224)을 적용하여 각각의 서브 이미지들의 차영상(DoG(Differential of Gaussian)(225)을 생성할 수 있다.
이때, GPU(220)의 픽셀 셰이더는 다중 프로세서의 파이프 라인 구조를 사용하여 GPU 메모리에 저장된 n개의 피라미드 영상(223)에 가우시안 커널(224)을 동시 적용함으로써 1회의 연산으로 n개의 DoG(225)를 생성하여 GPU 메모리에 저장할 수 있다.
마지막으로, GPU(220)의 픽셀 셰이더는 GPU 메모리에 저장된 서브 이미지들의 차영상(225)에서 이미지 키를 추출하고, 추출한 이미지 키의 안정성을 검증하여 특징점(226)을 추출할 수 있다.
지도 작성부(130)는 GPU를 포함하며, UKF(Unscented Kalman Filter) SLAM(Simultaneous Localization and Mapping) 알고리즘을 실행하여 카메라(110)가 장착된 로봇의 현재 위치를 인식하고 로봇 주변의 지도를 작성한다.
이때, 지도 작성부(130)는 특징점 추출부(120)가 식별한 랜드마크에서 카메라(110)가 장착된 로봇과 랜드마크의 위치 정보가 포함된 상태 벡터를 추정하여 카메라(110)가 장착된 로봇의 위치를 인식하고 지도를 작성할 수 있다. 이때, 지도 작성부(130)가 추정하는 상태 벡터의 개수는 특징점 추출부(110)가 식별한 랜드마크의 개수가 증가함에 따라 함께 증가하는 개수다.
구체적으로 먼저, 지도 작성부(130)는 특징점 추출부(120)가 식별한 랜드마크의 개수에 따라 표본 추출 포인트인 시그마 포인트들의 개수를 설정하고, 지도 작성부(130)의 GPU가 도 3에 도시된 바와 같이 시그마 포인트들의 개수에 따라 복수의 스레드(310,320,330)를 생성할 수 있다.
이때, 특징점 추출부(110)가 식별한 랜드마크의 개수에 따른 상태벡터의 개수가 n개인 경우에 지도 작성부(130)가 설정하는 시그마 포인트들의 개수는 2n개일 수 있다. 이때, 지도 작성부(130)의 GPU는 시그마 포인트를 생성하기 위한 2n개의 스레드(310)와, 비선형 방정식을 적용하기 위한 2n개의 스레드(320), 및 기대 값과 분산을 계산하기 위한 2n개의 스레드(330)를 생성할 수 있다.
다음으로 복수의 스레드(310)는 특징점 정보를 기초로 각기 다른 복수의 시그마 포인트를 생성하여 GPU에 포함된 메모리인 글로벌(Global) 메모리(340)에 저장할 수 있다. 이때, 각각의 스레드(310)은 1개씩의 시그마 포인트를 생성할 수 있다.
그 다음으로 복수의 스레드(320)는 글로벌 메모리(340)에 저장된 각각의 시그마 포인트에 비선형 방정식을 적용하고, 각각의 시그마 포인트에 비선형 방정식을 적용한 값을 글로벌(Global) 메모리(340)에 저장할 수 있다. 이때, 각각의 스레드(320)은 각기 다른 시그마 포인트에 비선형 방정식을 적용할 수 있다.
그 다음에 복수의 스레드(330)가 각각의 시그마 포인트에 비선형 방정식을 적용한 값의 기대 값과 분산을 계산하여 글로벌 메모리(340)에 저장할 수 있다.
마지막으로, 지도 작성부(130)는 기대 값과 분산을 사용하여 카메라(110)가 장착된 로봇과 랜드마크의 위치를 추정할 수 있다.
지도 작성부(130)는 시그마 포인트의 개수와 동일한 개수의 스레드를 사용하여 동시에 복수의 시그마 포인트를 생성하고, 각각의 시그마 포인트에 비선형 방정식을 적용하며, 비선형 방정식을 적용한 값의 기대 값과 분산을 계산함으로써, 상태 벡터의 개수 증가에 따라 기대 값과 분산을 계산하는데 걸리는 시간이 증가하는 것을 방지할 수 있다.
도 4는 본 발명의 일실시예에 따른 SIFT 알고리즘에 대한 흐름도이다.
단계(S410)에서 CPU(210)는 카메라(110)에서 입력된 영상을 RAM 메모리에 임시로 저장하고, 상기 영상의 해상도와 동일한 크기를 갖는 프레임 버퍼를 생성한다. 이때, CPU(210)는 RAM 메모리 상에 저장된 영상을 텍스처 메모리 형태(221)로 변환하여 GPU 메모리에 저장할 수 있다.
단계(S420)에서 GPU(220)의 픽셀 셰이더는 단계(S410)에서 GPU 메모리에 저장된 텍스처 메모리 형태의 입력 영상(221)의 스케일을 변환하여 복수의 피라미드 영상(222)을 생성할 수 있다. 이때, GPU(220)의 픽셀 셰이더는 생성한 피라미드 영상(222)을 GPU 메모리에 저장할 수 있다.
단계(S430)에서 GPU(220)의 픽셀 셰이더는 단계(S420)에서 GPU 메모리에 저장된 각각의 피라미드 영상(223)에 대하여 가우시안 커널(224)을 적용하여 각각의 서브 이미지들의 차영상(DoG(Differential of Gaussian)(225)을 생성할 수 있다.
이때, GPU(220)의 픽셀 셰이더는 GPU 메모리에 저장된 n개의 피라미드 영상(223)에 가우시안 커널(224)을 동시 적용하여 1회의 연산으로 n개의 DoG(225)를 생성하고, GPU 메모리에 저장할 수 있다.
단계(S440)에서 GPU(220)의 픽셀 셰이더는 단계(S430)에서 GPU 메모리에 저장된 서브 이미지들의 차영상(225)에서 이미지 키를 추출하고, 추출한 이미지 키의 안정성을 검증하여 특징점(226)을 추출할 수 있다. 이때, GPU(220)의 픽셀 셰이더는 추출한 특징점(226)의 정보인 특징점 정보(227)를 GPU 메모리에 저장할 수 있다.
단계(S450)에서 CPU(210)는 기 저장된 특징점(212)과 단계(S440)에서 GPU 메모리에 저장된 특징점의 정보(227)를 비교하여 특징점을 가진 오브젝트(213)인 랜드마크를 식별할 수 있다
도 5는 본 발명의 일실시예에 따른 SLAM 알고리즘에 대한 흐름도이다.
단계(S510)에서 지도 작성부(130)의 복수의 스레드(310)는 특징점 정보를 기초로 각기 다른 복수의 시그마 포인트를 생성하여 글로벌(Global) 메모리(340)에 저장할 수 있다. 이때, 각각의 스레드(310)은 1개씩의 시그마 포인트를 생성할 수 있다. 또한, 상기 복수의 스레드(310)는 지도 작성부(130)가 시그마 포인트들의 개수에 따라 생성한 스레드일 수 있다.
단계(S520)에서 지도 작성부(130)의 복수의 스레드(320)는 단계(S510)에서 저장된 각각의 시그마 포인트에 비선형 방정식을 적용하고, 각각의 시그마 포인트에 비선형 방정식을 적용한 값을 글로벌(Global) 메모리(340)에 저장할 수 있다. 이때, 각각의 스레드(320)은 각기 다른 시그마 포인트에 비선형 방정식을 적용할 수 있다.
단계(S530)에서 지도 작성부(130)의 복수의 스레드(330)는 단계(S520)에서 저장된 값의 기대 값과 분산을 계산하여 글로벌 메모리(340)에 저장할 수 있다.
단계(S540)에서 지도 작성부(130)는 단계(S530)에서 저장된 기대 값과 분산을 사용하여 카메라(110)가 장착된 로봇과 랜드마크의 위치를 추정할 수 있다.
단계(S550)에서 지도 작성부(130)는 단계(S540)에서 추정한 로봇과 랜드마크의 위치를 사용하여 로봇의 현재 위치를 인식하고, 로봇 주변의 지도를 작성할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 그래픽 가속기 기반 고속 SLAM 방법은 그래픽 가속기를 사용하여 SIFT 알고리즘에서 영상 피라미드 생성과정과 서브 이미지의 차영상을 생성하는 과정을 각 스케일의 피라미드 영상 별로 병렬 실행함으로써 SIFT 알고리즘의 처리 속도를 향상시킬 수 있다.
또한, 그래픽 가속기를 사용하여 UKF SLAM 알고리즘에서 시그마 포인트 개수에 따른 복수의 스레드를 생성하고, 복수의 스레드가 각기 하나씩의 시그마 포인트를 생성하고, 비선형 방정식을 적용하며, 기대 값과 분산을 계산함으로써 UKF SLAM 알고리즘의 처리 속도를 향상시킬 수 있다.
그리고, UKF SLAM 알고리즘의 처리 속도를 향상시킴으로써 지도를 구역별로 분할하지 않고 전체 지도를 작성하여도 종래의 CPU만을 사용하여 구역별로 분할한 경우와 비슷한 시간이 소요되므로 전체 지도를 작성하여 사용할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 카메라
120: 특징점 추출부
130: 지도 작성부

Claims (5)

  1. 다중 프로세서의 파이프 라인 구조를 가진 그래픽 가속기(GPU: Graphics Processing Unit)를 포함하고,
    상기 그래픽 가속기가 카메라에서 입력된 입력 영상의 스케일을 변환하여 복수의 피라미드 영상을 생성하며,
    상기 그래픽 가속기가 상기 복수의 피라미드 영상 각각에 대하여 가우시안 커널을 적용하여 각각의 서브 이미지들의 차영상을 계산하고,
    상기 그래픽 가속기가 상기 서브 이미지들의 차 영상에서 이미지 키를 추출하고, 상기 이미지 키의 안정성을 검증하여 특징점을 추출하며,
    중앙 연산 처리 장치가 상기 특징점을 사용하여 특징점을 가진 오브젝트인 랜드마크를 식별하는 특징점 추출부; 및
    상기 카메라가 장착된 로봇과 상기 랜드마크의 위치를 추정하여 상기 카메라가 장착된 로봇의 위치를 인식하고 지도를 작성하는 지도 작성부
    를 포함하는 그래픽 가속기 기반 고속 SLAM 시스템.
  2. 제1항에 있어서,
    상기 특징점 추출부의 중앙 연산 처리 장치는,
    상기 카메라에서 입력된 입력 영상을 텍스처 메모리 형태로 변환한 다음에 상기 그래픽 가속기의 메모리에 저장하고,
    상기 그래픽 가속기는 상기 그래픽 가속기의 메모리에 저장된 입력 영상의 스케일을 변환하여 복수의 피라미드 영상을 생성하는 것을 특징으로 하는 그래픽 가속기 기반 고속 SLAM 시스템.
  3. 제1항에 있어서,
    상기 지도 작성부는,
    상기 그래픽 가속기를 포함하고,
    상기 특징점 추출부가 식별한 랜드마크의 개수에 따라 표본 추출 포인트인 시그마 포인트들의 개수를 설정하며,
    상기 그래픽 가속기가 상기 시그마 포인트들의 개수에 따라 복수의 스레드를 생성하고,
    상기 복수의 스레드가 특징점 정보를 기초로 각기 다른 복수의 시그마 포인트를 생성하며,
    상기 복수의 스레드가 각각의 시그마 포인트에 비선형 방정식을 적용하며,
    상기 복수의 스레드가 각각의 시그마 포인트에 비선형 방정식을 적용한 값의 기대 값과 분산을 계산하여 상기 카메라가 장착된 로봇과 상기 랜드마크의 위치를 추정하는 것을 특징으로 하는 그래픽 가속기 기반 고속 SLAM 시스템.
  4. 다중 프로세서의 파이프 라인 구조를 가진 그래픽 가속기(Graphics Processing Unit)가 카메라에서 입력된 입력 영상의 스케일을 변환하여 복수의 피라미드 영상을 생성하는 단계;
    상기 그래픽 가속기가 상기 복수의 피라미드 영상 각각에 대하여 가우시안 커널을 적용하여 각각의 서브 이미지들의 차영상을 계산하는 단계;
    상기 그래픽 가속기가 상기 서브 이미지들의 차 영상에서 이미지 키를 추출하는 단계;
    상기 그래픽 가속기가 상기 이미지 키의 안정성을 검증하여 특징점을 추출하는 단계; 및,
    중앙 연산 처리 장치가 상기 특징점을 사용하여 특징점을 가진 오브젝트인 랜드마크를 식별하는 단계
    를 포함하는 SIFT 알고리즘 실행 방법.
  5. 특징점 추출부가 식별한 랜드마크의 개수에 따라 표본 추출 포인트인 시그마 포인트들의 개수를 설정하는 단계;
    다중 프로세서의 파이프 라인 구조를 가진 그래픽 가속기(GPU: Graphics Processing Unit)가 상기 시그마 포인트들의 개수에 따라 복수의 스레드를 생성하는 단계;
    상기 복수의 스레드가 특징점 정보를 기초로 각기 다른 복수의 시그마 포인트를 생성하는 단계;
    상기 복수의 스레드가 각각의 시그마 포인트에 비선형 방정식을 적용하는 단계;
    상기 복수의 스레드가 각각의 시그마 포인트에 비선형 방정식을 적용한 값의 기대 값과 분산을 계산하여 카메라가 장착된 로봇과 랜드마크의 위치를 추정하는 단계
    를 포함하는 그래픽 가속기 기반 고속 SLAM 알고리즘 실행 방법.
KR1020100036122A 2010-04-19 2010-04-19 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법 KR101206213B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100036122A KR101206213B1 (ko) 2010-04-19 2010-04-19 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100036122A KR101206213B1 (ko) 2010-04-19 2010-04-19 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110116609A true KR20110116609A (ko) 2011-10-26
KR101206213B1 KR101206213B1 (ko) 2012-11-28

Family

ID=45030856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036122A KR101206213B1 (ko) 2010-04-19 2010-04-19 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101206213B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539265A (zh) * 2014-11-25 2015-04-22 广东石油化工学院 一种自适应ukf滤波算法
US9171227B2 (en) 2012-06-20 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method extracting feature information of a source image
CN105115511A (zh) * 2015-07-24 2015-12-02 浙江工业大学 一种面向月面导航的自适应的地标选取方法
CN106548492A (zh) * 2016-09-30 2017-03-29 上海联影医疗科技有限公司 确定匹配点对的方法及装置、图像获取方法
CN106778726A (zh) * 2016-12-14 2017-05-31 广州视源电子科技股份有限公司 板卡定位方法及装置
CN107341507A (zh) * 2017-06-20 2017-11-10 华中科技大学 一种基于gpu与级联哈希的快速图像sift特征匹配方法
CN109274119A (zh) * 2018-10-23 2019-01-25 中国矿业大学 三相电流型并网逆变器控制方法
CN109376113A (zh) * 2016-11-03 2019-02-22 北京中科寒武纪科技有限公司 Slam运算装置和方法
CN109543694A (zh) * 2018-09-28 2019-03-29 天津大学 一种基于点特征稀疏策略的视觉同步定位与地图构建方法
CN109840517A (zh) * 2019-03-08 2019-06-04 兰州交通大学 一种mems陀螺噪声估计和滤波方法
US10580135B2 (en) 2016-07-14 2020-03-03 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
CN113112394A (zh) * 2021-04-13 2021-07-13 北京工业大学 一种基于cuda技术的视觉slam前端加速方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105467838B (zh) * 2015-11-10 2017-12-05 山西大学 一种随机有限集框架下的同步定位与地图构建方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171227B2 (en) 2012-06-20 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method extracting feature information of a source image
CN104539265A (zh) * 2014-11-25 2015-04-22 广东石油化工学院 一种自适应ukf滤波算法
CN105115511A (zh) * 2015-07-24 2015-12-02 浙江工业大学 一种面向月面导航的自适应的地标选取方法
US10580135B2 (en) 2016-07-14 2020-03-03 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
US11893738B2 (en) 2016-07-14 2024-02-06 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
US11416993B2 (en) 2016-07-14 2022-08-16 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
CN106548492A (zh) * 2016-09-30 2017-03-29 上海联影医疗科技有限公司 确定匹配点对的方法及装置、图像获取方法
CN109376113A (zh) * 2016-11-03 2019-02-22 北京中科寒武纪科技有限公司 Slam运算装置和方法
CN106778726A (zh) * 2016-12-14 2017-05-31 广州视源电子科技股份有限公司 板卡定位方法及装置
CN107341507A (zh) * 2017-06-20 2017-11-10 华中科技大学 一种基于gpu与级联哈希的快速图像sift特征匹配方法
CN107341507B (zh) * 2017-06-20 2020-01-21 华中科技大学 一种基于gpu与级联哈希的快速图像sift特征匹配方法
CN109543694A (zh) * 2018-09-28 2019-03-29 天津大学 一种基于点特征稀疏策略的视觉同步定位与地图构建方法
CN109274119B (zh) * 2018-10-23 2021-06-01 中国矿业大学 三相电流型并网逆变器控制方法
CN109274119A (zh) * 2018-10-23 2019-01-25 中国矿业大学 三相电流型并网逆变器控制方法
CN109840517A (zh) * 2019-03-08 2019-06-04 兰州交通大学 一种mems陀螺噪声估计和滤波方法
CN113112394A (zh) * 2021-04-13 2021-07-13 北京工业大学 一种基于cuda技术的视觉slam前端加速方法

Also Published As

Publication number Publication date
KR101206213B1 (ko) 2012-11-28

Similar Documents

Publication Publication Date Title
KR101206213B1 (ko) 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법
Poirson et al. Fast single shot detection and pose estimation
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP4637618B2 (ja) 車線認識装置
US9811742B2 (en) Vehicle-surroundings recognition device
US9928426B1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
Bagdanov et al. Real-time hand status recognition from RGB-D imagery
CN104933738A (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
Petit et al. Augmenting markerless complex 3D objects by combining geometrical and color edge information
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Huang et al. An object-based change detection approach by integrating intensity and texture differences
Głowacz et al. Video detection algorithm using an optical flow calculation method
EP4123106A1 (en) Image processing device, image processing method, and image processing program
US20230082097A1 (en) Method and device for multi-sensor data-based fusion information generation for 360-degree detection and recognition of surrounding object
KR101394473B1 (ko) 이동 물체 탐지 방법 및 그 감시 시스템
Yang et al. Design flow of motion based single camera 3D mapping
US11600086B2 (en) Dictionary learning device, dictionary learning method, and program storage medium
CN113743487A (zh) 一种增强型遥感影像目标检测方法及系统
US11809997B2 (en) Action recognition apparatus, action recognition method, and computer-readable recording medium
Ikoma Hands and arms motion estimation of a car driver with depth image sensor by using particle filter
JP5719277B2 (ja) 物体座標系変換行列推定成否判定装置および物体座標系変換行列推定成否判定方法ならびにそのプログラム
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
Qiu et al. Edge-Feature-Based Aircraft Cover Recognition and Pose Estimation for AR-Aided Inner Components Inspection
Al-Sabbag et al. Real-Time quantitative visual inspection using extended reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee