KR101888362B1 - 3차원 재구성을 이용한 지형 안내 장치 및 방법 - Google Patents

3차원 재구성을 이용한 지형 안내 장치 및 방법 Download PDF

Info

Publication number
KR101888362B1
KR101888362B1 KR1020150188188A KR20150188188A KR101888362B1 KR 101888362 B1 KR101888362 B1 KR 101888362B1 KR 1020150188188 A KR1020150188188 A KR 1020150188188A KR 20150188188 A KR20150188188 A KR 20150188188A KR 101888362 B1 KR101888362 B1 KR 101888362B1
Authority
KR
South Korea
Prior art keywords
terrain
dimensional reconstruction
plane
boundary
area
Prior art date
Application number
KR1020150188188A
Other languages
English (en)
Other versions
KR20170078905A (ko
Inventor
김동엽
신동인
황정훈
김영욱
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150188188A priority Critical patent/KR101888362B1/ko
Publication of KR20170078905A publication Critical patent/KR20170078905A/ko
Application granted granted Critical
Publication of KR101888362B1 publication Critical patent/KR101888362B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Abstract

본 발명은 3차원 재구성을 이용한 지형 안내 장치 및 방법에 관한 것으로서, 지형 안내 장치가 이동체의 이동에 따라 지형을 감지하고, 지형의 특징점을 추출하여 3차원 재구성하며, 3차원 재구성 정보를 2차원 프로젝션한 후, 2차원 프로젝션된 평면 상에 위치하는 특징점의 그라디언트가 기준치 이상인 영역을 검출하며, 이를 통해 원격 제어의 정확성과 편의가 증진되고 사고 가능성을 경감할 수 있다.

Description

3차원 재구성을 이용한 지형 안내 장치 및 방법 {Terrain guidance device and method using 3D reconstruction}
본 발명은 지형과 관련한 정보를 안내하는 방안과 관련한 것으로, 더욱 상세하게는 이동하는 물체가 주의해야 할 지형이나 지물에 대한 정보를 포함한 3차원 지형 정보를 제공할 수 있는 3차원 재구성을 이용한 지형 안내 장치 및 방법에 관한 것이다.
인간이 직접 작업을 수행하기 어려운 재난, 재해 환경이나 건설, 토목 등의 분야, 폭발물 제거 등의 분야에 로봇을 투입하여 작업을 수행하도록 하는 방안이 연구되고 있고, 차량을 원격으로 제어하여 도로 등을 주행하도록 하는 방안도 연구되고 있다.
이러한 원격 제어 환경에서는 로봇이나 차량의 위치에 따른 지형을 사용자가 신속하고 정확히 파악하고, 대응하는 제어 동작을 수행하는 것이 필요하다.
그런데 종래의 원격 제어 환경에서 사용자는 카메라를 이용해 촬영한 영상을 육안으로 확인하고 이에 따라 로봇이나 차량의 이동 등을 제어하도록 하고 있으며, 사용자의 능력이나 카메라 영상의 상태에 따라 제어 효율이 좌우되는 한계가 있고, 이에 따른 안전 사고 가능성이 높은 문제가 있어 개선 방안이 요청된다.
한국공개특허 제10-2011-0088136호(2011년08월03일 공개)
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 원격 제어되는 이동체의 주변 지형과 관련한 정보를 3차원 재구성을 통해 제공하되, 이동체의 이동에 따라 주의해야 할 지형이나 지물과 관련한 영역을 신속하고 정확하게 확인하고, 3차원 재구성 정보와 함께 해당 영역에 대한 정보를 제공할 수 있는 3차원 재구성을 이용한 지형 안내 장치 및 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 3차원 재구성을 이용한 지형 안내 장치는, 이동체의 이동에 따라 지형을 감지하는 센서부, 정보를 표시하기 위한 표시부, 및 상기 센서부의 감지 결과에 따라 지형의 특징점을 추출하여 3차원 재구성하고(3D reconstruction), 3차원 재구성 정보를 2차원 프로젝션하며, 2차원 프로젝션(projection)된 평면 상에 위치하는 특징점의 그라디언트(gradient)가 기준치 이상인 영역을 검출하고, 검출된 영역에 대한 정보를 상기 표시부를 통해 출력하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 장치에 있어서, 상기 제어부는, 상기 평면 상에 위치하는 특징점의 픽셀값이, 대응하는 3차원 재구성 정보의 특징점에 대한 상기 평면에 수직한 축 방향의 좌표값을 갖도록 2차원 프로젝션하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 장치에 있어서, 상기 제어부는, 인접한 픽셀간의 픽셀값 차이가 기준치 이상이거나 일정 거리 이내에 위치하는 픽셀간의 픽셀값 차이가 기준치 이상인 영역을 검출하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 장치에 있어서, 상기 제어부는, 상기 평면의 제1축 방향으로 그라디언트를 계산하여 제1경계를 결정하고, 상기 제1축과 수직한 제2축 방향으로 그라디언트를 계산하여 제2경계를 결정하며, 제1경계 및 제2경계에 의해 구분되는 영역을 검출하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 장치에 있어서, 상기 제어부는, 상기 검출된 영역의 평면 좌표에 대응하는 3차원 재구성 정보의 영역에 상기 검출된 영역을 시각적으로 표시하여 상기 표시부를 통해 출력하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 3차원 재구성을 이용한 지형 안내 방법은, 지형 안내 장치가 이동체의 이동에 따라 지형을 감지하는 단계, 상기 지형 안내 장치가 감지 결과에 따라 지형의 특징점을 추출하여 3차원 재구성하는 단계, 상기 지형 안내 장치가 3차원 재구성 정보를 2차원 프로젝션하는 단계, 상기 지형 안내 장치가 2차원 프로젝션된 평면 상에 위치하는 특징점의 그라디언트가 기준치 이상인 영역을 검출하는 단계, 및 상기 지형 안내 장치가 검출된 영역에 대한 정보를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 방법에 있어서, 상기 2차원 프로젝션하는 단계는, 상기 지형 안내 장치가, 상기 평면 상에 위치하는 특징점의 픽셀값이, 대응하는 3차원 재구성 정보의 특징점에 대한 상기 평면에 수직한 축 방향의 좌표값을 갖도록 2차원 프로젝션하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 방법에 있어서, 상기 영역을 검출하는 단계는, 상기 지형 안내 장치가 상기 평면의 제1축 방향으로 그라디언트를 계산하여 제1경계를 결정하고, 상기 제1축과 수직한 제2축 방향으로 그라디언트를 계산하여 제2경계를 결정하며, 제1경계 및 제2경계에 의해 구분되는 영역을 검출하는 것을 특징으로 한다.
본 발명의 3차원 재구성을 이용한 지형 안내 장치 및 방법에 따르면, 이동하는 로봇이나 차량의 이동체 주변 지형을 3차원 재구성하여 원격으로 제어하는 사용자에게 제공하되, 3차원 재구성 정보와 함께 이동이 불가하거나 안전 사고의 가능성이 높거나 주의해야 할 영역에 대한 정보를 사용자에게 제공함으로써, 원격 제어의 정확성과 편의가 증진되고 사고 가능성을 경감할 수 있다.
이때 로봇이나 차량의 주변 지형 정보를 3차원 재구성하고, 재구성된 정보를 이용해 주의해야 할 영역을 검출함으로써, 비교적 적은 연산 부담으로 주의 영역을 신속하게 판별하는 것이 가능하고, 이에 따라 이동 중에도 주의 영역에 대해 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따라 차량이 이동하는 모습을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 지형 안내 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 3차원 재구성 정보를 2차원 프로젝션하는 모습을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 2차원 프로젝션 평면의 픽셀값을 나타낸 도면이다.
도 5 및 도 6은 도 4의 실시예에 따라 주의해야 할 영역의 경계를 판단하는 모습을 나타낸 도면이다.
도 7은 도 4의 실시예에 따라 주의해야 할 영역이 검출된 모습을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 지형 안내 방법의 과정을 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 이동하는 차량이 로봇 등의 원격 제어 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 차량(1)이 이동하는 모습을 나타낸 도면이다.
도 1을 참조하면, 차량(1)은 도로(2)를 따라 이동하고, 차량(1)의 진행방향을 따라 도로(2) 상에 과속방지 턱(3)이 존재한다.
이때 차량(1)은 원격의 사용자에 의해 제어되어 도로(2) 상을 주행하고, 이에 따라 사용자는 과속방지 턱(3)의 존재를 인식하여 속도를 줄이는 제어를 해야 한다.
만일 차량(1)을 제어하는 사용자가 카메라를 이용해 촬영한 2차원 영상만을 이용해 원격 제어를 수행해야 하는 경우라면, 이동체의 이동에 따라 순식간에 가까워지는 과속 방지 턱(3) 등의 위험 요소를 육안으로 쉽게 인식하기 어려운 문제가 있다. 이에 따라 차량(1)을 원격으로 제어하는 사용자는 차량(10)의 이동 중 방해가 될 수 있는 위험 요소에 대한 정보를 제공받고 확인할 수 있어야 한다.
이를 위해 본원발명의 지형 안내 장치는 차량(1)에 위치한 센서의 감지 결과에 따라 주변 지형에 대한 특징점을 추출하고 3차원 재구성(3D reconstruction)하여 단순화한다.
그리고 지형 안내 장치는 3차원 재구성 정보를 2차원 프로젝션(projection)하며, 이때 2차원 프로젝션된 XY 평면 상에 위치하는 특징점은 3차원 재구성 정보의 특징점과 동일한 X 좌표값 및 Y 좌표값을 가지고, 2차원 프로젝션된 평면 상의 특징점의 픽셀값이 3차원 재구성 정보에서 대응하는 특징점의 Z 좌표값을 갖게 된다. 이때 Z 좌표값은 2차원 프로젝션된 평면에 수직한 축(Z축) 방향의 좌표값으로서, Z 좌표값에 따라 차량(1)의 이동시 주의해야 할 영역에 대한 검출이 가능하다.
이후 지형 안내 장치는 차량(1)을 원격 제어하는 사용자에게, 검출된 영역에 대한 정보를 표시하여, 사용자가 이를 확인하도록 한다.
본원발명에 따라 로봇이나 차량의 이동시 주의해야할 영역에 대해 검출하고 표시하는 지형 안내 장치의 기능 및 동작에 대해서는 도 2 내지 도 7을 참조하여 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 지형 안내 장치(100)의 구성을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따라 3차원 재구성 정보를 2차원 프로젝션하는 모습을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 2차원 프로젝션 평면의 픽셀값을 나타낸 도면이고, 도 5 및 도 6은 도 4의 실시예에 따라 주의해야 할 영역의 경계(11 내지 14)를 판단하는 모습을 나타낸 도면이며, 도 7은 도 4의 실시예에 따라 주의해야 할 영역(15)이 검출된 모습을 나타낸 도면이다.
도 2 내지 도 7을 참조하면, 본 실시예의 지형 안내 장치(100)는 센서부(110), 제어부(120) 및 표시부(130)를 포함하여 구성된다.
센서부(110)는 이동에 따라 차량이나 로봇 등 이동체 주변의 지형을 감지하고 감지 결과를 제어부(120)로 전달한다. 센서부(110)는 지형을 감지하고 감지한 결과를 전기적 신호로 출력하는 비전 센서(vision sensor)를 포함할 수 있다.
표시부(130)는 이동체를 원격으로 제어하는 사용자가 제어를 위한 각종 정보를 확인할 수 있도록 표시하는데 이용되는 수단이다. 표시부(130)는 정보를 시각적으로 표시하기 위한 디스플레이 장치를 포함한다.
제어부(120)는 센서부(110) 및 표시부(130)를 포함한 지형 안내 장치(100)의 동작을 전반적으로 제어하는 역할을 하며, 이를 위한 연산 유닛, 응용 프로그램 저장소, 메모리 등을 포함한다.
제어부(120)는 센서부(110)의 감지 결과에 따라 이동체 주변 지형의 특징점을 추출하여 3차원 재구성한다. 3차원 재구성 정보는 실제 지형의 3차원 모습에 대하여 입체적으로 재구성한 정보로서, 이동체를 제어하는 사용자가 지형의 입체적 형상에 대해 확인할 수 있는 범위 내에서 가공한 정보이다. 3차원 재구성 정보를 통해 지형 안내 장치(100)는 연산 부담을 경감하여 지형의 입체적 형상에 대한 정보를 전달하는 것이 가능하며, 이동체의 이동시 중 신속한 정보 처리가 필요한 때에 유용하게 활용이 가능하다.
그리고 제어부(120)는 3차원 재구성 정보를 2차원 프로젝션한다. 2차원 프로젝션은 3차원 재구성 정보를 평면 상에 투사하는 것으로서, 이때 2차원 프로젝션된 각 픽셀의 픽셀값은 3차원 재구성 정보의 좌표값 중 2차원 프로젝션 평면과 수직한 축 방향 좌표값을 갖게 된다.
도 3에서 3차원 재구성 정보의 지형 부분(4)은 XY 평면과 수직인 Z축 방향으로 돌출된 형태로서 이동체의 이동시 주의해야 할 부분이며, 2차원 프로젝션 평면 상에서 지형 부분(7)으로 투사된다. 이때 3차원 재구성 정보의 지형 부분(4)에 포함된 특징점(5)은 2차원 프로젝션 평면 상의 지형 부분(7)에 포함된 특징점(8)으로 투사되고, 3차원 재구성 정보의 지형 부분(4)에 포함된 특징점(6)은 2차원 프로젝션 평면 상의 지형 부분(7)에 포함된 특징점(9)으로 투사된다.
이 경우 3차원 재구성 정보 상의 특징점(5)과 2차원 프로젝션 평면 상의 특징점(8)은 X 좌표값 및 Y 좌표값이 서로 동일하고, 특징점(8)의 픽셀값은 특징점(5)의 Z 좌표값을 갖게 된다. 마찬가지로 3차원 재구성 정보 상의 특징점(6)과 2차원 프로젝션 평면 상의 특징점(9)은 X 좌표값 및 Y 좌표값이 서로 동일하고, 특징점(9)의 픽셀값은 특징점(6)의 Z 좌표값을 갖게 된다.
그리고 제어부(120)는 2차원 프로젝션된 평면 상에 위치하는 특징점의 그라디언트(gradient)가 기준치 이상인 영역을 검출한다. 즉 제어부(120)는 지형의 변화에 따라 기준치가 일정 정도 이상으로 변화하는 영역을, 이동체의 원격 제어시 주의해야 할 영역으로 판단하여 검출한다.
이 경우 제어부(120)는 2차원 프로젝션 된 평면 상에서 인접한 픽셀간의 픽셀값 차이가 기준치 이상이거나 일정 거리 이내에 위치하는 픽셀간의 픽셀값 차이가 기준치 이상인 영역을 검출할 수 있다.
도 4는 2차원 프로젝션 된 평면에서 각 픽셀의 픽셀값을 나타내고, 이때 가장자리의 픽셀값은 '3'인 반면, 중앙 부분의 픽셀값은 '7' 또는 '8'이므로, 중앙 부분의 Z 좌표값이 더 크다.
이 경우 제어부(120)는 도 5와 같이 X축 방향으로 인접셀 간의 픽셀값 차이에 따른 그라디언트를 계산한다. 이때 도 4에서 픽셀값 '3'에서 픽셀값 '7'로 넘어가는 부분의 그라디언트는 '+4'이고, 픽셀값 '7'에서 픽셀값 '8'로 넘어가는 부분의 그라디언트는 '+1'이고, 픽셀값 '8'에서 픽셀값 '7'로 넘어가는 부분의 그라디언트는 '-1'이고, 픽셀값 '7'에서 픽셀값 '3'으로 넘어가는 부분의 그라디언트는 '-4'이다.
이때 제어부(120)는 그라디언트가 '+4'인 픽셀의 좌측 경계(11)와 그라디언트가 '-4'인 부분의 좌측 경계(12)를 제1경계로 결정하며, 예를 들어 제어부(120)는 그라디언트의 절대값이 3 이상인 부분을 경계로 결정할 수 있다. 이 경우 지형의 좌우 측 경계인 제1경계(11, 12) 사이에 이동체의 원격 제어시 주의해야 할 영역이 위치하게 된다.
한편 제어부(120)는 도 6과 같이 Y축 방향으로 인접셀 간의 픽셀값 차이에 따른 그라디언트를 계산한다. 이때 도 4에서 픽셀값 '3'에서 픽셀값 '7'로 넘어가는 부분의 그라디언트는 '+4'이고, 픽셀값 '7'에서 픽셀값 '7'로 넘어가는 부분의 그라디언트는 '0'이고, 픽셀값 '7'에서 픽셀값 '3'으로 넘어가는 부분의 그라디언트는 '-4'이다. 또한 픽셀값 '3'에서 픽셀값 '8'로 넘어가는 부분의 그라디언트는 '+5'이고, 픽셀값 '8'에서 픽셀값 '8'로 넘어가는 부분의 그라디언트는 '0'이고, 픽셀값 '8'에서 픽셀값 '3'으로 넘어가는 부분의 그라디언트는 '-5'이다.
이때 제어부(120)는 그라디언트가 '+4' 또는 '+5'인 픽셀의 하측 경계(14)와 그라디언트가 '-4' 또는 '-5'인 부분의 하측 경계(13)를 제2경계로 결정하며, 예를 들어 제어부(120)는 그라디언트의 절대값이 3 이상인 부분을 경계로 결정할 수 있다. 이 경우 지형의 상하 측 경계인 제2경계(13, 14) 사이에 이동체의 원격 제어시 주의해야 할 영역이 위치하게 된다.
이후 제어부(120)는 도 7과 같이 제1경계(11, 12) 및 제2경계(13, 14)로 구분되는 영역(15)을 이동체의 원격 제어시 주의해야할 영역으로 검출하게 된다.
제어부(120)는 이렇게 검출된 영역(15)과 관련한 정보를 표시부(130)를 통해 출력하여 사용자가 확인하도록 하며, 이 경우 제어부(120)는 검출된 영역(15)의 평면 좌표(X 좌표 및 Y 좌표)에 대응하는 3차원 재구성 정보의 부분에, 검출된 영역(15)을 시각적으로 표시하여, 사용자가 3차원 재구성 정보와 함께 영역(15)을 확인하도록 할 수 있다.
본 발명에 따라 지형을 안내하는 방법에 대해서는 도 8을 참조하여 상세하게 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 지형 안내 방법의 과정을 나타낸 도면이다.
도 8을 참조하면, 지형 안내 장치는 이동체의 이동에 따라 이동체 주변의 지형을 감지한다(S1).
단계(S1)에서 지형 안내 장치는 이동체에 위치한 비전 센서 등을 이용해 지형을 감지하는 것이 가능하다.
그리고 지형 안내 장치는 감지 결과에 따라 지형의 특징점을 추출하여 3차원 재구성 한다(S2).
3차원 재구성 정보는 실제 지형의 3차원 모습에 대하여 확인할 수 있도록 재구성한 정보로서, 지형 안내 장치는 3차원 재구성 정보를 통해 연산 부담을 경감하여 지형의 입체적 형상에 대한 정보를 전달하는 것이 가능하다.
이후 지형 안내 장치는 3차원 재구성 정보를 2차원 프로젝션하여 평면 상에 투사한다(S3).
단계(S3)에서 2차원 프로젝션된 각 픽셀의 픽셀값은 3차원 재구성 정보의 좌표값 중 2차원 프로젝션 평면과 수직한 축 방향 좌표값을 갖게 된다.
그리고 지형 안내 장치는 2차원 프로젝션된 평면 상에 위치하는 특징점의 그라디언트가 기준치 이상인 영역을 검출한다(S4).
단계(S4)에서 지형 안내 장치는 예를 들어, 2차원 프로젝션 된 평면 상에서 인접한 픽셀간의 픽셀값 차이가 기준치 이상이거나 일정 거리 이내에 위치하는 픽셀간의 픽셀값 차이가 기준치 이상인 영역을 검출할 수 있다.
이후 지형 안내 장치는 검출된 영역에 대한 정보를 출력하여 사용자가 확인하도록 한다(S5).
단계(S5)에서 지형 안내 장치는 단계(S4) 검출된 영역의 평면 좌표에 대응하는 3차원 재구성 정보의 영역에 해당 검출된 영역을 시각적으로 표시함으로써, 사용자가 3차원 지형에서 어느 부분에 주의해야할 영역이 위치하는지 직관적으로 확인하도록 할 수 있다.
본 발명의 실시예에 따른 3차원 재구성을 이용한 지형 안내 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
100: 지형 안내 장치 110: 센서부
120: 제어부 130: 표시부

Claims (8)

  1. 이동체의 이동에 따라 지형을 감지하는 센서부;
    정보를 표시하기 위한 표시부; 및
    상기 센서부의 감지 결과에 따라 지형의 특징점을 추출하여 3차원 재구성하고(3D reconstruction), 평면 상에 위치하는 특징점의 픽셀값이, 대응하는 3차원 재구성 정보의 특징점에 대한 상기 평면에 수직한 축 방향의 좌표값을 갖도록 2차원 프로젝션하며, 인접한 픽셀간의 픽셀값 차이가 기준치 이상이거나 일정 거리 이내에 위치하는 픽셀간의 픽셀값 차이가 기준치 이상인 영역을 검출하고, 검출된 영역에 대한 정보를 상기 표시부를 통해 출력하는 제어부;
    를 포함하는 것을 특징으로 하는 3차원 재구성을 이용한 지형 안내 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는,
    상기 평면의 제1축 방향으로 그라디언트를 계산하여 제1경계를 결정하고, 상기 제1축과 수직한 제2축 방향으로 그라디언트를 계산하여 제2경계를 결정하며, 제1경계 및 제2경계에 의해 구분되는 영역을 검출하는 것을 특징으로 하는 3차원 재구성을 이용한 지형 안내 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 검출된 영역의 평면 좌표에 대응하는 3차원 재구성 정보의 영역에 상기 검출된 영역을 시각적으로 표시하여 상기 표시부를 통해 출력하는 것을 특징으로 하는 3차원 재구성을 이용한 지형 안내 장치.
  6. 지형 안내 장치가 이동체의 이동에 따라 지형을 감지하는 단계;
    상기 지형 안내 장치가 감지 결과에 따라 지형의 특징점을 추출하여 3차원 재구성하는 단계;
    상기 지형 안내 장치가 평면 상에 위치하는 특징점의 픽셀값이, 대응하는 3차원 재구성 정보의 특징점에 대한 상기 평면에 수직한 축 방향의 좌표값을 갖도록 2차원 프로젝션하는 단계;
    상기 지형 안내 장치가 인접한 픽셀간의 픽셀값 차이가 기준치 이상이거나 일정 거리 이내에 위치하는 픽셀간의 픽셀값 차이가 기준치 이상인 영역을 검출하는 단계; 및
    상기 지형 안내 장치가 검출된 영역에 대한 정보를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 3차원 재구성을 이용한 지형 안내 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 영역을 검출하는 단계는,
    상기 지형 안내 장치가 상기 평면의 제1축 방향으로 그라디언트를 계산하여 제1경계를 결정하고, 상기 제1축과 수직한 제2축 방향으로 그라디언트를 계산하여 제2경계를 결정하며, 제1경계 및 제2경계에 의해 구분되는 영역을 검출하는 것을 특징으로 하는 3차원 재구성을 이용한 지형 안내 방법.
KR1020150188188A 2015-12-29 2015-12-29 3차원 재구성을 이용한 지형 안내 장치 및 방법 KR101888362B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150188188A KR101888362B1 (ko) 2015-12-29 2015-12-29 3차원 재구성을 이용한 지형 안내 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150188188A KR101888362B1 (ko) 2015-12-29 2015-12-29 3차원 재구성을 이용한 지형 안내 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170078905A KR20170078905A (ko) 2017-07-10
KR101888362B1 true KR101888362B1 (ko) 2018-08-16

Family

ID=59356146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150188188A KR101888362B1 (ko) 2015-12-29 2015-12-29 3차원 재구성을 이용한 지형 안내 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101888362B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236019A (ja) * 2001-02-08 2002-08-23 Pasuko:Kk 地表面抽出処理システム
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101162982B1 (ko) 2010-01-28 2012-07-09 (주)유비쿼터스사이언스테크놀러지 로봇 원격 제어 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236019A (ja) * 2001-02-08 2002-08-23 Pasuko:Kk 地表面抽出処理システム
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置

Also Published As

Publication number Publication date
KR20170078905A (ko) 2017-07-10

Similar Documents

Publication Publication Date Title
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
US20220036574A1 (en) System and method for obstacle avoidance
US10956739B2 (en) Augmented reality robotic system visualization
EP4015984A1 (en) Selective tracking of a head-mounted display
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US20160117824A1 (en) Posture estimation method and robot
KR101973917B1 (ko) 3차원 계측 장치 및 그 계측 지원 처리 방법
EP1926004A2 (en) Method, apparatus, and medium for controlling mobile device based on image of real space including the mobile device
WO2011080882A1 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
US10712566B2 (en) Information displaying system provided with head-mounted type display
JP4893212B2 (ja) 周辺監視装置
JP2017191576A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
US9292932B2 (en) Three dimension measurement method, three dimension measurement program and robot device
EP3690724B1 (en) Estimating passenger statuses in 2 dimensional images captured using a fisheye lens
US20130100281A1 (en) Method, System and Computer Program Product for Detecting an Obstacle with a Camera
KR20170142379A (ko) 영상처리를 이용한 용접로봇의 용접선 인식장치
KR101888362B1 (ko) 3차원 재구성을 이용한 지형 안내 장치 및 방법
US20190050959A1 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
KR101566964B1 (ko) 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
EP3121792B1 (en) Processing device for label information for multi-viewpoint images and processing method for label information
JP6659641B2 (ja) ３次元モデル作成装置
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
TWI609291B (zh) 組合器及操作檢測裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant