KR102573522B1 - 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법 - Google Patents

레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법 Download PDF

Info

Publication number
KR102573522B1
KR102573522B1 KR1020200183381A KR20200183381A KR102573522B1 KR 102573522 B1 KR102573522 B1 KR 102573522B1 KR 1020200183381 A KR1020200183381 A KR 1020200183381A KR 20200183381 A KR20200183381 A KR 20200183381A KR 102573522 B1 KR102573522 B1 KR 102573522B1
Authority
KR
South Korea
Prior art keywords
ground
camera
mobile platform
information acquisition
ground information
Prior art date
Application number
KR1020200183381A
Other languages
English (en)
Other versions
KR20220092031A (ko
Inventor
주수빈
서준호
권오원
김창원
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020200183381A priority Critical patent/KR102573522B1/ko
Priority to PCT/KR2021/014970 priority patent/WO2022139146A1/ko
Publication of KR20220092031A publication Critical patent/KR20220092031A/ko
Application granted granted Critical
Publication of KR102573522B1 publication Critical patent/KR102573522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법에서, 상기 지면정보 획득시스템은 측정부, 지면정보 획득부, 상대각도 연산부, 틸팅각 연산부 및 거리 연산부를 포함한다. 상기 측정부는 지면을 향하여 레이저를 조사하는 한 쌍의 레이저들, 및 상기 조사된 레이저를 촬영하는 카메라를 포함한다. 상기 지면정보 획득부는 상기 촬영된 영상으로부터 추출된 라인을 바탕으로, 상기 지면의 정보를 획득한다. 상기 상대각도 연산부는 상기 획득된 지면정보로부터 상기 측정부가 상기 지면에 대하여 위치하는 방향인 상대각도를 연산한다. 상기 틸팅각 연산부는 상기 획득된 지면정보로부터 상기 카메라가 상기 지면을 향하는 방향으로 기울어진 틸팅각도를 연산한다. 상기 거리 연산부는 상기 상대각도 및 상기 틸팅각도를 바탕으로 상기 지면에 위치하는 측정체까지의 거리를 연산한다.

Description

레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법{GROUND INFORMATION OBTAINING SYSTEM, METHOD FOR OBTAINING GROUND INFORMATION USING THE SAME, METHOD FOR DRIVING MOBILE PLATFORM BASED ON GROUND INFORMATION}
본 발명은 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법에 관한 것으로, 더욱 상세하게는 모바일 플랫폼에 설치되어, 지면에 존재하는 단차, 장애물 또는 계단 등의 측정체를 검출하고, 상기 측정체까지의 거리 및 상대각도에 대한 정보를 획득하는 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법에 관한 것이다.
최근 로봇이나 휠체어와 같은 모바일 플랫폼에 자율 주행 기능이 탑재됨에 따라, 상기 모바일 플랫폼의 주변에 위치하는 장애물 등을 효과적으로 검출하는 시스템이 다양하게 개발되고 있다.
이러한 장애물 검출 시스템에서는, 주로 스테레오 카메라나, 초음파 센서 또는 레이저 센서 등이 적용되며, 장애물을 인지하거나 필요한 경우 장애물까지의 거리를 연산하는 기술들도 개발되고 있다.
예를 들어, 대한민국 등록특허 제10-2100840호에서는 레이저와 카메라를 동시에 적용하여 장애물을 감지하고, 장애물까지의 거리를 계산하는 기술이 개시되고 있으며, 대한민국 공개특허 제10-2008-0045523호에서는 적외선 센서, 위치센서, 초음파 센서 및 레이저 센서 등을 적용하여 장애물을 감지하여 거리를 계산하고 이를 바탕으로 구동되는 로봇 청소기가 개시되고 있다.
이와 같이, 다양한 센서들의 조합으로 모바일 플랫폼의 주변에 위치하는 장애물을 검지하는 기술들이 다수 개발되고는 있음에도, 모바일 플랫폼의 성능 향상을 위해서 장애물 검지 능력을 보다 향상시키거나, 장애물까지의 보다 정확한 거리 연산이 가능한 시스템에 대한 개발이 필요한 상황이다.
특히, 지면상에 계단이 위치하고, 모바일 플랫폼이 계단을 따라 내려가거나 올라가는 구동을 수행하기 위해서는, 계단을 인지하는 기술은 물론, 계단까지의 거리나, 계단이 상승하는 것인지 하강하는 것인지에 대한 보다 정확한 인지 능력을 가진 지면정보 획득시스템이 요구되고 있으나, 현재까지 관련 기술이 효과적으로 구현되지는 못하고 있다.
대한민국 등록특허 제10-2100840호 대한민국 공개특허 제10-2008-0045523호
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 모바일 플랫폼에 설치되어, 지면에 존재하는 단차, 장애물 또는 계단 등의 측정체를 효과적으로 검출하고, 상기 검출된 측정체까지의 거리 및 상대각도에 대한 정보를 획득하여 상기 측정체를 효과적으로 회피하거나, 필요한 경우 상기 측정체를 따라 상승 또는 하강의 구동을 효과적으로 수행할 수 있도록 정보를 제공하는 레이저를 이용한 지면정보 획득시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은 상기 지면정보 획득시스템을 이용한 지면정보 획득방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 상기 지면정보를 바탕으로 한 모바일 플랫폼 구동방법을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 의한 지면정보 획득시스템은 측정부, 지면정보 획득부, 상대각도 연산부, 틸팅각 연산부 및 거리 연산부를 포함한다. 상기 측정부는 지면을 향하여 레이저를 조사하는 한 쌍의 레이저들, 및 상기 조사된 레이저를 촬영하는 카메라를 포함한다. 상기 지면정보 획득부는 상기 촬영된 영상으로부터 추출된 라인을 바탕으로, 상기 지면의 정보를 획득한다. 상기 상대각도 연산부는 상기 획득된 지면정보로부터 상기 측정부가 상기 지면에 위치하는 측정체에 대하여 위치하는 방향인 상대각도를 연산한다. 상기 틸팅각 연산부는 상기 획득된 지면정보로부터 상기 카메라가 상기 지면을 향하는 방향으로 기울어진 틸팅각도를 연산한다. 상기 거리 연산부는 상기 틸팅각도를 바탕으로 상기 지면에 위치하는 측정체까지의 거리를 연산한다.
일 실시예에서, 상기 한 쌍의 레이저들은 상기 카메라의 일 측에 동시에 위치할 수 있다.
일 실시예에서, 상기 촬영된 영상을 처리하여 특정 파장의 색(color)만 추출하는 영상 처리부, 및 상기 추출된 정보로부터 모서리 및 라인 검출 기법을 적용하여 상기 레이저가 조사된 라인을 추출하는 라인 추출부를 더 포함할 수 있다.
일 실시예에서, 상기 라인 추출부는, 상기 레이저들이 상기 카메라의 일 측에 위치하는 것을 고려하여, 일정 각도 또는 일정 영역 이외의 라인들을 모두 제거할 수 있다.
일 실시예에서, 상기 지면에 위치하는 측정체는, 상기 지면으로부터 함몰되는 함몰부, 상기 지면에 위치하거나 지면으로부터 돌출되는 장애물, 상기 지면으로부터 상승하는 상승계단, 및 상기 지면으로부터 하강하는 하강계단 중 어느 하나일 수 있다.
일 실시예에서, 상기 지면정보 획득부는, 상기 추출된 라인들이 단속되지 않고 연장되는 경우, 전방의 상기 지면은 평지인 것으로 판단하고, 상기 추출된 라인들 중 일부가 단속되는 경우, 전방의 상기 지면 상에 장애물이나 함몰부가 위치하는 것으로 판단할 수 있다.
일 실시예에서, 상기 지면정보 획득부는, 상기 추출된 라인들이 동일한 패턴으로 단절되는 경우, 전방에 상기 지면으로부터 하강하는 하강계단이 위치하는 것으로 판단하고, 상기 추출된 라인들이 동일한 패턴으로 꺾인 경우, 전방에 상기 지면으로부터 상승하는 상승계단이 위치하는 것으로 판단할 수 있다.
일 실시예에서, 상기 상대각도 연산부는, 상기 추출된 라인들의 단절되는 부분 또는 꺾인 부분의 끝점들을 서로 연결하여, 상기 상대각도를 연산할 수 있다.
일 실시예에서, 상기 틸팅각 연산부는, 상기 추출된 라인들이 서로 만나는 지점인 소실점과 상기 카메라의 초점거리를 바탕으로 상기 틸팅각도를 연산할 수 있다.
일 실시예에서, 상기 틸팅각도(Atilt)는, 하기 식 (3)으로 연산되고,
Figure 112020141078760-pat00001
식 (3)
이 경우, yvanishing은 카메라 이미지 상에서 소실점과 영상의 주점(principal point) 사이의 픽셀거리, fy는 상기 카메라의 초점거리일 수 있다.
일 실시예에서, 상기 거리 연산부는, 상기 카메라의 영상주점(principle point)의 각도 및 상기 틸팅각도를 바탕으로 상기 촬영된 영상의 시작위치까지의 거리, 및 상기 측정체까지의 거리를 연산할 수 있다.
일 실시예에서, 상기 촬영된 영상의 시작위치까지의 거리(Doffset)는, 하기 식 (4)로 연산되고,
Figure 112020141078760-pat00002
식 (4)
이 경우, h는 상기 카메라의 지면으로부터의 높이, Atilt는 상기 틸팅각도, AFOV/2는 상기 카메라의 FOV 각의 절반일 수 있다.
일 실시예에서, 상기 측정체까지의 거리(dend)는, 하기 식 (5)로 연산되고,
Figure 112020141078760-pat00003
식 (5)
이 경우, h는 상기 카메라의 지면으로부터의 높이, hend는 라인 높이(pixel), hp는 주점의 높이(pixel), doffset은 측정체의 시작위치까지의 거리, Atilt는 상기 틸팅각도일 수 있다.
일 실시예에서, 상기 측정부는, 모바일 플랫폼(mobile platform)에 장착될 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 의한 지면정보 획득방법에서, 한 쌍의 레이저들에서 지면을 향하여 조사된 레이저를 카메라에 의해 촬영한다. 상기 촬영된 영상으로부터 추출된 라인을 바탕으로, 상기 지면의 정보를 획득한다. 상기 획득된 지면정보로부터 상기 카메라를 포함하는 측정부가 상기 지면에 대하여 위치하는 방향인 상대각도를 연산한다. 상기 획득된 지면정보로부터 상기 카메라가 상기 지면을 향하는 방향으로 기울어진 틸팅각도를 연산한다. 상기 틸팅각도를 바탕으로 상기 지면에 위치하는 측정체까지의 거리를 연산한다.
일 실시예에서, 상기 촬영된 영상을 처리하여 특정 파장의 색(color)만 추출하는 단계, 및 상기 추출된 정보로부터 모서리 및 라인 검출 기법을 적용하여 상기 레이저가 조사된 라인을 추출하는 단계를 더 포함할 수 있다. 이 경우, 상기 라인을 추출하는 단계에서는, 상기 레이저들의 조사 영역을 고려하여 일정 각도 및 일정 영역 이외의 라인들을 모두 제거할 수 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 의한 모바일 플랫폼 구동방법은 상기 지면정보 획득방법을 통해 도출된 상기 지면정보를 바탕으로, 상기 카메라가 장착된 모바일 플랫폼을 구동한다.
일 실시예에서, 상기 획득된 지면정보로부터, 상기 지면에 위치하는 측정체가 상승계단 또는 하강계단인 경우, 상기 상대각도를 연산할 수 있다.
일 실시예에서, 상기 연산된 상대각도가 양의 값 또는 음의 값을 가지는 경우, 상기 모바일 플랫폼을 우측 또는 좌측으로 구동시킬 수 있다.
일 실시예에서, 상기 연산된 상대각도가 영(zero)에 근접하는 경우,
상기 측정체까지의 거리가 기 설정된 범위 이내이면, 상기 모바일 플랫폼을 상기 상승계단을 따라 등반 구동시키거나 상기 하강계단을 따라 하강 구동시키고, 상기 측정체까지의 거리가 기 설정된 범위보다 크면, 상기 모바일 플랫폼을 전진 구동시킬 수 있다.
본 발명의 실시예들에 의하면, 지면에 조사되는 한 쌍의 레이저들에 대한 영상처리를 통해, 지면의 상태 정보, 특히 지면에 위치하는 계단이 상승계단인지 하강계단인지에 대한 정보를 용이하게 획득할 수 있다.
이 경우, 조사된 레이저로부터 라인을 추출하는 경우, 카메라에 대하여 레이저가 일 측에만 위치하므로, 일정 각도나 일정 영역 외의 라인들을 제거하여 조사된 레이저만을 용이하게 추출할 수 있으므로, 영상 처리가 용이하고, 추출된 라인으로부터, 지면의 상태에 대한 정보를 일관성 있게 획득할 수 있다.
특히, 지면에 계단이 위치하는 경우, 추출된 라인으로부터 모바일 플랫폼이 계단의 시작 위치에 대하여 위치하는 방향을 용이하게 연산할 수 있으며, 이를 바탕으로, 모바일 플랫폼이 계단에 대하여 수평하게 위치할 수 있도록 자세 제어를 용이하게 수행할 수 있다.
또한, 상기 추출된 라인으로부터 상대적으로 간단한 연산식을 통해 카메라가 지면을 향하여 기울어진 틸팅각도를 연산하고, 이를 바탕으로 지면에 위치하는 계단까지의 거리 및 계단의 총 길이 등의 관련 정보를 용이하게 획득할 수 있다.
그리하여, 상기 계단까지의 거리 등의 관련 정보를 바탕으로, 상기 모바일 플랫폼이 하강계단을 따라 하강하도록 구동시키거나, 상승계단을 따라 상승하도록 구동시킴으로써, 모바일 플랫폼이 지면에서 구동시 계단을 만나는 경우에도 손쉬운 식별 및 구동을 통해 계단을 통과할 수 있다.
도 1은 본 발명의 일 실시예에 의한 레이저를 이용한 지면정보 획득시스템 및 이를 구비한 모바일 플랫폼 시스템을 도시한 블록도이다.
도 2는 도 1의 측정부를 상세히 도시한 정면도이다.
도 3a는 종래기술에 의한 측정부를 이용한 검출상태를 도시한 모식도이고, 도 3b는 도 2의 측정부를 이용한 검출상태를 도시한 모식도이다.
도 4a는 도 1의 측정부가 측정체를 검출할 수 없는 상태를 도시한 모식도이고, 도 4b는 도 1의 측정부가 측정체를 검출할 수 있는 상태를 도시한 모식도이다.
도 5a는 도 1의 측정부를 이용하여 장애물이 없는 지면을 검출한 이미지이고, 도 5b는 5a의 이미지를 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
도 6a는 도 1의 측정부를 이용하여 함몰부가 위치하는 지면을 검출한 이미지이고, 도 6b는 도 6a의 이미지를 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
도 7a는 도 1의 측정부를 이용하여 장애물이 위치하는 지면을 검출한 이미지이고, 도 7b는 도 7a의 이미지를 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
도 8a는 도 1의 측정부를 이용하여 하강계단을 검출한 이미지이고, 도 8b는 도 8a에서 레이저의 식별력을 향상시킨 이미지이며, 도 8c는 하강계단에 대하여 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
도 9a는 도 1의 측정부를 이용하여 상승계단을 검출한 이미지이고, 도 9b는 도 9a에서 레이저의 식별력을 향상시킨 이미지이며, 도 9c는 상승계단에서 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
도 10a 내지 도 10c는 하강계단에서 카메라의 각도에 따라 검출되는 이미지들이고, 도 10d는 도 10c의 이미지를 영상 처리부를 이용하여 처리한 이미지이다.
도 11a 내지 도 11c는 상승계단에서 카메라의 각도에 따라 검출되는 이미지들이고, 도 11d는 도 11c의 이미지를 영상 처리부를 이용하여 처리한 이미지이다.
도 12a 내지 도 12d는 도 1의 거리 연산부에서, 촬영된 이미지를 바탕으로 카메라로부터 측정체까지의 거리를 연산하는 방법을 설명하기 위한 모식도들이다.
도 13a 및 도 13b는 도 1의 측정부에서 카메라의 설치 각도에 따라 인식될 수 있는 범위를 예시한 그래프들이다.
도 14a 내지 14c는 도 1의 틸팅각 연산부에서 카메라의 설치 각도를 연산하는 방법을 설명하기 위한 모식도들이다.
도 15a 내지 도 15c는 도 1의 틸팅각 연산부에서 소실점 위치를 바탕으로 카메라의 설치 각도를 연산하는 방법을 설명하기 위한 모식도들이다.
도 16은 지면정보를 바탕으로 한 모바일 플랫폼 구동방법을 도시한 흐름도이다.
도 17은 도 16에서, 레이저를 이용한 지면정보 획득방법을 도시한 흐름도이다.
도 18은 도 16의 모바일 플랫폼 구동방법을 상세히 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 의한 레이저를 이용한 지면정보 획득시스템 및 이를 구비한 모바일 플랫폼 시스템을 도시한 블록도이다.
도 1을 참조하면, 본 실시예에 의한 상기 레이저를 이용한 지면정보 획득시스템(100, 이하 지면정보 획득시스템)은 모바일 플랫폼(20)에 장착될 수 있으며, 상기 모바일 플랫폼(20)에 장착되어, 전체적으로 모바일 플랫폼 시스템(10)을 구현할 수 있다.
이 경우, 상기 모바일 플랫폼(20)은, 휠체어나 로봇 등과 같은 이동 가능한 플랫폼인 것으로, 후술하겠으나, 특히 계단을 따라 상승 또는 하강이 가능하도록 구동되는 플랫폼일 수 있다.
또한, 상기 모바일 플랫폼(20)의 경우, 구동부(21)를 통해 필요한 구동이 수행된다.
구체적으로, 상기 지면정보 획득시스템(100)은 측정부(110), 영상 처리부(120), 라인 추출부(130), 지면정보 획득부(140), 상대각도 연산부(150), 틸팅각 연산부(160) 및 거리 연산부(170)를 포함한다.
상기 지면정보 획득시스템(100)은, 상기 모바일 플랫폼(20)이 이동하는 전방을 중심으로 지면(30)에 대한 정보를 획득하는 것은 물론, 상기 지면(30) 상에 측정체(40)가 존재하는 경우 상기 지면(30) 정보와 함께, 상기 측정체(40)의 정보도 동시에 획득하게 된다.
이 경우, 상기 측정체(40)는, 예를 들어, 상기 지면(30)으로부터 함몰되는 함몰부, 상기 지면(30)에 위치하거나 지면으로부터 돌출되는 장애물, 상기 지면(30)으로부터 상승하는 상승계단, 및 상기 지면(30)으로부터 하강하는 하강계단 중 어느 하나일 수 있으며, 상기 상승계단 또는 상기 하강계단은 지면에 위치하는 측정체로 인지될 수도 있고, 지면 자체가 상승계단 또는 하강계단인 것으로 인지될 수도 있다.
이하에서는, 상기 지면정보 획득시스템(100)의 각 구성들에 대하여 도면을 참조하여 상세히 설명한다.
도 2는 도 1의 측정부를 상세히 도시한 정면도이다. 도 3a는 종래기술에 의한 측정부를 이용한 검출상태를 도시한 모식도이고, 도 3b는 도 2의 측정부를 이용한 검출상태를 도시한 모식도이다.
우선, 도 2를 참조하면, 상기 측정부(110)는 한 쌍의 레이저들(112, 113) 및 카메라(111)를 포함한다.
이 경우, 상기 측정부(110)는 도시된 바와 같이, 상기 모바일 플랫폼(20)의 하측에 별도의 모듈로서 장착될 수 있으며, 이러한 상기 측정부(110)의 장착 위치는 다양하게 가변될 수 있다.
상기 한 쌍의 레이저들(112, 113)은 상기 지면(30)을 향하여 레이저를 조사하며, 상기 카메라(111)의 일 측에 한 쌍이 모두 위치한다.
상기 카메라(111)는 상기 한 쌍의 레이저들(112, 113)이 레이저를 조사하는 경우, 상기 지면(30) 및 상기 지면(30) 상에 조사된 레이저 영상을 촬영한다.
이 경우, 상기 카메라(111)는 2차원 영상을 촬영하는 카메라일 수 있다. 그리하여, 상기 카메라(111)에 의해 촬영된 영상에는 상기 지면(30) 및 상기 지면(30) 상에 표시되는 조사된 레이저 라인이 포함될 수 있다.
도 3a를 참조하면, 종래기술에서와 같이 하나의 카메라(111)를 기준으로 양 측에 각각 제1 및 제2 레이저들(112, 113)이 위치하여, 지면(30)으로 레이저를 조사하는 경우, 상기 카메라(111)에 의해 촬영된 영상에서는, 상기 제1 레이저(112)에 의해 조사된 제1 라인(114)과 상기 제2 레이저(113)에 의해 조사된 제2 라인(115)은 서로 다른 방향의 기울기를 갖도록 표시된다.
즉, 상기 제1 라인(114)은 상기 영상, 즉 이미지 상에서 양의 기울기를 가지도록 표시되지만, 상기 제2 라인(115)은 상기 이미지 상에서 음의 기울기를 가지도록 표시된다.
이에, 후속되는 상기 영상의 처리에 있어, 양의 기울기와 음의 기울기를 가지는 라인 모두를 검출하여야 하며, 이에 대한 식별에 시간이 소요될 수 있으므로, 라인 검출의 정확도가 감소하고, 영상처리 시간도 증가하는 문제가 야기될 수 있다.
이에, 본 실시예에서는, 도 3b에서와 같이, 상기 카메라(111)를 기준으로 일 측에 한 쌍의 제1 및 제2 레이저들(114, 115)을 위치시켜, 상기 제1 레이저(114)에 의해 조사되는 제1 라인(114) 및 제2 레이저(115)에 의해 조사되는 제2 라인(115)이 모두, 상기 이미지 상에서 양의 기울기(또는 음의 기울기)만을 가지도록 표시되도록 한다.
그리하여, 후속되는 상기 영상의 처리에 있어, 양의 기울기(또는 음의 기울기)만을 가지는 라인만을 검출하거나, 특정 영역, 예를 들어 상기 카메라(111)를 기준으로 좌측(또는 우측)에만 위치하는 라인만을 검출하는 것으로, 식별 시간을 감소시킬 수 있어, 라인 검출의 정확도가 증가하며, 영상처리 시간도 감소시킬 수 있다.
도 4a는 도 1의 측정부가 측정체를 검출할 수 없는 상태를 도시한 모식도이고, 도 4b는 도 1의 측정부가 측정체를 검출할 수 있는 상태를 도시한 모식도이다.
도 4a를 참조하면, 상기 측정부(110)가 상기 모바일 플랫폼(20) 상에 수평 방향으로 설치되는 경우, 상기 측정부(110)의 카메라(111)는 지면(30)에 위치하는 측정체(40)를 촬영할 수 없다.
즉, 카메라의 주점(principle point)이 지면(30)에 수평방향으로 연장되는 것은 물론, 카메라의 FOV(field of view, bottom) 및 FOV(field of view, top) 모두 상기 측정체(40)를 향하도록 배치되지 못하기 때문이다.
이에, 본 실시예에서는 도 4b에서와 같이, 상기 카메라(111)는 상기 모바일 플랫폼(20)에 대하여, 즉 상기 모바일 플랫폼(20)이 지면(30)에 대하여 수직인 수직 방향에 대하여 소정의 틸팅각도(Atilt) 만큼 기울어지도록 장착되어야 한다.
그리하여, 상기 카메라의 주점(principle point)이 상기 지면(30) 상에 위치하는 상기 측정체(40)를 향하게 되며, 상기 측정체(40)가 상기 카메라의 FOV(bottom) 및 FOV(top) 사이에 위치할 수 있다.
이 경우, 상기 카메라(111)가 상기 모바일 플랫폼(20)에 대하여 설치된 틸팅각도(Atilt)는 상기 카메라(111)의 수직방향(즉, 지면에 대하여 수직인 방향) 시야 각도(수직방향_field of view)와 하기의 식 (1)의 관계를 만족하여야 한다.
Figure 112020141078760-pat00004
식 (1)
도 5a는 도 1의 측정부를 이용하여 장애물이 없는 지면을 검출한 이미지이고, 도 5b는 5a의 이미지를 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
도 5a는, 장애물이 없는 평지 상태의 지면(30)을 향하여 상기 레이저들(112, 113)을 조사하고, 상기 카메라(111)로 촬영한 이미지이다.
이와 같이, 상기 카메라(111)로 촬영된 이미지 또는 영상(이하, 영상이라 통칭한다)은, 상기 영상 처리부(120)를 통해 처리되며, 도 5b에서와 같이 처리된 영상이 획득된다.
이 경우, 상기 영상 처리부(120)는, 예를 들어, 상기 카메라(111)로 촬영된 영상에서 특정 파장을 가지는 색(color)만을 추출하여 영상을 처리할 수 있다. 이 때, 추출되는 특정 파장은, 상기 조사되는 레이저를 명확하게 식별하기 위한 것으로, 상기 레이저들(112, 113)에 의해 조사되는 레이저의 색상이 가지는 파장일 수 있다.
나아가, 상기 라인 추출부(130)에서는, 상기 영상 처리부(120)에서 처리된 영상으로부터, 소정의 라인 검출 기법을 적용하여 라인(line), 즉 레이저에 의해 조사된 라인을 추출한다.
이 경우, 상기 라인 추출부(130)에서는, 다양한 라인 추출 방법이 적용될 수 있는데, 예를 들어, Canny 모서리 검출 기법을 이용하여 모서리를 우선 검출하고, 허프 변환(Hough Transform)을 통해 라인을 검출할 수 있다.
한편, 앞서 설명한 바와 같이, 상기 한 쌍의 레이저들(112, 113)은 상기 카메라(111)의 일 측에만 위치하므로, 상기 라인 추출부(130)에서는, 상기 허프 변환을 통해 검출된 라인에서, 일정 각도 또는 일정 영역 이외의 라인들을 모두 제거하게 된다.
예를 들어, 상기 라인 추출부(130)에서는, 상기 카메라(111)가 상기 레이저들(112, 113)의 우측에 위치하는 경우라면, 상기 라인들 중, 기울기가 음인 라인들을 모두 제거할 수 있다.
또한, 상기 라인 추출부(130)에서는, 상기 카메라(111)가 상기 레이저들(112, 113)의 우측에 위치하는 경우라면, 상기 카메라(111)를 기준으로 좌측에 위치하는 모든 라인들을 제거할 수도 있다.
이상과 같이, 상기 라인 추출부(130)에서는, 상기 영상 처리부(120)에서 처리된 처리 영상(50)에서 라인들(51)을 추출하게 되며, 이렇게 추출된 라인들(51)은 도 5b에 예시하였다.
상기 지면정보 획득부(140)에서는, 상기 라인 추출부(130)를 통해 추출된 라인들을 바탕으로, 상기 지면(30)의 상태 또는 상기 지면(30) 상에 위치하는 장애물의 상태에 대한 정보인 지면정보를 획득하게 된다.
예를 들어, 도 5b에 도시된 상기 처리영상(50)에서의 추출된 라인들(51)의 연장상태를 바탕으로, 상기 지면정보 획득부(140)에서는, 상기 지면(30)에 별다른 장애물이 없는 것으로, 상기 지면(30)이 평지라는 지면정보를 획득할 수 있다.
즉, 상기 처리영상(50)에는, 한 쌍의 라인들(51)이 단속되지 않고 연장되는 것으로, 이러한 상기 라인들(51)의 상태 정보를 바탕으로, 상기 지면(30)이 평지라는 지면정보를 획득하게 된다.
도 6a는 도 1의 측정부를 이용하여 함몰부가 위치하는 지면을 검출한 이미지이고, 도 6b는 도 6a의 이미지를 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
한편, 상기 카메라(111)에서 촬영된 영상이 도 6a에 도시된 바와 같은 경우라면, 상기 영상 처리부(120)는 상기 카메라(111)의 촬영 영상을 앞서 설명한 방법으로 처리하고, 상기 라인 추출부(130)는 상기 영상 처리부(120)에서의 처리영상(50)으로부터 앞서 설명한 추출 방법으로 라인들(51)을 추출한다.
그리하여, 상기 지면정보 획득부(140)에서는, 상기 처리영상(50)에서 연장되는 상기 라인들(51)의 상태정보를 바탕으로, 상기 지면(30)의 정보를 획득한다.
즉, 도 6b의 경우, 상기 지면정보 획득부(140)에서는, 상기 처리영상(50)에서, 추출된 라인들(51) 중 일부가 단속되는 단속부(52)가 존재하는 것, 및 상기 단속부(53)의 연장 방향을 바탕으로, 상기 지면(30) 상에 함몰부(41)가 위치하는 것으로 상기 지면의 정보를 획득하게 된다.
도 7a는 도 1의 측정부를 이용하여 장애물이 위치하는 지면을 검출한 이미지이고, 도 7b는 도 7a의 이미지를 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
마찬가지로, 상기 카메라(111)에서 촬영된 영상이 도 7a에 도시된 바와 같은 경우라면, 상기 영상 처리부(120)는 상기 카메라(111)의 촬영 영상을 앞서 설명한 방법으로 처리하고, 상기 라인 추출부(130)는 상기 영상 처리부(120)에서의 처리영상(50)으로부터 앞서 설명한 추출 방법으로 라인들(51)을 추출한다.
그리하여, 상기 지면정보 획득부(140)에서는, 상기 처리영상(50)에서 연장되는 상기 라인들(51)의 상태정보를 바탕으로, 상기 지면(30)의 정보를 획득한다.
즉, 도 7b의 경우, 상기 지면정보 획득부(140)에서는, 상기 처리영상(50)에서, 추출된 라인들(51) 중 일부가 단속되는 단속부(53)가 존재하는 것, 및 상기 단속부(53)의 연장 방향을 바탕으로, 상기 지면(30) 상에 장애물(42)이 돌출되어 위치하는 것으로 상기 지면의 정보를 획득하게 된다.
이상과 같이, 상기 지면정보 획득부(140)에서는, 상기 영상으로부터 추출된 라인들의 연장 상태를 바탕으로, 상기 지면(30)의 상태 및 상기 지면(30) 상에 위치하는 장애물 등에 대한 지면정보를 획득하게 된다.
한편, 이하에서는, 상기 지면(30) 상에 계단이 존재하는 경우의 지면정보 획득에 대하여 설명한다.
도 8a는 도 1의 측정부를 이용하여 하강계단을 검출한 이미지이고, 도 8b는 도 8a에서 레이저의 식별력을 향상시킨 이미지이며, 도 8c는 하강계단에 대하여 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
우선, 상기 카메라(111)에서 촬영된 영상이 도 8a에 도시된 바와 같을 수 있다. 즉, 도 8a에서와 같이, 지면(30) 상에 하강하는 하강계단(43)이 위치하는 것으로 촬영 영상이 획득될 수 있다.
이와 같이 촬영 영상이 획득되면, 상기 영상 처리부(120)는 상기 카메라(111)의 촬영 영상을 앞서 설명한 방법으로 처리하여 예를 들어 도 8b와 같은 처리영상을 획득할 수 있다.
이 후, 상기 라인 추출부(130)는 도 8b와 같이 상기 영상 처리부(120)에서 처리된 처리영상으로부터 앞서 설명한 추출 방법으로 라인들(51)을 추출하여 도 8c와 같은 라인들이 추출된 정보를 획득할 수 있다.
그리하여, 상기 지면정보 획득부(140)에서는, 상기 라인들(51)의 상태정보를 바탕으로, 상기 지면(30)의 정보를 획득한다.
즉, 도 8c의 경우, 상기 지면정보 획득부(140)에서는, 상기 추출된 라인들(51)이 동일한 패턴을 가지며 복수개가 단절되는 단절부(53)가 존재하는 것을 바탕으로, 상기 지면(30) 상에 하강하는 하강계단(43)이 위치하는 것으로 상기 지면의 정보를 획득하게 된다.
도 9a는 도 1의 측정부를 이용하여 상승계단을 검출한 이미지이고, 도 9b는 도 9a에서 레이저의 식별력을 향상시킨 이미지이며, 도 9c는 상승계단에서 도 1의 영상 처리부를 이용하여 처리한 이미지이다.
유사하게, 상기 카메라(111)에서 촬영된 영상이 도 9a에 도시된 바와 같을 수 있다. 즉, 도 9a에서와 같이, 지면(30) 상에 상승하는 상승계단(44)이 위치하는 것으로 촬영 영상이 획득될 수 있다.
이와 같이 촬영 영상이 획득되면, 상기 영상 처리부(120)는 상기 카메라(111)의 촬영 영상을 앞서 설명한 방법으로 처리하여 예를 들어 도 9b와 같은 처리영상을 획득할 수 있다.
이 후, 상기 라인 추출부(130)는 도 9b와 같이 상기 영상 처리부(120)에서 처리된 처리영상으로부터 앞서 설명한 추출 방법으로 라인들(51)을 추출하여 도 9c와 같은 라인들이 추출된 정보를 획득할 수 있다.
그리하여, 상기 지면정보 획득부(140)에서는, 상기 라인들(51)의 상태정보를 바탕으로, 상기 지면(30)의 정보를 획득한다.
즉, 도 9c의 경우, 상기 지면정보 획득부(140)에서는, 상기 추출된 라인들(51)이 동일한 패턴을 가지며 꺾이는, 소위 꺾인부들(55)이 존재하는 것을 바탕으로, 상기 지면(30) 상에 상승하는 상승계단(44)이 위치하는 것으로 상기 지면의 정보를 획득하게 된다.
이상과 같이, 상기 지면정보 획득부(140)에서는, 상기 영상으로부터 추출된 라인들의 연장 상태를 바탕으로, 상기 지면(30)에 상승하는 상승계단 또는 하강하는 하강계단이 위치하는 가의 여부에 대한 지면정보를 획득하게 된다.
일반적으로, 지면 상에 장애물이 존재하는 경우 이를 회피하여 구동하는 것으로 상기 모바일 플랫폼(20)은 용이하게 장애물 회피 구동을 구현할 수 있다.
그러나, 지면 상에 상승계단 또는 하강계단이 존재하는 경우, 상기 상승계단 또는 하강계단을 따라 상승 구동하거나 하강 구동되어야 하며, 이와 같이 상기 모바일 플랫폼(20)이 계단을 따라 상승구동 또는 하강구동을 수행하기 위해서는, 상기 모바일 플랫폼(20)이 상기 계단을 향하여 위치하는 각도, 및 상기 모바일 플랫폼(20)으로부터 상기 계단까지의 거리 등에 대한 구체적인 정보를 획득하여야 하며, 이러한 정보를 바탕으로 계단을 따른 상승구동 또는 하강구동을 보다 정확하게 수행할 수 있다.
이에, 이하에서는, 상기 지면 상에 상승계단 또는 하강계단이 존재하는 경우, 본 실시예에 의한 지면정보 획득시스템(100)에서, 상기 모바일 플랫폼(20)이 상기 계단을 향하여 위치하는 각도, 및 상기 모바일 플랫폼(20)으로부터 상기 계단까지의 거리를 도출하는 내용을 구체적으로 설명한다.
도 10a 내지 도 10c는 하강계단에서 카메라의 각도에 따라 검출되는 이미지들이고, 도 10d는 도 10c의 이미지를 영상 처리부를 이용하여 처리한 이미지이다. 도 11a 내지 도 11c는 상승계단에서 카메라의 각도에 따라 검출되는 이미지들이고, 도 11d는 도 11c의 이미지를 영상 처리부를 이용하여 처리한 이미지이다.
상기 모바일 플랫폼(20)이 상기 지면(30)을 따라 이동하는 과정에서, 전방에 상기 측정체(40)로서, 계단(43)이 존재하는 경우, 상기 모바일 플랫폼(20)은 상기 계단을 향하여 다양한 위치로 위치할 수 있다.
즉, 상기 모바일 플랫폼(20)이 위치하는 방향에 대하여, 상기 측정체(40)인 계단(43)은 수평하게 위치하거나, 양의 각도 또는 음의 각도로 기울어진 상태로 위치할 수 있다.
이러한 상기 모바일 플랫폼(20)의 상기 계단(43)에 대하여 위치하는 방향은 상기 카메라(111)에 의해 촬영된 영상으로부터 확인될 수 있다.
예를 들어, 도 10a 및 도 11a에 도시된 바와 같이, 상기 모바일 플랫폼(20)에 장착된 카메라(111)에 의해 촬영된 영상(이 경우, 상기 모바일 플랫폼(20)이 위치하는 방향과 카메라(111)가 위치하는 방향은 동일하다고 가정함)에서, 상기 카메라(111)의 위치에 대하여 하강계단(43) 및 상승계단(44)은 양(+)의 기울기를 가지는 것으로 계단과의 상대각도가 확인될 수 있다.
이와 달리, 도 10c 및 도 11c에 도시된 바와 같이, 상기 모바일 플랫폼(20)에 장착된 카메라(111)에 의해 촬영된 영상에서, 상기 카메라(111)의 위치에 대하여 하강계단(43) 및 상승계단(44)은 음(-)의 기울기를 가지는 것으로 계단과의 상대각도가 확인될 수 있다.
나아가, 도 10b 및 도 11b에 도시된 바와 같이, 상기 모바일 플랫폼(20)에 장착된 카메라(111)에 의해 촬영된 영상에서, 상기 카메라(111)의 위치에 대하여 하강계단(43) 및 상승계단(44)은 평행하게 위치하는 것으로, 즉 상대각도가 0(zero)에 근접하는 것으로 확인될 수도 있다.
이상과 같이, 상기 지면(30)에 계단(43, 44)이 위치하는 경우, 상기 모바일 플랫폼(20)과 상기 계단(43, 44)과의 상대 각도는 상기 카메라(111)에 의해 촬영된 영상으로부터, 나아가 상기 영상 처리부(120)에서 처리된 처리영상으로부터 확인될 수 있다.
한편, 이와 같이, 상기 모바일 플랫폼(20)과 상기 계단(43, 44)이 소정의 상대각도를 가지는 것으로 판단되는 경우, 상기 구동부(21)에서는 상기 상대각도를 바탕으로 상기 모바일 플랫폼(20)의 구동 방향을 제어하여야 한다.
즉, 도 10a 및 도 11a에서와 같이, 상기 상대각도가 양의 기울기를 가지는 경우, 상기 구동부(21)는 상기 모바일 플랫폼(20)이 좌측 방향으로 회전하도록 회전 구동을 수행(즉, 우측 바퀴만을 구동시킴)하고, 도 10c 및 도 11c에서와 같이, 상기 상대각도가 음의 기울기를 가지는 경우, 상기 구동부(21)는 상기 모바일 플랫폼(20)이 우측 방향으로 회전하도록 회전 구동을 수행(즉, 좌측 바퀴만을 구동시킴)하며, 도 10b 및 도 11b에서와 같이, 상기 상대각도가 영(zero)에 근접하는 경우, 상기 구동부(21)는 상기 모바일 플랫폼(20)에 대하여 회전 구동을 수행하지 않고 직진으로 구동을 수행하게 된다.
나아가, 상기와 같이 구동부(21)에 의해 상기 모바일 플랫폼(20)의 회전 구동량을 제어하기 위해서는, 상기 모바일 플랫폼(20)이 상기 계단(43, 44)에 대하여 위치하는 방향인 상기 상대각도를 연산하는 것이 필요하다.
상기 상대각도는 상기 상대각도 연산부(150)를 통해 연산되는데, 상기 상대각도 연산부(150)는, 상기 카메라(111)가 상기 지면(30)에 위치하는 측정체(40)에 대하여 위치하는 방향인 상대각도를 연산한다.
즉, 도 10d 및 도 11d를 참조하면, 상기 상대각도 연산부(150)에서는 상기 상대각도(θ)를 구하기 위해, 상기 영상 처리부(120)에서 처리된 처리영상에서, 한 쌍의 레이저들(112, 113)에 의해 조사된 레이저 라인들(51)의 끝점들(P1, P2)을 서로 연결하여 소정의 라인을 형성한 후, 상기 라인 P1~P2를 연장(52)하여, 상기 모바일 플랫폼(20)의 주행 방향에 평행인 평행선(53)과의 각도를 상기 상대각도(θ)로 정의한다.
그리하여, 상기 상대각도(θ)는 하기 식 (2)를 통해 연산될 수 있다.
Figure 112020141078760-pat00005
식 (2)
이 경우, P1=(x1, y1)이고, P2=(x2, y2)로 정의되며, 상기 P1 및 P2는 모두 처리영상에서의 pixel 좌표이다.
이상과 같이 상기 식 (2)를 통해, 상기 상대각도 연산부(150)에서는, 상기 모바일 플랫폼(20)의 진행방향에 대하여, 전방에 위치하는 계단(43, 44)이 위치하는 상대각도를 연산할 수 있다.
다만, 상기 모바일 플랫폼(20)과 상기 계단(43, 44)과의 상대각도가 연산되는 경우, 상기 모바일 플랫폼(20)의 회전 구동을 통해 상기 계단(43, 44)을 향하는 방향을 수평하게 교정할 수 있으나, 이는 방향에 대한 교정일 뿐, 실제 상기 모바일 플랫폼(20)과 상기 계단(43, 44)과의 거리에 대한 정보가 획득되지 않으면, 상기 모바일 플랫폼(20)이 상기 계단(43, 44) 방향으로 이동되어야 하는 거리를 알 수는 없다.
이에, 이하에서는 상기 틸팅각 연산부(160) 및 상기 거리 연산부(170)를 통해, 최종적으로 상기 지면(30)에 위치하는 측정체(40), 즉 계단(43, 44)까지의 거리를 연산하는 것에 대하여 상술한다.
도 12a 내지 도 12d는 도 1의 거리 연산부에서, 촬영된 이미지를 바탕으로 카메라로부터 측정체까지의 거리를 연산하는 방법을 설명하기 위한 모식도들이다.
우선, 도 12a는 하강계단(43)에 대하여 상기 영상 처리부(120) 및 상기 라인 추출부(130)를 통해 처리영상에서 라인이 추출된 상태를 도시한 이미지이며, 도 12b는 도 12a의 이미지를 기하학적으로 설명하기 위해 상기 카메라(111)의 촬영 상태에 대하여 측면에서 관측한 측면도이다.
상기 12a의 이미지로부터는, 이미지(50)의 하부 끝단에 해당되는 상기 카메라(111)의 FOV(bottom)에 대한 정보, 이미지(50)의 상부 끝단에 해당되는 상기 카메라(111)의 FOV(top)에 대한 정보, 상기 카메라(111)의 영상 주점(principle point)에 대한 정보를 확인할 수 있다.
또한, 도 12b에 도시된 바와 같이, 상기 카메라(111)의 설치 높이(h) 정보 역시 알고 있는 정보에 해당되므로, 이상과 같은 정보를 바탕으로, 기하학적인 수식을 적용하여 상기 측정체(40)인 상기 계단(43)의 시작 위치(A), 즉, 상기 계단(43)까지의 거리 정보를 획득할 수 있다.
즉, 상기 카메라(111)의 위치로부터 상기 도 12a의 이미지(50)가 시작되는 시작 위치까지의 거리인 doffset 정보를 도출할 수 있으며, 이를 바탕으로 상기 카메라(111)의 위치로부터 상기 계단(43)이 시작되는 시작 위치(A)까지의 거리인 dend 정보를 도출할 수 있다.
다만, 앞서 설명한 바와 같이, 상기 계단(43)까지의 거리 정보를 획득하기 위해서는, 도 4b를 참조하여 설명한 상기 틸팅각도(Atilt, τ)를 상기 틸팅각 연산부(160)를 통해 우선 연산하여야 한다.
즉, 도 12c를 참조하면, 상기 카메라(111)가 지면(30)을 촬영하기 위해, 수평방향으로부터 지면(30)을 향하는 방향으로 소정의 틸팅각도(Atilt, τ)만큼 기울어지면(즉, 지면에 수직인 방향으로 연장되는 연장선(60)에 대하여 τ만큼 틸팅됨), 상대적으로 상기 카메라(111)의 영상 주점(principle point)이 향하는 방향은 상기 연장선(60)을 기준으로 (90°-τ)의 각을 이루게 된다.
또한, 도 12d에 도시된 바와 같이, 상기 카메라(111)의 FOV(bottom)과 상기 연장선(60) 사이는 (90°-τ-FOV/2)의 각을 이루게 된다.
특히, 이러한 틸팅각은 다양한 주행환경에 따라 가변될 수 있으므로 상기 틸팅각 연산부(160)를 통한 상기 틸팅각의 연산은 상기 거리 정보 획득을 위해 선행되어야 한다.
도 13a 및 도 13b는 도 1의 측정부에서 카메라의 설치 각도에 따라 인식될 수 있는 범위를 예시한 그래프들이다.
한편, 앞선 도 4a 및 도 4b를 참조하여 설명한 바와 같이, 상기 카메라(111)를 이용하여 지면(30)에 위치하는 측정체(40)를 촬영하기 위해서는, 상기 카메라(111)는 지면을 향하는 방향으로 소정의 틸팅각도(Atilt, τ)만큼 기울어지도록 배치되어야 한다.
그러나, 이러한 상기 카메라(111)가 지면을 향하는 방향으로의 틸팅각도에 따라 전방에 위치하는 측정체(40)를 인식할 수 있는 범위가 차이가 발생하게 되며, 이에 따라 상기 카메라(111)의 틸팅각도를 연산하는 것은 매우 중요하다.
예를 들어, 도 13a에 도시된 바와 같이, 상기 틸팅각도(Atilt, τ)가 27°인 경우, 상기 카메라(111)를 통해서는 전방의 약 2m 내지 4.5m 범위의 계단(PA)을 인식할 수 있으나, 도 13b에서와 같이, 상기 틸팅각도(Atilt, τ)가 30°인 경우, 상기 카메라(111)를 통해서는 전방의 약 1m 내지 2m 범위의 계단(PA)을 인식할 수 있다.
이에 따라, 상기 측정체(40)의 위치 등을 고려하여 상기 카메라(111)의 틸팅각을 가변시키는 것이 필요하며, 특히, 상기 모바일 플랫폼(20)이 투-휠(two wheel) 등과 같은 세그웨이 타입인 경우, 주행 중에 몸체의 각도가 지속적으로 변화하기 때문에 이러한 상기 카메라(111)의 틸팅각을 정확하게 연산하는 것은 필수적이다.
도 14a 내지 14c는 도 1의 틸팅각 연산부에서 카메라의 설치 각도, 즉 틸팅각을 연산하는 방법을 설명하기 위한 모식도들이다.
도 14a를 참조하면, 상기 카메라(111)가 설치된 틸팅각도(Atilt, τ)가 0(zero)도인 경우, 상기 카메라(111)의 영상주점은 지면(30)과 평행하며, 이에 따라 처리영상(50)에서 식별되는 상기 레이저 라인들(51)은 소실점(B), 즉 영상주점에 수렴하게 된다.
이와 달리, 도 14b를 참조하면, 상기 카메라(111)가 설치된 틸팅각도(Atilt, τ)가 90도인 경우, 상기 카메라(111)의 영상주점은 지면(30)과 수직하며, 이에 따라 처리영상(50)에서 식별되는 상기 레이저 라인들(51)은 서로 평행하게 연장된다.
나아가, 도 14c를 참조하면, 상기 카메라(111)가 설치된 틸팅각도(Atilt, τ)가 0도 내지 90도의 범위라면, 상기 카메라(111)의 영상주점은 지면(30)을 향하도록 사선으로 연장되며, 이에 따라 처리영상(50)에서 식별되는 상기 레이저 라인들(51)은 소실점을 향하여 수렴하는 형태로 연장된다.
따라서, 도 14c에 도시된 레이저 라인들(51)의 연장 상태를 바탕으로, 상기 소실점의 위치를 도출할 수 있으며, 이를 바탕으로, 상기 카메라(111)의 틸팅각도(Atilt, τ)를 연산할 수 있다.
도 15a 내지 도 15c는 도 1의 틸팅각 연산부에서 소실점 위치를 바탕으로 카메라의 설치 각도를 연산하는 방법을 설명하기 위한 모식도들이다.
도 15a 내지 도 15c를 참조하면, 촬영된 영상을 처리한 처리 영상 또는 이미지(D)에서, 상기 레이저 라인들(51)이 연장되어 소실점(B)에서 만나는 경우, 상기 카메라(111)의 영상 주점이 향하는 이미지상의 위치(C)로부터 상기 소실점(B)까지의 거리를 yvanishing으로 정의하고, 상기 카메라(111)의 초점거리를 fy로 가정하면, 상기 카메라(111)의 틸팅각도(Atilt, τ)는 하기 식 (3)으로 연산된다.
이 경우, 상기 yvanishing은 이미지 상의 pixel 거리를 의미한다.
Figure 112020141078760-pat00006
식 (3)
나아가, 상기 틸팅각 연산부(160)가 상기 식 (43)을 통해 상기 카메라(11)의 틸팅각도를 연산하면, 이를 바탕으로, 상기 거리 연산부(170)는 하기 식 (4)와 같이 상기 측정체의 시작위치까지의 거리(doffset, 도 12b 참조)를 연산한다.
Figure 112020141078760-pat00007
식 (4)
이 경우, h는 상기 카메라(111)의 지면(30)으로부터의 높이이며, AFOV/2는 상기 카메라의 FOV 각의 절반을 의미한다.
나아가, 상기 식 (4)를 바탕으로, 상기 거리 연산부(170)는 하기 식 (5)와 같이, 상기 측정체(43)의 시작위치까지의 거리(dend, 도 12b 참조)를 연산한다.
Figure 112020141078760-pat00008
식 (5)
이 경우, hend는 라인 높이를 이미지상의 pixel로 도출한 값이고, hp는 영상 주점의 높이를 이미지상의 pixel로 도출한 값이다.
이하에서는, 상기 설명한 지면정보 획득시스템(100)을 이용한 지면정보 획득방법, 및 상기 지면정보 획득방법을 이용한 상기 모바일 플랫폼(20)의 구동방법에 대하여 설명한다.
도 16은 지면정보를 바탕으로 한 모바일 플랫폼 구동방법을 도시한 흐름도이다. 도 17은 도 16에서, 레이저를 이용한 지면정보 획득방법을 도시한 흐름도이다. 도 18은 도 16의 모바일 플랫폼 구동방법을 상세히 도시한 흐름도이다.
도 16을 참조하면, 우선, 상기 모바일 플랫폼 구동방법에서는, 상기 지면정보 획득시스템(100)을 이용하여, 상기 모바일 플랫폼(20)의 전방에 위치하는 지면(30)에 대한 정보를 획득한다(단계 S10).
구체적으로, 상기 지면정보 획득시스템(100)을 이용한 지면 정보 획득(단계 S10)에서는, 상기 지면정보 획득시스템(100)에 구비된 측정부(110)를 이용하여 촬영된 레이저 라인이 포함된 영상에 대하여, 영상 처리를 수행하여 상기 레이저 라인들을 추출하고(단계 S100), 상기 추출된 라인들을 바탕으로 상기 지면(30)에 대한 정보를 획득한다(단계 S200).
보다 구체적으로, 도 17을 동시에 참조하면, 상기 측정부(110)의 한 쌍의 레이저들(112, 113)은 상기 지면(30)을 향하여 레이저를 조사하고, 상기 카메라(111)가 상기 조사된 레이저 영상을 획득한다(단계 S110).
이 후, 상기 영상 처리부(120)에서는, 상기 획득된 카메라(111)의 촬영 영상에 대하여, 소정의 영상처리를 수행하여, 특정 파장의 색(color)만을 추출한다(단계 S120). 그리하여, 상기 촬영된 영상으로부터, 상기 레이저 라인들이 명확하게 현출될 수 있다.
이 후, 상기 라인 추출부(130)에서는, 상기 처리된 영상으로부터, Canny 모서리 검출 기법을 사용하여 모서리를 검출하고(단계 S130), 허프 변환(Hough transform)을 통해 라인들을 검출한 후(단계 S140), 일정 영역 및 일정 각도 이외의 라인들을 모두 제거하여(단계 S150, 단계 S160), 최종적으로 상기 레이저 라인들만을 추출한다.
이 경우, 상기 레이저들(112, 113)이 상기 카메라(111)의 일 측에만 위치하므로, 상기 일정 영역 및 일정 각도 이외의 라인들을 일괄적으로 제거하더라도 상기 레이저 라인들은 제거되지 않고 잔류하여, 상기 레이저 라인들만을 용이하게 추출할 수 있음은 앞서 설명한 바와 같다.
이상과 같이, 영상 처리로 라인을 추출한 이후(단계 S100), 상기 추출된 라인들을 바탕으로 지면 정보를 획득하는데(단계 S200), 상기 지면 정보의 획득에서는, 상기 라인들의 패턴을 바탕으로 지면 정보가 획득될 수 있다.
즉, 도 17을 참조하면, 상기 지면정보 획득부(140)에서는, 상기 추출된 라인들이 모두 동일한 패턴으로 단절되는 경우(단계 S210), 전방에 상기 지면(30)으로부터 하강하는 하강계단이 위치하는 것으로 판단하고(단계 S211), 상기 추출된 라인들이 모두 동일한 패턴으로 꺾인 경우(단계 S220), 전방에 상기 지면(30)으로부터 상승하는 상승계단이 위치하는 것으로 판단하고(단계 S221), 상기 추출된 라인들이 모두 단속되지 않고 연장되는 경우, 즉 곧은 직선으로 연장되는 경우(단계 S230), 전방에 위치하는 상기 지면(30)은 평지인 것으로 판단하며(단계 S231), 상기 추출된 라인들 중 일부가 단속되는 것과 같이 상기 설명한 패턴 외의 패턴이 도출되는 경우(단계 S240), 전방에 위치하는 상기 지면(30)은 고르지 않은 평지, 즉 함몰부나 돌출부 또는 장애물이 존재하는 것으로 판단한다(단계 S241).
이상과 같이, 상기 지면정보 획득부(140)에서 상기 지면에 대한 정보를 획득한 후(단계 S10), 상기 상대각도 연산부(150)는 상기 지면(30)에 계단이 위치하는 경우 상기 계단과의 상대각도(θ)를 연산한다(단계 S20).
구체적으로, 도 18을 동시에 참조하면, 상기 상대각도 연산부(150)에서 연산된 상기 상대각도(θ)가 0(zero)보다 큰 양(+)의 값을 가지는 경우(단계 S31), 상기 구동부(21)는 상기 모바일 플랫폼(20)이 좌측 방향으로 회전하도록 회전 구동을 수행(즉, 우측 바퀴만을 구동시킴)한다(단계 S32).
이와 달리, 상기 상대각도 연산부(150)에서 연산된 상기 상대각도(θ)가 0(zero)보다 작은 음(-)의 값을 가지는 경우(단계 S33), 상기 구동부(21)는 상기 모바일 플랫폼(20)이 우측 방향으로 회전하도록 회전 구동을 수행(즉, 좌측 바퀴만을 구동시킴)한다(단계 S34).
반면, 상기 상대각도 연산부(150)에서 연산된 상기 상대각도(θ)가 0(zero)에 근접하는 경우, 상기 구동부(21)는 상기 모바일 플랫폼(20)에 대하여 회전 구동을 수행하지 않고 직진으로 구동을 수행하는데, 이 경우 직진으로 구동되어야 하는 구동량 정보를 획득하는 것이 필요하다.
그리하여, 상기 틸팅각 연산부(160) 및 상기 거리 연산부(170)를 통해, 앞서 설명한 바와 같이, 상기 모바일 플랫폼(20)에 장착된 상기 카메라(111)가 지면(30)을 향하는 방향으로 기울어진 틸팅각도를 연산하고, 이를 바탕으로 상기 측정체(40), 즉 계단의 위치까지의 거리를 연산한다(단계 S36).
이 때, 상기 틸팅각도 및 상기 거리의 구체적인 연산 방법에 대하여는 앞서 설명한 바와 같으므로 중복되는 설명은 생략한다.
이 후, 상기 계단의 위치까지의 거리를 연산하여(단계 S36), 상기 계단과 상기 모바일 플랫폼(20) 사이의 간격이 기 설정된 범위(간격) 이내라면(단계 S37), 상기 모바일 플랫폼(20)의 전방에 바로 계단이 위치하는 것으로, 상기 구동부(21)는 상기 모바일 플랫폼(20)이 상기 계단을 따라 등반하거나(상승계단인 경우) 또는 하강하도록(하강계단인 경우) 구동시킨다(단계 S38).
이와 달리, 상기 계단과 상기 모바일 플랫폼(20) 사이의 간격이 기 설정된 범위(간격)보다 크다면(단계 S37), 상기 모바일 플랫폼(20)의 전방에 바로 계단이 위치하지 않는 것으로, 상기 계단이 위치하는 곳까지, 상기 구동부(21)는 상기 모바일 플랫폼(20)이 전진하도록 구동시킨다(단계 S39).
이상과 같이, 상기 구동부(21)는 상기 계단과의 상대각도를 바탕으로 상기 모바일 플랫폼(30)을 회전 구동시키거나, 상기 모바일 플랫폼(30)을 전진시키는 경우 전방에 위치하는 계단까지의 거리를 바탕으로 계단을 등반하거나 전진하는 구동으로, 상기 모바일 플랫폼의 구동을 제어하게 된다(단계 S30).
상기와 같은 본 발명의 실시예들에 의하면, 지면에 조사되는 한 쌍의 레이저들에 대한 영상처리를 통해, 지면의 상태 정보, 특히 지면에 위치하는 계단이 상승계단인지 하강계단인지에 대한 정보를 용이하게 획득할 수 있다.
이 경우, 조사된 레이저로부터 라인을 추출하는 경우, 카메라에 대하여 레이저가 일 측에만 위치하므로, 일정 각도나 일정 영역 외의 라인들을 제거하여 조사된 레이저만을 용이하게 추출할 수 있으므로, 영상 처리가 용이하고, 추출된 라인으로부터, 지면의 상태에 대한 정보를 일관성 있게 획득할 수 있다.
특히, 지면에 계단이 위치하는 경우, 추출된 라인으로부터 모바일 플랫폼이 계단의 시작 위치에 대하여 위치하는 방향을 용이하게 연산할 수 있으며, 이를 바탕으로, 모바일 플랫폼이 계단에 대하여 수평하게 위치할 수 있도록 자세 제어를 용이하게 수행할 수 있다.
또한, 상기 추출된 라인으로부터 상대적으로 간단한 연산식을 통해 카메라가 지면을 향하여 기울어진 틸팅각도를 연산하고, 이를 바탕으로 지면에 위치하는 계단까지의 거리 및 계단의 총 길이 등의 관련 정보를 용이하게 획득할 수 있다.
그리하여, 상기 계단까지의 거리 등의 관련 정보를 바탕으로, 상기 모바일 플랫폼이 하강계단을 따라 하강하도록 구동시키거나, 상승계단을 따라 상승하도록 구동시킴으로써, 모바일 플랫폼이 지면에서 구동시 계단을 만나는 경우에도 손쉬운 식별 및 구동을 통해 계단을 통과할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 모바일 플랫폼 시스템 20 : 모바일 플랫폼
21 : 구동부 100 : 지면정보 획득시스템
110 : 측정부 111 : 카메라
112, 113 : 레이저 120 : 영상 처리부
130 : 라인 추출부 140 : 지면정보 획득부
150 : 상대각도 연산부 160 : 틸팅각 연산부
170 : 거리 연산부

Claims (20)

  1. 모바일 플랫폼의 구동을 위한 지면정보 획득시스템에서, 상기 지면정보 획득시스템은,
    지면을 향하여 레이저를 조사하는 한 쌍의 레이저들, 및 상기 조사된 레이저를 촬영하는 카메라를 포함하는 측정부;
    상기 촬영된 영상으로부터 추출된 라인을 바탕으로, 상기 지면의 정보를 획득하는 지면정보 획득부;
    상기 획득된 지면정보로부터 상기 측정부가 상기 지면에 위치하는 측정체에 대하여 위치하는 방향인 상대각도를 연산하는 상대각도 연산부;
    상기 획득된 지면정보로부터 상기 카메라가 상기 지면을 향하는 방향으로 기울어진 틸팅각도를 연산하는 틸팅각 연산부; 및
    상기 틸팅각도를 바탕으로 상기 지면에 위치하는 측정체까지의 거리를 연산하는 거리 연산부를 포함하고,
    상기 지면정보 획득부는, 상기 추출된 라인들이 동일한 패턴으로 단절되는 경우, 전방에 상기 지면으로부터 하강하는 하강계단이 위치하는 것으로 판단하고, 상기 추출된 라인들이 동일한 패턴으로 꺾인 경우, 전방에 상기 지면으로부터 상승하는 상승계단이 위치하는 것으로 판단하며,
    상기 상대각도 연산부는, 상기 추출된 라인들의 단절되는 부분 또는 꺾인 부분의 끝점들을 서로 연결하여, 상기 상대각도를 연산하고,
    상기 상대각도를 바탕으로 상기 모바일 플랫폼을 구동하는 것을 특징으로 하는 지면정보 획득시스템.
  2. 제1항에 있어서, 상기 한 쌍의 레이저들은 상기 카메라의 일 측에 동시에 위치하는 것을 특징으로 하는 지면정보 획득시스템.
  3. 제2항에 있어서,
    상기 촬영된 영상을 처리하여 특정 파장의 색(color)만 추출하는 영상 처리부; 및
    상기 추출된 정보로부터 모서리 및 라인 검출 기법을 적용하여 상기 레이저가 조사된 라인을 추출하는 라인 추출부를 더 포함하는 지면정보 획득시스템.
  4. 제3항에 있어서, 상기 라인 추출부는,
    상기 레이저들이 상기 카메라의 일 측에 위치하는 것을 고려하여, 일정 각도 또는 일정 영역 이외의 라인들을 모두 제거하는 것을 특징으로 하는 지면정보 획득시스템.
  5. 제1항에 있어서, 상기 지면에 위치하는 측정체는,
    상기 지면으로부터 함몰되는 함몰부, 상기 지면에 위치하거나 지면으로부터 돌출되는 장애물, 상기 지면으로부터 상승하는 상승계단, 및 상기 지면으로부터 하강하는 하강계단 중 어느 하나인 것을 특징으로 하는 지면정보 획득시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 지면정보 획득부는,
    상기 추출된 라인들이 단속되지 않고 연장되는 경우, 전방의 상기 지면은 평지인 것으로 판단하고,
    상기 추출된 라인들 중 일부가 단속되는 경우, 전방의 상기 지면 상에 장애물이나 함몰부가 위치하는 것으로 판단하는 것을 특징으로 하는 지면정보 획득시스템.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 상기 틸팅각 연산부는,
    상기 추출된 라인들이 서로 만나는 지점인 소실점과 상기 카메라의 초점거리를 바탕으로 상기 틸팅각도를 연산하는 것을 특징으로 하는 지면정보 획득시스템.
  10. 제9항에 있어서, 상기 틸팅각도(Atilt)는, 하기 식 (3)으로 연산되고,
    Figure 112020141078760-pat00009
    식 (3)

    이 경우, yvanishing은 카메라 이미지 상에서 소실점과 영상의 주점(principal point) 사이의 픽셀거리, fy는 상기 카메라의 초점거리인 것을 특징으로 하는 지면정보 획득시스템.
  11. 제1항에 있어서, 상기 거리 연산부는,
    상기 카메라의 영상주점(principle point)의 각도 및 상기 틸팅각도를 바탕으로 상기 촬영된 영상의 시작위치까지의 거리, 및 상기 측정체까지의 거리를 연산하는 것을 특징으로 하는 지면정보 획득시스템.
  12. 제11항에 있어서, 상기 촬영된 영상의 시작위치까지의 거리(doffset)는, 하기 식 (4)로 연산되고,

    Figure 112020141078760-pat00010
    식 (4)

    이 경우, h는 상기 카메라의 지면으로부터의 높이, Atilt는 상기 틸팅각도, AFOV/2는 상기 카메라의 FOV 각의 절반인 것을 특징으로 하는 지면정보 획득시스템.
  13. 제11항에 있어서, 상기 측정체까지의 거리(dend)는, 하기 식 (5)로 연산되고,

    Figure 112020141078760-pat00011
    식 (5)

    이 경우, h는 상기 카메라의 지면으로부터의 높이, hend는 라인 높이(pixel), hp는 주점의 높이(pixel), doffset은 측정체의 시작위치까지의 거리, Atilt는 상기 틸팅각도인 것을 특징으로 하는 지면정보 획득시스템.
  14. 제1항에 있어서, 상기 측정부는,
    모바일 플랫폼(mobile platform)에 장착되는 것을 특징으로 하는 지면정보 획득시스템.
  15. 모바일 플랫폼의 구동을 위한 지면정보 획득방법에서, 상기 지면정보 획득방법은,
    한 쌍의 레이저들에서 지면을 향하여 조사된 레이저를 카메라에 의해 촬영하는 단계;
    상기 촬영된 영상으로부터 추출된 라인을 바탕으로, 상기 지면의 정보를 획득하는 단계;
    상기 획득된 지면정보로부터 상기 카메라를 포함하는 측정부가 상기 지면에 대하여 위치하는 방향인 상대각도를 연산하는 단계;
    상기 획득된 지면정보로부터 상기 카메라가 상기 지면을 향하는 방향으로 기울어진 틸팅각도를 연산하는 단계; 및
    상기 틸팅각도를 바탕으로 상기 지면에 위치하는 측정체까지의 거리를 연산하는 단계를 포함하고,
    상기 지면의 정보를 획득하는 단계에서, 상기 추출된 라인들이 동일한 패턴으로 단절되는 경우, 전방에 상기 지면으로부터 하강하는 하강계단이 위치하는 것으로 판단하고, 상기 추출된 라인들이 동일한 패턴으로 꺾인 경우, 전방에 상기 지면으로부터 상승하는 상승계단이 위치하는 것으로 판단하며,
    상기 상대각도를 연산하는 단계에서, 상기 추출된 라인들의 단절되는 부분 또는 꺾인 부분의 끝점들을 서로 연결하여, 상기 상대각도를 연산하고,
    상기 상대각도를 바탕으로 상기 모바일 플랫폼을 구동하는 것을 특징으로 하는 지면정보 획득방법.
  16. 제15항에 있어서,
    상기 촬영된 영상을 처리하여 특정 파장의 색(color)만 추출하는 단계; 및
    상기 추출된 정보로부터 모서리 및 라인 검출 기법을 적용하여 상기 레이저가 조사된 라인을 추출하는 단계를 더 포함하며,
    상기 라인을 추출하는 단계에서는, 상기 레이저들의 조사 영역을 고려하여 일정 각도 및 일정 영역 이외의 라인들을 모두 제거하는 것을 특징으로 하는 지면정보 획득방법.
  17. 지면정보 획득방법을 통해 도출된 상기 지면정보를 바탕으로, 카메라가 장착된 모바일 플랫폼을 구동하는 모바일 플랫폼 구동방법에서,
    상기 지면정보 획득방법은,
    한 쌍의 레이저들에서 지면을 향하여 조사된 레이저를 카메라에 의해 촬영하는 단계;
    상기 촬영된 영상으로부터 추출된 라인을 바탕으로, 상기 지면의 정보를 획득하는 단계;
    상기 획득된 지면정보로부터 상기 카메라를 포함하는 측정부가 상기 지면에 대하여 위치하는 방향인 상대각도를 연산하는 단계;
    상기 획득된 지면정보로부터 상기 카메라가 상기 지면을 향하는 방향으로 기울어진 틸팅각도를 연산하는 단계; 및
    상기 틸팅각도를 바탕으로 상기 지면에 위치하는 측정체까지의 거리를 연산하는 단계를 포함하고,
    상기 연산된 상대각도가 양의 값 또는 음의 값을 가지는 경우, 상기 모바일 플랫폼을 우측 또는 좌측으로 구동시키는 것을 특징으로 하는 모바일 플랫폼 구동방법.
  18. 제17항에 있어서,
    상기 획득된 지면정보로부터, 상기 지면에 위치하는 측정체가 상승계단 또는 하강계단인 경우, 상기 상대각도를 연산하는 것을 특징으로 하는 모바일 플랫폼 구동방법.
  19. 삭제
  20. 제18항에 있어서,
    상기 연산된 상대각도가 영(zero)에 근접하는 경우,
    상기 측정체까지의 거리가 기 설정된 범위 이내이면, 상기 모바일 플랫폼을 상기 상승계단을 따라 등반 구동시키거나 상기 하강계단을 따라 하강 구동시키고,
    상기 측정체까지의 거리가 기 설정된 범위보다 크면, 상기 모바일 플랫폼을 전진 구동시키는 것을 특징으로 하는 모바일 플랫폼 구동방법.
KR1020200183381A 2020-12-24 2020-12-24 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법 KR102573522B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200183381A KR102573522B1 (ko) 2020-12-24 2020-12-24 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법
PCT/KR2021/014970 WO2022139146A1 (ko) 2020-12-24 2021-10-22 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200183381A KR102573522B1 (ko) 2020-12-24 2020-12-24 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법

Publications (2)

Publication Number Publication Date
KR20220092031A KR20220092031A (ko) 2022-07-01
KR102573522B1 true KR102573522B1 (ko) 2023-09-06

Family

ID=82159481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183381A KR102573522B1 (ko) 2020-12-24 2020-12-24 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법

Country Status (2)

Country Link
KR (1) KR102573522B1 (ko)
WO (1) WO2022139146A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758735B1 (ko) * 2012-12-03 2017-07-26 한화테크윈 주식회사 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228230B2 (en) * 2004-11-12 2007-06-05 Mitsubishi Denki Kabushiki Kaisha System for autonomous vehicle navigation with carrier phase DGPS and laser-scanner augmentation
KR20080045523A (ko) 2006-11-20 2008-05-23 엘지전자 주식회사 센싱장치 및 이를 이용한 로봇 청소기
KR20080076338A (ko) * 2007-02-15 2008-08-20 주식회사 엠씨넥스 광신호를 이용한 거리 및 경사각 측정장치
KR20120007734A (ko) * 2010-07-15 2012-01-25 삼성전기주식회사 거리 측정 모듈 및 이를 포함하는 디스플레이 장치, 디스플레이 장치의 거리 측정 방법
KR102100840B1 (ko) 2018-08-23 2020-05-13 주식회사 알엠생명과학 검체의 오염을 방지할 수 있는 검체 수송배지 용기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758735B1 (ko) * 2012-12-03 2017-07-26 한화테크윈 주식회사 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템

Also Published As

Publication number Publication date
KR20220092031A (ko) 2022-07-01
WO2022139146A1 (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
KR101083394B1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
US11718513B2 (en) Position and posture estimation system
JP3711405B2 (ja) カメラを利用した車両の道路情報抽出方法及びシステム
US6546118B1 (en) Image processing apparatus for vehicle
TWI401175B (zh) Dual vision front vehicle safety warning device and method thereof
KR101529156B1 (ko) 지면의 경사 추출 시스템 및 이를 이용한 차량
JP4835201B2 (ja) 立体形状検出装置
JP2002182742A (ja) モービルロボット及びその経路補正方法
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
CN107787496B (zh) 消失点修正装置及方法
US11514683B2 (en) Outside recognition apparatus for vehicle
WO2019031137A1 (ja) 路側物検出装置、路側物検出方法及び路側物検出システム
KR101583797B1 (ko) 탑뷰 이미지 변환을 적용한 차선 인식 장치 및 방법
KR102573522B1 (ko) 레이저를 이용한 지면정보 획득시스템, 이를 이용한 지면정보 획득방법, 및 지면정보를 바탕으로 한 모바일 플랫폼 구동방법
JP3925285B2 (ja) 走行路環境検出装置
JP2007190654A (ja) 脚車輪型ロボット
WO2017188158A1 (ja) 路面状態検出装置
KR101801041B1 (ko) 레이저 거리 센서의 음영 영역이 제거되는 차량
JP3612821B2 (ja) 車載用距離測定装置
JP4754434B2 (ja) 路面推定装置
JP3366135B2 (ja) 走行方向制御装置
KR20190103524A (ko) 자율 주행 장치 및 방법
KR20180048094A (ko) 차간 거리 추정 장치 및 방법
JP7192706B2 (ja) 位置姿勢推定装置
JP6072508B2 (ja) 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant