KR20160102872A - 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법 - Google Patents

보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법 Download PDF

Info

Publication number
KR20160102872A
KR20160102872A KR1020150073699A KR20150073699A KR20160102872A KR 20160102872 A KR20160102872 A KR 20160102872A KR 1020150073699 A KR1020150073699 A KR 1020150073699A KR 20150073699 A KR20150073699 A KR 20150073699A KR 20160102872 A KR20160102872 A KR 20160102872A
Authority
KR
South Korea
Prior art keywords
walking
information
information database
camera
guidance
Prior art date
Application number
KR1020150073699A
Other languages
English (en)
Inventor
김주완
김정숙
최정단
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/135,940 priority Critical patent/US20170003132A1/en
Publication of KR20160102872A publication Critical patent/KR20160102872A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법이 개시된다. 본 발명의 일 면에 따른 보행정보 데이터베이스를 이용한 보행 안내장치는, 획득 영상으로부터 특징점을 추출하는 특징점 추출부; 연속된 영상에서 추출된 특징점 간의 대응관계에 기초하여, 대응점을 검색하는 대응점 검색부; 카메라 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하여 보행자의 현재위치 및 보행방향을 계산하는 현재위치 및 보행방향 연산부; 보행정보 데이터베이스를 참조하여, 상기 보행자의 현재위치 및 보행방향에 따른 안내정보를 생성하는 안내정보 생성부; 및 상기 안내정보에 해당하는 안내음원을 상기 보행자의 현재위치 및 보행방향에 기초하여 입체적으로 재생하는 안내음원 재생부를 포함한다.

Description

보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법{THE STREET GUIDANCE INFORMATION DATABASE CONSTRUCTION METHOD, AND THE APPRATUS AND METHOD FOR GUIDING A BLIND PERSON USING THE STREET GUIDANCE INFORMATION DATABASE}
본 발명은 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법에 관한 것으로서, 보다 상세하게는 독립 보행을 하는 시각 장애인의 보행을 지원하기 위하여, 보행 훈련단계에서 보행정보 데이터베이스를 구축하고, 이를 이용하여 보행 훈련단계에서의 보행 상황과 현재의 보행 상황을 비교하여 알려주고, 보행시 위치를 확인하는데 참고할 랜드마크에 대한 정보를 입체감 있는 소리로 알려주는 장치 및 방법에 관한 것이다.
일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다.
현재 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 국내외에서 활발히 연구되고 있다.
종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS, 카메라 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하였다.
초음파를 사용한 시각장애인 보행 안내 시스템은, 벨트의 형태로 구성된 초음파 센서 묶음을 착용하고 가방의 형태로 착용된 컴퓨터를 통해 각 방향에 대한 정보들을 분석하여 시각장애인에게 알려주도록 되어 있다. 이러한 초음파 센서를 이용한 시각장애인 보행 안내 시스템은 그 구현이 비교적 간단하며 계산량이 많지 않다는 장점이 있지만, 주변 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 질감, 색상에 대한 정보를 얻을 수 없고, 물체의 이동정보를 얻기에 제한이 많은 단점을 가지고 있다.
초음파 센서를 사용하는 다른 형태의 시각장애인 보행 안내 시스템으로는 지팡이 형태로 되어 있는 길 안내 시스템이 있다. 이 길 안내 시스템은 일반 시각장애인용 안내 지팡이에 초음파 센서를 장착하여 장애물을 검출하고 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 이와 같은 길 안내 시스템도 구조가 간단하고 적용하기가 쉽지만, 전방의 작은 물체나 가까이 있는 장애물만을 검출할 수 있기 때문에 감지 거리에 제한이 있는 단점을 가지고 있다.
레이저를 사용한 시각장애인 보행 안내 시스템은, 사용자가 레이저 센서 도구를 들고 좌우로 흔들어 주변에 존재하는 지역적인 정보를 획득할 수 있고, 시간적인 측면에서 계단, 절벽과 같은 이동에 위험한 요소를 분석함에 따라 굴곡이 있거나 단일 카메라를 이용해 알 수 없는 거리정보를 획득할 수 있다는 장점이 있다. 하지만, 근접한 지역에 대해서만 적용이 가능하며 검출된 물체의 색상이나 질감에 대한 특징을 알 수 없는 단점을 가지고 있다.
GPS를 이용한 시각장애인 보행 안내 시스템은, 미리 경험적으로 획득하여 저장된 지역 맵정보를 이용하여 보행자에게 길을 안내하도록 하는 시스템으로, 목적지까지의 순차적인 길의 경로를 제공한다. 이 GPS를 이용한 시각장애인 보행 안내 시스템은 지역적 정보를 담고 있는 데이터베이스를 가지고 있으며, 음성변환기술과 음성인식 기술을 통해 컴퓨터와 사람간의 의사소통이 가능하도록 하고, 특정 지역의 목적지에 대한 경로를 제공하여 편리성을 준다. 하지만, 보행자와 인접한 요소들에 대한 위험성을 분석할 수 없는 단점을 가지고 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 인프라에 대한 별도의 시설 투자 없이 사용이 가능하며, 지하 또는 실내와 같은 전파음영지역 및 위치 매핑을 위한 지도가 없는 지역에서도 사용할 수 있는 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 보행정보 데이터베이스를 이용한 보행 안내장치는, 획득 영상으로부터 특징점을 추출하는 특징점 추출부; 연속된 영상에서 추출된 특징점 간의 대응관계에 기초하여, 대응점을 검색하는 대응점 검색부; 카메라 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하여 보행자의 현재위치 및 보행방향을 계산하는 현재위치 및 보행방향 연산부; 보행정보 데이터베이스를 참조하여, 상기 보행자의 현재위치 및 보행방향에 따른 안내정보를 생성하는 안내정보 생성부; 및 상기 안내정보에 해당하는 안내음원을 상기 보행자의 현재위치 및 보행방향에 기초하여 입체적으로 재생하는 안내음원 재생부를 포함한다.
상기 대응점 검색부는, 인접한 영상에서 검색된 각 대응점과 카메라의 관계가 에피폴라 기하학(epipolar geometry)으로 정의된 영상 간의 관계에 대응되지 않는 경우, 해당 대응점을 제거한다.
상기 현재위치 및 보행방향 연산부는, 카메라의 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하고, 상기 획득 영상에 포함되어 있는 특정 물체의 실측 크기를 이용하여 상기 카메라의 3차원 위치 및 자세의 스케일을 보정한다.
또한, 상기 현재위치 및 보행방향 연산부는, 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 상기 보행자의 현재위치 및 보행방향을 계산한다.
상기 안내정보 생성부는, 상기 보행정보 데이터베이스에 저장되어 있는 보행 구간에 대한 경로 궤적정보, 상기 보행 구간에서의 보행 속도, 상기 보행 구간에서의 소요 시간을 상기 보행자의 현재위치 및 보행방향과 비교하여, 경로 이탈 정보, 보행속도 비교정보를 포함하는 상기 안내정보를 생성한다.
또한, 상기 안내정보 생성부는, 상기 보행정보 데이터베이스에서 상기 보행자의 현재위치를 기준으로 기 설정된 보행 안내범위 내에 랜드마크를 검색하고, 상기 보행자의 현재위치 및 보행방향을 기준으로 검색된 랜드마크의 상대거리 및 방향을 계산한다.
상기 안내음원 재생부는, 상기 랜드마크의 상대거리 및 방향에 기초하여, 상기 안내정보에 해당하는 안내음원의 재생위치 및 재생방향을 조정한다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 면에 따른 보행정보 데이터베이스를 이용한 보행 안내방법은, 획득 영상으로부터 특징점을 추출하는 단계; 연속된 영상에서 추출된 특징점 간의 대응관계에 기초하여, 대응점을 검색하는 단계; 카메라 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하여 보행자의 현재위치 및 보행방향을 계산하는 단계; 보행정보 데이터베이스를 참조하여, 상기 보행자의 현재위치 및 보행방향에 따른 안내정보를 생성하는 단계; 및 상기 안내정보에 해당하는 안내음원을 상기 보행자의 현재위치 및 보행방향에 기초하여 입체적으로 재생하는 단계를 포함한다.
상기 대응점을 검색하는 단계는, 인접한 영상에서 검색된 각 대응점과 카메라의 관계가 에피폴라 기하학(epipolar geometry)으로 정의된 영상 간의 관계에 대응되지 않는 경우, 해당 대응점을 제거하는 단계를 포함한다.
상기 현재위치 및 보행방향을 계산하는 단계는, 카메라의 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하는 단계와, 상기 획득 영상에 포함되어 있는 특정 물체의 실측 크기를 이용하여 상기 카메라의 3차원 위치 및 자세의 스케일을 보정하는 단계를 포함한다.
또한, 상기 현재위치 및 보행방향을 계산하는 단계는, 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 상기 보행자의 현재위치 및 보행방향을 계산하는 단계를 포함한다.
상기 안내정보를 생성하는 단계는, 상기 보행정보 데이터베이스에 저장되어 있는 보행 구간에 대한 경로 궤적정보, 상기 보행 구간에서의 보행 속도, 상기 보행 구간에서의 소요 시간을 상기 보행자의 현재위치 및 보행방향과 비교하여, 경로 이탈 정보, 보행속도 비교정보를 포함하는 상기 안내정보를 생성하는 단계를 포함한다.
또한, 상기 안내정보를 생성하는 단계는, 상기 보행정보 데이터베이스에서 상기 보행자의 현재위치를 기준으로 기 설정된 보행 안내범위 내에 랜드마크를 검색하는 단계와, 상기 보행자의 현재위치 및 보행방향을 기준으로 검색된 랜드마크의 상대거리 및 방향을 계산하는 단계를 포함한다.
상기 안내음원을 재생하는 단계는, 상기 랜드마크의 상대거리 및 방향에 기초하여, 상기 안내정보에 해당하는 안내음원의 재생위치 및 재생방향을 조정하는 단계를 포함한다.
한편, 상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 면에 따른 보행정보 데이터베이스 구축방법은, 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 보행자의 이동한 위치 및 자세정보를 포함하는 보행경로 데이터를 구축하는 단계; 및 초기 위치를 기준으로 사용자에 의해 설정된 랜드마크의 위치, 안내 정보, 보행 안내범위를 포함하는 랜드마크 데이터를 구축하는 단계를 포함한다.
이상 상술한 바와 같은 본 발명에 따르면, 보행 훈련단계에서 구축된 보행정보 데이터베이스를 이용하여 보행안내를 하기 때문에 보다 정확하고 보행당사자에 맞는 보행안내 정보를 제공받을 수 있다.
또한, GPS와 같은 측위 방법을 이용하는 경우 발생하는 측위 음영지역이 없을 뿐 아니라, 세부 지도 정보가 없는 경우에도 활용할 수 있는 장점이 있다.
또한, 본 발명은 개인화된 입체음향을 이용하여 랜드마크에 대한 위치와 방향을 파악할 수 있는 장점이 있다. 음성유도기 및 음향신호기와 같은 기존 기술들은 주변 소음으로 인하여 음원과의 정확한 거리와 방향을 파악하기 어려웠으나, 개인위치를 중심으로 음원을 가상 공간에 위치시켜 정보를 제공하는 개인용 입체음향유도장치는 POI에 대한 거리와 방향을 파악하기 매우 용이한 장점이 있다. 이러한 기법은 본인 이외의 다른 사람은 어떠한 소리도 들을 수 없어, 다른 사람에게 음향안내에 따른 소음으로 인한 민원을 줄일 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치의 사용 환경을 도시한 예시도.
도 2는 본 발명의 실시예에 따른 보행정보 데이터베이스 구축방법을 도시한 흐름도.
도 3은 본 발명의 실시예에서 카메라의 위치, 자세값과 대응점에 대한 3차원 좌표값을 계산하는 과정을 설명하기 위한 흐름도.
도 4는 본 발명의 실시예에서 카메라와 대응점 간의 관계를 설명하기 위한 예시도.
도 5는 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치의 블록도.
도 6은 본 발명의 실시예에서 보행자의 시선방향에 위치하는 랜드마크의 위치 및 방향을 계산하는 과정을 설명하기 위한 예시도.
도 7은 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내방법을 도시한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치의 사용 환경을 도시한 예시도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치는 주변환경에 대한 영상정보를 획득하는 영상획득장치, 입체음향 재생장치, 컴퓨팅 단말기를 포함하여 구성된다.
영상획득장치는 보행자가 착용한 상태로 주변환경에 대한 영상정보를 획득하는 웨어러블 디바이스일 수 있고, 넓은 화각의 영상을 획득하기 위해 2대 이상의 카메라로 구성될 수 있으나, 본 발명은 이에 한정되어 실시되는 것은 아니다.
영상획득장치에서 획득된 영상은 컴퓨팅 단말기로 전달되고, 컴퓨팅 단말기는 획득된 영상을 처리하여 보행자의 위치 및 자세를 연산하여 경로정보를 생성한다.
컴퓨팅 단말기에는 기 구축된 보행정보 데이터베이스가 구비되어 있으며, 컴퓨팅 단말기는 보행정보 데이터베이스에 저장되어 있는 보행정보와 영상처리를 통해 획득한 보행자의 현재 경로정보를 비교하여, 보행자에 대한 안내정보를 생성한다.
보행정보 데이터베이스는 보행 훈련단계에서 특정 보행경로에 대해 미리 만들어지며, 상기 보행정보 데이터베이스에는 영상기반 보행경로 데이터와, 사용자 설정 기반 랜드마크 데이터가 포함된다. 보행경로 데이터는 카메라 캘리브레이션 정보, 입력된 영상 시퀀스, 특징점, 대응점, 카메라 위치 및 자세정보, 타임 스탬프 등으로 구성되며, 이를 통해 특정 보행구간에 대한 경로 궤적정보, 보행 속도, 보행구간 별 소요 시간 등이 후술할 보행 안내장치에서 연산될 수 있다. 랜드마크 데이터는 보행 훈련단계에서 보행 위치 확인을 위해 랜드마크 안내가 필요하다고 생각되는 지점(특정 건물 등)이 사용자에 의해 설정되고, 해당 지점(랜드마크)에 대한 위치, 안내정보, 보행 안내범위 등으로 구성되며, 이를 통해 보행자가 랜드마크의 위치로부터 보행 안내범위 내에 근접하게 되면, 랜드마크에 대한 안내정보가 후술할 보행 안내장치에서 음성, 음향 등의 형태로 제공될 수 있다.
보행자에게 전달되는 안내정보는 보행 훈련단계에서 기 구축된 보행정보 데이터베이스를 참조하여 생성된다. 즉, 특정 경로에 대한 보행정보 데이터베이스는 기 구축되어 있으며, 보행자가 동일 경로를 이동하는 경우 과거 보행 훈련단계에서의 보행 상황과 비교하여 현재의 보행 상황을 주기적으로 보행자에게 안내한다. 이때, 보행자에게 전달되는 안내정보는 과거 대비 보행속도가 유사, 느림, 빠름과 같은 보행속도와 관련된 정보가 있을 수 있으며, 과거 이동 궤적과 비교하여 경로의 이탈 정도에 관한 정보가 있을 수 있으며, 향후 보행 경로 상의 주요 보행정보(예컨대, 회전정보, 랜드마크 정보 등) 등이 포함될 수 있다.
입체음향 재생장치는 현재 보행자의 위치 및 보행방향(혹은 시선방향)을 기준으로 보행 안내범위에 존재하는 랜드마크에 대한 정보를 입체적으로 보행자에게 전달한다.
예컨대, 도 1에 도시된 바와 같이 보행경로 상에 보행 안내범위 안에 랜드마크 A 및 랜드마크 B가 있다고 가정하면, 후술할 보행 안내장치는 보행자의 현재위치 및 현재 보행방향을 기준으로 랜드마크 A 및 랜드마크 B 각각의 상대 거리 및 방향을 계산한다. 그리고, 보행 안내장치는 계산된 상대 거리 및 방향에 따라 안내정보에 해당하는 가상의 음원이 재생되는 위치, 재생되는 방향 및 볼륨을 조정한다.
랜드마크 A는 랜드마크 B에 비해 상대적으로 보행자와 가까운 거리에 위치하기 때문에 랜드마크 A에 대한 안내정보는 랜드마크 B에 대한 안내정보에 비해 상대적으로 높은 볼륨으로 재생될 수 있으며, 랜드마크 A와 랜드마크 B가 다른 방향에 위치하는 경우, 해당 안내정보가 재생되는 위치 및 방향을 다르게 하여, 보행자로 하여금 주변 환경에 대한 정보를 입체적으로 인지할 수 있게 한다.
이하에서는, 도 2 내지 도 7을 참조하여 본 발명의 실시예에 따른 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법을 살펴본다. 먼저, 도 2 내지 도 4를 참조하여 본 발명의 실시예에 따른 보행정보 데이터베이스 구축방법에 대해 살펴본 후, 도 5 내지 도 7을 참조하여, 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법에 대해서 살펴본다.
도 2는 본 발명의 실시예에 따른 보행정보 데이터베이스 구축방법을 도시한 흐름도이고, 도 3은 본 발명의 실시예에서 카메라의 위치, 자세값과 대응점에 대한 3차원 좌표값을 계산하는 과정을 설명하기 위한 흐름도이고, 도 4는 본 발명의 실시예에서 카메라와 대응점 간의 관계를 설명하기 위한 예시도이다.
도 2를 참조하면, 보행 안내장치는 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 보행자의 이동한 위치 및 자세정보를 포함하는 보행경로 데이터를 구축한다(S210).
시각 장애인의 보행 과정에서 영상을 획득하기 위하여 사용하는 카메라는 사전 캘리브레이션 과정을 통해 카메라 내부 파라미터가 미리 알려진 상황을 가정한다.
보행경로 데이터는 카메라 캘리브레이션 정보, 입력된 영상 시퀀스, 특징점, 대응점, 카메라 위치 및 자세 정보, 타임스탬프 등으로 구성할 수 있으며, 이때 영상처리 기반 기술이 사용된다.
도 3을 참조하면, 보행 안내장치는 카메라로부터 획득한 영상들에서 특징점들을 추출하고(S310), 추출된 특징점들에 대해 인접한 다른 영상에서 대응점들을 검색한다(S320). 이때 RANSAC(Random sample consensus)과 같은 기법을 이용하여 각 대응점과 카메라의 관계가 등극선 기하(epipolar geometry)에 맞지 않은 대응점들은 제거한다. 등극선 기하라 함은 3차원상의 동일한 점에 대한 영상정보를 두 개의 카메라에서 획득하게 되면, 카메라의 위치와 이를 보는 영상점이 이루는 두 벡터는 공통 평면상에 존재해야 된다는 이론이다.
그리고, 보행 안내장치는 도 4에 도시된 바와 같은 카메라 내부 파라미터, 대응점간의 관계를 이용하여 카메라 위치와 자세를 변수로 하는 최적화 과정을 거쳐 인접 영상간의 카메라 3차원 위치와 자세 정보를 계산한다(S330).
이러한 최적화 과정은 성긴 번들 조정(sparse bundle adjustment) 등의 방법을 사용하여 수행될 수 있으며, 성긴 번들 조정은 대응점의 위치 좌표가 영상에 재투영(reprojection) 될 때 발생하는 오차를 최소화하도록 카메라 위치와 자세값과 대응점에 대한 최적 좌표값을 찾는 과정을 의미한다.
이때 구해진 3차원 위치 좌표에 대한 정확한 스케일(scale) 값은 알 수 없으며, 보행 안내장치는 스케일 정보를 알기 위하여 보행 환경 주변에 있는 연석 길이, 기둥의 길이, 특정 물체의 크기 등을 실측 또는 추정하여 3차원 위치 좌표값의 스케일을 보정한다(S340).
따라서, 보행 안내장치는 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 보행자의 이동한 위치 및 자세정보(방향정보)를 계산할 수 있게 된다.
이어, 보행 안내장치는 초기 위치를 기준으로 사용자에 의해 설정된 랜드마크의 위치, 안내 정보, 보행 안내범위를 포함하는 랜드마크 데이터를 구축한다(S220).
보행훈련 단계에서 보행 안내장치는 보행 위치 확인을 지원하기 위하여 랜드마크 안내가 필요하다고 생각되는 지점에서 랜드마크에 대한 위치 및 안내 정보로 구성된 랜드마크 데이터를 생성하여 보행정보 데이터베이스에 저장한다.
보행자가 안내를 원하는 랜드마크를 설정하기 위해, 랜드마크에 대한 위치를 계산할 필요가 있는데, 이때 두 개 이상의 영상에서 랜드마크를 선택하는 과정이 필요하다. 그리고, 영상점과 카메라 캘리브레이션 정보, 위치 및 자세 정보를 입력으로 카메라 원근 투영 공식을 이용하여 해당 좌표에 대한 3차원 좌표값을 계산할 수 있으며, 보행자에게 안내정보를 제공하기 위한 근접 범위 값과 실제 안내할 정보로 구성된 랜드마크 데이터를 보행정보 데이터베이스에 저장한다.
랜드마크 데이터에는 초기 위치를 기준으로 랜드마크에 대한 위치값, 안내 정보, 안내서비스 범위 값이 저장되어 있으므로, 보행자가 랜드마크 위치를 중심으로 일정 거리 이내에 근접하게 되면, 랜드마크에 대한 안내 정보를 보행자가 이해하기 편한 음성, 음향 등의 형태로 제공하는 것이 가능하다.
도 5는 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치의 블록도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치는, 특징점 추출부(100), 대응점 검색부(200), 현재위치 및 보행방향 연산부(300), 안내정보 생성부(400), 안내음원 재생부(500), 보행정보 데이터베이스(600)를 포함하여 구성된다.
특징점 추출부(100)는 카메라를 통해 획득되는 영상 시퀀스 각각에서 특징점을 추출한다.
예컨대, 특징점 추출부(100)는 입력된 영상 정보에서 전역 지역 혹은 일정 지역에 해당하는 화소를 이용하여, 영상의 특징이 될 수 있는 특징점을 추출한다. 이때 특징점은 코너(corner) 및 블랍(blob)을 의미한다. 특징점은 벡터로 구성되지만, 각자 고유의 스케일과 방향이 할당된다. 이 스케일과 방향에 상대적으로 특징점이 구성되기 때문에, 스케일이나 회전 변화에도 강인할 수 있다.
대표적인 특징점 추출 알고리즘으로는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature), FAST(Features from Accelerated Segment Test) 등이 있다.
대응점 검색부(200)는 이전 영상 프레임에서 추출된 특징점을 추적하여, 현재 영상 프레임에서 추출된 특징점 간의 대응관계에 기초하여, 대응점을 검색한다. 이때 RANSAC(Random sample consensus)과 같은 기법을 이용하여 각 대응점과 카메라의 관계가 등극선 기하(epipolar geometry)에 맞지 않은 대응점들은 제거한다. 등극선 기하라 함은 3차원상의 동일한 점에 대한 영상정보를 두 개의 카메라에서 획득하게 되면, 카메라의 위치와 이를 보는 영상점이 이루는 두 벡터는 공통 평면상에 존재해야 된다는 이론이다.
현재위치 및 보행방향 연산부(300)는 카메라 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하여 보행자의 현재위치 및 보행방향을 계산한다.
현재위치 및 보행방향 연산부(300)는 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 보행자의 현재위치 및 보행방향을 계산한다.
즉, 현재위치 및 보행방향 연산부(300)는 카메라 내부 파라미터, 대응점간의 관계를 이용하여 카메라 위치와 자세를 변수로 하는 최적화 과정을 거쳐 인접 영상간의 카메라 3차원 위치와 자세 정보를 계산한다. 이러한 최적화 과정은 성긴 번들 조정(sparse bundle adjustment) 등의 방법을 사용하여 수행될 수 있으며, 성긴 번들 조정은 대응점의 위치 좌표가 영상에 재투영(reprojection) 될 때 발생하는 오차를 최소화하도록 카메라 위치와 자세값과 대응점에 대한 최적 좌표값을 찾는 과정을 의미한다.
이때, 현재위치 및 보행방향 연산부(300)는 카메라의 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하고, 상기 획득 영상에 포함되어 있는 특정 물체의 실측 크기를 이용하여 상기 카메라의 3차원 위치 및 자세의 스케일을 보정한다.
안내정보 생성부(400)는 보행정보 데이터베이스(600)를 참조하여, 보행자의 현재위치 및 보행방향에 따른 안내정보를 생성한다.
예컨대, 안내정보 생성부(400)는 보행정보 데이터베이스(600)에 저장되어 있는 보행 구간에 대한 경로 궤적정보, 상기 보행 구간에서의 보행 속도, 상기 보행 구간에서의 소요 시간을 보행자의 현재위치 및 보행방향과 비교하여, 경로 이탈 정보, 보행속도 비교정보를 포함하는 안내정보를 생성한다. 보행자에게 전달되는 안내정보는 보행 훈련단계에서 기 구축된 보행정보 데이터베이스(600)를 참조하여 생성된다. 즉, 특정 경로에 대한 보행정보 데이터베이스(600)는 기 구축되어 있으며, 보행자가 동일 경로를 이동하는 경우 과거 보행 훈련단계에서의 보행 상황과 비교하여 현재의 보행 상황을 주기적으로 보행자에게 안내한다. 이때, 보행자에게 전달되는 안내정보는 과거 대비 보행속도가 유사, 느림, 빠름과 같은 보행속도와 관련된 정보가 있을 수 있으며, 과거 이동 궤적과 비교하여 경로의 이탈 정도에 관한 정보가 있을 수 있으며, 향후 보행 경로 상의 주요 보행정보(예컨대, 회전정보, 랜드마크 정보 등) 등이 포함될 수 있다.
또한, 안내정보 생성부(400)는 보행정보 데이터베이스(600)에서 보행자의 현재위치를 기준으로 기 설정된 보행 안내범위 내에 랜드마크를 검색하고, 보행자의 현재위치 및 보행방향을 기준으로 검색된 랜드마크의 상대거리 및 방향을 계산한다.
도 6에는 본 발명의 실시예에서 보행자의 시선방향에 위치하는 랜드마크의 위치 및 방향을 계산하는 과정이 예시적으로 도시된다. 도 6을 참조하면, 보행자의 현재위치는 (X1, X2), 랜드마크의 위치는 (X2, Y2)라고 한다면, 보행자의 보행방향(혹은 시선방향)을 기준으로 보행자의 현재위치로부터 랜드마크의 상대거리는 아래 수학식 1과 같이 연산되고, 랜드마크의 방향은 아래 수학식 2와 같이 연산된다.
Figure pat00001
Figure pat00002
여기서, v1은 보행방향의 위치벡터를, v2는 랜드마크의 위치벡터를 의미한다.
안내음원 재생부(500)는 현재 보행자의 위치 및 보행방향(혹은 시선방향)을 기준으로 보행 안내범위에 존재하는 랜드마크에 대한 정보를 입체적으로 보행자에게 전달한다.
예컨대, 안내음원 재생부(500)는 랜드마크의 상대거리 및 방향에 기초하여, 안내정보에 해당하는 안내음원의 재생위치, 재생방향 및 볼륨을 조정하여 보행자에게 입체적으로 안내정보를 전달할 수 있게 한다. 안내음원에서 재생되는 소리는 "XX 건물 출입구입니다", "남자 화장실입니다", "00방향 횡단보도입니다." 등 현재 보행 위치와 상황을 보조할 수 있도록 다양하게 지정할 수 있다. 또한, 안내음원을 통해 보행자가 해당 랜드마크에 대한 정보를 입체적으로 인식할 수 있도록, 랜드마크의 위치와 방향은 안내음원 재생부(500)에서 재생되는 안내음원의 방향과 소리의 크기는 해당 랜드마크의 상대적인 거리 및 방향에 따라 조정된다. 즉, 보행자의 보행 방향을 기준으로 랜드마크가 있는 방향에서 소리가 나게 되며, 랜드마크와 떨어진 거리에 비례하여 소리의 크기도 차이가 나게 된다.
이하에서는 본 발명의 실시예에 따른 차영상을 이용한 장애물 검출방법을 설명한다. 앞서, 도 5 내지 도 6을 참조한 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내장치의 동작에 대한 설명과 일부 중복되는 부분은 생략하여 설명하기로 한다.
도 7은 본 발명의 실시예에 따른 보행정보 데이터베이스를 이용한 보행 안내방법을 도시한 흐름도이다.
도 5 및 도 7을 참조하면, 보행 안내장치는 획득된 영상정보를 이용하여 초기 위치를 기준으로 보행자의 위치 및 보행방향을 추정한다(S710).
보행 안내장치는 카메라로부터 획득한 영상들에서 특징점들을 추출하고, 추출된 특징점들에 대해 인접한 다른 영상에서 대응점들을 검색한다. 이때 RANSAC(Random sample consensus)과 같은 기법을 이용하여 각 대응점과 카메라의 관계가 등극선 기하(epipolar geometry)에 맞지 않은 대응점들은 제거한다. 등극선 기하라 함은 3차원상의 동일한 점에 대한 영상정보를 두 개의 카메라에서 획득하게 되면, 카메라의 위치와 이를 보는 영상점이 이루는 두 벡터는 공통 평면상에 존재해야 된다는 이론이다.
그리고, 보행 안내장치는 도 4에 도시된 바와 같은 카메라 내부 파라미터, 대응점간의 관계를 이용하여 카메라 위치와 자세를 변수로 하는 최적화 과정을 거쳐 인접 영상간의 카메라 3차원 위치와 자세 정보를 계산한다.
이어, 보행 안내장치는 보행자의 위치 및 보행방향을 보행정보 데이터베이스에 저장된 보행정보와 비교하여 현재의 보행상황을 주기적으로 안내한다(S720).
보행자에게 주기적으로 전달되는 안내정보는 보행 훈련단계에서 기 구축된 보행정보 데이터베이스를 참조하여 생성된다. 즉, 특정 경로에 대한 보행정보 데이터베이스는 기 구축되어 있으며, 보행자가 동일 경로를 이동하는 경우 과거 보행 훈련단계에서의 보행 상황과 비교하여 현재의 보행 상황을 주기적으로 보행자에게 안내한다. 이때, 보행자에게 전달되는 안내정보는 과거 대비 보행속도가 유사, 느림, 빠름과 같은 보행속도와 관련된 정보가 있을 수 있으며, 과거 이동 궤적과 비교하여 경로의 이탈 정도에 관한 정보가 있을 수 있으며, 향후 보행 경로 상의 주요 보행정보 등이 포함될 수 있다.
이어, 보행 안내장치는 현재 보행자의 위치를 기준으로 보행안내 범위에 존재하는 랜드마크 데이터를 검색한다(S730).
보행훈련 단계에서 보행 안내장치는 보행 위치 확인을 지원하기 위하여 랜드마크 안내가 필요하다고 생각되는 지점에서 랜드마크에 대한 위치 및 안내 정보로 구성된 랜드마크 데이터를 생성하여 보행정보 데이터베이스에 저장한다. 만약, 보행자가 랜드마크 위치를 중심으로 일정 거리 이내에 근접하게 되면, 보행 안내장치는 해당 랜드마크 및 이에 대한 안내정보를 보행정보 데이터베이스로부터 검색한다.
이어, 보행 안내장치는 랜드마크가 검색되면, 현재 위치 및 보행방향을 기준으로 해당 랜드마크의 상대거리 및 방향을 계산한다(S740).
그리고, 보행 안내장치는 해당 랜드마크의 상대거리 및 방향에 따라 안내정보에 해당하는 안내음원을 입체적으로 재생한다(S750).
예컨대, 보행 안내장치는 랜드마크의 상대거리 및 방향에 기초하여, 안내정보에 해당하는 안내음원의 재생위치, 재생방향 및 볼륨을 조정하여 보행자에게 입체적으로 안내정보를 전달할 수 있게 한다.
이상 상술한 바와 같은 본 발명에 따르면, 보행 훈련단계에서 구축된 보행정보 데이터베이스를 이용하여 보행안내를 하기 때문에 보다 정확하고 보행당사자에 맞는 보행안내 정보를 제공받을 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 획득 영상으로부터 특징점을 추출하는 특징점 추출부;
    연속된 영상에서 추출된 특징점 간의 대응관계에 기초하여, 대응점을 검색하는 대응점 검색부;
    카메라 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하여 보행자의 현재위치 및 보행방향을 계산하는 현재위치 및 보행방향 연산부;
    보행정보 데이터베이스를 참조하여, 상기 보행자의 현재위치 및 보행방향에 따른 안내정보를 생성하는 안내정보 생성부; 및
    상기 안내정보에 해당하는 안내음원을 상기 보행자의 현재위치 및 보행방향에 기초하여 입체적으로 재생하는 안내음원 재생부
    를 포함하는 보행정보 데이터베이스를 이용한 보행 안내장치.
  2. 제1항에 있어서, 상기 대응점 검색부는,
    인접한 영상에서 검색된 각 대응점과 카메라의 관계가 에피폴라 기하학(epipolar geometry)으로 정의된 영상 간의 관계에 대응되지 않는 경우, 해당 대응점을 제거하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내장치.
  3. 제1항에 있어서, 상기 현재위치 및 보행방향 연산부는,
    카메라의 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하고, 상기 획득 영상에 포함되어 있는 특정 물체의 실측 크기를 이용하여 상기 카메라의 3차원 위치 및 자세의 스케일을 보정하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내장치.
  4. 제1항에 있어서, 상기 현재위치 및 보행방향 연산부는,
    초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 상기 보행자의 현재위치 및 보행방향을 계산하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내장치.
  5. 제1항에 있어서, 상기 안내정보 생성부는,
    상기 보행정보 데이터베이스에 저장되어 있는 보행 구간에 대한 경로 궤적정보, 상기 보행 구간에서의 보행 속도, 상기 보행 구간에서의 소요 시간을 상기 보행자의 현재위치 및 보행방향과 비교하여, 경로 이탈 정보, 보행속도 비교정보를 포함하는 상기 안내정보를 생성하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내장치.
  6. 제1항에 있어서, 상기 안내정보 생성부는,
    상기 보행정보 데이터베이스에서 상기 보행자의 현재위치를 기준으로 기 설정된 보행 안내범위 내에 랜드마크를 검색하고, 상기 보행자의 현재위치 및 보행방향을 기준으로 검색된 랜드마크의 상대거리 및 방향을 계산하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내장치.
  7. 제6항에 있어서, 상기 안내음원 재생부는,
    상기 랜드마크의 상대거리 및 방향에 기초하여, 상기 안내정보에 해당하는 안내음원의 재생위치 및 재생방향을 조정하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내장치.
  8. 획득 영상으로부터 특징점을 추출하는 단계;
    연속된 영상에서 추출된 특징점 간의 대응관계에 기초하여, 대응점을 검색하는 단계;
    카메라 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하여 보행자의 현재위치 및 보행방향을 계산하는 단계;
    보행정보 데이터베이스를 참조하여, 상기 보행자의 현재위치 및 보행방향에 따른 안내정보를 생성하는 단계; 및
    상기 안내정보에 해당하는 안내음원을 상기 보행자의 현재위치 및 보행방향에 기초하여 입체적으로 재생하는 단계
    를 포함하는 보행정보 데이터베이스를 이용한 보행 안내방법.
  9. 제8항에 있어서, 상기 대응점을 검색하는 단계는,
    인접한 영상에서 검색된 각 대응점과 카메라의 관계가 에피폴라 기하학(epipolar geometry)으로 정의된 영상 간의 관계에 대응되지 않는 경우, 해당 대응점을 제거하는 단계를 포함하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내방법.
  10. 제8항에 있어서, 상기 현재위치 및 보행방향을 계산하는 단계는,
    카메라의 내부 파라미터, 대응점 간의 관계를 이용하여 영상 간의 카메라의 3차원 위치 및 자세를 계산하는 단계와,
    상기 획득 영상에 포함되어 있는 특정 물체의 실측 크기를 이용하여 상기 카메라의 3차원 위치 및 자세의 스케일을 보정하는 단계를 포함하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내방법.
  11. 제8항에 있어서, 상기 현재위치 및 보행방향을 계산하는 단계는,
    초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 상기 보행자의 현재위치 및 보행방향을 계산하는 단계를 포함하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내방법.
  12. 제8항에 있어서, 상기 안내정보를 생성하는 단계는,
    상기 보행정보 데이터베이스에 저장되어 있는 보행 구간에 대한 경로 궤적정보, 상기 보행 구간에서의 보행 속도, 상기 보행 구간에서의 소요 시간을 상기 보행자의 현재위치 및 보행방향과 비교하여, 경로 이탈 정보, 보행속도 비교정보를 포함하는 상기 안내정보를 생성하는 단계를 포함하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내방법.
  13. 제8항에 있어서, 상기 안내정보를 생성하는 단계는,
    상기 보행정보 데이터베이스에서 상기 보행자의 현재위치를 기준으로 기 설정된 보행 안내범위 내에 랜드마크를 검색하는 단계와,
    상기 보행자의 현재위치 및 보행방향을 기준으로 검색된 랜드마크의 상대거리 및 방향을 계산하는 단계를 포함하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내방법.
  14. 제13항에 있어서, 상기 안내음원을 재생하는 단계는,
    상기 랜드마크의 상대거리 및 방향에 기초하여, 상기 안내정보에 해당하는 안내음원의 재생위치 및 재생방향을 조정하는 단계를 포함하는 것
    인 보행정보 데이터베이스를 이용한 보행 안내방법.
  15. 초기 위치에서 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세부터 이후 시점에 촬영된 영상에서 계산된 카메라의 3차원 위치 및 자세 사이의 변화량을 누적하여 보행자의 이동한 위치 및 자세정보를 포함하는 보행경로 데이터를 구축하는 단계; 및
    초기 위치를 기준으로 사용자에 의해 설정된 랜드마크의 위치, 안내 정보, 보행 안내범위를 포함하는 랜드마크 데이터를 구축하는 단계
    를 포함하는 보행정보 데이터베이스 구축방법.
KR1020150073699A 2015-02-23 2015-05-27 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법 KR20160102872A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/135,940 US20170003132A1 (en) 2015-02-23 2016-04-22 Method of constructing street guidance information database, and street guidance apparatus and method using street guidance information database

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150025074 2015-02-23
KR20150025074 2015-02-23

Publications (1)

Publication Number Publication Date
KR20160102872A true KR20160102872A (ko) 2016-08-31

Family

ID=56877411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073699A KR20160102872A (ko) 2015-02-23 2015-05-27 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법

Country Status (2)

Country Link
US (1) US20170003132A1 (ko)
KR (1) KR20160102872A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328424A (zh) * 2017-07-12 2017-11-07 三星电子（中国）研发中心 导航方法和装置
WO2018058937A1 (zh) * 2016-09-30 2018-04-05 深圳市镭神智能系统有限公司 头戴式导盲设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554371B2 (ja) * 2015-09-16 2019-07-31 株式会社タチエス 車両用シート
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
US10066949B2 (en) * 2016-06-28 2018-09-04 International Business Machines Corporation Technology for giving users cognitive mapping capability
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US10096228B1 (en) 2017-06-14 2018-10-09 At&T Intellectual Property I, L.P. Smart mobility assistance device
JP6780625B2 (ja) * 2017-10-26 2020-11-04 トヨタ自動車株式会社 自動運転車両の配車システム、及び自動運転車両
CN108734179B (zh) * 2018-05-22 2022-02-11 东南大学 基于硬件实现优化的sift关键点描述的方法
AT522549B1 (de) * 2019-04-18 2022-09-15 Dreamwaves Gmbh Verfahren zum Leiten von Verkehrsteilnehmern

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4126485B2 (ja) * 2002-06-24 2008-07-30 カシオ計算機株式会社 ナビゲート装置及びプログラム
WO2008007471A1 (fr) * 2006-07-10 2008-01-17 Kyoto University Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US9179232B2 (en) * 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058937A1 (zh) * 2016-09-30 2018-04-05 深圳市镭神智能系统有限公司 头戴式导盲设备
CN107328424A (zh) * 2017-07-12 2017-11-07 三星电子（中国）研发中心 导航方法和装置

Also Published As

Publication number Publication date
US20170003132A1 (en) 2017-01-05

Similar Documents

Publication Publication Date Title
KR20160102872A (ko) 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법
US20230392944A1 (en) Navigation methods and apparatus for the visually impaired
CA2577840C (en) A method for automated 3d imaging
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Fernandes et al. Stereo vision in blind navigation assistance
KR101054025B1 (ko) 시각장애인 보행 안내 방법 및 그 시스템
AU2015248967B2 (en) A method for localizing a robot in a localization plane
TW201715476A (zh) 運用擴增實境技術之導航系統
KR20120002261A (ko) 3차원 증강 현실 제공 장치 및 방법
KR20110084028A (ko) 이미지 데이터를 이용한 거리 측정 장치 및 방법
CN106920260B (zh) 立体惯性导盲方法及装置和系统
KR102463698B1 (ko) 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
Saffoury et al. Blind path obstacle detector using smartphone camera and line laser emitter
JP2005326168A (ja) 運転支援システム、車両、および運転支援方法
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
KR101494394B1 (ko) 스테레오 비전을 이용한 탐색장치 및 그 방법
KR101997563B1 (ko) 이동 기기의 위치 인식 방법
JP2022186346A (ja) 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム
Burlacu et al. Ground geometry assessment in complex stereo vision based applications
Leung et al. Geolocalization using mobile phone and street grid map in dynamic environment
KR101518752B1 (ko) 시각 내비게이션 방법 및 장치
KR102461980B1 (ko) 3차원 지도의 생성 방법
KR101933296B1 (ko) 전방 및 바닥 영상의 특징을 이용하는 이동 로봇의 자율 주행 방법 및 장치
TW201944095A (zh) 語音提示系統及方法
AU2005279700B2 (en) A method for automated 3D imaging