KR20230012117A

KR20230012117A - Cctv 및 스마트폰을 연계한 교통 약자 음성 길 안내 장치

Info

Publication number: KR20230012117A
Application number: KR1020210092140A
Authority: KR
Inventors: 최민제; 이승재; 구동균
Original assignee: 서울시립대학교 산학협력단
Priority date: 2021-07-14
Filing date: 2021-07-14
Publication date: 2023-01-26
Also published as: KR102633699B1

Abstract

안내 장치가 제공된다. 상기 안내 장치는 보행로를 촬영한 영상 데이터를 수집하는 수집부; 상기 영상 데이터의 분석을 통해, 상기 보행로에 존재하는 장애물을 탐색하는 탐색부; 상기 장애물의 탐색 결과를 보행자의 단말기에 전송하는 전송부;를 포함할 수 있다.

Description

CCTV 및 스마트폰을 연계한 교통 약자 음성 길 안내 장치{Apparatus for guiding the road by voice for the transportation vulnerable by linking CCTV and smartphones}

본 발명은 교통 약자에게 음성으로 길을 안내하는 장치에 관한 것이다.

일반적으로 시각장애인들은 시각적인 장애를 극복하기 위해 맹인견이나 지팡이에 의지하여 바닥면에 설치된 점자블록을 인식함으로써, 실외로 외출을 행하게 된다.

상기한 점자블록은 통상 노랑색의 판형상으로, 그 상면에 점 또는 선 형태의 돌출면, 즉 에지 성분을 형성하도록 구성된다. 이때, 점자블록은 상면의 에지 성분에 따라 직진 또는 방향전환 등의 의미를 갖는다. 예컨대, 선형 점자블록은 직진을, 점형 점자블록은 방향전환을 의미한다.

즉, 시각장애인들은 다수의 점자블록으로 이루어진 점자블록 유도라인을 따라 보행하되, 각 점자블록의 에지 성분을 지팡이로 여러 번 접촉시키거나 또는 발바닥 느낌을 통해 인식함으로써 보행하게 된다.

점자블록을 이용하면 시각장애인 등의 교통 약자가 보행로를 따라 보행이 가능하지만, 보행로에 침범한 장애물을 인지하기는 어렵다.

장애물로 인한 교통 약자의 안전 사고를 예방하기 위해 교통 약자에게 장애물을 인지시킬 수 있는 방안이 필요하다.

한국등록특허공보 제1632169호에는 바닥면을 촬영하여 바닥면의 점자 블록을 인식하고 인식 결과를 교통 약자에게 안내하는 길안내 시스템이 나타나 있다.

한국등록특허공보 제1632169호

본 발명은 교통 약자의 보행 경로에 존재하는 장애물을 음성으로 안내하는 안내 장치를 제공하기 위한 것이다.

본 발명의 안내 장치는 보행로를 촬영한 영상 데이터를 수집하는 수집부; 상기 영상 데이터의 분석을 통해, 상기 보행로에 존재하는 장애물을 탐색하는 탐색부; 상기 장애물의 탐색 결과를 보행자의 단말기에 전송하는 전송부;를 포함할 수 있다.

본 발명의 안내 방법은 보행로를 촬영한 영상 데이터를 수집하는 단계; 상기 영상 데이터의 분석을 통해, 상기 보행로에 존재하는 장애물을 탐색하는 단계; 상기 보행로에 대해 보행자의 단말기가 접근하는지 여부를 파악하는 단계; 상기 보행로에 존재하는 장애물이 탐지되고 상기 보행로에 대한 상기 단말기의 접근이 파악되면, 상기 장애물의 탐색 결과를 상기 단말기에 전송하는 단계;를 포함할 수 있다.

본 발명의 안내 장치 및 방법에 따르면, 보행자가 보행하는 보행로에 존재하는 장애물의 정보가 해당 보행자가 소지한 단말기로 제공될 수 있다.

해당 보행자는 단말기에 표시된 장애물의 정보를 촉각적, 시각적, 청각적으로 사전에 확인하고, 해당 장애물을 회피할 수 있다.

본 발명의 안내 장치는 자신의 보행 경로 상에 존재하는 장애물을 시각적으로 인지하기 어려운 교통 약자 등이 장애물이 걸려서 넘어지는 등의 안전 사고를 방지하는데 도움이 될 수 있다.

특히, 본 발명의 안내 장치는 단말기의 접근이 확인 경우에 한하여 장애물의 탐색 결과가 제공되므로, 꼭 필요한 정보만이 보행자에게 제공될 수 있다.

또한, 본 발명의 안내 장치는 보행자의 평소 보행 패턴을 파악하고, 보행자의 현재 위치와 보행 패턴을 이용해 보행자의 예상 보행 경로를 예측할 수 있다. 안내 장치는 예상 보행 경로에 대한 장애물 탐색 결과를 해당 보행자의 단말기로 전송할 수 있다.

장애물 탐색 결과의 정확도 개선을 위해 본 발명의 안내 장치는 기계 학습을 통해 생성된 탐색 모델을 이용하여, 장애물을 탐색할 수 있다. 안내 장치는 기계 학습 과정에서 입력 데이터셋의 개수를 증가시키는 동시에, 다양한 크기의 이미지를 제공하기 위한 방안을 마련할 수 있다. 예를 들어, 안내 장치는 스케일은 그대로 고정시킨 상태에서 이미지를 사이즈 다운 또는 사이즈 업시킨 영상 데이터를 이용해서 기계 학습을 수행할 수 있다.

장애물의 탐색 객체는 현실적으로 보행로이지만, 데이터적으로는 해당 보행로를 촬영한 영상 데이터일 수 있다. 영상 데이터는 보행로를 촬영하는 CCTV(Closed Circuit TV) 등 다양한 카메라로부터 획득될 수 있다.

장애물 탐색 결과의 정확도를 개선하기 위해, 본 발명의 안내 장치는 동일한 설정 영역이 복수의 카메라에 의해 촬영될 때, 복수의 카메라에서 촬영된 영상 데이터를 모두 수집할 수 있다. 안내 장치는 동일 영역을 촬영한 복수의 카메라의 영상 데이터를 모두 분석해서 장애물의 존재 여부를 판단할 수 있다.

본 발명의 안내 장치 및 안내 방법은 국가에서 시행하고 있는 보행개선지침중의 하나의 분야에서 사용될 수 있다. 또한, 보도 관리상태 평가에 인력이 투입될 필요가 없고, 기존 주관적인 평가로 시행되고 있는 것을 이미지 학습 판별을 통하여 보다 객관화된 보도관리상태의 평가체계를 수립할 수 있는 데 도움이 될 수 있다.

도 1은 본 발명의 안내 장치를 나타낸 개략도이다.
도 2는 수집부의 동작을 나타낸 개략도이다.
도 3은 파악부의 동작을 나타낸 개략도이다.
도 4는 본 발명의 안내 장치의 동작을 나타낸 개략도이다.
도 5는 본 발명의 안내 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 본 발명의 안내 장치를 나타낸 개략도이다.

도 1에 도시된 안내 장치는 수집부(110), 탐색부(130), 파악부(150), 전송부(170), 전처리부(210), 학습부(230)를 포함할 수 있다.

수집부(110)는 보행로(50)를 촬영한 영상 데이터를 수집할 수 있다.

보행로(50)는 사람이 걸어 다니는 용도로 마련된 길을 의미할 수 있다. 보행로(50)에 쓰레기, 돌, 차량, 나무로부터 뻗어 나온 나뭇가지, 교통 표지판, 가로수, 광고판 등의 장애물이 존재하면 보행자가 부딪히거나 걸려서 넘어질 수 있다. 이와 같이 보행로(50) 상에 존재하는 장애물은 보행자의 보행을 방해하거나, 보행자의 안전 사고를 유발하게 되는데, 특히, 시각적인 장애를 갖는 교통 약자의 경우, 보행 시에 만나는 장애물에 매우 취약할 수밖에 없다.

본 발명의 안내 장치는 보행 시에 만나는 장애물에 대한 정보를 사전에 보행자에게 안내할 수 있다. 장애물을 만나기 전에 장애물의 정보를 보행자에게 안내하기 위해, 우선 보행로(50)에 존재하는 장애물이 실시간으로 파악될 필요가 있다. 현실적으로 보행로(50)에 존재하는 장애물을 실시간으로 파악하기 위해 안내 장치는 각종 카메라(10)에서 보행로(50)를 촬영한 영상 데이터를 이용할 수 있다.

일 예로, 수집부(110)는 보행로(50)를 촬영하는 CCTV(Closed Circuit TV)(카메라 포함) 등의 각종 카메라(10)로부터 영상 데이터를 수집할 수 있다. 일 예로, 수집부(110)에는 CCTV와 유무선 통신하는 통신 모듈이 마련될 수 있다. 수집부(110)는 통신 모듈을 통해 CCTV로부터 영상 데이터를 수신할 수 있다. 영상 데이터에는 보행로(50)의 촬영 이미지, 동영상이 포함될 수 있다.

다른 예로, 수집부(110)는 차도 또는 보행로(50)를 따라가며 촬영한 이미지를 기반으로 차도, 보행로(50), 그 주변의 이미지를 제공하는 로드뷰 서비스를 제공하는 서버로부터 로드뷰 이미지에 해당하는 영상 데이터를 수집할 수 있다.

탐색부(130)는 수집부(110)에서 수집된 영상 데이터의 분석을 통해, 보행로(50)에 존재하는 장애물을 탐색할 수 있다.

탐색부(130)는 정지 이미지 또는 동영상 이미지에서 설정 객체를 추출하는 각종 알고리즘을 이용하여 설정 객체에 해당하는 장애물을 탐색할 수 있다. 탐색부(130)에서 탐색하는 실제 대상은 보행로(50)가 촬영된 영상 데이터에 포함된 이미지일 수 있다. 해당 탐색부(130)의 탐색 결과는 해당 이미지의 촬영 시각의 실제 보행로(50)의 장애물 존재 상태를 나타낼 수 있다.

도 2는 수집부(110)의 동작을 나타낸 개략도이다.

수집부(110)는 동일한 설정 영역을 촬영한 복수의 카메라로부터 영상 데이터를 모두 수집할 수 있다.

탐색부(130)는 복수의 카메라로부터 수집된 복수의 영상 데이터의 분석을 통해 보행로(50)에 존재하는 장애물 b를 탐색할 수 있다.

탐색부(130)는 복수의 카메라로부터 수집된 복수의 영상 데이터에서 장애물이 공통적으로 탐색된 경우에 한하여 보행로(50)에 장애물이 존재하는 것으로 판단할 수 있다.

일 예로, 수집부(110)는 동일한 설정 영역을 촬영한 제1 카메라(11)와 제2 카메라(12)로부터 영상 데이터를 모두 수집할 수 있다. 다시 말해, 수집부(110)는 동일한 설정 영역을 동일한 시각에 촬영한 제1 카메라(11)로부터 제1 영상 데이터 i1을 수집하고, 제2 카메라(12)로부터 제2 영상 데이터 i2를 수집할 수 있다.

탐색부(130)는 제1 영상 데이터 i1에 장애물 b가 존재하는 것으로 탐색되고, 제2 영상 데이터 i2에도 장애물 b가 존재하는 것으로 탐색되면, 해당 설정 영역에 장애물 b가 존재하는 것으로 판단할 수 있다.

탐색부(130)는 제1 카메라(11)에서 촬영된 제1 영상 데이터 i1과 제2 카메라(12)에서 촬영된 제2 영상 데이터 i2의 촬영 시점이 서로 다르면, 제1 영상 데이터 i1과 제2 영상 데이터 i2 중에서 가장 최근에 촬영된 영상 데이터만을 이용하여 장애물 b를 탐색할 수 있다.

예를 들어, 동일 지점을 촬영했다 하더라도 제1 영상 데이터 i1이 한시간 전에 촬영된 것이고, 제2 영상 데이터 i2가 현재 촬영된 것이면, 제2 영상 데이터 i2만을 이용해서 장애물이 파악되는 것이 바람직하다.

한편, 제1 영상 데이터 i1과 제2 영상 데이터 i2의 촬영 시점 간의 차이가 미미한 경우가 존재할 수 있다. 이와 같이 촬영 시점의 차이가 다양해지면 어떤 영상 데이터를 이용해서 장애물 b의 존재 여부가 판단되어야 하는지 모호할 수 있다.

수집부(110)는 동일한 설정 영역을 촬영하는 제1 카메라(11)와 제2 카메라(12)가 존재하면, 일단 각 카메라에서 촬영된 영상 데이터를 모두 수집할 수 있다.

제1 카메라(11)에서 설정 영역을 촬영한 제1 영상 데이터 i1의 제1 촬영 시점, 제2 카메라(12)에서 설정 영역을 촬영한 제2 영상 데이터 i2의 제2 촬영 시점이 정의될 수 있다.

탐색부(130)는 제1 촬영 시점과 제2 촬영 시점 간의 차이가 설정값 이하이면, 제1 영상 데이터 i1과 제2 영상 데이터 i2 모두에서 장애물 b가 공통적으로 탐색된 경우에 한하여 보행로(50)에 장애물이 존재하는 것으로 판단할 수 있다.

탐색부(130)는 제1 촬영 시점과 제2 촬영 시점 간의 차이가 설정값을 초과하면, 제1 영상 데이터 i1과 제2 영상 데이터 i2 중에서 가장 최근에 촬영된 영상 데이터만을 이용하여 장애물 b를 탐색할 수 있다. 설정값은 0.5초~10초의 범위 내에서 결정될 수 있다.

이미지를 보고 보행로(50) 상에 존재하는 장애물을 판단하는 사람처럼 장애물을 탐색하기 위해 탐색부(130)에는 탐색 모델이 탑재될 수 있다. 이때, 탐색 모델은 학습부(230)에서 기계 학습을 통해 생성될 수 있다. 탐색 모델은 영상 데이터에 포함된 장애물을 탐색할 수 있다. 탐색부(130)는 탐색 모델을 이용하여 장애물을 탐색할 수 있다.

다시 도 1로 돌아가서, 학습부(230)는 YOLO(You Only Look Once) 등의 객체 탐지 알고리즘 등을 이용하여 기계 학습을 수행할 수 있다.

로드뷰 또는 CCTV 촬영 이미지에 포함된 각종 시설물 및 장애물들은 원근감에 의하여 크게 비춰지기도 하게 작게 비춰질 수 있다.

일률적인 사이즈의 이미지를 기계 학습하게 되면, 원근감에 의해 바뀌어지는 장애물의 모습에 대해서 정확한 인식이 어려워질 수 있다. 다시 말해, 영상 데이터 상에서 제1 면적의 장애물에 대한 학습만 수행되는 경우, 실제 현장에서 원근법에 의해 해당 장애물이 제2 면적을 갖는 경우 장애물의 인식률이 저하될 수 있다.

이를 방지하기 위해 전처리부(210)가 이용될 수 있다.

전처리부(210)는 영상 데이터를 가공할 수 있다.

전처리부(210)는 영상 데이터의 스케일 (scale)은 그대로 고정시킨 상태에서 영상 데이터에 포함된 이미지를 사이즈 다운(size down)시켜서 가공 데이터를 생성할 수 있다.

학습부(230)는 영상 데이터 및 가공 데이터가 입력되면 장애물을 탐색하는 기계 학습을 통해, 영상 데이터의 입력시 장애물을 탐색하는 탐색 모델을 생성할 수 있다.

전송부(170)는 탐색부(130)에서 장애물의 탐색 결과가 출력되면, 해당 탐색 결과를 보행자의 단말기(80)에 전송할 수 있다.

전송부(170)가 타겟으로 하는 단말기(80)는 사전에 장애물 탐지 결과를 제공받을 것을 허락한 설정 단말을 대상으로 할 수 있다.

한편, 탐지 결과와 단말기(80) 간에는 위치적 연관 관계가 형성되는 것이 좋다.

예를 들어, 서울의 어느 보행로(50)를 대상으로 한 장애물의 탐색 결과가 부산에 위치한 보행자의 단말기(80)로 전송되는 것은 보행 차원에서 무의미할 수 있다. 또한, 해당 탐색 결과가 해당 보행로(50)를 이미 통과한 보행자의 단말기(80)로 전송되는 것 또한 무의미할 수 있다.

특정 단말기(80)를 대상으로 무의미한 탐색 결과의 전송을 방지하기 위해 파악부(150)가 이용될 수 있다.

파악부(150)는 단말기(80)의 위치 정보를 획득할 수 있다. 단말기(80)는 보행자가 소지한 이동 통신 단말 등을 포함할 수 있다.

단말기(80)의 위치 정보를 이용해 파악된 단말기(80)의 위치는 단말기(80)를 소지한 보행자의 위치로 추정될 수 있다.

파악부(150)는 탐색부(130)에 의해 장애물이 존재하는 것으로 판단된 특정 보행로(50)에 단말기(80)가 접근하는지 파악할 수 있다.

예를 들어, 파악부(150)는 특정 보행로(50)와 단말기(80) 간의 거리가 설정 거리를 만족하면, 특정 보행로(50)에 단말기(80)가 접근한 것으로 파악할 수 있다.

전송부(170)는 파악부(150)에 의해 특정 보행로(50)에 단말기(80)가 접근하는 것으로 판단되면 비로소 장애물의 탐색 결과를 단말기(80)에 전송할 수 있다.

한편, 특정 보행로(50) 대한 단말기(80)의 접근이 오직 거리에 의해 결정되는 경우, 보행자의 보행 경로에 이웃한 다른 보행로(50)에 단말기(80)에 접근한 것으로 파악되는 문제가 발생될 수 있다. 예를 들어, 보행자가 제1 보행로를 이용하고 있는데, 제1 보행로로부터 설정 거리 이내의 거리만큼 이격된 제2 보행로에 장애물이 존재할 수 있다. 이 경우, 해당 보행자는 제2 보행로를 이용할 계획이 없음에도 불구하고 전송부(170)로부터 제2 보행로에 대한 장애물 탐색 결과를 제공받게 된다. 관련이 없는 장애물의 탐색 결과가 제공되면, 보행자가 장애물 상태를 혼동할 수 있다. 따라서, 관련이 없는 장애물의 탐색 결과가 제공되는 현상은 최대한 배제되는 것이 좋다.

관련이 없는 장애물의 탐색 결과가 제공되는 현상을 제한하기 위해 파악부(150)가 이용될 수 있다.

도 3은 파악부(150)의 동작을 나타낸 개략도이다.

파악부(150)는 평소에 단말기(80)의 위치 정보를 추적하여 보행자의 보행 패턴을 파악할 수 있다.

보행자의 단말기(80)에는 보행 패턴을 분석하는 응용 애플리케이션 'HANDYCAB'이 탑재될 수 있다.

응용 애플리케이션은 단말기(80)의 위치 정보를 실시간으로 분석하고, 분석 결과를 지도 정보에 매칭시켜서 보행 패턴을 생성할 수 있다. 파악부(150)는 단말기(80)로부터 보행 패턴을 수신할 수 있다.

한편, 파악부(150)는 단말기(80)의 위치 정보를 수신하고, 단말기(80)의 위치 정보를 지도 정보에 매칭시켜서 보행 패턴을 직접 생성할 수 있다. 이 경우, 파악부(150)는 단말기(80)로부터 위치 정보만 획득하면 충분하다.

파악부(150)는 단말기(80)의 현재 위치 정보가 입수되면, 현재 위치 정보와 보행 패턴을 이용하여 보행자의 예상 보행 경로를 예측할 수 있다.

전송부(170)는 예상 보행 경로 상에 존재하는 장애물의 탐색 결과를 탐색부(130)로부터 추출하고 단말기(80)에 전송할 수 있다.

예를 들어, 도 3에서 격자 형태의 그림이 보행자의 보행 패턴을 나타낼 수 있다.

해당 보행 패턴에 따르면, 제1 보행로 ⓐ, 제2 보행로 ⓑ, 제3 보행로 ⓒ, 제4 보행로 ⓓ로 정의된 보행로(50)에 대해, 보행자는 평소 제1 보행로 ⓐ-제2 보행로 ⓑ-제3 보행로 ⓒ 또는 제1 보행로 ⓐ-제2 보행로 ⓑ-제4 보행로 ⓓ의 순서로 보행로(50)를 이용할 수 있다.

이 경우, 단말기(80)의 위치 정보가 제1 보행로 ⓐ를 나타내면, 파악부(150)는 보행 패턴 상으로 제1 보행로 ⓐ 다음의 보행로(50)로 예상되는 제2 보행로 ⓑ에 보행자 또는 단말기(80) 접근한 것으로 파악할 수 있다.

탐색부(130)는 실시간으로, 모든 보행로(50) ⓐ, ⓑ, ⓒ, ⓓ에 대한 장애물 탐색을 수행할 수 있다. 하지만, 보행자가 없는 상태에서의 실시간 장애물 탐색이 무의미한 점을 근거로, 탐색부(130)의 처리 부하를 경감시키는 방안이 추가로 마련될 수 있다. 일 예로, 탐색부(130)는 보행자가 존재하거나 접근할 때에만 보행로(50) ⓐ, ⓑ, ⓒ, ⓓ에 대한 장애물 탐색을 수행할 수 있다.

일 예로, 탐색부(130)는 평소에 장애물 탐색을 수행하지 않는 대기 상태를 유지할 수 있다. 위 경우, 보행자가 갑자기 등장(집에서 출발한 경우 등)할 수 있는 제1 보행로 ⓐ에 대한 장애물 탐색만 실시간으로 수행하고, 나머지 보행로(50) ⓑ, ⓒ, ⓓ에 대해서는 장애물 탐색을 수행하지 않을 수 있다.

파악부(150)에 의해 단말기(80)가 제2 보행로 ⓑ에 접근한 것으로 파악(현재 단말기(80)는 제1 보행로 ⓐ에 위치한 상태)되면, 탐색부(130)는 제2 보행로 ⓑ를 대상으로 장애물을 탐색할 수 있다. 그리고, 전송부(170)는 제2 보행로 ⓑ를 대상으로 하는 장애물 탐색 결과를 해당 단말기(80)로 전송할 수 있다.

단말기(80)가 제2 보행로 ⓑ에 위치하는 것으로 파악되면, 파악부(150)는 보행 패턴에 따라, 다음의 보행로(50)에 해당하는 제3 보행로 ⓒ 또는 제4 보행로 ⓓ에 단말기(80)가 접근한 것으로 파악할 수 있다.

이때, 탐색부(130)는 제3 보행로 ⓒ 및 제4 보행로 ⓓ에 대한 장애물 탐색을 수행하고, 탐색 결과는 전송부(170)에 의해 단말기(80)에 전송될 수 있다. 제2 보행로 ⓑ를 보행 중인 보행자는 제3 보행로 ⓒ의 장애물 탐색 결과 및 제4 보행로 ⓓ의 장애물 탐색 결과를 단말기(80)를 통해 음성으로 제공받을 수 있다.

본 실시예에 따르면, 교통 약자가 현재 A(제1 보행로)라는 길을 보행하고 있으면 이전 경로들의 추적 결과에 따라 앞으로 보행할 길에 대한 200-300m가량의 데이터를 미리 예상하여, 해당 반경 내에서 CCTV를 통한 장애물이 탐지가 되었다면 미리 100m가량 앞에서 알림을 해줄 수 있다.

이를 단말기(80)에 탑재된 응용 애플리케이션 'HANDYCAB'과 연동하여 장애물을 음성으로 안내하여, 교통 약자에게 효과적으로도 제공해줄 수 있다.

얼굴에 착용하는 아이글래스를 통해 통행로 상의 장애물을 안내하는 비교 실시예와 비교하여, 본 발명의 안내 장치는 바로 눈앞에 보이는 장애물이 아니라, 보다 넓은 범위의 장애물을 사전에 파악해서 교통 약자들에게 파악 결과를 제공할 수 있다.

도 4는 본 발명의 안내 장치의 동작을 나타낸 개략도이다.

안내 장치의 전체적인 동작은 아래와 같다. 첫 번째로 두 개의 CCTV를 통하여 동일한 설정 영역에 존재하는 장애물 b를 탐색한(①) 후, 두 번째로 경로내의 교통 약자에게 장애물 알림을 한(②) 뒤, 세 번째로 교통 약자가 해당 장애물에 대한 인식 후 회피가 가능하게 한다(③).

도 5는 본 발명의 안내 방법을 나타낸 흐름도이다.

도 5에 도시된 안내 방법은 도 1에 도시된 안내 장치에 의해 수행될 수 있다.

안내 방법은 수집 단계(S 510), 탐색 단계(S 520), 파악 단계(S 530), 경고 단계(S 540)를 포함할 수 있다.

수집 단계(S 510)는 보행로(50)를 촬영한 영상 데이터를 수집할 수 있다. 수집 단계(S 510)는 수집부(110)에 의해 수행될 수 있다.

탐색 단계(S 520)는 영상 데이터의 분석을 통해, 보행로(50)에 존재하는 장애물을 탐색할 수 있다. 탐색 단계(S 530)는 탐색부(130)에 의해 수행될 수 있다.

파악 단계(S 530)는 보행로(50)에 대해 보행자의 단말기(80)가 접근하는지 여부를 파악할 수 있다. 파악 단계(S 530)는 파악부(150)에 의해 수행될 수 있다.

경고 단계(S 550)는 보행로(50)에 존재하는 장애물이 탐지되고 보행로(50)에 대한 단말기(80)의 접근이 파악되면, 장애물의 탐색 결과를 단말기(80)에 전송할 수 있다. 경고 단계(S 550)는 전송부(170)에 의해 수행될 수 있다. 보행로(50)에 장애물이 존재하고 해당 보행로(50)에 단말기(80)가 접근하는 상태는, 단말기(80)를 소지하는 보행자가 보행로(50)에 존재하는 장애물을 회피하거나 조심할 필요가 있는 경고 상태를 나타낼 수 있다. 보행자는 단말기(80)를 통해 음성 출력되는 장애물 안내 메시지를 통해 사전에 장애물을 인지할 수 있다.

도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 6의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 안내 장치 등) 일 수 있다.

도 6의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10...카메라 11...제1 카메라
12...제2 카메라 50...보행로
80...단말기 110...수집부
130...탐색부 150...파악부
170...전송부 210...전처리부
230...학습부

Claims

보행로를 촬영한 영상 데이터를 수집하는 수집부;
상기 영상 데이터의 분석을 통해, 상기 보행로에 존재하는 장애물을 탐색하는 탐색부;
상기 장애물의 탐색 결과를 보행자의 단말기에 전송하는 전송부;
를 포함하는 안내 장치.
제1항에 있어서,
상기 수집부는 상기 보행로를 촬영하는 CCTV(Closed Circuit TV)로부터 상기 영상 데이터를 수집하는 안내 장치.
제1항에 있어서,
상기 수집부는 동일한 설정 영역을 촬영한 복수의 카메라로부터 상기 영상 데이터를 모두 수집하고,
상기 탐색부는 복수의 상기 카메라로부터 수집된 복수의 상기 영상 데이터의 분석을 통해 상기 보행로에 존재하는 장애물을 탐색하며,
상기 탐색부는 복수의 상기 카메라로부터 수집된 복수의 상기 영상 데이터에서 상기 장애물이 공통적으로 탐색된 경우에 한하여 상기 보행로에 상기 장애물이 존재하는 것으로 판단하는 안내 장치.
제1항에 있어서,
상기 수집부는 동일한 설정 영역을 촬영한 제1 카메라와 제2 카메라로부터 상기 영상 데이터를 모두 수집하고,
상기 탐색부는 상기 제1 카메라에서 촬영된 제1 영상 데이터와 상기 제2 카메라에서 촬영된 제2 영상 데이터의 촬영 시점이 서로 다르면, 상기 제1 영상 데이터와 상기 제2 영상 데이터 중에서 가장 최근에 촬영된 영상 데이터만을 이용하여 상기 장애물을 탐색하는 안내 장치.
제1항에 있어서,
상기 수집부는 동일한 설정 영역을 촬영한 제1 카메라와 제2 카메라로부터 상기 영상 데이터를 모두 수집하고,
상기 제1 카메라에서 상기 설정 영역을 촬영한 제1 영상 데이터의 제1 촬영 시점, 상기 제2 카메라에서 상기 설정 영역을 촬영한 제2 영상 데이터의 제2 촬영 시점이 정의될 때,
상기 탐색부는 상기 제1 촬영 시점과 상기 제2 촬영 시점 간의 차이가 설정값 이하이면, 상기 제1 영상 데이터와 상기 제2 영상 데이터 모두에서 상기 장애물이 공통적으로 탐색된 경우에 한하여 상기 보행로에 상기 장애물이 존재하는 것으로 판단하며,
상기 탐색부는 상기 제1 촬영 시점과 상기 제2 촬영 시점 간의 차이가 상기 설정값을 초과하면, 상기 제1 영상 데이터와 상기 제2 영상 데이터 중에서 가장 최근에 촬영된 영상 데이터만을 이용하여 상기 장애물을 탐색하는 안내 장치.
제1항에 있어서,
기계 학습을 통해 상기 영상 데이터에 포함된 장애물을 탐색하는 탐색 모델을 생성하는 학습부가 마련되고,
상기 탐색부는 상기 탐색 모델을 이용하여 상기 장애물을 탐색하는 안내 장치.
제1항에 있어서,
상기 영상 데이터를 가공하는 전처리부, 상기 탐색부에 탑재되는 탐색 모델을 생성하는 학습부가 마련되고,
상기 전처리부는 상기 영상 데이터의 스케일(scale)은 그대로 고정시킨 상태에서 상기 영상 데이터에 포함된 이미지를 사이즈 다운(size down)시켜서 가공 데이터를 생성하며,
상기 학습부는 상기 영상 데이터 및 상기 가공 데이터가 입력되면 상기 장애물을 탐색하는 기계 학습을 통해, 상기 영상 데이터의 입력시 상기 장애물을 탐색하는 상기 탐색 모델을 생성하는 안내 장치.
제1항에 있어서,
상기 단말기의 위치 정보를 획득하는 파악부가 마련되고,
상기 파악부는 상기 탐색부에 의해 상기 장애물이 존재하는 것으로 판단된 특정 보행로에 상기 단말기가 접근하는지 파악하며,
상기 전송부는 상기 파악부에 의해 상기 특정 보행로에 상기 단말기가 접근하는 것으로 판단되면 비로소 상기 장애물의 탐색 결과를 상기 단말기에 전송하는 안내 장치.
제1항에 있어서,
평소에 상기 단말기의 위치 정보를 추적하여 상기 보행자의 보행 패턴을 파악하는 파악부가 마련되고,
상기 파악부는 상기 단말기의 위치 정보가 입수되면, 상기 위치 정보와 상기 보행 패턴을 이용하여 상기 보행자의 예상 보행 경로를 예측하며,
상기 전송부는 상기 예상 보행 경로 상에 존재하는 장애물의 탐색 결과를 상기 탐색부로부터 추출하고 상기 단말기에 전송하는 안내 장치.
안내 장치에 의해 수행되는 안내 방법에 있어서,
보행로를 촬영한 영상 데이터를 수집하는 단계;
상기 영상 데이터의 분석을 통해, 상기 보행로에 존재하는 장애물을 탐색하는 단계;
상기 보행로에 대해 보행자의 단말기가 접근하는지 여부를 파악하는 단계;
상기 보행로에 존재하는 장애물이 탐지되고 상기 보행로에 대한 상기 단말기의 접근이 파악되면, 상기 장애물의 탐색 결과를 상기 단말기에 전송하는 단계;
를 포함하는 안내 방법.