KR20200067549A - 점자 블록 안내 시스템 및 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 점자블록 안내장치는 현재 위치 정보를 판단하는 통신부, 보행로의 이미지를 촬영하는 카메라부, 주변 조도 및 사용자의 움직임 관련 정보를 센싱하는 센서부, 상기 카메라부에서 촬영한 보행로 이미지를 분석하여 점자블록의 존재를 판단하며, 점자블록에 상응하는 길 안내 정보를 제공하는 제어부를 포함할 수 있다.

Description

점자 블록 안내 시스템 및 장치{Braille block guidance system and device}

본 발명은 점자 블록 안내 시스템 및 장치에 관한 것이다.

시각 장애인들의 가장 안전한 보행방법은 보호자가 같이 동행하거나 안내견의 도움을 받는 것이다. 그러나 보호자와 안내견의 도움을 받을 수 있는 경우는 한정적이며, 그에 따라 위험성에도 불구하고 대다수의 시각 장애인들이 필요에 따라 단독 보행을 하고 있다.

그러나 이러한 단독 보행 시 지팡이 등에 의지하여 보행하게 되는데 이는 사고의 위험성이 여전히 높은 것으로 판단되고 있다. 그에 따라 시각장애인들의 안전 보행을 위한 보조도구의 개선이 필요한 실정이다.

본 발명은 앞서 제시한 문제를 해결하기 위해 안출된 것으로, 시각장애인들에게 길을 알려주기 위해 점자 블록을 인식하고, 점자블록에서 안내하는 정보를 보다 명확하게 인지할 수 있도록 도와주는 장치 및 시스템을 제공하는 데 목적이 있다.

본 발명의 실시 예에 따른 점자블록 안내장치는 현재 위치 정보를 판단하는 통신부, 보행로의 이미지를 촬영하는 카메라부, 주변 조도 및 사용자의 움직임 관련 정보를 센싱하는 센서부, 상기 카메라부에서 촬영한 보행로 이미지를 분석하여 점자블록의 존재를 판단하며, 점자블록에 상응하는 길 안내 정보를 제공하는 제어부를 포함할 수 있다.

본 발명의 실시 예는 시각 장애인들이 통상적으로 사용하는 지팡이를 이용하여 점자블록에 의한 길안내를 수행하는 효과가 있다.

또한 본 발명의 실시 예는 점자블록이 안내하는 길의 영역을 벗어나는 경우 진동을 통해 경고 신호를 제공하므로 시각장애인들로 하여금 간편한 방식으로 위험상황을 방지할 수 있도록 돕는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 점자 블록 안내 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예예 따른 이미지 분석부의 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 점자블록 안내 장치에 의해 길안내 동작을 수행하는 과정의 순서를 도시한 순서도이다.
도 4는 본 발명의 실시 예예 따른 점자블록 안내 장치의 외관을 도시한 도면이다.
도 5는 점자 블록의 예시를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 실시 예에 따른 점자 블록 안내 장치의 구성을 도시한 도면이다.

도 1에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 점자 블록 안내 장치 100는 통신부 110, 저장부 120, 카메라부 130, 센서부 140, 발광부 150 및 제어부 160를 포함하여 구성될 수 있다. 그리고 상기 제어부 160는 촬영 제어부 161, 이미지 분석부 162, 길 안내부 163을 포함하여 구성될 수 있다.

먼저, 상기 통신부 110는 예를 들면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 및 RF(radio frequency) 모듈를 포함할 수 있다.

셀룰러 모듈은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 가입자 식별 모듈(예: SIM 카드)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 프로세서가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.

WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.

RF 모듈은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.

본 발명의 실시 예에 따른 상기 통신부 110는 현재 위치 정보를 판단하는 동작을 수행할 수 있다. 또한 본 발명의 점자블록 안내 장치가 서버, 사용자 기기와 함께 점자블록 안내 시스템으로써 구동할 경우, 상기 통신부 110는 다양한 실시 예에 따라 서버(미도시) 및 사용자 기기(예, 스마트폰)과의 무선 통신을 수행할 수 있다. 예컨대, 상기 통신부 110는 사용자 기기와 통신 연결을 수행할 수 있으며, 상기 사용자 기기는 점자블록 안내장치 100와의 통신에 기반하여 시각 장애를 가진 사용자가 점자 블록 안내 장치 100를 사용하여 보행하는 중(점자 블록 안내 장치가 동작중인지 여부)인지 여부를 판단할 수 있다. 그리고 이에 기반하여 상기 사용자 기기는 점자블록 안내장치 100가 사용중인 것으로 판단되는 상태에서, 전화가 수신되면, 통화를 자동으로 거부하고, 보행중임을 알리는 문자메시지(수신 전화에 대한 거절 안내 메시지)를 발송하는 등의 점자블록 안내장치 100와 연관된 제어동작을 수행할 수 있다.

일 실시 예에서, 점자블록 안내장치 100는 촬영범위 내에 포함된 점자블록의 형태 및 패턴을 인식하고, 이로부터 사용자에게 미리 길을 안내할 수 있다. 예를 들어, 점자블록의 패턴이 다섯 블록 전진한 후 우회전하는 패턴인 것으로 인식되는 경우, 사용자에게 음성이나, 진동으로 해당 정보를 전달할 수 있다. 예를 들어, 진동으로 정보를 전달하는 경우, 다섯 번 진동한 후 우회전이면 짧게 두 번 진동, 좌회전이면 짧게 세 번 진동할 수 있고, 실시 예에 따라 모터를 이용하여 점자블록 안내장치 100가 오른쪽 혹은 왼쪽으로 살짝 흔들리게 할 수도 있으나, 이는 제한되지 않는다.

또한, 점자블록 안내장치 100는 촬영범위 내에서 인식되는 점자블록의 패턴에 기초하여 사용자의 위치를 정확하게 특정할 수 있다. 예를 들어, 지하철 역과 같이 GPS에 기반한 측위가 어려운 실내의 경우 사용자가 해당 지하철역 내에 있다는 정보에 기초하여, 해당 지하철역 내의 점자블록 패턴을 로드할 수 있다. 또한, 카메라에서 촬영되는 점자블록의 패턴과 해당 지하철역 내의 점자블록 패턴을 매칭하여, 대응하는 위치에 사용자가 있는 것으로 판단할 수 있다. 이 경우, 사용자의 진행방향이나 목적지에 근거하여 점자블록 패턴에 기초한 길안내를 수행할 수 있고, 상술한 바와 같이 사용자에게 진행방향을 미리 알려줄 수 있다.

상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.

외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.

본 발명의 실시 예에 따른 상기 저장부 120는 점자블록을 판단하는 데 요구되는 비교 대상 이미지를 저장할 수 있다. 또한 상기 저장부 120는 다양한 실시 예에 따라 사용자의 피드백과 관련된 정보를 저장할 수 있다. 예컨대, 점자 블록이 존재하는 실제로는 존재하여, 지팡이 등에 의해서는 감지되나, 점자블록 안내장치 100에 의한 점자블록 인식률은 떨어지는 장소에 대한 정보를 저장할 수 있다. 또는 점자블록이 존재하긴 하나 점자블록 상의 볼라드 설치 등과 같은 위험 요소가 존재하는 보행로에 대한 정보 등을 저장할 수 있다. 이는 다양한 실시 예에 따라 점자블록 안내 장치 100에 구비된 소정의 버튼(미도시)를 선택하는 동작 등에 의해 기록될 수 있다. 그리고 보다 다양한 실시 예에 따라, 사용자는 장치의 점자블록 오인식 발생 또는 점자블록 설치 장소의 위험성 감지 시 소정의 버튼을 입력하는 등으로 피드백내용을 기록할 수 있고, 이에 대응하여 점자블록 안내 장치 100는 피드백 내용과 함께 해당 장소에 대한 정보 및 사용자가 피드백 내용을 기록한 시점에서의 촬영된 보행로 이미지 정보 등을 서버(미도시)에 전송할 수 있다. 서버로 전송된 내용은 타 사용자들의 보행 시에 참고될 수 있다.

상기 카메라부 130는 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시 (flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.

본 발명의 실시 예에 따른 상기 카메라부 130는 지팡이 형태의 점자블록 안내장치 100가 탐지하고자 하는 지점을 촬영하고 촬영된 이미지 정보를 제어부 160에 전달하는 동작을 수행할 수 있다.

일 실시 예에 따라 상기 카메라부 130는 점자 블록 촬영을 용이하게 하기 위해 점자블록(보행로)을 정면으로 내려다볼 수 있는 각도로 설치될 수 있다. 또한 상기 카메라부 130가 설치되는 지팡이 상에서의 높이는 적어도 점자블록 1개 이상이 온전히 촬영될 수 있는 높이로 설정될 수 있다. 또한 다양한 실시 예에 따라 상기 카메라부 130는 제어부 160의 제어 하에 촬영 각도가 조절될 수 있도록 각도 조절부를 포함할 수 있다.

상기 센서부 140는 예를 들면, 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서부는 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서부는 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 부는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치는 프로세서의 일부로서 또는 별도로, 센서부를 제어하도록 구성된 프로세서를 더 포함하여, 프로세서가 슬립(sleep) 상태에 있는 동안, 센서부를 제어할 수 있다.

본 발명의 실시 예에 따른 상기 센서부 140는 조도 센서를 이용한 주변 조도 인식을 수행할 수 있다. 또한 상기 센서부 140는 적외선, 초음파 등에 기반하여 주변 물체의 존재 여부를 감지할 수 있다. 이에 따라 상기 센서부 140는 예컨대, 점자 블록 상에 임시적으로 사람, 동물 또는 기타 물체가 존재하는 경우, 이에 대한 존재 여부를 적외선, 초음파 등을 이용한 기법에 의해 센싱할 수 있다. 다양한 실시 예에 따라 상기 센서부 140는 온도, 조도, 이미지, 가속도, 습도 등에 대한 정보를 센싱할 수 있으며, 센싱된 정보는 보행 환경 및 위험 요소 판단에 사용될 수 있다.

또한 다양한 실시 예에 따라 상기 센서부 140는 가속도 등을 센싱하여 정지 상태와 보행 상태를 구분할 수 있도록 하며, 이 때 감지된 센싱 정보의 값이 기 설정된 값 이하인 경우 제어부 160는 정지상태인 것으로 판단할 수 있다. 예컨대, 정지상태인 것으로 판단되는 경우에, 상기 점자블록 안내 장치 100는 절전 모드로 전환될 수 있으며, 절전 모드에서 일정 값 이상의 동작 신호가 센싱되는 경우 절전 모드를 해제하고 일반 모드로써 동작할 수 있다.

상기 발광부 150는 LED 등의 발광체를 구비하여 구성될 수 있으며, 제어부 160의 제어 하에 일정 밝기로 빛을 발할 수 있다.

본 발명의 실시 예에 따른 상기 발광부 150는 센서부 140에 의해 센싱된 주변 조도가 일정 값 이하인 것으로 판단되는 경우, 시간대 정보에 대응하여 발광체를 동작시킬 수 있다. 상기 발광부 150는 다양한 실시 예에 따라 사용자(시각 장애인)의 걸음 속도에 따라 발광체의 깜빡임 정도 또는 밝기 정도를 다르게 동작할 수 있다. 그 외에도 상기 발광부 150는 특정 대상(예, 사람, 동물, 자전거 등) 일정값 이상의 속도로 접근하는 경우 발광체의 발광 설정 정보를 변경하여 발광 동작을 수행(예, 점멸 속도 증가, 불빛 색상 변경 등)할 수 있다.

상기 제어부 160는 본 발명의 실시 예에 따른 점자 블록 안내 장치에서의 점자블록 판단 및 길 안내 동작의 전반을 수행할 수 있다. 상기 제어부 160는 상기 카메라부에서 촬영한 보행로 이미지를 분석하여 점자블록의 존재를 판단하며, 점자블록에 상응하는 길 안내 정보(점형 점자블록이 의미하는 정지 신호, 선형 점자블록이 의미하는 이동 신호, 점자블록의 위치 범위 정보 등)를 제공할 수 있다.

본 발명의 실시 예에 따른 상기 제어부 160는 예컨대, 라즈베리파이로 구현될 수 있다. 그러나 이에 한정되지 않으며, 본 발명의 실시 예에 따라, 센서 제어와 영상 처리가 가능한 마이크로 프로세서라면 어떤 것이든 상기 제어부 160에 사용될 수 있다.

상기 제어부 160는 촬영 제어부 161, 이미지 분석부 162 및 길 안내부 163을 포함하여 구성될 수 있다. 상기 이미지 분석부 162는 전처리부 162a, 블록 판단부 162b, 경계선 검출부 162c를 포함하여 구성될 수 있다. 상기 이미지 분석부 162의 세부 구성에 대하여는 도 2을 참조하여 후술하기로 한다.

먼저, 촬영 제어부 161는 지팡이 형태의 점자 블록 안내 장치의 움직임이 감지됨에 따라 이미지 감지를 위한 촬영 동작을 개시할 수 있다. 상기 촬영 제어부 161는 다양한 실시 예에 따라 다양한 각도로 촬영을 수행할 수 있다. 예컨대, 상기 촬영 제어부 161는 보행로 집중 촬영 모드, 보행로 및 주변 물체 감지 모드 등의 다양한 방식의 모드를 지원할 수 있으며, 보행로 집중 촬영 모드에서는 보행로 위주의 이미지가 촬영되도록 카메라의 촬영 각도를 지면을 향하도록 조절할 수 있다. 그리고 보행로 및 주변 물체 감지 모드에서는 보행로 및 이동 방향의 정면을 모두 촬영할 수 있도록 카메라의 각도가 조정될 수 있다.

상기 촬영 제어부 161는 이 밖에도 촬영과 관련된 다양한 설정값을 제어할 수 있다. 상기 촬영 제어부 161의 제어 하에 촬영된 보행로의 이미지 정보는 이미지 분석부 162에 의해 분석될 수 있다.

상기 이미지 분석부 162는 촬영된 보행로의 이미지 정보에 기반하여 점자 블록의 존재 여부를 판단할 수 있다. 상기 이미지 분석부 162에서 수행하는 점자블록의 판단 동작은 도 2에 도시된 도면을 참조하여 설명하기로 한다.

도 2는 본 발명의 실시 예예 따른 이미지 분석부의 구성을 도시한 블록도이다.

도 2에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 이미지 분석부 162는 전처리부 162a, 블록 판단부 162b 및 경계선 검출부 162c를 포함하여 구성될 수 있다.

상기 전처리부 162a는 촬영된 이미지 정보에 대하여 점자블록 여부를 판단하기 위해 요구되는 전처리 작업을 수행할 수 있다. 이 때 상기 전처리 작업은 예컨대, 가우시안 블러링 작업을 통한 이미지의 노이즈 최소화 작업과 상기 작업 이후의 이미지 샤프닝 작업을 포함할 수 있다.

상기 블록 판단부 162b는 전처리된 이미지 정보를 기반으로 점자블록의 존재 여부를 판단할 수 있다. 예컨대, 상기 블록 판단부 162b는 촬영된 이미지 정보로부터 점자 블록의 특징점을 추출할 수 있는데, 이 때의 특징점은 점, 선 정보를 포함할 수 있다. 그리고 예컨대, 이러한 특징점의 상세 정보가 기 저장된 보도블럭의 표준 규격정보에 대응하지 않는 경우, 상기 블록 판단부 162b는 해당 블록을 점자 블록이 아닌 것으로 판단할 수 있다.

또한 상기 블록 판단부 162b는 나아가 점자 블록의 종류에 대하여도 판단할 수 있다. 점자 블록은 다수개의 점으로 이루어진 점형 블록과 다수개의 선으로 이루어진 선형 블록으로 구분될 수 있으며, 각각이 의미하는 사인이 다르다. 이에 따라 상기 블록 판단부 162b는 촬영된 이미지 정보가 점자 블록을 의미하는 것으로 판단한 경우, 해당 블록의 의미 판단을 위한 분석 동작을 추가로 수행할 수 있다. 알려진 바에 따르면 점형 블록은 정지, 방향 전환, 경고 등을 의미하며, 선형 블록은 보행 가능함을 의미한다. 상기 블록 판단부 162b는 이러한 의미 구분을 수행하기 위해 점형 블록과 선형 블록을 구분하여 판단할 수 있다.

상기 블록 판단부 162b는 기 저장된 샘플 점형 블록 이미지와 샘플 선형 블록 이미지와 촬영된 이미지에서의 특징점을 비교하여 촬영된 이미지에 대응하는 점자블록의 종류(점형 또는 선형)을 판단할 수 있다. 그리고 상기 블록 판단부 162b는 이러한 점자블록의 특징점을 추출하기 위해 바람직하게는 ORB 알고리즘을 이용할 수 있다. ORB알고리즘 외에도 다양한 실시 예에 따라 Visual SLAM 등의 특징점 추출 알고리즘이 점자블록의 특징점 추출 동작에 활용될 수 있다.

상기 블록 판단부 162b는 특징점을 이미지 내 윤곽의 코너 또는 선분의 끝점 등에서 주로 추출할 수 있다. 이 때 상기 블록 판단부 162b는 촬영된 보행로의 이미지로부터 보도블록의 특징점을 추출할 뿐 아니라, 블록이 점자 블록인지 여부를 판단하기 위한 비교 대상 이미지(기 저장된 점자 블록 이미지)로부터 특징점을 추출할 수 있다. 비교 대상 이미지는 다양한 각도, 다양한 형태별로 저장될 수 있다. 예컨대, 상기 비교 대상 이미지는 타일형 점자블록과 리벳(rivet)형 점자블록에 대한 이미지 등을 포함하여 저장부 120에 기 저장되어 있을 수 있다. 이에 따라 상기 블록 판단부 162b는 점자 블록 여부를 판단하기 위해 비교 대상 이미지를 대상으로도 특징점 추출 동작을 수행할 수 있으며, 이는 새로운 비교 대상 이미지가 등록되는 경우에 1차례 수행될 수 있다. 상기 블록 판단부 162b가 추출한 비교 대상 이미지의 특징점 정보는 별도로 저장부 120에 저장될 수 있다.

다양한 실시 예에 따라 상기 비교 대상 이미지는 점자블록 인식률이 기준값 이하인 지역을 기반으로, 해당 지역의 일 이미지 정보를 포함하여 업데이트될 수 있다. 상기 비교 대상 이미지는 인식률이 기준값 이하인 지역의 도로 특성, 지면의 재료 특성 등에 기반하여 인식률이 떨어질 수 있음을 감안하여 지면 특성을 고려한 특징점 추출이 가능하도록 해당 지역의 해당 보도 또는 특정 건물 내 보행로에서 촬영된 점자블록 사진을 포함하여 업데이트될 수 있다.

이에 따라 상기 블록 판단부 162b는 비교 대상 이미지가 추가 저장될 시, 그에 대응하여 특징점 추출 동작을 수행할 수 있다.

상기 경계선 검출부 162c는 점자블록인 것으로 판단되는 위치와 점자블록이 아닌 것으로 판단되는 위치의 경계를 구분하는 동작을 수행할 수 있다. 상기 경계선 검출부 162c는 상기 블록 판단부 162b에서 연산한 결과에 따라 점형 블록과 선형 블록을 판별할 수 있으며, 점형 블록의 경계와, 선형 블록의 경계를 또한 판단할 수 있다.

상기 경계선 검출부 162c는 리벳형 점자블록의 경우에, 1개의 블록타일의 경계가 감지되지 않을 가능성이 높으므로 상기 경계선 검출부 162c는 일정 개수의 점형 리벳 또는 일정 개수의 선형 리벳이 감지되는 경우 가상의 타일 형태의 경계선을 생성하고 이를 기반으로 점자블록과 점자블록이 아닌 보행로의 경계선 및 점형 점자블록과 선형 점자블록의 경계선을 산출할 수 있다. 예를 들어, 상기 경계선 검출부 162c는 선형 리벳이 감지되는 경우, 선형 리벳의 기설정된 개수(4개)가 포함되도록 정사각형의 경계선을 가상으로 생성하고 이를 1개의 타일형 점자블록(선형 점자블록)으로 간주할 수 있다. 그리고 이와 유사하게 상기 경계선 검출부 162c는 기 설정된 개수(가로 6개X세로 6개)가 포함되도록 하는 정사각형의 경계선을 가상으로 생성하고 이를 1개의 타일형 점자블록(점형 점자블록)으로 간주할 수 있다.

이와 같은 원리에 따라 상기 경계선 검출부 162c는 실제 정사학형의 타일의 윤곽을 따라 보여지는 경계선이 존재하지 않는 리벳형 점자블록에서도 타일형 점자블록을 촬영할때와 유사하게 경계선을 검출할 수 있게 된다.

그리고 산출된 경계선을 기반으로 상기 제어부 160는 점자블록 내부 길을 사용자에게 안내할 길로 판단하게 된다.

마지막으로 상기 제어부 160는 길 안내부 163을 포함하여 구성될 수 있다. 상기 길 안내부 163는 사용자가 보행할 길을 안내하는 동작을 수행할 수 있다. 다양한 실시 예에 따라 상기 점자 블록 안내장치 100는 진동부(미도시)를 구비할 수 있다. 또한 상기 점자 블록 안내장치 100는 다양한 실시 예에 따라 스피커(미도시)를 구비할 수 있다. 그리고 상기 길 안내부 163는 상기 진동부 또는 스피커를 이용하여 사용자에게 길을 안내하는 동작을 수행할 수 있다. 예컨대, 상기 길 안내부 163는 사용자의 움직임이 점자 블록이 존재하는 방향이 아닌 곳으로 이동할 경우, 경고 신호(진동을 발생시키거나 경고음 내지는 안내 음성을 발생)를 발생시켜 점자 블록이 존재하는 곳으로 길 안내를 도울 수 있다.

이러한 길 안내 동작을 수행하기 위해 상기 길 안내부 163는 점자블록 안내 장치 100의 센서부 140에 의해 감지되는 이동 방향, 현재 움직임의 속도 등에 기반하여 사용자가 이동할 방향 및 이동 거리 등을 예측할 수 있다. 이에 따라 상기 길 안내부 163는 사용자의 예측 이동 방향이 점자 블록이 아닌 경우 상대적으로 약한 강도(예, 1단계)의 경고 신호(예, 진동, 경고음 등)을 발생시키고, 실제 사용자의 움직임이 점자블록의 범위를 벗어난 것으로 판단되는 경우, 상대적으로 강한 강도(예, 2단계)의 경고 신호를 발생시키도록 제어할 수 있다.

또한 상기 길 안내부 163는 다양한 실시 예에 따라 촬영 이미지에 기반하여 점자블록이 아닌 곳을 사용자가 지팡이로 두드리고 있는지 여부를 판단할 수 있으며, 이에 따라 점자블록이 아닌 곳을 두드리고 있는 경우에 경고 신호(진동, 경고음 등)을 발생시키도록 제어할 수 있다.

도 3은 본 발명의 실시 예에 따른 점자블록 안내 장치에 의해 길안내 동작을 수행하는 과정의 순서를 도시한 순서도이다.

도 3에서 도시되는 바와 같이 본 발명의 실시 예에 따른 점자블록 안내 장치 100는 먼저 카메라부 130를 이용하여 보도를 촬영하는 305동작을 수행할 수 있다. 이 때 촬영되는 이미지는 제어부 160측으로 전달될 수 있다. 그리고 상기 점자블록 안내장치 100의 제어부 160는 촬영된 이미지로부터 선, 점 등의 특징점 정보를 획득하는 310동작을 수행할 수 있다. 그리고 상기 제어부 160는 특징점 정보를 기반으로 촬영된 이미지상의 블록 정보가 점자 블록의 표준 규격(점의 개수, 선의 개수, 선의 모양 등)과 일치하는지 여부를 판단하는 등의 동작을 통해 촬영된 이미지가 점자블록인지 여부를 판단하는 315동작을 수행할 수 있다.

이후 상기 제어부 160는 점자 블록과 일반 블록의 경계선을 검출하는 320동작을 수행할 수 있다. 상기 320동작은 상기 제어부 160는 검출된 경계선을 기반으로 점자 블록으로 인식되는 영역과 점자 블록이 아닌 영역(예, 일반 블록 영역)을 판단하는 동작을 포함할 수 있다.

이후 상기 제어부 160는 점자 블록이 아닌 영역(예, 일반 블록 영역)을 향한 사용자의 움직임을 감지하는 325동작을 수행할 수 있다. 본 발명의 실시 예에 따라 지팡이 형태로 구현되는 점자블록 안내 장치 100는 지팡이의 하단 부분(지면과 닿는 부분)에 의한 충격이 센싱됨을 센싱부를 통해 감지할 수 있다. 이에 따라 제어부 160는 일정 크기의 충격량이 센싱되면 사용자가 지팡이를 통해 지면을 두드리는 동작을 수행하고 있는 것으로 판단할 수 있다. 그리고 상기 제어부 160는 지면이 두드려지는 동작이 수행되는 중으로 판단될 시 카메라를 통해 촬영되는 이미지 내지 영상 정보에 기반하여 지팡이가 두드리는 보행로의 이미지 정보를 획득하도록 제어할 수 있다. 이를 기반으로 상기 제어부 160는 이동해 온 방향 정보 및 예상 이동 방향 정보를 산출할 수 있다. 이러한 방법에 따라 상기 제어부 160는 사용자의 움직임이 점자 블록 외의 영역을 향하는지 여부를 판단할 수 있다. 그러나 이러한 방식에 한정되는 것은 아니고, 상기 제어부 160는 다양한 실시 예에 따라 가속도 센서와 카메라부에 기반하여 지팡이의 움직임과 이동 방향에 대한 정보를 획득할 수 있고 이에 기반하여 사용자의 움직임이 점자블록 외의 영역을 향하는지 여부를 판단할 수도 있다.

상기 제어부 160는 325동작 단계에서의 판단 결과에 따라 진동 출력 여부를 결정할 수 있다. 만약, 사용자의 움직임이 일반 블록을 향하는 것으로 판단되는 경우 상기 제어부 160는 사용자에게 경고 신호의 일종인 진동을 출력하는 330동작을 수행할 수 있다. 이와 같은 방식으로 상기 제어부 160는 시각 장애를 가진 사용자가 지팡이 형태를 갖는 점자블록 안내장치 100로 길 안내를 받을 수 있도록 지원할 수 있다.

상기 제어부 160는 이후 길 안내를 위한 동작이 종료 요청되는지 여부를 판단하는 335동작을 수행할 수 있다. 만약 종료 요청이 확인되지 않은 경우 제어부 160는 305동작부터 일련의 동작을 반복적으로 수행할 수 있다. 한편, 325동작에서 제어부 160가 일반 블록을 향한 사용자 움직임을 감지하지 못한 경우에도 335동작을 수행할 수 있고, 종료 요청되지 않은 경우 계속해서 점자블록의 존재를 판단하는 동작을 반복적으로 수행할 수 있다. 반면, 상기 제어부 160가 335동작에서 종료 요청을 확인하면 본 발명의 점자블록 판단 과정을 종료할 수 있다.

도 4는 본 발명의 실시 예예 따른 점자블록 안내 장치의 외관을 도시한 도면이다.

본 발명의 실시 예에 따른 점자블록 안내 장치는 시각장애인들이 일반적으로 사용하는 지팡이의 일 영역 상에 점자 블록 인식을 위한 카메라 등의 모듈이 설치되는 방식의 외형으로 구현될 수 있다. 보다 상세하게는, 도 4에서 도시되는 바와 같이 지팡이 본체 405의 일 영역에 410과 같은 장치가 부착된 형태일 수 있다. 상기 405 내부에 본 발명의 실시 예에 따른 점자블록 안내장치의 대부분의 구성 요소(카메라부, 제어부 등)가 포함될 수 있다. 다양한 실시 예에 따라 415는 지팡이의 손잡이 역할을 함과 동시에 키 버튼을 포함할 수 있다. 사용자의 키 버튼 입력 동작을 통해 점자 블록 안내 장치 전원의 ON/OFF 뿐 아니라 피드백을 위한 사용자 입력동작이 수행될 수 있다.

도 5는 점자 블록의 예시를 도시한 도면이다.

본 발명의 실시 예는 505와 같은 점형 점자 블록과 510과 같은 선형 점자블록을 모두 점자 블록으로 인식할 수 있으며, 점형 점자 블록과 선형 점자 블록을 구분하고 각각이 의미하는 바를 구분하여 사용자에게 안내할 수 있다.

상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.

본 발명은 프로보노 ICT 멘토링 프로젝트 결과물로서 도출되었다.

100 : 점자 블록 안내 장치
110 : 통신부
120 : 저장부
130 : 카메라부
140 : 센서부
150 : 발광부
160 : 제어부
161 : 촬영 제어부
162 : 이미지 분석부
163 : 길 안내부
162a : 전처리부
162b : 블록 판단부
162c : 경계선 검출부

Claims (6)

1. 현재 위치 정보를 판단하는 통신부;
   보행로의 이미지를 촬영하는 카메라부;
   주변 조도 및 사용자의 움직임 관련 정보를 센싱하는 센서부;
   상기 카메라부에서 촬영한 보행로 이미지를 분석하여 점자블록의 존재를 판단하며, 점자블록에 상응하는 길 안내 정보를 제공하는 제어부;를 포함하는 것을 특징으로 하는 점자블록 안내장치.
2. 제 1항에 있어서,
   상기 제어부는
   장치의 움직임이 감지됨에 따라 이미지 감지를 위한 촬영 동작을 개시하도록 제어하며, 보행로 집중 촬영 모드 또는 보행로 및 주변 물체 감지 모드를 포함하는 촬영 모드를 지원하는 촬영 제어부;
   촬영된 보행로의 이미지에 기반하여 점자 블록의 존재 여부를 판단하는 이미지 분석부;를 포함하는 것을 특징으로 하는 점자블록 안내장치.
3. 제 2항에 있어서,
   상기 이미지 분석부는
   촬영된 이미지 정보에 대하여 점자 블록 여부를 판단하기 위해 요구되는 전처리 작업을 수행하는 전처리부;
   상기 전처리부에 의해 전처리된 이미지 정보를 기반으로 점자블록의 존재 여부를 판단하는 블록 판단부;
   점자 블록인 것으로 판단되는 위치의 경계를 검출하되, 점형 점자블록과 선형 점자블록의 경계 및 점자블록과 일반 보행로의 경계를 검출하는 경계선 검출부;를 포함하는 것을 특징으로 하는 점자블록 안내장치.
4. 제 3항에 있어서
   상기 블록 판단부는
   실제 점자블록의 이미지인 비교 대상 이미지로부터 산출된 특징점과 상기 카메라부에 의해 촬영된 보행로 이미지에서의 특징점을 산출하여 비교하며, 비교 결과 일치하는 것으로 판단되는 경우 점자블록인 것으로 판단하는 동작을 수행하는 것을 특징으로 하는 점자블록 안내장치.
5. 제 1항에 있어서
   상기 제어부는
   감지된 점자블록의 경계선 정보에 따라 사용자가 보행할 길을 안내하되, 센서부에 의해 감지된 사용자의 움직임 방향이 점자블록이 안내하는 방향과 다른 것으로 예측되는 경우, 진동을 포함하는 경고 신호를 발생시키는 길 안내부를 포함하는 것을 특징으로 하는 점자블록 안내장치.
6. 현재 위치 정보를 판단하는 통신부, 보행로의 이미지를 촬영하는 카메라부, 주변 조도 및 사용자의 움직임 관련 정보를 센싱하는 센서부, 상기 카메라부에서 촬영한 보행로 이미지를 분석하여 점자블록의 존재를 판단하며, 점자블록에 상응하는 길 안내 정보를 제공하는 제어부로 구성되는 점자블록 안내장치; 및
   상기 점자블록 안내장치와 통신 연결되어 사용자의 보행중 여부를 판단하며, 사용자가 보행중인 것으로 판단됨에 따라 수신 전화에 대한 자동 거부 및 거절 안내 메시지를 발송하는 사용자 기기;를 포함하는 것을 특징으로 하는 점자블록 안내 시스템.
   

Images