KR20000054125A - 시각 장애인용 착용 가능 보행 안내 장치 및 방법 - Google Patents

Abstract

본 발명은 시각 장애인용 착용 가능 보행 안내 장치 및 방법에 관한 것으로, 국부적인 보행로의 영상 정보를 획득하기 위해 두 대의 카메라를 장착한 네 가지 형태(안경형, 벨트형, 목걸이형, 지팡이형)의 카메라셋을 포함하여, 획득된 영상 정보로부터 보행로의 정보 분석, 장애물의 분석, 사람의 얼굴과 표정 인식 및 문자열 인식과 함께 GPS로부터의 전역적 보행 경로 분석을 통하여 통합적인 보행 안내를 시각 장애인에게 이어폰을 통하여 음성신호로써 알려주는 착용형 컴퓨터로 이루어지는 것을 특징으로 한다. 또한 복잡한 영상의 빠른 처리를 위해, 고성능 영상처리 서버와 데이터를 주고받을 수 있는 무선 통신 기능을 가지는 것을 특징으로 한다. 따라서 시각 장애인이 원하는 목적지까지의 보행 경로 안내는 물론, 보행 중에 변화하게 되는 보행로 상황 및 장애물의 유무 안내, 그리고 보행 중에 마주칠 수 있는 사람의 얼굴 및 표정과 표지판 등의 문자열을 인식하여 안내해줌으로써 시각 장애자가 희망하는 목적지에 보다 안전하고 자유롭게 도달할 수 있는 탁월한 효과가 있다.

Description

시각 장애인용 착용 가능 보행 안내 장치 및 방법{WEARABLE WALKING GUIDANCE DEVICE AND METHOD FOR THE BLIND}

본 발명은 시각 장애자용 보행 안내 장치에 관한 것으로, 더욱 상세하게는 시각 장애자가 보행로의 상황 및 장애물의 여부 확인하면서 보행할 수 있도록 초소형 카메라를 장착하고 이로부터 입력받은 영상을 분석한 뒤 그 결과를 음성으로 안내하여 희망하는 목적지에 보다 안전하고 자유롭게 도달할 수 있도록 하는 시각 장애인용 보행 안내 장치 및 방법에 관한 것이다.

일반적으로 현재 개발되어 있는 기술들은 시각 장애인용 장애물 감지 장치가 주를 이룬다. 현재 개발되어 있는 시각 장애인용 보행 보조 도구로는 초음파나 레이저 센서 등을 이용한 것들로 가장 널리 알려진 것으로는 Laser Cane(J. M. Benjamine et al., "A laser cane for the blind," Proc. of San Diego Biomedical Symp., vol. 12, pp. 53-57, 1973)이 있다.

이것은 3개의 레이저 다이오드(laser diode)를 장착한 지팡이를 이용하여 장애물의 존재 여부와 위치를 탐색할 수 있다.

그리고 초음파 센서(ultrasonic sensor)를 이용한 것으로, 손전등 모양의 Mowat sensor(N. Pressey, "Mowat sensor," Focus, vol. 11, no. 3, pp. 35-99, 1977)와, 목걸이 형태의 The Russel Pathsounder(L. Russell, "Travel path sounder," Proc. of Rotterdam Mobility Res. Conference, New York: Amer. Foundation for the Blind, 1965) 등이 있다.

또한, 최근 등장한 허리에 부착하는 벨트 형태의 Navbelt(S. Shoval and J. Borenstein, "The Navbelt-A Computerized Travel Aid for the Blind Based on Mobile Robotics Technology," IEEE Trans. on Biomedical Engineering, vol. 45, no. 11, pp. 1376-1386, 1998)가 있으며, 지팡이 끝에 초음파 센서가 달린 소형 자율 주행 로봇을 달아 장애물 회피를 도와주는 GuideCane(http://www -personal.engin.umich.edu/~johannb/GC_News/GC_News.html)이 있다.

그러나 실제로 이러한 것들은 탐지 거리가 짧고, 다양한 정보를 주지 못하며, 독립적으로는 큰 효과를 얻지 못한다는 단점 때문에, 지팡이나 맹인안내견의 보조 수단 역할 밖에는 못하고 있는 실정이다.

본 발명은 상기 단점을 보완하기 위한 것으로, 본 발명의 목적은, 기존의 센서들을 이용한 보행 안내 장치들이 하지 못했던, 원거리의 장애물 탐지, 보행로의 상황(보행로의 방향 및 위치 등)분석, 사람 얼굴 및 표정 인식, 그리고 문자열 인식, GPS를 이용한 전역적인 경로 안내 등의 구현을 통하여 장애인이 보다 안전하고 자유롭게 원하는 목적지까지 보행하도록 하는 시각 장애인용 착용 가능 보행 안내 장치 및 방법을 제공하기 위한 것이다.

도 1은 본 발명의 전체 구성을 보인 개략도.

도 2는 본 발명의 제1실시 예로 안경형 구성을 보인 도면.

도 3은 본 발명의 제2실시 예로 목걸이형 구성을 보인 도면

도 4는 본 발명의 제3실시 예로 벨트형 구성을 보인 도면

도 5는 본 발명의 제4실시 예로 지팡이형 구성을 보인 도면

도 6은 본 발명의 착용형 컴퓨터의 내부 구성을 나타낸 블록도

도 7은 본 발명의 클라이언트/서버 구조를 나타낸 도면

도 8은 본 발명에 따른 플로우챠트이다.

〈도면의 주요부분에 대한 부호의 설명〉

1:카메라셋 2,6:초소형 카메라

3:착용형 컴퓨터 4:이어 마이크폰

5:안경 7:목걸이

8:벨트 9:지팡이

10:고성능 영상처리서버 20:전원부

21:영상입력부 22:위치측정부

23:무선송수신부 24:음성신호 입력 및 인식부

25:마이컴 26:음성신호 재생부

27:메모리부 28:제어입력부

상기 목적을 달성하기 위한 본 발명은, 국부적인 보행로의 영상 정보를 획득하기 위한 두 개의 초소형 카메라가 장착된 카메라셋을 포함하여, 획득된 영상에서의 보행로 분석, 장애물 분석, 사람의 얼굴과 표정 인식 및 문자열 인식과 함께 GPS로부터의 전역적 보행 경로 분석을 통하여 통합적인 보행 안내를 시각 장애인에게 이어폰을 통하여 음성신호로 알려주는 착용형 컴퓨터로 이루어지는 것을 특징으로 한다.

이하, 본 발명의 실시 예를 설명하면 다음과 같다.

도 1은 본 발명에 따른 시각 장애인용 보행 안내 장치로, 국부적인 영상 정보를 입력받은 초소형 카메라(2)가 장착된 카메라셋(1)과, 이로부터 입력받은 영상을 분석하고 GPS를 통하여 얻은 전역적 위치 정보를 분석하여 현재의 상황에 적절한 보행 안내 음성 신호를 출력하는 착용형 컴퓨터(3)로 구성된다.

단, 부가적으로 음성 신호를 출력하고 입력받을 수 있는 이어 마이크폰(4)을 포함한다.

도 2내지 도 5는 본 발명의 카메라셋(1)의 실시 형태를 나타낸 것이다.

도 2는 본 발명의 제1실시 예인 안경형 카메라셋의 구성도로, 시각 장애인이 착용할 수 있는 안경(5)의 좌우에 초소형 카메라(2) 2대가 장착되며, 나머지 구성은 상기 도 1과 같다.

도 3은 본 발명의 제2실시 예인 목걸이 형 카메라셋의 구성도로, 착용형 컴퓨터(3)와 함께 두 대의 초소형 카메라(6)가 목에 걸 수 있는 형태로 구성된 것으로, 4는 이어 마이크폰, 7은 목걸이이다.

도 4는 본 발명의 제3실시 예인 벨트형 카메라셋의 구성도로, 벨트(8)의 좌우에 초소형 카메라(6)를 부착함과 함께 착용형 컴퓨터(3)를 부착하여 허리에 착용할 수 있도록 구성한 것이다.

도 5는 본 발명의 제4실시 예인 지팡이형 카메라셋의 구성도로, 시각 장애인이 소지하고 다니는 지팡이(9)에 두 대의 초소형 카메라(6)를 부착한 형태로, 도면에서 3은 착용형 컴퓨터, 4는 이어 마이크폰이다.

도 6은 상기 착용형 컴퓨터(3)의 내부 구성을 나타낸 블록도로, 온/오프 스위치(SW) 조작을 통하여 전원 전압을 공급 차단하는 전원부(20)와, 카메라셋의 초소형 카메라로부터 영상 신호를 입력받는 영상입력부(21)와, 전역적인 위치 측정을 위한 위치측정부(GPS)(22)와, 상기 위치 측정부(22) 또는 고성능 영상처리 서버와의 데이터 통신을 위한 무선 송수신부(23)와, 마이크(MIC)를 통한 음성신호의 입력 및 인식을 위한 음성신호입력 및 인식부(24)와, 착용형 컴퓨터의 중심이 되어 제어를 수행하는 마이컴(25)과, 상기 마이컴(25)의 제어에 의해 음성 안내 메시지를 이어폰 등으로 출력하는 음성신호재생부(26)와, 상기 마이컴(25)으로부터의 데이터를 저장하고 출력하는 메모리부(27)와, 외부에서 간단하게 조작하여 신호를 마이컴(25)으로 보내기 위한 제어 입력부(28)로 구성된다.

단, SW1-SWn은 제어 입력부로 신호를 입력하기 위한 스위치이다.

도 7은 본 발명의 클라이언트/서버 형태를 나타낸 것으로, 착용형 컴퓨터(3)를 클라이언트로 하여 처리가 복잡한 영상의 경우, 고성능 영상처리 서버(10)로 데이터를 전송하여 영상을 분석한 뒤, 처리 결과를 되돌려 받은 구조를 갖는다.

도 8은 본 발명의 착용형 컴퓨터에서 수행되는 보행 안내 기능을 구성하는 각 알고리즘별 모듈을 나타낸 것으로, 영상취득모듈에서 취득된 영상은 보행로 분석 모듈, 장애물 분석 모듈, 얼굴 및 표정 인식 모듈, 문자열 인식 모듈로 전달 될 수 있으며, 여기서 처리된 결과들과 전역적 위치 정보 취득 모듈과 보행 경로 분석 모듈을 통하여 얻어지는 결과들은 안내 메시지 추론 모듈로 전달되어지고, 여기서 안내 메시지를 결정한 뒤 음성 메시지 출력 모듈을 통하여 출력된다.

이와 같이 구성된 본 발명의 작용 효과를 설명한다.

먼저, 시각 장애자가 희망하는 목적지에 도달하기 위하여 착용형 컴퓨터(3)와 카메라셋(1)을 착용하고 제어 입력부(28)의 시작 버튼을 누른 후 원하는 목적지를 음성으로 입력한다.

음성신호 입력 및 인식부(24)에서 입력된 목적지 음성을 인식하여 시각 장애인이 원하는 목적지의 위치를 메모리부(27)에 저장되어 있는 전자지도에서 얻어낸다.

다음, 위치 측정부(22)에서 현재 시각 장애인의 위치를 파악한 뒤 메모리부(27)에 입력되어 있는 전자지도에서 위치를 찾아 목적지까지의 최적 경로를 찾아 보행 경로로 저장한다.

그리고 위치 측정부(22)에서 현재의 시각장애인의 위치를 파악하여 저장된 보행 경로와 비교하여 지속적으로 안내 메시지를 출력하게 된다.

이때, 마이컴(25)에서는 입력되는 영상의 정보를 분석하여 현재 보행하고 있는 방향을 보행 경로의 방향으로 교정하는 메시지와 함께 장애물의 유무 및 장애물까지의 거리를 측정하여 장애물 회피 메시지를 부가적으로 출력한다.

이때, 입력되는 영상이 복잡하여 처리시간이 많이 필요하게 되는 경우는 무선송수신부(23)를 통하여 고성능 영상처리 서버(10)로 영상을 전송한 뒤, 이 서버(10)에서 영상을 분석하고 그 결과를 돌려 받는 클라이언트/서버 방식을 사용한다.

이러한 과정을 목적지에 도달할 때까지 반복하게 되며, 목적지에 도달했을 때는 대기 상태로 돌아가게 된다.

이러한 보행 안내 과정 중에 돌발적으로 접근해오는 사람에 대해서 사람을 감지하고 사람의 얼굴과 표정을 인식하여 안내해 준다.

만일, 착용형 컴퓨터(3)의 메모리부(27)에 저장되어 있지 않은 사람의 경우 온라인 상에서 음성으로 등록할 수 있는 기능을 제공한다.

또한, 한가지 시각 장애인이 특정 위치에 있는 문자열을 읽고자 할 때 사용자의 명령을 받아 현재 바라보고 있는 위치에서 문자열을 추출하여 인식하고 그 결과를 음성으로 출력해준다.

상기 사람의 얼굴 및 표정 인식과 문자열 인식은 사용자의 명령에 의해 독립적으로 수행될 수 있는 기능이다.

도 8은 상술한 내용을 플로우챠트로 나타낸 것으로, 제어입력을 체크하여 안내 시작인가 또는 얼굴인식인가 또는 문자열 인식인가를 판단한다(S1-S4단계).

상기 S2단계에서 안내 시작일 경우 목적지(음성)입력 및 인식을 하고(S5단계), 현재 위치를 측정하며(S6단계), 목적지까지의 경로를 결정하고(S7단계), 영상을 입력하며(S8단계), 영상의 복잡도를 분석한다(S9단계).

그리고 처리 가능한가를 판단하여 처리 가능할 경우 보행로와 장애물을 분석하고 사람의 존재여부를 판단한다(S10-S13단계).

만일, 사람이 존재할 경우 얼굴 및 표정을 인식하고 문자열이 존재할 경우 문자열을 인식한다(S14-S16단계).

다음에 현재 위치를 측정하고, 보행경로를 분석하며, 안내 메시지를 추론하여 안내 메시지를 출력하며 제어입력을 체크하여 안내 멈춤인가를 판단하여 안내 멈춤이면 상기 S1단계로 돌아가고, 안내 멈춤이 아니면 목적지 도착 여부를 판단하여 목적지 도착일 경우 상기 S1단계로 돌아가고, 목적지 도착이 아닐 경우 상기 S8단계로 돌아간다(S17-S23단계).

또한, 상기 S10단계에서 처리가 불가능할 경우 서버로 영상을 송신하고, 처리결과를 수신한 후 S17단계를 수행한다(S24,S25단계).

한편, 상기 S2, S3단계에서 안내시작이 아니고 얼굴 인식이면 영상을 입력하고 얼굴 및 표정인식을 하며, 상기 S3, S4단계에서 얼굴 인식이 아니고 문자열 인식이면 영상을 입력하고 문자열 인식 후 안내 메시지를 출력한다(S26- S30단계).

이상에서와 같이, 본 발명에 따른 시각 장애인용 착용 가능 보행 안내 장치에 의하면, 시각 장애인이 원하는 목적지까지의 보행 경로 안내는 물론, 보행 중에 변화하게되는 보행로 상황 및 장애물의 유무 안내, 그리고 보행 중에 마주칠 수 있는 사람의 얼굴 및 표정의 인식과 표지판 등의 문자열을 인식하여 안내해줌으로써 시각 장애인이 희망하는 목적지에 보다 안전하고 자유롭게 도달할 수 있는 탁월한 효과가 있다.

Claims (8)

1. 영상을 입력받는 다수 개의 초소형 카메라를 장착한 카메라셋으로 된 영상입력수단과,

   상기 영상 입력수단으로부터 입력되는 영상을 분석하여 보행로와 장애물의 정보를 추출하는 정보 추출수단과,

   GPS를 통한 전역적 위치 측정을 하여 통합적인 보행 안내 메시지를 출력하는 위치 측정 및 출력수단과,

   사람의 얼굴과 표정인식 및 표지판의 문자열 인식을 수행하는 착용형 컴퓨터를 포함하여 구성된 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 장치.
2. 제 1항에 있어서, 상기 카메라셋이, 영상 입력을 위한 두 개의 초소형 카메라가 안경에 부착되는 형태로 이루어지는 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 장치.
3. 제 1항에 있어서, 상기 카메라셋이, 영상 입력을 위한 두 개의 초소형 카메라가 목걸이 형태로 이루어지는 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 장치.
4. 제 1항에 있어서, 상기 카메라셋이, 영상 입력을 위한 두 개의 초소형 카메라가 벨트에 부착되는 형태로 이루어지는 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 장치.
5. 제 1항에 있어서, 상기 카메라셋이, 영상 입력을 위한 두 개의 초소형 카메라가 지팡이에 부착된 형태로 이루어지는 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 장치.
6. 제 1항에 있어서, 상기 착용형 컴퓨터가,

   온/오프 스위치 조작을 통하여 전원 전압을 공급 차단하는 전원부와,

   카메라셋의 초소형 카메라로부터 영상 신호를 입력받는 영상입력부와,

   전역적인 위치 측정을 위한 위치측정부와,

   상기 위치 측정부 또는 고성능 영상처리 서버와의 데이터 통신을 위한 무선 송수신부와,

   마이크를 통한 음성신호의 입력 및 인식을 위한 음성신호입력 및 인식부와,

   착용형 컴퓨터의 중심이 되어 제어를 수행하는 마이컴과,

   상기 마이컴의 제어에 의해 음성 안내 메시지를 이어폰으로 출력하는 음성신호 재생부와,

   상기 마이컴으로부터의 데이터를 저장하고 출력하는 메모리부와,

   외부에서 조작하여 신호를 마이컴으로 보내기 위한 제어 입력부를 포함하여 구성된 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 장치.
7. 음성으로 입력되는 목적지를 인식하고, GPS를 통하여 측정된 현재 위치로부터의 보행 경로를 메모리에 입력된 전자 지도로부터 결정하는 제1단계,

   입력되는 영상을 분석하여 얻어진 보행로 및 장애물의 정보를 바탕으로 시각 장애인을 안전하게 목적지까지 음성신호를 이용하여 안내하면서 보행시 접근하는 사람의 얼굴과 표정을 인식하여 음성으로 알려주는 제2단계,

   시각 장애인이 원하는 위치에서 문자열을 추출하여 인식하고, 음성으로 알려주는 제3단계로 이루어지는 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 방법.
8. 제 7항에 있어서, 초소형 카메라로 입력되는 영상의 분석시 입력 영상이 복잡하여 처리 시간을 많이 요할 때, 고성능 영상처리 서버로 데이터를 전송한 뒤 영상을 분석하고 그 결과를 되돌려 받는 클라이언트/서버 방식을 사용하는 것을 특징으로 하는 시각 장애인용 착용 가능 보행 안내 방법.