KR102234079B1

KR102234079B1 - 시각 보조 장치 및 방법

Info

Publication number: KR102234079B1
Application number: KR1020200160691A
Authority: KR
Inventors: 오창용
Original assignee: (주)에스알포스트
Priority date: 2020-11-26
Filing date: 2020-11-26
Publication date: 2021-03-31
Also published as: KR20220073606A; KR20220073607A; KR102443925B1; KR102496113B1

Abstract

보행자가 진행하는 방향의 측정 정보를 생성하고, 객체 판단 모델에 기초하여 측정 정보로부터 나타나는 객체를 판단하고, 객체의 위험 수준을 판단하며, 객체의 위치와 위험 수준에 따라 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출하고, 음성 정보를 출력하는, 시각 보조 장치를 제공한다.

Description

시각 보조 장치 및 방법{THE VISION ASSISTANCE DEVICE AND METHOD}

본 발명은 시각 보조 장치 및 방법에 관한 것으로, 보다 상세하게는, 보행자의 보행을 시각적으로 보조하도록 마련되는 시각 보조 장치 및 방법에 관한 것이다.

일반적으로, 시각 장애인은 보행하는 방향에 존재하는 장애물 등의 객체를 인식하기에 어려움을 느끼므로, 보행 도우미 또는 보행 안내견 등의 도움으로 보행을 진행하게 된다.

이에 따라, 종래에는 객체에 설치된 비콘을 이용하여 객체의 위치를 판단하는 기법이 공지되었으나, 비콘을 이용하여 객체의 위치를 판단하는 것은 비콘이 설치된 객체의 위치만을 판단할 수 있으며, 비콘이 설치되지 않은 객체의 위치는 판단하지 못하는 한계점이 존재한다.

또한, 종래에는 보행자의 전방을 촬영하여 영상으로부터 객체의 존재유무를 판단하는 기법이 공지되었으나, 이는, 보행자의 전방에 객체가 존재하는지 만을 알 수 있는 한계점이 존재하며, 객체의 정확한 위치를 판단하여 보행자에게 대응 방안을 알리기에는 어려움이 있다.

이에 따라, 보행자의 진행 방향에 존재하는 객체의 정확한 위치를 판단하고, 이에 따라, 보행자에게 적합한 대응 방안을 알리기 위한 방안이 요구되는 실정이다.

국내등록특허 제10-0734624호(2007.06.26.)

본 발명이 해결하고자 하는 기술적 과제는 보행자의 진행 방향에 존재하는 객체를 인식하여 보행자에게 객체의 존재를 알리는 시각 보조 장치 및 방법을 제공하는 것이다.

본 발명의 일측면은, 보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성하는 센서부; 상기 측정 정보로부터 임의의 객체가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장되는 저장부; 상기 객체 판단 모델에 기초하여 상기 측정 정보로부터 나타나는 객체를 판단하고, 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 상기 객체의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 상기 객체의 위험 수준을 판단하며, 상기 객체의 위치와 상기 위험 수준에 따라 상기 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출하는 제어부; 및 상기 음성 정보를 출력하는 출력부;를 포함할 수 있다.

또한, 상기 제어부는, 상기 객체가 보행 보조 객체인 계단으로 판단되는 경우, 상기 측정 정보로부터 상기 객체의 외측 경계선을 추출하여, 상기 객체의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 상기 내측 경계선의 개수에 따라 상기 계단의 단수를 판단하며, 인접한 두 내측 경계선의 거리 간격을 산출하여, 상기 계단의 한 단의 높이를 판단하고, 상기 계단의 한 단의 높이와 상기 계단의 단수에 따라 위험 수준을 판단할 수 있다.

또한, 상기 제어부는, 상기 객체가 보행 보조 객체인 무빙 워크로 판단되는 경우, 상기 측정 정보로부터 상기 객체의 외측 경계선을 추출하여, 상기 객체의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하며, 상기 시간 간격과 상기 위치 변화량에 따라 상기 무빙 워크의 이동 속도를 판단하고, 상기 무빙 워크의 이동 속도에 따라 위험 수준을 판단할 수 있다.

또한, 상기 제어부는, 상기 객체가 보행 보조 객체인 에스컬레이터로 판단되는 경우, 상기 측정 정보로부터 상기 객체의 외측 경계선을 추출하여, 상기 객체의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 양측 거리 간격의 산출하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하여, 상기 시간 간격과 상기 위치 변화량에 따라 상기 에스컬레이터의 이동 속도를 판단하고, 상기 에스컬레이터의 상기 양측 거리 간격과 상기 이동 속도에 따라 위험 수준을 판단할 수 있다.

또한, 보행자로부터 음성 명령 정보를 입력 받는 입력부; 및 상기 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정하는 위치 측정부;를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 음성 명령 정보를 분석하여 주소 정보와 보행 경로 선택 명령을 추출하고, 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 상기 보행 경로 선택 명령에 기초하여, 상기 현재 위치 정보로부터 상기 주소 정보까지의 보행 경로를 생성하며, 상기 보행 경로와 상기 현재 위치 정보에 매칭되는 음성 정보를 추출할 수 있다.

또한, 상기 제어부는, 상기 측정 정보 중 상기 보행자가 진행하는 방향의 상황이 촬영되어 생성되는 측정 정보로부터 문자의 형상이 나타나는 이미지가 인식되는 경우, 상기 측정 정보를 임의의 회전 각도로 회전시켜 상기 문자의 형상을 정방향으로 조정하고, 정방향으로 조정된 문자로부터 주소 정보를 추출하며, 상기 음성 명령 정보를 분석하여 보행 경로 선택 명령을 추출하고, 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 상기 보행 경로 선택 명령에 기초하여, 상기 현재 위치 정보로부터 상기 주소 정보까지의 보행 경로를 생성하며, 상기 보행 경로와 상기 현재 위치 정보에 매칭되는 음성 정보를 추출할 수 있다.

본 발명의 다른 일측면은, 센서부가 보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성하는 단계; 저장부에 상기 측정 정보로부터 임의의 객체가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장되어, 제어부가 상기 객체 판단 모델에 기초하여 상기 측정 정보로부터 나타나는 객체를 판단하는 단계; 제어부가 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 상기 객체의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 상기 객체의 위험 수준을 판단하는 단계; 제어부가 상기 객체의 위치와 상기 위험 수준에 따라 상기 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출하는 단계; 및 출력부가 상기 음성 정보를 출력하는 단계;를 포함할 수 있다.

또한, 상기 객체의 위험 수준을 판단하는 단계는, 상기 객체가 보행 보조 객체인 계단으로 판단되는 경우, 상기 측정 정보로부터 상기 객체의 외측 경계선을 추출하여, 상기 객체의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 상기 내측 경계선의 개수에 따라 상기 계단의 단수를 판단하며, 인접한 두 내측 경계선의 거리 간격을 산출하여, 상기 계단의 한 단의 높이를 판단하고, 상기 계단의 한 단의 높이와 상기 계단의 단수에 따라 위험 수준을 판단할 수 있다.

또한, 상기 객체의 위험 수준을 판단하는 단계는, 상기 객체가 보행 보조 객체인 무빙 워크로 판단되는 경우, 상기 측정 정보로부터 상기 객체의 외측 경계선을 추출하여, 상기 객체의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하며, 상기 시간 간격과 상기 위치 변화량에 따라 상기 무빙 워크의 이동 속도를 판단하고, 상기 무빙 워크의 이동 속도에 따라 위험 수준을 판단할 수 있다.

또한, 상기 객체의 위험 수준을 판단하는 단계는, 상기 객체가 보행 보조 객체인 에스컬레이터로 판단되는 경우, 상기 측정 정보로부터 상기 에스컬레이터의 외측 경계선을 추출하여, 상기 에스컬레이터의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 양측 거리 간격의 산출하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하여, 상기 시간 간격과 상기 위치 변화량에 따라 상기 에스컬레이터의 이동 속도를 판단하고, 상기 에스컬레이터의 상기 양측 거리 간격과 상기 이동 속도에 따라 위험 수준을 판단할 수 있다.

또한, 입력부가 보행자로부터 음성 명령 정보를 입력 받는 단계; 및 위치 측정부가 상기 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정하는 단계;를 더 포함할 수 있다.

상술한 본 발명의 일측면에 따르면, 시각 보조 장치 및 방법을 제공함으로써, 보행자의 진행 방향에 존재하는 객체를 인식하여 보행자에게 객체의 존재를 알릴 수 있다.

도1은 본 발명의 일 실시예에 따른 시각 보조 장치의 실시예를 나타낸 개략도이다.
도2는 본 발명의 일 실시예에 따른 시각 보조 장치의 제어블록도이다.
도3은 도2의 제어부에서 객체의 위험 수준을 판단하는 과정을 나타낸 블록도이다.
도4는 도2의 제어부에서 보행 경로를 생성하는 과정을 나타낸 블록도이다.
도5는 도2의 제어부에서 보행 보조 객체인 계단의 위험 수준을 판단하는 일 실시예를 나타낸 개략도이다.
도6는 도2의 제어부에서 보행 보조 객체인 무빙 워크의 위험 수준을 판단하는 일 실시예를 나타낸 개략도이다.
도7 및 도8은 본 발명의 일 실시예에 따른 시각 보조 방법의 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도1은 본 발명의 일 실시예에 따른 시각 보조 장치의 실시예를 나타낸 개략도이다.

시각 보조 장치(100)는 보행자가 착용 가능하도록 마련될 수 있다. 예를 들어, 시각 보조 장치(100)는 안경, 목걸이, 벨트, 초커 등으로 마련될 수 있으며, 또한, 시각 보조 장치(100)는 보행자가 소지하도록 마련되는 지팡이 등으로 마련될 수도 있다.

이에 따라, 시각 보조 장치(100)는 시각 보조 장치(100)를 착용한 보행자가 진행하는 방향의 상황을 측정할 수 있으며, 시각 보조 장치(100)는 보행자의 진행 방향의 상황에 기초하여 위험 수준을 보행자에게 알리도록 마련될 수 있다.

이때, 시각 보조 장치(100)는 카메라, 라이다 센서, 레이더 센서, 초음파 센서 및 ToF(Time of Flight) 카메라 등이 마련될 수 있으며, 여기에서, ToF 카메라는 목표 객체에 의한 적외선 빔의 역방향 산란(Back Scattering)을 이용하여 객체의 3차원 영상 정보를 생성하는 카메라인 것으로 이해할 수 있다.

이를 통해, 시각 보조 장치(100)는 보행자가 진행하는 방향의 상황을 측정할 수 있으며, 이를 위해, 시각 보조 장치(100)는 임의의 정보가 저장되도록 저장부가 마련될 수 있으며, 시각 보조 장치(100)는 보행자가 진행하는 방향의 상황에 기초하여 위험 수준을 판단할 수 있도록 마련되는 정보가 저장부에 저장될 수 있다.

이와 관련하여, 시각 보조 장치(100)는 임의의 정보가 저장되는 외부 서버(200)와 무선 네트워크를 통해 정보를 전달하거나, 또는 전달받도록 마련될 수도 있으며, 이러한 경우에, 외부 서버(200)는 보행자가 진행하는 방향의 상황에 기초하여 위험 수준을 판단할 수 있도록 마련되는 정보가 저장될 수 있다.

시각 보조 장치(100)는 보행자가 진행하는 방향의 상황을 외부 서버(200)에 전달할 수 있고, 이에 따라, 시각 보조 장치(100)는 보행자가 진행하는 방향의 상황에 기초하여 위험 수준을 판단할 수 있도록 마련되는 정보에 따라 외부 서버(200)에서 판단된 위험 수준을 전달받을 수 있다.

한편, 시각 보조 장치(100)는 보행자의 음성 명령을 인식하도록 마련될 수 있으며, 이에 따라, 시각 보조 장치(100)는 인식된 음성 명령을 분석하여 보행자가 가고자 하는 위치를 판단할 수 있다.

이를 위해, 시각 보조 장치(100)는 GPS(Global Position System), GLONASS(GLObal NAvigation Satellite System), Galileo, GNSS(Global Navigation Satellite System) 등의 위치 측량 기법이 이용되는 위치 측정부가 마련될 수 있다. 이와 같은, GNSS 기법은 하나 이상의 위성을 이용하며, 각각의 위성과 수신기 간의 거리에 따라 수신기의 위치를 산출하는 기법일 수 있다.

이에 따라, 시각 보조 장치(100)는 보행자의 현재 위치로부터 보행자가 가고자 하는 위치까지의 보행 경로를 생성하도록 마련될 수 있다.

이하에서, 시각 보조 장치(100)에 대해 자세히 설명하도록 한다.

도2는 본 발명의 일 실시예에 따른 시각 보조 장치의 제어블록도이다.

시각 보조 장치(100)는 센서부(110), 입력부(120), 위치 측정부(130), 저장부(140), 제어부(150) 및 출력부(160)를 포함할 수 있다.

또한, 시각 보조 장치(100)는 도 2에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수 있다. 또는, 시각 보조 장치(100)는 시각 보조 장치(100)에 마련되는 적어도 두 개의 구성요소가 하나의 구성요소로 통합되어 하나의 구성요소가 복합적인 기능을 수행할 수도 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.

센서부(110)는 보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성할 수 있다. 이를 위해, 센서부(110)는 카메라, 라이다 센서, 레이더 센서, 초음파 센서 및 ToF(Time of Flight) 카메라 등을 포함할 수 있다.

이에 따라, 센서부(110)는 카메라 등을 이용하여 보행자의 진행 방향의 상황이 촬영된 영상을 생성할 수 있으며, 센서부(110)는 라이다 센서, 레이더 센서 및 초음파 센서 등을 이용하여 보행자의 진행 방향에 존재하는 객체(300)와의 거리 간격을 측정할 수 있다.

저장부(140)는 측정 정보로부터 임의의 객체(300)가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장될 수 있다.

이때, 객체 판단 모델은 기계 학습(Machine Learning) 등의 기법을 이용하여, 영상에 나타나는 객체(300)의 유형 또는 종류를 판단하도록 생성될 수 있으며, 객체 판단 모델은 사전에 마련되는 복수개의 영상에 나타나는 객체(300)의 유형 또는 종류를 학습자로부터 입력 받아 생성될 수 있다.

여기에서, 기계 학습은 복수개의 정보에 기초하여, 복수개의 정보를 하나 이상의 그룹으로 분류 가능하도록 학습 모델을 생성하고, 생성된 학습 모델에 기초하여 임의의 정보를 분류하는 기법으로 이해할 수 있으며, 이와 같은, 기계 학습은 관리자에 의해 분류된 복수개의 정보에 따라 임의의 정보를 분류 가능 하도록 학습 모델을 생성하는 지도 학습(Supervised Learning), 복수개의 정보 자체를 분석하거나, 또는 군집화 과정을 수행하며 학습 모델을 생성하는 비지도 학습(Unsupervised Learning), 지도 학습과 비지도 학습을 혼합하여 학습 모델을 생성하는 준지도 학습(Semi-Supervised Learning) 및 복수개의 정보에 대해 임의의 동작을 수행하는 과정에서 발생한 보상에 따라 학습 모델을 생성하는 강화 학습(Reinforcement Learning) 등을 포함할 수 있다.

예를 들어, 객체 판단 모델은 음료 캔, 스티로폼 박스, 포트홀, 계단, 경계석, 턱, 차량 등의 서로 다른 객체(300)의 영상을 학습하여 생성될 수 있다.

제어부(150)는 객체 판단 모델에 기초하여 측정 정보로부터 나타나는 객체(300)를 판단할 수 있고, 제어부(150)는 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 객체(300)의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 객체(300)의 위험 수준을 판단할 수 있으며, 제어부(150)는 객체(300)의 위치와 위험 수준에 따라 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출할 수 있다.

여기에서, 보행 보조 객체는 측정 정보로부터 나타나는 계단, 에스컬레이터, 엘리베이터, 무빙 워크 등의 보행자가 보행 중에 이용하도록 마련되는 객체(300)를 나타내도록 마련될 수 있고, 고정 객체는 측정 정보로부터 나타나는 차단 봉, 전봇대, 가로수, 울타리 등의 임의의 위치에 고정된 객체(300)를 나타내도록 마련될 수 있으며, 이동 객체는 측정 정보로부터 나타나는 사람, 차량, 동물 등의 이동이 가능한 객체(300)를 나타내도록 마련될 수 있다.

이를 위해, 저장부(140)는 객체(300), 객체(300)의 위치 및 위험 수준에 매칭되는 음성 정보가 저장될 수 있으며, 출력부(160)는 제어부(150)에서 추출된 음성 정보를 출력할 수 있다.

이때, 출력부(160)는 스피커 등을 마련하여 음성 정보를 추출할 수 있으며, 또한, 출력부(160)는 유선 또는 무선으로 시각 보조 장치(100)에 연결되는 이어폰 등의 스피커 장치에 음성 정보가 출력되도록 전달할 수도 있다.

또한, 출력부(160)는 진동 소자가 마련되어, 제어부(150)에서 판단되는 위험 수준에 따라 진동이 출력되도록 마련될 수 있다. 이러한 경우에, 제어부(150)는 위험 수준이 일정 수준 이상으로 높은 경우에만 출력부(160)에서 진동이 출력되도록 제어할 수 있다.

한편, 저장부(140)는 객체 판단 모델이 저장되어, 시각 보조 장치(100)와 무선 네트워크를 통해 측정 정보가 전달되거나, 또는 객체 판단 모델에 의해 판단되는 위험 수준이 전달되도록 마련되는 외부 서버(200)로 대체될 수도 있다.

이러한 경우에, 시각 보조 장치(100)는 통신부를 더 포함할 수 있으며, 통신부는 센서부(110)에서 생성되는 측정 정보를 외부 서버(200)에 전달할 수 있다.

이에 따라, 외부 서버(200)는 객체 판단 모델에 기초하여 측정 정보로부터 나타나는 객체(300)를 판단할 수 있고, 외부 서버(200)는 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 객체(300)의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 객체(300)의 위험 수준을 판단할 수 있다.

이러한 경우에, 통신부는 외부 서버(200)로부터 위험 수준을 전달받을 수 있으며, 제어부(150)는 객체(300)의 위치와 위험 수준에 따라 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출할 수 있다.

일 실시예에서, 제어부(150)는 객체(300)가 보행 보조 객체인 계단으로 판단되는 경우에, 측정 정보로부터 계단의 외측 경계선을 추출하여, 객체(300) 계단의 외형을 나타내는 외부 경계를 설정할 수 있고, 제어부(150)는 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 내측 경계선의 개수에 따라 계단의 단수를 판단할 수 있으며, 제어부(150)는 인접한 두 내측 경계선의 거리 간격을 산출하여, 계단의 한 단의 높이를 판단할 수 있고, 제어부(150)는 계단의 한 단의 높이와 계단의 단수에 따라 위험 수준을 판단할 수 있다.

여기에서, 임의의 객체(300)의 외측 경계선은 측정 정보로부터 객체(300)로 인식된 영역과 배경 영역을 구분하는 경계선을 의미할 수 있다. 이를 위해, 제어부(150)는 영상으로 나타나는 측정 정보에 그레이 스케일(Gray Scale)을 수행하여 임의의 객체(300)의 외측 경계선을 추출할 수 있으며, 또는, 제어부(150)는 영상으로 나타나는 측정 정보에서 일정한 색조를 나타내는 영역을 추출하여 임의의 객체(300)의 외측 경계선을 추출할 수도 있다.

또한, 임의의 객체(300)의 내측 경계선은 측정 정보에서 추출된 객체(300)의 외측 경계선 내측에서 추출되는 경계선을 의미할 수 있다. 이를 위해, 제어부(150)는 영상으로 나타나는 측정 정보에 그레이 스케일(Gray Scale)을 수행하여 외측 경계선 내측에서 내측 경계선을 추출할 수 있으며, 또는, 제어부(150)는 영상으로 나타나는 측정 정보에서 일정한 색조를 나타내는 영역을 추출하여 외측 경계선 내측에서 내측 경계선을 추출할 수도 있다.

이러한 경우에, 제어부(150)는 계단의 한 단의 높이가 높아질수록 위험 수준을 높게 판단할 수 있고, 제어부(150)는 계단의 단수가 많아질수록 위험 수준을 높게 판단할 수 있다.

이와 관련하여, 제어부(150)는 객체(300)가 보행 보조 객체인 계단으로 판단되고, 상, 중, 하로 분류되는 위험 수준이 하로 판단되는 경우에, 보행자가 진행하는 방향에 계단이 존재하는 것을 알리는 음성 정보를 추출할 수 있다.

또한, 제어부(150)는 객체(300)가 보행 보조 객체인 계단으로 판단되고, 상, 중, 하로 분류되는 위험 수준이 중으로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 계단이 위험한 것을 알리는 음성 정보를 추출할 수 있다.

또한, 제어부(150)는 객체(300)가 보행 보조 객체인 계단으로 판단되고, 상, 중, 하로 분류되는 위험 수준이 상으로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 계단이 위험하여 다른 경로를 이용하도록 권고하는 음성 정보를 추출할 수 있다.

이러한 경우에, 제어부(150)는 측정 정보로부터 나타나는 계단의 외측 경계선이 측정 정보의 중심 점으로부터 가까운 측의 방향을 알리는 음성 정보를 더 추출할 수 있다.

한편, 제어부(150)는 측정 정보로부터 나타나는 계단과의 거리 간격이 임계 거리 간격 미만인 경우에, 계단의 단수를 알리는 음성 정보를 추출할 수 있다.

여기에서, 계단과의 거리 간격에 대해 설정되는 임계 거리 간격은 보행자가 계단을 이용하는 것으로 판단될 수 있는 거리 간격으로 설정될 수 있다.

일 실시예에서, 제어부(150)는 객체(300)가 보행 보조 객체인 무빙 워크로 판단되는 경우에, 측정 정보로부터 무빙 워크의 외측 경계선을 추출하여, 무빙 워크의 외형을 나타내는 외부 경계를 설정할 수 있고, 제어부(150)는 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출할 수 있으며, 제어부(150)는 시간 간격과 위치 변화량에 따라 무빙 워크의 이동 속도를 판단할 수 있고, 제어부(150)는 무빙 워크의 이동 속도에 따라 위험 수준을 판단할 수 있다.

이러한 경우에, 제어부(150)는 무빙 워크의 이동 속도가 빨라질수록 위험 수준을 높게 판단할 수 있다.

이와 관련하여, 제어부(150)는 객체(300)가 보행 보조 객체인 무빙 워크로 판단되고, 상, 중, 하로 분류되는 위험 수준이 하로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 무빙 워크가 위험한 것을 알리는 음성 정보를 추출할 수 있다.

또한, 제어부(150)는 객체(300)가 보행 보조 객체인 무빙 워크로 판단되고, 상, 중, 하로 분류되는 위험 수준이 중으로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 무빙 워크가 위험하여 다른 경로를 이용하도록 권고하는 음성 정보를 추출할 수 있다.

이러한 경우에, 제어부(150)는 측정 정보로부터 나타나는 무빙 워크의 외측 경계선이 측정 정보의 중심 점으로부터 가까운 측의 방향을 알리는 음성 정보를 더 추출할 수 있다.

또한, 제어부(150)는 객체(300)가 보행 보조 객체인 무빙 워크로 판단되고, 상, 중, 하로 분류되는 위험 수준이 상으로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 무빙 워크의 이용을 금지하는 음성 정보를 추출할 수 있다.

일 실시예에서, 제어부(150)는 객체(300)가 보행 보조 객체인 에스컬레이터로 판단되는 경우에, 측정 정보로부터 에스컬레이터의 외측 경계선을 추출하여, 에스컬레이터의 외형을 나타내는 외부 경계를 설정할 수 있고, 제어부(150)는 외부 경계의 양측 거리 간격의 산출할 수 있고, 제어부(150)는 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하여, 시간 간격과 위치 변화량에 따라 에스컬레이터의 이동 속도를 판단할 수 있고, 제어부(150)는 에스컬레이터의 양측 거리 간격과 이동 속도에 따라 위험 수준을 판단할 수 있다.

이러한 경우에, 제어부(150)는 에스컬레이터의 이동 속도가 빨라질수록 위험 수준을 높게 판단할 수 있고, 제어부(150)는 에스컬레이터의 양측 거리 간격이 임계 수준 미만으로 판단되는 경우에, 다른 경로를 이용하도록 권고하는 음성 정보를 추출할 수 있다.

여기에서, 에스컬레이터의 양측 거리 간격에 대해 설정되는 임계 수준은 에스컬레이터에 두 명 이상의 사람이 측 방향으로 나란히 설 수 있도록 설정되는 거리 간격을 의미할 수 있다.

이와 관련하여, 제어부(150)는 객체(300)가 보행 보조 객체인 에스컬레이터로 판단되고, 상, 중, 하로 분류되는 위험 수준이 하로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 에스컬레이터가 위험한 것을 알리는 음성 정보를 추출할 수 있다.

또한, 제어부(150)는 객체(300)가 보행 보조 객체인 에스컬레이터로 판단되고, 상, 중, 하로 분류되는 위험 수준이 중으로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 에스컬레이터가 위험하여 다른 경로를 이용하도록 권고하는 음성 정보를 추출할 수 있다.

이러한 경우에, 제어부(150)는 측정 정보로부터 나타나는 에스컬레이터의 외측 경계선이 측정 정보의 중심 점으로부터 가까운 측의 방향을 알리는 음성 정보를 더 추출할 수 있다.

또한, 제어부(150)는 객체(300)가 보행 보조 객체인 에스컬레이터로 판단되고, 상, 중, 하로 분류되는 위험 수준이 상으로 판단되는 경우에, 보행자가 진행하는 방향에 존재하는 에스컬레이터의 이용을 금지하는 음성 정보를 추출할 수 있다.

일 실시예에서, 제어부(150)는 객체(300)가 고정 객체로 판단되는 경우에, 측정 정보에서 객체(300)가 차지하는 가로 방향의 화소 수, 세로 방향의 화소 수 및 객체(300)와의 거리 간격에 따라 객체(300)의 크기와 높이를 산출할 수 있고, 이에 따라, 제어부(150)는 객체(300)의 크기와 높이에 따라 위험 수준을 판단할 수 있다.

이러한 경우에, 제어부(150)는 객체(300)의 크기가 커질수록 위험 수준을 높게 판단할 수 있고, 제어부(150)는 객체(300)의 높이가 높아질수록 위험 수준을 높게 판단할 수 있다.

입력부(120)는 보행자로부터 음성 명령 정보를 입력 받을 수 있으며, 이를 위해, 입력부(120)는 마이크 등을 포함할 수 있다.

이에 따라, 제어부(150)는 음성 인식(Speech Recognition) 등의 기법을 이용하여 음성 명령 정보를 분석할 수 있다. 여기에서, 음성 인식 기법은 음성 신호를 수십 밀리 초로 분리하여 10여 차원으로 나타나는 특징 벡터를 추출하고, 추출된 특징 벡터를 통해 음성 신호를 모음 또는 자음 단위로 분할하며, 분할된 모음 또는 자음을 연결하여 임의의 단어를 생성하고, 생성된 단어를 분석하여 음성 신호의 의미를 판단하는 기법으로 이해할 수 있다.

위치 측정부(130)는 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정할 수 있다. 이를 위해, 위치 측정부(130)는 GPS(Global Position System), GLONASS(GLObal NAvigation Satellite System), Galileo, GNSS(Global Navigation Satellite System) 등의 위치 측량 기법이 이용되는 위치 센서가 마련될 수 있다.

제어부(150)는 음성 명령 정보를 분석하여 주소 정보와 보행 경로 선택 명령을 추출할 수 있고, 제어부(150)는 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 보행 경로 선택 명령에 기초하여, 현재 위치 정보로부터 주소 정보까지의 보행 경로를 생성할 수 있으며, 제어부(150)는 보행 경로와 현재 위치 정보에 매칭되는 음성 정보를 추출할 수 있다.

여기에서, 최단 거리 경로는 현재 위치 정보로부터 주소 정보까지의 거리 간격이 가장 짧은 보행 경로를 나타내도록 마련될 수 있고, 안전 경로는 현재 위치 정보로부터 주소 정보까지의 경로에 존재하는 하나 이상의 보행 보조 객체의 위험 수준의 총합이 가장 작은 보행 경로를 나타내도록 마련될 수 있으며, 최소 이동 객체 경로는 현재 위치 정보로부터 주소 정보까지의 경로에서 나타나는 이동 객체가 가장 적은 보행 경로를 나타내도록 마련될 수 있다.

이를 위해, 저장부(140)는 임의의 경로에 존재하는 보행 보조 객체에 대해 판단된 위험 수준이 저장될 수 있다. 또한, 저장부(140)는 임의의 시점에 임의의 경로에 존재하는 이동 객체의 개수가 저장될 수 있다.

한편, 저장부(140)는 임의의 경로에 존재하는 보행 보조 객체에 대해 판단된 위험 수준 또는, 임의의 시점에 임의의 경로에 존재하는 이동 객체의 개수가 저장되어, 시각 보조 장치(100)와 무선 네트워크를 통해 현재 위치 정보와 주소 정보가 전달되거나, 또는, 임의의 경로에 존재하는 보행 보조 객체에 대해 판단된 위험 수준 또는, 임의의 시점에 임의의 경로에 존재하는 이동 객체의 개수에 따라 생성되는 보행 경로가 전달되도록 마련되는 외부 서버(200)로 대체될 수도 있다.

일 실시예에서, 제어부(150)는 임의의 현재 위치 정보로부터 임의의 주소 정보까지의 보행 경로를 생성하는 시점이 사전에 설정되는 출퇴근 시간대인 것으로 판단되는 경우에, 지하철 역 입구를 우회하는 보행 경로를 생성할 수 있다.

한편, 제어부(150)는 측정 정보 중 보행자가 진행하는 방향의 상황이 촬영되어 생성되는 측정 정보로부터 문자의 형상이 나타나는 이미지가 인식되는 경우에, 제어부(150)는 측정 정보를 임의의 회전 각도로 회전시켜 문자의 형상을 정방향으로 조정할 수 있고, 제어부(150)는 정방향으로 조정된 문자로부터 주소 정보를 추출할 수 있다.

도3은 도2의 제어부에서 객체의 위험 수준을 판단하는 과정을 나타낸 블록도이다.

도3을 참조하면, 센서부(110)는 보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성할 수 있다. 이때, 센서부(110)는 카메라 등을 이용하여 보행자의 진행 방향의 상황이 촬영된 영상을 생성할 수 있으며, 센서부(110)는 라이다 센서, 레이더 센서 및 초음파 센서 등을 이용하여 보행자의 진행 방향에 존재하는 객체(300)와의 거리 간격을 측정할 수 있다.

이에 따라, 제어부(150)는 객체 판단 모델에 기초하여 측정 정보로부터 나타나는 객체(300)를 판단할 수 있고, 제어부(150)는 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 객체(300)의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 객체(300)의 위험 수준을 판단할 수 있으며, 제어부(150)는 객체(300)의 위치와 위험 수준에 따라 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출할 수 있다.

이를 위해, 저장부(140)는 측정 정보로부터 임의의 객체(300)가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장될 수 있다. 또한, 저장부(140)는 객체(300), 객체(300)의 위치 및 위험 수준에 매칭되는 음성 정보가 저장될 수 있다.

출력부(160)는 제어부(150)에서 추출된 음성 정보를 출력할 수 있으며, 또한, 출력부(160)는 진동 소자가 마련되어, 제어부(150)에서 판단되는 위험 수준에 따라 진동이 출력되도록 마련될 수 있다.

도4는 도2의 제어부에서 보행 경로를 생성하는 과정을 나타낸 블록도이다.

도4를 참조하면, 입력부(120)는 보행자로부터 음성 명령 정보를 입력 받을 수 있으며, 위치 측정부(130)는 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정할 수 있다.

이에 따라, 제어부(150)는 음성 명령 정보를 분석하여 주소 정보와 보행 경로 선택 명령을 추출할 수 있고, 제어부(150)는 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 보행 경로 선택 명령에 기초하여, 현재 위치 정보로부터 주소 정보까지의 보행 경로를 생성할 수 있으며, 제어부(150)는 보행 경로와 현재 위치 정보에 매칭되는 음성 정보를 추출할 수 있다.

출력부(160)는 제어부(150)에서 추출된 음성 정보를 출력할 수 있다.

도5는 도2의 제어부에서 보행 보조 객체인 계단의 위험 수준을 판단하는 일 실시예를 나타낸 개략도이다.

일 실시예에서, 제어부(150)는 객체(300)가 보행 보조 객체인 계단으로 판단되는 경우에, 측정 정보로부터 객체(300)의 외측 경계선을 추출하여, 객체(300)의 외형을 나타내는 외부 경계를 설정할 수 있고, 제어부(150)는 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 내측 경계선의 개수에 따라 계단의 단수를 판단할 수 있으며, 제어부(150)는 인접한 두 내측 경계선의 거리 간격을 산출하여, 계단의 한 단의 높이를 판단할 수 있고, 제어부(150)는 계단의 한 단의 높이와 계단의 단수에 따라 위험 수준을 판단할 수 있다.

도5를 참조하면, 제어부(150)에서 계단의 내측 경계선으로 인식하도록 설정되는 계단 모서리 영역을 확인할 수 있다.

도6는 도2의 제어부에서 보행 보조 객체인 무빙 워크의 위험 수준을 판단하는 일 실시예를 나타낸 개략도이다.

일 실시예에서, 제어부(150)는 객체(300)가 보행 보조 객체인 무빙 워크로 판단되는 경우에, 측정 정보로부터 객체(300)의 외측 경계선을 추출하여, 객체(300)의 외형을 나타내는 외부 경계를 설정할 수 있고, 제어부(150)는 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출할 수 있으며, 제어부(150)는 시간 간격과 위치 변화량에 따라 무빙 워크의 이동 속도를 판단할 수 있고, 제어부(150)는 무빙 워크의 이동 속도에 따라 위험 수준을 판단할 수 있다.

도6을 참조하면, 제어부(150)에서 무빙 워크의 내측 경계선으로 인식하도록 설정되는 인접한 두 발판이 분리된 영역을 확인할 수 있다.

도7 및 도8은 본 발명의 일 실시예에 따른 시각 보조 방법의 순서도이다.

본 발명의 일 실시예에 따른 시각 보조 방법은 도 2에 도시된 시각 보조 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 2의 시각 보조 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.

시각 보조 방법은 측정 정보를 생성하는 단계(700), 객체를 판단하는 단계(710), 객체의 위험 수준을 판단하는 단계(720), 음성 정보를 추출하는 단계(730) 및 음성 정보를 출력하는 단계(740)를 포함할 수 있다.

측정 정보를 생성하는 단계(700)는 센서부(110)가 보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성하는 단계일 수 있다.

객체를 판단하는 단계(710)는 저장부(140)에 측정 정보로부터 임의의 객체(300)가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장되어, 제어부(150)가 객체 판단 모델에 기초하여 측정 정보로부터 나타나는 객체(300)를 판단하는 단계일 수 있다.

객체의 위험 수준을 판단하는 단계(720)는 제어부(150)가 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 객체(300)의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 객체(300)의 위험 수준을 판단하는 단계일 수 있다.

음성 정보를 추출하는 단계(730)는 제어부(150)가 객체(300)의 위치와 위험 수준에 따라 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출하는 단계일 수 있다.

음성 정보를 출력하는 단계(740)는 출력부(160)가 음성 정보를 출력하는 단계일 수 있다.

한편, 시각 보조 방법은 음성 명령 정보를 입력 받는 단계(800), 현재 위치 정보를 측정하는 단계(810), 주소 정보를 추출하는 단계(820), 보행 경로를 생성하는 단계(830) 및 음성 정보를 추출하여 출력하는 단계(840)를 더 포함할 수 있다.

음성 명령 정보를 입력 받는 단계(800)는 입력부(120)가 보행자로부터 음성 명령 정보를 입력 받는 단계일 수 있다.

현재 위치 정보를 측정하는 단계(810)는 위치 측정부(130)가 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정하는 단계일 수 있다.

주소 정보를 추출하는 단계(820)는 제어부(150)가 음성 명령 정보를 분석하여 주소 정보와 보행 경로 선택 명령을 추출하는 단계일 수 있다.

보행 경로를 생성하는 단계(830)는 제어부(150)가 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 보행 경로 선택 명령에 기초하여, 현재 위치 정보로부터 주소 정보까지의 보행 경로를 생성하는 단계일 수 있다.

음성 정보를 추출하여 출력하는 단계(840)는 제어부(150)가 보행 경로와 현재 위치 정보에 매칭되는 음성 정보를 추출하여, 출력부(160)가 음성 정보를 출력하는 단계일 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 시각 보조 장치
200: 외부 서버
300: 객체

Claims

보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성하는 센서부;
상기 측정 정보로부터 임의의 객체가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장되는 저장부;
상기 객체 판단 모델에 기초하여 상기 측정 정보로부터 나타나는 객체를 판단하고, 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 상기 객체의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 상기 객체의 위험 수준을 판단하며, 상기 객체의 위치와 상기 위험 수준에 따라 상기 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출하는 제어부; 및
상기 음성 정보를 출력하는 출력부;를 포함하고,
상기 제어부는,
상기 객체가 보행 보조 객체인 무빙 워크로 판단되는 경우, 상기 측정 정보로부터 상기 무빙 워크의 외측 경계선을 추출하여, 상기 무빙 워크의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하며, 상기 시간 간격과 상기 위치 변화량에 따라 상기 무빙 워크의 이동 속도를 판단하고, 상기 무빙 워크의 이동 속도에 따라 위험 수준을 판단하는, 시각 보조 장치.
삭제
삭제
삭제
제1항에 있어서,
보행자로부터 음성 명령 정보를 입력 받는 입력부; 및
상기 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정하는 위치 측정부;를 더 포함하는, 시각 보조 장치.
제5항에 있어서, 상기 제어부는,
상기 음성 명령 정보를 분석하여 주소 정보와 보행 경로 선택 명령을 추출하고, 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 상기 보행 경로 선택 명령에 기초하여, 상기 현재 위치 정보로부터 상기 주소 정보까지의 보행 경로를 생성하며, 상기 보행 경로와 상기 현재 위치 정보에 매칭되는 음성 정보를 추출하는, 시각 보조 장치.
제5항에 있어서, 상기 제어부는,
상기 측정 정보 중 상기 보행자가 진행하는 방향의 상황이 촬영되어 생성되는 측정 정보로부터 문자의 형상이 나타나는 이미지가 인식되는 경우, 상기 측정 정보를 임의의 회전 각도로 회전시켜 상기 문자의 형상을 정방향으로 조정하고, 정방향으로 조정된 문자로부터 주소 정보를 추출하며, 상기 음성 명령 정보를 분석하여 보행 경로 선택 명령을 추출하고, 최단 거리 경로, 안전 경로 및 최소 이동 객체 경로로 분류되는 상기 보행 경로 선택 명령에 기초하여, 상기 현재 위치 정보로부터 상기 주소 정보까지의 보행 경로를 생성하며, 상기 보행 경로와 상기 현재 위치 정보에 매칭되는 음성 정보를 추출하는, 시각 보조 장치.
시각 보조 장치를 이용하는 시각 보조 방법에 있어서,
센서부가 보행자가 진행하는 방향의 상황을 측정하여 측정 정보를 생성하는 단계;
저장부에 상기 측정 정보로부터 임의의 객체가 판단되도록 학습되어 생성되는 객체 판단 모델이 저장되어, 제어부가 상기 객체 판단 모델에 기초하여 상기 측정 정보로부터 나타나는 객체를 판단하는 단계;
제어부가 보행 보조 객체, 고정 객체 및 이동 객체로 분류되는 상기 객체의 유형에 따라 다르게 설정되는 위험 기준에 기초하여, 상기 객체의 위험 수준을 판단하는 단계;
제어부가 상기 객체의 위치와 상기 위험 수준에 따라 상기 보행자의 경로를 알리도록 매칭되는 음성 정보를 추출하는 단계; 및
출력부가 상기 음성 정보를 출력하는 단계;를 포함하고,
상기 객체의 위험 수준을 판단하는 단계는,
상기 객체가 보행 보조 객체인 무빙 워크로 판단되는 경우, 상기 측정 정보로부터 상기 무빙 워크의 외측 경계선을 추출하여, 상기 무빙 워크의 외형을 나타내는 외부 경계를 설정하고, 상기 외부 경계의 내측에 존재하는 내측 경계선을 추출하여, 사전에 설정되는 시간 간격에 따라 측정된 복수개의 측정 정보로부터 어느 하나의 내측 경계선의 위치 변화량을 산출하며, 상기 시간 간격과 상기 위치 변화량에 따라 상기 무빙 워크의 이동 속도를 판단하고, 상기 무빙 워크의 이동 속도에 따라 위험 수준을 판단하는, 시각 보조 방법.
삭제
삭제
삭제
제8항에 있어서,
입력부가 보행자로부터 음성 명령 정보를 입력 받는 단계; 및
위치 측정부가 상기 보행자가 현재 위치하는 공간의 현재 위치 정보를 측정하는 단계;를 더 포함하는, 시각 보조 방법.