KR102284744B1

KR102284744B1 - 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기

Info

Publication number: KR102284744B1
Application number: KR1020190105677A
Authority: KR
Inventors: 구본준
Original assignee: 구본준
Priority date: 2019-08-28
Filing date: 2019-08-28
Publication date: 2021-07-30
Also published as: KR20210025835A

Abstract

본 발명은 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기 에 관한 것으로서, 본 발명의 일 실시 예에 따른 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하여, 기 설정된 범위 내에 있는 장애물의 유무에 대한 정보, 장애물과 사용자 사이의 거리를 나타내는 거리 정보, 및 장애물의 색상 정보 중 적어도 하나를 포함하는 정보로서 장애물 속성 정보를 생성하는 속성 정보 생성부; 안경 프레임의 일 영역에 설치되고, 속성 정보 생성부에서 생성된 장애물 속성 정보를 이용하여, 전방의 장애물의 유무, 장애물과의 거리 및 장애물의 방향을 시각 장애인에게 안내하기 위한 장애물 안내 정보를 생성하는 안내 정보 생성부; 및 안경 프레임의 일 영역에 설치되고, 안내 정보 생성부에서 생성한 정보를, 사용자가 해석할 수 있는 청각 정보로 가공하여 유저가 착용한 음성 출력 수단에 의해 출력되도록 제어하는 안내 정보 출력부;를 포함하는 것을 특징으로 한다.

Description

스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기{WEARABLE DEVICE USING STEREO CAMERA AND INFRARED SENSOR FOR THE VISUALLY IMPAIRED}

본 발명은 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기와 관련된 것으로서, 구체적으로는, 주간에는 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하고, 야간에는 스테레오 카메라와 동일한 기능을 하는 적외선 센서를 이용함으로써, 전방의 장애물의 존재 유무를 판단하고, 존재하는 장애물에 대한 거리, 방향 및 색상에 대한 정보와 특히 장애물이 계단일 경우, 계단의 단차를 측정하는 알고리즘을 통해 식별된 계단의 정보 등을 포함하는 장애물 안내 정보와, GPS 기술을 부가적으로 활용하여 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해서도 예측하여 안내하는 예측 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 출력하는 기술과 관련된 것이다.

시각 장애인은 선천적, 혹은 후천적 문제로 시력이나 시야, 안구 등의 불완전으로 시력이 현저히 낮거나 완전히 보이지 않는 사용자를 의미한다.

이러한 시각 장애인들을 위하여 근래에는 첨단 정보통신 장비의 발달과 함께 시각 장애인을 위한 보조 장비 또한 지속적으로 연구되고 있다. 특히, 시각 장애인이 안경 형태의 웨어러블 기기로서 착용하며 시력을 보조할 수 있는 기기들이 다수 개발되었는데, 일 예로, 독서 확대기, 점자 정보 단말기, 횡단보도 신호등의 보행신호를 음성으로 알려주는 장비 등을 들 수 있다.

먼저, 본 발명에서의 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기에 대해 살펴보기 앞서 도 1을 참조하자면, 도 1에는, 종래에 일반적으로 사용되는 시각 장애인용 안경의 일 예가 도시 되어 있다.

도 1을 설명하자면, 도 1의 센서부(10)는 단일의 카메라로 구성되어 있는 것으로, 이를 통해, 장애물의 존재 여부를 감지하게 된다. 또한, 센서부(10)에 적외선 센서를 추가로 구성하여 전방의 장애물이 사물인지 사람인지의 여부와 주야간의 구별 없이 장애물을 식별할 수 있다. 다음, 상술한 센서부(10)를 통하여 식별된 장애물에 대한 정보를 통신부(20)에 전송하고, 이에, 통신부(20)는 수신된 장애물에 대한 정보에 대해 경고를 통지하기 위한 신호를 발생시켜, 사용자 주변의 이어폰 등을 포함한 디바이스로 전송할 수 있다.

이에, 한국 공개 특허 제10-2015-0011502호는, 도 1과 유사한 형태의 시각 장애인용 선글라스로서, 안경의 브릿지에 설치된 초음파 감지기를 통해 장애물을 확인 및 감지하고, 스피커로 위험을 알리는 기술이 개시되어 있다.

그러나, 상술한 선행 기술 또는 단일의 카메라만을 갖춘 시각 장애인용 웨어러블 기기들은 일반적으로 장애물과 사용자인 시각 장애인 사이의 상대 거리만을 알 수 있을 뿐, 정확한 거리를 측정할 수 없는 문제점을 가지고 있다. 즉, 단일의 카메라를 활용하는 웨어러블 기기로는 장애물과 시각 장애인 사이의 거리를 측정하기 어렵기 때문에, 이를 이용하는 시각 장애인은 장애물과의 거리 측정에 실패하여, 장애물의 존재를 파악하였다 하더라도, 장애물을 적절한 시점에 회피하지 못할 수 있고, 이는 곧, 시각 장애인이 장애물과 충돌할 수 있는 가능성을 내포한다고 볼 수 있다. 또한, 상술한 선행 기술 및 종래의 단일의 카메라만을 갖춘 시각 장애인용 웨어러블 기기는, 이미 감지된 장애물에 대한 정보만을 이용하는 것으로, 감지되지는 않았으나, 사용자가 미리 파악하여야 되는 장애물의 존재 및 위치에 대해서는 사용자가 앞서 대처하기 어렵다는 문제점 또한 가지고 있다.

이에 본 발명은 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하여, 전방의 장애물의 유무, 장애물과의 거리, 장애물의 방향 및 장애물의 색상 정보와 특히 장애물이 계단일 경우, 계단의 단차를 측정하는 알고리즘을 통해 식별된 계단의 정보 등을 포함하는 장애물 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 제공하는 것에 제1 목적이 있다.

또한 본 발명에서는 촬영 방식에 있어서 스테레오 카메라와 동일한 기능을 수행하는 적외선 센서를 통하여, 주간에는 스테레오 카메라를 통해, 야간에는 적외선 센서를 이용함으로써, 주야간의 구분 없이 야간에도 주간과 동일한 기능으로써 전방 영역의 장애물을 인식하는 것에 제2 목적이 있다.

또한 본 발명에서는 GPS 정보를 수신하여 장애물 안내 정보의 생성 및 출력 내역이 저장된 데이터베이스와 연동하여, GPS 정보에 대응되는 위치에 대한 장애물 안내 정보의 내역을 통해 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 안내하는 예측 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 더 제공하는 것에 제3 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기는, 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하여, 기 설정된 범위 내에 있는 장애물의 유무에 대한 정보, 장애물과 사용자 사이의 거리를 나타내는 거리 정보, 및 장애물의 색상 정보 중 적어도 하나를 포함하는 정보로서 장애물 속성 정보를 생성하는 속성 정보 생성부; 안경 프레임의 일 영역에 설치되고, 속성 정보 생성부에서 생성된 장애물 속성 정보를 이용하여, 전방의 장애물의 유무, 장애물과의 거리 및 장애물의 방향을 시각 장애인에게 안내하기 위한 장애물 안내 정보를 생성하는 안내 정보 생성부; 및 안경 프레임의 일 영역에 설치되고, 안내 정보 생성부에서 생성한 정보를, 사용자가 해석할 수 있는 청각 정보로 가공하여 유저가 착용한 음성 출력 수단에 의해 출력되도록 제어하는 안내 정보 출력부;를 포함하는 것을 특징으로 한다.

상술한 속성 정보 생성부는, 기 저장된 정보로서 장애물 속성 정보를 통해 장애물의 종류를 식별하기 위해 저장되는 기준 장애물 속성 정보와, 속성 정보 생성부에서 생성된 장애물 속성 정보를 비교하여 장애물의 종류를 식별하는 장애물 형태 정보를 생성하고, 안내 정보 생성부는, 생성된 장애물 형태 정보를 포함시켜 기준 장애물 속성 정보와 비교하여 장애물의 종류에 대한 정보를 장애물 안내 정보에 함께 포함되도록 생성되는 것이 바람직하다.

상술한 안내 정보 생성부는, 스테레오 카메라에서 촬영하여 수신된 영상에서 매개변수를 산출하고, 산출된 매개변수를 이용하여 수신된 영상의 픽셀의 위치를 이동하는 기하학적 처리를 하고, 딥러닝을 통해 기하학적 처리가 된 수신된 영상에서의 장애물의 깊이 영상을 산출하는 것이 바람직하다.

상술한 산출된 깊이 영상으로부터 장애물의 형태를 식별하기 위하여, 깊이 영상에서의 수직 직선을 프로파일하는 것을 통해 계단 후보 영역을 추출하고, 딥러닝을 이용하여 추출된 계단 후보 영역을 분류함으로써 장애물을 계단으로 인식하는 것이 바람직하다.

상술한 안내 정보 생성부는, 장애물 속성 정보에 포함된 장애물의 색상 정보 및 픽셀 별 색상 정보의 변화를 이용하여 안내 정보 생성부에서 생성한 색상 형태를 기 저장된 교통 안내 정보와 비교하여, 장애물의 색상 정보 및 색상 형태에 매칭되는 교통 안내 정보를 선택하여 장애물 안내 정보에 포함하는 것이 바람직하다.

상술한 전방 영역은, 사용자와 장애물 사이의 거리가 5m 이내이며, 사용자를 중심으로 양측의 폭이 2m 이내인 것이 바람직하다.

상술한 속성 정보 생성부는, 전방 영역에 존재하는 것으로 판단되는 장애물의 개수를 산출하여, 안내 정보 생성부에 전송하고, 안내 정보 출력부는, 산출된 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 안내 정보 생성부로부터 수신한 장애물 안내 정보를 안내 정보 출력부에 전송 시, 장애물과의 거리 및 장애물의 방향에 대한 정보만을 식별할 수 있는 음성 부호 정보로 가공하여 음성 출력 수단에 의하여 출력되도록 하는 것을 특징으로 하는 것이 바람직하다.

상술한 안내 정보 출력부는, 산출된 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 안내 정보 생성부로부터 수신한 장애물 안내 정보를 안내 정보 출력부에 전송 시, 장애물과의 거리 및 장애물의 방향에 대한 정보만을 식별할 수 있는 햅틱 정보로 가공하여 사용자에 착용된 진동 출력 수단에 의하여 출력되도록 하는 것이 바람직하다.

또한, 본 발명의 일 실시 예에 따른 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기는, GPS 정보를 수신하는 수신기를 포함하고, 장애물 안내 정보의 생성 및 출력 내역이 저장된 데이터베이스와 연동하여, GPS 정보에 대응되는 위치에 대한 장애물 안내 정보의 내역을 통해 사용자에게 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 안내하기 위한 예측 안내 정보를 생성하여 안내 정보 출력부에 전송하는 예측 안내 정보 생성부;를 더 포함하는 것이 바람직하다.

또한, 본 발명의 일 실시 예에 따른 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기는, 안경 다리의 일 측면에 설치되어, 야간에는 적외선을 통해 상기 스테레오 카메라의 촬영 방식과 동일한 방식으로 상기 전방 영역의 장애물을 촬영하여 측정 가능하도록 하는 적외선 센서;를 더 포함하는 것이 바람직하다.

또한, 상술한 스테레오 카메라, 속성 정보 생성부, 안내 정보 생성부 및 안내 정보 출력부는 하나의 디바이스로 구성되고, 디바이스는 안경 프레임과 연결되는 안경 다리의 상부의 일 영역에 끼워 고정할 수 있는 홈이 성형되어, 안경과 탈부착 가능하도록 구성되는 것이 바람직하다.

본 발명의 일 실시 예에 따르면, 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하여, 전방의 장애물의 유무, 장애물과의 거리, 장애물의 방향 및 장애물의 색상 정보와 특히 장애물이 계단일 경우, 계단의 단차를 측정하는 알고리즘을 통해 식별된 계단의 정보 등을 포함하는 장애물 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 제공하여 장애물의 정확한 위치 및 색상 정보까지 파악하여 사용자가 장애물에 대해 판단할 수 있는 정보를 최대한 제공함으로써, 사용자가 장애물을 회피하는 것 이외에 취할 수 있는 행동의 가짓수를 다양하게 선택할 수 있는 기회를 제공하는 효과가 있다.

또한, 촬영 방식에 있어서 스테레오 카메라와 동일한 기능을 수행하는 적외선 센서를 통하여, 주간에는 스테레오 카메라를 통해, 야간에는 적외선 센서를 이용함으로써, 주야간의 구분 없이 야간에도 주간과 동일한 기능으로써 전방 영역의 장애물을 인식할 수 있는 효과가 있다.

또한, 본 발명의 일 실시 예에 따르면, GPS 정보를 수신하여 장애물 안내 정보의 생성 및 출력 내역이 저장된 데이터베이스와 연동하여, GPS 정보에 대응되는 위치에 대한 장애물 안내 정보의 내역을 통해 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 안내하는 예측 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 더 제공하여 스테레오 카메라의 시야에 수신되지 않은 장애물을 예측함으로써, 사용자가 미리 장애물을 파악하도록 하여 대처할 수 있도록 하는 효과가 있다.

또한, 장애물의 안내 정보의 출력 방식을 음성뿐만 아니라 음성 부호 및 햅틱 기술을 더 이용함으로써, 다수의 장애물에 대한 정보를 음성 부호 또는 햅틱의 진동을 통해서 신속하게 사용자에게 장애물의 거리 또는 방향에 대한 정보를 전달할 수 있으므로, 사용자는 장애물과의 충돌을 최대한 회피할 수 있는 효과가 있다.

도 1은 종래에 일반적으로 사용되는 시각 장애인용 안경의 일 예.
도 2는 본 발명의 일 실시 예에 따른 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기의 사시도의 일 예.
도 3은 본 발명의 일 실시 예에 따른 스테레오 카메라를 이용한 거리 측정 방법의 일 예.
도 4는 본 발명의 일 실시 예에 따른 스테레오 카메라를 이용하여 수신된 영상을 통해 색상 정보를 산출하는 방법의 일 예.
도 5는 본 발명의 일 실시 예에 따른 스테레오 카메라를 이용하여 수신된 영상을 통해 깊이 영상을 산출하고, 산출된 깊이 영상을 통해 계단 영역과 계단각을 구하여 계단 후보 영역을 추출하는 방식의 일 예.
도 6은 본 발명의 일 실시 예에 따라 안경과 탈부착 가능하도록 구성된 디바이스의 일 예.

이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편 이하의 설명에 있어서, 도면에 기재된 사항은 본 발명의 각 구성의 기능을 설명하기 위하여 일부의 구성이 생략되거나, 과하게 확대 또는 축소되어 도시되어 있으나, 해당 도시 사항이 본 발명의 기술적 특징 및 권리범위를 한정하는 것은 아닌 것으로 이해됨이 당연할 것이다.

이하에서 설명할 본 발명은 주간에는 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하고, 야간에는 스테레오 카메라와 동일한 기능을 하는 적외선 센서를 이용함으로써, 전방의 장애물의 존재 유무를 판단하고, 존재하는 장애물에 대한 거리, 방향 및 색상에 대한 정보와 특히 장애물이 계단일 경우, 계단의 단차를 측정하는 알고리즘을 통해 식별된 계단의 정보 등을 포함하는 장애물 안내 정보와, GPS 기술을 부가적으로 활용하여 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해서도 예측하여 안내하는 예측 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 출력하는 기술과 관련된 것이다.

이러한 본 발명은 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하여, 전방의 장애물의 유무, 장애물과의 거리, 장애물의 방향 및 장애물의 색상 정보와 특히 장애물이 계단일 경우, 계단의 단차를 측정하는 알고리즘을 통해 식별된 계단의 정보 등을 포함하는 장애물 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 제공하는 것에 제1 목적이, 촬영 방식에 있어서 스테레오 카메라와 동일한 기능을 수행하는 적외선 센서를 통하여, 주간에는 스테레오 카메라를 통해, 야간에는 적외선 센서를 이용함으로써, 주야간의 구분 없이 야간에도 주간과 동일한 기능으로써 전방 영역의 장애물을 인식하는 것에 제2 목적이, GPS 정보를 수신하여 장애물 안내 정보의 생성 및 출력 내역이 저장된 데이터베이스와 연동하여, GPS 정보에 대응되는 위치에 대한 장애물 안내 정보의 내역을 통해 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 안내하는 예측 안내 정보를 사용자가 착용한 이어폰 등의 음성 출력 수단을 통해 더 제공하는 것에 제3 목적이 있다.

이하에서는 상술한 목적을 달성하기 위한 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기에 대해 첨부된 도면을 참조하여 더욱 구체적으로 설명하기로 한다.

우선, 도 2의 100에는 본 발명의 일 실시 예에 따른 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기의 사시도의 일 예가 도시되어 있다.

먼저, 본 발명에서는, 안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라(110)가 촬영한 전방 영역의 영상을 수신 및 이용하여, 기 설정된 범위 내에 있는 장애물의 유무에 대한 정보, 장애물과 사용자 사이의 거리를 나타내는 거리 정보, 및 장애물의 색상 정보 중 적어도 하나를 포함하는 정보로서 장애물 속성 정보를 생성하는 속성 정보 생성부가 포함될 수 있다.

이에, 상술한 거리 정보를 산출함에 있어, 도 3에는 본 발명의 일 실시 예에 따른 스테레오 카메라를 이용한 거리 측정 방법의 일 예가 도시되어 있다. 구체적으로 설명하자면, 200은 제1 카메라(A)와 제2 카메라(B)를 통해 카메라 설치 간격에 따라 장애물의 거리 정보를 계산할 수 있는 거리 측정 방법의 원리가 도시되어 있다.

물론, 상술한 장애물의 거리 정보는 카메라로부터 특정 방향에 위치한 물체까지의 길이를 나타내는 값이라고 볼 수 있다.

이때, 장애물이 위치한 거리(D)를 구할 경우, 제1 카메라(A)와 제2 카메라(B)를 통해, 장애물로부터 제1 카메라(A)와 제2 카메라(B)에서 각각 산출한 각도인

과

를 이용하여 삼각함수로써 계산할 수 있다. 여기서,

과

는 가시각(Viewing Angle)의 각도로서, 가시각은 영상을 취득할 수 있는 각도를 의미한다. 또한, 가시각은 카메라의 특성상 상수로 취급할 수 있으며, 최소 측정 가능거리는 카메라의 설치 간격 W와 밀접한 관계를 가질 수 있고, W₁과 W₂는 장애물에서 수직으로 형성된 가상선과 제1 카메라(A)와 제2 카메라(B) 각각의 사이의 거리를 나타낸다.

이에, 상술한 내용들을 토대로 제1 카메라(A)에서 산출된 수식은

이고, 제2 카메라(B)에서 산출된 수식은

라고 이해할 수 있다.

또한, 상술한 거리 정보를 통해, 장애물에 대하여 카메라로부터의 거리 변화를 통해 깊이 정보 또한 추가적으로 산출할 수 있는 것이 바람직하다.

다음, 상술한 장애물의 색상 정보를 구함에 있어서, 도 4에 본 발명의 일 실시 예에 따른 스테레오 카메라를 이용하여 수신된 영상을 통해 색상 정보를 산출하는 방법의 일 예가 도시되어 있다.

구체적으로 색상 정보를 산출하는 과정을 단계적으로 설명하자면, 우선 색상 정보를 산출하기에 앞서, 수신된 영상의 색상 모델을 RGB에서 HSV로 변환한다. 이에, RGB는 빛의 삼원색을 이용하여 가산혼합으로써 색을 표현하는 방식으로, R(Red), G(Green), B(Blue) 각각은 0 ~ 255 사이의 값을 가질 수 있기 때문에 RGB 색상 모델을 사용하면 총 256 x 256 x 256 = 16,777,216가지의 색을 표현할 수 있다. 그리고, HSV는 색을 표현하는 하나의 방법이자, 그 방법에 따라 색을 배치하는 방식으로, 색상(Hue), 채도(Saturation), 명도(Value)의 좌표를 써서 특정한 색을 지정한다. 상술한 H, S, V 각각은 0 ~ 255 사이의 값으로 표현되고, H 값은 색의 종류를 나타내기 때문에 값의 크기는 인덱스(Index)를 나타내고, S 값은 0이면 무채색, 255면 가장 선명한 색임을 나타내며, V 값은 작을수록 어둡고 클수록 밝은 색임을 나타낼 수 있다. HSV 색상 모델은 원뿔(Conic) 형태, 원기둥(Cylinder) 형태가 있는데, 본 발명에서는 원뿔 형태의 HSV 색상 모델을 우선하여 사용할 수 있다. 무엇보다 HSV 모델은 색을 가장 직관적으로 표현할 수 있는 모델로, 만들어 내고자 하는 색을 쉽게 만들어낼 수 있기에 RGB 모델을 HSV 색상 모델로 변환하는 것이다.

이어, HSV 색상 모델로 변환한 뒤, 수신된 영상에서의 특정 색상값, 즉, HSV에서의 H 값과 S 값이 색상 정보를 인식하고자 하는 장애물의 색상 분포 내에 있는지 확인할 수 있다. 단, 본 발명에서 HSV 색상 모델을 활용함에 있어서는 밝기를 나타내는 V 값은 조명 환경에 따라 변화될 수 있으므로 제외한다. 물론, 장애물의 색상 분포는 딥 러닝(Deep Learning) 또는 머신 러닝(Machine Learning)을 이용하여 지정할 수 있고, 이때, 색상 분포를 지정함에 있어, 패턴을 분류함에 따라 여러 데이터들의 분포 특성을 알기 위할 경우에 사용되는 기술로써 가우시안 혼합 모델(Gaussian Mixture Model) 등을 활용할 수 있다. 이후, 수신된 영상에서의 해당되는 픽셀의 공간 분포를 통해 어떠한 색상의 장애물인지 결정할 수 있게 된다. 물론, 상술한 방식 이외에도, 본 발명에서는 장애물에 대해 필요한 색상 정보를 산출할 수 있는 방식이라면 제한 없이 사용할 수 있음이 바람직할 것이다.

한편, 장애물을 인식함에 있어서도 다양한 기술이 활용될 수 있다. 우선, 적외선을 활용하여 장애물이 사물인지 또는 사람인지 확인 할 수 있다. 또는, 장애물의 특징을 통해서도 인식을 할 수 있는데, 장애물의 특징을 데이터베이스 내 기 저장된 장애물의 특징과 비교하는 것으로, 이러한 방식을 국소 특징 추출 기법이라 하고, 국소 특징 추출 기법은 장애물의 국소적인 특징을 이용하기 때문에 객체의 자세, 모양, 크기 등의 다양한 변수가 있는 상황에서도 장애물의 인식이 가능하다.

뿐만 아니라, 상술한 색상 정보를 산출함에 있어 딥 러닝이 활용된 것처럼, 장애물을 감지 및 인식함에 있어서도 딥러닝 및 머신러닝 기술을 활용할 수 있다. 딥 러닝에서의 객체 감지 방식을 통하여, 스테레오 카메라를 통해 얻은 영상 이미지에서 장애물을 식별할 수 있을 뿐만 아니라, 그 위치를 파악할 수도 있다. 또한, 표준 머신러닝 방식 중에서도 특징 추출 알고리즘을 포함하여 다양한 머신 러닝 알고리즘을 활용할 수도 있다.

즉, 장애물 속성 정보에는 상술한 방법들을 통해 장애물의 유무, 장애물에 대한 색상 정보 및 거리 정보를 포함하여 장애물을 식별 또는 판단할 수 있는 다양한 정보들을 가질 수 있는 것으로 이해할 수 있다. 이를 통해, 사용자가 장애물에 대해 판단할 수 있는 정보를 최대한 수신함으로써, 사용자가 장애물을 회피하는 것 이외에 취할 수 있는 행동의 가짓수를 다양하게 선택할 수 있는 기회를 제공할 수 있는 효과가 있다.

다시 도 2로 돌아와서 설명하자면, 한편, 안경 프레임의 일 영역에 설치되고, 속성 정보 생성부(120)에서 생성된 장애물 속성 정보를 이용하여, 전방의 장애물의 유무, 장애물과의 거리 및 장애물의 방향을 시각 장애인에게 안내하기 위한 장애물 안내 정보를 생성하는 안내 정보 생성부(130)가 포함될 수 있다.

즉, 상술한 장애물 속성 정보를 통해 장애물 안내 정보를 생성할 경우, 사용자가 이해할 수 있는 언어 및 신호 등으로써 장애물 속성 정보를 변환할 수 있도록 하는 것으로 이해할 수 있다. 구체적으로 예를 들자면, 사용자 전방의 장애물을 인식하여 거리 정보로서 3m의 값이 산출된 경우, 장애물 속성 정보를 사용자가 이해할 수 있는 한글 텍스트 등으로 대응 및 변환하여 장애물 안내 정보를 생성할 수 있고, 이에, 장애물이 사용자의 전방에 있으므로 "전방", 장애물과 사용자의 거리 정보로서 산출된 값이 3m 이므로 "3미터", 장애물이 있으므로 "장애물이 있다"로 각각 대응하여 장애물 안내 정보를 생성할 수 있고, 대응된 정보들을 조합하여 "전방 3미터에 장애물이 있다"라는 장애물 안내 정보를 생성할 수 있게 된다고 이해할 수 있다.

이에, 상술한 속성 정보 생성부(120)는, 기 저장된 정보로서 장애물 속성 정보를 통해 장애물의 종류를 식별하기 위해 저장되는 기준 장애물 속성 정보와, 속성 정보 생성부(120)에서 생성된 장애물 속성 정보를 비교하여 장애물의 종류를 식별하는 장애물 형태 정보를 생성하고, 안내 정보 생성부(130)는, 생성된 장애물 형태 정보를 포함시켜 기준 장애물 속성 정보와 비교하여 장애물의 종류에 대한 정보를 장애물 안내 정보에 함께 포함되도록 생성될 수 있다.

즉, 예를 들어 설명하자면, 장애물이 강아지일 경우, 데이터베이스에 기 저장된 정보로서 장애물의 종류를 식별하기 위해 저장되는 기준 장애물 속성 정보는 다양한 형태의 강아지에 대한 속성 정보를 가지고 있고, 이를 스테레오 카메라(110)의 전방 영역 내의 영상에 촬영된 강아지의 형태적인 특징과 상술한 강아지의 기준 장애물 속성 정보와 비교하여 강아지가 맞는지 또는 고양이는 아닌지 구분하여 식별을 하고, 강아지로 식별이 된 경우 강아지에 대한 장애물 형태 정보를 생성하게 되는 것이다. 또한 생성된 강아지의 장애물 형태 정보를 기준 장애물 속성 정보와 비교하게 되고, 이때 장애물 안내 정보에는 기준 장애물 속성 정보에 기 저장된 정보 중 하나인"강아지"라는 정보를 더 포함되는 것으로 이해할 수 있을 것이다.

한편, 안내 정보 생성부(130)는, 스테레오 카메라에서 촬영하여 수신된 영상에서 매개변수를 산출하고, 산출된 매개변수를 이용하여 수신된 영상의 픽셀의 위치를 이동하는 기하학적 처리를 하고, 딥러닝을 통해 기하학적 처리가 된 수신된 영상에서의 장애물의 깊이 영상을 산출할 수 있다.

이에, 도 5를 통해 구체적으로 설명하자면, 도 5에는 본 발명의 일 실시 예에 따른 스테레오 카메라를 이용하여 수신된 영상을 통해 깊이 영상을 산출하고, 산출된 깊이 영상을 통해 계단 영역과 계단각을 구하여 계단 후보 영역을 추출하는 방식의 일 예가 도시되어 있다. 우선, 도 5의 400에는 스테레오 카메라를 이용하여 수신한 영상을 통해 깊이 영상을 산출하는 방법의 일 예가 도시되어 있다.

우선, 사람이 실제 눈을 통하여 보는 세상은 3차원으로, 이를 카메라로 촬영 시에는 2차원의 이미지로 변하게 되는데, 이때, 3차원에서의 점들이 2차원 이미지로서 어느 위치에 그 상이 맺히는지는 촬영 당시의 카메라의 위치 및 방향에 의하여 결정되고, 이는 상술한 카메라의 위치뿐만 아니라 사용된 렌즈, 거리, 각도 등 카메라 내부의 기구적인 부분에 의해서도 영향을 받는다. 따라서, 3차원 점들이 영상에 대응되는 위치를 구하거나, 반대로 영상좌표로부터 3차원 공간좌표를 복원할 때에는 이러한 내부 요인을 제거해야만 정확한 계산이 가능해지고, 이러한 내부 요인의 매개변수 값을 구하는 방식으로서 카메라 캘리브레이션(Camera Calibration)을 들 수 있다.

상술한 이미지 캘리브레이션 과정을 통해 매개변수를 산출한 뒤, 산출된 매개변수를 이용하여 수신된 영상의 픽셀의 위치를 이동하는 기하학적 산술 처리를 하게 되는데, 이때 사용하는 기술이 이미지 워핑(Warping)이라 할 수 있다. 이미지 워핑은, 간단하게는 한 (x, y)의 위치에 있는 픽셀을 (x', y')으로 대응시킬 수 있는 것으로, 입력 영상과 출력 영상의 대응관계에 관한 기술이라 할 수 있다. 이러한 이미지 워핑(Warping)을 통하여 픽셀의 위치를 이동함으로써, 이미지가 찌그러지는 것을 포함하여 이미지의 형태가 바뀔 수 있다.

다음, 상술한 이미지 워핑을 통하여 획득한 영상을, 딥러닝의 기술 중 하나인 CNN(Convolutional Neural Network)으로 처리하여 깊이 영상을 추출할 수 있다. CNN은 시각적 이미지를 분석하는 데 사용되는 딥러닝의 분야 중 하나로, CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(Pooling Layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있는 특징을 가지고 있다.

이에, 본 발명에서의 CNN은 학습된 CNN으로, 학습된 CNN을 얻기 위해서는, 상술한 과정을 통해 얻은 깊이 영상, 즉, 스테레오 카메라를 통해 영상을 수신하는 것부터 카메라 캘리브레이션, 워핑 등 모든 과정을 거친 깊이 영상과 LIDAR(Light Detection and Ranging) 장비를 통하여 산출된 깊이 영상을, 영상 처리 방법 중 하나인 Pixel-wise Loss를 통하여, 깊이 영상과 LIDAR 장비를 이용하여 얻은 깊이 영상을 비교하여 손실을 추출하고 비교함으로써 얻을 수 있다.

이때, 상술한 LIDAR 장비는 레이더(Radar)와 동일한 원리를 이용해 사물에 직접적인 접촉 없이 원하는 정보를 취득하는 능동형 원격탐사(Remote Sensing)의 한 종류로, 정보를 취득하고자 하는 목표물에 레이저(Laser)를 쏘아 목표물로부터 반사되어 돌아오는 전자파의 시차와 에너지변화를 감지해 원하는 정보를 취득할 수 있는 것으로, 상술한 LIDAR 장비 이외에도, 본 발명에서의 학습된 CNN을 얻기 위해 사용될 수 있는 장비라면 제한 없이 사용이 가능하다.

즉, 도 5의 400을 통해 요약하자면, 도 5의 400은 상술한 깊이 영상을 산출하는 과정들을 시각화한 것으로, 스테레오 카메라를 통하여 각각 좌측 화면과 우측 화면을 촬영하고, 이를 카메라 캘리브레이션을 기반으로 산출된 매개변수를 통해 좌측 및 우측 화면을 각각 워핑 하고, 워핑된 영상을 상술한 학습된 CNN을 기반으로 하여 깊이 영상을 추출하는 것이다.

이어서, 산출된 깊이 영상으로부터 장애물의 형태를 식별하기 위하여, 깊이 영상에서의 수직 직선을 프로파일하는 것을 통해 계단 후보 영역을 추출하고, 딥러닝을 이용하여 추출된 계단 후보 영역을 분류함으로써 장애물을 계단으로서 인식할 수 있다.

이를 도 5의 500을 통해 상세히 설명하자면, 상술한 산출된 깊이 영상으로부터 장애물이 계단인지 식별하기 위하여, 라인 프로파일(Line Profile)을 하게 되는데, 이는 이미지 특성을 라인으로 나타내어 분석하는 방식이다.

도 5의 510은 상술한 깊이 영상을 라인 프로파일하여 얻은 그래프로, 이를 통해 계단이 없는 영역에서는 선형적인 증가 형태를 보이나, 계단이 있는 곳에서는 변형이 발생하게 됨을 알 수 있다. 또한, 수평축 방향으로 각 라인의 프로파일을 추??하면 510에서의 계단 영역에 대한 ROI(Region of Interest) 를 산출할 수 있다. 이때, ROI는 관심 영역이라는 의미로, 영상 내에서 작업을 수행하고자 하는 특정 영역을 가리킨다. 또한, 520을 통해서는 기본 선형라인과 계단에 의한 라인 간의 각도 추정을 통해 계단의 각도를 추정할 수 있음을 알 수 있다. 이처럼, 산출된 깊이 영상으로부터 라인 프로파일하여 계단 후보 영역을 추출할 수 있다.

이어, 추출된 계단 후보 영역들을 상술한 CNN을 기반으로 하여 장애물이 계단인지 여부를 판단하고 인식하게 되는데, 이때, CNN에서의 입력 데이터로부터 특징을 추출하는 컨볼루션 레이어(Convolution Layer)와 분류 레이어(Classification Layer)를 참조하여 후보 영역 분류를 하게 되고 이를 통해 최종적으로 장애물이 계단인지 판단할 수 있다.

물론, 상술한 계단 영역을 추출하고 판단하는데 필요한 모든 과정에서의 기술들을 활용함에 있어서, 본 발명에서 다룬 기술들 이외에 유사하거나 대응될 수 있어, 활용 가능한 모든 기술들을 사용할 수 있는 것으로 이해함이 바람직할 것이다.

뿐만 아니라, 안내 정보 생성부(130)는, 장애물 속성 정보에 포함된 장애물의 색상 정보 및 픽셀 별 색상 정보의 변화를 이용하여 안내 정보 생성부(130)에서 생성한 색상 형태를 기 저장된 교통 안내 정보와 비교하여, 장애물의 색상 정보 및 색상 형태에 매칭되는 교통 안내 정보를 선택하여 장애물 안내 정보에 포함될 수 있다.

즉, 산출된 색상 정보는, 특히, 비슷한 형태이나 색상에 따라 구분될 수 있는 장애물에 더 활용될 수 있고, 일 예로 사용자가 대중 교통을 이용하거나 횡단 보도를 건널 시에 활용될 수 있다.

다시 도 4의 300을 통해 일 예를 들어 설명하자면, 사용자가 광역버스에 탑승하려는 경우, 장애물의 색상 정보를 산출할 시의 과정과 동일한 과정을 거쳐 광역버스를 인지할 수 있는데, 먼저 스테레오 카메라를 통해서 광역버스의 영상을 수신하고, 수신된 영상에서의 광역버스의 빨간색 색상을 HSV 색상 모델로 변환하여, 변환된 광역버스의 빨간색 색상값이 장애물의 색상 분포 내에 있는지 확인하게 된다. 이때, 300에서 장애물의 색상분포는 광역버스의 색상분포라고 할 수 있고, 광역버스의 색상분포는 상술한 가우시안 혼합 모델 등의 기술을 활용 하여 기 저장된 학습 데이터를 활용해 얻어낸 색상 분포라고 할 수 있다. 다음, 색상값이 광역버스의 색상 분포 내에 있다는 것을 확인하여 수신된 영상에서 픽셀별로 광역버스의 색상 분포 내의 색상값을 가진 영역, 즉 픽셀의 공간 분포를 파악하게 되고, 이러한 공간 분포가 버스의 형태를 가질 경우, 최종적으로 빨간색의 버스임을 인식하게 되고, 이를 기 저장된 교통 안내 정보와 비교하여 대중교통 수단의 하나인 빨간색의 버스인 광역버스가 사용자에 접근하였음을 안내하는 장애물 안내 정보를 생성할 수 있게 된다.

이러한 과정을 통해, 사용자는 장애물을 버스로 식별할 수 있을 뿐만 아니라, 빨간색의 색상 정보에 교통 안내 정보를 결합하여 광역버스임을 인지할 수 있게 되어 교통과 관련하여서 더 많은 정보를 취득할 수 있게 된다.

한편, 다시 도 2을 통해 설명하자면, 안경 프레임의 일 영역에 설치되고, 안내 정보 생성부(130)에서 생성한 정보를, 사용자가 해석할 수 있는 청각 정보로 가공하여 유저가 착용한 음성 출력 수단에 의해 출력되도록 제어하는 안내 정보 출력부(140)를 포함될 수 있다.

상술한 사용자가 해설할 수 있는 청각 정보는, 음성 및 신호 등을 포함하여 사용자가 음파의 진동수와 세기를 감지할 수 있는 정보라고 할 수 있다.

이때, 상술한 음성 출력 수단으로는, 음성 직접 출력 방식 또는 골전도 방식을 이용하는 방식 등 다양한 출력 형태를 갖는 이어폰(Earphone) 또는 헤드폰(Headphone) 중 적어도 하나를 포함할 수 있고, 이외에도 머리 또는 귀에 걸치고 압착하는 방식의 수화기로써, 사용자가 휴대할 수 있고, 본 발명에서의 장애물 안내 정보를 청각 정보로써 들을 수 있는 기기라면 제한 없이 사용 가능하다.

한편으로, 전방 영역은 구체적으로, 사용자와 장애물 사이의 거리가 5m 이내이며, 사용자를 중심으로 양측의 폭이 2m 이내임이 바람직하다.

이와 같이 전방 영역에 대해 일정한 제한을 두는 것은, 사용자가 보행함에 있어 장애물과 충돌하지 않을 수 있고, 사용자가 착용한 음성 출력 수단을 통해 장애물 안내 정보를 듣게 될 시, 음성 출력 수단에 과도하게 장애물 안내 정보가 출력되지 않도록 하는 것으로 이해할 수 있다.

이에, 속성 정보 생성부(120)는, 전방 영역에 존재하는 것으로 판단되는 장애물의 개수를 산출하여, 안내 정보 생성부(130)에 전송하고, 안내 정보 출력부(140)는, 산출된 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 안내 정보 생성부(130)로부터 수신한 장애물 안내 정보를 안내 정보 출력부(140)에 전송 시, 장애물과의 거리 및 장애물의 방향에 대한 정보만을 식별할 수 있는 음성 부호 정보로 가공하여 음성 출력 수단에 의하여 출력할 수 있다.

구체적으로, 상술한 전방 영역에 대해 거리 및 폭을 제한을 두었음에도, 전방 영역 내의 장애물이 다수 존재할 경우, 장애물의 안내 정보를 출력함에 있어, 최대한 많은 정보를 출력하기 위해 장애물의 임계 개수를 설정해 두어, 장애물의 임계 개수가 초과될 경우, 장애물의 안내 정보의 출력 방식을 다르게 할 수 있다.

구체적으로 예를 들어, 기설정된 장애물의 임계 개수가 10개일 경우, 전방 영역의 장애물의 개수가 10개 또는 10개 미만일 시, 안내 정보 출력부(140)는, 수신된 장애물 안내 정보를 음성으로서 음성 출력 수단에 의하여 출력하도록 할 수 있다. 물론, 이때 상술한 음성은 단어 또는 문장 단위로써 출력되는 것이라 이해할 수 있다.

하지만, 전방 영역의 장애물의 개수가 10개를 초과할 경우에는, 단어나 문장 단위의 음성으로 출력될 경우, 서로 다른 음성들 간에 겹쳐져 출력될 수 있거나 일부 음성은 누락될 수 있어, 장애물의 안내 정보를 충분히 음성 출력 수단을 통해 출력하지 못할 수 있다. 때문에, 다량의 장애물의 안내 정보가 신속하고 정확하게 음성 출력 수단에 의하여 출력될 수 있도록 단어나 문장 단위의 음성 대신 음성 부호 정보를 이용할 수 있고, 이때 음성 부호는 모스 부호 등과 같이 짧은 발신 전류와 긴 발신 전류만을 가지고 전신부호를 구성하여 문장을 구성할 수 있는 통신수단을 활용할 수 있는 것으로 이해할 수 있다.

즉, 상술한 바와 같이 전방 영역 내의 장애물이 다수 존재할 경우, 장애물의 안내 정보를 출력함에 있어, 최대한 많은 정보를 출력하기 위해 장애물의 임계 개수를 설정할 수 있고, 장애물의 임계 개수가 초과될 경우, 장애물의 안내 정보의 출력 방식을 다르게 함으로써, 다수의 장애물에 대한 정보를 음성 부호를 통해 신속하게 사용자에게 전달할 수 있고, 이에 사용자는 장애물을 파악함에 꼭 필요한 정보라 할 수 있는 장애물과의 거리 및 장애물의 방향에 대한 정보를 누락없이 제공받게 되어, 사용자는 장애물과의 충돌을 최대한 회피할 수 있는 효과가 있다.

또한, 음성 출력 수단을 통해 장애물과의 거리 및 장애물의 방향에 대한 정보를 수신할 시, 장애물과의 거리는 볼륨의 크기로써 근거리에 위치한 장애물일수록 볼륨을 크게하여 거리감을 나타낼 수 있거나, 빈도수로써 근거리에 위치한 장애물일수록 출력의 빈도수를 높일 수 있다. 또한, 장애물의 방향에 대해서는 스테레오 사운드 기술을 이용하여 좌측의 장애물에 대해서는 음성 출력 수단의 좌측 출력부를 통해, 우측의 장애물에 대해서는 음성 출력 수단의 우측 출력부를 통해 출력하는 방식으로, 사용자를 기준으로 장애물의 위치를 나타낼 수 있을 것이다.

뿐만 아니라, 안내 정보 출력부(140)는, 산출된 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 안내 정보 생성부(130)로부터 수신한 장애물 안내 정보를 안내 정보 출력부(140)에 전송 시, 장애물과의 거리 및 장애물의 방향에 대한 정보만을 식별할 수 있는 햅틱 정보로 가공하여 사용자에 착용된 진동 출력 수단(160)에 의하여 출력할 수 있다.

즉, 상술한 바와 같이 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 음성 부호를 음성 출력 수단에 출력하여 다량의 장애물의 안내 정보를 사용자에게 제공할 수 있고, 이에 더하여, 촉각과 운동감, 힘을 느끼게 해주는 햅틱 기술을 이용하여 사용자에게 장애물의 안내 정보를 햅틱 정보로써 제공할 수 있다. 이때, 햅틱 정보를 사용자에게 출력하여 제공함에 있어, 진동 출력 수단(160)은 진동을 사용자가 느끼도록 하기 위해 사용자의 피부에 닿는 부분, 일 예로 안경 다리의 양쪽의 말단의 일 영역에 위치될 수 있다. 또는, 안경으로서의 형태 외의 다양한 웨어러블 기기를 활용할 경우에도 진동 출력 수단(160)은 사용자의 피부와 맞닿을 수 있는 일 영역에 설치됨이 바람직할 것이다.

또한, 장애물의 방향에 대한 정보가 진동 출력 수단(160)을 통해 제공될 경우, 좌측의 장애물에 대해서는 사용자의 왼쪽 귀에 접촉된 안경 다리의 일 영역에 위치한 진동 출력 수단(160)을 통해, 우측의 장애물에 대해서는 사용자의 오른쪽 귀에 접촉된 안경 다리의 일 영역에 위치한 진동 출력 수단(160)을 통해 출력하는 방식으로 사용자에게 장애물의 위치 정보를 제공할 수 있다고 이해할 수 있다.

물론, 본 발명의 햅틱 기술 이외에도 사용자가 촉각 등을 통해 장애물에 대한 정보를 수신할 수 있는 기술이라면 상술한 예시 이외에도 사용이 가능하다고 봄이 바람직하다.

이를 통해, 상술하였듯, 사용자는 다수의 장애물에 대한 정보를 음성 부호 및 가공된 햅틱 정보를 포함한 다양한 방식으로써 그 정보를 제공받게 된다고 할 수 있고, 또한, 장애물과의 거리가 매우 근접하거나 충돌할 시 더 위험할 것으로 예상되는 장애물에 대해 촉각으로서 즉각적으로 인식할 수 있는 햅틱 정보를 사용자에게 우선 제공되도록 설정할 수도 있을 것이다.

한편, 본 발명은, GPS 정보를 수신하는 수신기를 포함하고, 장애물 안내 정보의 생성 및 출력 내역이 저장된 데이터베이스와 연동하여, GPS 정보에 대응되는 위치에 대한 장애물 안내 정보의 내역을 통해 사용자에게 스테레오 카메라(110)에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 안내하기 위한 예측 안내 정보를 생성하여 안내 정보 출력부(140)에 전송하는 예측 안내 정보 생성부를 더 포함할 수 있다.

이에, 위치 정보를 획득하는 수신기는 GPS(Global Positioning System) 를 통해 사용자의 위치 정보를 획득할 수도 있고, LBS(Location-Based Service), 또는 사용자가 위치한 곳의 가까운 와이파이를 탐색하여 와이파이를 통하여 위치 획득을 하는 WBS(Wi-Fi-based Positioning System)로서도 위치 탐색이 가능할 수 있다.

즉, 본 발명은 GPS 정보에 대응되는 위치에 대한 장애물 안내 정보의 내역을 통해 사용자에게 스테레오 카메라(110)에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 안내하기 위한 예측 안내 정보를 생성하는데, 이는, 스테레오 카메라(110)는 제한된 전방 영역만을 촬영하여, 장애물들에 가려진 영역의 장애물들에 대해서는 촬영을 하지 못할 수도 있는 문제가 발생할 수 있어, GPS 정보를 수신함을 통해, 스테레오 카메라(110)로 촬영되는 영역 밖의 장애물에 대한 정보를 수신하여 사용자가 미리 장애물을 파악하여 대처할 수 있는 효과가 있다.

또한, 장애물 안내 정보의 생성 및 출력 내역이 저장된 데이터베이스와 연동함에 있어, 기 저장된 장애물 안내 정보를 활용할 수도 있으나, GPS 정보와 기 저장된 장애물 안내 정보와 비교하여 차이가 발생하였을 때, 예를 들어, 매장의 상호가 변경되거나, 횡단보도 등이 추가 또는 제거된 경우 등 다양한 경우에 있어, 이 경우 GPS 정보를 통해 기 저장된 데이터베이스의 정보를 업데이트하여 사용자에게 혼란을 주지 않을 수 있도록 하는 것이 바람직하다.

물론, 이때 생성된 예측 안내 정보는, 스테레오 카메라(110)를 통해 수신된 장애물 안내 정보와 구분이 갈 수 있도록 음성 출력 수단에는 서로 다르게 출력될 수 있도록 하는 것이 바람직할 것이다.

한편, 상술한 스테레오 카메라(110)는 주로 주간에 영상을 촬영할 수 있는 것으로, 이때, 안경 다리의 일 측면에 설치되어, 야간에는 적외선을 통해 스테레오 카메라의 촬영 방식과 동일한 방식으로 전방 영역의 장애물을 촬영하여 측정 가능하도록 하는 적외선 센서(150)를 더 포함할 수 있다.

적외선은 주로 열영상을 얻는 데 사용하는 전자기파로, 발열이 있는 장애물이라면 적외선을 방출하므로, 이를 영상화 하면 야간에도 적외선을 통해 장애물의 인식이 가능한 것이다. 즉, 상술한 적외선 센서(150)를 통해, 야간에 불빛 없이는 전방 영역의 촬영이 어려운 스테레오 카메라(110)를 대신하여 이용할 수 있다.

물론, 상술한 적외선 센서(150)는 촬영 방식에 있어서 스테레오 카메라(110)와 동일한 기능을 수행하여 상술한 속성 정보 생성부(120)가 적외선 센서(150)를 통해 촬영된 영상을 이용함에 있어 스테레오 카메라(110)와 차이가 없는 것으로 이해할 수 있다. 따라서, 주간에는 스테레오 카메라(110)를 통해, 야간에는 적외선 센서(150)를 이용함으로써, 주야간의 구분 없이 전방 영역의 장애물을 인식할 수 있는 효과가 있고, 이에, 스테레오 카메라(110) 또는 적외선 센서(150)를 번갈아 사용함에 있어서는 받아들이는 빛의 양에 따라 자동으로 촬영 방식이 전환되거나 또는 사용자에 의하여 수동으로 변경될 수 있도록 하는 것이 바람직하다.

또한, 적외선 센서(150)는 안경 다리의 일 측면 이외에도 본 발명의 안경에서의 스테레오 카메라와 마찬가지로 전방 영역의 촬영이 가능한 일 영역이라면 위치에 대한 제한이 없이 설치됨이 바람직하고, 필요할 경우 적어도 하나 이상이 설치될 수 있으며, 적외선 외에도, 야간에 스테레오 카메라(110)를 대신하여 전방 영역의 장애물을 인식할 수 있는 기술이라면 대신하여 사용할 수 있을 것이다.

추가적으로, 본 발명에서의, 스테레오 카메라(110), 속성 정보 생성부(120), 안내 정보 생성부(130) 및 안내 정보 출력부(140)는 하나의 디바이스로 구성되고, 디바이스에는 안경 프레임과 연결되는 안경 다리의 상부의 일 영역에 끼워 고정할 수 있는 홈이 성형되어, 안경과 탈부착 가능하도록 구성될 수 있다.

이에, 도 6에는 본 발명의 일 실시 예에 따라 안경과 탈부착 가능하도록 구성된 디바이스의 일 예가 도시되어 있다.

도 6의 1000은 안경과 탈부착 가능하고, 스테레오 카메라, 속성 정보 생성부, 안내 정보 생성부 및 안내 정보 출력부의 각 구성을 포함한 디바이스의 구체적인 일 예로, 우선, 디바이스는 안경과 탈부착 되기 위해 안경 프레임과 안경 다리가 이어지는 일 영역에 끼울 수 있도록 홈이 성형되어 있어, 안경 다리의 상부에 탈부착 되는데, 이때 사용자가 안경을 착용하고, 디바이스를 함께 착용함에 있어 시야가 방해됨이 없도록 하는 것이 바람직하다.

1000을 구성별로 설명하자면, 1100은 스테레오 카메라로써 본 발명의 스테레오 카메라의 기능과 동일한 기능을 수행할 수 있고, 스테레오 카메라(1100)의 위치는 본 발명에서의 스테레오 카메라가 안경 프레임의 양 측면에 하나씩 설치된 것과 대응되도록 디바이스에서의 위치 또한 디바이스의 양 측면 또는 도시된 바와 같이 성형된 홈의 위치 상부의 일 영역에 각각 하나씩 위치할 수 있도록 할 수 있다. 또한, 1200은 속성 정보 생성부로써 본 발명의 속성 정보 생성부의 기능과 동일한 기능을 수행할 수 있고, 1300은 안내 정보 생성부로써 본 발명의 안내 정보 생성부의 기능과 동일한 기능을 수행할 수 있으며, 1400은 안내 정보 출력부로써 본 발명의 안내 정보 출력부의 기능과 동일한 기능을 수행할 수 있다. 또한, 야간에도 전방 영역을 촬영할 수 있도록 하기 위해 상술한 디바이스의 일 영역에 적외선 센서(1500)가 더 설치될 수 있고, 본 발명에서의 적외선 센서의 기능과 동일한 기능을 수행하도록 할 수 있다.

물론, 도 6에 도시된 디바이스의 형태 이외에도, 사용자의 시야를 방해하지 않고, 사용자가 디바이스를 사용함에 있어 간편하게 탈부착 가능하고, 본 발명에서의 스테레오 카메라, 속성 정보 생성부, 안내 정보 생성부, 안내 정보 출력부 및 적외선 센서의 기능들이 원활하게 작동할 수 있는 형태라면, 다양한 형태로 변형이 가능하다.

상술한 별도의 탈부착 가능한 디바이스를 통해, 본 발명의 기능들이 제공되는 일체형의 웨어러블 기기가 아니더라도, 사용자가 평소에 사용하는 안경 등에 디바이스를 설치할 수 있고, 필요할 때만 사용 할 수 있도록 디바이스의 탈부착이 가능하므로, 그 편의성이 극대화되는 효과를 가질 수 있다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

안경 프레임의 양 측면에 하나씩 설치된 스테레오 카메라가 촬영한 전방 영역의 영상을 수신 및 이용하여, 기 설정된 범위 내에 있는 장애물의 유무에 대한 정보, 장애물과 사용자 사이의 거리를 나타내는 거리 정보, 및 장애물의 색상 정보 중 적어도 하나를 포함하는 정보로서 장애물 속성 정보를 생성하는 속성 정보 생성부;
상기 안경 프레임의 일 영역에 설치되고, 상기 속성 정보 생성부에서 생성된 상기 장애물 속성 정보를 이용하여, 전방의 장애물의 유무, 장애물과의 거리 및 장애물의 방향을 시각 장애인에게 안내하기 위한 장애물 안내 정보를 생성하는 안내 정보 생성부; 및
상기 안경 프레임의 일 영역에 설치되고, 상기 안내 정보 생성부에서 생성한 정보를, 사용자가 해석할 수 있는 청각 정보로 가공하여 유저가 착용한 음성 출력 수단에 의해 출력되도록 제어하는 안내 정보 출력부;를 포함하되,
GPS 수신기 및 예측 안내 정보 생성부를 더 포함하고,
상기 예측 안내 정보 생성부는,
상기 안내 정보 생성부에서 생성되는 장애물 안내 정보 및 상기 장애물 안내 정보의 출력 내역이 저장된 데이터 베이스와 연동된 상태에서, 상기 GPS 수신기로부터 상기 사용자의 위치를 나타내는 GPS 정보를 실시간으로 수신하는 경우, 상기 수신된 GPS 정보 및 상기 출력 내역을 기반으로, 상기 스테레오 카메라에 수신되지 않는 범위 밖의 장애물의 정보에 대해 예측하여 예측 안내 정보를 생성해 상기 안내 정보 출력부를 통해 출력하되,
상기 예측 안내 정보는,
상기 안내 정보 출력부를 통해 출력 시, 상기 장애물 안내 정보와 구분되어 출력되는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제1항에 있어서,
상기 속성 정보 생성부는,
기 저장된 정보로서 상기 장애물 속성 정보를 통해 장애물의 종류를 식별하기 위해 저장되는 기준 장애물 속성 정보와, 상기 속성 정보 생성부에서 생성된 상기 장애물 속성 정보를 비교하여 장애물의 종류를 식별하는 장애물 형태 정보를 생성하고,
상기 안내 정보 생성부는,
생성된 상기 장애물 형태 정보를 포함시켜 상기 기준 장애물 속성 정보와 비교하여 장애물의 종류에 대한 정보를 상기 장애물 안내 정보에 함께 포함되도록 생성되는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제1항에 있어서,
상기 안내 정보 생성부는,
상기 스테레오 카메라에서 촬영하여 수신된 영상에서 매개변수를 산출하고, 산출된 상기 매개변수를 이용하여 수신된 영상의 픽셀의 위치를 이동하는 기하학적 처리를 하고, 딥러닝을 통해 기하학적 처리가 된 수신된 영상에서의 장애물의 깊이 영상을 산출하는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제3항에 있어서,
산출된 상기 깊이 영상으로부터 장애물의 형태를 식별하기 위하여, 상기 깊이 영상에서의 수직 직선을 프로파일하는 것을 통해 계단 후보 영역을 추출하고, 딥러닝을 이용하여 추출된 상기 계단 후보 영역을 분류함으로써, 장애물을 계단으로 인식하는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제1항에 있어서,
상기 안내 정보 생성부는,
상기 장애물 속성 정보에 포함된 장애물의 상기 색상 정보 및 픽셀 별 색상 정보의 변화를 이용하여 상기 안내 정보 생성부에서 생성한 색상 형태를 기 저장된 교통 안내 정보와 비교하여, 장애물의 상기 색상 정보 및 상기 색상 형태에 매칭되는 상기 교통 안내 정보를 선택하여 상기 장애물 안내 정보에 포함하는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제1항에 있어서,
상기 전방 영역은, 사용자와 장애물 사이의 거리가 5m이내이며, 사용자를 중심으로 양측의 폭이 2m 이내인 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제1항에 있어서,
상기 속성 정보 생성부는,
상기 전방 영역에 존재하는 것으로 판단되는 장애물의 개수를 산출하여, 상기 안내 정보 생성부에 전송하고,
상기 안내 정보 출력부는,
산출된 상기 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 상기 안내 정보 생성부로부터 수신한 상기 장애물 안내 정보를 상기 안내 정보 출력부에 전송 시, 상기 장애물과의 거리 및 상기 장애물의 방향에 대한 정보만을 식별할 수 있는 음성 부호 정보로 가공하여 상기 음성 출력 수단에 의하여 출력되도록 하는 것을 특징으로 하는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제7항에 있어서,
상기 안내 정보 출력부는,
산출된 상기 장애물의 개수가 기설정된 임계 개수를 초과하는 경우 상기 안내 정보 생성부로부터 수신한 상기 장애물 안내 정보를 상기 안내 정보 출력부에 전송 시, 상기 장애물과의 거리 및 상기 장애물의 방향에 대한 정보만을 식별할 수 있는 햅틱 정보로 가공하여 사용자에 착용된 진동 출력 수단에 의하여 출력되도록 하는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
삭제
제1항에 있어서,
안경 다리의 일 측면에 설치되어, 야간에는 적외선을 통해, 상기 스테레오 카메라의 촬영 방식과 동일한 방식으로 상기 전방 영역의 장애물을 촬영하여 측정 가능하도록 하는 적외선 센서;를 더 포함하는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.
제1항에 있어서,
상기 스테레오 카메라, 상기 속성 정보 생성부, 상기 안내 정보 생성부 및 상기 안내 정보 출력부는 하나의 디바이스로 구성되고, 상기 디바이스에는 안경 프레임과 연결되는 안경 다리의 상부의 일 영역에 끼워 고정할 수 있는 홈이 성형되어, 안경과 탈부착 가능하도록 구성되는 것을 특징으로 하는 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기.